JP5150583B2 - 聞き役対話評価装置、聞き役対話評価方法、聞き役対話評価プログラム - Google Patents

Description

本発明は、対話システムの評価技術、特に、対話システムにおける聞き役の対話を評価する技術に関する。

対話システムを開発する上で、性能評価は重要な技術のひとつである。

従来、切符購入や、スケジュール予約といった目的を達成するために自動的にコンピュータが応答を行うタスク指向型の対話システムが盛んに研究されてきた。このような対話システムを評価する手法として、特許文献１などに開示された対話システム評価方法及びシステムが挙げられる。

そして、最近では、チャットのようなより柔軟な対話（より、タスク指向ではない対話、つまり非タスク指向型対話）を行うシステムの社会性やエンターテイメント性が注目され、研究が進められてきている。

このような達成すべき目的をもたない非タスク指向型の対話の評価においては、タスクを達成するまでの時間や、達成率などで評価を行うことが適切でなく、前述の特許文献１の手法では十分ではない。

この問題を解決するための非タスク指向型対話システムの評価手法として、特許文献２に開示された対話システム評価方法がある。この方法は、タグ付けされた雑談対話から隠れマルコフモデルを作成し、このモデルに基づき対話システムの対話の自然さを評価するものである。

特開２００４−２７２７４０号公報 特開２００８−２６２５２３号公報

Ｄａｎ Ｊｕｒａｆｓｋｙ，Ｌｉｚ Ｓｈｒｉｂｅｒｇ，ａｎｄ Ｄｅｂｒａ Ｂｉａｓｃａ，"Ｓｗｉｔｃｈｂｏａｒｄ ＳＷＢＤ−ＤＡＭＳＬ Ｓｈａｌｌｏｗ−Ｄｉｓｃｏｕｒｓｅ−Ｆｕｎｃｔｉｏｎ Ａｎｎｏｔａｔｉｏｎ Ｃｏｄｅｒｓ Ｍａｎｕａｌ"，Ａｕｇｕｓｔ １，１９９７． Ａｌｌｅｎ Ｅ．Ｉｖｅｙ ａｎｄ Ｍａｒｙ Ｂｒａｄｆｏｒｄ Ｉｖｅｙ，"Ｉｎｔｅｎｔｉｏｎａｌ Ｉｎｔｅｒｖｉｅｗｉｎｇ ａｎｄ Ｃｏｕｎｓｅｌｉｎｇ：Ｆａｃｉｌｉｔａｔｉｎｇ Ｃｌｉｅｎｔ Ｄｅｖｅｌｏｐｍｅｎｔ ｉｎ ａ Ｍｕｌｔｉｃｕｌｔｕｒａｌ Ｓｏｃｉｅｔｙ"，Ｂｒｏｏｋｓ／Ｃｏｌｅ Ｐｕｂｌｉｓｈｉｎｇ Ｃｏｍｐａｎｙ，２００２．

対話システムにおいては、話者が聞き役と話し役にわかれ、聞き役は積極的に話し役の話を聞く対話のことを「聞き役対話」と呼ぶ。

従来、特許文献２の対話評価システムように雑談から作成した隠れマルコフモデルを用いて対話を評価する方法はあった。しかし、聞き役対話に注目したものはなかった。傾聴ボランティアやカウンセリングが重要視される中、聞き役対話らしさを評価することは重要な課題である。

また、特許文献２は、雑談から作成した単一の隠れマルコフモデルのみを用いて対話の評価を行っている。しかし、聞き役対話のような相手の話を聞くという行為は、雑談の中にも現れる。ゆえに、聞き役対話のデータからのみ作成した隠れマルコフモデルで聞き役対話らしさを評価すると、雑談らしさと聞き役らしさの混じったものを評価することになる。これでは、聞き役らしさそのものを評価できているとはいえない。

そこで、本発明は、予め収集した聞き役対話データと雑談データに基づき聞き役対話と雑談の隠れマルコフモデルを作成し、この両者のモデルからの評価対象の対話行為のデータ列の出力確率を比較することで、前記対話行為の聞き役対話らしさを評価する。

本発明の聞き役対話評価装置の態様としては、対話システムにおける聞き役対話を評価する聞き役対話評価装置であって、対話システムにおいて予め収録した聞き役対話データの遷移状態をモデル化した聞き役対話の隠れマルコフモデルを作成する共に当該対話システムにおいて予め収録した雑談データの遷移状態をモデル化した雑談の隠れマルコフモデルを作成するモデル学習手段と、評価対象の対話データを前記聞き役対話の隠れマルコフモデルと前記雑談の隠れマルコフモデルとに適用して当該各モデルからの前記対話データのデータ列の出力確率を算出してこの両者の出力確率を比較することで前記評価対象の対話の聞き役対話らしさを評価する評価手段を備える。

また、本発明の聞き役対話評価方法の態様としては、対話システムにおける聞き役対話を評価する聞き役対話評価方法であって、モデル学習手段が対話システムにおいて予め収録した聞き役対話データの遷移状態をモデル化した聞き役対話の隠れマルコフモデルを作成する共に当該対話システムにおいて予め収録した雑談データの遷移状態をモデル化した雑談の隠れマルコフモデルを作成するステップと、評価手段が評価対象の対話データを前記聞き役対話の隠れマルコフモデルと前記雑談の隠れマルコフモデルとに適用して当該各モデルからの前記対話データのデータ列の出力確率を算出してこの両者の出力確率を比較することで前記評価対象の対話の聞き役対話らしさを評価するステップを有する。

本発明は、前記聞き役対話評価装置を構成する各手段としてコンピュータを機能させる聞き役性能評価プログラムの態様とすることができる。

したがって、以上の発明によれば、対話システムにおける聞き役らしさを客観的かつ定量的に評価できる。また、人同士の対話における聞き役らしさを評価にも利用することができるので、例えば、カウンセラーや傾聴ボランティアの技能評価に利用することができる。

発明の実施形態に係る聞き役対話評価装置の概略構成図。 発明の実施形態に係る聞き役対話評価の手順を示したフローチャート。 聞き役と話し役との対話から抜粋された対話行為の事例を示す図。 発明に係る聞き役対話評価装置の実施例によって算出された聞き役対話の隠れマルコフモデルの一例を示した図。 発明に係る聞き役対話評価装置の実施例によって算出された雑談の隠れマルコフモデルの一例を示した図。 発明に係る聞き役対話評価装置の実施例による聞き役対話評価実行結果。 聞き役対話評価実行結果（図６の続き）。 聞き役対話評価実行結果（図７の続き）。

以下、図面を参照しながら発明の実施形態について説明する。

図１に示された発明の実施形態に係る聞き役対話評価装置１は、音声またはテキストの入力により与えられた対話ログに一連の処理を行い、その対話の聞き役対話らしさを判定する。聞き役対話評価装置１は予め聞き役対話と雑談とを収集したデータに対話行為のタグ付けを行い、聞き役対話と雑談の対話を隠れマルコフモデル（Ｈｉｄｄｅｎ Ｍａｒｋｏｖ Ｍｏｄｅｌ：以下、ＨＭＭと称する）によりモデル化する。そして、聞き役対話から作成したＨＭＭと雑談から作成したＨＭＭのそれぞれから評価対象の対話行為のタグが出力される確率（出力確率）を比較することで、聞き役対話らしさを判定する。聞き役対話は雑談の要素を含んでいるため、聞き役対話から作成したＨＭＭだけ使う手法では聞き役対話らしさを判定することは難しいが、聞き役対話と雑談のそれぞれのＨＭＭを使うことによって、雑談と聞き役対話の差異を明確に判定することができる。これにより、対話システムにおける客観的な聞き役の対話性能の評価が実現する。

聞き役対話評価装置１はＨＭＭ学習部３０と聞き役対話評価部６０とを備えている。ＨＭＭ学習部３０及び聞き役対話評価部６０は少なくともＨＭＭの主要アルゴリズム（Ｖｉｔｅｒｂｉアルゴリズム、前向きアルゴリズム、Ｂａｕｍ−Ｗｅｌｃｈアルゴリズム等）に基づく演算機能を有している。

ＨＭＭ学習部３０は対話システムにおいて予め収録した聞き役対話データ１０の遷移状態をモデル化した聞き役対話ＨＭＭ４０を作成する共に当該対話システムにおいて予め収録した雑談データ２０の遷移状態をモデル化した雑談ＨＭＭ５０を作成する。

また、聞き役対話データ１０及び雑談データ２０はデータ列毎に対話行為を示すタグが付与されることで、対話行為が反映された聞き役対話ＨＭＭ４０及び雑談ＨＭＭ５０がＨＭＭ学習部３０によって生成される。

すなわち、ＨＭＭ学習部３０は、予め収録した一方が聞き役となって進行する対話（以下、聞き役対話）と聞き役・話し役を分けずに進行する対話（以下、雑談）について対話の段階毎に対話行為を示すタグとして「対話行為タグ」がラベル付けされた学習データ（聞き役対話データ１０、雑談対話データ２０）の入力を受ける。そして、各対話行為の状態へ遷移する確率をＨＭＭによってモデル化した聞き役ＨＭＭ４０と雑談ＨＭＭ５０を生成する。ＨＭＭ４０，５０の生成には前記主要アルゴリズムの一つであるＥＭアルゴリズム（Ｂａｕｍ−Ｗｅｌｃｈアルゴリズム）が適用される。

「聞き役対話」及び「雑談」は、発話の形態が音声である場合には、周知の自動音声認識技術や人手による書き起こしによって、予めテキスト化しておく。

「対話行為タグ」としては、例えば、以下に定義される「自己開示」、「情報提供」、「相槌」、「質問、「共感」、「挨拶」等が挙げられる。

自己開示：嗜好や感情を開示している発話。（例）私は映画を見るのが好きなんです。

情報提供：客観的な情報を伝えている発話。（例）レッドクリフにはトニーレオンがでてますよ。

相槌：対話相手の発話を促す。（例）うんうん。

質問：相手の返答を期待した発話。（例）他にどんな映画が好きなんですか？。

共感：共感した発話や、相手への励ましなど。（例）私もトニーレオンが大好きなんです。

挨拶：対話の最初と最後に見られる社会的な発話。（例）こんにちは。

対話の段階毎の「対話行為タグ」のタグ付けの方法は手入力によるものまたは自動的なものがある。自動的な方法としては、例えば、ＣＲＦ（Ｃｏｎｄｉｔｉｏｎａｌ Ｒａｎｄｏｍ Ｆｉｅｌｄｓ）などの系列ラベリングの手法を用いることである程度の学習データからラベル付を自動化する方法がある。以上のタグ付けの方法は聞き役対話評価部６０に供される対話ログデータ７０への対話行為タグの付与にも適用すればよい。

聞き役対話評価部６０は、評価対象である被評価対話９０の対話ログデータ７０を聞き役対話ＨＭＭ４０と雑談ＨＭＭ５０とに適用してＨＭＭ４０，５０からの対話ログデータ７０のデータ列の出力確率を算出してこの両者の出力確率を比較することで被評価対話９０の聞き役対話らしさを評価する。

また、対話ログデータ７０は聞き役対話データ１０及び雑談データ２０と同様にデータ列毎に対話行為を示すタグが付与されることで、対話行為が反映された被評価対話９０の聞き役対話らしさの評価が聞き役対評価部６０によって実行される。対話ログデータ７０はデータ１０，２０と同様に対話の音声またはテキストから得られたものである。データ７０の元となる発話が音声である場合には前記インスタントメッセンジャー機能によってテキスト化される。

すなわち、聞き役対話評価部６０は、評価したい対話ログデータ７０の対話行為タグの系列を、ＨＭＭ学習部３０で生成した聞き役ＨＭＭ４０と雑談ＨＭＭ５０の各モデルに適用する。そして、その対話行為タグの系列が聞き役ＨＭＭ４０と雑談ＨＭＭ５０のそれぞれから出力される確率を算出する。これらの確率の算出には前記主要アルゴリズムであるＶｉｔｅｒｂｉアルゴリズム、前向きアルゴリズムが適用される。そして、この算出した聞き役対話ＨＭＭにおける出力確率Ｐ_kと雑談ＨＭＭにおける出力確率Ｐ_zとから「聞き役らしさ」の指標を表すスコアＳである聞き役対話スコア８０をＳ＝ｌｏｇ（Ｐ_k）−ｌｏｇ（Ｐ_z）の演算によって算出して出力する。

図２のフローチャートを参照しながら本実施形態に係る聞き役対話の評価手順と各手順の具体的な実施例について説明する。

Ｓ１：聞き役対話の評価に先立ち、聞き役対話と雑談が収録され、聞き役対話データ１０と雑談データ２０が予め作成される。

Ｓ１の実施例では次のような流れによりデータを収録した。本実施例のデータ収集参加者は計１６人として、８人を聞き役とし、残り８人を話し役とした。男女比は半々とし、年齢は、２１〜２９歳であった。それぞれの実験参加者には最初に２対話雑談を行い、その後２対話聞き役対話を行い、計４対話行ってもらった。全部で３２対話収集した。

雑談を収録する際には、その後に割り振られる役割について実験参加者には知らせていない。雑談収録後にそれぞれの役割について知らせている。また、収録前、収録中を通して、実験参加者は対話の相手とは顔を合わせることはないように、聞き役と話し役は別々の部屋で収録を行った。

聞き役対話の例として図３に示したような対話が収録された。図３では聞き役（Ｌ）が話し役（Ｓ）に繰り返し質問をすることで話し役の自己開示を促している。

また、実験開始前に、実験者が用意した複数のトピックの中から好きなトピックを選んでもらい、それぞれの実験参加者が好きなトピックについて、３０分間チャットを行った。トピックは、食べ物、旅行、映画、音楽、芸能人、スポーツ、健康、家事および育児、パソコンおよびインターネット、動物、ファッション、ゲームとした。

表１は収集した対話数、発話数、一発話あたりの聞き役と話し役の平均単語数を示している。聞き役対話での発話は雑談発話より長く話している。実験参加者が自分自身を理解してもらうためにより詳しく自分自身について述べているためと思われる。

また、それぞれの対話の後には、実験参加者にはアンケートに答えてもらい、対話の満足度や対話の相手に対してどの程度自分のことを話すことができたかなどを、１０段階のリッカート尺度で測った。このアンケート結果によると、聞き役対話では話し役は雑談にくらべて、満足度を下げることなく、「聞いてもらえている」という感覚を得ることができていた（Ｗｅｌｃｈ’ｓ ｐａｉｒｗｉｓｅ ｔ−ｔｅｓｔ；ｐ＝０．０１６）。これは、実験参加者が、聞き役としての役割を行えていることとともに、収集した聞き役対話の特徴を分析することには意味があるということを示している。

Ｓ２：Ｓ１で収集した聞き役対話データ１０と雑談データ２０の対話ログに対して対話行為タグとして前記定義された「自己開示」「情報提供」「相槌」「質問」「共感」「挨拶」のいずれかが対話ログの一文ずつに付与される。一文とは、基本的に読点、若しくは一発話終了時を切れ目としたものであり、一文と思われるものの途中で発話が終了している場合や、読点が適切に挿入されていない場合は、アノテータ（タグ付与者）に適切な文区切りを決定してもらった。

これらのタグは、一般的な対話のタグ付を行うために作られたＤＡＭＳＬタグセット（非特許文献１）と、セラピー対話用のタグセット（非特許文献２）を参考にした。

アノテータがそれぞれの発話文に７つのタグ（６つの対話行為タグと“その他”タグ）をつけた。結果として、１１７７個のタグが聞き役対話に、１３１２個のタグが雑談に付与された。タグの数と発話数が一致しないのは、テキスト対話であるという性質上一発話が長いため、一文毎にタグをつけたためである。

Ｓ３：ＨＭＭ学習部３０はＳ２で対話行為タグが付与された聞き役対話データ１０及び雑談データ２０を用いてＨＭＭを学習することにより、聞き役対話データ１０から聞き役対話ＨＭＭ４０を、雑談データ２０から雑談ＨＭＭ５０を作成する。

Ｓ３の実施例では対話行為タグの系列を学習データとし、前記主要アルゴリズムとしてＥＭアルゴリズムを用いてＨＭＭの学習を行った。最も状態数が少なく最適なＨＭＭを見つけるために、状態数を１〜１０個と変動させ、それぞれの状態数で１００個のＨＭＭ、計１０００個のＨＭＭを学習した。これは、ＨＭＭは初期確率に依存して学習結果が変わるためである。この１０００個のＨＭＭからＭＤＬ（Ｍｉｎｉｍｕｍ Ｄｅｓｃｒｉｐｔｉｏｎ Ｌｅｎｇｔｈ）尺度を用いて最適なＨＭＭを１つ選ぶ。７つの発話行為タグを聞き役と話し役それぞれを別の観測値として考え、計１４個の観測値を用いて、モデリングした。具体的には、観測値は次の１４個である。
（０）聞き役_自己開示
（１）聞き役_情報提供
（２）聞き役_相槌
（３）聞き役_質問
（４）聞き役_共感
（５）聞き役_挨拶
（６）聞き役_その他
（７）話し役_自己開示
（８）話し役_情報提供
（９）話し役_相槌
（１０）話し役_質問
（１１）話し役_共感
（１２）話し役_挨拶
（１３）話し役_その他
２つの方法を用いてＨＭＭの分析を行った。すなわち、状態の半分は、話し手の談話行為タグしか出力せず、残り半分は聞き手の談話行為タグしか出力しないようにし、状態の遷移はすべての状態へ可能として学習した。

Ｓ３での学習結果である聞き役対話ＨＭＭ、雑談ＨＭＭを図４、図５にそれぞれ示した。

図４、図５において、楕円型モデルで示した状態（１）〜（６）には、発話者とその発話行為及びその観測確率が記載されており、“発話者：発話行為タグ：確率”の順で示されている。Ｌは「聞き役」、Ｓは「話し役」、Ｇｒｅｅｔｉｎｇは「挨拶」、Ｓｅｌｆ−ｄｉｓｃｌｏｓｕｒｅは「自己開示」、Ｑｕｅｓｔｉｏｎは「質問」、Ａｃｋは「相槌」を表している。また、図４、図５に記載の矢印に付された数値は同一状態での遷移確率または二つの異なる状態の間での遷移確率を示す。観測確率と遷移確率は０．１以上のもののみを示している。例えば、図４に示された状態（１）における“Ｌ：Ｇｒｅｅｔｉｎｇ：０．８８８”は聞き役の「挨拶」の観測確率が０．８８８であることを表している。

Ｓ４：評価対象の対話９０を収録し、一文ずつにＳ２の対話行為タグと同様のタグを付与し、タグ系列の対話ログデータ８０が作成される。Ｓ４の実施例でのタグ付けは手入力で行った。

Ｓ５：聞き役対話評価部６０は、対話ログデータ７０のタグ系列が出力される確率を聞き役対話ＨＭＭ４０、雑談ＨＭＭ５０のそれぞれから算出し、これらの算出された確率を下記式による演算に供して聞き役対話スコア８０を算出する。

Ｓ＝ｌｏｇ（Ｐ_k）−ｌｏｇ（Ｐ_z）
Ｓ：聞き役対話スコア８０
Ｐ_k：聞き役対話ＨＭＭ４０から算出された対話ログデータ７０のタグ系列の出力確率
Ｐ_z：雑談ＨＭＭ５０から算出された対話ログデータ７０のタグ系列の出力確率
上記算出された聞き役対話スコア８０が大きければ大きいほど、「聞き役対話らしい」と判定される。逆に、小さければ小さいほど、「雑談に近い」と判定される。

Ｓ５の実施例である演算実行結果（聞き役対話識別実行結果）を図６〜図８に示した。ここでは、聞き役対話８つ、雑談８つから作成したＨＭＭに、聞き役対話８つ、雑談対話８つの出力確率を算出し、聞き役スコアＳを計算している。

図６〜図８において、「ｓｅｑ」の行から「ｋｉｋｉｙａｋｕ ｒａｔｉｏ」の行までが、ひとつの対話の識別結果を示しており、「ｓｅｑ」は、１対話の開始時から終了時までのタグの系列を表しており、ＨＭＭ学習時に用いた１４個の観測値を数値として表現している。図示された実行結果内の「０」〜「１３」は手順Ｓ３の観測値（０）〜（１３）にそれぞれ対応する。「ｋｉｋｉｙａｋｕ ｐｒｏｂ」は聞き役対話ＨＭＭからの出力確率、「ｚａｔｕｄａｎ ｐｒｏｂ」は雑談ＨＭＭからの出力確率である。また、「ｋｉｋｉｙａｋｕ ｒａｔｉｏ」は聞き役スコアＳを表している。

聞き役対話には０以上の値、雑談には０以下の値が算出されており、それぞれの特徴を評価した判別が行えているといえる。

人は聞いてもらうことで、話したいという欲求を満足され、心的状態が良好に保つことができる。以上の説明から明らかなように本発明に係る聞き役対話評価装置１は、聞き役対話スコアが高いほど聞き役らしい対話を行えていると評価しているので、人同士の対話が聞き役対話らしいであるかどうかの判別が行える。

したがって、聞き役対話の客観的な評価が行える。また、カウンセラーや傾聴ボランティアを行う人々の技能向上に役に立つ。さらに、聞き役となるシステムを開発する場合、評価コストの削減ができる。

以上の聞き役対話評価装置１を構成する機能手段３０，６０は、コンピュータのハードウェアリソース、例えばＣＰＵ、メモリ（ＲＡＭ）、ハードディスク装置、通信デバイス等によって構成できる。すなわち、機能手段３０，６０はＣＰＵとプログラムとの協働によって実現できる。また、データ１０，２０，７０，８０はハードディスク装置やサーバ装置に例示される記録手段に一時的に格納すればよい。機能手段３０から出力されるデータや機能手段６０から出力されるデータは表示装置を介して適宜に出力表示される。

また、本発明は機能手段３０，６０をコンピュータに実現させる文書格納プログラムまたはこれを記録したコンピュータ読み取り可能な記録媒体の態様としてコンピュータのＣＰＵ（ＭＰＵ）が当該プログラムを読み出し実行することで実現できる。この場合、記録媒体から読み出されたプログラム自体が上述した実施の形態の機能を実現することになり、そのプログラムを記憶した記録媒体、例えばＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、ＣＤ−Ｒ、ＭＯ、ＨＤＤ等は本発明を構成する。

１…聞き役対話評価装置
１０…聞き役対話データ
２０…雑談データ
３０…ＨＭＭ（隠れマルコフモデル）学習部（モデル学習手段）
４０…聞き役対話ＨＭＭ
５０…雑談ＨＭＭ
６０…聞き役対話評価部（評価手段）
７０…対話ログデータ
８０…聞き役対話スコア

Claims (9)

1. 対話システムにおける聞き役対話を評価する聞き役対話評価装置であって、
   対話システムにおいて予め収録した聞き役対話データの遷移状態をモデル化した聞き役対話の隠れマルコフモデルを作成する共に当該対話システムにおいて予め収録した雑談データの遷移状態をモデル化した雑談の隠れマルコフモデルを作成するモデル学習手段と、
   評価対象の対話データを前記聞き役対話の隠れマルコフモデルと前記雑談の隠れマルコフモデルとに適用して当該各モデルからの前記対話データのデータ列の出力確率を算出してこの両者の出力確率を比較することで前記評価対象の対話の聞き役対話らしさを評価する評価手段と
   を備えたこと
   特徴とする聞き役対話評価装置。
2. 前記評価手段は、前記両者の出力確率の対数差に基づき前記聞き役対話らしさを評価すること
   を特徴とする請求項１に記載の聞き役対話評価装置。
3. 前記モデル学習手段は、前記聞き役対話データのデータ列毎に対話行為を示すタグが付与されたものに基づき前記聞き役対話の隠れマルコフモデルを作成すると共に、前記雑談データのデータ列毎に対話行為を示すタグが付与されたものに基づき前記雑談の隠れマルコフモデルを作成すること
   を特徴とする請求項１または２に記載の聞き役対話評価装置。
4. 前記評価手段は、評価対象の対話データのデータ列毎に対話行為を示すタグが付与されたものを前記聞き役対話の隠れマルコフモデルと前記雑談の隠れマルコフモデルとに適用して当該各モデルからの前記対話データのデータ列の出力確率を算出すること
   を特徴とする請求項３に記載の聞き役対話評価装置。
5. 対話システムにおける聞き役対話を評価する聞き役対話評価方法であって、
   モデル学習手段が対話システムにおいて予め収録した聞き役対話データの遷移状態をモデル化した聞き役対話の隠れマルコフモデルを作成する共に当該対話システムにおいて予め収録した雑談データの遷移状態をモデル化した雑談の隠れマルコフモデルを作成するステップと、
   評価手段が評価対象の対話データを前記聞き役対話の隠れマルコフモデルと前記雑談の隠れマルコフモデルとに適用して当該各モデルからの前記対話データのデータ列の出力確率を算出してこの両者の出力確率を比較することで前記評価対象の対話の聞き役対話らしさを評価するステップと
   を有すること
   特徴とする聞き役対話評価方法。
6. 前記評価のステップでは、前記両者の出力確率の対数差に基づき前記聞き役対話らしさを評価すること
   を特徴とする請求項５に記載の聞き役対話評価方法。
7. 前記聞き役対話の隠れマルコフモデルと前記雑談の隠れマルコフモデルとを作成するステップでは、前記聞き役対話データのデータ列毎に対話行為を示すタグが付与されたものに基づき前記聞き役対話の隠れマルコフモデルを作成する共に、前記雑談データのデータ列毎に対話行為を示すタグが付与されたものに基づき前記雑談の隠れマルコフモデルを作成すること
   を特徴とする請求項５または６に記載の聞き役対話評価方法。
8. 前記評価のステップでは、評価対象の対話データのデータ列毎に対話行為を示すタグが付与されたものを前記聞き役対話の隠れマルコフモデルと前記雑談の隠れマルコフモデルとに適用して当該各モデルからの前記対話データのデータ列の出力確率を算出すること
   を特徴とする請求項７に記載の聞き役対話評価方法。
9. 請求項１から４のいずれか１項に記載の聞き役対話評価装置を構成する各手段としてコンピュータを機能させる聞き役対話評価プログラム。

Images