JP7252690B2 - 会話処理装置、会話処理システム、会話処理方法及びプログラム - Google Patents

会話処理装置、会話処理システム、会話処理方法及びプログラム Download PDF

Info

Publication number
JP7252690B2
JP7252690B2 JP2018072745A JP2018072745A JP7252690B2 JP 7252690 B2 JP7252690 B2 JP 7252690B2 JP 2018072745 A JP2018072745 A JP 2018072745A JP 2018072745 A JP2018072745 A JP 2018072745A JP 7252690 B2 JP7252690 B2 JP 7252690B2
Authority
JP
Japan
Prior art keywords
sentence
conversation
input
response sentence
user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018072745A
Other languages
English (en)
Other versions
JP2019185230A (ja
Inventor
義尚 櫻井
節夫 鶴田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Individual
Original Assignee
Individual
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Individual filed Critical Individual
Priority to JP2018072745A priority Critical patent/JP7252690B2/ja
Publication of JP2019185230A publication Critical patent/JP2019185230A/ja
Application granted granted Critical
Publication of JP7252690B2 publication Critical patent/JP7252690B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Machine Translation (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • User Interface Of Digital Computer (AREA)

Description

特許法第30条第2項適用 ・公開日 平成29年10月5日(木) 刊行物名 Proceedings of IEEE International Conference on Systems, Man,and Cybernetics 2017 ・公開日 平成29年10月7日(土) 研究集会名 IEEE International Conference on Systems, Man, and Cybernetics 2017
本発明は、会話処理装置、会話処理システム、会話処理方法及びプログラムに関する。
厚生労働省の患者調査では、気分[感情]障害の推計患者数が2008年に100万人を超え、2014年においても約112万人となっている等、近年、様々な悩みや課題を抱えるユーザが増えている。ユーザが自分の抱える悩みや課題の本質を自分自身では言語化できない場合があり、その場合にはユーザ自身の力で悩みや課題を解決することは難しい。
上述のようにユーザの抱える悩みや課題を解決するために、カウンセラー(相談員)と会話する、カウンセリングを受ける等によって支援を受けるという対策が考えられる。ところが、ユーザの悩みや課題に精通するカウンセラーはまだ少なく、さらにカウンセラーが対応可能な人数は1か月あたり延べ20人から30人程度であるので、圧倒的な人手不足な状態である。
そこで、カウンセラーによるユーザの支援を代行できるソフトウェアエージェントが求められている。例えば、非特許文献1に開示されているELIZAは、ユーザが入力したテキスト内容を同じテキスト内容で言い換える、いわゆるオウム返しする応答文を作成する。
また、会話を継続させるために新たな話題への転換を含めて誘導する応答も行う。
しかし、ELIZAはユーザの入力内容と同じ内容を応答することや、会話の継続のために話題を広げたりするので、ユーザの抱える悩みや課題に焦点を絞って具体化し、精神的な深い悩みや課題を解決することは困難であると考えられる。
上述のようなユーザの精神的な深い悩みや課題を解決する目的で、特許文献1に記載の内省支援装置が提案されている。特許文献1に記載の内省支援装置は、職業と、職業に対応する課題とを対応づけるとともに、職業および課題の関連キーワードを対応づける属性データを記憶する記憶装置と、ユーザの課題を特定する課題特定手段と、特定されたユーザの課題について、ユーザによる解決を支援する課題解決支援手段を備える。特許文献1に記載の内省支援装置では、ユーザの話す事柄や感情のキーワードを利用し、文脈を維持しつつ、課題の詳細を問い合わせるための問い合わせを織り交ぜて応答を繰り返すことによって、ユーザの悩みや課題を特定し、ユーザに対して内省による整理を促し、改善の気づきを与える。
特開2014-229180号公報
狩野芳伸;「コンピューターに話が通じるか:対話システムの現在」,情報管理,59巻,10号,pp.658-665,(2016)
上述のように、非特許文献1に記載のソフトウェアエージェントでは、ユーザの抱える悩みや課題を具体化し、精神的な深い悩みや課題を解決することは困難であるという問題があった。また、特許文献1に記載の内省支援装置では、ユーザに対して職業と、職業に対応する課題を特定するための問い合わせがされるが、適切な問い合わせには膨大な知識情報が必要なため、装置の構築にコストがかかる。また、ユーザの抱える悩みや課題によっては適切な問い合わせが困難であることも多いうえに、問い合わせが不適切な場合や問い合わせること自体に対して、ユーザは話がそれたと感じ、ストレス・不安を感じるという問題があった。また、特許文献1に記載の内省支援装置では、応答文が課題特定に注力して作成される一方で、ユーザは自分が尊重されていない、あるいは自分の立場を理解されていないと思う場合や、寂しさを感じる場合があるという問題があった。また、このようなユーザと内省支援装置との距離感が影響し、会話が長続きし難く、ユーザの深い悩みの自発的解決に至らない、至ったとしてもユーザにストレスが残る虞があるという問題があった。
本発明は、上記問題を解決するためになされたものであって、ユーザを尊重すると共にユーザの気持ちに寄り添いつつ会話を継続し、ユーザの内面を引き出すことによって、ユーザ自身がストレス・寂しさ・不安を解消しながら、ユーザが抱える悩みや課題の自発的な解決に導くことができる会話処理装置、会話処理システム、会話処理方法及びプログラムを提供する。
上記問題を解決するために、本発明の一態様は、ユーザの発言に含まれる自然言語要素の少なくとも一部を入力文とし、前記入力文の語尾に前記発言内容の確認を促進する確認促進用応答文が接続された確認促進用応答文付き入力文、前記発言に対する共感を示す共感用応答文、及び、前記ユーザとの会話の内容を具体化する前記会話内容具体化用応答文のいずれか一以上を含む応答文に基づいて出力応答文を作成する出力応答文作成部を備えることを特徴とする会話処理装置である。
また、本発明の一態様は、前記出力応答文作成部は、前記ユーザ自身を示す二人称表現語句、修飾語、及び、述語、のいずれか一以上を省略して前記出力応答文を作成し、前記出力応答文は、少なくとも前記確認促進用応答文付き入力文、及び、前記会話内容具体化用応答文を含み、前記出力応答文作成部は、前記確認促進用応答文付き入力文、前記会話内容具体化用応答文を含む前記出力応答文を作成する会話処理装置である。
また、本発明の一態様は、前記発言からの前記自然言語要素の抽出の不良の有無を前記ユーザの入力に基づいて判断し、前記不良が有ると判断された際に前記ユーザに再度の発言を求める自然言語要素抽出不良判断部をさらに備える会話処理装置である。
また、本発明の一態様は、上述の会話処理装置と、前記発言に含まれる前記自然言語要素を抽出し、前記自然言語要素の少なくとも一部を前記入力文として記憶する入力文記憶部と、前記入力文を含むユーザの過去の会話内容を記録するログ記憶部と、前記共感用応答文、前記入力文と前記入力文に接続した前記確認促進用応答文、及び、前記会話内容具体化用応答文が記憶されている応答文記憶部と、を備え、前記出力応答文作成部は、前記入力文記憶部及び前記ログ記憶部から前記入力文を読み出すと共に、前記応答文記憶部から前記共感用応答文、前記入力文と前記入力文に接続した前記確認促進用応答文、前記会話内容具体化用応答文を読み出し、前記出力応答文を作成することを特徴とする会話処理システムである。
また、本発明の一態様は、上述の前記ユーザの発言が入力される入力装置と、前記出力応答文を音声情報及び視覚情報として出力する出力装置と、をさらに備える会話処理システムである。
また、本発明の一態様は、前記入力装置がユーザを含む入力側の環境情報を取得し、前記出力応答文作成部が前記環境情報に基づいて前記出力応答文を作成する会話処理システムである。
また、本発明の一態様は、前記入力文記憶部及び前記ログ記憶部が、過去の会話時の前記ユーザの発言を既入力文として記憶し、前記出力応答文作成部が前記入力文が前記既入力文と一致すると判断したときに、過去を示す過去応答文、前記既入力文、前記確認促進用応答文を含む前記出力応答文を作成する会話処理システムである。
また、本発明の一態様は、前記出力応答文に合わせて動く頭部、胴体部、手部、及び、脚部のいずれか一以上をさらに備える会話処理システムである。
また、本発明の一態様は、前記頭部、前記胴体部、前記手部、及び、前記脚部、のいずれか一以上が仮想的に表現されたものである会話処理システムである。
また、本発明の一態様は、ユーザの発言に含まれる自然言語要素を抽出して入力文を取得する入力文取得ステップと、前記入力文の語尾に前記発言の内容の確認を促進する確認促進用応答文が接続された確認促進用応答文付き入力文、前記発言に対する共感を示す共感用応答文、及び、前記ユーザとの会話の内容を具体化する会話内容具体化用応答文のいずれか一以上を含む応答文を用いて出力応答文を作成する出力応答文作成ステップと、を含むことを特徴とする会話処理方法である。
また、本発明の一態様は、ユーザの発言に含まれる自然言語要素を抽出して入力文を取得する入力文取得ステップと、前記入力文の語尾に前記発言の内容の確認を促進する確認促進用応答文が接続された確認促進用応答文付き入力文、前記発言に対する共感を示す共感用応答文、及び、前記ユーザとの会話の内容を具体化する会話内容具体化用応答文のいずれか一以上を含む応答文を用いて出力応答文を作成する出力応答文作成ステップと、を実行させるプログラムである。
本発明によれば、ユーザを尊重すると共にユーザの気持ちに寄り添いつつ会話を継続し、ユーザの内面を引き出すことによって、ユーザのストレス・寂しさ・不安を解消しながら、ユーザが抱える悩みや課題の自発的な解決に導くことができる。
本発明の第1の実施形態による会話処理システムの一例を示すブロック図である。 会話処理装置及び会話処理システムによる会話処理の手順を示すフローチャートである。 会話処理装置及び会話処理システムによる会話例である。 本発明の第2の実施形態による会話処理システムの一例を示すブロック図である。 会話処理システムのロボット装置の一部の模式図である。
以下、本発明の第1の実施形態による会話処理装置、会話処理システム、会話処理方法及びプログラムについて、図面を参照して説明する。
[第1の実施形態]
(会話処理装置、会話処理システム)
図1は、第1の実施形態による会話処理システムの一例を示す機能ブロック図である。図1に示すように、会話処理システム100は少なくとも会話処理装置1を備える。会話処理装置1は、少なくとも出力応答文作成部60を備え、音声認識部12、判断部(自然言語要素抽出不良判断部)80、応答文選択部94、学習部92、及び音声生成部13をさらに備える。会話処理システム100は、会話処理装置1に加えて、入力装置2と、記憶装置3と、出力装置4と、を備える。記憶装置3は、入力文記憶部30、応答文記憶部40、及びログ記憶部91を備える。
入力装置2は、ユーザの発言を入力可能な装置であり、例えばマイクやキーボード、デジタルペン等が挙げられる。入力装置2へのユーザの発言の入力形態は、発言に含まれる自然言語要素を抽出可能であれば特に限定されず、ユーザの音声、ユーザの発言の内容を表す文字等が広く含まれる。以下では、ユーザの音声が入力装置2に入力されるものと想定し、説明する。ただし、ユーザの発言が音声以外の入力形態で会話処理装置1に入力される場合は、音声認識部12及び音声生成部13は音声以外の入出力形態に合った認識部及び生成部に置き換えられる。
入力装置2は、上述の機能に加え、ユーザを含む入力側の環境情報を取得する機能を有していてもよい。ユーザを含む入力側の環境情報とは、例えば、会話中におけるユーザの表情、顔色、声色、瞬きの回数、口の動き、身振り手振り、視線等の非言語コミュニケーションにおける情報や、体温、脈波・脳波変動等の生体情報のことである。入力装置2が環境情報を取得する手段としては特に限定されず、例えば、視線追跡装置、赤外線センサ、体温計、深度センサ、着座センサ、脈波センサ、脳波センサ等が挙げられる。
入力装置2によって取得された視線、表情、身体動作、発声変化等の身体情報や発熱、脈拍、脳波等の生体信号に基づき、出力応答文作成部60はユーザの感情やその変化を推定する。感情を推定する方法としては特に限定されず、既知の方法を用いることができる。
入力文記憶部30は、ユーザの発言に含まれる自然言語要素を抽出し、抽出された自然言語要素の少なくとも一部を入力文として記憶する。入力文記憶部30は、例えば音声認識部12を介して入力装置2からユーザの音声(発言)に含まれる自然言語要素を受け取る。具体的には、入力文記憶部30は、コンピュータのメモリ等である。入力文記憶部30は、一時的にデータを記憶する揮発性メモリ等でもよく、長期的にデータを記憶する不揮発性メモリやハードディスク等でもよく、ネットワークサーバ上の記憶媒体でもよい。
また、入力文記憶部30は後述するログ記憶部91の機能を兼ねていてもよく、以後特に言及しない限り、入力文記憶部30は、ログ記憶部91の機能を兼ねているものとして説明する。
音声認識部12は、入力装置2から入力されたユーザの音声に対して、任意の音声認識サーバで音声認識を行い、ユーザの音声を自然言語テキスト(自然言語要素)に変換する。変換された自然言語テキストは所定のチェックや修正がなされる。
音声認識部12では、ユーザの発言の主旨の言い換え確認等の自然言語処理を行うため、例えば、入力されたユーザの音声(発言)の入力文の形態素解析、統語解析、構文解析を行う。入力文が日本語である場合、形態素解析等を行うツールは特に限定されないが、例えばMeCab(http://taku910.github.io/mecab/)、KAKASHI(http://kakasi.namazu.org/)等の標準ツールを用いることができる。以下に、ユーザの音声(発言)に対する形態素解析の一例を示す。
<例1>
ユーザ音声(発言):「就職活動で悩んでいます。」
→ (就職活動,名詞,シュウショクカツドウ)(で,助詞,デ)(悩ん,動詞,ナヤン)(で,助詞,デ)(い,動詞,イ)(ます,助動詞,マス)
<例2>
ユーザ音声(発言):「自分はSEの仕事をしたい。」
→ (自分,名詞,ジブン)(は,助詞,ハ)(SE,名詞,エスイー)(の,助詞,ノ)(仕事,名詞,シゴト)(し,動詞,シ)(たい,助動詞,タイ)
入力文記憶部30には、音声認識部12を用いた音声認識等によってユーザの音声から抽出された自然言語テキストを、出力応答文作成用の入力文(以下、応答文作成用入力文という場合がある)として記憶する。
また、ユーザの音声から抽出された自然言語テキストには、目的、願望、手段、理由、帰結感情等を示すタグが付加され、入力文記憶部30に記憶される。
また、ユーザの音声と同期して取得された環境情報がある場合には、喜怒哀楽の感情等のタグをさらに付加して入力文記憶部30に記憶される。
判断部80は、ユーザの音声から抽出された自然言語テキストの抽出の不良の有無を判断し、不良が有れば上述した所定の修正がなされる。自然言語テキストの抽出に対する判断は、例えば再帰型ニューラルネットワーク(RNN)やNグラムによる日本語文予測器(例えば、“Flick: Japanese Input Method Editor using N-gram and Recurrent Neural Network Language Model based Predictive Text Input”, Yukino Ikegami, Yoshitaka Sakurai, Ernesto Damiani, Rainer Knauf, Setsuo Tsuruta: SITIS2017, Jaipur, India, December 4-7, 2017 等、参照)を利用した認識結果正解判定機で行うことができる。
また、判断部80は、ユーザの音声から抽出された自然言語テキストの抽出の不良の有無に関する判断機会を提供し、ユーザからの入力に基づいて判断してもよい。この場合、判断部80が、後述する出力装置4に、ユーザの音声から抽出された自然言語テキストを表示させる。ユーザが表示された自然言語テキストについて不良の有無を判断し、入力装置2を介して当該判断結果を入力する。判断部80はユーザによって不良が有ると判断された場合には、上述した所定の修正を行う。
また、自然言語テキストの抽出において不良が有ると判断された際には、出力応答文作成部60で出力応答文として「もう一度お話しください」等の自然言語テキストを生成する。前述の出力応答文を音声情報として出力する場合には、音声生成部13で音声情報に変換し、出力装置4を通してユーザに音声情報又は視覚情報として出力することによって、判断部80はユーザに再度の発言を求めることができる。ただし、ユーザとの会話を妨げないように、応答時間・負荷・ソフトウェアエコの観点から、出力応答文作成部60での処理前に、音声認識部12において音声の認識や解釈、すなわち聞き違え等、精神的、認知的、哲学的気付き等との関連性が低い稚拙又は表面的な入力不良を、出力応答文作成部60で視覚情報として出力することが好ましい。
また、精神的悩みを持つユーザ本人やユーザと接している人間でなければ判定できない入力不良を処理するため、判定部80は、入力結果を視覚情報として、確認窓等のディスプレイの一部に表示し、例えば2秒~10秒間、一定時間待機させてもよい。ユーザは、入力不良を確認した場合、入力装置2を介して再入力をする。
また、ユーザが再入力をする場合、入力装置2は、入力装置2に設けられたスイッチ又はボタンを押すことによって、ユーザの再入力を許可するように構成してもよい。
音声認識部12は、再入力されたユーザの音声に対し、直前の抽出とは異なる変換法や音声認識法を用いてもよい。異なる変換法の例としては、代替の変換表項目、変換辞書、異なる音声認識法の例としては、代替音声認識器や多重化音声識別器が挙げられる。異なる変換法は、入力不良又は再入力回数に応じて、変更してもよい。
また、会話処理システム100自体の演算能力及び処理能力の限界による誤認識や、その確認のための待機時間に起因する会話の断絶を防止する点から、出力応答文作成部60は、待機時間中又はその前後に、音声の出力や後述する第二実施形態の視覚情報を出力してもよく、再入力促進出力として前述の音声や視覚情報を出力してよい。
再入力送信出力とは、例えば、「フムフム」等の音声や動作での相槌や、確認窓等のディスプレイの一部にテキストを表示したり、頷き等の動作を表示させたりする出力のことである。
判断部80での自然言語テキストの抽出の不良の有無についての判断結果、及び、辞書利用・予測自動修正/会話修正による修正結果は、入力文記憶部30に記憶される。また、判断結果等は、出力装置4に表示される。
また、判断部80では、音声認識部12からの返り値による不良の自動確認と不良時の音声認識部12での音声認識の再試行を行うことができる。判断結果の表示による会話の確認(すなわち、再入力)と不良時の音声認識部12での音声認識の再試行が可能である。修正結果は、入力文記憶部30に記憶され、ユーザごとに対応した辞書等に反映される。
応答文記憶部40には、ユーザの発言に対する共感を示す共感用応答文、直前のユーザの発言の内容である発言内容の確認を促進する確認促進用応答文、及び、ユーザとのある期間における複数回のユーザの発言の内容である会話内容を具体化する会話内容具体化用応答文が記憶されている。共感用応答文としては、例えば「ふーん」、「ふむふむ」、「うんうん」等が挙げられる。共感用応答文は、会話処理装置1及び会話処理システム100がユーザとの会話時にユーザを尊重・尊敬すると共にユーザに寄り添うことに寄与する。確認促進用応答文としては、「なんですね」、「なんだ」等が挙げられる。確認促進用応答文は、ユーザに対してユーザ自身が発言した内容を自然に自覚させる効果を有する。会話内容具体化用応答文としては、例えば「それで」、「もう少し詳しくお話しください」、「具体的にお話しください」、「もっと詳しく」等が挙げられる。会話内容具体化用応答文は、ユーザの発言や発言の内容の主旨からそれずに、ユーザの内面を引き出す効果を有する。
また、会話内容具体化用応答文は、ユーザが抱える悩みや課題の焦点を絞り、ユーザに問題を気付かせ易くする効果を有する問題焦点化用応答文としての機能も有する。
また、共感用応答文、確認促進用応答文、会話内容具体化用応答文は、どのような文脈でもユーザに違和感を覚えさせず、かつ話題を逸らすことが無いよう簡潔なものであることが好ましい。
また、共感用応答文、確認促進用応答文、会話内容具体化用応答文は、ユーザを退屈させないために、類似の意味のものであっても複数用意することが好ましい。
また、共感用応答文、確認促進用応答文、会話内容具体化用応答文は文章であってもよく、一語以上の語句であってもよい。
また、共感用応答文、確認促進用応答文、会話内容具体化用応答文、は複数の種類から所定のルールに基づいて選択されるものであってもよい。
出力応答文作成部60は、入力文記憶部30から入力文を読み出すと共に、応答文記憶部40から共感用応答文、確認促進用応答文、会話内容具体化用応答文を読み出す。出力応答文作成部60は、読み出された入力文の語尾に確認促進用応答文が接続された確認促進用応答文付き入力文、共感用応答文、及び、会話内容具体化用応答文のいずれか一以上の応答文を用いて出力応答文を作成する。出力応答文作成部60は、基本形として、確認促進用応答文付き入力文を含む出力応答文を作成する。出力応答文作成部60は、発展形として、確認促進用応答文付き入力文、会話内容具体化用応答文を含む出力応答文を作成する。さらに、出力応答文作成部60は、別の発展形として、共感用応答文を加えた出力応答文を作成する。ユーザが会話の際に親近感を覚えることから、共感用応答文は、文頭に加えられることが好ましい。
出力応答文作成部60は、ユーザの発言から前述のように自然言語テキストが抽出され、抽出された自然言語テキストから、「私は」、「自分は」、「俺は」等のユーザ自身を示す一人称表現語句を「あなたは」等に言い換えた二人称表現語句(以下、単に二人称表現語句ということがある)や形容詞、副詞等の修飾語、動詞を含む述語等を省いて、発言の主旨を日本語らしく、簡潔化してもよい。
例えば、二人称表現語句を省略して出力応答文を作成する場合、前述の形態素解析の例<例2>では、二人称表現語句に言い換えられる一人称表現語句は、(自分)、(は)の2つである。
具体的には、音声認識部12を用いたユーザの音声(発言)の形態素解析結果に対し、二人称表現語句や形容詞、副詞等の修飾語、動詞を含む述語等のうち、いずれか一つ又は複数を除いた直前のユーザの音声(発言)の主旨の確認用・絞込み型会話継続用の応答文の作成を行うためのロギングを行う。このようなロギングは、例えば、レギュラーマッチングを利用した<例3>に例示する条件発火ルールの選択及び実行によって行うことができる。
<例3>
ユーザ音声(発言):「自分はSEの仕事をしたいがプログラムが苦手なので就職できるか不安です。」
出力応答文:「SEの仕事をしたいがプログラムが苦手なので就職できるか不安なんですね。もう少し詳しくお話しください。」
条件発火ルール:
・条件文…
[ur‘自分は( (?:SE)|(?:PM)|(?:プログラマ)|(?:システム開発者)@1)(.*@2 )たいが(.*@3)ので( (?:就職)|(?:入社)|(?:卒業)|(?:合格)@4 )(.*@5)((?:不安)|(?:心配)|(?:気がり)@6 )(.*@7)’
(なお、上述の@nは説明用の記述でコーディング文には存在しない記述、uはユニコード、rはレギュラーエクスプレッションを示す。)
・ログ文…
[u"うんうん%1%2たい[目的]が%3[障害]ので%4[結果]%5%6なんですね。もう少し詳しくお話しください。",
u"ふむふむ%1%2たい[目的]が%3[障害]ので%4[結果]%5%6%7ね。%4%5%6についてもっとお話しください。,
u"%1%2たい[目的]が%3[障害]ので%4[結果]%5%6%7ね。%3ので%4%5%6について具体的にお話しください。"]
さらに、前述の<例3>のように、ユーザ自身の気付きを容易にするための「ですね」等の確認促進用応答文を用いて、話し相手であるユーザを尊重して、ユーザの言動を強調する。
このような省略処理、及び、応答文付加処理によって入力文から主旨を示す語句を抽出し、主旨を示す出力応答文を構成することで、ユーザはストレスなく、自然に会話でき、また入力文を印象付ける、あるいは確認を強化して共感・継続や気付きの効果を高めることができる。
上述のように二人称表現語句や形容詞、副詞等の修飾語、動詞を含む述語等の省略や確認促進用応答文を伴う出力応答文は、フローチャート的な手続き型実行ではなく、例えばレギュラーマッチングにより上述の条件発火ルールを発火して実行することによって作成される。出力応答文作成部60は、所謂ルールベースエンジンを構築することにより、出力応答文を作成する。以下に、上記説明した出力応答文の一例を示す。
<例4>
ユーザ音声(発言):「私はSEになりたいがプログラムができないので不安です。」
出力応答文:「SEになりたいがプログラムができないので不安なんだ。」/「SEになりたいがプログラムができないので不安なのですね。」
<例5>
ユーザ音声(発言):「私は彼を嗜めた。」
出力応答文:「彼を嗜めたんですね。」
<例6>
ユーザ音声(発言):「私はSEになりたいが、先輩に“君はプログラムができないから厳しい”と言われたので、悩んでいます。」
出力応答文:「SEになりたいが、先輩に“プログラムができないから厳しい”と言われたので、悩んでいるんだ。」/「SEになりたいが、先輩に“プログラムができないから厳しい”と言われたので、悩んでいるのですね。」
<例7>
ユーザ音声(発言):「私はSEになりたいがプログラムができないので不安です。」
出力応答文:「ふむふむ、SEになりたいがプログラムができないので不安なのですね。もう少し詳しくお話しください。」
出力応答文作成部60は、二人称表現語句を用いないことに加えて、冗長な修飾語を省略して出力応答文を作成することができる。以下に、このような出力応答文の一例を示す。
<例8>
ユーザ音声(発言):「A社に入りたいがプログラムをあまり上手く書けないので不安です。」
出力応答文:「A社に入りたいがプログラムを書けないので不安なのですね。」
なお、<例8>では、入力文記憶部30では、ユーザの音声(発言)が「A社に入りたい[目的]がプログラムを上手く(書け)ないので[理由]不安です[帰結感情]。」という形で解析及びタグ付けされ、「A社に入りたいがプログラムを書けないので不安です」という主旨の入力文として記憶される。
入力文記憶部30及び出力応答文作成部60には、出力応答文の内容や語数、応答回数を含む評価データ、出力応答文の種類を含む応答状態をログとして記憶可能なログ記憶部91が接続されている。ログ記憶部91は、ユーザごとに対応する過去の会話の記録(すなわち、過去の音声に含まれる自然言語テキスト)や感情語を記録する辞書ログを含む。また、出力応答文作成部60には、前述の評価データや出力応答文の応答方法に基づいて効果的な応答方法を学習する学習部92が設けられている。
ログ記憶部91は、入力文記憶部30の機能を兼ねてもよい。
出力応答文作成部60は、ログ記憶部91の辞書ログ等を参照し、入力文記憶部30における過去の会話の記録をユーザの音声(発言)の内容の経時変化を抽出する。出力応答文作成部60は、過去の会話のやり取りの所定の回数(N1回)以内に、初めての、あるいは異なる感情語の出現を含む変化があれば、変化を提示する出力応答文を作成し、かつ出力応答文をログ記憶部91へのロギングに追加する。すなわち、入力文記憶部30は過去の会話時のユーザの音声(発言)に含まれる自然言語テキストを既入力文としてログ記憶部91に記憶し、出力応答文作成部60は、ユーザの音声(発言)に基づく入力文が既入力文のいずれかと一致すると判断したときに、過去を示す過去応答文、既入力文、確認促進用応答文を含む出力応答文を作成する。以下に、このような出力応答文の一例を示す。
<例9>
ユーザ音声(発言):「私はSEになりたいがプログラムができないので不安です。」
出力応答文:「前に“SEになりたいが先輩にプログラムができないから厳しいと言われたので悩んでいる”と言っていましたね。」
N3回の会話以内に過去の発言の主旨が述べられた場合は、現在(すなわち直前の)発言の主旨と会話継続用(トピック具体化用)応答を提示する出力応答文を作成し、かつ出力応答文をログ記憶部91へのロギングに追加する。
また、出力応答文作成部60は、ログ記憶部91を参照し、入力文が例えば目的を表す既入力文と一致すると判断したときに、その目的を表す既入力文のさらに前にユーザが発した関連する既入力文を含めた出力応答文を作成することもできる。
なお、ユーザの音声(発言)の主旨に変化がなくても願望(すなわち目的、課題)が含まれていれば、出力応答文作成部60は、会話のやり取りをN2回以上行った後に願望と感情との関係を提示する出力応答文を作成し、かつログ記憶部91へのロギングに追加する。ユーザの音声(発言)の内容に願望達成における障害や達成手段が含まれている場合は、出力応答文作成部60は、願望達成と障害や達成手段との関係も提示する出力応答文を作成し、かつ出力応答文をログ記憶部91へのロギングに追加する。
以下に、このような出力応答文の一例を示す。
<例10>
ユーザ音声(発言):「A社に入りたいがシステム開発ができないので不安です。」
出力応答文:「ふむふむ、A社に入りたいがシステム開発ができないので不安なのですね。もう少し詳しくお話しください。」
ユーザ音声(発言):「プログラムを作るのが遅いのです」
出力応答文:「うんうん、プログラムを作るのが遅いのですね。もっと具体的に。」
ユーザ音声(発言):「プログラム演習で提出が大抵ビリなんです」
出力応答文:「プログラム演習で提出がビリとシステム開発ができないが関係するのですね。それで。」
また、出力応答文作成部60は、<例10>において、主旨を簡潔にして強調するために、一部の語句を「それ」「あれ」「これ」等に置き換える処理を行ってもよい。例えば、「プログラム演習で提出がビリとシステム開発ができないが関係するのですね。それで。」を「それとシステム開発ができないが関係するのですね。それで。」に置き換える処理等が挙げられる。
応答文記憶部40と出力応答文作成部60との間には、応答文選択部94が設けられていてもよい。応答文選択部94は、出力応答文に用いる共感用応答文、及び、会話内容具体化用応答文を、応答文記憶部40に記憶された複数の種類の共感用応答文、及び、会話内容具体化用応答文の中から、所定のルールに基づいて選択し、選択した各応答文を出力応答文作成部60に出力する。所定のルールは、例えばファジールールであってもよい。前述のルールに基づいて各種の出力応答文の会話中の何番目の応答で出力するかということによって、出力応答文の共感用応答文の種類、会話内容具体化用応答文の有無や種類、相槌、主旨等に変化をつける。出力応答文の順番を確率、ファジールールさらにはニューラルネット、深層学習、遺伝的アルゴリズム等の学習機や学習辞書によって、前述の出力応答文の共感用応答文の種類等を制御可能である。また、自然言語テキストに付加されたタグの情報を用いて出力応答文を選択してもよい。このように出力応答文に用いる共感用応答文、及び、会話内容具体化用応答文が適宜選択されることによって、共感用応答文、及び、会話内容具体化用応答文が繰り返し使用されにくく、ユーザが退屈になりにくく、ストレスを感じにくいため、会話が促進される。
音声生成部13は、出力応答文作成部60から出力された出力応答文を音声情報に変換し、音声情報を出力装置4に出力する。
音声生成部13は、内容か応答回数に応じて、出力応答文を音質差や抑揚差を変化させた音声情報に変換してもよい。これにより、ユーザの感情への働きかけが強化できる。
また、出力装置4は、音声情報と同じ文字等の視覚情報を出力してもよく、音声情報と視覚情報を同時に出力してもよい。
出力装置4は、音声情報又は視覚情報をユーザが知覚できるよう出力するための装置である。
出力装置4は、音声生成部13から出力された音声情報を音声として出力する。この場合、出力装置4は、例えばスピーカーで構成される。また、出力応答文作成部60から出力された出力応答文を文字等の視覚情報として出力する場合には、出力装置4は、例えば液晶モニタで構成される。
(会話処理方法、プログラム)
第1の実施形態の会話処理方法は、上述の会話処理装置1及び会話処理システム100によって実行される。上述の会話処理装置1及び会話処理システム100は、第1の実施形態の会話処理プログラムがインストールされたコンピュータで構成され、ユーザの支援者(エージェント)として機能している。
次に、会話処理装置1及び会話処理システム100によって会話を処理する手順について説明する。図2は、会話処理装置1及び会話処理システム100による会話処理の手順を示すフローチャートである。図3は、第1の実施形態の会話処理方法における会話例を説明する図である。
まず、ユーザが、会話処理装置1及び会話処理システム100や会話処理プログラム等を起動すると、ステップS11に進む。ステップS11では、ユーザが入力装置2に向かって自身の悩みや課題について発言する。図3に示す会話例では、ユーザが文PH51「3年で博士号を取りたいが、論文を書けないので、不安です。」と発言している。ただし、最初に会話するときに、所定の時間内にユーザの発言がない場合は、出力応答文作成部60で「何か気がかりなことをお話しください」等の出力応答文を生成し、音声生成部13で音声情報に変換し、出力装置4を通してユーザに音声出力する。
次に、ユーザの発言が入力装置2によって読み込まれ、音声認識部12に入力されると共に音声認識され、自然言語テキストが抽出される。出力応答文作成部60を通じて、音声認識部12から送信される自然言語テキストを判断部80によって受信したか否かを判断する(ステップS12)。その結果、自然言語テキストを受信していない、あるいはその他のエラーが発生したと判断した場合(ステップS12:NO)、判断部80は、ユーザからの強制終了の指示等がない限り、再度、ユーザの発言を求める。
ステップS12において、自然言語テキストを受信したと判断した場合(ステップS12:YES)、判断部80は、ユーザの発言から抽出された自然言語テキストに適当なログ等を付加し、ログ付加後の自然言語テキストを入力文として、音声認識部12から出力応答文作成部60を通じて入力文記憶部30に出力する(ステップS14)。
ステップS12において、自然言語テキストを受信したと判断した場合(ステップS12:YES)、音声認識部12から受信した自然言語テキストに「すっきりした」「やる気が出てきた」「できそうな気がする」等のユーザが悩みや課題について解決したことを示す終了定型文が含まれていないか否かを判断する(ステップS13)。
音声認識部12から受信した自然言語テキストに終了定型文が含まれていないと判断された場合(ステップS13:YES)、ステップS14において入力文が入力文記憶部30に一旦記憶された後、ステップS14として、音声認識部12から受信した自然言語テキストに既入力文が含まれていないか否かを判断する(ステップS15)。ステップS15において、自然言語テキストに既入力語は含まれないと判断した場合(ステップS15:YES)、入力文記憶部30は入力文を出力応答文作成部60に出力する。予め複数の共感用応答文、確認促進用応答文、及び、会話内容具体化用応答文を記憶している応答文記憶部40は、各種応答文を出力応答文作成部60に出力する。出力応答文作成部60は、確認促進用応答文付き入力文を作成し、確認促進用応答文付き入力文、及び、共感用応答文、会話内容具体化用応答文のいずれか一以上の応答文を用いて出力応答文を作成する(ステップS16)。
図3に示す会話例では、文PH51に対する出力応答文として、出力応答文OH51「ふーん、ふーん。3年で博士号を取りたいが、論文を書けないので、不安なのですね。」が作成されている。出力応答文OH51は、共感用応答文、確認促進用応答文付き入力文、会話内容具体化用応答文をこの順に含んでいる。
ステップS14において、音声認識部12から受信した自然言語テキストにタグにおいて一致する既入力文、あるいは目的(願望)と手段(障害・理由)等のように関係する既入力文が含まれていると判断した場合(ステップS15:NO)、出力応答文作成部60は、過去を示す「前に」等の過去応答文、既入力文、確認促進用応答文を含む出力応答文を作成する(ステップS17)。
ステップS16,S17のいずれかにおいて、出力応答文作成部60は、作成した出力応答文を音声生成部13に送信し、音声生成部13は受信した出力応答文を音声情報に変換する。変換された音声は、出力装置4からユーザに向けて発声される(ステップS18)。その後は、ユーザの次の発言が求められるため、ステップS11に戻る。以降、ステップS11からステップS18が適宜繰り返される。
ステップS11からステップS18が繰り返される中でユーザが自身の悩みや課題を解決するに至った場合(ステップS13:NO)は、ステップS14には進まずに、出力応答文生成部60は、会話終了を示す「よかったですね」、「お疲れ様でした」等の終了応答文を音声作成部60に出力し(ステップS19)、会話処理を終了する。
以上説明したように、第1の実施形態による会話処理装置1及び会話処理システム100は、確認促進用応答文付き入力文、共感用応答文、及び、会話内容具体化用応答文のいずれか一以上の応答文を用いて出力応答文を作成する。そのため、ユーザを尊重すると共にユーザの気持ちに寄り添いつつ、話をそらさずに会話を継続し、ユーザの内面を引き出すことによって、ユーザのストレス・寂しさ・不安を解消しながら、ユーザが抱える悩みや課題の自発的な解決に導くことができる。図3に示す会話例では、ユーザの最初の文(発言)PH51以降、エージェント(すなわち、会話処理装置1、会話処理システム100)から、ユーザ発する文PH52,PH53,PH54,PH55,PH56,PH57に対して、それらの文の主旨とは異なる主旨の応答文を含まずに出力応答文OH51,OH52,OH53,OH54,OH55,OH56,OH57を応答し、ユーザの内面を引き立たせることができる。
また、第1の実施形態による会話処理装置1及び会話処理システム100では、出力応答文作成部60は、ユーザ自身を示す二人称表現語句、修飾語、述語のうち少なくともいずれか一つを省略して出力応答文を作成するので、応答文を簡素化し、より自然な会話を交わすことができる。
また、第1の実施形態による会話処理装置1及び会話処理システム100では、出力応答文作成部60は、確認促進用応答文付き入力文、会話内容具体化用応答文を含む出力応答文を作成するので、ユーザの発言以外の内容を交えずに、話をそらさず、かつ発言内容を強調し、ユーザの内面をより一層引き出すことができる。
また、第1の実施形態による会話処理装置1及び会話処理システム100では、出力応答文に用いる共感用応答文、及び、会話内容具体化用応答文を、複数の種類の共感用応答文、及び、会話内容具体化用応答文の中から所定のルールに基づいて選択する応答文選択部94をさらに備える。このような構成によれば、応答文が同じパターンの繰り返しになることを防ぎ、ユーザが退屈にならないようにすることができる。
また、第1の実施形態による会話処理装置1及び会話処理システム100では、ユーザの発言からの自然言語テキスト抽出の不良の有無を判断し、不良が有ると判断した際にユーザに再度の発言を求める判断部80をさらに備えるので、自然言語テキスト抽出の不良による出力応答文の作成不良や会話処理装置1及び会話処理システム100の誤作動等の発生を防止できる。
また、第1の実施形態による会話処理装置1及び会話処理システム100では、入力文記憶部30と、応答文記憶部40と、を備え、出力応答文作成部60は、入力文記憶部30から入力文を読み出すと共に、応答文記憶部40から共感用応答文、確認促進用応答文、会話内容具体化用応答文を読み出し、出力応答文を作成する。このような構成によれば、ユーザごとの入力文に関する情報は入力文記憶部30に記憶すると共に、共感用応答文、確認促進用応答文、会話内容具体化用応答文については複数種類の各種応答文を応答文記憶部40に記憶することができる。また、それぞれの記憶部から出力応答文の構成要素を読み出し、場面やユーザの心理等に合わせた多様な出力応答文を円滑に作成し、会話を継続できる。
また、第1の実施形態による会話処理装置1及び会話処理システム100は、入力装置2と、出力装置4と、をさらに備えるので、ユーザからの発言の入力形態やユーザへの出力応答文の出力形態を自在に設定、変更し、会話処理装置1及び会話処理システム100の汎用性を高めることができる。
また、第1の実施形態による会話処理装置1及び会話処理システム100は、ユーザを含む入力側の環境情報を取得し、出力応答文作成部60は当該環境情報を用いて、ユーザの心理を正確に推定して適切な出力応答文を作成又は選択でき、会話を継続できる。
また、第1の実施形態による会話処理装置1及び会話処理システム100では、入力文記憶部30は、過去の会話時のユーザの発言を既入力文として記憶し、出力応答文作成部60は、入力文が既入力文やそのタグと一致、あるいは目的(願望)と手段(障害・理由)等のように関係すると判断したときに、過去を示す過去応答文、既入力文、確認促進用応答文を含む前記出力応答文を作成する。このような構成によれば、以前の会話もふまえてユーザと会話し、過去及び現在の両方の発言内容からユーザの内面を引き立たせ、過去及び現在の両方の発言内容に基づいたユーザ自身の気づきを促すことができる。
[第2の実施形態]
次に、本発明の第2の実施形態について説明する。
(会話処理装置、会話処理システム)
図4は、第2の実施形態による会話処理システム110の一例を示すブロック図である。図4に示すように、会話処理システム110は、少なくとも会話処理装置1を備える。また、第2の実施形態による会話処理装置1及び会話処理システム110は、第1の実施形態による会話処理装置1及び会話処理システム100と部分的に同様の構成を備えている。そのため、以下の説明では第2の実施形態による会話処理装置1及び会話処理システム110において第1の実施形態とは異なる構成を主体に説明し、第1の実施形態と共通する構成については同一の符号を付し、その説明を省略する。
図4に示すように、会話処理システム110は、入力部2X、出力部4X及びロボット制御部5を有するロボット装置6を備える。入力部2Xは、第1の実施形態で説明した入力装置2と同様の機能を備え、マイクやスピーカーで構成される。
出力部4Xは、第1の実施形態で説明した出力装置4と同様の機能を有するが、第2の実施形態では出力応答文に合わせて動く頭(頭部)121、首125、胴体(胴体部)131、手(手部)132、脚(脚部)133を備える。図5に示すように、頭121は、可動性を備えた目(目部)122、耳(耳部)123、鼻(鼻部)124、口(口部)126を有し、さらに装飾的な構成として髭、髪等を有する。また、会話処理システム110は、目122、耳123、鼻124、髭等を動かすサーボメータ(図示略)を備え、環境情報を取得する環境入力部2Zとして、カメラ、入力ボタン、脈派計、体温計、視線検出装置などの入力装置(図示略)、入力された音声データ、脈派・脈拍データ、体温、視線データを出力するための表示装置(図示略)を備える。すなわち、会話処理システム110は、所謂ロボット型のシステムである。これらは全て含まれていてもよいが、一部のみで構成されていてもよい。
ロボット装置6は、ユーザの発言をタッチパネルやキーボード等、音声以外で入力可能なロボット入力部141と、出力応答文の内容を視覚情報として出力可能なロボット出力部142とを、さらに備える。ロボット出力部142は、例えば液晶ディスプレイやプラズマディスプレイ等のディスプレイや立体画像表示装置で構成できる。図5では、ロボット入力部141及びロボット出力部142を胴体131の前面(すなわち、ユーザ側に向く面)のタッチパネル型のデバイスに設けた例を示しているが、ロボット入力部141及びロボット出力部142は互いに異なるデバイスで構成されていてもよい。
会話処理システム110は、ロボット制御のシステム・ソフトウェア・プログラムとしてラズベリーパイ等の実時間OSとインターネット通信用プログラム、ブラウザープログラム、その上で入出力など主にインターフェース関係のデータの処理をするJavaScript(登録商標)等を備える。会話処理装置1の本体(プログラム)は、ロボット側、すなわち頭121や胴体131の内部に配置されていてもよく、会話処理装置1の本体のインターフェース以外の主要部分がサーバに配置されていてもよい。また、会話処理装置1として、グーグル(Google LLC)の音声認識サーバを活用することもできる。脈派・脈拍データ、体温、視線データ等の非言語情報は、不図示の非言語情報認識機(またはサーバ)に送信され、ユーザの感情が識別される。非言語情報や感情は、入力部2Xから入力されるユーザの音声データから識別された自然言語テキストの情報や、環境入力部2Zから入力される情報とともに出力応答文作成部60に送信される。なお、音声認識部12及び音声生成部13は、会話処理装置1に替えて、ロボット装置6の頭121や胴体131の内部に配置されていてもよい。
(会話処理方法、プログラム)
第2の実施形態の会話処理方法は、基本的に第1の実施形態の会話処理方法と同様であり、図2のフローチャートに示す手順に従う。そのため、以下の説明では第2の実施形態による会話処理方法において第1の実施形態とは異なる手順・内容を主体に説明し、第1の実施形態と共通する内容についてはその説明を省略する。
ステップS11において、ユーザはロボット装置6の入力部2Xに向かって発言すると共に、手132や不図示の入力装置、ロボット入力部141を介して発言内容を入力することができる。
ステップS12において、ユーザが発した音声に基づく自然言語テキストを出力応答文作成部60が受信したか否かの判断を、ロボット装置6に付与したテキスト表示機能を有する出力装置を用いて行うことができる。
また、ステップS18において、出力応答文作成部60から出力された出力応答文は、音声生成部13に送信され、音声情報に変換されると共に、ロボット制御部5に送信される。ロボット制御部5は、受信した音声情報に基づいて頭121の、口126に備えられたスピーカーから音声を発すると共に、音声に伴う相槌、頷き、首を傾げる、身振り手振り等の各種の動きを頭121、胴体131、手132、脚133で表現する。加えて、頭121に備えられた目122、耳123、鼻124、口126を、ユーザを安心させたり、信頼感を与えたり、心配するような喜怒哀楽の表情を形成するように動作させ、出力応答文に合わせた非言語コミュケーションをロボット装置6がユーザに対して行う。
また、口126がスピーカーを備えず、単に開閉を行うのみの機能を有している場合には、ロボット装置6の近傍に設けられたスピーカー等から音声を発してもよい。
例えば、図3に示す会話例において、エージェントの文OH51では、「ふーん、ふーん。」の音声出力とともに頭121が頷き、「不安なのですね。」の音声出力とともに心配そうな目になったり、手を導体131の前で組んだり、ユーザに差し伸べたりする。また、エージェントの文OH52,OH53,…,OH56において、「もっと詳しく」の出力回数を重ねるごとに穏やかな表情を表すように目や口、手ぶりで表現する。さらに、エージェントの文OH57では、「よかったですね。」の音声出力とともに嬉しそうな目、口や手の動きを表現する。また、出力応答文は、ロボット出力部142を介してテキストとして出力できる。
ロボット装置6が備える頭121、胴体131、手132、脚133、目122、耳123、鼻124、首125、口126等を含む身体は、物理的に存在するものであってもよいし、頭121、胴体131、手132、脚133、目122、耳123、鼻124を音声、首125、口126等を含む身体全体又は一部が仮想的に表現されたものであってもよい。例えば、ロボットや人の形状を模した、キャラクタやアバターとして、2次元の動画像又は静止画像、又はホログラムや拡張現実(Augmented Reality)、仮想現実(virtual reality)等のユーザが光学的に視認できる形態によって、頭121、胴体131、手132、脚133等を表してもよい。
この場合、入力部2Xや出力部4Xはそれぞれロボット装置6近傍に設けられたマイク、スピーカー等で構成されるが、出力部4Xから出力される音声に合わせて、音声に伴う各種の動きを仮想的に表現された頭121、胴体131、手132、脚133、目122、耳123、鼻124、首125、口126で表現する。
このように、頭121、胴体131、手132、脚133等を含む身体のうち少なくとも一部を仮想的に表現することで、実体としてのロボットが身近にない環境であっても、ネットワークを介して会話することができる。
また、ユーザが親近感を持つように、ユーザの好みに合わせてロボット装置6の外見を容易に変更することができる。
以上説明したように、第2の実施形態による会話処理装置1及び会話処理システム110は、基本的に第1の実施形態の会話処理装置1及び会話処理システム100と同様の構成を備えるので、第1の実施形態と同様の作用効果を奏する。
また、第2の実施形態による会話処理装置1及び会話処理システム110は、出力応答文に合わせて動く頭121、胴体131、手132、脚133を備える。頭121は、目122、耳123、鼻124、首125、口126を有し、会話処理システム110は環境入力部4Zをさらに備える。このような構成によれば、ユーザにより一層寄り添い、様々な入力形態及び出力形態を備え、かつ幅広い応答内容を表現可能な会話処理システムを実現できる。
また、第2の実施形態による会話処理システム110は、ロボット入力部141及びロボット出力部142を備えるので、2次元画像の身体を介してユーザに寄り添い、会話を継続できる。
なお、上述した会話処理装置1が備える各構成は、内部に、コンピュータシステムを有している。そして、上述した会話処理装置1が備える各構成の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより上述の会話処理装置1が備える各構成における処理を行ってもよい。ここで、「記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行する」とは、コンピュータシステムにプログラムをインストールすることを含む。前述の「コンピュータシステム」とは、OSや周辺機器などのハードウェアを含むものとする。
また、「コンピュータシステム」は、インターネットやWAN、LAN、専用回線等の通信回線を含むネットワークを介して接続された複数のコンピュータ装置を含んでもよい。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ROM、CD-ROM等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。このように、プログラムを記憶した記録媒体は、CD-ROMなどの非一過性の記録媒体であってもよい。
また、記録媒体には、当該プログラムを配信するために配信サーバからアクセス可能な内部又は外部に設けられた記録媒体も含まれる。なお、プログラムを複数に分割し、それぞれ異なるタイミングでダウンロードした後に会話処理装置1が備える各構成で合体される構成や、分割されたプログラムのそれぞれを配信する配信サーバが異なっていてもよい。さらに「コンピュータ読み取り可能な記録媒体」とは、ネットワークを介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ(RAM)のように、一定時間プログラムを保持しているものも含むものとする。また、上記プログラムは、上述した機能の一部を実現するためのものであってもよい。さらに、上記プログラムは、上述した機能をコンピュータシステムに既に記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル(差分プログラム)であってもよい。
また、上述した機能の一部又は全部を、LSI(Large Scale Integration)等の集積回路として実現してもよい。上述した各機能は個別にプロセッサ化してもよいし、一部、又は全部を集積してプロセッサ化してもよい。また、集積回路化の手法はLSIに限らず専用回路、又は汎用プロセッサで実現してもよい。また、半導体技術の進歩によりLSIに代替する集積回路化の技術が出現した場合、当該技術による集積回路を用いてもよい。
また、上述した記憶装置3が備える各構成は、例えばコンピュータ読み取り可能な記録媒体によって構成されていてもよい。
以上、本発明を適用した実施形態の会話処理装置、会話処理システム、会話処理方法及びプログラムについて説明したが、本発明に係る会話処理装置、会話処理システム、会話処理方法及びプログラムは、上記説明した実施形態に限定されるものではなく、特許請求の範囲内に記載された本発明の要旨の範囲内において、種々の変更が可能である。
例えば、前述のようにユーザの発言内容の入力形態は、出力応答文作成部60に発言の自然言語テキストを抽出可能であれば、限定されない。ユーザの発言は、音声ではなく、キーボードやデジタルペン等の入力装置2を用いて文字(テキスト)で入力されてもよい。また、出力応答文の出力形態は、入力形態と同じでなくてもよく、出力応答文の内容をユーザに伝えられれば、特に限定されない。出力応答文は、音声ではなく、ディスプレイ等の出力装置4にテキストで出力されてもよい。
1…会話処理装置
2…入力装置
4…出力装置
30…入力語記憶部
40…応答文記憶部
60…出力応答文作成部
80…判断部(自然言語要素抽出不良判断部)
100,110…会話処理システム

Claims (11)

  1. ユーザの発言に含まれる自然言語要素の少なくとも一部を入力文とし、
    前記入力文の語尾に前記発言内容の確認を促進する確認促進用応答文が接続された確認促進用応答文付き入力文、前記発言に対する共感を示す共感用応答文、及び、前記ユーザとの会話内容を具体化する会話内容具体化用応答文のいずれか1つ以上を含む、かつ、過去の会話のやり取りの所定の回数以内に初めての或いは異なる感情語の出現を含む変化があれば変化を提示する応答文に基づいて出力応答文を作成する出力応答文作成部を備えることを特徴とする会話処理装置。
  2. 前記出力応答文作成部は、前記ユーザ自身を示す二人称表現語句、修飾語、及び、述語、のいずれか1つ以上を省略したりして前記出力応答文を作成し、終了定型文(例えば「すっきりした」「できそうな気がする」を含め、問題が解決した徴候(例えば一定量以上の感情好転変化)が、会話中にあれば、「良かったですね」を含む終了応答文を出力して会話を終了し、
    会話中になければ、前記出力応答文作成部は、前記出力応答文を出力する、
    請求項1に記載の会話処理装置。
  3. 前記発言からの前記自然言語要素の抽出の不良を抽出結果である前記入力文からNグラムやニューラルネットワーク言語モデルによる日本語文予測器を用いて自動検出・自動修正し、自動修正しきれず前記不良が検出された際に前記ユーザに再度の発言を求める自然言語要素抽出不良判断部をさらに備える、
    請求項1又は請求項2に記載の会話処理装置。
  4. 請求項1から請求項3のいずれか一項に記載の会話処理装置と
    前記発言に含まれる前記自然言語要素を抽出し、その少なくとも一部を前記入力文として記憶する入力文記憶部と、
    前記入力文を含むユーザの過去の会話内容を記録するログ記憶部と、
    前記出力応答文が各々複数種類記憶されている応答文記憶部と、
    そこから読み出された応答文を選択する応答文選択部
    を備え、
    前記出力応答文作成部は、前記入力文記憶部及び前記ログ記憶部から前記入力文を読み出すと共に、前記応答文記憶部から前記共感用応答文、前記入力文と前記入力文に接続した前記確認促進用応答文、前記会話内容具体化用応答文を各々複数種類読み出し応答文選択部で選択して前記出力応答文を編成・作成し出力し、
    応答文選択部は応答文の出力の順番を確率、ファジールールによって、さらにはニューラルネット、深層学習、遺伝的アルゴリズムを含む学習機や学習辞書によって出力する前記応答文やその種類を制御可能、また、自然言語テキストに付加されたタグ情報を用いて出力応答文を選択する選択することも含め、出力する前記応答文やその種類を柔軟に選択し、ユーザを退屈させず会話を促進し、
    悩み解決や願望の達成に必要な会話継続を容易にすることを特徴とする会話処理システム。
  5. 前記ユーザの発言が入力される入力装置と、
    前記出力応答文を音声情報または視覚情報として出力する出力装置と、
    をさらに備える、
    請求項4に記載の会話処理システム。
  6. 前記入力装置は、ユーザの入力側の環境情報を取得し、
    前記出力応答文作成部は、前記環境情報に基づいて感情やその変化を推定することにより前記出力応答文を作成することを特徴とする、
    請求項5に記載の会話処理システム。
  7. 前記入力文記憶部及び前記ログ記憶部は、前記ユーザの現発言、正確には本処理に入る直前の発言を入力文、(一定回数以上)過去の会話時の前記ユーザの発言を既入力文として記憶し、
    前記出力応答文作成部は、前記入力文が前記既入力文の語句のタグにおいて前記願望や前記願望の達成障害・達成手段として一致する、すなわち関係すると判断したときに、前記既入力文に関係し対応する応答文である過去応答文と、前記既入力文と、(前記ユーザに気付きを与えやすくする)前記願望や前記願望の達成障害・達成手段において両者が関係することの提示と、前記確認促進用応答文の提示を含む前記出力応答文を作成する、
    さらに、出力応答文作成で、主旨を簡潔にして強調するために、前記願望やその達成障害・達成手段に関する一部の語句を指示詞(例えば「それ」「あれ」「これ」に置換する処理を行える、
    請求項4から請求項6のいずれか一項に記載の会話処理システム
  8. 前記出力応答文に合わせて動く頭部、胴体部、手部、及び、脚部のいずれか一以
    上をさらに備える、
    請求項4から請求項7のいずれか一項に記載の会話処理システム。
  9. 前記頭部、前記胴体部、前記手部、及び、前記脚部、のいずれか一以上が仮想的に表現されたものであることを特徴とし、かつ、非言語情報からもユーザの感情が識別され出力応答文作成部に送信される、
    請求項8に記載の会話処理システム。
  10. ユーザの発言に含まれる自然言語要素を抽出して入力文を取得する入力文取得ステップと、
    前記入力文の語尾に前記発言の内容の確認を促進する確認促進用応答文が接続された確認促進用応答文付き入力文、前記発言に対する共感を示す共感用応答文、及び、前記ユーザとの会話の内容を具体化する会話内容具体化用応答文のいずれか一以上を含む、かつ、過去の会話のやり取りの所定の回数以内に初めての或いは異なる感情語の出現を含む変化があれば変化を提示する応答文を用いて出力応答文を作成する出力応答文作成ステップと、
    を含むことを特徴とする会話処理方法。
  11. ユーザの発言に含まれる自然言語要素を抽出して入力文を取得する入力文取得ステップと、
    前記入力文の語尾に前記発言の内容の確認を促進する確認促進用応答文が接続された確認促進用応答文付き入力文、前記発言に対する共感を示す共感用応答文、及び、前記ユーザとの会話の内容を具体化する会話内容具体化用応答文のいずれか1つ以上を含む、かつ、過去の会話のやり取りの所定の回数以内に初めての或いは異なる感情語の出現を含む変化があれば変化を提示する応答文を用いて出力応答文を作成する出力応答文作成ステップと、
    を実行させることを特徴とするプログラム。
JP2018072745A 2018-04-04 2018-04-04 会話処理装置、会話処理システム、会話処理方法及びプログラム Active JP7252690B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2018072745A JP7252690B2 (ja) 2018-04-04 2018-04-04 会話処理装置、会話処理システム、会話処理方法及びプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018072745A JP7252690B2 (ja) 2018-04-04 2018-04-04 会話処理装置、会話処理システム、会話処理方法及びプログラム

Publications (2)

Publication Number Publication Date
JP2019185230A JP2019185230A (ja) 2019-10-24
JP7252690B2 true JP7252690B2 (ja) 2023-04-05

Family

ID=68341200

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018072745A Active JP7252690B2 (ja) 2018-04-04 2018-04-04 会話処理装置、会話処理システム、会話処理方法及びプログラム

Country Status (1)

Country Link
JP (1) JP7252690B2 (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021071883A (ja) * 2019-10-30 2021-05-06 株式会社感性リサーチ 情報処理システム、情報処理方法及びプログラム
KR102390068B1 (ko) * 2020-04-02 2022-04-26 한국과학기술연구원 감정표현을 시각적으로 나타낼 수 있는 챗봇 시스템
CN111768773B (zh) * 2020-05-26 2023-08-29 同济大学 一种智能决策会议机器人
CN112001248B (zh) 2020-07-20 2024-03-01 北京百度网讯科技有限公司 主动交互的方法、装置、电子设备和可读存储介质
US20240008785A1 (en) * 2021-02-17 2024-01-11 Michio Yokoyama Information processing system, information processing device, information processing method, and information processing program

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000200125A (ja) 1998-12-30 2000-07-18 Fuji Xerox Co Ltd インタフェ―ス
JP2008039928A (ja) 2006-08-02 2008-02-21 Xanavi Informatics Corp 音声対話装置および音声対話プログラム
JP2009193448A (ja) 2008-02-15 2009-08-27 Oki Electric Ind Co Ltd 対話システム、方法及びプログラム
US20140136187A1 (en) 2012-11-15 2014-05-15 Sri International Vehicle personal assistant
JP2014229180A (ja) 2013-05-24 2014-12-08 学校法人東京電機大学 内省支援装置、内省支援方法、内省支援プログラム、対話装置、対話方法および対話プログラム
JP2017204023A (ja) 2016-05-09 2017-11-16 トヨタ自動車株式会社 会話処理装置
JP2017213612A (ja) 2016-05-30 2017-12-07 トヨタ自動車株式会社 ロボットおよびロボットの制御方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3454897B2 (ja) * 1994-01-31 2003-10-06 株式会社日立製作所 音声対話システム

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000200125A (ja) 1998-12-30 2000-07-18 Fuji Xerox Co Ltd インタフェ―ス
JP2008039928A (ja) 2006-08-02 2008-02-21 Xanavi Informatics Corp 音声対話装置および音声対話プログラム
JP2009193448A (ja) 2008-02-15 2009-08-27 Oki Electric Ind Co Ltd 対話システム、方法及びプログラム
US20140136187A1 (en) 2012-11-15 2014-05-15 Sri International Vehicle personal assistant
JP2014229180A (ja) 2013-05-24 2014-12-08 学校法人東京電機大学 内省支援装置、内省支援方法、内省支援プログラム、対話装置、対話方法および対話プログラム
JP2017204023A (ja) 2016-05-09 2017-11-16 トヨタ自動車株式会社 会話処理装置
JP2017213612A (ja) 2016-05-30 2017-12-07 トヨタ自動車株式会社 ロボットおよびロボットの制御方法

Also Published As

Publication number Publication date
JP2019185230A (ja) 2019-10-24

Similar Documents

Publication Publication Date Title
JP7252690B2 (ja) 会話処理装置、会話処理システム、会話処理方法及びプログラム
US10977452B2 (en) Multi-lingual virtual personal assistant
JP7064018B2 (ja) 複数の年齢グループおよび/または語彙レベルに対処する自動化されたアシスタント
JP7022062B2 (ja) 統合化された物体認識および顔表情認識を伴うvpa
Johar Emotion, affect and personality in speech: The Bias of language and paralanguage
Fager et al. Evaluation of a speech recognition prototype for speakers with moderate and severe dysarthria: A preliminary report
Delgado et al. Spoken, multilingual and multimodal dialogue systems: development and assessment
Adiani et al. Career interview readiness in virtual reality (CIRVR): a platform for simulated interview training for autistic individuals and their employers
Brinkschulte et al. The EMPATHIC project: building an expressive, advanced virtual coach to improve independent healthy-life-years of the elderly
Dhanjal et al. An automatic conversion of Punjabi text to Indian sign language
Garay-Vitoria et al. Application of an ontology-based platform for developing affective interaction systems
Terkourafi On de-limiting context
Sakurai et al. VICA, a visual counseling agent for emotional distress
Dybala et al. Evaluating subjective aspects of HCI on an example of a non-task oriented conversational system
Koutamanis et al. Shared representations in cognate comprehension and production: An online picture naming and lexical decision study with bilingual children
Bianquin et al. Enhancing communication and participation using AAC technologies for children with motor impairments: a systematic review
O'Dwyer et al. Affective computing using speech and eye gaze: a review and bimodal system proposal for continuous affect prediction
Schnadt Lexical influences on disfluency production
Rudge Situating simultaneity: an initial schematization of the lexicogrammatical rank scale of British Sign Language
Amini et al. Modeling Rapport for Conversations About Health with Autonomous Avatars from Video Corpus of Clinician-Client Therapy Sessions
Desai et al. Understanding and Enhancing The Role of Speechreading in Online d/DHH Communication Accessibility
Gómez-Zaragozá et al. Linguistic Indicators of Depressive Symptoms in Conversations with Virtual Humans
Ots Cognitive constraints on advance planning of sentence intonation
Ohno et al. Collection of responsive utterances to show attentive hearing attitude to speakers
Mlakar et al. Chapter Can Turn-Taking Highlight the Nature of Non-Verbal Behavior: A Case Study

Legal Events

Date Code Title Description
A80 Written request to apply exceptions to lack of novelty of invention

Free format text: JAPANESE INTERMEDIATE CODE: A80

Effective date: 20180427

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210324

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220309

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220315

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20220510

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20220608

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20220608

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220714

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220906

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20221106

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221231

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230221

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230319

R150 Certificate of patent or registration of utility model

Ref document number: 7252690

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150