JP2018190077A - 発話生成装置、発話生成方法及び発話生成プログラム - Google Patents

発話生成装置、発話生成方法及び発話生成プログラム Download PDF

Info

Publication number
JP2018190077A
JP2018190077A JP2017090331A JP2017090331A JP2018190077A JP 2018190077 A JP2018190077 A JP 2018190077A JP 2017090331 A JP2017090331 A JP 2017090331A JP 2017090331 A JP2017090331 A JP 2017090331A JP 2018190077 A JP2018190077 A JP 2018190077A
Authority
JP
Japan
Prior art keywords
utterance
sentence
representative word
feature vector
keyword
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2017090331A
Other languages
English (en)
Other versions
JP6914094B2 (ja
Inventor
金子 豊
Yutaka Kaneko
金子  豊
祐太 星
Yuta Hoshi
祐太 星
上原 道宏
Michihiro Uehara
道宏 上原
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Japan Broadcasting Corp
Original Assignee
Nippon Hoso Kyokai NHK
Japan Broadcasting Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Hoso Kyokai NHK, Japan Broadcasting Corp filed Critical Nippon Hoso Kyokai NHK
Priority to JP2017090331A priority Critical patent/JP6914094B2/ja
Publication of JP2018190077A publication Critical patent/JP2018190077A/ja
Application granted granted Critical
Publication of JP6914094B2 publication Critical patent/JP6914094B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

【課題】ロボットがあたかも自立した感情を持っているように、テレビ番組に合わせて、感情を表す言葉を発話できる発話生成装置、発話生成方法及び発話生成プログラムを提供すること。【解決手段】発話生成装置1は、発話の特徴を示す代表語に対応付けて、発話文のテンプレートを記憶する発話テンプレートデータベース23と、キーワードの特徴ベクトルを記憶する特徴ベクトルデータベース24と、入力されたキーワードの特徴ベクトルと代表語の特徴ベクトルとの距離を算出するベクトル距離演算部17と、距離に基づいて選択されたテンプレートに対して、入力されたキーワードを組み合わせて発話文を生成する発話文生成部19と、を備える。【選択図】図1

Description

本発明は、ロボットの発話文を生成するための装置、方法及びプログラムに関する。
従来、人がコンピュータと対話をするコミュニケーションロボットが開発されている。例えば、人との対話を学習しながら対話するロボットとして、人工無脳と呼ばれる会話ボットが開発されている。
人工無脳は、人間の発言から応答文としてもっともらしいものを機械的に生成する方式を採用している。人工無脳の実装方法としては、発言と応答文とを会話のルールとして準備しておく辞書型、大量の会話のログから、ユーザの発言に最も近いものを探し、その応答ログを用いるログ型、大量の文章からマルコフ連鎖を作成し、文を生成するマルコフ文生成型等がある(例えば、非特許文献1,2参照)。
ところで、人工無脳を組み込んだソフトウェアプログラム、又はコミュニケーションロボットは、使い始めは目新しいものの、しばらく使っていると利用者は飽きてしまい、使わなくなってしまうという課題がある。これは、会話のパターンが不十分なこと、人の発話に対する人工無脳の応答がかみ合っていないことが多いこと等に起因する。
また、人工無脳は、人間からのアクション(発話)によって反応するが、人から積極的に、ロボットに日常的な会話を話し掛けることは少なく、発話内容が思いつかない点も長く使われない原因と考えられる。
また、人とロボットとの1対1の会話ではなく、人とロボットとが一緒にテレビを視聴することで、一人で見るよりも楽しく視聴できることを目的とした技術が提案されている。
例えば、特許文献1では、ユーザの嗜好とロボットの嗜好とからロボットの行動を決定し、番組の視聴中に一緒に応援させる技術が提案されている。特許文献2では、映像印象情報とユーザ感情情報とから、感情状態を決定し、ロボットが共感する感情表現をさせる技術が提案されている。
特許第4368316号公報 特開2016−36883号公報
冨坂亮太、鈴木崇史、「人工無脳(会話ボット)」、映像情報メディア学会誌、Vol.64、No.1、pp.64〜66(2010) 秋山智俊「恋するプログラム−Rubyでつくる人工無脳」、毎日コミュニケーションズ、2005
特許文献1及び特許文献2の技術によれば、テレビを介在させることで、人がロボットに話しかけなくともロボットは動作するため、人とロボットの1対1の対話に比べ、ロボットが長く利用され得る。
しかしながら、これらは、テレビを人と一緒に共感しながら見て楽しむロボットを目的とした技術であり、テレビを視聴して楽しんでいる人を対象としている。例えば、独居者の多くは、一人でテレビを見ていること、また、特にテレビが見たいわけではないが、部屋が静かすぎることを紛らわすためにテレビを付けたままにしていることも多い。
本発明は、ロボットがあたかも自立した感情を持っているように、テレビ番組に合わせて、感情を表す言葉を発話できる発話生成装置、発話生成方法及び発話生成プログラムを提供することを目的とする。
本発明に係る発話生成装置は、発話の特徴を示す代表語に対応付けて、発話文のテンプレートを記憶する発話テンプレートデータベースと、キーワードの特徴ベクトルを記憶する特徴ベクトルデータベースと、入力されたキーワードの特徴ベクトルと前記代表語の特徴ベクトルとの距離を算出する距離演算部と、前記距離に基づいて選択された前記テンプレートに対して、前記入力されたキーワードを組み合わせて発話文を生成する発話文生成部と、を備える。
前記発話生成装置は、前記距離に基づいて、前記代表語の順位付けを行う代表語ランキング部を備え、前記発話文生成部は、前記順位付けによるランキングが上位の代表語を優先して、当該上位の代表語に対応する前記テンプレートを選択してもよい。
前記発話生成装置は、入力文から、キーワード辞書に登録されているキーワードを抽出するキーワード抽出部を備えてもよい。
前記発話生成装置は、前記入力文に、前記キーワード辞書に登録されているキーワード、及び前記代表語又は当該代表語の別表現が含まれている場合、当該代表語に対応するテンプレートとして、前記入力文のうち、前記キーワードを一般化した文を登録するテンプレート登録部を備えてもよい。
前記発話生成装置は、前記入力文を形態素解析し、分かち書き文に変換する形態素解析部と、前記分かち書き文において、前記代表語又は前記代表語の別表現が複数の単語に分割されている場合、当該複数の単語を連結して前記代表語又は前記別表現に復元する過分割修正部と、前記分かち書き文の各語の特徴ベクトルを演算し、前記特徴ベクトルデータベースを更新する特徴ベクトル演算部と、を備えてもよい。
前記発話生成装置は、前記分かち書き文において、前記別表現を前記代表語に置き換える表現統一部を備え、前記特徴ベクトル演算部は、前記別表現が前記代表語に置き換えられた後に、前記特徴ベクトルを演算してもよい。
前記発話生成装置は、前記特徴ベクトルデータベースから、前記代表語の特徴ベクトルとの距離が所定以内の単語を抽出し、前記別表現として辞書に登録する代表語辞書更新部を備えてもよい。
本発明に係る発話生成方法は、発話の特徴を示す代表語に対応付けて、発話文のテンプレートを記憶し、キーワードの特徴ベクトルを記憶したコンピュータが、入力されたキーワードの特徴ベクトルと前記代表語の特徴ベクトルとの距離を算出する距離演算ステップと、前記距離に基づいて選択された前記テンプレートに対して、前記入力されたキーワードを組み合わせて発話文を生成する発話文生成ステップと、を実行する。
本発明に係る発話生成プログラムは、発話の特徴を示す代表語に対応付けて、発話文のテンプレートを記憶し、キーワードの特徴ベクトルを記憶したコンピュータに、入力されたキーワードの特徴ベクトルと前記代表語の特徴ベクトルとの距離を算出する距離演算ステップと、前記距離に基づいて選択された前記テンプレートに対して、前記入力されたキーワードを組み合わせて発話文を生成する発話文生成ステップと、を実行させるためのものである。
本発明によれば、ロボットがあたかも自立した感情を持っているように、視聴中のテレビ番組に合わせて、感情を表す言葉を発話でき、小さな子供がテレビを見て喜んでいる様子を、周囲の大人が微笑ましく眺めるような効果が期待できる。
実施形態に係る発話生成装置の機能構成を示すブロック図である。 実施形態に係る代表語辞書の登録例を示す図である。 実施形態に係る発話テンプレートデータベースの登録例を示す図である。 実施形態に係る特徴ベクトルデータベースの登録例を示す図である。 実施形態に係る入力文の変換例を示す図である。 実施形態に係るテンプレート登録処理を示すフローチャートである。 実施形態に係る関連語選択の動作イメージを示す図である。 実施形態に係る代表語辞書の更新処理を示すフローチャートである。
以下、本発明の実施形態の一例について説明する。
本実施形態に係る発話生成装置1は、「食べたい」、「話したい」、「行きたい」等の願望を表す動詞を含む語句と、「きれい」、「おいしそう」、「大きい」等の形容詞とを含む代表語に対して、これらの代表語を含むテンプレート文と、代表語を含む多数のキーワードの特徴ベクトルとを用意しておく。
発話生成装置1は、視聴中の番組のキーワードに対して、このキーワードの特徴ベクトルと代表語の特徴ベクトルとを比較し、キーワードと距離が近い代表語に対するテンプレート文に、対象のキーワードを組み合わせて発話文を生成する。
これにより、発話生成装置1は、キーワードに対して、適切な動詞又は形容詞の代表語を選択し、例えば、キーワード「ラーメン」に対しては、代表語として「食べたい」、「おいしそう」等を選択し、テンプレートから「ラーメン食べたいな」、「おいしそうなラーメンだな」等の発話文を生成できる。
図1は、本実施形態に係る発話生成装置1の機能構成を示すブロック図である。
発話生成装置1は、制御部及び記憶部の他、各種インタフェースを備えた情報処理装置であり、記憶部に格納されたソフトウェア(発話生成プログラム)を制御部が実行することにより、本実施形態の各種機能が実現される。
発話生成装置1の制御部は、形態素解析部11と、過分割修正部12と、テンプレート登録部13と、表現統一部14と、特徴ベクトル演算部15と、キーワード抽出部16と、ベクトル距離演算部17と、代表語ランキング部18と、発話文生成部19と、代表語辞書更新部20とを備える。
また、発話生成装置1の記憶部は、キーワード辞書21と、代表語辞書22と、発話テンプレートデータベース(DB)23と、特徴ベクトルデータベース24とを備える。
本実施形態では、発話生成装置1は、テレビの側に置かれたコミュニケーションロボットの内部に組み込まれる。
発話生成装置1へは、テレビの放送番組に付加されている字幕文(クローズドキャプション)が入力文Iとして入力されることとして説明を行う。放送番組からの字幕文の抽出方法としては、例えば、ロボットがテレビ受像機と連動して、字幕情報を取得したり、放送連動サービスとして、インターネット等の通信設備を用いて配信された字幕情報を受信したりする方法が考えられる。
また、入力文Iは、字幕文に限ったものではなく、ロボットに装備されたカメラ又はマイクロフォンを用いて、テレビの画像から画像処理によりオープンキャプションが取得されてもよいし、音声から音声認識により文が抽出されてもよい。
キーワード辞書21は、キーワードが登録されたデータベースである。ここで、キーワードとは、主に、人名、地名、施設等の固有名詞又は一般名詞等である。本実施形態では、キーワード辞書21にキーワードが予め登録されているものとする。
代表語辞書22は、発話の特徴を示す代表語に対応付けて、この代表語と意味が類似する別表現が登録されたデータベースである。
図2は、本実施形態に係る代表語辞書22の登録例を示す図である。
この例では、代表語辞書22に、種別、代表語及び別表現の3つのフィールドのデータがリストとして保管されている。
種別は、代表語の種別(品詞)を表しており、例えば、vは動詞、aは形容詞を表している。
代表語は、感情を表す動詞又は形容詞を含む語であり、例えば、動詞の代表語として「話したい」、「聞きたい」、「食べたい」が登録されており、形容詞の代表語として「きれい」、「おもしろい」、「好き」が登録されている。
別表現のフィールドには、代表語と同じ又は類似した意味の、異なる表現が登録される。例えば、「話したい」の別表現として「おしゃべりしたい」、「しゃべってみたい」、「しゃべりたい」、「言いたい」、「言ってみたい」が、「聞きたい」の別表現として、「聞いてみたい」、「お聞きしたい」、「聴いてみたい」が、「食べたい」の別表現として「食いたい」、「食べちゃいたい」、「食べてみたい」が登録されている。
さらに、「きれい」の別表現として「綺麗」、「おもしろい」の別表現として「面白い」、「好き」の別表現として「大好き」が登録されている。
ここで、代表語辞書22には、ひらがな表記と漢字表記とが別の語として登録されている。例えば、字幕文は、放送局又は番組によって使用される表記が異なるが、いずれの表記にもマッチングさせることができる。
なお、本実施形態では、代表語辞書22に、代表語と別表現とが予め登録されているものとする。
発話テンプレートデータベース23は、発話生成装置1が生成する発話文のテンプレートが登録されたデータベースである。
図3は、本実施形態に係る発話テンプレートデータベース23の登録例を示す図である。
発話テンプレートデータベース23には、代表語それぞれに対して、発話文のテンプレートが登録されている。発話テンプレートデータベース23の代表語は、代表語辞書22に登録されている語と同じである。
例えば、発話テンプレートデータベース23には、「話したい」という代表語に対して、「%keyさんと話したい」、「%keyさんとおしゃべりしたい」、「しゃべってみたいんです%keyさんと」、「%keyに言いたいことがある」等のテンプレート文が登録されている。
ここで、「%key」は、何らかのキーワードに置き換えられる箇所を示している。
図の例では、同様に、「聞きたい」、「食べたい」、「きれい」、「おもしろい」、「好き」の各代表語に対応するテンプレート文が登録されている。
発話テンプレートデータベース23のデータは、予め準備されていてもよいし、後述するように、入力文Iを利用して、テンプレート登録部13によって新たにテンプレートが追加されてもよい。
特徴ベクトルデータベース24は、代表語及び他のキーワードを含む各語の特徴ベクトルが登録されたデータベースである。
図4は、本実施形態に係る特徴ベクトルデータベース24の登録例を示す図である。
特徴ベクトルデータベース24には、語と対応する特徴ベクトルとが登録される。
本実施形態では、特徴ベクトルとして、既知のソフトウェアであるword2vecによって算出された特徴ベクトルを用いるものとする。word2vecは、3層のニューラルネットワークを用いており、分かち書きされた大量の文章を入力すると、算出された特徴ベクトルは、類似した語が距離の近いベクトルになることが経験的に知られている。
なお、特徴ベクトルの算出方法は、word2vecに限定されるものではなく、意味的に近い語の特徴ベクトルがベクトル空間上で近くに分布する演算方式であればよい。
図の例では、「ラーメン」の特徴ベクトルとしてvec1が登録され、以下、「を」、「食べたい」、「○川×子」、「は」、「とても」、「綺麗」の特徴ベクトルとしてそれぞれ、vec2〜vec7が登録され、全部でN個の特徴ベクトルが登録されている。
特徴ベクトルデータベース24は、予め大量の文章を入力として学習した特徴ベクトルが登録されていてもよいし、後述するように、入力文Iを用いて、特徴ベクトル演算部15によって更新されてもよい。
[データベース更新処理]
前述の各データベースのうち、発話テンプレートデータベース23及び特徴ベクトルデータベース24は、形態素解析部11、過分割修正部12、テンプレート登録部13、表現統一部14、及び特徴ベクトル演算部15の一連の処理により更新される。
形態素解析部11は、発話生成装置1に入力文Iが入力されると、入力文Iの形態素解析を行い、入力文Iを分かち書き文に変換する。
ここで、分かち書き文とは、形態素に分割された語の間に区切り文字(例えば、空白文字)を挿入した文である。
図5は、本実施形態に係る入力文Iの変換例を示す図である。
入力文Iとして、「このラーメンを食べてみたいですね。」という文が入力された場合、形態素解析部11の解析結果が分かち書きされ、「この/ラーメン/を/食べ/て/みたい/です/ね/。」と出力される。なお、ここでは、分かち書き文の区切り文字として、空白ではなく「/」を用いている。
過分割修正部12は、形態素解析部11による解析の結果、細かくなりすぎた語を接続する。具体的には、過分割修正部12は、キーワード辞書21に登録されているキーワード、又は代表語辞書22に登録されている代表語若しくは別表現が入力文Iに含まれており、これらが形態素解析部11によって複数の単語に分割された場合、分割されたこれらの単語を接続し直して元の語に復元する。
図5の例では、形態素解析部11の出力で、代表語辞書22の「食べたい」の別表現として登録されている「食べてみたい」という語が、「食べ/て/みたい」と3語に分割されている。このため、過分割修正部12は、これらを「食べてみたい」の1語に接続し、結果として「この/ラーメン/を/食べてみたい/です/ね/。」という分かち書き文を出力する。
テンプレート登録部13は、過分割修正部12から出力された分かち書き文から、必要に応じてテンプレート文を作成し、発話テンプレートデータベース23に登録する。
テンプレート登録部13は、入力文Iに、キーワード辞書21に登録されているキーワード、及び代表語辞書22の代表語又は別表現が含まれている場合、この代表語に対応するテンプレートとして、入力文Iのうち、キーワードを一般化した文を登録する。
図6は、本実施形態に係るテンプレート登録処理を示すフローチャートである。
ステップS1において、テンプレート登録部13は、分かち書きされた入力文Iに対して、代表語辞書22に登録されている代表語又は別表現が含まれているか否かを判定する。この判定がYESの場合、処理はステップS2に移り、判定がNOの場合、処理は終了する。
ステップS2において、テンプレート登録部13は、入力文Iに、キーワード辞書21に登録されているキーワードが含まれているか否かを判定する。この判定がYESの場合、処理はステップS3に移り、判定がNOの場合、処理はステップS4に移る。
ステップS3において、テンプレート登録部13は、入力文Iに含まれているキーワードの部分を文字列「%key」に置き換える。
ステップS4において、テンプレート登録部13は、分かち書き文を普通の文に戻すために、区切り文字である空白を削除する。
ステップS5において、テンプレート登録部13は、発話テンプレートデータベース23に、代表語のテンプレートとしてステップS4の結果と同じ文が登録されているか否かを判定する。この判定がYESの場合、処理は終了し、判定がNOの場合、処理はステップS6に移る。
ステップS6において、テンプレート登録部13は、ステップS4の結果を、新たなテンプレートとして、発話テンプレートデータベース23に登録する。
この処理により、テンプレート登録部13は、例えば、「この/ラーメン/を/食べてみたい/です/ね/。」という入力に対して、「この%keyを食べてみたいですね。」という文を、発話テンプレートデータベース23の代表語「食べたい」のテンプレートとして登録する。
表現統一部14は、過分割修正部12の出力文に、代表語辞書22に登録された代表語の別表現が含まれている場合に、この別表現を代表語に置き換える。
例えば、図5に示すように、過分割修正部12の出力文が「この/ラーメン/を/食べてみたい/です/ね/。」の場合、代表語辞書22では「食べてみたい」の代表語は「食べたい」なので、表現統一部14は、「食べてみたい」を「食べたい」に置き換えた文「この/ラーメン/を/食べたい/です/ね/。」を出力する。
特徴ベクトル演算部15は、表現統一部14の出力する文をword2vecの入力として与え、別表現が代表語に置き換えられた分かち書き文における各語の特徴ベクトルを演算し、特徴ベクトルデータベース24に保管されている特徴ベクトルを更新する。
このように、テンプレート登録部13及び特徴ベクトル演算部15によって、発話テンプレートデータベース23には、代表語に対して、代表語又は別表現を含むテンプレート文が登録され、特徴ベクトルデータベース24には、代表語に統一された語の特徴ベクトルが登録される。
これにより、代表語の別表現として稀にしか出ない語(例えば、「食べたい」の別表現として「食っちゃいたい」等)が、「食べたい」の特徴ベクトルの学習に利用されると共に、この別表現はテンプレートとして登録されることになり、発話文のバリエーションが広がる。また、代表語にまとめることで、後述のベクトル距離演算部17の計算量が低減される。
[発話生成処理]
発話生成装置1は、入力文Iに対して、キーワード抽出部16、ベクトル距離演算部17、代表語ランキング部18、発話文生成部19の一連の処理により、出力文O(発話文)を出力する。
キーワード抽出部16は、入力文Iに、キーワード辞書21に登録されているキーワードが含まれているか否かを判定し、含まれているキーワードを抽出する。入力文Iにキーワードが含まれていない場合には、発話生成装置1は、この入力文Iに対して、出力文Oとして何も出力しない。
ベクトル距離演算部17は、キーワード抽出部16により抽出されたキーワードと、代表語辞書22に登録されている代表語それぞれとのベクトル距離を計算する。
ここで、キーワードkの特徴ベクトルをveck、代表語tの特徴ベクトルをvectとしたとき、ベクトル間の距離として、式1のコサイン類似度cos(veck,vect)が利用できる。
(式1) cos(veck,vect)=(veck・vect)/(|veck||vect|)
代表語ランキング部18は、キーワードの特徴ベクトルと各代表語の特徴ベクトルとの距離の演算結果から、この値の大きい順にソートすることにより順位付けを行い、キーワードに関連が強いランキングが上位の代表語を選択する。
図7は、本実施形態に係るベクトル距離演算部17及び代表語ランキング部18による関連語選択の動作イメージを示す図である。
この例では、キーワードとして「ラーメン」(特徴ベクトルvec1)と「京都」(特徴ベクトルvecy)とが、代表語として「行きたい」(特徴ベクトルvecx)と「食べたい」(特徴ベクトルvec3)とが定義されている。
本実施形態の特徴ベクトルは、例えば、「ラーメン」の近くに「うどん」、「カレー」、「焼きそば」等が分布するように、似た傾向の語の特徴ベクトルが近くなる。これと共に、関連のある語の特徴ベクトルも近くなる。すなわち、「ラーメン」のような食べ物の特徴ベクトルは、「行きたい」という特徴ベクトルより「食べたい」という特徴ベクトルに近い位置に分布している。このことは、「ラーメン」という語は、代表語としての「食べたい」と、「京都」という語は、代表語としての「行きたい」と、それぞれ関連が大きいことを意味している。
発話文生成部19は、代表語ランキング部18によりランキングされた代表語に対して、発話テンプレートデータベース23に登録されているテンプレートの中から、ランダムに選択し、選択したテンプレート内の「%key」の部分をキーワードに置き換えることで、発話文を生成し、出力文Oとして出力する。
例えば、キーワードが「ラーメン」、代表語が「食べたい」の場合、図3の発話テンプレートのうち、代表語「食べたい」に対して登録されたテンプレートの3番目を選ぶと、発話文は、「一度でいいからこのラーメンを食べてみたい」となる。
なお、発話文生成部19は、代表語に対して複数登録されたテンプレートをランダムに選択するものとして説明したが、これには限られない。発話生成装置1は、例えば、特定のテンプレートに重み付けをし、選択確率に偏りを持たせてもよいし、この選択確率を視聴番組に関連して適宜更新することで、発話文に個性を持たせてもよい。
[代表語辞書22の更新処理]
代表語辞書22は、特徴ベクトルデータベース24に基づいて、自動更新されてもよい。
代表語辞書更新部20は、代表語辞書22の各代表語に対する別表現の単語を追加登録する。
前述のように、特徴ベクトルデータベース24に登録されている特徴ベクトルは、意味が近い単語が近くなる。これを利用し、代表語辞書更新部20は、代表語の特徴ベクトルとの距離が所定以内の特徴ベクトルのうち、未登録の語を代表語の別表現として登録する。
図8は、本実施形態に係る代表語辞書22の更新処理を示すフローチャートである。
ステップS11において、代表語辞書更新部20は、ループ処理用の変数nを1にセットする。
ステップS12において、代表語辞書更新部20は、代表語辞書22に登録されている代表語のうち、n番目の代表語を取得する。
ステップS13において、代表語辞書更新部20は、特徴ベクトルデータベース24から、ステップS12で取得したn番目の代表語の特徴ベクトルに近い特徴ベクトルの用語のうち上位M個を取得する。
ステップS14において、代表語辞書更新部20は、取得したM個の用語に対するループ処理用の変数mを1にセットする。
ステップS15において、代表語辞書更新部20は、ステップS13で取得したM個の用語のうちm番目の用語が、代表語辞書22のn番目の代表語の別表現として登録されているか否かを判定する。この判定がYESの場合、処理はステップS17に移り、判定がNOの場合、処理はステップS16に移る。
ステップS16において、代表語辞書更新部20は、m番目の用語を、n番目の代表語の別表現として代表語辞書22に登録する。
ステップS17において、代表語辞書更新部20は、変数mをカウントアップし、m=Mになるまでループ処理を繰り返す。
ステップS18において、代表語辞書更新部20は、代表語辞書22に登録されている代表語の数Nの全てに対して上記の処理を行うため、変数nをカウントアップし、n=Nになるまでループ処理を繰り返す。
なお、本実施形態では、ステップS16において、未登録の単語を全て代表語辞書22に登録することとしたが、これには限られず、例えば、登録するか否かの選択入力をユーザから受け付けてもよい。
本実施形態によれば、発話生成装置1は、テレビ番組中のキーワードの特徴ベクトルと、感情等を表す複数の代表語それぞれの特徴ベクトルとの距離に基づいて、キーワードと関連の強い代表語を選択すると、代表語に対応するテンプレート文とキーワードとを組み合わせることにより、発話文を生成する。
したがって、発話生成装置1は、番組に関連するキーワードから、自発的に、感情を示す発話文を生成できる。これにより、発話生成装置1を組み込んだロボットがあたかも自立した感情を持っているように、視聴中のテレビ番組に合わせて、感情を表す言葉を発話でき、小さな子供がテレビを見て喜んでいる様子を、周囲の大人が微笑ましく眺めるような効果が期待できる。
発話生成装置1をロボットに組み込むことで、ロボットは、テレビに反応してロボット自身の感情を含む言葉をつぶやくため、ユーザが積極的に話しかける必要はなく、ユーザは、テレビとロボットの発話のやりとりを俯瞰的な立場から楽しむことができる。また、ロボットから自発的に話し掛けるため、ユーザの発話を促す効果も期待できる。さらに、ユーザが放送中のテレビ番組自体に興味がなくても、ロボットがつぶやくことをきっかけに、番組に興味を持つ効果も期待できる。
発話生成装置1は、特徴ベクトルの距離に基づいて代表語を順位付けし、ランキングが上位の、すなわち番組のキーワードと関連の強い代表語を優先して発話文を生成する。したがって、発話生成装置1は、入力されたキーワードに対して、適切な代表語を用いて発話文を生成できる。
発話生成装置1は、入力文Iから、キーワード辞書21に登録されているキーワードを抽出することにより、特徴ベクトルが登録済みのキーワードを対象として、効率的に発話文を生成できる。
発話生成装置1は、入力文Iに基づいて、未登録のテンプレートを登録し、特徴ベクトルを更新する。したがって、発話生成装置1は、流行りの言葉を学習できると共に、視聴したテレビ番組に応じて、登録されるテンプレート文及び特徴ベクトルを変化させ、テレビの視聴傾向によって発話内容にバリエーションを生じさせることができる。
発話生成装置1は、入力文Iに、代表語の別表現が含まれる場合、別表現を代表語に置き換えた後に特徴ベクトルを演算する。したがって、発話生成装置1は、別表現を含む類似語をまとめて処理でき、別表現毎の出現頻度によらず、代表語に対する特徴ベクトルを共用できる。これにより、代表語の特徴ベクトルを適切に更新できると共に、テンプレートの複数の表現を平等に扱い、発話文のバリエーションを増やすことができる。
発話生成装置1は、特徴ベクトルデータベース24を用いて、特徴ベクトルの距離が代表語と近い用語を別表現として代表語辞書22に登録するので、別表現を自動的に追加し、発話文のバリエーションを増やすことができる。
以上、本発明の実施形態について説明したが、本発明は前述した実施形態に限るものではない。また、本実施形態に記載された効果は、本発明から生じる最も好適な効果を列挙したに過ぎず、本発明による効果は、本実施形態に記載されたものに限定されるものではない。
発話文生成部19は、1つの文を生成するだけでなく、複数の文を生成して出力してもよい。発話文生成部19は、例えば、代表語ランキング部18の上位n個の代表語に対して発話文を生成してもよいし、コサイン類似度の値が閾値以上の代表語に対して発話文を生成してもよい。また、発話文生成部19は、代表語の種別(動詞又は形容詞)毎にランキングを行い、それぞれの上位の代表語を使って発話文を生成してもよい。
複数の発話文を生成することにより、発話文生成部19は、例えば、後続の処理として設けられ得る発話文の選択処理に対して複数の選択肢を提供でき、発話内容のバリエーションを増やすことができる。
また、このとき、発話文生成部19は、後続の処理のために、発話文と共に特徴ベクトルの距離値を出力してもよい。
本実施形態では、発話テンプレートデータベース23及び特徴ベクトルデータベース24は、入力文Iが入力される度に更新されるものとして説明したが、十分なデータが蓄積されていれば、形態素解析部11、過分割修正部12、テンプレート登録部13、表現統一部14、特徴ベクトル演算部15によるデータベースの更新処理は省略されてもよい。また、この場合、発話生成装置1への入力として、入力文Iに代えて、単にキーワードが入力されてもよい。この場合、キーワード辞書21及びキーワード抽出部16も不要となる。
本実施形態では、主に発話生成装置1の構成と動作について説明したが、本発明はこれに限られず、各構成要素を備え、ロボットの発話文を生成するための方法、又はプログラムとして構成されてもよい。
さらに、発話生成装置1の機能を実現するためのプログラムをコンピュータで読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現してもよい。
ここでいう「コンピュータシステム」とは、OSや周辺機器等のハードウェアを含むものとする。また、「コンピュータで読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ROM、CD−ROM等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。
さらに「コンピュータで読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時刻の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時刻プログラムを保持しているものも含んでもよい。また、上記プログラムは、前述した機能の一部を実現するためのものであってもよく、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよい。
1 発話生成装置
11 形態素解析部
12 過分割修正部
13 テンプレート登録部
14 表現統一部
15 特徴ベクトル演算部
16 キーワード抽出部
17 ベクトル距離演算部
18 代表語ランキング部
19 発話文生成部
20 代表語辞書更新部
21 キーワード辞書
22 代表語辞書
23 発話テンプレートデータベース
24 特徴ベクトルデータベース

Claims (9)

  1. 発話の特徴を示す代表語に対応付けて、発話文のテンプレートを記憶する発話テンプレートデータベースと、
    キーワードの特徴ベクトルを記憶する特徴ベクトルデータベースと、
    入力されたキーワードの特徴ベクトルと前記代表語の特徴ベクトルとの距離を算出する距離演算部と、
    前記距離に基づいて選択された前記テンプレートに対して、前記入力されたキーワードを組み合わせて発話文を生成する発話文生成部と、を備える発話生成装置。
  2. 前記距離に基づいて、前記代表語の順位付けを行う代表語ランキング部を備え、
    前記発話文生成部は、前記順位付けによるランキングが上位の代表語を優先して、当該上位の代表語に対応する前記テンプレートを選択する請求項1に記載の発話生成装置。
  3. 入力文から、キーワード辞書に登録されているキーワードを抽出するキーワード抽出部を備える請求項1又は請求項2に記載の発話生成装置。
  4. 前記入力文に、前記キーワード辞書に登録されているキーワード、及び前記代表語又は当該代表語の別表現が含まれている場合、当該代表語に対応するテンプレートとして、前記入力文のうち、前記キーワードを一般化した文を登録するテンプレート登録部を備える請求項3に記載の発話生成装置。
  5. 前記入力文を形態素解析し、分かち書き文に変換する形態素解析部と、
    前記分かち書き文において、前記代表語又は前記代表語の別表現が複数の単語に分割されている場合、当該複数の単語を連結して前記代表語又は前記別表現に復元する過分割修正部と、
    前記分かち書き文の各語の特徴ベクトルを演算し、前記特徴ベクトルデータベースを更新する特徴ベクトル演算部と、を備える請求項3又は請求項4に記載の発話生成装置。
  6. 前記分かち書き文において、前記別表現を前記代表語に置き換える表現統一部を備え、
    前記特徴ベクトル演算部は、前記別表現が前記代表語に置き換えられた後に、前記特徴ベクトルを演算する請求項5に記載の発話生成装置。
  7. 前記特徴ベクトルデータベースから、前記代表語の特徴ベクトルとの距離が所定以内の単語を抽出し、前記別表現として辞書に登録する代表語辞書更新部を備える請求項4から請求項6のいずれかに記載の発話生成装置。
  8. 発話の特徴を示す代表語に対応付けて、発話文のテンプレートを記憶し、キーワードの特徴ベクトルを記憶したコンピュータが、
    入力されたキーワードの特徴ベクトルと前記代表語の特徴ベクトルとの距離を算出する距離演算ステップと、
    前記距離に基づいて選択された前記テンプレートに対して、前記入力されたキーワードを組み合わせて発話文を生成する発話文生成ステップと、を実行する発話生成方法。
  9. 発話の特徴を示す代表語に対応付けて、発話文のテンプレートを記憶し、キーワードの特徴ベクトルを記憶したコンピュータに、
    入力されたキーワードの特徴ベクトルと前記代表語の特徴ベクトルとの距離を算出する距離演算ステップと、
    前記距離に基づいて選択された前記テンプレートに対して、前記入力されたキーワードを組み合わせて発話文を生成する発話文生成ステップと、を実行させるための発話生成プログラム。
JP2017090331A 2017-04-28 2017-04-28 発話生成装置、発話生成方法及び発話生成プログラム Active JP6914094B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2017090331A JP6914094B2 (ja) 2017-04-28 2017-04-28 発話生成装置、発話生成方法及び発話生成プログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017090331A JP6914094B2 (ja) 2017-04-28 2017-04-28 発話生成装置、発話生成方法及び発話生成プログラム

Publications (2)

Publication Number Publication Date
JP2018190077A true JP2018190077A (ja) 2018-11-29
JP6914094B2 JP6914094B2 (ja) 2021-08-04

Family

ID=64480396

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017090331A Active JP6914094B2 (ja) 2017-04-28 2017-04-28 発話生成装置、発話生成方法及び発話生成プログラム

Country Status (1)

Country Link
JP (1) JP6914094B2 (ja)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111353043A (zh) * 2020-02-27 2020-06-30 浙江大学 一种基于轻量化卷积神经网络的细粒度观点挖掘方法
JP2020197957A (ja) * 2019-06-04 2020-12-10 コニカミノルタ株式会社 発想支援装置、発想支援システム及びプログラム
JP2020201748A (ja) * 2019-06-11 2020-12-17 日本放送協会 発話生成装置、発話生成方法及び発話生成プログラム
JP2021114234A (ja) * 2020-01-21 2021-08-05 株式会社東芝 情報処理装置、情報処理システム、および情報処理プログラム
JP2022056638A (ja) * 2020-09-30 2022-04-11 Kddi株式会社 ユーザ周辺のマルチモーダル情報に応じてユーザと対話するプログラム、装置及び方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009163620A (ja) * 2008-01-09 2009-07-23 Toyota Central R&D Labs Inc 応答生成装置、及び応答生成プログラム
JP2014222401A (ja) * 2013-05-13 2014-11-27 日本電信電話株式会社 発話文抽出装置、方法、及びプログラム
JP2017049471A (ja) * 2015-09-03 2017-03-09 カシオ計算機株式会社 対話制御装置、対話制御方法及びプログラム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009163620A (ja) * 2008-01-09 2009-07-23 Toyota Central R&D Labs Inc 応答生成装置、及び応答生成プログラム
JP2014222401A (ja) * 2013-05-13 2014-11-27 日本電信電話株式会社 発話文抽出装置、方法、及びプログラム
JP2017049471A (ja) * 2015-09-03 2017-03-09 カシオ計算機株式会社 対話制御装置、対話制御方法及びプログラム

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
今野陽子ほか: "特定の話題に関する対話エージェントの実現に向けた特徴語に基づく応答法の検討", 情報処理学会研究報告 [ONLINE], vol. Vol.2017-ICS-186, No.10, JPN6021003525, 24 February 2017 (2017-02-24), pages 1 - 6, ISSN: 0004439007 *
加藤和樹ほか: "文のテンプレートの学習および感情を考慮した会話文の生成", 第77回(平成27年)全国大会講演論文集(2), JPN6021003526, 17 March 2015 (2015-03-17), pages 175 - 176, ISSN: 0004439008 *

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020197957A (ja) * 2019-06-04 2020-12-10 コニカミノルタ株式会社 発想支援装置、発想支援システム及びプログラム
JP7363107B2 (ja) 2019-06-04 2023-10-18 コニカミノルタ株式会社 発想支援装置、発想支援システム及びプログラム
JP2020201748A (ja) * 2019-06-11 2020-12-17 日本放送協会 発話生成装置、発話生成方法及び発話生成プログラム
JP7365791B2 (ja) 2019-06-11 2023-10-20 日本放送協会 発話生成装置、発話生成方法及び発話生成プログラム
JP2021114234A (ja) * 2020-01-21 2021-08-05 株式会社東芝 情報処理装置、情報処理システム、および情報処理プログラム
JP7305566B2 (ja) 2020-01-21 2023-07-10 株式会社東芝 情報処理装置、情報処理システム、および情報処理プログラム
CN111353043A (zh) * 2020-02-27 2020-06-30 浙江大学 一种基于轻量化卷积神经网络的细粒度观点挖掘方法
JP2022056638A (ja) * 2020-09-30 2022-04-11 Kddi株式会社 ユーザ周辺のマルチモーダル情報に応じてユーザと対話するプログラム、装置及び方法
JP7426917B2 (ja) 2020-09-30 2024-02-02 Kddi株式会社 ユーザ周辺のマルチモーダル情報に応じてユーザと対話するプログラム、装置及び方法

Also Published As

Publication number Publication date
JP6914094B2 (ja) 2021-08-04

Similar Documents

Publication Publication Date Title
Li et al. A persona-based neural conversation model
JP6914094B2 (ja) 発話生成装置、発話生成方法及び発話生成プログラム
US20200395008A1 (en) Personality-Based Conversational Agents and Pragmatic Model, and Related Interfaces and Commercial Models
JP6802005B2 (ja) 音声認識装置、音声認識方法及び音声認識システム
JP6951712B2 (ja) 対話装置、対話システム、対話方法、およびプログラム
Chen et al. Deep Learning for Video Captioning: A Review.
CN111738025B (zh) 基于人工智能的翻译方法、装置、电子设备和存储介质
CN111819625A (zh) 用于语言模型个性化的***和方法
JP6122792B2 (ja) ロボット制御装置、ロボット制御方法及びロボット制御プログラム
KR102104294B1 (ko) 디스플레이 장치로 읽을 수 있는 저장매체에 저장된 수화 영상 챗봇 애플리케이션
KR102544249B1 (ko) 발화의 문맥을 공유하여 번역을 수행하는 전자 장치 및 그 동작 방법
CN118043885A (zh) 用于半监督语音识别的对比孪生网络
JP6320397B2 (ja) 音声選択支援装置、音声選択方法、およびプログラム
KR20190074508A (ko) 챗봇을 위한 대화 모델의 데이터 크라우드소싱 방법
US20220253609A1 (en) Social Agent Personalized and Driven by User Intent
CN116913278B (zh) 语音处理方法、装置、设备和存储介质
US20230290371A1 (en) System and method for automatically generating a sign language video with an input speech using a machine learning model
JP7058588B2 (ja) 会話システムおよび会話プログラム
Deena et al. Exploring the use of acoustic embeddings in neural machine translation
Vörös et al. Towards a smart wearable tool to enable people with SSPI to communicate by sentence fragments
KR102384165B1 (ko) 가상공간 내 영상 음성 데이터 송수신을 통한 실시간 양방향 커뮤니케이션 방법 및 시스템
JP7365791B2 (ja) 発話生成装置、発話生成方法及び発話生成プログラム
KR20220003050U (ko) 인공지능 대화 제공을 위한 전자 장치
Schnelle-Walka et al. Multimodal Fusion and Fission within the W3C MMI Architectural Pattern
JP6988715B2 (ja) 回答文選択装置、方法、およびプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200302

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20210121

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210209

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210316

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210615

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210713

R150 Certificate of patent or registration of utility model

Ref document number: 6914094

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250