JP7436804B2 - 情報処理装置、及びプログラム - Google Patents
情報処理装置、及びプログラム Download PDFInfo
- Publication number
- JP7436804B2 JP7436804B2 JP2020009102A JP2020009102A JP7436804B2 JP 7436804 B2 JP7436804 B2 JP 7436804B2 JP 2020009102 A JP2020009102 A JP 2020009102A JP 2020009102 A JP2020009102 A JP 2020009102A JP 7436804 B2 JP7436804 B2 JP 7436804B2
- Authority
- JP
- Japan
- Prior art keywords
- information
- date
- time
- event
- sentence
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000010365 information processing Effects 0.000 title claims description 33
- 238000000034 method Methods 0.000 claims description 52
- 230000006870 function Effects 0.000 claims description 7
- 238000013528 artificial neural network Methods 0.000 claims description 6
- 238000009825 accumulation Methods 0.000 claims 1
- 238000004891 communication Methods 0.000 description 12
- 239000000284 extract Substances 0.000 description 9
- 230000008451 emotion Effects 0.000 description 8
- 230000015572 biosynthetic process Effects 0.000 description 7
- 238000010586 diagram Methods 0.000 description 7
- 238000003786 synthesis reaction Methods 0.000 description 7
- 238000010801 machine learning Methods 0.000 description 3
- 241000282412 Homo Species 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 230000008921 facial expression Effects 0.000 description 2
- 230000005236 sound signal Effects 0.000 description 2
- 206010011469 Crying Diseases 0.000 description 1
- 230000003796 beauty Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
Images
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- User Interface Of Digital Computer (AREA)
Description
「明日、デートがあるんだ」や、
「来週の月曜日は試験だよ」
などの文字列情報に合致する。そして、上記パターンにおいて、
「[明日|明後日|週末|来週][D+日][W+曜][日]」
の部分が日時関連語に、
「W+[が][ある|なん]」のうち、先頭の「W+」の(任意の文字に合致する)部分
がイベント関連語にそれぞれ相当する。
「そういえば、<日時指示語>の<イベント特定情報>は、どうだった?」
「あ。<日時指示語>は、<イベント特定情報>だったんだよね?」
…
などといった候補のうちから一つをランダムに選択して、日時指示とイベント特定情報とを、当該選択した会話文パターンに差し込む。
「そういえば、一昨日のデートは、どうだった?」
のような会話文を生成する。
・最高気温が35度以上だった、かつ、時刻が18時以降であるとの発話条件に関連付けて、「今日は、暑かったね」
・時刻が午前2時から午前4時の間であるとの発話条件に関連付けて、「そろそろ寝ない?」
などといった例があり得る。
「今日のニュースを教えて」や、
「何かニュースはない?」
といった文字列情報に合致することとなる。
「(ステップ1)ニュースの文字列情報を、インターネット上の所定のウェブサーバから取得する、
(ステップ2)当該文字列情報を読み上げる指示を生成
(ステップ3)読み上げのときに再生するアニメーション情報を表示させる指示を生成する」を取得して、この情報に従った処理を実行する。
本実施の形態の情報処理システム1は、以上の構成を備えており、次の例のように動作する。なお以下の例ではサーバ10の記憶部12には、アクションの要求の原因であるトリガごとに、アクション情報の生成のためにサーバ10が実行する処理を表す情報が関連付けられて、アクションデータベースとして格納されているものとする。
・トリガを特定する情報(T):ユーザが会話をしている
・実行する処理:
(ステップ1)会話文の文字列情報を選択
(ステップ2)当該文字列情報を読み上げる指示を生成
(ステップ3)読み上げのときに再生するアニメーション情報を表示させる指示を生成する
との情報が含まれるものとする。
・トリガを特定する情報(トリガ名N):ユーザによる音声入力があった
・発生条件(C):ユーザが所定のウェイクワードを発声した
・サーバ10での処理に必要な情報を特定する情報(P):
ユーザが発話した内容の文字列情報
…
といった情報が含まれるものとする。ここでウェイクワードとは、ユーザがその語を発話したときに、音声入力の開始として認識するべき、「ねえ聞いてよ」や「起きてよ」等の語であり、予め定められているものとする。端末装置20は、サーバ10での処理に必要となるユーザが発話した内容の文字列情報から、このウェイクワードに相当する文字列部分を除いてもよい。
「そういえば、この間のデートは、どうだった?」
といった会話文を生成する。
(1)発話条件:最高気温が35度以上だった、かつ、時刻が18時以降である
会話文:「今日は、暑かったね」
(2)発話条件:時刻が午前2時から午前4時の間である
会話文「そろそろ寝ない?」
…
などとともに、
(n)発話条件:12月23日から12月30日までの発話期間内である
会話文:「そういえば、この間のデートは、どうだった?」
との会話文が蓄積された状態となる。
ユーザ:「ねえ聞いてよ。明日はデートなんだけどね」
端末装置20の発話:「へえ、そうなんだ」
ユーザ:「天気はどうかな」
端末装置20の発話:「明日は晴れるみたいだよ」
といった会話履歴の情報が記録されることとなる。
ユーザ:「起きてよ。何かニュースある?」
端末装置20の発話:「『先週に引き続き、暖かい日が続いていますが、年末は寒波が襲来すると予想されています』、だって」
といった会話の履歴が記録される。
ユーザ:「起きてよ。何かニュースある?」
端末装置20の発話:「『先週に引き続き、暖かい日が続いていますが、年末は寒波が襲来すると予想されています』、だって」
ユーザ:「ああ。確かに先週は暖かかったなあ」
といった会話の履歴に引き続いて、発話条件が満足されている会話文の一つとして、「そういえば、この間のデートは、どうだった?」との会話文が自然に連続するか否かが判断される。
ユーザ:「起きてよ。何かニュースある?」
端末装置20の発話:「『先週に引き続き、暖かい日が続いていますが、年末は寒波が襲来すると予想されています』、だって」
ユーザ:「ああ。確かに先週は暖かかったなあ」
端末装置20の発話:「そういえば、この間のデートは、どうだった?」
といったようになる。
ここまでの説明では、端末装置20がユーザの発した音声を認識して得た文字列情報をサーバ10へ送出していた。そしてサーバ10にて端末装置20で発声するべき音声データのもととなる文字列情報(会話文)を生成して提供することとしていた。
また端末装置20は、音声データ(サーバ10から受信した文字列情報に基づいて合成した音声データを含む)の再生中に、ユーザが端末装置20に対して所定の操作を行ったときに、音声データの再生を中断することとしてもよい。
本実施の形態の一例ではさらに、アクション情報に、端末装置20の表示部34に表示するキャラクタの感情に関係する情報が含まれてもよい。この感情の情報は、例えば喜び(Joy)、や悲しみ(Sad)などを特定する情報等でよい。またこの感情の情報には、無感情を表す情報(flat)を含んでもよい。
また、本実施の形態において、会話文キューを記憶するサーバ10または端末装置20は、所定のタイミングごとに会話文キューから、既に経過している発話期間(終了している発話期間)に関連付けられた会話文を削除することとしてもよい。
さらに本実施の形態のここまでの説明では、イベント情報取得部43として機能するサーバ10または端末装置20は、ユーザにより入力された音声の内容を表す文字列情報がイベントに関わる情報のパターンに合致する場合に、当該文字列情報から日時情報と、イベント特定情報とを取り出していた。しかしながら本実施の形態はこれに限られない。
またここまでの説明では、会話文生成部44が、予め会話文全体を生成して会話文キューに蓄積することとしていた。そこで発話期間に応じて、会話の主題である過去のイベントが発生した日までの相対的な指示語(「昨日」、「一昨日」など)を会話文生成部44が予め含めていた。
本実施の形態は、また次のことを特徴とする。すなわち、本実施の形態の一態様は、情報処理装置であって、日時情報に関連付けられた、ユーザのイベントを特定する、「デート」などのイベント特定情報を取得する取得手段と、前記日時情報が表す日時より後の日時に発話する処理において、「先週のデートどうだった」などといった、当該イベント特定情報に関連する会話文である関連会話文を生成する会話文生成手段と、を備える。
Claims (10)
- 日時情報に関連付けられた、ユーザのイベントを特定するイベント特定情報を取得する取得手段と、
前記日時情報が表す日時より後の日時に発話する処理において、当該イベント特定情報に関連する関連会話文を生成する会話文生成手段と、
実行手段と、
を備え、
前記会話文生成手段は、前記関連会話文を、予め定められた日数候補から選択された日数を加算して得られる、前記日時情報が表す日時より後の日時を初日とする発話期間を表す情報に関連付けて記録し、
前記実行手段が、前記発話期間に、現在の日時が含まれる場合に、当該関連会話文の発話処理を実行する情報処理装置。 - 日時情報に関連付けられた、ユーザのイベントを特定するイベント特定情報を取得する取得手段と、
前記日時情報が表す日時より後の日時に発話する処理において、当該イベント特定情報に関連する関連会話文を生成する会話文生成手段と、
を備え、
前記会話文生成手段は、前記関連会話文を発話する期間を表す情報に関連付けて記録し、
前記期間に、現在の日時が含まれ、ユーザから入力される会話文と、当該関連会話文とが連続性を有する場合に、当該関連会話文の発話処理を実行する実行手段と、を含む情報処理装置。 - 請求項2に記載の情報処理装置であって、
前記実行手段は、第1の会話文と、第2の会話文と、当該第1,第2の会話文の連続性を表す情報とを互いに関連付けた学習データを用いて機械学習されたニューラルネットワークを用いて、前記入力された会話文と、当該関連会話文とが連続性を有するか否かを判定する情報処理装置。 - 請求項1から3のいずれかに記載の情報処理装置であって、
ユーザから入力される会話文に、予め定められたイベントに関わるイベント関連語と、日時を特定する日時関連語とが含まれる場合に、前記イベント関連語に関連する前記イベント特定情報と、前記日時関連語が表す前記日時情報とを関連付けて蓄積する蓄積手段、を備える
情報処理装置。 - 請求項1から4のいずれかに記載の情報処理装置であって、
前記関連会話文が発話されている間、ユーザが所定の入力を行うと、当該発話を停止する情報処理装置。 - 請求項1から5のいずれかに記載の情報処理装置であって、
前記生成した関連会話文を発話する再生装置と、
当該再生装置の近傍に所在する人物を検出する手段をさらに含み、
前記再生装置の近傍に所在する人物が単数であるときに限り、前記関連会話文の発話を、前記再生装置に行わせる情報処理装置。 - コンピュータを、
日時情報に関連付けられた、ユーザのイベントを特定するイベント特定情報を取得する取得手段と、
前記日時情報が表す日時より後の日時に発話する処理において、当該イベント特定情報に関連する関連会話文を生成し、当該関連会話文を、予め定められた日数候補から選択された日数を加算して得られる、前記日時情報が表す日時より後の日時を初日とする発話期間を表す情報に関連付けて記録する会話文生成手段と、
前記発話期間に、現在の日時が含まれる場合に、当該関連会話文の発話処理を実行する実行手段と、を含む
として機能させるプログラム。 - 情報処理装置を用い、
取得手段が、日時情報に関連付けられた、ユーザのイベントを特定するイベント特定情報を取得し、
会話文生成手段が、前記日時情報が表す日時より後の日時に発話する処理において、当該イベント特定情報に関連する関連会話文を生成して、当該関連会話文を、予め定められた日数候補から選択された日数を加算して得られる、前記日時情報が表す日時より後の日時を初日とする発話期間を表す情報に関連付けて記録し、
実行手段が、前記発話期間に、現在の日時が含まれる場合に、当該関連会話文の発話処理を実行する情報処理装置の制御方法。 - 情報処理装置を用い、
取得手段が日時情報に関連付けられた、ユーザのイベントを特定するイベント特定情報を取得し、
会話文生成手段が前記日時情報が表す日時より後の日時に発話する処理において、当該イベント特定情報に関連する関連会話文を生成して、当該関連会話文を発話する期間を表す情報に関連付けて記録し、
実行手段が、前記期間に、現在の日時が含まれ、ユーザから入力される会話文と、当該関連会話文とが連続性を有する場合に、当該関連会話文の発話処理を実行する情報処理装置の制御方法。 - コンピュータを、
日時情報に関連付けられた、ユーザのイベントを特定するイベント特定情報を取得する取得手段と、
前記日時情報が表す日時より後の日時に発話する処理において、当該イベント特定情報に関連する関連会話文を生成する会話文生成手段と、
を備え、
前記会話文生成手段は、前記関連会話文を発話する期間を表す情報に関連付けて記録し、
前記期間に、現在の日時が含まれ、ユーザから入力される会話文と、当該関連会話文とが連続性を有する場合に、当該関連会話文の発話処理を実行する実行手段と、として機能させるプログラム。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020009102A JP7436804B2 (ja) | 2020-01-23 | 2020-01-23 | 情報処理装置、及びプログラム |
JP2024012081A JP2024054168A (ja) | 2020-01-23 | 2024-01-30 | 情報処理装置、及びプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020009102A JP7436804B2 (ja) | 2020-01-23 | 2020-01-23 | 情報処理装置、及びプログラム |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2024012081A Division JP2024054168A (ja) | 2020-01-23 | 2024-01-30 | 情報処理装置、及びプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2021117580A JP2021117580A (ja) | 2021-08-10 |
JP7436804B2 true JP7436804B2 (ja) | 2024-02-22 |
Family
ID=77174933
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020009102A Active JP7436804B2 (ja) | 2020-01-23 | 2020-01-23 | 情報処理装置、及びプログラム |
JP2024012081A Pending JP2024054168A (ja) | 2020-01-23 | 2024-01-30 | 情報処理装置、及びプログラム |
Family Applications After (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2024012081A Pending JP2024054168A (ja) | 2020-01-23 | 2024-01-30 | 情報処理装置、及びプログラム |
Country Status (1)
Country | Link |
---|---|
JP (2) | JP7436804B2 (ja) |
Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010020531A (ja) | 2008-07-10 | 2010-01-28 | Sharp Corp | 会話装置および会話方法 |
JP2015227951A (ja) | 2014-05-30 | 2015-12-17 | シャープ株式会社 | 発話装置、発話制御装置、発話制御システム、発話装置の制御方法、発話制御装置の制御方法、および制御プログラム |
WO2018066258A1 (ja) | 2016-10-06 | 2018-04-12 | シャープ株式会社 | 対話装置、対話装置の制御方法、および制御プログラム |
WO2018142686A1 (ja) | 2017-01-31 | 2018-08-09 | ソニー株式会社 | 情報処理装置、情報処理方法、およびプログラム |
JP2018185362A (ja) | 2017-04-24 | 2018-11-22 | 富士ソフト株式会社 | ロボットおよびその制御方法 |
JP2018185771A (ja) | 2017-04-27 | 2018-11-22 | 日本電信電話株式会社 | 文ペア分類装置、文ペア分類学習装置、方法、及びプログラム |
JP2019020775A (ja) | 2017-07-11 | 2019-02-07 | 株式会社Nttドコモ | 情報処理装置 |
WO2019098038A1 (ja) | 2017-11-15 | 2019-05-23 | ソニー株式会社 | 情報処理装置、及び情報処理方法 |
US20190163961A1 (en) | 2016-06-27 | 2019-05-30 | Sony Corporation | Information processing system, storage medium, and information processing method |
WO2019187590A1 (ja) | 2018-03-29 | 2019-10-03 | ソニー株式会社 | 情報処理装置、情報処理方法、プログラム |
-
2020
- 2020-01-23 JP JP2020009102A patent/JP7436804B2/ja active Active
-
2024
- 2024-01-30 JP JP2024012081A patent/JP2024054168A/ja active Pending
Patent Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010020531A (ja) | 2008-07-10 | 2010-01-28 | Sharp Corp | 会話装置および会話方法 |
JP2015227951A (ja) | 2014-05-30 | 2015-12-17 | シャープ株式会社 | 発話装置、発話制御装置、発話制御システム、発話装置の制御方法、発話制御装置の制御方法、および制御プログラム |
US20190163961A1 (en) | 2016-06-27 | 2019-05-30 | Sony Corporation | Information processing system, storage medium, and information processing method |
WO2018066258A1 (ja) | 2016-10-06 | 2018-04-12 | シャープ株式会社 | 対話装置、対話装置の制御方法、および制御プログラム |
WO2018142686A1 (ja) | 2017-01-31 | 2018-08-09 | ソニー株式会社 | 情報処理装置、情報処理方法、およびプログラム |
JP2018185362A (ja) | 2017-04-24 | 2018-11-22 | 富士ソフト株式会社 | ロボットおよびその制御方法 |
JP2018185771A (ja) | 2017-04-27 | 2018-11-22 | 日本電信電話株式会社 | 文ペア分類装置、文ペア分類学習装置、方法、及びプログラム |
JP2019020775A (ja) | 2017-07-11 | 2019-02-07 | 株式会社Nttドコモ | 情報処理装置 |
WO2019098038A1 (ja) | 2017-11-15 | 2019-05-23 | ソニー株式会社 | 情報処理装置、及び情報処理方法 |
WO2019187590A1 (ja) | 2018-03-29 | 2019-10-03 | ソニー株式会社 | 情報処理装置、情報処理方法、プログラム |
Also Published As
Publication number | Publication date |
---|---|
JP2024054168A (ja) | 2024-04-16 |
JP2021117580A (ja) | 2021-08-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6469252B2 (ja) | アカウント追加方法、端末、サーバ、およびコンピュータ記憶媒体 | |
JP7230806B2 (ja) | 情報処理装置、及び情報処理方法 | |
JP6585112B2 (ja) | 音声キーワード検出装置および音声キーワード検出方法 | |
JP6280312B2 (ja) | 議事録記録装置、議事録記録方法及びプログラム | |
US11881209B2 (en) | Electronic device and control method | |
JP7107229B2 (ja) | 情報処理装置および情報処理方法、並びにプログラム | |
CN111696559A (zh) | 提供情绪管理辅助 | |
JP2017129720A (ja) | 情報処理システム、情報処理装置、情報処理方法および情報処理プログラム | |
WO2019155717A1 (ja) | 情報処理装置、情報処理システム、および情報処理方法、並びにプログラム | |
JP2021051172A (ja) | 対話システムおよびプログラム | |
CN112262432A (zh) | 语音处理装置、语音处理方法以及记录介质 | |
JP7436804B2 (ja) | 情報処理装置、及びプログラム | |
JP6347939B2 (ja) | 発話内重要語抽出装置とその装置を用いた発話内重要語抽出システムと、それらの方法とプログラム | |
JP7230803B2 (ja) | 情報処理装置および情報処理方法 | |
JP7107228B2 (ja) | 情報処理装置および情報処理方法、並びにプログラム | |
US11990115B2 (en) | Road map for audio presentation of communications | |
US11853650B2 (en) | Audio presentation of conversation threads | |
US11749270B2 (en) | Output apparatus, output method and non-transitory computer-readable recording medium | |
JP7453513B2 (ja) | 情報処理装置及びプログラム | |
US20210064640A1 (en) | Information processing apparatus and information processing method | |
JP2005275536A (ja) | 会話先導者判別装置および会話先導者判別方法 | |
WO2022190257A1 (ja) | 学習装置、推定装置、それらの方法、およびプログラム | |
Pompili | New features for on-line aphasia therapy | |
US20240038222A1 (en) | System and method for consent detection and validation | |
WO2019054009A1 (ja) | 情報処理装置、情報処理方法、およびプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20221115 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20230621 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230808 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20231006 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20231010 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20240109 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20240122 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7436804 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |