JP7379788B2 - 感情推定装置、及び、感情推定システム - Google Patents
感情推定装置、及び、感情推定システム Download PDFInfo
- Publication number
- JP7379788B2 JP7379788B2 JP2019126106A JP2019126106A JP7379788B2 JP 7379788 B2 JP7379788 B2 JP 7379788B2 JP 2019126106 A JP2019126106 A JP 2019126106A JP 2019126106 A JP2019126106 A JP 2019126106A JP 7379788 B2 JP7379788 B2 JP 7379788B2
- Authority
- JP
- Japan
- Prior art keywords
- evaluation value
- voice
- user
- character
- emotion
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000008451 emotion Effects 0.000 title claims description 206
- 238000011156 evaluation Methods 0.000 claims description 302
- 238000012937 correction Methods 0.000 claims description 66
- 238000012545 processing Methods 0.000 claims description 43
- 230000002996 emotional effect Effects 0.000 claims description 22
- 238000004891 communication Methods 0.000 claims description 16
- 241000282412 Homo Species 0.000 claims description 3
- 238000000034 method Methods 0.000 description 30
- 238000010586 diagram Methods 0.000 description 25
- 230000008569 process Effects 0.000 description 24
- 238000004458 analytical method Methods 0.000 description 22
- 230000006870 function Effects 0.000 description 22
- 238000004364 calculation method Methods 0.000 description 17
- 101100166845 Arabidopsis thaliana CESA3 gene Proteins 0.000 description 11
- 101150072317 CET1 gene Proteins 0.000 description 11
- 101100327481 Nicotiana tabacum CET4 gene Proteins 0.000 description 11
- 101100327480 Nicotiana tabacum CET2 gene Proteins 0.000 description 6
- 238000012986 modification Methods 0.000 description 6
- 230000004048 modification Effects 0.000 description 6
- 230000000877 morphologic effect Effects 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 5
- 206010011469 Crying Diseases 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 2
- 230000003247 decreasing effect Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000005401 electroluminescence Methods 0.000 description 2
- 230000010365 information processing Effects 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 239000003795 chemical substances by application Substances 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 239000000945 filler Substances 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000033001 locomotion Effects 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 239000006249 magnetic particle Substances 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000029305 taxis Effects 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Images
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- User Interface Of Digital Computer (AREA)
Description
図1は、ユーザ装置1の概要を示す図である。ユーザ装置1は、スマートフォンを想定する。ユーザ装置1が、「感情推定装置」の一例である。ただし、ユーザ装置1としては、任意の情報処理装置を採用することができ、例えば、パーソナルコンピュータ等の端末型の情報機器であってもよいし、ノートパソコン、ウェアラブル端末及びタブレット端末等の可搬型の情報端末であってもよい。
図1の例では、ユーザUが「こんにちは」と発声し、ユーザ装置1が、推定した感情に応じた図形PIを、認識文字列を表す画像に付加している。
処理装置2は、記憶装置3から制御プログラムPRを読み取り実行することによって、取得部21、状況情報生成部23、感情情報生成部25、及び、出力部27として機能する。
図6を用いて、処理装置2によって実現される機能について説明する。
以下の説明では、同種の要素を区別する場合には、喜びに対応する音声評価値EV1、怒りに対応する音声評価値EV2のように参照符号を使用する。一方、同種の要素を区別しない場合には、音声評価値EVのように、参照符号のうちの共通番号だけを使用する。
なお、喜び、怒り、悲しみ、及び、平常の各々が、「第1感情」の一例である。「第2感情」は、喜び、怒り、悲しみ、及び、平常のうち「第1感情」とは異なる感情のうち任意の1つの感情である。喜びに対応する音声評価値EV1、怒りに対応する音声評価値EV2、悲しみに対応する音声評価値EV3、平常に対応する音声評価値EV4が、「第1音声評価値」の一例である。第1感情とは異なる第2感情に対応する音声評価値が、「第2音声評価値」の一例である。
例えば、第1評価部252は、以下に示す2つの態様のいずれか一方によって、音声評価値EV1~EV4を生成する。
なお、喜びに対応する文字評価値ET1、怒りに対応する文字評価値ET2、悲しみの文字評価値ET3、及び、平常に対応する文字評価値ET4が、「第1文字評価値」の一例である。第1感情とは異なる第2感情に対応する文字評価値が、「第2文字評価値」の一例である。
例えば、補正後認識文字列CRTが「今日試合に勝った」であれば、算出部2554は、以下のような各感情の文字評価値ETを出力する。
怒りに対応する文字評価値ET2 0
悲しみに対応する文字評価値ET3 0
平常に対応する文字評価値ET4 0
さらに、補正後認識文字列CRTに、感情分類情報33に含まれる文字列、及び、内容を否定する文字列が含まれる場合、算出部2554は、この補正後認識文字列CRTに含まれる文字列に対応する文字評価値ETを増加させる処理とは異なる処理を実行してもよい。例えば、補正後認識文字列CRTが「今日試合に勝つことができなかった」であれば、補正後認識文字列CRTに感情分類情報33に含まれる「勝つ」が含まれるが、「なかっ」という内容を否定する文字列が含まれるため、算出部2554は、例えば、悲しみの文字評価値ET3を1増加させる。補正後認識文字列CRTのうち、どの文字列が、内容を否定する文字列であるか否かは、形態素解析処理によって得られる形態素によって判定することができる。このように、形態素解析処理によって、補正後認識文字列CRTが肯定的な内容なのか否定的な内容かを推定することが可能である。以下の例では、説明を容易にするため、補正後認識文字列CRTに、感情分類情報33に含まれる文字列が含まれれば、この補正後認識文字列CRTに含まれる文字列に対応する文字評価値ETを増加させることとして説明を行う。
CEV2=kv2×EV2
CEV3=kv3×EV3
CEV4=kv4×EV4
CET1=kt1×ET1
CET2=kt2×ET2
CET3=kt3×ET3
CET4=kt4×ET4
重み付け係数kv1=0.7
重み付け係数kt1=0.3
重み付け係数kv2=0.8
重み付け係数kt2=0.2
重み付け係数kv3=0.7
重み付け係数kt3=0.3
重み付け係数kv4=0.8
重み付け係数kt4=0.2
重み付け係数kv1=重み付け係数kv2=重み付け係数kv3=重み付け係数kv4=0.1
重み付け係数kt1=重み付け係数kt2=重み付け係数kt3=重み付け係数kt4=0.9
重み付け係数kv1=0.4
重み付け係数kt1=0.6
重み付け係数kv2=0.2
重み付け係数kt2=0.8
重み付け係数kv3=0.3
重み付け係数kt3=0.7
重み付け係数kv4=0.2
重み付け係数kt4=0.8
E1=CEV1+CET1
E2=CEV2+CET2
E3=CEV3+CET3
E4=CEV4+CET4
感情情報EIは、例えば、以下に示す2つの態様がある。感情情報EIの第1の態様は、推定したユーザUが抱く1以上の感情を示す識別子である。感情を示す識別子には、喜びを示す識別子、怒りを示す識別子、悲しみを示す識別子、及び、平常を示す識別子がある。感情情報EIの第2の態様は、推定したユーザUが抱く1以上の感情を示す識別子と、推定したユーザUが抱く感情の評価値Eとである。
感情に応じた処理の第1の態様は、認識文字列RTに対して、感情を具象化した図形を付加する処理である。感情を具象化した図形は、例えば、感情を具象化した絵文字、及び、感情を具象化した顔文字である。絵文字は、文字コードに対応付けられた画像である。文字コードは、例えば、Unicodeである。顔文字は、記号及び文字を組み合わせて顔を表現した文字列である。以下の説明では、感情を具象化した図形は、感情を具象化した絵文字であるとして説明する。喜びを具象化した絵文字は、例えば、笑顔を示す絵文字である。怒りを具象化した絵文字は、例えば、怒りの顔を示す絵文字である。悲しみを具象化した絵文字は、例えば、泣き顔を示す絵文字である。さらに、感情情報EIが第2の態様である場合、出力部27は、感情情報EIが示す感情であって、感情情報EIに含まれる評価値Eに応じた強度を有する感情を具象化した絵文字を、認識文字列RTに付加する絵文字として決定してもよい。例えば、感情情報EIが示す感情が悲しみであり、かつ、感情情報EIに含まれる評価値Eが所定の閾値以下である場合、出力部27は、涙をこぼす顔を示す絵文字を認識文字列RTに付加する絵文字として決定する。一方、感情情報EIが示す感情が悲しみであり、かつ、感情情報EIに含まれる評価値Eが所定の閾値より大きい場合、出力部27は、号泣した顔を示す絵文字を認識文字列RTに付加する絵文字として決定する。号泣した顔を示す絵文字は、涙をこぼす顔を示す絵文字と比較して、より高い強度の悲しみを具象化している。
出力部27は、認識文字列RTに絵文字を付加して得られた絵文字付き文字列を出力する。絵文字を付加する位置は、例えば、以下に示す2つがある。第1の位置は、認識文字列RTの末尾である。第2の位置は、認識文字列RT内における、感情分類情報33に含まれる文字列の次である。表示装置51は、出力部27が出力した絵文字付き文字列に基づく画像を表示する。
次に、ユーザ装置1の動作について、図8を用いて説明する。
以上の説明によれば、ユーザ装置1は、状況情報SiIに基づいて、音声評価値EV1~EV4、文字評価値ET1~ET4を補正する。状況情報SiIが、感情を音声に発露しにくい状況を示す場合、音声評価値EV1~EV4の精度が低下していると言える。従って、状況情報SiIが、感情を音声に発露しにくい状況を示す場合、音声評価値EV1~EV4を低くする方式で、音声評価値EV1~EV4、及び、文字評価値ET1~ET4を補正することにより、ユーザUが抱く感情を精度良く補正できる。
ユーザUが自宅等のプライベート空間にいる状況では、他者の目を引くこともないので、感情を音声に発露しやすい。従って、重み付け係数kv1が重み付け係数kt1より大きく、重み付け係数kv2が重み付け係数kt2より大きく、重み付け係数kv3が重み付け係数kt3より大きく、かつ、重み付け係数kv4が重み付け係数kt4より大きいことにより、ユーザ装置1は、喜び、怒り、悲しみ、及び、平常を精度良く推定できる。
非プライベート空間にユーザUがいる一例として、ユーザUが電車を利用している状況では、感情を込めて発声すると他者の注目を浴びてしまうので、感情を込めずに発声することが一般的と言える。ユーザUが電車を利用している状況は、ユーザUが感情を音声に発露しにくい状況の一つである。非プライベート空間にユーザUがいる他の例として、ユーザUが会議中である状況では、感情を込めて発声することは少ないと言える。ユーザUが会議中である状況は、ユーザUが感情を音声に発露しにくい状況の一つである。
従って、非プライベート空間にユーザUがいる場合には、重み付け係数kt1が重み付け係数kv1より大きく、重み付け係数kt2が重み付け係数kv2より大きく、重み付け係数kt3が重み付け係数kv3より大きく、かつ、重み付け係数kt4が重み付け係数kv4より大きいことにより、ユーザ装置1は、喜び、怒り、悲しみ、及び、平常を精度良く推定できる。
第2実施形態にかかるユーザ装置1aは、認識文字列RTに応じて音声に感情が発露される度合いに基づいて、音声評価値CEV1~CEV4、及び、文字評価値CET1~CET4を補正する点で、第1実施形態にかかるユーザ装置1と相違する。なお、以下に例示する第2実施形態において作用又は機能が第1実施形態と同等である要素については、以上の説明で参照の符号を流用して各々の詳細な説明を適宜に省略する。
図9は、第2実施形態にかかるユーザ装置1aを示すブロック図である。ユーザ装置1aは、処理装置2a、記憶装置3a、入力装置4、出力装置5、通信装置6、慣性センサ7、及び、GPS装置8を具備するコンピュータシステムにより実現される。記憶装置3aは、処理装置2aが読取可能な記録媒体であり、処理装置2aが実行する制御プログラムPRaを含む複数のプログラム、解析用辞書情報31、感情分類情報33、スケジュール情報35、状況関係情報37、文字列関係情報38、及び、学習モデルLMを記憶する。
例えば、「ありがとう」は、汎用的な感謝の意味を有する。ユーザUが「ありがとう」と発声する場合、ユーザUが抱く感情は喜びが強くなる。しかしながら、汎用的に使用される文字列は、言い慣れているので起伏なく発声する場合が多く、音声に感情が発露される度合いが低いと言える。従って、補正部257aは、認識文字列RTに「ありがとう」が含まれる場合、音声評価値EV1~EV4に対応する重み付け係数kv1~kv4を低下させる。例えば、補正部257aは、音声評価値EV1~EV4に対応する重み付け係数kv1~kv4から所定値を減算し、文字評価値ET1~ET4に対応する重み付け係数kt1~kt4に所定値を加算する。
増減値Δkv1~Δkv4、及び、増減値Δkt1~Δkt4は、以下の条件がある。
増減値Δkv1=-0.2
増減値Δkt1=0.2
増減値Δkv2=-0.2
増減値Δkt2=0.2
増減値Δkv3=-0.2
増減値Δkt3=0.2
増減値Δkv4=-0.1
増減値Δkt4=0.1
なお、増減値Δkv1~Δkv4、Δkt1~Δkt4のうち、0である値が含まれていてもよい。例えば、文字列「ありがとう」に対する増減値Δkv1及びΔkt1は、上述の値であり、増減値Δkv2~Δkv4、Δkt2~Δkt4は、0であってもよい。
CEV2=(kv2+Δkv2)×EV2
CEV3=(kv3+Δkv3)×EV3
CEV4=(kv4+Δkv4)×EV4
CET1=(kt1+Δkt1)×ET1
CET2=(kt2+Δkt2)×ET2
CET3=(kt3+Δkt3)×ET3
CET4=(kt4+Δkt4)×ET4
以下の記載では、補正部257aは、第2の態様であるとして説明する。
次に、ユーザ装置1aの動作について、図12を用いて説明する。
以上の説明によれば、ユーザ装置1aは、ユーザUが認識文字列RTを発声した場合にユーザUの音声に感情が発露される度合いと、状況情報SiIとに基づいて、音声評価値EV1~EV4、及び、文字評価値ET1~ET4を補正する。一般的に、発声した場合に感情が発露される度合いが高い文字列と、発声した場合に感情が発露される度合いが低い文字列とが存在するため、発声した場合に感情が発露される度合いに応じて音声評価値EV1~EV4、及び、文字評価値ET1~ET4を補正することにより、ユーザUが抱く感情を精度良く推定できる。
本発明は、以上に例示した各実施形態に限定されない。具体的な変形の態様を以下に例示する。以下の例示から任意に選択された2以上の態様を併合してもよい。
なお、本明細書で説明した用語及び/又は本明細書の理解に必要な用語については、同一の又は類似する意味を有する用語と置き換えてもよい。
また、ソフトウェア、命令などは、伝送媒体を介して送受信されてもよい。例えば、ソフトウェアが、同軸ケーブル、光ファイバケーブル、ツイストペア及びデジタル加入者回線(DSL)などの有線技術及び/又は赤外線、無線及びマイクロ波などの無線技術を使用してウェブサイト、サーバ、又は他のリモートソースから送信される場合、これらの有線技術及び/又は無線技術は、伝送媒体の定義内に含まれる。
254…認識部、255…第2評価部、257、257a…補正部、258…推定部、CET1…補正後の文字評価値、CET2…補正後の文字評価値、CET3…補正後の文字評価値、CET4…補正後の文字評価値、CEV1…補正後の音声評価値、CEV2…補正後の音声評価値、CEV3…補正後の音声評価値、CEV4…補正後の音声評価値、EI…感情情報、ET1…文字評価値、ET2…文字評価値、ET3…文字評価値、ET4…文字評価値、EV1…音声評価値、EV2…音声評価値、EV3…音声評価値、EV4…音声評価値、kt1…重み付け係数、kt2…重み付け係数、kt3…重み付け係数、kt4…重み付け係数、kv1…重み付け係数、kv2…重み付け係数、kv3…重み付け係数、kv4…重み付け係数。
Claims (7)
- ユーザの音声情報に基づいて、前記ユーザの音声について特徴量を生成する生成部と、
前記特徴量に基づいて、前記ユーザが第1感情を抱く強度を示す第1音声評価値と、前記ユーザが第2感情を抱く強度を示す第2音声評価値とを生成する第1評価部と、
前記音声情報に基づいて、前記ユーザの発話内容を示す認識文字列を生成する認識部と、
前記認識文字列に基づいて、前記ユーザが前記第1感情を抱く強度を示す第1文字評価値と、前記ユーザが前記第2感情を抱く強度を示す第2文字評価値とを生成する第2評価部と、
前記ユーザの状況を示す状況情報に基づいて、前記第1音声評価値、前記第2音声評価値、前記第1文字評価値、及び、前記第2文字評価値を補正する補正部と、
前記補正部の補正結果に基づいて、前記ユーザが抱く1つ以上の感情を推定する推定部と、
を備え、
前記補正部は、
人間が取り得る状況を示す識別情報と、当該状況に応じて設定された前記第1音声評価値、前記第2音声評価値、前記第1文字評価値、及び、前記第2文字評価値の各々に対する重み付け係数との関係を示す状況関係情報を参照して、
前記状況情報が示す状況に応じた前記第1音声評価値、前記第2音声評価値、前記第1文字評価値、及び、前記第2文字評価値の各々に対する重み付け係数を設定し、
前記第1音声評価値、前記第2音声評価値、前記第1文字評価値、及び、前記第2文字評価値の各々に対する重み付け係数に基づいて、前記第1音声評価値、前記第2音声評価値、前記第1文字評価値、及び、前記第2文字評価値を補正し、
前記状況関係情報は、
前記ユーザの許可なく立ち入りが禁止されるプライベート空間内に前記ユーザがいる状況を示す識別情報に関係する重み付け係数について、前記第1音声評価値に対する重み付け係数が前記第1文字評価値に対する重み付け係数より大きく、かつ、前記第2音声評価値に対する重み付け係数が前記第2文字評価値に対する重み付け係数より大きい、
ことを示す、
感情推定装置。 - ユーザの音声情報に基づいて、前記ユーザの音声について特徴量を生成する生成部と、
前記特徴量に基づいて、前記ユーザが第1感情を抱く強度を示す第1音声評価値と、前記ユーザが第2感情を抱く強度を示す第2音声評価値とを生成する第1評価部と、
前記音声情報に基づいて、前記ユーザの発話内容を示す認識文字列を生成する認識部と、
前記認識文字列に基づいて、前記ユーザが前記第1感情を抱く強度を示す第1文字評価値と、前記ユーザが前記第2感情を抱く強度を示す第2文字評価値とを生成する第2評価部と、
前記ユーザの状況を示す状況情報に基づいて、前記第1音声評価値、前記第2音声評価値、前記第1文字評価値、及び、前記第2文字評価値を補正する補正部と、
前記補正部の補正結果に基づいて、前記ユーザが抱く1つ以上の感情を推定する推定部と、
を備え、
前記補正部は、
人間が取り得る状況を示す識別情報と、当該状況に応じて設定された前記第1音声評価値、前記第2音声評価値、前記第1文字評価値、及び、前記第2文字評価値の各々に対する重み付け係数との関係を示す状況関係情報を参照して、
前記状況情報が示す状況に応じた前記第1音声評価値、前記第2音声評価値、前記第1文字評価値、及び、前記第2文字評価値の各々に対する重み付け係数を設定し、
前記第1音声評価値、前記第2音声評価値、前記第1文字評価値、及び、前記第2文字評価値の各々に対する重み付け係数に基づいて、前記第1音声評価値、前記第2音声評価値、前記第1文字評価値、及び、前記第2文字評価値を補正し、
前記状況関係情報は、
前記ユーザの許可なく立ち入りが可能な非プライベート空間内に前記ユーザがいる状況を示す識別情報に関係する重み付け係数について、前記第1文字評価値に対する重み付け係数が前記第1音声評価値に対する重み付け係数より大きく、かつ、前記第2文字評価値に対する重み付け係数が前記第2音声評価値に対する重み付け係数より大きい、
ことを示す、
感情推定装置。 - ユーザの音声情報に基づいて、前記ユーザの音声について特徴量を生成する生成部と、
前記特徴量に基づいて、前記ユーザが第1感情を抱く強度を示す第1音声評価値と、前記ユーザが第2感情を抱く強度を示す第2音声評価値とを生成する第1評価部と、
前記音声情報に基づいて、前記ユーザの発話内容を示す認識文字列を生成する認識部と、
前記認識文字列に基づいて、前記ユーザが前記第1感情を抱く強度を示す第1文字評価値と、前記ユーザが前記第2感情を抱く強度を示す第2文字評価値とを生成する第2評価部と、
前記ユーザの状況を示す状況情報に基づいて、前記第1音声評価値、前記第2音声評価値、前記第1文字評価値、及び、前記第2文字評価値を補正する補正部と、
前記補正部の補正結果に基づいて、前記ユーザが抱く1つ以上の感情を推定する推定部と、
を備え、
前記補正部は、
前記ユーザが前記認識文字列を発声した場合に前記ユーザの音声に感情が発露される度合いと、前記状況情報とに基づいて、前記第1音声評価値、前記第2音声評価値、前記第1文字評価値、及び、前記第2文字評価値を補正する、
感情推定装置。 - ユーザの音声情報に基づいて、前記ユーザの音声について特徴量を生成する生成部と、
前記特徴量に基づいて、前記ユーザが第1感情を抱く強度を示す第1音声評価値と、前記ユーザが第2感情を抱く強度を示す第2音声評価値とを生成する第1評価部と、
前記音声情報に基づいて、前記ユーザの発話内容を示す認識文字列を生成する認識部と、
前記認識文字列に基づいて、前記ユーザが前記第1感情を抱く強度を示す第1文字評価値と、前記ユーザが前記第2感情を抱く強度を示す第2文字評価値とを生成する第2評価部と、
前記ユーザの状況を示す状況情報に基づいて、前記第1音声評価値、前記第2音声評価値、前記第1文字評価値、及び、前記第2文字評価値を補正する補正部と、
前記補正部の補正結果に基づいて、前記ユーザが抱く1つ以上の感情を推定する推定部と、
を備え、
前記補正部は、
人間が取り得る状況を示す識別情報と、当該状況に応じて設定された前記第1音声評価値、前記第2音声評価値、前記第1文字評価値、及び、前記第2文字評価値の各々に対する重み付け係数との関係を示す状況関係情報と、
前記人間が発声する文字列と、前記文字列を発声した場合において前記人間の音声に感情が発露される度合いに基づき設定された前記第1音声評価値、前記第2音声評価値、前記第1文字評価値、及び、前記第2文字評価値の各々に対する重み付け係数の増減値との関係を示す文字列関係情報と、
を参照し、
前記第1音声評価値、前記第2音声評価値、前記第1文字評価値、及び、前記第2文字評価値の各々に対する、前記認識文字列に含まれる文字列及び前記状況情報が示す状況に応じた重み付け係数を設定し、
前記認識文字列に含まれる文字列及び前記状況情報が示す状況に応じた重み付け係数に基づいて、前記第1音声評価値、前記第2音声評価値、前記第1文字評価値、及び、前記第2文字評価値を補正する、
感情推定装置。 - 前記第1評価部は、
人間の音声に応じた特徴量と当該音声を発した人間が抱く前記第1感情及び前記第2感情の各々に対する強度との関係を学習済みの学習モデルに、前記生成部が生成した特徴量を入力し、前記第1音声評価値と前記第2音声評価値とを前記学習モデルから取得する、
請求項1から4のいずれか1項に記載の感情推定装置。 - 前記学習モデルは、複数の人間について、前記人間の音声に応じた複数の特徴量と当該音声を発した人間が抱く前記第1感情及び前記第2感情の各々に対する強度との関係を学習済みである、
請求項5に記載の感情推定装置。 - 請求項1から6までの何れか1項に記載の感情推定装置と、前記感情推定装置と通信可能な端末装置とを備える感情推定システムであって、
前記端末装置は、
前記ユーザの音声を集音する集音装置と、
前記状況情報を生成する状況情報生成部と、
前記ユーザの音声を示す前記音声情報及び前記状況情報を前記感情推定装置に送信し、前記感情推定装置から、前記認識文字列、及び、前記推定部が推定した前記ユーザが抱く1つ以上の感情を示す感情情報を受信する通信装置と、
前記感情情報が示す感情に応じた処理を前記認識文字列に対して実行することにより得られる情報を出力する出力部と、
を備える感情推定システム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019126106A JP7379788B2 (ja) | 2019-07-05 | 2019-07-05 | 感情推定装置、及び、感情推定システム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019126106A JP7379788B2 (ja) | 2019-07-05 | 2019-07-05 | 感情推定装置、及び、感情推定システム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2021012285A JP2021012285A (ja) | 2021-02-04 |
JP7379788B2 true JP7379788B2 (ja) | 2023-11-15 |
Family
ID=74227962
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019126106A Active JP7379788B2 (ja) | 2019-07-05 | 2019-07-05 | 感情推定装置、及び、感情推定システム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7379788B2 (ja) |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006277567A (ja) | 2005-03-30 | 2006-10-12 | Nec Corp | 音声感情認識によるメール作成機能付携帯端末、携帯端末システム、及び、音声感情認識によるメール作成方法 |
JP2010054568A (ja) | 2008-08-26 | 2010-03-11 | Oki Electric Ind Co Ltd | 感情識別装置、感情識別方法およびプログラム |
JP2018072876A (ja) | 2016-10-24 | 2018-05-10 | 富士ゼロックス株式会社 | 感情推定システム、感情推定モデル生成システム |
JP2018132704A (ja) | 2017-02-16 | 2018-08-23 | トヨタ自動車株式会社 | 対話装置 |
CN108564942A (zh) | 2018-04-04 | 2018-09-21 | 南京师范大学 | 一种基于敏感度可调的语音情感识别方法及*** |
-
2019
- 2019-07-05 JP JP2019126106A patent/JP7379788B2/ja active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006277567A (ja) | 2005-03-30 | 2006-10-12 | Nec Corp | 音声感情認識によるメール作成機能付携帯端末、携帯端末システム、及び、音声感情認識によるメール作成方法 |
JP2010054568A (ja) | 2008-08-26 | 2010-03-11 | Oki Electric Ind Co Ltd | 感情識別装置、感情識別方法およびプログラム |
JP2018072876A (ja) | 2016-10-24 | 2018-05-10 | 富士ゼロックス株式会社 | 感情推定システム、感情推定モデル生成システム |
JP2018132704A (ja) | 2017-02-16 | 2018-08-23 | トヨタ自動車株式会社 | 対話装置 |
CN108564942A (zh) | 2018-04-04 | 2018-09-21 | 南京师范大学 | 一种基于敏感度可调的语音情感识别方法及*** |
Non-Patent Citations (1)
Title |
---|
松井 辰哉,対話システムに向けたマルチモーダル感情推定及び知識獲得手法,情報処理学会第78回全国大会,日本,一般社団法人情報処理学会,2016年03月10日,4-203~4-204 |
Also Published As
Publication number | Publication date |
---|---|
JP2021012285A (ja) | 2021-02-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP3438972B1 (en) | Information processing system and method for generating speech | |
US9558743B2 (en) | Integration of semantic context information | |
CN106503646B (zh) | 多模态情感辨识***及方法 | |
EP2801091B1 (en) | Method, apparatus and computer program product for joint use of speech and text-based features for sentiment detection | |
US11380351B2 (en) | System and method for pulmonary condition monitoring and analysis | |
US20200012724A1 (en) | Bidirectional speech translation system, bidirectional speech translation method and program | |
US20140025381A1 (en) | Evaluating text-to-speech intelligibility using template constrained generalized posterior probability | |
US20130173264A1 (en) | Methods, apparatuses and computer program products for implementing automatic speech recognition and sentiment detection on a device | |
CN108922521A (zh) | 一种语音关键词检索方法、装置、设备及存储介质 | |
US20220122596A1 (en) | Method and system of automatic context-bound domain-specific speech recognition | |
US11823669B2 (en) | Information processing apparatus and information processing method | |
US20200286479A1 (en) | Agent device, method for controlling agent device, and storage medium | |
Peerzade et al. | A review: Speech emotion recognition | |
US20180357269A1 (en) | Address Book Management Apparatus Using Speech Recognition, Vehicle, System and Method Thereof | |
US20220035840A1 (en) | Data management device, data management method, and program | |
JP7379788B2 (ja) | 感情推定装置、及び、感情推定システム | |
JP6373621B2 (ja) | 話し方評価装置、話し方評価方法、プログラム | |
Valsaraj et al. | Alzheimer’s dementia detection using acoustic & linguistic features and pre-trained BERT | |
Dahanayaka et al. | A multi-modular approach for sign language and speech recognition for deaf-mute people | |
US20220036381A1 (en) | Data disclosure device, data disclosure method, and program | |
CN111862946A (zh) | 一种订单处理方法、装置、电子设备及存储介质 | |
KR101765154B1 (ko) | 음성을 사이버 수화로 제공하는 방법 | |
JP7279287B2 (ja) | 感情推定装置、及び、感情推定システム | |
JP5672175B2 (ja) | 話者判別装置、話者判別プログラム及び話者判別方法 | |
CN111731323A (zh) | 智能体装置、智能体装置的控制方法及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220209 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20221128 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20221227 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230221 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230620 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230714 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20231003 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20231012 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7379788 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |