JP7442838B2 - 感情推定装置、感情推定方法、及びプログラム - Google Patents
感情推定装置、感情推定方法、及びプログラム Download PDFInfo
- Publication number
- JP7442838B2 JP7442838B2 JP2021215327A JP2021215327A JP7442838B2 JP 7442838 B2 JP7442838 B2 JP 7442838B2 JP 2021215327 A JP2021215327 A JP 2021215327A JP 2021215327 A JP2021215327 A JP 2021215327A JP 7442838 B2 JP7442838 B2 JP 7442838B2
- Authority
- JP
- Japan
- Prior art keywords
- subject
- emotion
- change
- microexpressions
- control unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000008451 emotion Effects 0.000 title claims description 127
- 238000000034 method Methods 0.000 title claims description 21
- 238000003384 imaging method Methods 0.000 claims description 33
- 230000008859 change Effects 0.000 description 113
- 230000008921 facial expression Effects 0.000 description 44
- 230000014509 gene expression Effects 0.000 description 25
- 210000004709 eyebrow Anatomy 0.000 description 7
- 230000000994 depressogenic effect Effects 0.000 description 6
- 230000033001 locomotion Effects 0.000 description 6
- 230000008569 process Effects 0.000 description 6
- 230000009471 action Effects 0.000 description 5
- 230000001815 facial effect Effects 0.000 description 5
- 239000000203 mixture Substances 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 210000001508 eye Anatomy 0.000 description 4
- 230000007935 neutral effect Effects 0.000 description 4
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 210000000744 eyelid Anatomy 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 206010010904 Convulsion Diseases 0.000 description 1
- 241000282412 Homo Species 0.000 description 1
- 208000007684 Occupational Stress Diseases 0.000 description 1
- 230000004397 blinking Effects 0.000 description 1
- 210000005252 bulbus oculi Anatomy 0.000 description 1
- 210000003467 cheek Anatomy 0.000 description 1
- 230000036461 convulsion Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 210000000088 lip Anatomy 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/174—Facial expression recognition
- G06V40/176—Dynamic expression
Landscapes
- Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Oral & Maxillofacial Surgery (AREA)
- General Health & Medical Sciences (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
- Image Analysis (AREA)
- Processing Or Creating Images (AREA)
- Image Processing (AREA)
Description
「嫌悪」の微表情は、鼻にしわを寄せる動作である。
「恐怖」の微表情は、両眉を上げる動作と、両眉を中央に引き寄せる動作と、目を見開く動作と、まぶたに力を入れる動作と、口角を横に引く動作と、の組み合わせである。
「喜び」の微表情は、頬を上げる動作と、口角を上げる動作と、口角のみを上げる動作と、の組み合わせである。
「悲しみ」の微表情は、眉の内側を上げる動作と、両眉を中央に引き寄せる動作と、口角を下げる動作と、下唇を上げる動作と、の組み合わせである。
「驚き」の微表情は、両眉を上げる動作と、目を見開く動作と、口を開ける動作と、の組み合わせである。
一方、ガイダンス#1-2~#1-4以外のガイダンスに従って被験者が表情を変化させたときには、変化速度パターン#2に示すように、最初の「喜び」以外の表情への変化速度は通常よりも遅くなる。
また、ガイダンス#2-1、#3-1、及び#4-1に従って被験者が表情を変化させたときには、変化速度パターン#2に示すように、最初の「喜び」以外の表情への変化速度は通常よりも遅く、次の「喜び」への変化速度は通常よりも速く、最後の「無表情」への変化速度は通常よりも遅くなる。
一方、ガイダンス#2-1、#2-3、及び#2-4以外のガイダンスに従って被験者が表情を変化させたときには、変化速度パターン#3に示すように、最初の「怒り」以外の表情への変化速度は通常よりも遅くなる。
また、ガイダンス#1-2、#3-2、及び#4-2に従って被験者が表情を変化させたときには、変化速度パターン#3に示すように、最初の「怒り」以外の表情への変化速度は通常よりも遅く、次の「怒り」への変化速度は通常よりも速く、最後の「無表情」への変化速度は通常よりも遅くなる。
一方、ガイダンス#3-1、#3-2、及び#3-4以外のガイダンスに従って被験者が表情を変化させたときには、変化速度パターン#4に示すように、最初の「悲しみ」以外の表情への変化速度は通常よりも遅くなる。
また、ガイダンス#1-3、#2-3、及び#4-3に従って被験者が表情を変化させたときには、変化速度パターン#4に示すように、最初の「悲しみ」以外の表情への変化速度は通常よりも遅く、次の「悲しみ」への変化速度は通常よりも速く、最後の「無表情」への変化速度は通常よりも遅くなる。
また、制御部14は、検出した微表情が「悲しみ」である場合、微表情のタイプを“Negative2”に分類する。
さらに、制御部14は、検出した微表情が「嫌悪」である場合、鼻以外の顔の動作から、「怒り」寄りであるか「悲しみ」寄りであるかを判別し、「怒り」寄りであれば、微表情のタイプを“Negative1”に分類する一方、「悲しみ」寄りであれば、“Negative2”に分類する。
また、制御部14は、検出した微表情が「恐怖」である場合、その継続期間が所定期間以上であるか否かにより、瞬間的であるか継続的であるかを判別し、継続期間が所定期間未満であれば瞬間的であると判別し、微表情のタイプを“Other”に分類する。一方、制御部14は、継続期間が所定期間以上であれば継続的であると判別し、鼻以外の顔の動作から、「怒り」寄りであるか「悲しみ」寄りであるかを判別する。そして、制御部14は、「怒り」寄りであれば、微表情のタイプを“Negative1”に分類する一方、「悲しみ」寄りであれば、“Negative2”に分類する。
また、制御部14は、“Positive”に分類される微表情の割合が、“Negative1”及び“Negative2”のいずれかに分類される微表情の割合よりも高い場合、被験者の感情を“ハッピー”であるものと推定する。
さらに、制御部14は、“Negative1”に分類される微表情の割合が、“Positive”及び“Negative2”のいずれかに分類される微表情の割合よりも高い場合、被験者の感情を“イライラ”しているものと推定する。
そして、制御部14は、“Negative2”に分類される微表情の割合が、“Positive”及び“Negative1”のいずれかに分類される微表情の割合よりも高い場合、被験者の感情を“落ち込み”しているものと推定する。
制御部14は、判別した36個の変化速度の遅速が、変化速度パターン#2に設定された21個の変化速度の遅速に50%以上合致していれば、被験者の感情を、変化速度パターン#2に対応する“ハッピー”であるものと推定する。
また、制御部14は、判別した36個の変化速度の遅速が、変化速度パターン#3に設定された21個の変化速度の遅速に50%以上合致していれば、被験者の感情を、変化速度パターン#3に対応する“イライラ”しているものと推定する。
さらに、制御部14は、判別した36個の変化速度の遅速が、変化速度パターン#4に設定された21個の変化速度の遅速に50%以上合致していれば、被験者の感情を、変化速度パターン#4に対応する“落ち込み”しているものと推定する。
このように、制御部14は、図3に示す変化速度パターンテーブル3において、被験者の顔の動画像から求めた表情の変化速度のパターンに対応する感情を、被験者の感情として推定する。
11 記憶部
12 タッチパネル
13 撮像部
14 制御部
2 ガイダンステーブル
3 変化速度パターンテーブル
Claims (4)
- 被験者の顔を撮像する撮像部(13)と、
前記撮像部(13)で撮像して得られた前記被験者の顔の動画像を構成するフレーム画像毎に、該被験者の顔に表れる微表情を検出し、該微表情が検出された複数の該フレーム画像における、各種微表情のそれぞれが検出された該フレーム画像の数の割合に基づいて、該被験者の感情を推定する制御部(14)と、
を備える感情推定装置(1)。 - 前記制御部(14)は、検出した微表情をタイプ別に分類し、該微表情が検出された複数の該フレーム画像における、該タイプ別に分類した微表情のそれぞれが検出された前記フレーム画像の数の割合に基づいて、該被験者の感情を推定する、
ことを特徴とする請求項1に記載の感情推定装置(1)。 - 撮像部(13)が、被験者の顔を撮像し、
制御部(14)が、前記撮像部(13)で撮像して得られた前記被験者の顔の動画像を構成するフレーム画像毎に、該被験者の顔に表れる微表情を検出し、
該制御部(14)が、該微表情が検出された複数の該フレーム画像における、各種微表情のそれぞれが検出された該フレーム画像の数の割合に基づいて、該被験者の感情を推定する、
ことを特徴とする感情推定方法。 - コンピュータに、
被験者の顔を撮像する手順と、
該撮像して得られた前記被験者の顔の動画像を構成するフレーム画像毎に、該被験者の顔に表れる微表情を検出する手順と、
該微表情が検出された複数の該フレーム画像における、各種微表情のそれぞれが検出された該フレーム画像の数の割合に基づいて、該被験者の感情を推定する手順と、
を実行させるためのプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021215327A JP7442838B2 (ja) | 2021-06-11 | 2021-12-28 | 感情推定装置、感情推定方法、及びプログラム |
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021557258A JP7008385B1 (ja) | 2021-06-11 | 2021-06-11 | 感情推定装置、感情推定方法、及びプログラム |
PCT/JP2021/022419 WO2022259560A1 (ja) | 2021-06-11 | 2021-06-11 | 感情推定装置、感情推定方法、及びプログラム |
JP2021215327A JP7442838B2 (ja) | 2021-06-11 | 2021-12-28 | 感情推定装置、感情推定方法、及びプログラム |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021557258A Division JP7008385B1 (ja) | 2021-06-11 | 2021-06-11 | 感情推定装置、感情推定方法、及びプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2022189703A JP2022189703A (ja) | 2022-12-22 |
JP7442838B2 true JP7442838B2 (ja) | 2024-03-05 |
Family
ID=80629640
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021557258A Active JP7008385B1 (ja) | 2021-06-11 | 2021-06-11 | 感情推定装置、感情推定方法、及びプログラム |
JP2021215327A Active JP7442838B2 (ja) | 2021-06-11 | 2021-12-28 | 感情推定装置、感情推定方法、及びプログラム |
Family Applications Before (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021557258A Active JP7008385B1 (ja) | 2021-06-11 | 2021-06-11 | 感情推定装置、感情推定方法、及びプログラム |
Country Status (4)
Country | Link |
---|---|
EP (1) | EP4354386A1 (ja) |
JP (2) | JP7008385B1 (ja) |
CN (1) | CN117813623A (ja) |
WO (1) | WO2022259560A1 (ja) |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002091482A (ja) | 2000-09-13 | 2002-03-27 | Agi:Kk | 感情検出方法及び感情検出装置ならびに記録媒体 |
JP2016149063A (ja) | 2015-02-13 | 2016-08-18 | オムロン株式会社 | 感情推定装置及び感情推定方法 |
JP2016147006A (ja) | 2015-02-13 | 2016-08-18 | オムロン株式会社 | 健康管理補助装置及び健康管理補助方法 |
US20160360970A1 (en) | 2015-06-14 | 2016-12-15 | Facense Ltd. | Wearable device for taking thermal and visual measurements from fixed relative positions |
JP2019200656A (ja) | 2018-05-17 | 2019-11-21 | 株式会社日立製作所 | 計算機及び感情推定方法 |
JP2020057111A (ja) | 2018-09-28 | 2020-04-09 | パナソニックIpマネジメント株式会社 | 表情判定システム、プログラム及び表情判定方法 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
TWI221574B (en) * | 2000-09-13 | 2004-10-01 | Agi Inc | Sentiment sensing method, perception generation method and device thereof and software |
JP4757787B2 (ja) | 2006-12-08 | 2011-08-24 | 株式会社トヨタIt開発センター | 感情推定装置 |
-
2021
- 2021-06-11 CN CN202180101388.2A patent/CN117813623A/zh active Pending
- 2021-06-11 WO PCT/JP2021/022419 patent/WO2022259560A1/ja active Application Filing
- 2021-06-11 EP EP21945229.9A patent/EP4354386A1/en active Pending
- 2021-06-11 JP JP2021557258A patent/JP7008385B1/ja active Active
- 2021-12-28 JP JP2021215327A patent/JP7442838B2/ja active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002091482A (ja) | 2000-09-13 | 2002-03-27 | Agi:Kk | 感情検出方法及び感情検出装置ならびに記録媒体 |
JP2016149063A (ja) | 2015-02-13 | 2016-08-18 | オムロン株式会社 | 感情推定装置及び感情推定方法 |
JP2016147006A (ja) | 2015-02-13 | 2016-08-18 | オムロン株式会社 | 健康管理補助装置及び健康管理補助方法 |
US20160360970A1 (en) | 2015-06-14 | 2016-12-15 | Facense Ltd. | Wearable device for taking thermal and visual measurements from fixed relative positions |
JP2019200656A (ja) | 2018-05-17 | 2019-11-21 | 株式会社日立製作所 | 計算機及び感情推定方法 |
JP2020057111A (ja) | 2018-09-28 | 2020-04-09 | パナソニックIpマネジメント株式会社 | 表情判定システム、プログラム及び表情判定方法 |
Also Published As
Publication number | Publication date |
---|---|
WO2022259560A1 (ja) | 2022-12-15 |
JPWO2022259560A1 (ja) | 2022-12-15 |
CN117813623A (zh) | 2024-04-02 |
EP4354386A1 (en) | 2024-04-17 |
JP2022189703A (ja) | 2022-12-22 |
JP7008385B1 (ja) | 2022-01-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9792716B2 (en) | Enhancing video chatting | |
Bilakhia et al. | The MAHNOB Mimicry Database: A database of naturalistic human interactions | |
CN109242765B (zh) | 一种人脸图像处理方法、装置和存储介质 | |
US20150248167A1 (en) | Controlling a computing-based device using gestures | |
US20220383389A1 (en) | System and method for generating a product recommendation in a virtual try-on session | |
JP2011070623A (ja) | 画像処理装置および画像処理方法、並びにプログラム | |
US20210312167A1 (en) | Server device, terminal device, and display method for controlling facial expressions of a virtual character | |
KR102152598B1 (ko) | 이미지 편집 애플리케이션 제공 장치 및 상기 장치에 의해 수행되는 이미지 내 얼굴 변형 방법 | |
EP3809236A1 (en) | Avatar facial expression generating system and method of avatar facial expression generation | |
JP5349238B2 (ja) | 表情認識装置、人物間感情推定装置、表情認識方法、人物間感情推定方法、及びプログラム | |
Celiktutan et al. | Continuous prediction of perceived traits and social dimensions in space and time | |
KR101719927B1 (ko) | 립 모션을 이용한 실시간 메이크업 미러 시뮬레이션 장치 | |
JP7442838B2 (ja) | 感情推定装置、感情推定方法、及びプログラム | |
JPWO2019146405A1 (ja) | 表情解析技術を用いた商品に対するモニタの反応を評価するための情報処理装置、情報処理システム、プログラム | |
US20200226136A1 (en) | Systems and methods to facilitate bi-directional artificial intelligence communications | |
US11087520B2 (en) | Avatar facial expression generating system and method of avatar facial expression generation for facial model | |
JP7323248B2 (ja) | ストレス判定装置、ストレス判定方法、及びプログラム | |
US11935140B2 (en) | Initiating communication between first and second users | |
Hube et al. | Comparing methods for mapping facial expressions to enhance immersive collaboration with signs of emotion | |
US11978281B2 (en) | Facial expression alterations | |
WO2023053784A1 (ja) | 顔タイプ診断装置、顔タイプ診断方法及びプログラム | |
JP2023082903A (ja) | 情報処理装置、方法及びプログラム | |
JP7354813B2 (ja) | 検出方法、通知方法、検出プログラムおよび通知プログラム | |
Asada et al. | A System for Posting on an SNS an Author Portrait Selected using Facial Expression Analysis while Writing a Message. | |
WO2023145350A1 (ja) | 情報処理方法、情報処理システムおよびプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220704 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220704 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20230412 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230418 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230926 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20231120 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20240213 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20240214 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7442838 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |