JP4922095B2 - 感情表現抽出処理装置及びプログラム - Google Patents
感情表現抽出処理装置及びプログラム Download PDFInfo
- Publication number
- JP4922095B2 JP4922095B2 JP2007201006A JP2007201006A JP4922095B2 JP 4922095 B2 JP4922095 B2 JP 4922095B2 JP 2007201006 A JP2007201006 A JP 2007201006A JP 2007201006 A JP2007201006 A JP 2007201006A JP 4922095 B2 JP4922095 B2 JP 4922095B2
- Authority
- JP
- Japan
- Prior art keywords
- series signal
- emotion
- time series
- feature amount
- time
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Image Analysis (AREA)
Description
これによれば、人間の動きの特徴を示す特徴量を取得しているので、上記特許文献1に開示される技術に比べ、ジェスチャの特徴をより詳細に反映させた学習結果データを生成することができる。従って、ジェスチャの特徴量に基づく感情認識の精度が向上する。
ここで、次元変換処理の代表例は、主成分分析処理である。この主成分分析処理は、統計的な処理により、特徴空間における次元を圧縮するものである。次元変換処理としては、他にも、ICA(Independent Component Analysis、独立成分解析)、高次SVD(Singular Value Decomposition、特異値分解)、ISOMAPなどの方法による処理を用いることも可能である。
このように部分3次元時系列信号をジェスチャの特徴量として用いれば、ジェスチャの特徴量に基づく感情認識の精度が向上する。
ここで、サブバンド分解処理の代表例はウェーブレット(Wavelet)分解処理である。また、上記のサブバンドグループは、どのサブバンド領域に属しているかを示すものである。
これによれば、上記区間ごとに特徴量を取得することができる。
これによれば、ジェスチャから、人間の感情を取得することができる。
このようにしても、平均的に見れば、部位グループを用いる場合と同等の精度が得られる。
図1は、本実施の形態にかかる感情表現抽出処理装置10のシステム構成及び機能ブロックを示す図である。同図に示すように、感情表現抽出処理装置10は、特徴量取得部11、操作部13、感情情報取得部14、学習処理部15、データベース16、認識処理部17、表示部18を含んで構成される。なお、感情表現抽出処理装置10には、例えばパーソナルコンピュータなどのコンピュータを用いることができる。
まず、ジェスチャの特徴量を取得する処理について説明する。特徴量取得部11は、人間の各関節の動きの特徴を示す特徴量を取得する機能(特徴量取得手段)を有しており、具体的には、図1に示すように、モーションキャプチャ110、グループ化処理部111、主成分分析処理部112(次元変換処理手段)、感情区間抽出処理部113、サブバンド分解処理部115、部分3次元時系列信号取得部116を含んで構成される。
サブバンド分解処理部115は、式(7)及び式(8)の計算を繰り返すことによってL個の時系列信号W(Ki,z)[l][n](l=1〜L)を取得する。
次に、学習処理について説明する。操作部13は、キーボード、マウス等の操作手段であり、ユーザ指示の入力を受け付ける。ユーザは、モーションキャプチャ110が人間の動作から時系列信号を取得する際、操作部13を用いて、該動作を行っている該人間の感情を示す感情情報を入力するための操作を行う。感情情報の例としては、怒り(アングリー)を表す情報、楽しみ(ハッピー)を表す情報、特段の感情がないこと(ニュートラル)を示す情報、哀しみ(サッド)を表す情報、が挙げられる。感情情報取得部14は、ユーザの操作内容から感情情報を取得し(感情情報取得手段)、学習処理部15に出力する。
学習処理部15では、ある感情情報についての3次元時系列信号が入力されると、あらかじめ決められた変換パラメータを用いて部分3次元時系列信号に変換される。そして、その部分3次元時系列信号を最も高い確率で出力するHMMモデルパラメータを決定する。これを同感情情報についての多数の部分3次元時系列信号について繰り返し、同感情情報について最も尤もらしいHMMモデルパラメータ(以下では、HMMkということにする。ただし、kは感情情報のインデクス番号である。)を決定する。このHMMkと変換パラメータで感情ごとに学習結果データを生成し、データベース16に記憶させる。
次に、認識処理について説明する。認識処理部17は、特徴量取得部11から特徴量(部分3次元時系列信号)が入力されると、該特徴量と、データベース16に記憶される学習結果データ(感情を特徴付ける感情モデルパラメータ)と、に基づいて感情情報を出力する(認識処理手段)。具体的には、感情ごとに変換パラメータで入力の3次元時系列信号から変換された部分3次元時系列信号を最も高い確率で出力する状態遷移系列を決定する。そして、該状態遷移系列と、データベース16に記憶される各HMMkと、の尤度(類似度)λkを算出する。そして、算出した複数の尤度λkの中で最も大きいものに対応する最尤状態遷移系列HMMkを示す情報と対応付けて記憶される感情情報を取得して表示部18に出力する。式(10)は、この処理を数式により表したものである。ただし、emotionIDは感情情報を表している。
以上説明した認識処理の認識精度について、実験結果を提示しつつ説明する。表1は、本実施の形態にかかる感情表現抽出処理装置10を用いて認識実験を行った結果を示す表である。ただし、この実験では、簡便のため、部位グループとして左右脚部のみを用い、サブバンドレベルも5,6のみを用いている。なお、主成分の次元(TMi)はいずれの脚部についても2としている。この場合、同表に示すように、各種の感情について実験を行った結果得られたトータル認識精度は0.632となっている。なお、0.632という数値は、1000回に632回の割合で正しく認識できる程度の認識精度を有していることを示しており、以下でも同様である。
また、部分3次元時系列信号をジェスチャの特徴量として用いたことにより、ジェスチャの特徴量に基づく感情認識の精度が向上している。
ここでいう「コンピュータシステム」とは、OSや周辺機器等のハードウェアを含むものであってもよい。また、この「コンピュータシステム」は、WWWシステムを利用している場合であれば、ホームページ提供環境(あるいは表示環境)も含むものとする。
また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ROM、フラッシュメモリ等の書き込み可能な不揮発性メモリ、CD−ROM等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。
さらに、「コンピュータ読み取り可能な記録媒体」には、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ(例えばDRAM(Dynamic Random Access Memory))のように、一定時間プログラムを保持しているものも含むものとする。
また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク(通信網)や電話回線等の通信回線(通信線)のように情報を伝送する機能を有する媒体のことをいう。
さらに、上記プログラムは、上述した各機能の一部を実現するためのものであってもよい。さらに、上述した各機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル(差分プログラム)であってもよい。
11 特徴量取得部、
13 操作部、
14 感情情報取得部、
15 学習処理部、
16 データベース、
17 認識処理部、
18 表示部、
110 モーションキャプチャ、
111 グループ化処理部、
112 主成分分析処理部、
113 感情区間抽出処理部、
115 サブバンド分解処理部、
116 部分3次元時系列信号取得部。
Claims (5)
- 人間の動きの特徴を示す特徴量を取得する特徴量取得手段と、
前記特徴量取得手段により取得される特徴量に関連付けて、前記人間の感情を示す感情情報を取得する感情情報取得手段と、
前記感情情報と前記特徴量とに基づいて感情を特徴付ける感情モデルパラメータを生成し、生成した感情モデルパラメータをデータベースに記憶させる学習処理手段と、
を含み、
前記特徴量取得手段は、
前記人間の関節ごとに、その動きを表す時系列信号を取得する時系列信号取得手段と、
前記人間の各関節を体の部位ごとに分類してなる部位グループごとに、前記各時系列信号に次元変換処理を施し、次元圧縮した時系列信号を取得する次元変換処理手段と、
前記次元変換処理手段により取得される前記各時系列信号それぞれをサブバンド分解することにより、前記部位グループ、次元圧縮後の成分、及びサブバンドグループの組み合わせごとの時系列信号により構成される3次元時系列信号を取得するサブバンド分解処理手段と、
前記3次元時系列信号を構成する時系列信号のうちの一部を選択し、選択された時系列信号により構成される部分3次元時系列信号を取得する部分3次元時系列信号取得手段と、
を含み、前記部分3次元時系列信号を前記特徴量として取得する、
ことを特徴とする感情表現抽出処理装置。 - 請求項1に記載の感情表現抽出処理装置において、
前記次元変換処理手段により取得される前記各時系列信号のうちのひとつに基づいて、該時系列信号の時間区間を複数の区間に分割する区間分割手段、
を含み、
前記サブバンド分解処理手段は、前記区間ごとに前記各時系列信号それぞれをサブバンド分解して、前記区間ごとに前記3次元時系列信号を取得する、
ことを特徴とする感情表現抽出処理装置。 - 請求項1または2のいずれか1項に記載の感情表現抽出処理装置において、
前記特徴量取得手段により取得された前記特徴量と、前記学習処理手段により前記データベースに記憶された前記感情モデルパラメータと、に基づいて、人間の感情を示す感情情報を出力する認識処理手段、
を含むことを特徴とする感情表現抽出処理装置。 - 請求項1に記載の感情表現抽出処理装置において、
前記特徴量取得手段は、
前記人間の関節ごとに、その動きを表す時系列信号を取得する時系列信号取得手段と、
前記各時系列信号に次元変換処理を施し、次元圧縮した時系列信号を取得する次元変換処理手段と、
前記次元変換処理手段により取得される前記各時系列信号それぞれをサブバンド分解することにより、次元圧縮後の成分及びサブバンドグループの組み合わせごとの時系列信号により構成される2次元時系列信号を取得するサブバンド分解処理手段と、
前記2次元時系列信号を構成する時系列信号のうちの一部を選択し、選択された時系列信号により構成される部分2次元時系列信号を取得する部分2次元時系列信号取得手段と、
を含み、前記部分2次元時系列信号を前記特徴量として取得する、
ことを特徴とする感情表現抽出処理装置。 - 人間の動きの特徴を示す特徴量を取得する特徴量取得手段、
前記特徴量取得手段により取得される特徴量に関連付けて、前記人間の感情を示す感情情報を取得する感情情報取得手段、及び
前記感情情報と前記特徴量とに基づいて感情を特徴付ける感情モデルパラメータを生成し、生成した感情モデルパラメータをデータベースに記憶させる学習処理手段として,コンピュータを機能させるためのプログラムを含み、
前記特徴量取得手段は、
前記人間の関節ごとに、その動きを表す時系列信号を取得する時系列信号取得手段と、
前記人間の各関節を体の部位ごとに分類してなる部位グループごとに、前記各時系列信号に次元変換処理を施し、次元圧縮した時系列信号を取得する次元変換処理手段と、
前記次元変換処理手段により取得される前記各時系列信号それぞれをサブバンド分解することにより、前記部位グループ、次元圧縮後の成分、及びサブバンドグループの組み合わせごとの時系列信号により構成される3次元時系列信号を取得するサブバンド分解処理手段と、
前記3次元時系列信号を構成する時系列信号のうちの一部を選択し、選択された時系列信号により構成される部分3次元時系列信号を取得する部分3次元時系列信号取得手段を含み、
これらの手段として、コンピュータを機能させるためのプログラムを含み、更に、前記部分3次元時系列信号を前記特徴量として取得するようコンピュータを機能させるためのプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007201006A JP4922095B2 (ja) | 2007-08-01 | 2007-08-01 | 感情表現抽出処理装置及びプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007201006A JP4922095B2 (ja) | 2007-08-01 | 2007-08-01 | 感情表現抽出処理装置及びプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2009037410A JP2009037410A (ja) | 2009-02-19 |
JP4922095B2 true JP4922095B2 (ja) | 2012-04-25 |
Family
ID=40439256
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2007201006A Expired - Fee Related JP4922095B2 (ja) | 2007-08-01 | 2007-08-01 | 感情表現抽出処理装置及びプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4922095B2 (ja) |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5162512B2 (ja) * | 2009-03-26 | 2013-03-13 | Kddi株式会社 | 多次元時系列データ分析装置及び多次元時系列データ分析プログラム |
WO2010122173A1 (fr) * | 2009-04-24 | 2010-10-28 | Commissariat A L'energie Atomique Et Aux Energies Alternatives | Systeme et procede de determination de l'activite d'une personne allongee |
JP6172755B2 (ja) * | 2014-03-28 | 2017-08-02 | Kddi株式会社 | 感情情報推定装置、方法及びプログラム |
JP2018173763A (ja) * | 2017-03-31 | 2018-11-08 | 積水化学工業株式会社 | 行動支援システム、行動支援方法 |
KR102155378B1 (ko) * | 2018-09-19 | 2020-09-14 | 주식회사 브이터치 | 객체 제어를 지원하기 위한 방법, 시스템 및 비일시성의 컴퓨터 판독 가능 기록 매체 |
WO2022172384A1 (ja) * | 2021-02-12 | 2022-08-18 | 三菱電機株式会社 | 情報処理装置、推定方法、及び推定プログラム |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH08339446A (ja) * | 1995-06-09 | 1996-12-24 | Sharp Corp | 対話装置 |
JP2001083984A (ja) * | 1999-09-09 | 2001-03-30 | Alpine Electronics Inc | インタフェース装置 |
JP4075670B2 (ja) * | 2003-04-09 | 2008-04-16 | トヨタ自動車株式会社 | 変化情報認識装置および変化情報認識方法 |
-
2007
- 2007-08-01 JP JP2007201006A patent/JP4922095B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2009037410A (ja) | 2009-02-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR101558202B1 (ko) | 아바타를 이용한 애니메이션 생성 장치 및 방법 | |
KR101640077B1 (ko) | 인체 동작 및 얼굴 표정 모델링 및 인식을 위한 비디오 센서 기반의 장치 및 방법 | |
Ji et al. | Updating the silent speech challenge benchmark with deep learning | |
Le Ngo et al. | Sparsity in dynamics of spontaneous subtle emotions: analysis and application | |
JP4922095B2 (ja) | 感情表現抽出処理装置及びプログラム | |
JP2022505498A (ja) | 画像処理方法、装置、電子機器及びコンピュータ読取可能記憶媒体 | |
Feng et al. | Mining spatial-temporal patterns and structural sparsity for human motion data denoising | |
US10713471B2 (en) | System and method for simulating facial expression of virtual facial model | |
JP5051746B2 (ja) | 特徴抽出装置及び方法並びにプログラム | |
Kumar et al. | Indian sign language recognition using graph matching on 3D motion captured signs | |
Ali et al. | Object recognition for dental instruments using SSD-MobileNet | |
CN112418166A (zh) | 一种基于多模态信息的情感分布学习方法 | |
CN114463827A (zh) | 一种基于ds证据理论的多模态实时情绪识别方法及*** | |
RU2721180C1 (ru) | Способ генерации анимационной модели головы по речевому сигналу и электронное вычислительное устройство, реализующее его | |
JP3998628B2 (ja) | パターン認識装置及びその方法 | |
Meng et al. | Listen to your face: Inferring facial action units from audio channel | |
JP2005514683A (ja) | 合成、認識および圧縮のための多モード・データ集団の多重線形表現のための論理装置、データ構造、システムおよび方法 | |
CN113873297A (zh) | 一种数字人物视频的生成方法及相关装置 | |
Mohseni et al. | Facial expression recognition using DCT features and neural network based decision tree | |
JP6579353B1 (ja) | 情報処理装置、情報処理方法、寸法データ算出装置、及び製品製造装置 | |
KR101621304B1 (ko) | 마우스맵을 이용한 능동형태모델 기반 입술 형태 추정 방법 및 시스템 | |
KR20200053411A (ko) | 딥러닝 기반 인공 뇌전도 신호 생성 방법 및 장치 | |
JP4090969B2 (ja) | 信号分離方法、信号分離プログラム及びそのプログラムを記録した記録媒体 | |
Chen et al. | A GAN-based data augmentation approach for sensor-based human activity recognition | |
CN112651363A (zh) | 基于多特征点的微表情拟合方法和*** |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20091016 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20110610 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20110621 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20110726 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20120104 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20120203 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20150210 Year of fee payment: 3 |
|
LAPS | Cancellation because of no payment of annual fees |