JP5234833B2 - 表情識別器作成装置,表情識別器作成方法,表情認識装置,表情認識方法およびそれらのプログラム - Google Patents
表情識別器作成装置,表情識別器作成方法,表情認識装置,表情認識方法およびそれらのプログラム Download PDFInfo
- Publication number
- JP5234833B2 JP5234833B2 JP2010008650A JP2010008650A JP5234833B2 JP 5234833 B2 JP5234833 B2 JP 5234833B2 JP 2010008650 A JP2010008650 A JP 2010008650A JP 2010008650 A JP2010008650 A JP 2010008650A JP 5234833 B2 JP5234833 B2 JP 5234833B2
- Authority
- JP
- Japan
- Prior art keywords
- facial expression
- image data
- classifier
- feature amount
- face
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Image Processing (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Image Analysis (AREA)
Description
まず,表情識別器作成装置10の実施例について述べる。初めに,サンプル画像データ検索部11の実施例について述べる。
[参考文献2]:H. Attias,“Inferring parameters and structure of latent variable models by variational bayes,” Proceedings of the 15th Conference on Uncertainty in Artificial Intelligence, pp. 21-30, 1999.
[参考文献3]:S. Geman, and D. Geman“Stochastic relaxation, Gibbs distributions, and the Bayesian restoration of images”, IEEE Transactions on Pattern Analysis and Machine Intelligence, Issue 6, pp.721-741, 1984.
結果として,[例1]で取得した画像データを用いた場合には,「笑顔らしさ」を識別する表情識別器が生成される。
次に,表情認識装置20の実施例について述べる。表情認識装置20は,与えられた入力画像31に写っている人物の表情を認識し,その認識結果を表情ラベル32として出力する装置であり,図1に示すような構成で実現できる。
・「笑顔らしさ」,
・「笑顔であるか否か」,
・「笑顔,怒り顔,驚き顔のいずれか」,
というような情報が出力される。
11 サンプル画像データ検索部
12 サンプル画像の顔検出部
13 特徴量算出部
14 識別器作成部
20 表情認識装置
21 画像データ取得部
22 入力画像の顔検出部
24 表情識別器
30 サンプル画像データ
31 入力画像
32 表情ラベル
Claims (9)
- 画像データ内に存在する人物の顔の表情を認識するための識別器を作成する表情識別器作成装置であって,
与えられたキーワードに対し,ネットワーク上で公開された画像データから,その画像データに関連付けられたキーワードが前記与えられたキーワードと一致する画像データを検索する機能を持つサンプル画像データ検索部と,
検索された画像データから,人物の顔と推定される画像内の領域を抽出し,その領域の数および面積が予め決められた条件に合致するものを出力する機能を持つ顔検出部と,
出力された顔領域の画像データから多次元の数値データからなる特徴量を計算により求める特徴量算出部と,
求められた特徴量を教師データとして機械学習によって識別器を作成する識別器作成部とを備える
ことを特徴とする表情識別器作成装置。 - 請求項1記載の表情識別器作成装置において,
前記サンプル画像データ検索部は,笑顔に関連するキーワードを与えることによって,笑顔を多く含む画像データを検索する機能を持ち,
前記識別器作成部は,笑顔を識別するための表情識別器を作成する
ことを特徴とする表情識別器作成装置。 - 請求項2記載の表情識別器作成装置において,
前記サンプル画像データ検索部は,さらに,笑顔以外の表情に関連するキーワードを与えることによって,笑顔が多く含まれない画像データを検索する機能を持ち,
前記識別器作成部は,笑顔を多く含む画像データから得られた特徴量と,笑顔が多く含まれない画像データから得られた特徴量との統計的な分布の差を探索する機械学習によって,笑顔であるか否かを判定する表情識別器を作成する
ことを特徴とする表情識別器作成装置。 - 請求項1記載の表情識別器作成装置において,
前記サンプル画像データ検索部は,笑顔,怒り顔,驚き顔または泣き顔に関連する特定の表情に関するキーワードを与えることによって,前記特定の表情を多く含む画像データを検索する機能を持つとともに,顔や人物に関連するキーワードを条件とし,かつ前記特定の表情に関するキーワードに関連付けられていないという条件を付加することによって,前記特定の表情が多く含まれない画像データを検索する機能を持ち,
前記識別器作成部は,前記特定の表情を多く含む画像データから得られた特徴量と,前記特定の表情が多く含まれない画像データから得られた特徴量との統計的な分布の差を探索する機械学習によって,前記特定の表情であるか否かを判定する表情識別器を作成する
ことを特徴とする表情識別器作成装置。 - コンピュータが,画像データ内に存在する人物の顔の表情を認識するための識別器を作成する表情識別器作成方法であって,
与えられたキーワードに対し,ネットワーク上で公開された画像データから,その画像データに関連付けられたキーワードが前記与えられたキーワードと一致する画像データを検索するサンプル画像データ検索過程と,
検索された画像データから,人物の顔と推定される画像内の領域を抽出し,その領域の数および面積が予め決められた条件に合致するものを出力する顔検出過程と,
出力された顔領域の画像データから多次元の数値データからなる特徴量を計算により求める特徴量算出過程と,
求められた特徴量を教師データとして機械学習によって識別器を作成する識別器作成過程とを有する
ことを特徴とする表情識別器作成方法。 - 与えられた画像内から人物の顔の表情を自動的に認識する表情認識装置であって,
表情の認識対象となる画像データを取得する画像データ取得部と,
取得された画像データから,人物の顔と推定される画像内の領域を抽出する顔検出部と,
抽出された顔領域の画像データから多次元の数値データからなる特徴量を計算により求める特徴量算出部と,
請求項1から請求項4までのいずれか1項に記載された表情識別器作成装置によって作成された表情識別器とを備え,
前記特徴量算出部は,前記表情識別器作成装置における表情識別器の作成に用いた特徴量の算出方法と同じ算出方法を用いて顔領域の画像データから特徴量を算出し,算出した特徴量を前記表情識別器の入力として前記表情識別器に表情の識別結果を出力させる
ことを特徴とする表情認識装置。 - コンピュータが,与えられた画像内から人物の顔の表情を自動的に認識する表情認識方法であって,
表情の認識対象となる画像データを取得する画像データ取得過程と,
取得された画像データから,人物の顔と推定される画像内の領域を抽出する顔検出過程と,
抽出された顔領域の画像データから多次元の数値データからなる特徴量を計算により求める特徴量算出過程と,
請求項1から請求項4までのいずれか1項に記載された表情識別器作成装置によって作成された表情識別器に前記特徴量を入力して表情を識別する表情識別過程とを有し,
前記特徴量算出過程では,前記表情識別器作成装置における表情識別器の作成に用いた特徴量の算出方法と同じ算出方法を用いて顔領域の画像データから特徴量を算出し,算出した特徴量を前記表情識別器の入力として,前記表情識別器に表情の識別結果を出力させる
ことを特徴とする表情認識方法。 - 請求項5に記載された表情識別器作成方法を,コンピュータに実行させるための表情識別器作成プログラム。
- 請求項7に記載された表情認識方法を,コンピュータに実行させるための表情認識プログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010008650A JP5234833B2 (ja) | 2010-01-19 | 2010-01-19 | 表情識別器作成装置,表情識別器作成方法,表情認識装置,表情認識方法およびそれらのプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010008650A JP5234833B2 (ja) | 2010-01-19 | 2010-01-19 | 表情識別器作成装置,表情識別器作成方法,表情認識装置,表情認識方法およびそれらのプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2011150381A JP2011150381A (ja) | 2011-08-04 |
JP5234833B2 true JP5234833B2 (ja) | 2013-07-10 |
Family
ID=44537327
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2010008650A Active JP5234833B2 (ja) | 2010-01-19 | 2010-01-19 | 表情識別器作成装置,表情識別器作成方法,表情認識装置,表情認識方法およびそれらのプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5234833B2 (ja) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10387716B2 (en) | 2016-10-21 | 2019-08-20 | Samsung Electronics Co., Ltd. | Method and apparatus for recognizing facial expression |
US11741367B2 (en) | 2017-03-13 | 2023-08-29 | Fanuc Corporation | Apparatus and method for image processing to calculate likelihood of image of target object detected from input image |
Families Citing this family (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2013061732A (ja) * | 2011-09-12 | 2013-04-04 | Fuji Xerox Co Ltd | 画像識別情報付与プログラム及び画像識別情報付与装置 |
CN103365952B (zh) * | 2012-04-06 | 2017-04-12 | 东芝医疗***株式会社 | 医疗信息检索装置 |
JP5953151B2 (ja) * | 2012-07-13 | 2016-07-20 | 日本放送協会 | 学習装置、及びプログラム |
JP5983243B2 (ja) * | 2012-09-26 | 2016-08-31 | 株式会社デンソー | 検出装置 |
JP6131429B2 (ja) * | 2012-12-19 | 2017-05-24 | 三星電子株式会社Samsung Electronics Co.,Ltd. | 情報処理装置、情報処理方法及びコンピュータプログラム |
JP7340806B2 (ja) * | 2018-12-28 | 2023-09-08 | 株式会社Ridge-i | 画像検査装置、画像検査システム、および画像検査用プログラム |
JP7212908B2 (ja) * | 2020-08-25 | 2023-01-26 | 株式会社セルシス | 3次元ポーズデータ生成システム、方法、プログラム |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4197019B2 (ja) * | 2006-08-02 | 2008-12-17 | ソニー株式会社 | 撮像装置および表情評価装置 |
JP5034661B2 (ja) * | 2007-05-07 | 2012-09-26 | ソニー株式会社 | 画像管理装置、画像表示装置、撮像装置、および、これらにおける処理方法ならびに当該方法をコンピュータに実行させるプログラム |
-
2010
- 2010-01-19 JP JP2010008650A patent/JP5234833B2/ja active Active
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10387716B2 (en) | 2016-10-21 | 2019-08-20 | Samsung Electronics Co., Ltd. | Method and apparatus for recognizing facial expression |
US11741367B2 (en) | 2017-03-13 | 2023-08-29 | Fanuc Corporation | Apparatus and method for image processing to calculate likelihood of image of target object detected from input image |
DE102018105334B4 (de) | 2017-03-13 | 2024-01-25 | Fanuc Corporation | Bildverarbeitungsvorrichtung und Bildverarbeitungsverfahren zur Berechnung der Bildwahrscheinlichkeit eines aus einem Eingangsbild erfassten Zielobjekts |
Also Published As
Publication number | Publication date |
---|---|
JP2011150381A (ja) | 2011-08-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5234833B2 (ja) | 表情識別器作成装置,表情識別器作成方法,表情認識装置,表情認識方法およびそれらのプログラム | |
CN109117808B (zh) | 面部识别方法、装置、电子设备及计算机可读介质 | |
Manna et al. | Face recognition from video using deep learning | |
Yu et al. | Learning realistic facial expressions from web images | |
KR101996371B1 (ko) | 영상 캡션 생성 시스템과 방법 및 이를 위한 컴퓨터 프로그램 | |
CN112733764A (zh) | 一种基于多模态识别视频情感信息的方法 | |
Sarath | Human emotions recognition from thermal images using Yolo algorithm | |
Wang et al. | Capturing feature and label relations simultaneously for multiple facial action unit recognition | |
Mangla et al. | Sketch-based facial recognition: a weighted component-based approach (WCBA) | |
Vijayaraju | Image retrieval using image captioning | |
Maynard et al. | Entity-based opinion mining from text and multimedia | |
CN115457620A (zh) | 用户表情识别方法、装置、计算机设备及存储介质 | |
Jalal et al. | Suspect face retrieval system using multicriteria decision process and deep learning | |
Zhou et al. | The State of the Art for Cross-Modal Retrieval: A Survey | |
Berg et al. | Do you see what I see? Measuring the semantic differences in image‐recognition services' outputs | |
Wu et al. | Improved action unit detection based on a hybrid model | |
Bennur et al. | Face Mask Detection and Face Recognition of Unmasked People in Organizations | |
Abed et al. | Face retrieval in videos using face quality assessment and convolution neural networks | |
Fatima et al. | Machine Learning for Masked Face Recognition in COVID-19 Pandemic Situation. | |
Khansama et al. | A hybrid face recognition scheme in a heterogenous and cluttered environment | |
Sabelli et al. | Predictive Modeling Toward the Design of a Forensic Decision Support System Using Cheiloscopy for Identification from Lip Prints | |
Abrar Hamim et al. | Nationality Detection Using Deep Learning | |
Chen et al. | An overview of the application of deep learning in face age image recognition | |
Guevara Flores et al. | Analysis of automatic annotations of real video surveillance images | |
Vats et al. | Comprehensive review and analysis on facial emotion recognition methods |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20120117 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20120927 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20121009 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20121115 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20130319 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20130321 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 Ref document number: 5234833 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20160405 Year of fee payment: 3 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |