JP2021111114A - 学習データ生成プログラム、学習データ生成方法及び推定装置 - Google Patents
学習データ生成プログラム、学習データ生成方法及び推定装置 Download PDFInfo
- Publication number
- JP2021111114A JP2021111114A JP2020002467A JP2020002467A JP2021111114A JP 2021111114 A JP2021111114 A JP 2021111114A JP 2020002467 A JP2020002467 A JP 2020002467A JP 2020002467 A JP2020002467 A JP 2020002467A JP 2021111114 A JP2021111114 A JP 2021111114A
- Authority
- JP
- Japan
- Prior art keywords
- marker
- image
- generated
- unit
- learning data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims description 45
- 239000003550 marker Substances 0.000 claims abstract description 112
- 238000010801 machine learning Methods 0.000 claims abstract description 21
- 238000012545 processing Methods 0.000 claims abstract description 20
- 230000009471 action Effects 0.000 claims description 25
- 230000008569 process Effects 0.000 claims description 25
- 230000008921 facial expression Effects 0.000 claims description 19
- 238000012549 training Methods 0.000 claims description 5
- 238000010586 diagram Methods 0.000 description 20
- 230000008859 change Effects 0.000 description 14
- 230000000875 corresponding effect Effects 0.000 description 12
- 238000006243 chemical reaction Methods 0.000 description 6
- 230000006870 function Effects 0.000 description 6
- 238000013528 artificial neural network Methods 0.000 description 3
- 238000004891 communication Methods 0.000 description 3
- 238000007796 conventional method Methods 0.000 description 2
- 238000012217 deletion Methods 0.000 description 2
- 230000037430 deletion Effects 0.000 description 2
- 238000009826 distribution Methods 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 230000001815 facial effect Effects 0.000 description 2
- 210000001097 facial muscle Anatomy 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 241000282412 Homo Species 0.000 description 1
- 125000002066 L-histidyl group Chemical group [H]N1C([H])=NC(C([H])([H])[C@](C(=O)[*])([H])N([H])[H])=C1[H] 0.000 description 1
- 239000000853 adhesive Substances 0.000 description 1
- 230000001070 adhesive effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000008602 contraction Effects 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 210000004709 eyebrow Anatomy 0.000 description 1
- 230000014509 gene expression Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 230000002269 spontaneous effect Effects 0.000 description 1
- 230000037303 wrinkles Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
- G06F18/2148—Generating training patterns; Bootstrap methods, e.g. bagging or boosting characterised by the process organisation or structure, e.g. boosting cascade
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/10—Image acquisition
- G06V10/12—Details of acquisition arrangements; Constructional details thereof
- G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
- G06V10/143—Sensing or illuminating at different wavelengths
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
- G06V10/225—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition based on a marking or identifier characterising the area
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
- G06V10/7747—Organisation of the process, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
- G06V40/166—Detection; Localisation; Normalisation using acquisition arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/174—Facial expression recognition
- G06V40/175—Static expression
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/047—Probabilistic or stochastic networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/179—Human faces, e.g. facial parts, sketches or expressions metadata assisted face recognition
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Computing Systems (AREA)
- Data Mining & Analysis (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Engineering & Computer Science (AREA)
- Human Computer Interaction (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Medical Informatics (AREA)
- Mathematical Physics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computational Linguistics (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Databases & Information Systems (AREA)
- Molecular Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Image Analysis (AREA)
Abstract
Description
10 生成装置
11、61 入力部
12、62 出力部
13、63 記憶部
14、64 制御部
20 学習装置
31 RGBカメラ
32 IRカメラ
40 器具
60 推定装置
131 AU情報
141 取得部
142 特定部
143 判定部
144 画像生成部
145 学習データ生成部
401、402、403 マーカ
631 モデル情報
641 取得部
642 推定部
Claims (8)
- 顔を含む撮像画像を取得し、
前記撮像画像に含まれるマーカの位置を特定し、
アクションユニットの判定基準と特定された前記マーカの位置とに基づいて、複数のアクションユニットのうち第1のアクションユニットを選択し、
前記撮像画像から前記マーカを削除する画像処理を実行することによって、画像を生成し、
生成された前記画像に前記第1のアクションユニットに関する情報を付与することによって機械学習用の学習データを生成する、
処理をコンピュータに実行させることを特徴とする学習データ生成プログラム。 - 前記選択する処理は、前記複数のアクションユニットのうち前記マーカに対応する前記第1のアクションユニットが、前記判定基準と前記マーカの位置とに基づいて発生していると判定された場合に、前記第1のアクションユニットを選択する処理を含む、
ことを特徴とする請求項1に記載の学習データ生成プログラム。 - 前記判定基準に含まれる前記マーカの基準位置と、特定された前記マーカの位置との距離に基づいて算出した前記マーカの移動量を基に、前記第1のアクションユニットの発生強度を判定する、
処理を前記コンピュータにさらに実行させることを特徴とする請求項2に記載の学習データ生成プログラム。 - 前記第1のアクションユニットに関する情報は、前記第1のアクションユニットの発生強度を含む、
ことを特徴とする請求項3に記載の学習データ生成プログラム。 - 生成された前記学習データを用いて、顔を含む他の撮像画像を入力としアクションユニットの発生強度に関する情報を出力とする推定モデルの機械学習を実行する、
処理を前記コンピュータに実行させることを特徴とする請求項1に記載の学習データ生成プログラム。 - 顔を含む撮像画像を取得し、
前記撮像画像に含まれるマーカの位置を特定し、
アクションユニットの判定基準と特定された前記マーカの位置とに基づいて、複数のアクションユニットのうち第1のアクションユニットを選択し、
前記撮像画像から前記マーカを削除する画像処理を実行することによって、画像を生成し、
生成された前記画像に前記第1のアクションユニットに関する情報を付与することによって機械学習用の学習データを生成する、
処理をコンピュータが実行することを特徴とする学習データ生成方法。 - 顔を含む第1の撮像画像を取得し、
アクションユニットの判定基準と撮像画像に含まれるマーカの位置とに基づいて選択された第1のアクションユニットの情報を教師ラベルとした学習データに基づいて機械学習により生成された機械学習モデルに、前記第1の撮像画像を入力し、
前記機械学習モデルの出力を、前記顔の表情の推定結果として取得する、
処理を実行する処理部を有することを特徴とする推定装置。 - 前記第1のアクションユニットの情報は、前記撮像画像における前記第1のアクションユニットの発生強度を示す情報であって、
前記推定結果は、前記第1の撮像画像における前記第1のアクションユニットの発生強度を含む、
ことを特徴とする請求項7に記載の推定装置。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020002467A JP7452016B2 (ja) | 2020-01-09 | 2020-01-09 | 学習データ生成プログラム、及び学習データ生成方法 |
US17/119,917 US20210216821A1 (en) | 2020-01-09 | 2020-12-11 | Training data generating method, estimating device, and recording medium |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020002467A JP7452016B2 (ja) | 2020-01-09 | 2020-01-09 | 学習データ生成プログラム、及び学習データ生成方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2021111114A true JP2021111114A (ja) | 2021-08-02 |
JP7452016B2 JP7452016B2 (ja) | 2024-03-19 |
Family
ID=76763372
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020002467A Active JP7452016B2 (ja) | 2020-01-09 | 2020-01-09 | 学習データ生成プログラム、及び学習データ生成方法 |
Country Status (2)
Country | Link |
---|---|
US (1) | US20210216821A1 (ja) |
JP (1) | JP7452016B2 (ja) |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP4207097A1 (en) | 2021-12-28 | 2023-07-05 | Fujitsu Limited | Information processing program, information processing method, and information processing apparatus |
EP4207096A1 (en) | 2021-12-28 | 2023-07-05 | Fujitsu Limited | Information processing program, information processing method, and information processing apparatus |
EP4207107A1 (en) | 2021-12-28 | 2023-07-05 | Fujitsu Limited | Information processing program, information processing method, and information processing apparatus |
EP4207101A1 (en) | 2021-12-28 | 2023-07-05 | Fujitsu Limited | Information processing program, information processing method, and information processing apparatus |
EP4207098A1 (en) | 2021-12-28 | 2023-07-05 | Fujitsu Limited | Information processing program, information processing method, and information processing apparatus |
WO2023127156A1 (ja) | 2021-12-28 | 2023-07-06 | 富士通株式会社 | 情報処理プログラム、情報処理方法および情報処理装置 |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7452015B2 (ja) * | 2020-01-09 | 2024-03-19 | 富士通株式会社 | 判定プログラム、判定方法、判定装置 |
CN114917544B (zh) * | 2022-05-13 | 2023-09-22 | 上海交通大学医学院附属第九人民医院 | 可视化的辅助口轮匝肌功能训练的方法与设备 |
CN115052194B (zh) * | 2022-06-02 | 2023-05-02 | 北京新唐思创教育科技有限公司 | 学习报告生成方法、装置、电子设备及存储介质 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002517859A (ja) * | 1998-06-08 | 2002-06-18 | マイクロソフト コーポレイション | 表情の3dジオメトリ、色、およびシェーディングを取り込んで表すための方法およびシステム |
JP2019517693A (ja) * | 2016-06-01 | 2019-06-24 | オハイオ・ステイト・イノベーション・ファウンデーション | 表情の認識および注釈付けのためのシステムおよび方法 |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8462996B2 (en) * | 2008-05-19 | 2013-06-11 | Videomining Corporation | Method and system for measuring human response to visual stimulus based on changes in facial expression |
US10289898B2 (en) * | 2010-06-07 | 2019-05-14 | Affectiva, Inc. | Video recommendation via affect |
JP7083189B2 (ja) * | 2018-03-29 | 2022-06-10 | 国立大学法人 奈良先端科学技術大学院大学 | 学習データセット作製方法及び装置 |
US10885693B1 (en) * | 2019-06-21 | 2021-01-05 | Facebook Technologies, Llc | Animating avatars from headset cameras |
-
2020
- 2020-01-09 JP JP2020002467A patent/JP7452016B2/ja active Active
- 2020-12-11 US US17/119,917 patent/US20210216821A1/en not_active Abandoned
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002517859A (ja) * | 1998-06-08 | 2002-06-18 | マイクロソフト コーポレイション | 表情の3dジオメトリ、色、およびシェーディングを取り込んで表すための方法およびシステム |
JP2019517693A (ja) * | 2016-06-01 | 2019-06-24 | オハイオ・ステイト・イノベーション・ファウンデーション | 表情の認識および注釈付けのためのシステムおよび方法 |
Non-Patent Citations (4)
Title |
---|
BEAT FASEL, 外1名: ""Recognition of asymmetric facial action unit activities and intensities"", PROCEEDINGS 15TH INTERNATIONAL CONFERENCE ON PATTERN RECOGNITION. ICPR-2000, JPN6023030671, 7 September 2000 (2000-09-07), pages 1100 - 1103, ISSN: 0005118633 * |
SUSANNE KAISER, 外1名: ""Automated coding of facial behavior in humancomputer interactions with FACS."", JOURNAL OF NONVERBAL BEHAVIOR, JPN7023002870, June 1992 (1992-06-01), pages 67 - 83, ISSN: 0005118634 * |
山本俊太, 外4名: ""モーションキャプチャで得られた顔特徴点位置データを用いた表情の識別"", 電子情報通信学会技術研究報告, vol. 第110巻, 第457号, JPN6023030669, 28 February 2011 (2011-02-28), JP, pages 101 - 106, ISSN: 0005118636 * |
崔昌石, 外2名: ""顔の3次元モデルを用いた顔面表情の分析"", 電子情報通信学会論文誌, vol. 第J74-D-II巻, 第6号, JPN6023030670, 25 June 1991 (1991-06-25), JP, pages 766 - 777, ISSN: 0005118635 * |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP4207097A1 (en) | 2021-12-28 | 2023-07-05 | Fujitsu Limited | Information processing program, information processing method, and information processing apparatus |
EP4207096A1 (en) | 2021-12-28 | 2023-07-05 | Fujitsu Limited | Information processing program, information processing method, and information processing apparatus |
EP4207107A1 (en) | 2021-12-28 | 2023-07-05 | Fujitsu Limited | Information processing program, information processing method, and information processing apparatus |
EP4207101A1 (en) | 2021-12-28 | 2023-07-05 | Fujitsu Limited | Information processing program, information processing method, and information processing apparatus |
EP4207098A1 (en) | 2021-12-28 | 2023-07-05 | Fujitsu Limited | Information processing program, information processing method, and information processing apparatus |
WO2023127156A1 (ja) | 2021-12-28 | 2023-07-06 | 富士通株式会社 | 情報処理プログラム、情報処理方法および情報処理装置 |
Also Published As
Publication number | Publication date |
---|---|
US20210216821A1 (en) | 2021-07-15 |
JP7452016B2 (ja) | 2024-03-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7452016B2 (ja) | 学習データ生成プログラム、及び学習データ生成方法 | |
JP4950787B2 (ja) | 画像処理装置及びその方法 | |
CN110998659B (zh) | 图像处理***、图像处理方法、及程序 | |
Murtaza et al. | Analysis of face recognition under varying facial expression: a survey. | |
KR20110013200A (ko) | 인체 자세 식별 방법 및 장치 | |
JP2007004767A (ja) | 画像認識装置、方法およびプログラム | |
JP6207210B2 (ja) | 情報処理装置およびその方法 | |
CN105095853B (zh) | 图像处理装置及图像处理方法 | |
JP2016099982A (ja) | 行動認識装置、行動学習装置、方法、及びプログラム | |
JP2007072620A (ja) | 画像認識装置及びその方法 | |
KR101116838B1 (ko) | 개인성향을 반영한 과장표정 생성방법 | |
US20230368409A1 (en) | Storage medium, model training method, and model training device | |
US20230046705A1 (en) | Storage medium, determination device, and determination method | |
JP7452015B2 (ja) | 判定プログラム、判定方法、判定装置 | |
Amamra | Smooth head tracking for virtual reality applications | |
JP6285116B2 (ja) | 動作評価装置、動作評価方法及び動作評価プログラム | |
US20230130397A1 (en) | Determination method and information processing apparatus | |
US20230079478A1 (en) | Face mesh deformation with detailed wrinkles | |
WO2022003843A1 (ja) | 判定プログラム、判定装置、および判定方法 | |
US20220398867A1 (en) | Information processing apparatus and facial expression determination method | |
JP6282121B2 (ja) | 画像認識装置、画像認識方法およびプログラム | |
JP4942197B2 (ja) | テンプレート作成装置及び表情認識装置並びにその方法、プログラム及び記録媒体 | |
WO2022024392A1 (ja) | 算出プログラム、算出方法および情報処理装置 | |
JPWO2022024392A5 (ja) | ||
JP2015176586A (ja) | 画像処理装置、画像処理方法及びプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220908 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20230718 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230801 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20231002 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20231114 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20240115 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20240206 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20240219 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7452016 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |