JP2022002023A - 学習装置、学習方法及びプログラム - Google Patents
学習装置、学習方法及びプログラム Download PDFInfo
- Publication number
- JP2022002023A JP2022002023A JP2020106847A JP2020106847A JP2022002023A JP 2022002023 A JP2022002023 A JP 2022002023A JP 2020106847 A JP2020106847 A JP 2020106847A JP 2020106847 A JP2020106847 A JP 2020106847A JP 2022002023 A JP2022002023 A JP 2022002023A
- Authority
- JP
- Japan
- Prior art keywords
- model
- dnn
- learning
- fusion
- output
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims description 88
- 230000004927 fusion Effects 0.000 claims abstract description 226
- 238000004821 distillation Methods 0.000 claims abstract description 131
- 238000013528 artificial neural network Methods 0.000 claims abstract description 41
- 230000008451 emotion Effects 0.000 claims description 42
- 230000006870 function Effects 0.000 claims description 26
- 238000012549 training Methods 0.000 claims description 17
- 238000012545 processing Methods 0.000 description 40
- 238000010586 diagram Methods 0.000 description 32
- 230000010365 information processing Effects 0.000 description 15
- 238000004590 computer program Methods 0.000 description 14
- 238000011176 pooling Methods 0.000 description 8
- 239000013598 vector Substances 0.000 description 8
- 238000002474 experimental method Methods 0.000 description 5
- 239000000284 extract Substances 0.000 description 5
- 230000008921 facial expression Effects 0.000 description 5
- 238000002790 cross-validation Methods 0.000 description 4
- 238000011156 evaluation Methods 0.000 description 4
- 238000000605 extraction Methods 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 3
- 230000008909 emotion recognition Effects 0.000 description 2
- 230000002996 emotional effect Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000007935 neutral effect Effects 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000000052 comparative effect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000001815 facial effect Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000013140 knowledge distillation Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 238000010200 validation analysis Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
- G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- General Health & Medical Sciences (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Computational Linguistics (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Artificial Intelligence (AREA)
- Neurology (AREA)
- Image Analysis (AREA)
Abstract
Description
以下では、図面を参照しながら、実施の形態における文書分類装置等の説明を行う。
図1は、実施の形態に係る情報処理装置10の構成の一例を示すブロック図である。
入力部11は、マルチモーダル情報が入力されると、マルチモーダル情報を2以上のモーダル情報に分離して、Fusion DNNモデル12に入力する。
出力部13は、Fusion DNNモデル12により推論処理が行われた結果である推論結果を出力する。
Fusion DNNモデル12は、プロセッサと、メモリとを備えたコンピュータに用いられて推論処理を行う。Fusion DNNモデル12は、入力部11から入力された2以上のモーダル情報に対して推論処理を行い、推論結果を出力する。
DNN部121は、2以上のDNNを有し、入力された2以上のモーダル情報それぞれから、入力された2以上のモーダル情報それぞれの特徴量を算出して出力する。ここで、2以上のDNNそれぞれの最終層は、当該2以上のDNNそれぞれの出力である特徴量を出力する全結合層であってもよい。
DNN(映像)1211は、2以上のモーダル情報のうち映像に対応するモーダル情報(映像)が入力され、入力されたモーダル情報(映像)の特徴量を算出して、Fusion122に出力する。
DNN(音声)1212は、2以上のモーダル情報のうち音声に対応するモーダル情報(音声)が入力され、入力されたモーダル情報(音声)の特徴量を算出して、Fusion122に出力する。
DNN(…)121mは、2以上のモーダル情報のうち対応するモーダル情報(…)が入力され、入力されたモーダル情報(…)の特徴量を算出して、Fusion122に出力する。
Fusion122は、DNN部121を構成する2以上のDNNそれぞれの一部を融合した構成を含み、当該2以上のDNNそれぞれの出力である特徴量が入力される。より具体的には、Fusion122は、2以上のDNNそれぞれの最終層を連結した層であって2以上のDNNそれぞれの出力である特徴量が入力される層を含む。Fusion122は、入力された特徴量から、推論を行う。
図4は、実施の形態に係る学習装置20の構成の一例を示すブロック図である。
取得部21は、2以上のモーダル情報と2以上のモーダル情報それぞれに対する正解ラベルとで構成される学習用データを取得する。また、取得部21は、モデル部23から蒸留ラベル(ソフトターゲット)を取得してもよい。
学習処理部22は、取得部21が取得した学習用データを用いて、モデル部23に格納されたモデルに対して蒸留を利用した学習を行う。なお、学習処理部22は、不図示のプロセッサとメモリとを備え、プロセッサは、メモリに記録されたプログラムを用いて、学習処理を行う。
モデル部23は、学習処理部22が学習対象とするニューラルネットワークを含むモデルを格納する。モデル部23が格納するモデルは、学習処理部22により蒸留を利用した学習が行われる。
続いて、上述のように構成された学習装置20の動作の一例について以下説明する。
このようにして、学習装置20は、単一のモーダル情報ではなく2以上のモーダル情報とそれらの正解データとを含む学習用データを用いることに加えて、蒸留を行ってニューラルネットワークであるFusion DNNモデル12を学習させることができる。
まず、実施例1では、教師モデルとしてFusion DNNモデル12の個々の構成に対して学習させ、その後、生徒モデルとしてFusion DNNモデル12の個々の構成に対して蒸留学習させる学習方法について説明する。なお、以下では、情報処理装置10に対象人物の感情判別を行わせる場合の構成等について説明するが、一例でありこれに限られない。
次に、実施例2では、教師モデルとしてFusion DNNモデルを学習させ、その後、生徒モデルとしてのFusion DNNモデルの出力を、その中間層の出力とともに蒸留ラベルを用いて蒸留学習させる場合について説明する。なお、以下でも、情報処理装置10に対象人物の感情判別を行わせる場合の構成等について説明するが、一例でありこれに限られない。
次に、実施例3では、蒸留技術を応用して、Fusion DNNモデルに対して学習と蒸留学習とを同時に行う場合について説明する。なお、以下でも、情報処理装置10に対象人物の感情判別を行わせる場合の構成等について説明するが、一例でありこれに限られない。
実施例4では、実施例1〜実施例3で説明した蒸留を利用した学習方法の有効性について検証した。その実験結果について以下説明する。
本実験では、学習率を0.0001、バッチサイズを32に設定し、それ以外のパラメータをデフォルト(初期値)としてAdam optimizerを用いて学習を行った。また、学習は、それぞれepoch数を〜200程度とし、Validationデータで学習が進まなくなったら終了するとした。また、誤差関数(Loss Function)としてはMAEを利用した。
本実験では、実施例1〜実施例3で説明した蒸留を利用した学習方法で学習したFusion DNNモデルの感情認識精度を評価した。評価は、k‐fold cross validationを利用して行った。ここで、k‐fold cross validationは、予測モデルの汎化性能を正確に検証する方法として知られており、k分割交差検証とも称される。k‐fold cross validationを利用して評価する場合、例えば訓練データセットをk個のサブセットに分割して、そのうちk−1個のサブセットで学習し、残りの1個のサブセットで評価(検証)するという作業をすべての組み合わせに対して行う。k分割の場合は、計k回の学習と評価を繰り返すことになる。
以上、実施の形態において本開示の学習装置、学習方法及びプログラムについて説明したが、各処理が実施される主体や装置に関しては特に限定しない。ローカルに配置された特定の装置内に組み込まれたプロセッサなど(以下に説明)によって処理されてもよい。またローカルの装置と異なる場所に配置されているクラウドサーバなどによって処理されてもよい。
11 入力部
12 Fusion DNNモデル
12a、12c 教師Fusion DNNモデル
12b、12d 生徒Fusion DNNモデル
13 出力部
20 学習装置
21 取得部
22 学習処理部
23 モデル部
121、121e DNN部
121a、121c 教師DNN部
121b、121d 生徒DNN部
122、122e Fusion
122a、122c 教師Fusion
122b、122d 生徒Fusion
1211、1211e DNN(映像)
1211a、1211c 教師DNN(映像)
1211b、1211d 生徒DNN(映像)
1212、1212e DNN(音声)
1212a、1212c 教師DNN(音声)
1212b、1212d 生徒DNN(音声)
121m DNN(…)
Claims (10)
- プロセッサと、
メモリと、を備え、
前記プロセッサは、前記メモリに記録されたプログラムを用いて、
2以上のモーダル情報と前記2以上のモーダル情報それぞれに対する正解ラベルとで構成される学習用データを用いて、かつ、教師モデルが学習した知識を生徒モデルの学習に利用する技術である蒸留を行って、DNN(Deep Neural Network)モデルを学習させ、
前記DNNモデルは、2以上のDNNと、前記2以上のDNNそれぞれの一部を融合した構成を含み、前記2以上のDNNそれぞれの出力である特徴量が入力されるFusionとで構成される、
学習装置。 - 前記プロセッサは、
前記DNNモデルを学習させる際、
前記学習用データを用いて、前記DNNモデルを学習させるとともに、前記DNNモデルにおける中間層で前記蒸留を行い、
前記蒸留を行う際、
前記学習用データのうちの前記2以上のモーダル情報を前記DNNモデルに入力したとき、前記Fusionの中間層の出力を蒸留ラベルとして、前記2以上のDNNそれぞれの中間層の出力を学習させることで、前記蒸留を行う、
請求項1に記載の学習装置。 - 前記蒸留を行う際、
前記Fusionの前記中間層の出力として得られる温度付きのソフトマックス関数の出力を前記蒸留ラベルとして、前記2以上のDNNそれぞれの前記中間層の出力として得られる前記温度付きのソフトマックス関数の出力を学習させることで、前記蒸留を行う、
請求項2に記載の学習装置。 - 前記教師モデルと前記生徒モデルとは、同一の前記DNNモデルであり、
前記プロセッサは、
前記DNNモデルを学習させる際、
前記学習用データを用いて、前記教師モデルとして前記DNNモデルを学習させ、
前記学習用データのうちの前記2以上のモーダル情報を入力したときの、前記教師モデルとして学習させた前記DNNモデルの出力を、当該2以上のモーダル情報を入力したときの、前記生徒モデルとして学習させる前記DNNモデルの出力の正解、かつ、前記生徒モデルとして学習させる前記DNNモデルにおける前記2以上のDNNそれぞれの中間層の出力の正解である蒸留ラベルとして、前記生徒モデルとしての前記DNNモデルを学習させることで、前記蒸留を行う、
請求項1に記載の学習装置。 - 前記プロセッサは、
前記DNNモデルを学習させる際、
前記DNNモデルのうちの前記2以上のDNNそれぞれと同一構成のモデルである第1教師モデルを、前記学習用データのうちの前記2以上のモーダル情報の中で対応する第1モーダル情報と、前記第1モーダル情報に対する正解ラベルとを用いて学習させ、
前記DNNモデルと同一構成のモデルであって、学習させた前記第1教師モデルそれぞれの一部を融合した構成を含み、学習させた前記第1教師モデルそれぞれの出力である特徴量が入力されるモデルである教師Fusionと、学習させた前記第1教師モデルとで構成された教師DNNモデルを、前記学習用データを用いて学習させ、
学習させた前記教師DNNモデルに、前記2以上のモーダル情報を入力したときの出力を正解とする蒸留ラベルと、前記第1モーダル情報とを用いて、前記2以上のDNNそれぞれを前記生徒モデルとして学習させ、
前記蒸留ラベルと、前記2以上のモーダル情報とを用いて、前記DNNモデルを前記生徒モデルとして学習させることで、前記蒸留を行う、
請求項1に記載の学習装置。 - 前記2以上のDNNそれぞれの最終層は、前記2以上のDNNそれぞれの出力である特徴量を出力する第1全結合層であり、
前記Fusionは、前記2以上のDNNそれぞれの前記最終層を連結した層であって前記2以上のDNNそれぞれの出力である特徴量が入力される層を含む、
請求項1〜5のいずれか1項に記載の学習装置。 - 前記DNNモデルの出力は、前記Fusionの出力として得られる、前記2以上のモーダル情報に対する推論結果である、
請求項1〜6のいずれか1項に記載の学習装置。 - 前記2以上のモーダル情報は、対象人物が映る動画像の音声情報と映像情報とを含み、
前記DNNモデルは、前記推論結果として、前記対象人物の感情を出力する、
請求項7に記載の学習装置。 - 2以上のモーダル情報と2以上のモーダル情報それぞれに対する正解ラベルとで構成される学習用データを用いて、かつ、教師モデルが学習した知識を生徒モデルの学習に利用する技術である蒸留を行って、DNNモデルを学習させ、
前記DNNモデルは、2以上のDNNと、前記2以上のDNNそれぞれの一部を融合した構成を含み、前記2以上のDNNそれぞれの出力である特徴量が入力されるFusionとで構成される、
学習方法。 - 2以上のモーダル情報と2以上のモーダル情報それぞれに対する正解ラベルとで構成される学習用データを用いて、かつ、教師モデルが学習した知識を生徒モデルの学習に利用する技術である蒸留を行って、2以上のDNNと、前記2以上のDNNそれぞれの一部を融合した構成を含み、前記2以上のDNNそれぞれの出力である特徴量が入力されるFusionとで構成されるDNNモデルを学習させることを、
コンピュータに実行させるためのプログラム。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020106847A JP7475105B2 (ja) | 2020-06-22 | 2020-06-22 | 学習装置、学習方法及びプログラム |
US17/314,832 US20210397954A1 (en) | 2020-06-22 | 2021-05-07 | Training device and training method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020106847A JP7475105B2 (ja) | 2020-06-22 | 2020-06-22 | 学習装置、学習方法及びプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2022002023A true JP2022002023A (ja) | 2022-01-06 |
JP7475105B2 JP7475105B2 (ja) | 2024-04-26 |
Family
ID=79022365
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020106847A Active JP7475105B2 (ja) | 2020-06-22 | 2020-06-22 | 学習装置、学習方法及びプログラム |
Country Status (2)
Country | Link |
---|---|
US (1) | US20210397954A1 (ja) |
JP (1) | JP7475105B2 (ja) |
Families Citing this family (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20200128938A (ko) | 2019-05-07 | 2020-11-17 | 삼성전자주식회사 | 모델 학습 방법 및 장치 |
GB202206105D0 (en) * | 2022-04-27 | 2022-06-08 | Samsung Electronics Co Ltd | Method for knowledge distillation and model generation |
CN114664290B (zh) * | 2022-05-17 | 2022-08-19 | 深圳比特微电子科技有限公司 | 声音事件检测方法、装置及可读存储介质 |
US20240127047A1 (en) * | 2022-10-13 | 2024-04-18 | GE Precision Healthcare LLC | Deep learning image analysis with increased modularity and reduced footprint |
CN115496077B (zh) * | 2022-11-18 | 2023-04-18 | 之江实验室 | 一种基于模态观察和评分的多模态情感分析方法和装置 |
CN115762484B (zh) * | 2023-01-09 | 2023-06-02 | 季华实验室 | 用于语音识别的多模态数据融合方法、装置、设备及介质 |
CN116719945B (zh) * | 2023-08-08 | 2023-10-24 | 北京惠每云科技有限公司 | 一种医学短文本的分类方法、装置、电子设备及存储介质 |
CN117610608A (zh) * | 2023-10-20 | 2024-02-27 | 重庆理工大学 | 基于多阶段特征融合的知识蒸馏方法、设备及介质 |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2019167883A1 (ja) | 2018-02-28 | 2019-09-06 | 富士フイルム株式会社 | 機械学習装置および方法 |
JP2019200671A (ja) | 2018-05-17 | 2019-11-21 | 大日本印刷株式会社 | 学習装置、学習方法、プログラム、データ生成方法及び識別装置 |
US11250838B2 (en) | 2018-11-16 | 2022-02-15 | Deepmind Technologies Limited | Cross-modal sequence distillation |
-
2020
- 2020-06-22 JP JP2020106847A patent/JP7475105B2/ja active Active
-
2021
- 2021-05-07 US US17/314,832 patent/US20210397954A1/en active Pending
Also Published As
Publication number | Publication date |
---|---|
US20210397954A1 (en) | 2021-12-23 |
JP7475105B2 (ja) | 2024-04-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2022002023A (ja) | 学習装置、学習方法及びプログラム | |
KR102071582B1 (ko) | 딥 뉴럴 네트워크(Deep Neural Network)를 이용하여 문장이 속하는 클래스(class)를 분류하는 방법 및 장치 | |
Becker et al. | Interpreting and explaining deep neural networks for classification of audio signals | |
Poria et al. | A review of affective computing: From unimodal analysis to multimodal fusion | |
Alkhulaifi et al. | Knowledge distillation in deep learning and its applications | |
CN108346436B (zh) | 语音情感检测方法、装置、计算机设备及存储介质 | |
CN109344404B (zh) | 情境感知的双重注意力自然语言推理方法 | |
CN112084331A (zh) | 文本处理、模型训练方法、装置、计算机设备和存储介质 | |
EP3915063B1 (en) | Multi-model structures for classification and intent determination | |
US11720759B2 (en) | Electronic apparatus, controlling method of thereof and non-transitory computer readable recording medium | |
Kazmi et al. | Wavelets-based facial expression recognition using a bank of support vector machines | |
Fang et al. | Facial expression GAN for voice-driven face generation | |
CN116564338B (zh) | 语音动画生成方法、装置、电子设备和介质 | |
CN112131345A (zh) | 文本质量的识别方法、装置、设备及存储介质 | |
CN108810625A (zh) | 一种多媒体数据的播放控制方法、装置及终端 | |
Rodrigues et al. | Classification of facial expressions under partial occlusion for VR games | |
KR102564182B1 (ko) | 인공지능 모델을 활용하여 영상 데이터 기반 얼굴 표정 영상 추출 및 이를 활용한 콘텐츠 생성 방법, 장치 및 시스템 | |
US11798578B2 (en) | Paralinguistic information estimation apparatus, paralinguistic information estimation method, and program | |
Karras et al. | A Hybrid Ensemble Deep Learning Approach for Emotion Classification | |
CN117216185A (zh) | 分发内容的评论生成方法、装置、设备及存储介质 | |
Cambria et al. | Speaker-independent multimodal sentiment analysis for big data | |
CN112328774B (zh) | 基于多文档的任务型人机对话任务的实现方法 | |
Kilimci et al. | Evaluating raw waveforms with deep learning frameworks for speech emotion recognition | |
Miyajima et al. | Behavior signal processing for vehicle applications | |
US20220122584A1 (en) | Paralinguistic information estimation model learning apparatus, paralinguistic information estimation apparatus, and program |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20221216 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20231225 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20240109 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20240301 |
|
A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A711 Effective date: 20240304 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20240326 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20240410 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7475105 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |