JPWO2017006872A1 - Facial expression identification system, facial expression identification method, and facial expression identification program - Google Patents
Facial expression identification system, facial expression identification method, and facial expression identification program Download PDFInfo
- Publication number
- JPWO2017006872A1 JPWO2017006872A1 JP2017527431A JP2017527431A JPWO2017006872A1 JP WO2017006872 A1 JPWO2017006872 A1 JP WO2017006872A1 JP 2017527431 A JP2017527431 A JP 2017527431A JP 2017527431 A JP2017527431 A JP 2017527431A JP WO2017006872 A1 JPWO2017006872 A1 JP WO2017006872A1
- Authority
- JP
- Japan
- Prior art keywords
- facial expression
- unit
- data
- person
- facial
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000008921 facial expression Effects 0.000 title claims abstract description 417
- 238000000034 method Methods 0.000 title claims description 59
- 238000001514 detection method Methods 0.000 claims abstract description 131
- 238000010801 machine learning Methods 0.000 claims abstract description 56
- 230000001815 facial effect Effects 0.000 claims abstract description 13
- 230000003287 optical effect Effects 0.000 claims description 85
- 238000013500 data storage Methods 0.000 claims description 43
- 230000017531 blood circulation Effects 0.000 claims description 23
- 238000004364 calculation method Methods 0.000 claims description 19
- 238000012937 correction Methods 0.000 claims description 13
- 230000008569 process Effects 0.000 claims description 12
- 238000000605 extraction Methods 0.000 claims description 10
- 239000000284 extract Substances 0.000 claims description 9
- 210000001508 eye Anatomy 0.000 description 29
- 230000014509 gene expression Effects 0.000 description 25
- 210000004709 eyebrow Anatomy 0.000 description 20
- 238000013528 artificial neural network Methods 0.000 description 14
- 230000006870 function Effects 0.000 description 13
- 230000008859 change Effects 0.000 description 11
- 238000004891 communication Methods 0.000 description 11
- 210000003128 head Anatomy 0.000 description 11
- 230000035945 sensitivity Effects 0.000 description 11
- 238000010586 diagram Methods 0.000 description 7
- 238000005070 sampling Methods 0.000 description 7
- 238000006073 displacement reaction Methods 0.000 description 6
- 238000012545 processing Methods 0.000 description 6
- 238000012549 training Methods 0.000 description 5
- 230000004913 activation Effects 0.000 description 4
- 238000000513 principal component analysis Methods 0.000 description 4
- 238000012706 support-vector machine Methods 0.000 description 4
- 238000005259 measurement Methods 0.000 description 3
- 102000001554 Hemoglobins Human genes 0.000 description 2
- 108010054147 Hemoglobins Proteins 0.000 description 2
- 210000003467 cheek Anatomy 0.000 description 2
- 230000007423 decrease Effects 0.000 description 2
- 230000008451 emotion Effects 0.000 description 2
- 210000000744 eyelid Anatomy 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 238000002372 labelling Methods 0.000 description 2
- 238000012886 linear function Methods 0.000 description 2
- 210000003205 muscle Anatomy 0.000 description 2
- 238000010606 normalization Methods 0.000 description 2
- 238000007781 pre-processing Methods 0.000 description 2
- 208000019901 Anxiety disease Diseases 0.000 description 1
- 206010063659 Aversion Diseases 0.000 description 1
- 241000282412 Homo Species 0.000 description 1
- 241001465754 Metazoa Species 0.000 description 1
- 230000036506 anxiety Effects 0.000 description 1
- 210000004369 blood Anatomy 0.000 description 1
- 239000008280 blood Substances 0.000 description 1
- 230000001186 cumulative effect Effects 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 210000003743 erythrocyte Anatomy 0.000 description 1
- 210000001097 facial muscle Anatomy 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000015541 sensory perception of touch Effects 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- 230000003442 weekly effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Human Computer Interaction (AREA)
- Image Analysis (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
安価且つ簡易な構成で、人物の顔表情を継続的（日常的）に識別可能な顔表情識別システムを提供する。人物の頭部に装着可能な装着装置（３）と、装着装置（３）の人物の顔面に対向する複数箇所にそれぞれ配置され、装着装置（３）を装着したときの顔面と装着装置（３）間の距離を複数箇所でそれぞれ検出する、複数の検出装置（４ａ〜４ｑ）と、複数の検出装置（４ａ〜４ｑ）による過去の検出結果のデータと顔表情との対応関係を機械学習して得られた学習データを記憶する記憶装置（２）と、学習データを記憶装置（２）から読み出し、複数の検出装置（４ａ〜４ｑ）による検出結果を入力データとして人物の顔表情を識別する顔表情識別部（１１）とを備える。Provided is a facial expression identification system capable of continuously (daily) identifying a human facial expression with an inexpensive and simple configuration. The wearing device (3) that can be worn on the person's head, and the face and the wearing device (3) that are arranged at a plurality of locations facing the person's face of the wearing device (3) and are worn on the wearing device (3). ) Machine learning of the correspondence between the facial detection and the data of the past detection results by the plurality of detection devices (4a to 4q) and the plurality of detection devices (4a to 4q), which detect the distance between each of them at a plurality of locations. Storage device (2) for storing learning data obtained in this manner, and learning data is read from storage device (2), and the facial expression of a person is identified using detection results from a plurality of detection devices (4a to 4q) as input data A facial expression identification unit (11).
Description
本発明は、人物の顔表情を識別する顔表情識別システム、顔表情識別方法及び顔表情識別プログラムに関する。 The present invention relates to a facial expression identification system, a facial expression identification method, and a facial expression identification program for identifying a facial expression of a person.
他人やコンピュータとのより豊かなコミュニケーションの実現等のため、人物の顔表情を自動的に識別する技術が重要となってきている。従来の顔表情識別システムとしては、カメラを用いて人物を撮像し、撮像画像に含まれる特徴量に基づいて顔表情を識別する手法が知られている（特許文献１参照）。 In order to realize richer communication with others and computers, a technique for automatically identifying a person's facial expression has become important. As a conventional facial expression identification system, a technique is known in which a person is imaged using a camera and a facial expression is identified based on a feature amount included in the captured image (see Patent Document 1).
しかしながら、特許文献１に記載のカメラを用いたシステムは高価であり、計算量も膨大となる。更に、カメラで人物の顔を撮像可能な位置・方向は制限されるため、顔表情を継続的（日常的）に識別することは困難である。
However, the system using the camera described in
上記問題点を鑑み、本発明は、安価且つ簡易な構成で、人物の顔表情を継続的（日常的）に識別可能な顔表情識別システム、顔表情識別方法及び顔表情識別プログラムを提供することを目的とする。 In view of the above problems, the present invention provides a facial expression identification system, a facial expression identification method, and a facial expression identification program capable of continuously (daily) identifying a human facial expression with an inexpensive and simple configuration. With the goal.
本発明の第１の態様は、（ａ）人物の頭部に装着可能な装着装置と、（ｂ）装着装置の人物の顔面に対向する複数箇所にそれぞれ配置され、装着装置を装着したときの顔面と装着装置間の距離を複数箇所でそれぞれ検出する、複数の検出装置と、（ｃ）複数の検出装置による過去の検出結果のデータと顔表情との対応関係を機械学習して得られた学習データを記憶する記憶装置と、（ｄ）学習データを記憶装置から読み出し、複数の検出装置による検出結果を入力データとして人物の顔表情を識別する顔表情識別部とを備える顔表情識別システムであることを要旨とする。 The first aspect of the present invention includes (a) a mounting device that can be mounted on a person's head, and (b) a mounting device that is disposed at a plurality of locations facing the person's face, and the mounting device is mounted. Obtained by machine learning of a plurality of detection devices that respectively detect the distance between the face and the wearing device at a plurality of locations, and (c) correspondence between past detection result data and facial expressions by the plurality of detection devices. A facial expression identification system comprising: a storage device that stores learning data; and (d) a facial expression identification unit that reads learning data from the storage device and identifies facial expressions of a person using detection results from a plurality of detection devices as input data. It is a summary.
本発明の第２の態様は、（ａ）装着装置の複数箇所にそれぞれ配置された複数の検出装置が、装着装置を人物の頭部に装着したときの人物の顔面と装着装置間の距離を複数箇所で検出するステップと、（ｂ）記憶装置に記憶された、複数の検出装置による過去の検出結果のデータと顔表情との対応関係を機械学習して得られた学習データを記憶装置から読み出し、顔表情識別部が複数の検出装置による検出結果のデータを入力データとして人物の顔表情を識別するステップとを含む顔表情識別方法であることを要旨とする。 According to a second aspect of the present invention, (a) a plurality of detection devices respectively disposed at a plurality of locations of the mounting device determine the distance between the human face and the mounting device when the mounting device is mounted on the person's head. A step of detecting at a plurality of locations; and (b) learning data obtained by machine learning of the correspondence between past detection result data by a plurality of detection devices and facial expressions stored in the storage device from the storage device The gist of the present invention is a facial expression identification method including a step of reading and identifying a facial expression of a person using data of detection results from a plurality of detection devices as input data.
本発明の第３の態様は、（ａ）装着装置の複数箇所にそれぞれ配置された複数の検出装置に、装着装置を人物の頭部に装着したときの人物の顔面と装着装置間の距離を複数箇所で検出させる手順と、（ｂ）記憶装置に記憶された、複数の検出装置による過去の検出結果のデータと顔表情との対応関係を機械学習して得られた学習データを記憶装置から読み出させ、複数の検出装置による検出結果のデータを入力データとして人物の顔表情を顔表情識別部に識別させる手順とを含む一連の処理をコンピュータに実行させる顔表情識別プログラムであることを要旨とする。 According to a third aspect of the present invention, (a) the distance between the face of the person and the mounting device when the mounting device is mounted on the person's head is set to a plurality of detection devices respectively disposed at a plurality of locations of the mounting device. (B) learning data obtained by machine learning of the correspondence between the data of past detection results by the plurality of detection devices and the facial expression, stored in the storage device, from the storage device A facial expression identification program that causes a computer to execute a series of processes that include reading the data of detection results from a plurality of detection devices as input data and causing the facial expression identification unit to identify a facial expression of a person. And
本発明によれば、安価且つ簡易な構成で、人物の顔表情を継続的（日常的）に識別可能な顔表情識別システム、顔表情識別方法及び顔表情識別プログラムを提供することができる。 According to the present invention, it is possible to provide a facial expression identification system, a facial expression identification method, and a facial expression identification program capable of continuously (daily) identifying a facial expression of a person with an inexpensive and simple configuration.
次に、図面を参照して、本発明の第１〜第６の実施形態を説明する。以下の図面の記載において、同一又は類似の部分には同一又は類似の符号を貼付している。但し、図面は模式的なものであり、厚みと平面寸法との関係、厚みの比率等は現実のものとは異なることに留意すべきである。また、図面相互間においても互いの寸法の関係や比率が異なる部分が含まれていることは勿論である。また、以下に示す実施形態は、本発明の技術的思想を具体化するための装置や方法を例示するものであって、本発明の技術的思想は、構成部品の材質、形状、構造、配置等を下記のものに特定するものではない。本発明の技術的思想は、特許請求の範囲に記載された請求項が規定する技術的範囲内において、種々の変更を加えることができる。 Next, first to sixth embodiments of the present invention will be described with reference to the drawings. In the following description of the drawings, the same or similar parts are affixed with the same or similar reference numerals. However, it should be noted that the drawings are schematic, and the relationship between the thickness and the planar dimensions, the ratio of the thickness, and the like are different from the actual ones. Moreover, it is a matter of course that portions having different dimensional relationships and ratios are included between the drawings. Further, the following embodiments exemplify apparatuses and methods for embodying the technical idea of the present invention, and the technical idea of the present invention is the material, shape, structure, and arrangement of components. Etc. are not specified as follows. The technical idea of the present invention can be variously modified within the technical scope defined by the claims described in the claims.
（第１の実施形態）
＜顔表情識別システム＞
本発明の第１の実施形態に係る顔表情識別システムは、図１に示すように、中央演算処理装置（ＣＰＵ）１、記憶装置２、装着装置（ウェアラブルデバイス）３、複数の検出装置（光センサ）４ａ，４ｂ，４ｃ，４ｄ，４ｅ，４ｆ，４ｇ，４ｈ，４ｉ，４ｊ，４ｋ，４ｌ，４ｍ，４ｎ，４ｏ，４ｐ，４ｑ、入力装置５及び出力装置６を備える。ＣＰＵ１と、記憶装置２、検出装置４ａ〜４ｑ、入力装置５及び出力装置６とは有線又は無線で信号を送受信可能である。(First embodiment)
<Facial expression identification system>
As shown in FIG. 1, a facial expression identification system according to a first embodiment of the present invention includes a central processing unit (CPU) 1, a
装着装置３としては、人物の頭部に装着可能な眼鏡型のデバイスやヘッドマウントディスプレイ（ＨＭＤ）が使用可能であり、市販の眼鏡であってもよい。複数の検出装置４ａ〜４ｑは、装着装置３に設けられ、装着装置３を頭部に装着したときの人物の顔面と装着装置３間の距離を複数箇所で検出する。複数の検出装置４ａ〜４ｑとしては、反射型光センサ（フォトリフレクタ）や、焦電センサ、近接センサ、距離センサ等が使用可能である。例えば、フォトリフレクタは、装着装置３を装着した人物の顔面に赤外光を照射する発光ダイオード（ＬＥＤ）からなる発光部と、人物の顔面からの反射光を検出するフォトトランジスタからなる受光部とを有する。
As the mounting
装着装置３は、例えば図２に示すような眼鏡型のデバイスである。検出装置４ａ〜４ｑは、装着装置３のレンズ部分の周囲であって、装着装置３を装着した時に人物の顔面と対向する位置に設けられている。検出装置４ａ〜４ｑは、例えば、人物の顔表情が変化した際に変動し易い部位である瞼や頬、眉間、目尻等と対向する位置に配置されることが好ましい。なお、検出装置４ａ〜４ｑの配置位置は特に限定されず、識別したい顔表情の種類等に応じて適宜設定可能である。
The mounting
また、図２では１７個の検出装置４ａ〜４ｑを示すが、検出装置４ａ〜４ｑの個数は特に限定されず、少なくとも２個以上あればよく、顔表情の分類の種類や数、要求される識別精度等に応じて適宜選択可能である。例えば、図２に示した１６個の検出装置４ａ〜４ｑのうち、８個の検出装置４ｂ，４ｈ，４ｊ，４ｋ，４ｌ，４ｏ，４ｐ，４ｑのみを用いて後述する７つの顔表情を識別可能である。
2 shows 17
本発明の第１の実施形態に係る顔表情識別システムは、図３に示すように、「無表情」、「微笑み」、「笑い」、「嫌悪」、「怒り」、「驚き」、「悲しみ」の７つの顔表情を識別する。なお、顔表情の分類の種類及び個数は特に限定されず、表情による差異が検出装置４ａ〜４ｑで検出できるもので学習データ記憶部２０に学習データが格納できるものであればよい。例えば顔表情としては他にも「喜び」や「恐怖」等が挙げられる。
As shown in FIG. 3, the facial expression identification system according to the first embodiment of the present invention includes “no expression”, “smile”, “laughter”, “disgust”, “anger”, “surprise”, “sadness”. 7 facial expressions are identified. The type and number of facial expression classifications are not particularly limited, as long as differences by facial expressions can be detected by the
本発明の第１の実施形態に係る顔表情識別システムは、人物の顔表情が変化する際の顔面筋の変動に起因する３次元的な皮膚変形を利用して顔表情を識別する。人物の顔表情が変化すると、人物の顔面の瞼や頬、眉間、目尻等の部位が変動し、個人差はあるが、人物の顔表情毎に各部位の変動量には共通した傾向が見られる。 The facial expression identification system according to the first embodiment of the present invention identifies facial expressions using three-dimensional skin deformation caused by facial muscle fluctuations when the facial expression of a person changes. When a person's facial expression changes, the parts of the person's face, such as the eyelids, cheeks, eyebrows, and eye corners, vary, and there are individual differences, but the variation in each part of the person's facial expression shows a common tendency. It is done.
例えば図３（ａ）及び図３（ｂ）に、装着装置３を頭部に装着した人物が無表情の様子及び笑っている様子をそれぞれ示す。なお、図３（ａ）及び図３（ｂ）では、眼鏡型である装着装置３のテンプル部分は便宜的に省略し、検出装置４ａ，４ｊを模式的に示す。図３（ａ）に示すように、人物が無表情の場合に人物の瞼や頬があまり膨らまず、瞼や頬と検出装置４ａ，４ｊとの距離Ｄ１，Ｄ２が相対的に遠くなり、検出装置４ａ，４ｊにより検出される反射光の照度が低下する。一方、図３（ｂ）に示すように、人物が笑っている場合に瞼及び頬が膨らみ、瞼や頬と検出装置４ａ，４ｊとの距離Ｄ１，Ｄ２が相対的に近くなり、検出装置４ａ，４ｊにより検出される反射光の照度が増大する。このように、検出装置４ａ〜４ｑは、人物の顔面と検出装置４ａ〜４ｑとの距離に応じた検出結果（例えば電流値）をＣＰＵ１に出力する。なお、検出装置４ａ〜４ｑの対向する顔面の部位によって反射の度合いが異なるため、検出装置４ａ〜４ｑの配置位置に応じて検出装置４ａ〜４ｑによる検出結果を適宜補正してもよい。また、識別したい顔表情の種類等に応じて検出装置４ａ〜４ｑによる検出結果を適宜重み付けしてもよい。
For example, FIGS. 3 (a) and 3 (b) show a state in which a person wearing the mounting
図１に示したＣＰＵ１は、機械学習部１０、顔表情識別部１１、地理情報取得部１２、顔表情マップ作成部１３及び推薦情報抽出部１４を備え、更に、顔表情識別システム全体を制御する制御回路、演算回路、データを一時記憶するレジスタ等を有する。なお、ＣＰＵ１の機能の一部又は全部が、装着装置３等に内蔵されていてもよい。
1 includes a
機械学習部１０は、検出装置４ａ〜４ｑによる過去の検出結果と顔表情との対応関係を教師データとして用いて機械学習を行うことにより学習データを生成する。機械学習部１０による機械学習の手法としては、公知のサポートベクターマシン（ＳＶＭ）やニューラルネットワーク等が使用可能である。
The
図４は、機械学習部１０の機械学習に用いる検出装置４ａ〜４ｑによる過去の検出結果と顔表情との対応関係の一例を示す。各プロットは、多数の人物が装着装置３を装着し、検出装置４ａ〜４ｑによる検出結果を多数サンプリングして、各検出結果を顔表情毎に分類することで得られる。なお、ここでは多数の人物のサンプリング結果を示すが、顔表情の識別対象となるユーザ本人のサンプリング結果が含まれていてもよく、他者のみのサンプリング結果であってもよい。また、顔表情の識別対象となるユーザ本人或いは他者の単体のみのサンプリング結果を機械学習に用いてもよい。図４の縦軸は、各プロットにおいて検出装置４ａ〜４ｑの出力値の多数のサンプリングの値の範囲が０から１となるように正規化した平均正規化値を示し、横軸のセンサ番号の１番〜１６番は図２に示した検出装置４ａ〜４ｑの順番に一致する。
FIG. 4 shows an example of a correspondence relationship between past detection results and facial expressions by the
顔表情識別部１１は、例えば図４に示した検出装置４ａ〜４ｑによる過去の検出結果と顔表情との対応関係を教師データとして用いて、ＳＶＭにより、検出装置４ａ〜４ｑによる新たな検出結果を７つの顔表情に対応する領域（クラスタ）に分類するための超平面（境界面）を含む情報を学習データとして生成する。機械学習部１０により生成された学習データは、記憶装置２の学習データ記憶部２０に格納される。
The facial
図１に示した顔表情識別部１１は、記憶装置２の学習データ記憶部２０に予め記憶された学習データを用いて、測定対象の人物に対する検出装置４ａ〜４ｑによる検出結果に基づいて、測定対象の人物の顔表情を「無表情」、「微笑み」、「笑い」、「嫌悪」、「怒り」、「驚き」、「悲しみ」の７つの顔表情のいずれかに識別（分類）する。顔表情識別部１１は、例えば、検出装置４ａ〜４ｑによる検出結果のパターンが、学習データ記憶部２０に記憶された学習データの７つのクラスタのうちどのクラスタに最も近いかを判定し、最も近いクラスタに対応する顔表情に分類する。顔表情識別部１１による顔表情の識別結果は、記憶装置２の顔表情記憶部２１に格納される。
The facial
なお、顔表情識別部１１による識別結果を良好なものとするためには、顔表情の識別対象となる個人毎に学習データを記録し機械学習を行なうことが望ましいが、簡易的に他者で記録した学習データを別のユーザの顔表情の識別に用いることも可能である。また、他者で記録した学習データと比較して、計測結果が類似していた場合には、他者で記録した学習データを利用することで、個人毎のデータを学習する過程を簡便化することもできる。
In order to improve the recognition result by the facial
地理情報取得部１２は、全地球測位システム（ＧＰＳ）等から、顔表情識別部１１により顔表情を識別した時点における現在位置等の地理情報及び年月日等の時刻情報を取得し、記憶装置２の地理情報記憶部２２に格納する。
The geographic
顔表情マップ作成部１３は、顔表情識別部１１により識別された顔表情と、地理情報取得部１２により取得された地理情報及び時刻情報とを関連付けた顔表情マップを作成する。顔表情マップは、例えば図６に示すように、時刻情報及び地理情報毎に、７つの顔表情の割合（頻度）を示す。なお、顔表情マップは図６に示した態様に特に限定されず、例えば表形式の代わりに、地理情報に対応する地図上の位置に時刻情報や顔表情情報を配置する形式でもよい。また、顔表情マップは、複数の人物についての時刻情報、地理情報及び顔表情の識別結果を一括して纏めてもよく、顔表情情報も多数の人物の累積値であってもよい。顔表情マップ作成部１３により作成された顔表情マップは、顔表情マップ記憶部２３に格納される。
The facial expression
推薦情報抽出部１４は、入力装置５を介して入力された顔表情、時刻情報、地理情報等の検索キーに基づいて、顔表情マップ作成部１３により作成された顔表情マップを検索し、検索キーに適合する顔表情、時刻情報、地理情報等を推薦情報として抽出する。例えば、検索キーとして入力された顔表情が「笑い」や「微笑み」であった場合、図６に示した顔表情マップから、「笑い」や「微笑み」の割合が相対的に高い「場所Ｂ」を推薦情報として抽出する。
The recommendation
記憶装置２としては、例えば半導体メモリや磁気ディスク、光ディスク等が使用可能である。記憶装置２は、機械学習部１０により生成された学習データを記憶する学習データ記憶部２０、顔表情識別部１１による顔表情の識別結果を記憶する顔表情記憶部２１、地理情報取得部１２により取得された地理情報を記憶する地理情報記憶部２２、顔表情マップ作成部１３により作成された顔表情マップを記憶する顔表情マップ記憶部２３を有する。記憶装置２は更に、ＣＰＵ１が実行する顔表情識別プログラムやプログラムの実行に必要な各種データを記憶する。
As the
入力装置５としては、キーボードやマウス、タッチパネル、音声認識装置等が使用可能である。入力装置５は、ユーザからの顔表情、時刻情報、地理情報等の検索キーを受け付ける。出力装置６としては、液晶ディスプレイ（ＬＣＤ）等の表示装置やタブレット端末等が使用可能である。出力装置６は、顔表情識別部１１による顔表情の識別結果や、顔表情マップ作成部１３により作成された顔表情マップ、推薦情報抽出部１４により抽出された推薦情報を適宜出力（表示）する。
As the
＜顔表情識別方法＞
次に、図７のフローチャートを参照しながら、本発明の第１の実施形態に係る顔表情マップ作成方法を含む顔表情識別方法の一例を説明する。なお、以下に示す顔表情識別方法はあくまでも一例であり、この手順に限定されるものではない。<Facial expression identification method>
Next, an example of a facial expression identification method including the facial expression map creation method according to the first embodiment of the present invention will be described with reference to the flowchart of FIG. Note that the facial expression identification method described below is merely an example, and the present invention is not limited to this procedure.
ステップＳ１０において、機械学習部１０が、図４に示したような検出装置４ａ〜４ｑによる過去の検出結果と顔表情との対応関係を用いて機械学習を行うことにより学習データを生成し、学習データ記憶部２０に格納しておく。
In step S10, the
ステップＳ１１において、複数の検出装置４ａ〜４ｑが、装着装置３を頭部に装着した測定対象となる人物の顔面と装着装置３間の距離を複数箇所で検出する。ステップＳ１２において、顔表情識別部１１が、学習データ記憶部２０に予め記憶された学習データを用いて、複数の検出装置４ａ〜４ｑにより検出された現在の検出結果のパターン識別を行い、測定対象の人物の顔表情を、図４に示した７つの顔表情のいずれか（例えば「微笑み」）に識別する。
In step S <b> 11, the plurality of
ステップＳ１２において、地理情報取得部１２が、顔表情識別部１１による識別結果が得られた時点における現在位置等の地理情報をＧＰＳ等から取得する。地理情報取得部１２は更に、顔表情識別部１１による識別結果が得られた時点の時刻情報を取得する。ステップＳ１３において、顔表情マップ作成部１３が、顔表情識別部１１による識別結果と、地理情報取得部１２により取得された地理情報及び時刻情報とを対応付けて顔表情マップを作成する。顔表情マップ作成部１３により作成された顔表情マップは顔表情マップ記憶部２３に格納される。
In step S12, the geographic
次に、図７のステップＳ１３において顔表情マップ作成部１３により作成された顔表情マップを用いた推薦情報表示方法の一例を、図８のフローチャートを参照しながら説明する。なお、図７及び図８に示した一連の処理は連続して行ってもよく、互いに並列で行ってもよい。
Next, an example of a recommendation information display method using the facial expression map created by the facial expression
ステップＳ２１において、推薦情報抽出部１４が、出力装置６に検索メニューを表示させる。そして、検索メニューからユーザにより選択された顔表情、地理情報及び時刻情報等の検索キーを入力装置５が受け付ける。ステップＳ２２において、推薦情報抽出部１４が、入力装置５が受け付けた検索キーに基づいて、顔表情マップ記憶部２３に記憶された顔表情マップを検索し、検索キーに適合する顔表情、地理情報及び時刻情報等を推薦情報として抽出する。ステップＳ２３において、出力装置６が、推薦情報抽出部１４により抽出された推薦情報を画面に表示する。
In step S <b> 21, the recommendation
＜顔表情識別プログラム＞
本発明の第１の実施形態に係る顔表情識別プログラムは、図７及び図８に示した顔表情識別の手順をＣＰＵ１に実行させる。即ち、本発明の第１の実施形態に係る顔表情識別プログラムは、（ａ）複数の検出装置４ａ〜４ｑが、装着装置３を頭部に装着した人物の顔面と、装着装置３との距離を検出する手順、（ｂ）記憶装置２に予め記憶された、複数の検出装置４ａ〜４ｑによる過去の検出結果と顔表情との対応関係を機械学習して得られた学習データを用いて、複数の検出装置４ａ〜４ｑによる検出結果に基づいて人物の顔表情を識別する手順、（ｃ）複数の検出装置４ａ〜４ｑによる検出結果が得られた時点での地理情報を取得する手順、（ｄ）顔表情の識別結果と地理情報とを対応付けた顔表情マップを作成する手順等をＣＰＵ１等のコンピュータに実行させる。本発明の第１の実施形態に係る顔表情識別プログラムは、図１に示した記憶装置２等の記憶手段に記憶される。<Facial expression identification program>
The facial expression identification program according to the first embodiment of the present invention causes the
以上説明したように、本発明の第１の実施形態によれば、装着型の複数の検出装置４ａ〜４ｑを用いて人物の顔表情を識別することにより、安価且つ簡潔な構成で、継続的（日常的）に低消費電力で顔表情を識別することが実現可能となる。更に、検出装置４ａ〜４ｑは眼鏡用のフレームやＨＭＤの内部に取り付けることができるので、日常的な環境下や、ＨＭＤ装着時のように人物の顔が遮蔽される場合等のカメラでの撮像が難しい条件下においても、継続的且つ容易に顔表情を識別できる。したがって、ユーザに過大な負担をかけずに継続的にユーザの顔表情を識別して、顔表情マップを作成することができる。更に、作成した顔表情マップを用いて、ユーザの検索キーに応じた推薦情報を抽出・表示することにより、顔表情に関連した推薦情報をユーザに提示できる。
As described above, according to the first embodiment of the present invention, the facial expression of a person is identified by using the plurality of
（第２の実施形態）
本発明の第２の実施形態に係る顔表情識別システムは、図９に示すように、ＣＰＵ１が機械学習部１０、顔表情識別部１１に加え、時刻情報取得部１５及び顔表情分布算出部１６を備え、図１に示した地理情報取得部１２、顔表情マップ作成部１３及び推薦情報抽出部１４を備えない点が、図１に示したＣＰＵ１の構成と異なる。また、記憶装置２が、学習データ記憶部２０、顔表情記憶部２１に加え、時刻情報記憶部２４及び顔表情分布記憶部２５を備え、図１に示した地理情報記憶部２２及び顔表情マップ記憶部２３を備えない点が、図１に示した記憶装置２の構成と異なる。(Second Embodiment)
In the facial expression identification system according to the second embodiment of the present invention, as shown in FIG. 9, the
ＣＰＵ１の時刻情報取得部１５は、顔表情識別部１１により顔表情を識別した時点での時刻情報を顔表情と対応付けて取得する。時刻情報取得部１５により取得された時刻情報は時刻情報記憶部２４に格納される。
The time
顔表情分布算出部１６は、例えば図１０に示すように、顔表情識別部１１による識別結果と、時刻情報取得部１５により取得された時刻情報とを関連付けた顔表情分布を算出する。図１０では、一日単位で７つの顔表情の割合（頻度）が示されている。なお、顔表情分布は図１０に示す態様に限定されず、例えば過去数日間の顔表情の割合を算出して配列してもよく、週単位又は月単位で顔表情の割合を算出してもよい。顔表情分布算出部１６により算出された顔表情分布は顔表情分布記憶部２５に格納される。
For example, as shown in FIG. 10, the facial expression
本発明の第２の実施形態に係る顔表情識別システムの他の構成は、本発明の第１の実施形態に係る顔表情識別システムの構成と同様であるので、重複した説明を省略する。 Since the other configuration of the facial expression identification system according to the second embodiment of the present invention is the same as the configuration of the facial expression identification system according to the first embodiment of the present invention, a duplicate description is omitted.
本発明の第２の実施形態に係る顔表情識別方法の一例を図１１のフローチャートに示す。ステップＳ３０〜ステップＳ３２の手順は、図７のステップＳ１０〜ステップＳ１２の手順と同様であるので重複した説明を省略する。ステップＳ３３において、時刻情報取得部１５が、顔表情識別部１１により顔表情を識別した時点の時刻情報を取得し、時刻情報記憶部２４に格納する。
An example of the facial expression identification method according to the second embodiment of the present invention is shown in the flowchart of FIG. The procedure from step S30 to step S32 is the same as the procedure from step S10 to step S12 in FIG. In step S <b> 33, the time
次に、本発明の第２の実施形態に係る顔表情分布表示方法の一例を図１２のフローチャートに示す。ステップＳ４１において、顔表情分布算出部１６が、出力装置６に入力画面を表示させる。ユーザから入力装置５を介して確認したいユーザ情報が入力される。ステップＳ４２において、顔表情分布算出部１６が、顔表情識別部１１にユーザ情報に適合した人物の一日当たりの顔表情分布を算出する。ステップＳ４３において、出力装置６が、顔表情分布算出部１６により算出された顔表情分布を出力する。なお、図１１及び図１２に示した一連の処理は連続して又は互いに並列で行ってもよい。
Next, an example of a facial expression distribution display method according to the second embodiment of the present invention is shown in the flowchart of FIG. In step S <b> 41, the facial expression
本発明の第２の実施形態によれば、本発明の第１の実施形態と同様に、装着型の検出装置４ａ〜４ｑを用いて人物の顔表情を識別することにより、安価且つ簡潔な構成で、継続的（日常的）に低消費電力で顔表情を識別することが実現可能となる。更に、検出装置４ａ〜４ｑは眼鏡用のフレームやＨＭＤの内部に取り付けることができるので、日常的な環境下や、ＨＭＤ装着時のように人物の顔が遮蔽される場合等のカメラでの撮像が難しい条件下においても、継続的且つ容易に顔表情を識別できる。したがって、ユーザに過大な負担をかけずに継続的にユーザの顔表情を識別して、顔表情分布を作成することができる。
According to the second embodiment of the present invention, as in the first embodiment of the present invention, the facial expression of a person is identified using the
更に、顔表情分布算出部１６が、顔表情識別部１１による識別結果と時刻情報取得部１５により取得された時刻情報とを関連付けた顔表情分布を算出して出力装置６に表示させることにより、ユーザは顔表情分布から遠隔地に居住又は滞在する家族等の人物の様子を推測することができ、遠隔地に居住又は滞在する家族等の人物をネットワーク経由で見守ることができる。
Further, the facial expression
なお、本発明の第１及び第２の実施形態において、装着装置３が眼鏡型のデバイスである場合を主に例示したが、例えば、図１３に示すように、装着装置３がバーチャルリアリティ環境において視覚情報を提示可能なＨＭＤであってもよい。図示を省略するが、装着装置３の内側には、例えば図２に示した検出装置４ａ〜４ｑと同様の１７個の検出装置と表示部とが設けられている。
In the first and second embodiments of the present invention, the case where the mounting
図１４に示すように、装着装置３の内側の表示部４０には、装着装置３を装着したユーザのバーチャルアバター４１と、装着装置３と同様の装着装置を装着した他者のバーチャルアバター４２とがオンラインサービス上で表示されている。顔表情識別部１１は、第１及び第２の実施形態と同様にユーザ及び他者の顔表情をそれぞれ識別する。顔表情識別部１１は更に、顔表情の識別結果をネットワーク上へ伝送し、伝送された顔表情の識別結果に応じて、バーチャルアバター４１，４２の顔表情をそれぞれ変化させることにより、ユーザ及び他者の顔表情とバーチャルアバター４１，４２の顔表情とをそれぞれ同期させることができる。これにより、没入型オンラインゲーム等においての表情コミュニケーションが実現可能となる。
As shown in FIG. 14, a
なお、装着装置３が眼鏡型のデバイス等である場合にも、顔表情識別部１１が顔表情の識別結果をネットワーク上へ伝送し、伝送された識別結果に応じて出力装置６の画面に表示されたオンラインサービス上のアバターの顔表情を変化させてもよい。
Even when the wearing
（第３の実施形態）
本発明の第３の実施形態に係る顔表情識別システムは、図１５に示すように、ＣＰＵ１、記憶装置２、装着装置３、入力装置５及び出力装置６を備える。ＣＰＵ１と、記憶装置２、装着装置３、入力装置５及び出力装置６とは、有線又は無線で信号やデータを互いに送受信可能である。(Third embodiment)
As shown in FIG. 15, the facial expression identification system according to the third embodiment of the present invention includes a
本発明の第３の実施形態では、装着装置３がＨＭＤである場合を例示する。ＨＭＤを用いたバーチャルリアリティ（ＶＲ）は、没入型ゲームや、遠隔地とのコミュニケーション等の幅広い用途での利用が期待されている。ＨＭＤを用いたＶＲでは、バーチャル環境にユーザが実際に存在するかのような没入感をユーザに与えることができる。更には、ユーザの分身としてのバーチャルアバター（以下、単に「アバター」と称する）を介してコミュニケーションを図ることにより、ＨＭＤでユーザの顔の上部が覆われている場合でも円滑なコミュニケーションを実現でき、プライバシーの観点からバーチャル環境に実際の顔が露出することを好まない人間にとっても好適である。
In the third embodiment of the present invention, a case where the mounting
ここで、アバターを用いた顔表情コミュニケーションを実現するために、ＨＭＤを装着しているユーザの顔表情を適切に識別し、ユーザの顔表情をアバターの顔画像に適切に反映させることが重要となる。なお、アバターとは、バーチャル環境においてユーザの分身となる２次元又は３次元のキャラクタを意味する。アバターは、人間の姿を模擬していてもよく、動物やロボットの姿を模擬していてもよいが、本明細書中ではユーザの複数種の顔表情に対応する複数種の顔表情を表現可能なキャラクタが採用可能である。 Here, in order to realize facial expression communication using an avatar, it is important to appropriately identify the facial expression of the user wearing the HMD and appropriately reflect the facial expression of the user in the facial image of the avatar. Become. An avatar means a two-dimensional or three-dimensional character that is a user's alternation in a virtual environment. An avatar may simulate a human figure or an animal or robot, but in this specification, it expresses multiple facial expressions corresponding to multiple facial expressions of the user. Possible characters can be employed.
装着装置３は、複数（１６個）の検出装置（光センサ）６１ａ，６１ｂ，６１ｃ，６１ｄ，６１ｅ，６１ｆ，６１ｇ，６１ｈ，６１ｉ，６１ｊ，６１ｋ，６１ｌ，６１ｍ，６１ｎ，６１ｏ，６１ｐ及び表示部６２を備える。光センサ６１ａ〜６１ｐは、図１に示した検出装置４ａ〜４ｑと同様の装置が使用可能であり、例えば反射型光センサ（フォトリフレクタ）等が使用可能である。光センサ６１ａ〜６１ｐは、装着装置３を装着したときにユーザの顔面と対向する複数箇所にそれぞれ配置されている。光センサ６１ａ〜６１ｐは、装着装置３を装着したユーザの顔面と装着装置３の間の距離を複数箇所で検出する。
The mounting
図１６は、頭部に装着する側から見た装着装置３の一例を示す。装着装置３の本体部７１にはフレキシブル回路基板７２が固定されている。フレキシブル回路基板７２のユーザの両目と対向する位置には２つの開口部が設けられ、２つの開口部の位置には一対のレンズ７３ａ，７３ｂが配置されている。フレキシブル回路基板７２には、１６個の光センサ６１ａ〜６１ｐが配置されている。このうち、１４個の光センサ６１ａ〜６１ｆ，６１ｈ〜６１ｎ，６１ｐは、一対のレンズ７３ａ，７３ｂの周囲に配置されている。
FIG. 16 shows an example of the mounting
具体的には、光センサ６１ａは、装着装置３を装着したユーザの眉間近傍と対向する。光センサ６１ｂ〜６１ｄは、ユーザの左眉近傍と対向する。光センサ６１ｅは、ユーザの左目尻近傍と対向する。光センサ６１ｆ，６１ｈは、ユーザの左目の下近傍と対向する。光センサ６１ｉは、ユーザの眉間近傍と対向する。光センサ６１ｊ〜６１ｌは、ユーザの右眉近傍と対向する。光センサ６１ｍは、ユーザの右目尻近傍と対向する。光センサ６１ｎ，６１ｐは、ユーザの右目の下近傍と対向する。
Specifically, the
フレキシブル回路基板７２は、本体部７１の下部に突出した２つの部分を有し、突出した２つの部分に２個の光センサ６１ｇ，６１ｏがそれぞれ配置されている。２個の光センサ６１ｇ，６１ｏは、装着装置３を装着したユーザの頬近傍と対向する。頬の筋肉は口の筋肉と連結されているので、頬の動きを測定することで口周辺の状態を推定することができる。
The
図１７は、ユーザが装着装置３を装着した様子を示す。図１７では模式的に、装着装置３の本体部７１を透過して光センサ６１ａ〜６１ｐが見えるように示している。光センサ６１ａ〜６１ｐは、ユーザの目や頬等の顔面と、装着装置３との間の距離Ｄ（矢印で図示）を複数箇所で検出する。なお、光センサ６１ａ〜６１ｐの配置位置や数は特に限定されず、識別したい顔表情の種類等に応じて適宜設定可能である。
FIG. 17 shows the user wearing the mounting
図１５に示した表示部６２は、図１６に示した本体部７１のレンズ７３ａ，７３ｂの奥側に配置されている。本発明の第３の実施形態では、表示部６２として没入型（非透過型）の構造を例示するが、ハーフミラー等を用いて現実環境とアバターが重畳して視認可能な透過型の構造であってもよく、単眼のみに画像を投影する構造であってもよい。
The
図１５に示したＣＰＵ１は、アバター表示制御部３１、学習データ生成部３２及び顔表情識別部３３を備え、更に、顔表情識別システム全体を制御する制御回路、演算回路、データを一時記憶するレジスタ等を有する。なお、ＣＰＵ１の機能の一部が他の装置により実現されてもよく、ＣＰＵ１の機能の一部又は全部が、装着装置３に内蔵されたマイクロプロセッサ等で実現されてもよい。
The
記憶装置２は、アバターデータ記憶部５０、学習データ記憶部５１、光センサデータ記憶部５２及び識別結果記憶部５３を備える。アバターデータ記憶部５０は、アバターの顔画像を含むアバターに関する情報を記憶する。学習データ記憶部５１は、学習データ生成部３２により生成される機械学習用のデータセットや、顔表情識別部３３が機械学習して得られる学習データ（識別関数等）を記憶する。光センサデータ記憶部５２は、光センサ６１ａ〜６１ｐにより検出された検出結果のデータ（センサ値）を記憶する。識別結果記憶部５３は、顔表情識別部３３による顔表情の識別結果を記憶する。記憶装置２は更に、ＣＰＵ１が実行する顔表情識別プログラムやプログラムの実行に必要な各種データを記憶する。記憶装置２が記憶する全部又は一部の情報が、装着装置３に内蔵されたメモリに記憶されていてもよい。
The
本発明の第３の実施形態においては、機械学習用のデータセットの生成方法を含む機械学習方法（学習フェーズ）と、機械学習により得られた学習データを用いた顔表情識方法（識別フェーズ）について説明するが、学習フェーズ及び識別フェーズで同一のアバターを使用してもよく、異なるアバターを使用してもよい。アバターデータ記憶部５０は、学習フェーズ及び識別フェーズで使用する単数又は複数のアバターに関する情報を格納する。
In the third embodiment of the present invention, a machine learning method (learning phase) including a method for generating a data set for machine learning, and a facial expression recognition method (identification phase) using learning data obtained by machine learning. Although the same avatar may be used in the learning phase and the identification phase, different avatars may be used. The avatar
アバターデータ記憶部５０は、アバターの複数種の顔表情（顔画像）のデータを記憶している。アバターの顔画像は、例えば図４に模式的に示したように、「無表情」、「微笑み」、「笑い」、「嫌悪」、「怒り」、「驚き」、「悲しみ」等の人間の顔表情を模擬している。アバターの種類にもよるが、例えば、「無表情」は口を横に結ぶことで、「微笑み」は口角を持ち上げることで、「笑い」は目を細めて口を開くことでそれぞれ表現し得る。「嫌悪」は眉間に皺を寄せて目尻を上げることで、「怒り」は「嫌悪」よりも更に眉間に皺を寄せ、眉尻を上げることでそれぞれ表現し得る。「驚き」は目を見開いて口を開くことで、「悲しみ」は眉尻を下げることでそれぞれ表現し得る。アバターデータ記憶部５は更に、眉の上下、両目又は固めの開閉、口の開閉等の部分的に変化させた顔画像のデータを記憶していてもよい。アバターデータ記憶部５０に記憶されるアバターの顔画像の数及び種類は特に限定されない。
The avatar
アバター表示制御部３１は、学習フェーズにおいて、入力装置５を介して入力された指示情報等に基づいて、アバターデータ記憶部５０に格納されたアバターの複数の顔画像のデータから、機械学習によって識別したい顔表情に対応するアバターの顔画像のデータを抽出する。アバター表示制御部３１は、図１８（ａ）に示すように、抽出した顔表情のアバター１００の画像を表示するように装着装置３の表示部６２を制御する。図１８（ａ）ではアバター１００の顔画像が「笑い」である場合を例示する。
In the learning phase, the avatar
アバター表示制御部３１は、アバターデータ記憶部５０に格納されたアバターの複数の顔画像のデータから、機械学習によって識別したい顔表情に対応するアバターの顔画像のデータを順次抽出し、図１８（ｂ）に示すように、表示部６２に表示されるアバター１００の顔画像を、抽出した顔画像に順次更新していく。図１８（ｂ）ではアバター１００の顔画像が「微笑み」である場合を例示する。アバター１００の顔画像を更新するタイミングは適宜設定可能である。例えば、所定の時間が経過後のタイミングや、光センサ６１ａ〜６１ｐにより所定のフレーム数を検出後のタイミング、ユーザから入力装置５を介して入力された指示情報に応じたタイミング等であってもよい。
The avatar
アバター表示制御部３１は、アバター１００の顔画像の表示前、表示後、又は表示と同時に、図１８（ａ）及び図１８（ｂ）に示すように、「アバターの顔画像を真似て下さい」等の文字情報を表示部６２に表示させ、ユーザにアバター１００の表情を真似るように促す。表示部６２に文字情報を表示する代わりに、装着装置３に取り付けられている図示を省略したヘッドフォンやスピーカ等による音声情報を使用してもよい。なお、アバター表示制御部３１は、ユーザにアバター１００の表情を真似るように継続的又は断続的に促してもよいが、アバター１００の顔画像を最初に表示する際に、ユーザにアバター１００の表情を真似るように促した後は、文字情報や音声情報の提示を停止してもよい。また、アバターの顔画像に対応する文字情報や音声情報を補助的に提示してもよい。例えば、アバターの顔画像が「笑い」の場合には、「笑って下さい」等の文字情報や音声情報を補助的に提示してもよい。
As shown in FIGS. 18A and 18B, the avatar
光センサ６１ａ〜６１ｐは、装着装置３を装着したユーザがアバターの顔画像を真似したときの顔面と装着装置３の間の距離を所定のフレーム数検出する。アバター表示制御部３１がユーザにアバターの顔画像を真似るように促してから、或いは表示部６２にアバターを表示してから、ユーザがアバターの顔画像の種類を認識し、ユーザの顔表情がアバターの顔画像に対応する顔表情に変化するまでにはタイムラグが発生する。このため、光センサ６１ａ〜６１ｐは、ユーザにアバターの顔画像を真似るように促してから、或いは表示部６２にアバターを表示してから所定時間経過後に検出のタイミングや、入力装置５を介して入力された指示情報に応じたタイミングで検出を開始してもよい。
The
光センサ６１ａ〜６１ｐにより検出される検出結果のデータ（センサ値）は、同一の顔表情をした場合でも個人差があるため、個人間で平衡をとるように前処理（キャリブレーション）が行われる。例えば、顔表情が「無表情」のときに検出されたセンサ値の平均値を０．５、複数種の顔表情のときに検出されたセンサ値のうちのそれぞれにおいて最大値を１、最小値を０として正規化を行う。センサ値は、例えば図１９に示すように、距離とセンサ値が線形的関係を実現するように線形補完される。
Since the detection result data (sensor values) detected by the
学習データ生成部３２は、学習フェーズにおいて、光センサ６１ａ〜６１ｐからのセンサ値を入力データとして、機械学習用のデータセットを生成する。例えば、学習データ生成部３２は、光センサ６１ａ〜６１ｐからのセンサ値を顔表情毎の部分集合（クラスタ）に分類するクラスタリング処理を行う。
In the learning phase, the learning
学習データ生成部３２は更に、分類されたクラスタに、アバター表示制御部３１により抽出され、センサ値を検出するときに表示部６２に表示していたアバターの顔画像の種類（例えば「微笑み」、「悲しみ」等）に対応するラベルを付与するラベリング処理を行い、ラベルを付与されたクラスタを機械学習用のデータセット（サンプリング結果）として学習データ記憶部５１に格納する。このように、機械学習用のデータセットが生成され、これを個人毎に学習データ記憶部５１に格納していくことで、顔表情認識のための学習データベースを構築することができる。
The learning
顔表情識別部３３は、学習フェーズにおいて、学習データ記憶部５１に格納された機械学習用のデータセットを入力データとして、ニューラルネットワークやサポートベクタマシン等により、装着装置３を装着したユーザの顔表情を識別するための機械学習を行う。顔表情識別部３３は、例えば図２０に模式的に示すように、入力層Ｌ１１、隠れ層Ｌ１２及び出力層Ｌ１３を含む多層パーセプトロンで構成されたニューラルネットワークを用いて、誤差伝播法（ＢＰ）により機械学習を行う。
In the learning phase, the facial
図２０に示したニューラルネットワークにおいて、マルチクラス分類問題であるため、例えば活性化関数には正規化線形関数を採用し、誤差関数には交差エントロピー法を採用し、出力層Ｌ３の活性化関数にはソフトマックス（softmax）関数を採用する。この場合、ニューラルネットワークは、入力層Ｌ１１に入力された顔表情と、この顔表情に対応する教師信号が付与された複数の訓練した表情のそれぞれとの類似度を出力層Ｌ１３から出力し、類似度が最も高い顔表情を識別結果とする。誤差逆伝播法（ＢＰ）では、出力層Ｌ１３から出力される各テンプレート表情に対する類似度のうち、正解の表情に対する類似度が高くなるように（換言すれば、正解の表情に対する類似度の最大値との誤差が小さくなるように）、出力層Ｌ１３から入力層Ｌ１１にかけて、誤差の勾配を逆伝播させることで重みを修正する。 Since the neural network shown in FIG. 20 is a multi-class classification problem, for example, a normalized linear function is adopted as the activation function, a cross-entropy method is adopted as the error function, and the activation function of the output layer L3 is adopted. Adopts the softmax function. In this case, the neural network outputs, from the output layer L13, the similarity between the facial expression input to the input layer L11 and each of a plurality of trained facial expressions to which a teacher signal corresponding to the facial expression is assigned. The facial expression with the highest degree is taken as the identification result. In the error back propagation method (BP), among the similarities to the template facial expressions output from the output layer L13, the similarity to the correct facial expression is increased (in other words, the maximum value of the similarity to the correct facial expression). The weight is corrected by back-propagating the error gradient from the output layer L13 to the input layer L11.
また、人間の顔表情は、例えば「無表情」から「笑い」に瞬間的に変化するのではなく、「無表情」から「笑い」に遷移する途中に中間表情が存在し、徐々に連続的に（滑らかに）変化するものである。この顔表情の連続的な変化の識別と、識別結果に応じたアバターの顔表情の連続的な変化を実現するため、顔表情識別部３３は、図２１に示すように、入力層Ｌ２１、隠れ層Ｌ２２、出力層Ｌ２３で構成された回帰ニューラルネットワークを実装してもよい。
In addition, for example, human facial expressions do not change instantaneously from “no expression” to “laughter”, but an intermediate expression exists during the transition from “no expression” to “laughter”, and gradually (Smoothly). In order to realize the continuous change of the facial expression and the continuous change of the facial expression of the avatar according to the identification result, the facial
図２１に示した回帰ニューラルネットワークにおいて、例えば活性化関数には正規化線形関数を採用し、誤差関数には平均二乗関数を採用し、出力層Ｌ２３の活性化関数には双曲線タンジェント（hyperbolic tangent）関数を採用する。図２１に示すように、例えば顔表情が「笑い」の回帰ニューラルネットワークの場合には、「無表情」に対する類似度を最小値の０、「笑い」に対する類似度を最大値の１と設定する。図２１に示した回帰ニューラルネットワークと同様の回帰ニューラルネットワークが、識別したい顔表情数だけ実装され、図２０に示したニューラルネットワークのマルチクラス分類の結果に依存するように使用される。 In the regression neural network shown in FIG. 21, for example, a normalized linear function is adopted as the activation function, a mean square function is adopted as the error function, and a hyperbolic tangent is used as the activation function of the output layer L23. Adopt a function. As shown in FIG. 21, for example, in the case of a regression neural network whose facial expression is “laughter”, the similarity to “no expression” is set to 0 as the minimum value, and the similarity to “laughter” is set to 1 as the maximum value. . A regression neural network similar to the regression neural network shown in FIG. 21 is implemented for the number of facial expressions to be identified, and is used depending on the result of the multi-class classification of the neural network shown in FIG.
アバターデータ記憶部５０は、「無表情」や「笑い」等の代表的な顔表情間の中間表情を記憶していてもよい。中間表情は、例えばアバターのテクスチャ・ジオメトリのモーフィングにより生成可能である。アバター表示制御部３１は、学習フェーズにおいて、アバター１００の顔画像のデータから、「無表情」や「笑い」等の代表的な顔表情と、その顔表情間の中間表情を抽出する。そして、アバター表示制御部３１は、抽出した代表的な顔表情及びその中間表情を連続的に装着装置３の表示部６２に表示する。これにより、中間表情も識別するための機械学習用のデータセットを生成可能となる。
The avatar
顔表情識別部３３は、識別フェーズにおいて、図２２に示すように、学習データであるマルチクラス分類器８０を用いて、光センサ６１ａ〜６１ｐからのセンサ値を入力データとして、装着装置３を装着したユーザの顔表情を識別する。顔表情識別部３３は、例えば、訓練した複数種のテンプレート表情に対する類似度を算出し、類似度が最も高い表情を顔表情として識別する。例えば、図２２に示すように、訓練した表情として「微笑み」、「怒り」、「驚き」、「悲しみ」の４種類があり、「微笑み」に対する類似度が０．８、「怒り」に対する類似度が０．２、「驚き」に対する類似度が０．１、「悲しみ」に対する類似度が０．１といった類似度として識別する。
In the identification phase, as shown in FIG. 22, the facial
顔表情識別部３３は更に、図２２に示すように、学習データである「微笑み」、「怒り」、「驚き」、「悲しみ」の回帰ネットワーク８１〜８４を用いて、光センサ６１ａ〜６１ｐからのセンサ値を入力データとして、装着装置３を装着したユーザの中間表情を識別してもよい。
Further, as shown in FIG. 22, the facial
アバター表示制御部３１は、識別フェーズにおいて、顔表情識別部３３による識別結果に基づいて、アバターデータ記憶部５０から、ユーザの顔表情に対応するアバターの顔画像のデータを抽出する。アバター表示制御部３１は更に、抽出したアバターの顔画像のデータを伝送し、装着装置３の表示部６２、ディスプレイ等の出力装置６、或いは通信ネットワークを介した通信相手が装着している装着装置の表示部等に表示させる。例えば、装着装置３の表示部６２に、図１４に示した表示画像と同様に、ユーザ本人のアバターの顔画像と通信相手のアバターの顔画像が表示される。
In the identification phase, the avatar
アバター表示制御部３１は、コミュニケーション相手がコンピュータである場合には、ユーザの顔表情に対応したアバターの顔画像を表示する代わりに、ユーザの顔表情の識別結果に応じた他の表示をしてもよい。例えば、ユーザの顔表情が「怒り」と識別された場合に、「驚き」や「不安」を模擬した顔画像のキャラクタを装着装置３の表示部６２に表示したり、「どうしましたか？」、「大丈夫ですか？」等の文字情報や音声情報を提示したりしてもよい。
When the communication partner is a computer, the avatar
本発明の第３の実施形態に係る顔表情識別システムの他の構成は、図１に示した第１の実施形態に係る顔表情識別システムと同様であるので、重複した説明を省略する。 The other configuration of the facial expression identification system according to the third embodiment of the present invention is the same as that of the facial expression identification system according to the first embodiment shown in FIG.
＜機械学習方法＞
次に、図２３のフローチャートを参照しながら、本発明の第３の実施形態に係る顔表情識別システムを用いた機械学習方法（学習フェーズ）の一例を説明する。<Machine learning method>
Next, an example of a machine learning method (learning phase) using the facial expression identification system according to the third embodiment of the present invention will be described with reference to the flowchart of FIG.
ステップＳ５１において、アバター表示制御部３１は、入力装置５を介して入力された指示情報等に基づいて、アバターデータ記憶部５０から、機械学習によって識別したい顔表情に対応するアバターの顔画像のデータを抽出する。そして、アバター表示制御部３１は、抽出した顔表情のアバターを装着装置の表示部６２に表示させるとともに、装着装置３を装着したユーザにアバターの顔画像を真似るように促す。ステップＳ５２において、光センサ６１ａ〜６１ｐが、装着装置３を装着したユーザがアバターの顔画像を真似したときのセンサ値を取得する。
In step S51, the avatar
ステップＳ５３において、アバター表示制御部３１は、機械学習によって識別したい所定の顔表情数についてのセンサ値を取得したか否かを判定する。所定の顔表情数のセンサ値を取得していないと判定された場合、ステップＳ５０に戻り、残りの顔表情について同様の処理を繰り返す。例えば、５種類の顔表情について、１００フレームずつ、１０セットで合計５０００セットのデータセットを取得する。ステップＳ５３において所定の顔表情数のセンサ値を取得したと判定された場合、ステップＳ５４に移行する。
In step S53, the avatar
ステップＳ５４において、学習データ生成部３２が、光センサ６１ａ〜６１ｐのセンサ値を顔表情毎のクラスタに分類する。ステップＳ５５において、学習データ生成部３２が、分類されたクラスタに、アバター表示制御部３１により生成されたアバターの顔画像に対応するラベルを付与することにより、機械学習用のデータセットを生成する。学習データ生成部３２が、生成した機械学習用のデータセットを学習データ記憶部５１に格納する。ステップＳ５５において、顔表情識別部３３は、学習データ記憶部５１に格納された機械学習用のデータセットを用いて、顔表情を識別するための機械学習を行う。
In step S54, the learning
＜顔表情識別方法＞
次に、図２４のフローチャートを参照しながら、本発明の第３の実施形態に係る顔表情識別方法（識別フェーズ）の一例を説明する。<Facial expression identification method>
Next, an example of a facial expression identification method (identification phase) according to the third embodiment of the present invention will be described with reference to the flowchart of FIG.
ステップＳ６１において、装着装置３がユーザの頭部に装着されている状態で、光センサ６１ａ〜６１ｐがセンサ値を取得する。ステップＳ６２において、顔表情識別部３３は、光センサ６１ａ〜６１ｐからのセンサ値を入力データとして、学習データ記憶部５１に格納された学習データを読み込んで、装着装置３を装着したユーザの顔表情を識別する。
In step S61, the
ステップＳ６３において、アバター表示制御部３１は、顔表情識別部３３による識別結果に基づいて、装着装置３を装着したユーザの顔表情に対応するアバターの顔画像のデータをアバターデータ記憶部５０から抽出する。アバター表示制御部３１は、抽出したアバターの顔画像を、装着装置３の表示部６２や、通信相手の装着装置の表示部等に表示させる。
In step S <b> 63, the avatar
＜実験例＞
学習フェーズにおいて、装着装置３の表示部６２に４種類のアバターの顔画像を周期的に表示し、装着装置３を装着したユーザがアバターの顔画像を真似たときに光センサ６１ａ〜６１ｐがセンサ情報を１００フレームずつ取得した。図２５は、得られた光センサ６１ａ〜６１ｐのセンサ値に対して主成分分析による第１主成分の算出結果を示す。<Experimental example>
In the learning phase, four types of avatar face images are periodically displayed on the
図２６（ａ）〜図２６（ｃ）は、眉を動かした場合のセンサ値の変化を示す。図２６（ａ）〜図２６（ｃ）の左側は、眉を上げた状態、眉が通常の状態、眉を下げた状態をそれぞれ模式的に示し、図２６（ａ）〜図２６（ｃ）の右側には、各状態のときのセンサ値を示す。図２６（ａ）〜図２６（ｃ）の右側のグラフの縦軸はセンサ値の平均正規化値を示し、横軸のセンサ番号は、図１５〜図１７に示した光センサ６１ａ〜６１ｐに順次対応する（例えば、センサ番号の１番が光センサ６１ａに対応する。以降の図２７（ａ）〜図２７（ｃ）、図２９（ａ）〜図２９（ｃ）、図３０（ａ）及び図３０（ｂ）も同様である。）。但し、２番のセンサ値はデータが欠落している。図２６（ａ）〜図２６（ｃ）に示すように、３番や１２番等の眉の位置に近いセンサ値は各状態で大きく変動しており、眉の動きが反映されていることが分かる。一方、６番や１４番等の眉の位置と離れたセンサ値は変動が少ないことが分かる。
Fig.26 (a)-FIG.26 (c) show the change of the sensor value at the time of moving an eyebrow. The left side of FIGS. 26 (a) to 26 (c) schematically shows a state where the eyebrows are raised, a state where the eyebrows are normal, and a state where the eyebrows are lowered, and FIGS. 26 (a) to 26 (c). The sensor value in each state is shown on the right side of. The vertical axis of the graphs on the right side of FIGS. 26A to 26C indicates the average normalized value of the sensor values, and the sensor numbers on the horizontal axis are the
図２７（ａ）〜図２７（ｃ）は、目を開閉した場合のセンサ値の変化を示す。図２７（ａ）〜図２７（ｃ）の左側は、右目だけ閉じた状態、左目だけ閉じた状態、両目を閉じた（強くつぶった）状態をそれぞれ模式的に示し、図２７（ａ）〜図２７（ｃ）の右側には、各状態のときのセンサ値を示す。図２７（ａ）に示すように、右目だけ閉じた状態では右目部分にある１２番のセンサ値が他に比べて変動していることが分かる。また、図２７（ｂ）に示すように、左目だけ閉じた状態では３，４，５番のセンサ値が他に比べて変動していることが分かる。また、図２７（ｃ）に示すように、両目を閉じた状態では、１番や９番のセンサ値が変動していることが分かる。 Fig.27 (a)-FIG.27 (c) show the change of the sensor value at the time of opening and closing eyes. 27A to 27C schematically show a state in which only the right eye is closed, a state in which only the left eye is closed, and a state in which both eyes are closed (strongly crushed), respectively. The right side of FIG. 27 (c) shows the sensor value in each state. As shown in FIG. 27A, it can be seen that the sensor value of No. 12 in the right eye portion fluctuates compared to the other when only the right eye is closed. Further, as shown in FIG. 27 (b), it can be seen that the sensor values of Nos. 3, 4, and 5 fluctuate compared to the other when only the left eye is closed. Further, as shown in FIG. 27C, it can be seen that the sensor values of No. 1 and No. 9 fluctuate when both eyes are closed.
図２８（ａ）には、図２７（ａ）〜図２７（ｃ）の各状態に通常状態（両目を開けた状態）を加えたクラスタの分類結果を示し、図２８（ｂ）には、図２８（ａ）に対応する真値を示す。図２８（ａ）及び図２８（ｂ）に示すように、目の開閉については、通常状態、右目だけ閉じた状態、左目だけ閉じた状態、両目を閉じた状態でそれぞれ、大部分のデータを正しいクラスに分類できていることが分かる。 FIG. 28A shows a cluster classification result obtained by adding a normal state (a state where both eyes are opened) to each state of FIGS. 27A to 27C, and FIG. The true value corresponding to FIG. As shown in FIG. 28 (a) and FIG. 28 (b), regarding the opening and closing of the eyes, most of the data is obtained in the normal state, the state in which only the right eye is closed, the state in which only the left eye is closed, and the state in which both eyes are closed. You can see that it is classified into the correct class.
図２９（ａ）〜図２９（ｃ）、図３０（ａ）及び図３０（ｂ）は、口の動きを変化させた場合のセンサ値を示す。図２９（ａ）〜図２９（ｃ）、図３０（ａ）及び図３０（ｂ）の左側は、ユーザの口を「ア」「イ」「ウ」「エ」「オ」を発声するときの形に変化させた状態をそれぞれ模式的に示し、図２９（ａ）〜図２９（ｃ）、図３０（ａ）及び図３０（ｂ）の右側には、各状態のときのセンサ値を示す。図２９（ａ）〜図２９（ｃ）、図３０（ａ）及び図３０（ｂ）に示すように、７番目及び１５番目の頬の位置に近いセンサ値が変動していることが分かる。 29 (a) to 29 (c), 30 (a), and 30 (b) show sensor values when the movement of the mouth is changed. 29 (a) to 29 (c), FIG. 30 (a), and FIG. 30 (b) are when the user's mouth utters “a”, “b”, “c”, “e”, and “o”. FIG. 29 (a) to FIG. 29 (c), FIG. 30 (a) and FIG. 30 (b) show sensor values in each state. Show. As shown in FIGS. 29 (a) to 29 (c), 30 (a), and 30 (b), it can be seen that the sensor values near the positions of the seventh and fifteenth cheeks fluctuate.
図３１（ａ）には、図２９（ａ）〜図２９（ｃ）、図３０（ａ）及び図３０（ｂ）の各状態のクラスタの分類結果を示し、図３１（ｂ）には、図３１（ａ）に対応する真値を示す。図３１（ａ）及び図３１（ｂ）に示すように、「エ」、「オ」等を中心に混ざってしまったが、「ウ」の口の動きだけが他の動きに比べてクラス間距離が離れており、良好に分類できていることが分かる。また、「ア」及び「イ」の状態、「エ」の状態、「ウ」及び「オ」の状態の３つのクラスタに分類可能であることが分かる。 FIG. 31 (a) shows the cluster classification results for each state of FIG. 29 (a) to FIG. 29 (c), FIG. 30 (a), and FIG. 30 (b). The true value corresponding to FIG. As shown in Fig. 31 (a) and Fig. 31 (b), "D", "O" etc. have been mixed, but only the movement of the mouth of "U" is between classes compared to other movements. It can be seen that the distance is far and it can be classified well. In addition, it can be classified into three clusters of “A” and “I”, “D”, “U” and “O”.
図３２（ａ）は、「無表情」、「微笑み」、「怒り」、「驚き」、「悲しみ」の５種類の顔表情の分類ネットワークの訓練データを示し、図３２（ｂ）は、主成分分析による第１主成分を示し、図３２（ｃ）は、主成分分析による第２主成分を示す。図３２（ａ）〜図３２（ｃ）から、ユーザがアバターの顔画像を真似したときに、センサ値が変化していることが分かる。 FIG. 32A shows training data of a classification network of five facial expressions of “no expression”, “smile”, “anger”, “surprise”, and “sadness”, and FIG. The first principal component by component analysis is shown, and FIG. 32C shows the second principal component by principal component analysis. It can be seen from FIGS. 32A to 32C that the sensor value changes when the user imitates the face image of the avatar.
図３３（ａ）は、「微笑み」、「怒り」、「驚き」、「悲しみ」の４種類の顔表情を徐々に変化させたときの回帰ネットワークの訓練データを示し、図３３（ｂ）は、主成分分析による第１主成分を示す。図３４（ａ）は、ターゲットとする顔表情を示し、図３４（ｂ）は、マルチクラス分類の結果を示す。図３５（ａ）〜図３５（ｄ）は、図３４（ｂ）に示したマルチクラス分類をマージした、「微笑み」、「怒り」、「驚き」、「悲しみ」の回帰結果をそれぞれ示す。図３５（ａ）〜図３５（ｄ）から、各回帰の出力が線形に変化していることが分かる。 FIG. 33A shows training data of the regression network when the four types of facial expressions of “smile”, “anger”, “surprise”, and “sadness” are gradually changed, and FIG. The first principal component by principal component analysis is shown. FIG. 34A shows the target facial expression, and FIG. 34B shows the result of multi-class classification. FIG. 35A to FIG. 35D show the regression results of “smile”, “anger”, “surprise”, and “sadness”, respectively, by merging the multi-class classifications shown in FIG. From FIG. 35A to FIG. 35D, it can be seen that the output of each regression changes linearly.
以上説明したように、本発明の第３の実施形態によれば、学習フェーズにおいて、装着装置３の表示部６２にアバターを表示し、表示したアバターの表情をユーザが真似したときの光センサ６１ａ〜６１ｐからのセンサ値から機械学習用のデータセットを生成することにより、機械学習用のデータセットを短時間で効率的に収集することができる。この際、ユーザはアバターの顔画像を真似すればよいので、アバターの表情を直感的に把握して真似ることができ、音声情報で顔表情を指示する場合よりもユーザの負担を低減することができる。更に、表示したアバターの顔画像の時系列を考慮して記録したデータに対して、ラベリングを行ない機械学習のための訓練データとするが、提示しているアバターとユーザの顔表情の間に時間的なずれが発生することがある。これに対して、クラスタリングよる分類又は推定モデルを参照することで時間的なずれを補正してラベリングを行うことができる。
As described above, according to the third embodiment of the present invention, in the learning phase, the avatar is displayed on the
更に、識別フェーズにおいて、ユーザの顔表情の識別結果に基づいてアバターの顔画像を変化させる際に、学習フェーズでユーザが真似したアバターと同一又は類似のアバターを使用すれば、例えば口の開閉の程度や、眉の上下の程度等の部位の細かい動きについてもユーザが想定するようにアバターの顔画像を適切に変化させることができ、ユーザの感情をより鮮明に表現することができる。 Further, when the avatar face image is changed based on the identification result of the facial expression of the user in the identification phase, if an avatar identical or similar to the avatar imitated by the user is used in the learning phase, for example, opening and closing of the mouth The face image of the avatar can be appropriately changed so as to assume the user's fine movement of the part such as the degree and the upper and lower parts of the eyebrows, and the emotion of the user can be expressed more clearly.
（第４の実施形態）
本発明の第４の実施形態に係る顔表情識別システムは、図３６に示すように、装着装置３がずれセンサ６３を更に備える点と、ＣＰＵ１がずれ量算出部３４及び修正提示部３５を更に備える点と、記憶装置２がずれデータ記憶部５５を更に備える点が、図１５に示した第３の実施形態に係る顔表情識別システムと異なる。他の構成は図１５に示した第３の実施形態に係る顔表情識別システムと同様であるので、重複した説明を省略する。(Fourth embodiment)
In the facial expression identification system according to the fourth embodiment of the present invention, as shown in FIG. 36, the mounting
ずれセンサ６３としては、変位センサや測長センサが使用可能である。ずれセンサ６３は、装着装置３の光センサ６１ａ〜６１ｐとは異なる位置に配置されている。ずれセンサ６３は１つのみ配置されていてもよく、複数個配置されていてもよい。ずれセンサ６３は、装着位置３を装着したユーザの目等のランドマークに基づいて、装着位置３を正常に装着したときの位置を基準位置として、基準位置に対する前後方向、上下方向、左右方向の少なくとも１方向のずれを検出する。ずれセンサ６３による検出結果はずれデータ記憶部５５に格納される。なお、ずれセンサ６３を個別に備えていなくても、顔表情検出のための距離検出に使用している光センサ６１ａ〜６１ｐのセンサ値をずれの検出に用いることもできる。
As the
ずれ量算出部３４は、ずれセンサ６３による検出結果又は光センサ６１ａ〜６１ｐのセンサ値の分布から、基準位置に対するずれ量及びずれ方向を検出する。例えば、図３７は、装着装置３を前後方向のずらしたときの種々の顔表情に対する光センサ６１ａ〜６１ｐのセンサ値の変化を示すグラフである。レベル１〜４でずれ量を変化させており、レベルの数値が高いほど装着装置３と人物の顔面との距離が遠くにずれている。ずれ量算出部３４は、図３７に示した光センサ６１ａ〜６１ｐのセンサ値の一部を用いて、回帰により、図３８に示すように装着装置３の前後方向のずれ量を算出する。
The deviation
図３９（ａ）〜図４２（ｂ）は、図３７に示した種々の顔表情に対するセンサ値の変化を、顔表情毎に分けたグラフである。図３９（ａ）は「無表情」、図３９（ｂ）は「喜び」、図４０（ａ）は「嫌悪」、図４０（ｂ）は「怒り」、図４１（ａ）は「驚き」、図４１（ｂ）は「恐怖」、図４２（ａ）は「悲しみ」、図４２（ｂ）は「軽蔑」に対するセンサ値の変化をそれぞれ示す。図３９（ａ）〜図４２（ｂ）に示すように、レベルの数値が高く装着装置３と人物の顔面との距離が遠いほど、センサ値は全体的に低下する傾向がある。
FIG. 39A to FIG. 42B are graphs in which changes in sensor values for the various facial expressions shown in FIG. 37 are divided for each facial expression. 39 (a) is “no expression”, FIG. 39 (b) is “joy”, FIG. 40 (a) is “disgust”, FIG. 40 (b) is “anger”, and FIG. 41 (a) is “surprise”. 41 (b) shows the change in sensor value for “fear”, FIG. 42 (a) shows “sadness”, and FIG. 42 (b) shows the change in sensor value for “contempt”. As shown in FIGS. 39A to 42B, the sensor value tends to decrease as the numerical value of the level is higher and the distance between the wearing
修正提示部３５は、ずれ量算出部３４により算出されたずれ量が所定の閾値以上の場合に、装着装置３を装着したユーザにずれの修正内容を提示し、ずれを修正するようにユーザに促す。所定の閾値は適宜設定可能であり、ずれデータ記憶部５５に予め格納されていてもよい。修正提示部３５は、ユーザにずれの修正内容を提示する際には、例えば「装着装置が右上方向にずれています」、「装着装置を左下方向に修正して下さい」等の修正方向を示す文字情報や、矢印等の修正方向を示す画像を表示部６２に表示してもよい。また、文字情報や画像の代わりに、音声情報を出力してもよく、或いは装着装置３のずれの修正方向が直感的に分かるように振動等でユーザの触覚に対して提示してもよい。
When the deviation amount calculated by the deviation
本発明の第４の実施形態に係る顔表情識別システムを用いた機械学習方法の一例は、図２３に示した本発明の第３の実施形態に係る機械学習方法と基本的には同様とし、ステップＳ５２において、光センサ６１ａ〜６１ｐによる検出と同時に、ずれセンサ６３がずれを検出する。また、ステップＳ５５において、学習データ生成部３２は、光センサ６１ａ〜６１ｐによるセンサ値に対して、顔表情及びずれに対応するラベルを付与することにより機械学習用のデータセットを生成する。ずれに対応するラベルの情報は、例えば入力装置５を介して入力されてもよい。
An example of the machine learning method using the facial expression identification system according to the fourth embodiment of the present invention is basically the same as the machine learning method according to the third embodiment of the present invention shown in FIG. In step S52, the
次に、図４３のフローチャートを参照しながら、本発明の第４の実施形態に係る顔表情識別方法の一例を説明する。 Next, an example of a facial expression identification method according to the fourth embodiment of the present invention will be described with reference to the flowchart of FIG.
ステップＳ７１において、光センサ６１ａ〜６１ｐが、装着装置３を装着したユーザの顔面と装着装置３の間の距離を検出する。ステップＳ７２において、ずれセンサ６３がずれを検出する。ずれ量算出部３４が、ずれセンサ６３の検出結果に基づいて、ずれ量及びずれ方向を算出する。ステップＳ７３において、修正提示部３５は、ずれ量算出部３４により算出されたずれ量が所定の閾値以上か否かを判定する。ずれ量が所定の閾値以上の場合に、ステップＳ７４に移行して、修正提示部３５は、ずれを修正するようにユーザに修正内容を提示する。
In step S <b> 71, the
一方、ステップＳ７３において、ずれ量が所定の閾値未満の場合には、ステップＳ７６に移行し、顔表情識別部３３は、ずれに応じたラベルが付与された学習データを選択し、選択した学習データを用いてユーザの顔表情を識別する。ステップＳ７６において、アバター表示制御部１１が、顔表情識別部３３による識別結果に基づいて、アバターの顔画像を抽出し、抽出した顔表情のアバターを装着装置３の表示部６２等に表示する。
On the other hand, if the amount of deviation is less than the predetermined threshold value in step S73, the process proceeds to step S76, where the facial
以上説明したように、本発明の第４の実施形態によれば、装着装置３を装着したときのずれを検出して、ずれに応じたラベルが付与された学習データを選択することにより、顔表情を適切に識別することができる。また、装着装置３を装着したときのずれを検出して、ユーザに対してずれを修正するように促すことにより、装着装置３のずれを適切に修正することができる。
As described above, according to the fourth embodiment of the present invention, the face is detected by detecting the shift when the mounting
（第５の実施形態）
本発明の第５の実施形態に係る顔表情識別システムは、図４４に示すように、装着装置３が血流センサ６４を更に備える点と、記憶装置２が血流データ記憶部５６を更に備える点が、図１５に示した第３の実施形態に係る顔表情識別システムと異なる。他の構成は図１５に示した第３の実施形態に係る顔表情識別システムと同様であるので、重複した説明を省略する。(Fifth embodiment)
In the facial expression identification system according to the fifth embodiment of the present invention, as shown in FIG. 44, the mounting
血流センサ６４は、装着装置３を装着したユーザの血流量を検出する。血流センサ６４は、多波長の光を発光する光源と、多波長の反射光の光強度を検出する検出部とを備える。血流センサ６４は、頬等の顔色を計測し易い位置に多波長の光を照射し、反射光の光強度に基づいて血流量を検出する。例えば、血液中の赤血球に含まれるヘモグロビンは緑色の光を吸収する性質を持っており、血流量が増大するほどヘモグロビンが増え、多波長の光を照射したときに緑色の光が吸収されやすくなることを利用し、反射光のうちの緑色の波長の光強度に基づいて血流量を検出可能である。血流センサ６４により検出された血流量は、血流データ記憶部５６に記憶される。
The
顔表情識別部３３は、血流センサ６４により検出された血流量を所定の閾値と比較することにより、ユーザの顔色を識別する。例えば、血流センサ６４により検出された血流量が第１の閾値以上の場合、顔表情識別部３３は、ユーザの顔色を「赤面」と識別する。また、血流センサ６４により検出された血流量が、第１の閾値未満である第２の閾値未満の場合、顔表情識別部３３は、ユーザの顔色を「蒼白」と識別する。血流センサ６４により検出された血流量が第１の閾値未満かつ第２の閾値以上の場合、顔表情識別部３３は、ユーザの顔色を「通常」と識別する。
The facial
アバター表示制御部３１は、顔表情識別部３３によるユーザの顔表情及び顔色の識別結果に基づいて、アバターの顔画像を変化させる。アバター表示制御部３１は、例えばアバターの顔画像として、「赤面」且つ「怒り」の顔画像を表示したり、「蒼白」且つ「驚き」の顔画像を表示したりすることができる。
The avatar
以上説明したように、本発明の第５の実施形態によれば、装着装置３を装着したユーザの顔表情に加えて顔色も識別することにより、ユーザの感情をより詳細に識別することができる。更に、ユーザの顔色の識別結果に応じてアバターの顔色も変化させることにより、ＶＲ環境での表情コミュニケーションの自由度を向上させることができる。
As described above, according to the fifth embodiment of the present invention, the user's emotion can be identified in more detail by identifying the facial color in addition to the facial expression of the user wearing the mounting
（第６の実施形態）
本発明の第６の実施形態に係る顔表情識別システムは、図４５に示すように、ＣＰＵ１が光センサ調整部３７を更に備える点が、図１５に示した第３の実施形態に係る顔表情識別システムと異なる。他の構成は図１５に示した第３の実施形態に係る顔表情識別システムと同様であるので、重複した説明を省略する。(Sixth embodiment)
In the facial expression identification system according to the sixth embodiment of the present invention, the facial expression according to the third embodiment shown in FIG. 15 is that the
光センサ調整部３７は、学習フェーズ又は識別フェーズのキャリブレーション時等において、光センサ６１ａ〜６１ｐのセンサ値に応じて、光センサ６１ａ〜６１ｐの発光強度及び感度を調整する。例えば、光センサ調整部３７は、光センサ６１ａ〜６１ｐのセンサ値のうち、最大値及び最小値を抽出する。光センサ調整部３７は、抽出した最大値及び最小値を所定の閾値と比較することにより、光センサ６１ａ〜６１ｐの発光強度及び感度の調整が必要か否かを判定する。
The optical
光センサ６１ａ〜６１ｐの発光強度及び感度の調整が必要と判定された場合に、光センサ調整部３７は、光センサ６１ａ〜６１ｐの可変抵抗の値を調整することにより、発光強度及び感度を調整する。例えば、光センサ６１ａ〜６１ｐのセンサ値の最大値が第１の閾値以上と判定された場合、光センサ６１ａ〜６１ｐの可変抵抗の値を大きくすることにより、光センサ６１ａ〜６１ｐの発光強度及び感度を低減する。また、光センサ６１ａ〜６１ｐのセンサ値の最小値が、第１の閾値よりも小さい第２の閾値未満と判定された場合、光センサ６１ａ〜６１ｐの可変抵抗の値を小さくすることにより、光センサ６１ａ〜６１ｐの発光強度及び感度を増大する。
When it is determined that the light emission intensity and sensitivity of the
次に、図４６のフローチャートを参照しながら、本発明の第６の実施形態に係る顔表情識別システムを用いた光センサの発光強度の調整方法の一例を説明する。なお、本発明の第６の実施形態に係る顔表情識別システムを用いた光センサの発光強度の調整方法は、例えば学習フェーズ又は識別フェーズのキャリブレーション時に実行される。 Next, an example of a method for adjusting the light emission intensity of the optical sensor using the facial expression identification system according to the sixth embodiment of the present invention will be described with reference to the flowchart of FIG. Note that the light intensity adjustment method of the optical sensor using the facial expression identification system according to the sixth embodiment of the present invention is executed, for example, during the calibration of the learning phase or the identification phase.
ステップＳ８１において、光センサ６１ａ〜６１ｐがセンサ値（反射強度）を取得する。ステップＳ８２において、光センサ調整部３７は、光センサ６１ａ〜６１ｐにより取得されたセンサ値（反射強度）の最大値及び最小値を抽出する。
In step S81, the
ステップＳ８３において、光センサ調整部３７は、抽出した最大値及び最小値を所定の閾値と比較することにより、光センサ６１ａ〜６１ｐの発光強度及び感度を調整する必要が有るか否かを判定する。光センサ６１ａ〜６１ｐの発光強度及び感度の調整が必要と判定された場合には、ステップＳ８４に移行し、光センサ６１ａ〜６１ｐの可変抵抗を調整することにより、光センサ６１ａ〜６１ｐの発光強度及び感度を調整する。一方、ステップＳ８３において光センサ６１ａ〜６１ｐの発光強度及び感度の調整が不要と判定された場合には、処理を完了する。
In step S83, the optical
以上説明したように、本発明の第６の実施形態によれば、光センサ６１ａ〜６１ｐの反射強度情報に基づいて光センサ６１ａ〜６１ｐの発光強度及び感度を調整することにより、適切なレンジでセンサ値を検出することができる。
As described above, according to the sixth embodiment of the present invention, by adjusting the light emission intensity and sensitivity of the
（その他の実施形態）
上記のように、本発明は第１〜第６の実施形態によって記載したが、この開示の一部をなす論述及び図面は本発明を限定するものであると理解すべきではない。この開示から当業者には様々な代替実施の形態、実施例及び運用技術が明らかとなろう。(Other embodiments)
As described above, the present invention has been described according to the first to sixth embodiments. However, it should not be understood that the description and drawings constituting a part of this disclosure limit the present invention. From this disclosure, various alternative embodiments, examples and operational techniques will be apparent to those skilled in the art.
例えば、本発明の第１〜第６の実施形態において、装着装置３が、装着装置３を装着したユーザの顔面の皮膚の移動量を検出する反射型イメージセンサを更に備えていてもよい。或いは、装着装置３が、光センサ６１ａ〜６１ｐを用いる代わりに、装着装置３を装着したユーザの顔面の皮膚の移動量を検出する反射型イメージセンサを備えていてもよい。反射型イメージセンサとしては、例えばＣＭＯＳイメージセンサやＣＣＤイメージセンサが使用可能である。反射型イメージセンサは、例えば１次元又は２次元の顔面の皮膚の移動量を検出する。表情識別部３３は、光センサ６１ａ〜６１ｐからのセンサ値と、反射型イメージセンサからの移動量に基づいて、装着装置３を装着したユーザの顔表情を識別する。これにより、ユーザの顔表情の識別精度を更に向上させることができる。
For example, in the first to sixth embodiments of the present invention, the mounting
また、本発明の第１〜第６の実施形態において、装着装置３を装着しているユーザ本人の学習データが学習データ記憶部５１に格納されている場合には、顔表情識別部３３は、ユーザ本人の学習データを読み出して、顔表情を識別してもよい。一方、装着装置３を装着しているユーザ本人の学習データが学習データ記憶部５１に格納されていない場合には、顔表情識別部３３は、学習データ記憶部５１に格納されている他者の学習データを用いてよい。
In the first to sixth embodiments of the present invention, when the learning data of the user who wears the mounting
この場合、顔表情識別部３３は、光センサ６１ａ〜６１ｐのセンサ値と、装着装置３を装着しているユーザの現在の顔表情に対応するラベルを入力データとして、他者の学習データ毎に、ユーザの現在の顔表情に対応するラベルと同一のラベルが付与された（同一の顔表情の）テンプレート表情に対する類似度を算出する。顔表情識別部３３は更に、類似度が最も高い他者の学習データを読み込んで、ユーザの顔表情を識別する。
In this case, the facial
これにより、装着装置３を装着しているユーザ本人の学習データが無い場合であっても、ユーザと類似する他者の学習データを利用して、適切に顔表情を識別することができる。なお、ユーザの顔表情に対応するラベルは、入力装置５を介して入力されたものを使用してもよい。また、本発明の第３の実施形態のように、アバター表示制御部３１により抽出されたアバターの顔画像をユーザが真似て光センサ６１ａ〜６１ｐのセンサ値を検出している場合には、アバター表示制御部３１により抽出されたアバターの顔画像のデータに基づいてラベルを生成してもよい。
Thereby, even if there is no learning data of the user himself / herself wearing the mounting
また、第１〜第６の実施形態に係る顔表情識別システムの各構成を互いに組み合わせてもよい。例えば、図１に示したＣＰＵ１が、図９に示した時刻情報取得部１５及び顔表情分布算出部１６を更に備え、図１に示した記憶装置２が、図９に示した地理情報記憶部２２及び顔表情マップ記憶部２３を更に備えていてもよい。また、第１〜第６の実施形態に係る機械学習方法（学習フェーズ）の処理と、第１〜第６の実施形態に係る顔表情識別方法（識別方法）の処理とを、互いに異なる実施形態同士で組み合わせてもよい。
Moreover, you may mutually combine each structure of the facial expression identification system which concerns on 1st-6th embodiment. For example, the
本発明は、自動的に顔表情を識別する顔表情識別システム、顔表情識別方法及び顔表情識別プログラムに利用可能である。 The present invention is applicable to a facial expression identification system, a facial expression identification method, and a facial expression identification program that automatically identify facial expressions.
１…中央演算処理装置（ＣＰＵ）
２…記憶装置
３…装着装置
４ａ，４ｂ，４ｃ，４ｄ，４ｅ，４ｆ，４ｇ，４ｈ，４ｉ，４ｊ，４ｋ，４ｌ，４ｍ，４ｎ，４ｏ，４ｐ，４ｑ…検出装置
５…入力装置
６…出力装置
１０…機械学習部
１１…顔表情識別部３３
１２…地理情報取得部
１３…顔表情マップ作成部
１４…推薦情報抽出部
１５…時刻情報取得部
１６…顔表情分布算出部
２０…学習データ記憶部
２１…顔表情記憶部
２２…地理情報記憶部
２３…顔表情マップ記憶部
２４…時刻情報記憶部
２５…顔表情分布記憶部
３１…アバター表示制御部
３２…学習データ生成部
３３…顔表情識別部
４０…表示部
４１，４２…アバター
５０…アバターデータ記憶部
５１…学習データ記憶部
５２…光センサデータ記憶部
５３…識別結果記憶部
６１ａ，６１ｂ，６１ｃ，６１ｄ，６１ｅ，６１ｆ，６１ｇ，６１ｈ，６１ｉ，６１ｊ，６１ｋ，６１ｌ，６１ｍ，６１ｎ，６１ｏ，６１ｐ…検出装置
６２…表示部
７１…本体部
７２…フレキシブル回路基板
７３ａ，７３ｂ…レンズ
８０…マルチクラス分類器
８１〜８４…回帰ネットワーク
１００…アバター1. Central processing unit (CPU)
2 ...
DESCRIPTION OF
Claims (15)
前記装着装置の前記人物の顔面に対向する複数箇所にそれぞれ配置され、前記装着装置を装着したときの前記顔面と前記装着装置間の距離を前記複数箇所でそれぞれ検出する、複数の検出装置と、
前記複数の検出装置による過去の検出結果のデータと顔表情との対応関係を機械学習して得られた学習データを記憶する記憶装置と、
前記学習データを前記記憶装置から読み出し、前記複数の検出装置による検出結果を入力データとして前記人物の顔表情を識別する顔表情識別部と、
を備えることを特徴とする顔表情識別システム。A mounting device that can be mounted on a person's head;
A plurality of detection devices disposed at a plurality of locations facing the face of the person of the wearing device, respectively, and detecting the distance between the face and the wearing device at the plurality of locations when the wearing device is worn;
A storage device for storing learning data obtained by machine learning of correspondence between facial detection data and past detection result data by the plurality of detection devices;
A facial expression identifying unit that reads out the learning data from the storage device and identifies facial expressions of the person using the detection results of the plurality of detection devices as input data;
A facial expression identification system comprising:
前記顔表情識別部による識別結果のデータと、前記地理情報取得部により取得された地理情報とを対応付けた顔表情マップを作成する顔表情マップ作成部と、
を更に備えることを特徴とする請求項１に記載の顔表情識別システム。A geographic information acquisition unit that acquires geographic information at the time when detection results by the plurality of detection devices are obtained;
A facial expression map creating unit that creates a facial expression map in which data of the identification result by the facial expression identifying unit and the geographic information acquired by the geographic information acquiring unit are associated with each other;
The facial expression identification system according to claim 1, further comprising:
前記顔表情マップ作成部により作成された顔表情マップに基づいて、前記検索キーに適合する地理情報を推薦情報として抽出する推薦情報抽出部と、
前記推薦情報抽出部により抽出された推薦情報を出力する出力装置と、
を更に備えることを特徴とする請求項２に記載の顔表情識別システム。An input device for receiving search key input data from a user;
Based on the facial expression map created by the facial expression map creation unit, a recommended information extraction unit that extracts geographic information that matches the search key as recommendation information;
An output device for outputting the recommendation information extracted by the recommendation information extraction unit;
The facial expression identification system according to claim 2, further comprising:
前記顔表情識別部による識別結果のデータと、前記時刻情報取得部により取得された時刻情報とを対応付けた顔表情分布を算出する顔表情分布算出部と、
を更に備えることを特徴とする請求項１〜３のいずれか１項に記載の顔表情識別システム。A time information acquisition unit for acquiring time information at a time point when data of detection results by the plurality of detection devices is obtained;
A facial expression distribution calculating unit that calculates a facial expression distribution in which the identification result data by the facial expression identifying unit and the time information acquired by the time information acquiring unit are associated with each other;
The facial expression identification system according to claim 1, further comprising:
前記顔表情識別部による識別結果と同期して、前記表示部に表示される前記人物のアバターの顔画像のデータを変化させることを特徴とする請求項１〜４のいずれか１項に記載の顔表情識別システム。The mounting device is a head mounted display having a display unit,
The data of the face image of the person's avatar displayed on the display unit is changed in synchronization with the identification result by the facial expression identification unit. Facial expression identification system.
前記機械学習のための顔画像のアバターを表示するように前記表示部を制御するアバター表示制御部と、
前記アバターの顔画像のデータと、前記アバターの顔画像のデータを前記表示部に表示したときの前記複数の検出装置による検出結果のデータとを対応付けることにより、前記機械学習のためのデータセットを生成する学習データ生成部
とを更に備えることを特徴とする請求項１に記載の顔表情識別システム。The mounting device has a display unit,
An avatar display control unit for controlling the display unit to display an avatar of a face image for machine learning;
By associating the data of the face image of the avatar with the data of detection results by the plurality of detection devices when the data of the face image of the avatar is displayed on the display unit, the data set for the machine learning is obtained. The facial expression identification system according to claim 1, further comprising a learning data generation unit that generates the facial expression identification system.
前記顔表情識別部が、前記ずれ量に対応付けられた前記学習データを用いて、前記人物の顔表情を識別する
ことを特徴とする請求項１に記載の顔表情識別システム。Further comprising a deviation amount calculation unit for calculating a deviation amount when the attachment device is attached, using data of detection results by the plurality of detection devices as input data,
The facial expression identification system according to claim 1, wherein the facial expression identification unit identifies the facial expression of the person using the learning data associated with the shift amount.
前記ずれ量を入力データとして、前記装着装置を装着した人物に対して前記ずれの修正内容を提示する修正提示部
を更に備えることを特徴とする請求項１に記載の顔表情識別システム。Further comprising a deviation amount calculation unit for calculating a deviation amount when the attachment device is attached, using data of detection results by the plurality of detection devices as input data,
The facial expression identification system according to claim 1, further comprising: a correction presentation unit that presents the correction content of the shift to a person wearing the mounting device using the shift amount as input data.
前記顔表情識別部が、前記複数の検出装置の検出結果のデータと前記複数の他者の学習データとの類似度をそれぞれ算出し、
前記算出された類似度が最も高い前記他者の学習データを用いて、前記人物の顔表情を識別する
ことを特徴とする請求項１に記載の顔表情識別システム。The learning data storage unit stores the learning data of a plurality of others different from the person wearing the wearing device,
The facial expression identification unit calculates the similarity between the detection result data of the plurality of detection devices and the learning data of the plurality of others,
The facial expression identification system according to claim 1, wherein the facial expression of the person is identified using learning data of the other person having the highest calculated similarity.
前記顔表情識別部が、前記検出された血流量のデータを入力データとして、前記人物の顔色を識別することを特徴とする請求項１に記載の顔表情識別システム。The wearing device includes a blood flow sensor for detecting the blood flow of the person,
The facial expression identification system according to claim 1, wherein the facial expression identification unit identifies the facial color of the person using the detected blood flow data as input data.
前記光センサによる検出結果のデータを入力データとして、前記複数箇所における前記光センサの発光強度を調整する光センサ調整部を更に備える
ことを特徴とする請求項１に記載の顔表情識別システム。Each of the plurality of detection devices is an optical sensor
The facial expression identification system according to claim 1, further comprising: a light sensor adjustment unit that adjusts light emission intensity of the light sensor at the plurality of locations using data of a detection result by the light sensor as input data.
前記顔表情識別部が、前記複数の検出装置による検出結果のデータ及び前記検出された移動量のデータを入力データとして、前記人物の顔表情を識別する
ことを特徴とする請求項１に記載の顔表情識別システム。The wearing device includes an image sensor that detects a movement amount of the skin of the person's face,
2. The facial expression identification unit according to claim 1, wherein the facial expression identification unit identifies the facial expression of the person using data of detection results from the plurality of detection devices and data of the detected movement amount as input data. Facial expression identification system.
記憶装置に記憶された、前記複数の検出装置による過去の検出結果のデータと顔表情との対応関係を機械学習して得られた学習データを前記記憶装置から読み出し、顔表情識別部が前記複数の検出装置による検出結果のデータを入力データとして前記人物の顔表情を識別するステップ
とを含むことを特徴とする顔表情識別方法。A plurality of detection devices respectively disposed at a plurality of locations of the mounting device, detecting the distance between the face of the person and the mounting device when the mounting device is mounted on a person's head at the plurality of locations;
Learning data obtained by machine learning of correspondence between the data of past detection results by the plurality of detection devices and the facial expression stored in the storage device is read from the storage device, and the facial expression identification unit And a step of identifying the facial expression of the person using the data of the detection result of the detection device as input data.
記憶装置に記憶された、前記複数の検出装置による過去の検出結果のデータと顔表情との対応関係を機械学習して得られた学習データを前記記憶装置から読み出させ、前記複数の検出装置による検出結果のデータを入力データとして前記人物の顔表情を顔表情識別部に識別させる手順と、
を含む一連の処理をコンピュータに実行させることを特徴とする顔表情識別プログラム。A procedure for detecting a distance between the face of the person and the mounting device at the plurality of locations when the mounting device is mounted on a person's head to a plurality of detection devices respectively disposed at a plurality of locations of the mounting device;
Learning data obtained by machine learning of a correspondence relationship between data of past detection results by the plurality of detection devices and facial expressions stored in the storage device is read from the storage device, and the plurality of detection devices A procedure for causing the facial expression identification unit to identify the facial expression of the person using the data of the detection result by the input data,
A facial expression identification program characterized by causing a computer to execute a series of processes including:
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2015134460 | 2015-07-03 | ||
| JP2015134460 | 2015-07-03 | ||
| PCT/JP2016/069683 WO2017006872A1 (en) | 2015-07-03 | 2016-07-01 | Facial expression identification system, facial expression identification method, and facial expression identification program |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPWO2017006872A1 true JPWO2017006872A1 (en) | 2018-04-19 |
| JP6850723B2 JP6850723B2 (en) | 2021-03-31 |
Family
ID=57685715
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2017527431A Active JP6850723B2 (en) | 2015-07-03 | 2016-07-01 | Facial expression identification system, facial expression identification method and facial expression identification program |
Country Status (2)
| Country | Link |
|---|---|
| JP (1) | JP6850723B2 (en) |
| WO (1) | WO2017006872A1 (en) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11604511B2 (en) | 2020-11-14 | 2023-03-14 | Facense Ltd. | Robust photosensor-based facial expression detector |
Families Citing this family (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| GB2561537B (en) | 2017-02-27 | 2022-10-12 | Emteq Ltd | Optical expression detection |
| JP6924128B2 (en) * | 2017-11-24 | 2021-08-25 | Kddi株式会社 | Morphing image generator and morphing image generation method |
| CN112106066A (en) * | 2018-03-16 | 2020-12-18 | 奇跃公司 | Facial expression from eye tracking camera |
| KR102138809B1 (en) * | 2018-04-13 | 2020-07-28 | 인하대학교 산학협력단 | 2d landmark feature synthesis and facial expression strength determination for micro-facial expression detection |
| CN109670393B (en) * | 2018-09-26 | 2023-12-19 | 平安科技（深圳）有限公司 | Face data acquisition method, equipment, device and computer readable storage medium |
| JP2020052793A (en) * | 2018-09-27 | 2020-04-02 | 株式会社Ｎｔｔドコモ | system |
| CN113423334A (en) * | 2019-02-22 | 2021-09-21 | 索尼集团公司 | Information processing apparatus, information processing method, and program |
| KR102243040B1 (en) | 2019-04-10 | 2021-04-21 | 한양대학교 산학협력단 | Electronic device, avatar facial expression system and controlling method threrof |
| KR102108422B1 (en) * | 2019-08-07 | 2020-05-11 | (주)자이언트스텝 | System and Method for Optimizing Facial Expression of Virtual Characters through AI-based Facial Expression Classification and Retargeting, and Computer Readable Storage Medium |
| CN111240482B (en) * | 2020-01-10 | 2023-06-30 | 北京字节跳动网络技术有限公司 | Special effect display method and device |
| JP7295045B2 (en) * | 2020-01-16 | 2023-06-20 | 株式会社コロプラ | Programs, computer implemented methods and computers |
| FR3117221B1 (en) * | 2020-12-04 | 2023-01-06 | Socialdream | immersive device |
| WO2023287425A1 (en) * | 2021-07-16 | 2023-01-19 | Hewlett-Packard Development Company, L.P. | Identification of facial expression of head-mountable display wearer |
| US11765115B2 (en) * | 2021-07-29 | 2023-09-19 | Snap Inc. | Emoji recommendation system using user context and biosignals |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2014021707A (en) * | 2012-07-18 | 2014-02-03 | Nikon Corp | Information input/output device and information input/output method |
| JP2015031996A (en) * | 2013-07-31 | 2015-02-16 | Kddi株式会社 | Portable movement detection device, emotion information tabulation device, emotion information acquisition and notification system, emotion information acquisition and notification method, and computer program |
| JP2015092646A (en) * | 2013-11-08 | 2015-05-14 | ソニー株式会社 | Information processing device, control method, and program |
-
2016
- 2016-07-01 JP JP2017527431A patent/JP6850723B2/en active Active
- 2016-07-01 WO PCT/JP2016/069683 patent/WO2017006872A1/en active Application Filing
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2014021707A (en) * | 2012-07-18 | 2014-02-03 | Nikon Corp | Information input/output device and information input/output method |
| JP2015031996A (en) * | 2013-07-31 | 2015-02-16 | Kddi株式会社 | Portable movement detection device, emotion information tabulation device, emotion information acquisition and notification system, emotion information acquisition and notification method, and computer program |
| JP2015092646A (en) * | 2013-11-08 | 2015-05-14 | ソニー株式会社 | Information processing device, control method, and program |
Non-Patent Citations (1)
| Title |
|---|
| 福本くらら 外２名: "ライフログにおける自動タグ付けのための笑顔認識機構の設計と実装", 研究報告モバイルコンピューティングとユビキタス通信, vol. ２０１３−ＵＢＩ−６５巻、１８号, JPN6020033218, 7 March 2013 (2013-03-07), JP, pages 1 - 8, ISSN: 0004433852 * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11604511B2 (en) | 2020-11-14 | 2023-03-14 | Facense Ltd. | Robust photosensor-based facial expression detector |
| US11983317B2 (en) | 2020-11-14 | 2024-05-14 | Facense Ltd. | Using a camera to compensate for sensor-shift in a photosensor-based facial expression detector |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2017006872A1 (en) | 2017-01-12 |
| JP6850723B2 (en) | 2021-03-31 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| WO2017006872A1 (en) | Facial expression identification system, facial expression identification method, and facial expression identification program | |
| US10986270B2 (en) | Augmented reality display with frame modulation functionality | |
| US11430169B2 (en) | Animating virtual avatar facial movements | |
| KR102402467B1 (en) | Periocular test for mixed reality calibration | |
| KR102516112B1 (en) | Augmented reality identity verification | |
| US11797105B2 (en) | Multi-modal hand location and orientation for avatar movement | |
| JP2021509495A (en) | Improved posture determination for display devices | |
| CN112106066A (en) | Facial expression from eye tracking camera | |
| US20230162461A1 (en) | Enhancing videos of people interacting with virtual objects in an extended reality environment | |
| US9482622B2 (en) | Methods and apparatus for surface classification | |
| TWI829944B (en) | Avatar facial expression generating system and method of avatar facial expression generation | |
| US11720168B1 (en) | Inferred body movement using wearable RF antennas | |
| US20240028294A1 (en) | Automatic Quantitative Food Intake Tracking | |
| Ratliff | Active appearance models for affect recognition using facial expressions | |
| US11771618B2 (en) | Adaptive speech and biofeedback control of sexual stimulation devices | |
| Wahl | Methods for monitoring the human circadian rhythm in free-living | |
| US20220331196A1 (en) | Biofeedback-based control of sexual stimulation devices |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20171201 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190626 |
|
| RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20190626 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20190626 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200908 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20201105 |
|
| RD13 | Notification of appointment of power of sub attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7433 Effective date: 20201105 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20201210 |
|
| TRDD | Decision of grant or rejection written | ||
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20201211 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20210302 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210308 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6850723 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |