JP6697356B2 - Device, program and method for identifying state of specific object among predetermined objects - Google Patents
Device, program and method for identifying state of specific object among predetermined objects Download PDFInfo
- Publication number
- JP6697356B2 JP6697356B2 JP2016178294A JP2016178294A JP6697356B2 JP 6697356 B2 JP6697356 B2 JP 6697356B2 JP 2016178294 A JP2016178294 A JP 2016178294A JP 2016178294 A JP2016178294 A JP 2016178294A JP 6697356 B2 JP6697356 B2 JP 6697356B2
- Authority
- JP
- Japan
- Prior art keywords
- target
- state
- target information
- score
- specific
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Image Analysis (AREA)
Description
本発明は、所定対象の状態を、当該所定対象に係る情報に基づいて識別する技術に関する。 The present invention relates to a technique of identifying a state of a predetermined target based on information about the predetermined target.
従来、所定対象の状態、例えば人間の表情を、この所定対象に関する情報、例えば顔を撮影した写真画像を用いて識別する技術は、種々考案されてきた。 Conventionally, various techniques have been devised for identifying a state of a predetermined object, for example, a human facial expression, using information about the predetermined object, for example, a photographic image of a face.
特に、人間の表情認識の分野では、ポジティブ、ネガティブ、ニュートラルの3分類モデルや、Paul Ekman の7分類モデル(ニュートラル、喜び、嫌悪、怒り、サプライズ、悲しみ、恐怖)等を採用し、多くの研究者が表情認識技術の向上に取り組んでいる。 Especially in the field of human facial expression recognition, positive, negative and neutral three classification models and Paul Ekman's seven classification model (neutral, joy, disgust, anger, surprise, sadness, fear) etc. have been adopted and many studies have been conducted. Are working on improving facial expression recognition technology.
このような取り組みの一例として、特許文献1には、上記の分類モデルに基づく大量の顔画像データの特徴量を学習し、その特徴量に基づいて表情を識別する技術が開示されている。この技術では、特に、意図的に作った顔ではなく、自然な顔表情の学習データを効率良く収集し、認識精度の良い識別器を作成することを目的としている。
As an example of such an approach,
しかしながら、特許文献1に記載されたような従来技術においては、具体的に表情を識別すべき個人の顔の表情を判定したとしても、その個人の有する表情の表出傾向によって、実際とは異なる判定結果が出ることも少なくなく、大きな問題となっている。
However, in the conventional technique as described in
すなわち、その個人の性格や、その個人の属する民族、居住地域等の違いによって、例えば、元来顔の表情が厳しい、怒りの感情の表現が控えめであるといったような、現れる表情に特定の傾向が存在することはよく知られている。これに対し、従来の表情の判定処理においては、例えば特許文献1の技術のように、大量の顔画像データの特徴量を学習した識別器を用いて処理を行っている。従って、このような表情識別対象の有する特定の傾向は、表情表出の一般的傾向からは逸脱していることも少なくないので、表情識別の失敗を起こす原因となってしまう。
That is, depending on the personality of the individual, the ethnicity to which the individual belongs, the residential area, etc., for example, the facial expression that is originally severe, the expression of emotions of anger is modest, and the specific tendency to the facial expression that appears. It is well known that there exists. On the other hand, in the conventional facial expression determination processing, for example, as in the technique of
そこで、本発明は、所定の対象の状態であって、個々の対象毎に又は当該対象の種別毎に発現する傾向が異なるような状態をより確実に識別することが可能な装置、プログラム及び方法を提供することを目的とする。 Therefore, the present invention is a device, a program, and a method that can more reliably identify a state of a predetermined target, in which a tendency that each target or a type of the target is different is different. The purpose is to provide.
本発明によれば、所定の対象の状態であって、個々の対象毎に又は当該対象の種別毎に発現する傾向が異なるような状態を、当該所定の対象に係る対象情報に基づいて識別する状態識別装置であって、
多数の対象情報に基づいて決定された識別モデルであって、取り得る複数の状態の各々である度合を示すスコアを出力する識別モデルを用いて、入力された対象情報から、該対象情報に係る対象が各状態をとり得る度合を示すスコアを決定するスコア決定手段と、
当該所定の対象のうちの状態識別対象である特定対象に係る複数の対象情報から決定された各状態のスコアに基づき、当該複数の対象情報を、当該スコアのなす空間で規定される複数のクラスタに分類するクラスタリング手段と、
当該複数のクラスタの各々に前記複数の状態の各々を対応付け、当該特定対象に係る対象情報が属するクラスタに対応付けられた状態を、該対象情報についての正解に決定する正解決定手段と、
当該特定対象に係る複数の対象情報について決定されたスコアと、当該複数の対象情報について決定された正解とに基づいて決定された特定識別モデルに対して、当該特定対象に係る1つの対象情報について決定されたスコアを入力し、その出力から、当該特定対象における該1つの対象情報に係る状態を決定する状態決定手段と
を有する状態識別装置が提供される。
According to the present invention, a state of a predetermined target, which is different in tendency to appear for each individual target or for each type of the target, is identified based on target information related to the predetermined target. A state identification device,
Be identification model determined based on a number of target information using the identification model that outputs a score indicating the degree are each of a plurality of possible states, the target information input, according to the target information Score determination means for determining a score indicating the degree to which the subject can assume each state,
Based on a score of each state determined from a plurality of target information related to a specific target that is a state identification target of the predetermined target, the plurality of target information, a plurality of clusters defined in the space formed by the score Clustering means for classifying into
Associating each of each said plurality of the states of the plurality of clusters, a state in which target information related to the specific object has been correlated to belong cluster, a correct answer determination means for determining the correct answer for the target information,
About one target information related to the specific target, with respect to the specific identification model determined based on the score determined for the plurality of target information related to the specific target and the correct answer determined for the plurality of target information A state identification device is provided which has a state determination means for inputting the determined score and for determining the state of the one target information in the specific target from the output thereof.
本発明によれば、また、所定の対象の状態であって、個々の対象毎に又は当該対象の種別毎に発現する傾向が異なるような状態を、当該所定の対象に係る対象情報に基づいて識別する状態識別装置であって、
多数の対象情報に基づいて決定された識別モデルを用いて、入力された対象情報から該対象情報に係る対象の状態を表すスコアを決定するスコア決定手段と、
当該所定の対象のうちの状態識別対象である特定対象に係る複数の対象情報から決定されたスコアに基づき、当該複数の対象情報を、各状態に対応付けられた複数のクラスタに分類した場合において、当該特定対象に係る対象情報が属するクラスタに対応する状態を、該対象情報についての正解に決定する正解決定手段と、
当該特定対象に係る複数の対象情報について決定されたスコアと、当該複数の対象情報について決定された正解とに基づいて決定された特定識別モデルであって、入力されたスコアから生成された特徴量のなす特徴量空間において各特徴量の点との距離が最大となる識別超平面を求める特定識別モデルに対して、当該特定対象に係る1つの対象情報について決定されたスコアを入力し、その出力から、当該特定対象における該1つの対象情報に係る状態を決定する状態決定手段と
を有する状態識別装置が提供される。
According to the present invention , the state of a predetermined target, a state in which the tendency to develop for each individual target or for each type of the target is different, based on the target information related to the predetermined target A state identification device for identifying,
Using an identification model determined based on a large number of target information, score determination means for determining a score representing the state of the target related to the target information from the input target information,
Based on a score determined from a plurality of target information related to a specific target that is a state identification target of the predetermined target, when the plurality of target information is classified into a plurality of clusters associated with each state A correct answer determining unit that determines a state corresponding to a cluster to which the target information related to the specific target belongs, as a correct answer for the target information,
A specific identification model determined based on a score determined for a plurality of target information related to the specific target and a correct answer determined for the plurality of target information, and a feature amount generated from the input score For a specific identification model that obtains an identification hyperplane that maximizes the distance to each feature amount point in the feature amount space formed by, input the score determined for one piece of target information related to the specific target, and output it. from the state determining means that determine the state of the said one of the target information that put in the specific subject
There is provided a state identification device having:
本発明によれば、さらに、所定の対象の状態であって、個々の対象毎に又は当該対象の種別毎に発現する傾向が異なるような状態を、当該所定の対象に係る対象情報に基づいて識別する状態識別装置であって、
多数の対象情報に基づいて決定された識別モデルを用いて、入力された対象情報から該対象情報に係る対象の状態を表すスコアを決定するスコア決定手段と、
当該所定の対象のうちの状態識別対象である特定対象に係る複数の対象情報から決定されたスコアに基づき、当該複数の対象情報を、各状態に対応付けられた複数のクラスタに分類した場合において、当該特定対象に係る対象情報が属するクラスタに対応する状態を、該対象情報についての正解に決定する正解決定手段と、
当該特定対象に係る複数の対象情報について決定されたスコアと、当該複数の対象情報について決定された正解とに基づいて決定された特定識別モデルであって、入力されたスコアに対する重み付け係数を含んでおり、決定された正解に係る状態と、当該モデルの出力との誤差を減少させるように当該重み付け係数を更新する特定識別モデルに対して、当該特定対象に係る1つの対象情報について決定されたスコアを入力し、その出力から、当該特定対象における該1つの対象情報に係る状態を決定する状態決定手段と
を有する状態識別装置が提供される。
According to the present invention, further, in the state of the predetermined target, a state in which the tendency to develop for each individual target or for each type of the target is different, based on the target information related to the predetermined target A state identification device for identifying,
Using an identification model determined based on a large number of target information, score determination means for determining a score representing the state of the target related to the target information from the input target information,
Based on a score determined from a plurality of target information related to a specific target that is a state identification target of the predetermined target, when the plurality of target information is classified into a plurality of clusters associated with each state A correct answer determining unit that determines a state corresponding to a cluster to which the target information related to the specific target belongs, as a correct answer for the target information,
A score determined for a plurality of object information related to the specific object, a specific identification model determined based on the correct answer determined for the plurality of target information, including Nde weighting coefficients for the input score The score determined for one piece of target information related to the specific target for the specific identification model that updates the weighting coefficient so as to reduce the error between the state of the determined correct answer and the output of the model . enter a, from the output, and a state determining means for determining a state of the said one of the target information that put in the specific subject
There is provided a state identification device having:
さらに、本発明による状態識別装置の一実施形態として、当該所定の対象は人間の顔であり、当該状態は顔の表情であって、当該対象情報は、人間の顔の画像に係る情報であり、
当該特定対象は、その表情を識別する対象である個人、又はその表情を識別する対象である人間の属する所定の属性集団であり、
状態決定手段は、当該個人又は当該属性集団に属する人間の顔の表情の画像情報に基づいて、当該画像情報に係る顔に現れた表情を識別することも好ましい。
Further, as one embodiment of the state identification device according to the present invention, the predetermined target is a human face, the state is a facial expression, and the target information is information related to an image of a human face. ,
The specific object is a predetermined attribute group to which an individual whose facial expression is to be identified, or a human who is the target whose facial expression is to be identified,
It is also preferable that the state determining means identifies the facial expression that appears on the face related to the image information, based on the image information of the facial expression of the person who belongs to the individual or the attribute group.
また、本発明による状態識別装置における、当該複数の対象情報の当該クラスタへの分類は、当該スコアのなす空間においてk平均(k-means)法を用いて実行されることも好ましい。 It is also preferable that the state identification device according to the present invention classify the plurality of pieces of target information into the clusters using a k-means method in a space formed by the scores.
さらに、本発明による状態識別装置のスコア決定手段において用いられる識別モデルは、畳み込み層を含む畳み込みニューラルネットワーク(Convolutional Neural Network)における学習モデルであることも好ましい。 Further, the discrimination model used in the score determination means of the state discrimination device according to the present invention is preferably a learning model in a convolutional neural network including a convolutional layer.
本発明によれば、さらに、所定の対象の状態であって、個々の対象毎に又は当該対象の種別毎に発現する傾向が異なるような状態を、当該所定の対象に係る対象情報に基づいて識別する状態識別装置であって、
多数の対象情報に基づいて決定された識別モデルであって、取り得る複数の状態の各々である度合を示すスコアを出力する識別モデルを用いて、入力された対象情報から、該対象情報に係る対象が各状態をとり得る度合を示すスコアを決定するスコア決定手段と、
当該所定の対象のうちの状態識別対象である特定対象に係る複数の対象情報から決定された各状態のスコアに基づき、当該複数の対象情報を、当該スコアのなす空間で規定される複数のクラスタに分類するクラスタリング手段と、
当該複数のクラスタの各々に前記複数の状態の各々を対応付け、当該複数のクラスタの中心のうち、当該特定対象に係る1つの対象情報について決定されたスコアとの距離が最も小さい中心を有するクラスタに対応付けられた状態を、該1つの対象情報に係る状態に決定する状態決定手段と
を有する状態識別装置が提供される。
According to the present invention, further, in the state of the predetermined target, a state in which the tendency to develop for each individual target or for each type of the target is different, based on the target information related to the predetermined target A state identification device for identifying,
Be identification model determined based on a number of target information using the identification model that outputs a score indicating the degree are each of a plurality of possible states, the target information input, according to the target information Score determination means for determining a score indicating the degree to which the subject can assume each state,
Based on a score of each state determined from a plurality of target information related to a specific target that is a state identification target of the predetermined target, the plurality of target information, a plurality of clusters defined in the space formed by the score Clustering means for classifying into
A cluster having the smallest distance from the score determined for one piece of target information related to the specific target among the centers of the plurality of clusters, each of the plurality of clusters being associated with each of the plurality of states the state of being correlated to, state identification device having a state determining means for determining the state of the said one of the target information is provided.
本発明によれば、また、所定の対象の状態であって、個々の対象毎に又は当該対象の種別毎に発現する傾向が異なるような状態を、当該所定の対象に係る対象情報に基づいて識別する装置に搭載されたコンピュータを機能させる評価推定プログラムであって、
多数の対象情報に基づいて決定された識別モデルであって、取り得る複数の状態の各々である度合を示すスコアを出力する識別モデルを用いて、入力された対象情報から、該対象情報に係る対象が各状態をとり得る度合を示すスコアを決定するスコア決定手段と、
当該所定の対象のうちの状態識別対象である特定対象に係る複数の対象情報から決定された各状態のスコアに基づき、当該複数の対象情報を、当該スコアのなす空間で規定される複数のクラスタに分類するクラスタリング手段と、
当該複数のクラスタの各々に前記複数の状態の各々を対応付け、当該特定対象に係る対象情報が属するクラスタに対応付けられた状態を、該対象情報についての正解に決定する正解決定手段と、
当該特定対象に係る複数の対象情報について決定されたスコアと、当該複数の対象情報について決定された正解とに基づいて決定された特定識別モデルに対して、当該特定対象に係る1つの対象情報について決定されたスコアを入力し、その出力から、当該特定対象における該1つの対象情報に係る状態を決定する状態決定手段と
してコンピュータを機能させる状態識別プログラムが提供される。
According to the present invention, the state of a predetermined target, a state in which the tendency to develop for each individual target or for each type of the target is different, based on the target information related to the predetermined target An evaluation estimation program that causes a computer installed in an identifying device to function,
Be identification model determined based on a number of target information using the identification model that outputs a score indicating the degree are each of a plurality of possible states, the target information input, according to the target information Score determination means for determining a score indicating the degree to which the subject can assume each state,
Based on a score of each state determined from a plurality of target information related to a specific target that is a state identification target of the predetermined target, the plurality of target information, a plurality of clusters defined in the space formed by the score Clustering means for classifying into
Associating each of each said plurality of the states of the plurality of clusters, a state in which target information related to the specific object has been correlated to belong cluster, a correct answer determination means for determining the correct answer for the target information,
About one target information related to the specific target, with respect to the specific identification model determined based on the score determined for the plurality of target information related to the specific target and the correct answer determined for the plurality of target information A state identification program that causes a computer to function as a state determining unit that inputs the determined score and outputs the output of the determined score is provided.
本発明によれば、さらに、所定の対象の状態であって、個々の対象毎に又は当該対象の種別毎に発現する傾向が異なるような状態を、当該所定の対象に係る対象情報に基づいて識別する装置に搭載されたコンピュータにおいて実施される状態識別方法であって、
多数の対象情報に基づいて決定された識別モデルであって、取り得る複数の状態の各々である度合を示すスコアを出力する識別モデルを用いて、入力された対象情報から、該対象情報に係る対象が各状態をとり得る度合を示すスコアを決定するステップと、
当該所定の対象のうちの状態識別対象である特定対象に係る複数の対象情報から決定された各状態のスコアに基づき、当該複数の対象情報を、当該スコアのなす空間で規定される複数のクラスタに分類するステップと、
当該複数のクラスタの各々に前記複数の状態の各々を対応付け、当該特定対象に係る対象情報が属するクラスタに対応付けられた状態を、該対象情報についての正解に決定するステップと、
当該特定対象に係る複数の対象情報について決定されたスコアと、当該複数の対象情報について決定された正解とに基づいて決定された特定識別モデルに対して、当該特定対象に係る1つの対象情報について決定されたスコアを入力し、その出力から、当該特定対象における該1つの対象情報に係る状態を決定するステップと
を有する状態識別方法が提供される。
According to the present invention, further, in the state of the predetermined target, a state in which the tendency to develop for each individual target or for each type of the target is different, based on the target information related to the predetermined target A state identification method implemented in a computer mounted on an identification device, comprising:
Be identification model determined based on a number of target information using the identification model that outputs a score indicating the degree are each of a plurality of possible states, the target information input, according to the target information Determining a score indicating the degree to which the subject can assume each state,
Based on a score of each state determined from a plurality of target information related to a specific target that is a state identification target of the predetermined target, the plurality of target information, a plurality of clusters defined in the space formed by the score A step of classifying into
Associating each of said plurality of states in each of the plurality of clusters, a state in which target information related to the specific object has been correlated to belong cluster, determining the correct answer for the target information,
About one target information related to the specific target, with respect to the specific identification model determined based on the score determined for the plurality of target information related to the specific target and the correct answer determined for the plurality of target information The step of inputting the determined score and determining the state of the one target information in the specific target from the output thereof is provided.
本発明の状態識別装置、プログラム及び方法によれば、所定の対象の状態であって、個々の対象毎に又は当該対象の種別毎に発現する傾向が異なるような状態をより確実に識別することができる。 According to the state identification device, the program and the method of the present invention, it is possible to more reliably identify a state of a predetermined target that is different in tendency to appear for each individual target or each type of the target. You can
以下、本発明の実施形態について、図面を用いて詳細に説明する。 Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings.
[一実施形態における装置構成]
図1は、本発明による状態識別装置の一実施形態における機能構成を示す機能ブロック図である。
[Device Configuration in One Embodiment]
FIG. 1 is a functional block diagram showing a functional configuration in an embodiment of a state identification device according to the present invention.
図1によれば、本実施形態の状態識別装置としてのスマートフォン1は、公知の構成を有するカメラ105を内蔵しており、このカメラ105を用いて、例えばユーザの顔を撮影してこの顔の写真画像(個人画像)を生成し、生成した写真画像に映ったユーザの顔の表情を識別して、タッチパネル・ディスプレイ(TP・DP)に識別結果を表示することができる。また、当然に、このような表情識別対象である顔の写真画像を、外部から通信ネットワークを介して取得して処理することも可能である。
According to FIG. 1, the
また、1つの応用例として、スマートフォン1のアプリケーション121、例えば対話AIアプリが、この表情の識別結果を利用して、例えば対話しているユーザの感情(発話意図)を理解し、その応答内容を調整したり、当該ユーザとの対話内容をパーソナライズしたりすることも可能になる。
In addition, as one application example, the
さらに、スマートフォン1は、本実施形態において、表情識別のための表情識別エンジン112における学習用の大量の一般画像(様々な人間の顔の写真画像)を、画像管理サーバ2から取得することも好ましい。
Further, in the present embodiment, it is also preferable that the
このような本発明による状態識別装置としてのスマートフォン1は、所定の対象(例えば人間の顔)の状態(例えば顔の表情)であって、個々の対象(例えば個々人)毎に又は当該対象の種別(例えば属する民族や居住地域)毎に発現する傾向が異なるような状態を、当該所定の対象に係る対象情報(例えば顔の写真画像(に係る情報))に基づいて識別する装置であって、
(A)多数の対象情報(写真画像)に基づいて決定された「識別モデル」を用いて、入力された対象情報(写真画像)からこの対象情報に係る対象の状態(顔の表情)を表すスコアを決定するスコア決定手段(表情スコア決定部112b)と、
(B)所定の対象(人間の顔)のうちの状態識別対象である特定対象(例えば特定のユーザの顔)に係る複数の対象情報(写真画像)から決定されたスコアに基づき、これら複数の対象情報を、各状態に対応付けられた複数のクラスタに分類した場合において、特定対象(特定のユーザの顔)に係る対象情報(写真画像)が属するクラスタに対応する状態を、この対象情報(写真画像)についての正解に決定する正解決定手段(正解表情決定部114)と、
(C)特定対象(特定ユーザの顔)に係る複数の対象情報(写真画像)について決定されたスコアと、上記の複数の対象情報(写真画像)について決定された正解とに基づいて決定された「特定識別モデル」に対して、特定対象(特定ユーザの顔)に係る1つの対象情報(写真画像)について決定されたスコアを入力し、その出力から、特定対象におけるこの1つの対象情報に係る状態(写真画像における特定ユーザの顔に現れた表情)を決定する状態決定手段(表情決定部115)と
を有することを特徴としている。
The
(A) Using an “identification model” determined based on a large number of target information (photo images), represents the state of the target (facial expression) related to this target information from the input target information (photo image) Score determination means (facial expression
(B) Based on scores determined from a plurality of pieces of target information (photograph images) related to a specific target (for example, a face of a specific user) that is a state identification target of a predetermined target (human face), When the target information is classified into a plurality of clusters associated with each state, the state corresponding to the cluster to which the target information (photo image) related to the specific target (face of a specific user) belongs is A correct answer determining unit (correct answer facial expression determining unit 114) for determining a correct answer for a photograph image);
(C) Determined based on the scores determined for the plurality of target information (photo images) related to the specific target (face of the specific user) and the correct answers determined for the plurality of target information (photo images). The score determined for one piece of target information (photo image) related to the specific target (face of the specific user) is input to the “specific identification model”, and the output is related to this one target information in the specific target. And a state determining unit (facial expression determining unit 115) for determining a state (an expression that appears on the face of a specific user in a photographic image).
このように、スマートフォン1によれば、表情識別器によって決定されるスコアだけに頼って表情を識別するのではなく、特定対象(例えば特定のユーザの顔)の対象情報(例えば写真画像)に対し、クラスタリング処理を利用して正解を予め決定する。これにより、この特定対象(特定のユーザの顔)の識別に適合した「特定識別モデル」を利用することができ、結果として、この特定対象の状態(特定ユーザの顔の表情)をより確実に、高い精度で識別することが可能となるのである。
As described above, according to the
ここで、本実施形態のように人間の顔の表情を識別する場合、識別すべき特定対象は、その表情を識別する対象である特定の個人(例えばスマートフォン1のユーザ)、又はその表情を識別する対象である人間の属する所定の属性集団、例えば特定の個人の属する民族や居住地域とすることができる。 Here, in the case of identifying the facial expression of a human face as in the present embodiment, the specific target to be identified is a specific individual (for example, the user of the smartphone 1) that is the target of the facial expression, or the facial expression is identified. It can be a predetermined attribute group to which a human being as a target belongs, for example, an ethnic group or a residential area to which a specific individual belongs.
実際、国・民族別(地域別)や、年齢、性別等の個人属性別による表情識別結果の相違については、ポジティブ、ニュートラル、ネガティブ3分類モデルや、Ekman の7分類モデルといった、広く普及している表情カテゴリモデルを利用して、種々の研究がなされている。 In fact, the differences in facial expression recognition results by country / ethnicity (region) and individual attributes such as age and sex are widely spread, such as the positive, neutral, and negative three-classification models, and the Ekman seven-classification model. Various studies have been made using the facial expression category model.
例えば、研究文献:Jack, R. E., Blais, C., Scheepers, C.,Schyns, P. G.,及びCaldara, R. "Cultural confusions show that facial expressions are not universal" Current Biology, 19,2009年,1543〜1548頁は、東アジア系の被験者がヨーロッパ系の被験者に比べて、恐怖を驚きに、嫌悪を怒りに混同させる表情をとる傾向を示す実験結果を示している。また、その原因として、ヨーロッパ系の被験者は、他人の表情を観察する際、目と口とを同程度見る、すなわち顔全体を見るのに対し、東アジア系の被験者は目に対してより注視を行うことを記載している。 For example, research literature: Jack, RE, Blais, C., Scheepers, C., Schyns, PG, and Caldara, R. "Cultural confusions that that facial expressions are not universal" Current Biology, 19, 2009, 1543-1548. Page shows experimental results showing that East Asian subjects tended to confuse fear with confusion and anger with anger compared to European subjects. In addition, as a cause for this, when observing the facial expressions of others, European subjects see the eyes and mouth to the same extent, that is, they see the entire face, whereas East Asian subjects gaze more closely at the eyes. It describes that it does.
さらに、研究文献:Yuki, M.,Maddux, W. W.,及びMasuda, T. "Are the windows to the soul the same in the East and West? Cultural differences in using the eyes and mouth as cues to recognize emotions in Japan and the United States" Journal of Experimental Social Psychology, 43,2007年,303〜311頁においては、日本人は、喜びや悲しみを示す顔の表情を評価する際、米国人に比べ口元よりも目元に対してより重点を置く傾向のあることが記載されている。 Furthermore, research literature: Yuki, M., Maddux, WW, and Masuda, T. "Are the windows to the soul the same in the East and West? Cultural differences in using the eyes and mouth as cues to recognize emotions in Japan and In the United States "Journal of Experimental Social Psychology, 43, 2007, pp. 303-311, Japanese assess the facial expression of joy and sadness more toward the eyes than the mouth than the Americans. It states that there is a tendency to place more emphasis.
これらの研究結果が示すような個人差や国・民族・個人地域差等が存在する人間の表情を判定する処理は、従来それにもかかわらず、大量の多種多様な顔画像データの特徴量を学習した識別器を用いて行われてきた。従って例えば、特定の個人の表情を識別するのに失敗する場合も少なくなかったのである。これに対し、スマートフォン1を用いれば、特定のユーザの顔に対し、クラスタリング処理を利用して正解を予め決定した上でより適合した識別器を構築するので、結局、この特定のユーザの表情をより確実に識別することが可能となるのである。
Conventionally, the processing for determining human facial expressions that have individual differences, country / ethnicity / individual regional differences, etc. as shown by the results of these studies has nevertheless learned the feature amount of a large variety of face image data. It has been performed using the discriminator. Therefore, for example, it often happened that the facial expression of a specific individual failed to be identified. On the other hand, when the
なお、上記のスマートフォン1に具現されたような本発明による状態識別装置は、識別すべき所定対象の状態として、人間の顔の表情にのみ適用されるものではない。本発明によれば、個々の対象毎に又は当該対象の種別毎に発現する傾向が異なるような状態であるならば、種々の状態が、より確実に識別可能となる。言い換えると、従来そのような異なる傾向故に識別結果に大きな誤差や間違いが発生していたのに対し、本発明によれば、そのような状態をより精度良く識別することができるのである。
The state identification device according to the present invention as embodied in the
さらに、スマートフォン1に具現されたような本発明による状態識別装置は、当然にスマートフォンに限定されるものではない。例えば、この状態識別装置として、タブレット型コンピュータ、ノート型コンピュータ、パーソナルコンピュータ、セットトップボックス(セットトップボックス)、ロボット、デジタルサイネージ等を採用することもできる。例えば、カメラを内蔵したこれらの装置(端末)において、ユーザの表情を読み取ることによって、読み取った表情に係る情報に応じた応答を行ったり、読み取った表情に係る情報から、先に実施されたユーザに対するアクション等の評価を行ったりすることも可能となる。
Furthermore, the state identification device according to the present invention as embodied in the
同じく図1の機能ブロック図に示すように、状態識別装置(表情識別装置)である本実施形態のスマートフォン1は、通信インタフェース部101と、一般画像データベース102と、個人画像データベース103と、表情データ記憶部104と、カメラ105と、タッチパネル・ディスプレイ(TP・DP)106と、プロセッサ・メモリとを有する。ここで、プロセッサ・メモリは、スマートフォン1のコンピュータを機能させるプログラムを実行することによって、状態識別機能(表情識別機能)を実現させる。
Similarly, as shown in the functional block diagram of FIG. 1, the
さらに、このプロセッサ・メモリは、機能構成部として、画像管理部111と、識別モデル学習部112a及び表情スコア決定部112bを有する表情識別エンジン112と、画像クラスタリング部113と、正解表情決定部114と、表情決定部115と、アプリケーション121とを有する。ここで、図1におけるスマートフォン1の機能構成部間を矢印で接続して示した処理の流れは、本発明による表情識別方法の一実施形態としても理解される。
Further, the processor / memory includes an
通信インタフェース部101は、表情識別エンジン112における学習用の大量の一般画像を、画像管理サーバ2からインターネット等の通信ネットワークを介して取得する。また、通信インタフェース部101は、本発明に係る表情識別プログラム(アプリ)や、当該表情識別結果を利用したサービスを提供可能なアプリケーション・プログラム、例えば対話AIアプリ、をダウンロードすることもできる。
The
画像管理部111は、カメラ105から、又は外部の情報機器から通信インタフェース101を介して、表情識別対象である特定の個人(例えばスマートフォン1のユーザ)の個人画像を取得し、個人画像データベース103に保存し管理することができる。また、通信インタフェース101を介して取得された一般画像も、一般画像データベース102に保存し管理してもよい。例えば、個人画像データに対しては、(例えばユーザの指定入力に基づく)個人画像ラベルを付与して管理することも好ましい。
The
表情識別エンジン112は、本実施形態において、識別モデル学習部112aと、表情スコア決定部112bとを有する。このうち、識別モデル学習部112aは、取得された大量の一般画像(様々な人間の顔の写真画像)を用いて学習を行い、表情識別モデルを構築・決定する。この表情識別モデルは、例えば、ディープラーニングの一種である畳み込みニューラルネットワーク(Convolutional Neural Network)を含む識別器とすることができ、一般的な万人向けの、又は平均的な若しくは共通する表情の傾向をもった人的集団に向けた識別器と捉えることができる。
The facial
一方、表情スコア決定部112bは、構築・決定された表情識別モデルを用いて、入力された対象情報からこの対象情報に係る対象の状態を表すスコアを決定する。
On the other hand, the facial expression
図2は、表情識別エンジン112で構築・使用される表情識別モデルの一実施形態を示す模式図である。
FIG. 2 is a schematic diagram showing an embodiment of a facial expression identification model constructed and used by the facial
図2に示すように、本実施形態において、表情識別エンジン112で構築・決定される表情識別モデルは、順伝播型の一種である畳み込みニューラルネットワーク(CNN, ConvNet)に基づいて構成されている。このCNNは複数の畳み込み層を含んでいるが、この畳み込み層は、動物の視覚野の単純細胞の働きを模しており、画像に対しカーネル(重み付け行列フィルタ)をスライドさせて特徴マップを生成する畳み込み処理を実行する層である。この畳み込み処理によって、画像の解像度を段階的に落としながら、エッジや勾配等の基本的特徴を抽出し、局所的な相関パターンの情報を得ることができる。
As shown in FIG. 2, in the present embodiment, the facial expression identification model constructed and determined by the facial
また、各畳み込み層はプーリング層(サブサンプリング層)と対になっており、畳み込み処理とプーリング処理とが繰り返されることも好ましい。ここで、プーリング処理とは、動物の視覚野の複雑細胞の働きを模した処理であり、畳み込み層から出力される特徴マップ(一定領域内の畳み込みフィルタの反応)を最大値や平均値等でまとめ、調整パラメータを減らしつつ、局所的な平行移動不変性を確保する処理である。これにより、顔のサイズ、顔の向き、頭の傾き、帽子やサングラス等の付属物の付加といった画像における多少のズレによる見え方の違いを吸収し、本来の特徴を捉えた適切な特徴量を獲得することができる。 It is also preferable that each convolution layer is paired with a pooling layer (subsampling layer), and the convolution process and the pooling process are repeated. Here, the pooling process is a process that imitates the action of a complex cell in the visual cortex of an animal, and the feature map (reaction of the convolution filter within a certain area) output from the convolutional layer is expressed as a maximum value or an average value. In summary, this is a process for ensuring local parallelism invariance while reducing adjustment parameters. This absorbs differences in appearance due to slight deviations in the image such as face size, face orientation, head inclination, addition of accessories such as hats and sunglasses, and obtains an appropriate feature amount that captures the original feature. Can be earned.
表情識別エンジン112の識別モデル学習部112a(図1)は、例えば一般画像データベース102(図1)に蓄積された大量の一般画像からなる大規模画像データセットを用いて、このCNNに対し学習を行わせる。具体的には、この大規模画像データセットの画像をCNNに入力し、CNN内の複数の層のうち最終層を除いたいくつかの層分による多層ネットワークとしての反応を特徴量として出力し、この出力を正解と照合して、ニューロンの結合荷重やネットワーク構成のパラメータ等を生成・更新することにより学習を行う。
The discriminant
ここで、本実施形態では、入力する大規模画像データセットの画像を、ポジティブ、ニュートラル、ネガティブという表情に関する3つのカテゴリに予め分類しておき、この分類結果を正解として使用する。 Here, in the present embodiment, the images of the input large-scale image data set are classified in advance into three categories regarding facial expressions of positive, neutral, and negative, and the classification result is used as a correct answer.
図3は、表情スコア決定部112b(表情識別エンジン112)におけるスコア決定処理の一実施例を示すテーブルである。
FIG. 3 is a table showing an example of score determination processing in the facial expression
ここで、本実施形態において、スコアは、スコア算定対象の画像を、上述したような表情識別モデルの識別器に入力した結果出力される値であり、ポジティブ、ニュートラル、ネガティブの3項目の各々についての値となっている。すなわち、スコア算定対象である1つの画像を入力することによって、これら3つのスコアの組が1つ出力されるのである。以下、このスコアの組を単にスコアと称呼する場合もある。なお、本実施形態のこれら3つのスコアは、各項目の度合いをレコード間で比較しやすいように、合計値が1となるように規格化されている。 Here, in the present embodiment, the score is a value output as a result of inputting the image for score calculation to the discriminator of the facial expression discrimination model as described above, and for each of the three items of positive, neutral, and negative. Is the value of. That is, by inputting one image to be score-calculated, one set of these three scores is output. Hereinafter, this set of scores may be simply referred to as a score. It should be noted that these three scores in the present embodiment are standardized so that the total value becomes 1 so that the degree of each item can be easily compared between records.
図3(A)には、ユーザA、ユーザB、・・・についての「実際にネガティブと判断される表情」の画像に対するスコアが示されている。ここで、ユーザAは、表情の表出に関して一般的とされる通常タイプであり、実際、そのスコアもネガティブについての値(0.90)が最も大きくなっている。一方、ユーザBは、「怒っても表情表出が控えめなタイプ」であり、それ故、そのスコアは、「実際にはネガティブ」であるにもかかわらずニュートラルについての値(0.65)が最も大きくなっている。 FIG. 3 (A) shows the scores for the images of “actually negative facial expressions” for user A, user B, .... Here, the user A is a normal type that is generally used for expression of facial expressions, and in fact, the score also has the largest negative value (0.90). On the other hand, the user B is a “type with a modest expression when he is angry”, and therefore, the score is the largest for neutral (0.65) even though it is “actually negative”. Is becoming
ちなみに、この表情識別モデルの識別器だけを用いた表情判定を行うとすると、上記3つのスコアのうちで最も大きい値のものに対応するカテゴリが、識別結果として出力される。例えば、図3(A)のユーザAでは、表情はネガティブであると識別されるが、ユーザBではニュートラルであると識別されてしまう。 Incidentally, if facial expression determination is performed using only the discriminator of this facial expression discrimination model, the category corresponding to the largest value among the above three scores is output as the discrimination result. For example, the user A in FIG. 3A identifies the facial expression as negative, while the user B identifies the facial expression as neutral.
次いで、図3(B)には、ユーザA、ユーザC、・・・についての「実際にニュートラルと判断される表情」の画像に対するスコアが示されている。ここで、ユーザAは、上述したように通常タイプであり、実際、そのスコアもニュートラルについての値(0.95)が最も大きくなっている。一方、ユーザCは、「日頃から表情の厳しいタイプ」であり、それ故、そのスコアは、「実際にはニュートラル」であるにもかかわらずネガティブについての値(0.50)が最も大きくなっている。 Next, FIG. 3 (B) shows the scores for the images of the “expressions actually judged to be neutral” for user A, user C, .... Here, the user A is the normal type as described above, and in fact, the score thereof also has the largest value (0.95) for the neutral. On the other hand, the user C is a “type with a severe expression on a daily basis”, and therefore, the score is the largest value (0.50) for the negative despite being “actually neutral”.
さらに、図3(C)には、ユーザA、ユーザD、・・・についての「実際にポジティブと判断される表情」の画像に対するスコアが示されている。ここで、ユーザAは、上述したように通常タイプであり、実際、そのスコアもポジティブについての値(1.00)が最も大きくなっている。一方、ユーザDは、「笑っても表情表出が控えめなタイプ」であり、それ故、そのスコアは、「実際にはポジティブ」であるにもかかわらずニュートラルについての値(0.50)が最も大きくなっている。 Further, FIG. 3C shows the scores for the images of “actually positive facial expressions” for user A, user D, .... Here, the user A is of the normal type as described above, and in fact, the score also has the largest value (1.00) for positive. On the other hand, the user D is a “type with a modest expression even when he / she laughs”, and therefore the score is the highest for the neutral (0.50) even though the score is “actually positive”. Is becoming
以上、ユーザA〜Dについての実施例を用いて説明したように、表情スコア決定部112b(表情識別エンジン112)において決定されたスコアは、表情表出傾向の個人差によって、本来あるべき値からずれてしまう場合のあることが理解される。すなわち、当該個人差によっては、正確な表情の識別が行えないことも少なくない。
As described above with reference to the examples of the users A to D, the score determined by the facial expression
図1の機能ブロック図に戻って、画像クラスタリング部113は、特定対象(例えば特定のユーザの顔)に係る複数の対象情報(例えば写真画像)から決定されたスコアに基づいて、これら複数の対象情報を、各状態(例えば顔の表情)に対応付けられた複数のクラスタに分類する。ここで、このクラスタへの分類は、スコアのなす空間においてk平均(k-means)法を用いて実行されてもよい。ちなみに、クラスタリング対象となる複数の写真画像は、例えば、スマートフォン1のユーザが当該端末の使用を開始し自身の写真画像を所定量蓄積した段階での、これらの蓄積された写真画像とすることができる。
Returning to the functional block diagram of FIG. 1, the
また、正解表情決定部114は、各状態(顔の表情)に対応付けられた複数のクラスタに分類された特定対象(特定のユーザの顔)に係る対象情報(写真画像)が属するクラスタに対応する状態(顔の表情)を、この対象情報(写真画像)についての正解に決定する。
In addition, the correct answer facial
図4は、画像クラスタリング部113及び正解表情決定部114における処理の一実施例を示すテーブルである。
FIG. 4 is a table showing an example of processing in the
図4(A)には、図3(A)で説明した「怒っても表情表出が控えめなタイプ」であるユーザBについてのクラスタリング及び正解表情決定処理の結果が示されている。同図によれば、決定されたスコアからニュートラル、ニュートラル及びポジティブと判定されたユーザBの顔画像データレコード(群)として、それぞれ
(a1)レコード:B-neutral-001、B-neutral-002、B-neutral-003、・・・、
(a2)レコード:B-neutral-101、B-neutral-102、B-neutral-103、・・・及び
(a3)レコード:B-positive-001、B- positive-002、B- positive-003、・・・
が挙げられている。この図4(A)のテーブルでは、これらのレコードの各々について、決定された3つのスコアの値と、これらのレコードのスコアに基づいて生成されたクラスタのうちで当該レコードの属しているクラスタのID(識別子)とが、対応付けて記録されている。
FIG. 4 (A) shows the result of the clustering and correct facial expression determination processing for user B who is the “type with a modest facial expression even when angry” described in FIG. 3 (A). According to the figure, (a1) records: B-neutral-001, B-neutral-002, as face image data records (group) of the user B determined to be neutral, neutral and positive from the determined score, respectively. B-neutral-003, ...
(A2) Records: B-neutral-101, B-neutral-102, B-neutral-103, ... And (a3) Records: B-positive-001, B-positive-002, B-positive-003, ...
Are listed. In the table of FIG. 4A, for each of these records, the value of the three determined scores and the cluster to which the record belongs among the clusters generated based on the scores of these records. ID (identifier) is recorded in association with each other.
また、図4(B)には、図3(B)で説明した「日頃から表情の厳しいタイプ」であるユーザCについてのクラスタリング及び正解表情決定処理の結果が示されている。同図によれば、決定されたスコアからネガティブ、ネガティブ、ポジティブ及びニュートラルと判定されたユーザCの顔画像データレコード(群)として、それぞれ
(b1)レコード:C-negative-001、C-negative-002、C-negative-003、・・・、
(b2)レコード:C-negative-101、C-negative-102、C-negative-103、・・・、
(b3)レコード:C-positive-001、C-positive-002、・・・及び
(b4)レコード:C-neutral-001、・・・
が挙げられている。この図4(B)のテーブルでも、これらのレコードの各々について、決定された3つのスコアの値と、これらのレコードのスコアに基づいて生成されたクラスタのうちで当該レコードの属しているクラスタのID(識別子)とが、対応付けて記録されている。
Further, FIG. 4B shows the result of the clustering and correct facial expression determination processing for the user C who is the “type with a severe facial expression” described with reference to FIG. 3B. According to the figure, as the face image data record (group) of the user C determined to be negative, negative, positive and neutral from the determined score, (b1) records: C-negative-001, C-negative-, respectively. 002, C-negative-003, ...
(B2) Record: C-negative-101, C-negative-102, C-negative-103, ...
(B3) Record: C-positive-001, C-positive-002, ... And (b4) Record: C-neutral-001 ,.
Are listed. Also in the table of FIG. 4B, for each of these records, the value of the three determined scores and the cluster to which the record belongs among the clusters generated based on the scores of these records. ID (identifier) is recorded in association with each other.
ここで、図4(A)に示したユーザBのレコードのテーブル、及び図4(B)に示したユーザCのレコードのテーブルにおいて、クラスタID:1,2,3の付されたクラスタは、これらのレコードについて決定されたスコアのなすスコア空間において、k-means法を用いて形成されている。具体的には、典型的な手順として、
(ア)スコア空間における各点(レコード)に対しランダムにクラスタを割り当てる。ここで、割り当てるクラスタの数は、表情識別のために採用する表情の分類モデルにおけるカテゴリの数であり、3分類モデルを採用する本実施形態では3つ(k=3)となる。
Here, in the table of the record of the user B shown in FIG. 4 (A) and the table of the record of the user C shown in FIG. 4 (B), the clusters to which the cluster IDs are assigned are: It is formed using the k-means method in the score space formed by the scores determined for these records. Specifically, as a typical procedure,
(A) A cluster is randomly assigned to each point (record) in the score space. Here, the number of clusters to be allocated is the number of categories in the facial expression classification model adopted for facial expression identification, and is three (k = 3) in the present embodiment that employs the three classification model.
(イ)次いで、各クラスタにおける重心を算出する。
(ウ)各点(レコード)の所属するクラスタを、当該点から最も近い重心のクラスタとする。
(エ)上記(ウ)の処理を行っても、全ての点について、属するクラスタに変更が生じなければ、クラスタリングを終了する。一方、変更が生じた場合は、再度、上記(ウ)の処理を実行する。
(A) Next, the center of gravity in each cluster is calculated.
(C) The cluster to which each point (record) belongs is the cluster of the center of gravity closest to the point.
(D) Even if the process of (C) is performed, if the cluster to which all points belong does not change, the clustering ends. On the other hand, when a change occurs, the above process (c) is executed again.
なお、上記(ア)〜(エ)の処理が終了しても、この段階ではまだ、分類されたクラスタは、表情識別の分類カテゴリ(ポジティブ、ネガティブ、ニュートラル)に対応付けられていない。これらのクラスタにカテゴリ(ポジティブ、ネガティブ、ニュートラル)をラベル付けする1つの手法として、例えば、各クラスタに属するレコードにおけるカテゴリ毎のスコアの平均値を算出し、全クラスタの中で、この平均値が最も高いクラスタに対して、この平均値に係るカテゴリをラベル付けする手法が挙げられる。 Even if the above processes (a) to (d) are completed, the classified clusters are not yet associated with the classification category (positive, negative, neutral) of facial expression identification at this stage. As one method for labeling these clusters with categories (positive, negative, neutral), for example, the average value of the score for each category in the records belonging to each cluster is calculated, and this average value among all the clusters is calculated. There is a method of labeling the category related to this average value with respect to the highest cluster.
具体的には、例えば、図4(B)における
(b1)レコード:C-negative-001、C-negative-002、C-negative-003、・・・、
には、ID=1のクラスタ(以後、クラスタ1と略称)が対応付けられている。ここで、これらのレコード(b1)においては、ネガティブについてのスコアの平均値が、他のレコード(b2)、(b3)及び(b4)におけるネガティブについてのスコアの平均値のいずれよりも大きく、最大となっている。従って、レコード(b1)の属するクラスタ1にはネガティブのラベルが付与される。また、
(b2)レコード:C-negative-101、C-negative-102、C-negative-103、・・・、
には、クラスタ2が対応付けられている。ここで、これらのレコード(b2)においては、ニュートラルについてのスコアの平均値が、他のレコード(b1)、(b3)及び(b4)におけるニュートラルについてのスコアの平均値のいずれよりも大きく、最大となっている。従って、レコード(b2)の属するクラスタ2にはニュートラルのラベルが付与される。
Specifically, for example, (b1) record in FIG. 4B: C-negative-001, C-negative-002, C-negative-003, ...
Is associated with a cluster with ID = 1 (hereinafter abbreviated as cluster 1). Here, in these records (b1), the average value of the scores for the negative is larger than any of the average values of the scores for the negative in the other records (b2), (b3), and (b4), and the maximum value. Has become. Therefore, a negative label is given to the
(B2) Record: C-negative-101, C-negative-102, C-negative-103, ...
Is associated with the
さらに、
(b3)レコード:C-positive-001、C-positive-002、・・・及び
(b4)レコード:C-neutral-001、・・・
には、クラスタ3が対応付けられている。ここで、これらのレコード(b3)及び(b4)においては、ポジティブについてのスコアの平均値が、他のレコード(b1)及び(b2)におけるポジティブについてのスコアの平均値のいずれよりも大きく、最大となっている。従って、レコード(b3)及び(b4)の属するクラスタ3にはポジティブのラベルが付与される。
further,
(B3) Record: C-positive-001, C-positive-002, ... And (b4) Record: C-neutral-001 ,.
Is associated with the
また、図4(A)に記録されたクラスタ1〜3についても、上記と同様の手法をもって、それぞれネガティブ、ニュートラル及びポジティブのラベルが付与される。
Also, for the
以上説明したように、画像クラスタリング部113によれば、レコードのスコアだけから判断するとニュートラルであるにもかかわらず、実際にはネガティブな表情でありがちなユーザBにおいて、これらのレコードの属するクラスタに対し、本来の(正解とされる)カテゴリであるネガティブのラベルを付与することが可能となっている。また、レコードのスコアだけから判断するとネガティブであるにもかかわらず、実際にはニュートラルな表情であることも少なくないユーザCにおいて、これらのレコードの属するクラスタに対し、本来の(正解とされる)カテゴリであるニュートラルのラベルを付与することも可能となっている。
As described above, according to the
すなわち、以上に説明したクラスタリング処理を行うことによって、表情表出傾向の個人差に起因するスコア判定の誤差を修正可能な表情カテゴリのラベリングを行うことも可能となっている。また、これを受けて、正解表情決定部114は、各レコード(ユーザの写真画像に係る情報)について、当該レコードの属するクラスタに付与されたラベルのカテゴリを、「正解」に決定することができるのである。
That is, by performing the clustering process described above, it is also possible to perform labeling of the facial expression category that can correct the error in the score determination due to the individual difference in the facial expression expression tendency. Further, in response to this, the correct facial
なお、分類したクラスタに対するラベリング処理は、当然、上述した手法に限定されるものではない。例えば、クラスタを表現するベクトルと、各表情カテゴリを代表する代表ベクトルとのコサイン類似度に基づいてラベルを決定してもよい。または、所定カテゴリを有する点(レコード)からのユークリッド距離が最短となる中心値を有するクラスタに対し、当該所定カテゴリのラベルを付与することも可能である。 The labeling process for the classified clusters is not of course limited to the method described above. For example, the label may be determined based on the cosine similarity between the vector expressing the cluster and the representative vector representing each facial expression category. Alternatively, it is also possible to give a label of the predetermined category to a cluster having a central value with the shortest Euclidean distance from a point (record) having the predetermined category.
さらに、図3及び図4に示した実施例では、表情について3分類モデルを採用しているが、当然これに限定されるものではなく、例えば、Paul Ekman の7分類モデルや、これらのモデルよりもさらに細分化された感情分類モデルを適用してもよい。例えば、分類カテゴリとして、Paul Ekmanモデルの7つに加え、面白さ、軽蔑、満足、困惑、興奮、罪悪感、功績に基づく自負心、安心、納得感、喜び、及び恥を採用したものを使用することも可能である。いずれにしても、分類カテゴリの数だけクラスタが生成され、これらのクラスタにそれぞれ、当該分類カテゴリのラベルが付与される。 Furthermore, in the embodiment shown in FIGS. 3 and 4, three classification models are adopted for facial expressions, but the present invention is not limited to this, and for example, Paul Ekman's seven classification models and those models are used. May be applied to a further subdivided emotion classification model. For example, as the classification category, in addition to the seven Paul Ekman models, we use fun, disdain, satisfaction, confusion, excitement, guilt, self-confidence based on merit, peace of mind, satisfaction, joy, and shame. It is also possible to do so. In any case, as many clusters as the number of classification categories are generated, and each of these clusters is labeled with the classification category.
図1の機能ブロック図に戻って、表情決定部115は、
(a)特定対象(例えば特定ユーザの顔)に係る複数の対象情報(例えば写真画像)について決定されたスコアと、
(b)当該複数の対象情報(写真画像)について決定された「正解」と
に基づいて決定された「特定識別モデル」に対して、特定対象(特定ユーザの顔)に係る1つの対象情報(写真画像)について決定されたスコアを入力し、その出力から、特定対象におけるこの1つの対象情報に係る状態(写真画像における特定ユーザの顔に現れた表情)を決定する。
Returning to the functional block diagram of FIG.
(A) a score determined for a plurality of target information (for example, a photographic image) related to a specific target (for example, a face of a specific user),
(B) With respect to the “specific identification model” determined based on the “correct answer” determined for the plurality of target information (photographic images), one target information (specific target (face of a specific user)) The score determined for the (photo image) is input, and the state related to this one piece of target information in the specific target (the facial expression on the face of the specific user in the photo image) is determined from the output.
このように、表情決定部115で決定された、特定対象の対象情報に係る状態(特定ユーザの写真画像の顔に現れた表情)の情報は、この対象情報(写真画像)と対応付けて表情データ記憶部104に記録されてもよく、また、アプリケーション121へ出力されて、所定のアプリケーション・プログラムによって表情判断データとして処理されてもよい。また、このアプリケーション・プログラムでの処理を介して、タッチパネル・ディスプレイ106に表示されてもよく、通信インタフェース部101を通して外部に送信されてもよい。
In this way, the information on the state related to the target information of the specific target (the facial expression appearing on the face of the photo image of the specific user) determined by the facial
ここで、この状態決定部115の「特定識別モデル」は、例えば、サポートベクタマシン(Support Vector Machine)による識別器のモデルであって、入力されたスコアから生成された特徴量のなす特徴量空間において各特徴量の点との距離が最大となる識別超平面を求めるモデルであってもよい。または、その他の学習有りの機械学習、例えばニューラルネットワークによる識別器のモデルとすることもできる。
Here, the “specific identification model” of the
図5は、状態決定部115で使用される特定識別モデルの識別器における学習の一実施形態を示す模式図である。また、図6は、特定識別モデルの識別器に採用されるSVMにおける識別境界面を説明するための模式図である。
FIG. 5 is a schematic diagram showing an embodiment of learning in the discriminator of the specific discrimination model used in the
図5によれば、状態決定部115は、図4(A)及び図4(B)に示したような、特定ユーザについての(スコアの決定された)各レコードに対し、所属するクラスタのラベルを正解として紐づけたレコードデータを、特徴量化して特定識別モデルの識別器に入力し、当該特定識別モデルの学習・更新を行っている。ここで、これらの正解付きのレコードデータは、その正解のカテゴリ別に、ネガティブログ、ニュートラルログ及びポジティブログの3種に区分されている。
According to FIG. 5, the
また、この特定識別モデルの識別器は、本実施形態においてSVMを採用している。SVMは、現在開発されている数多くの機械学習手法の中でも汎用性と認識性能の両方が優れているとされる手法の1つであり、未学習データに対して高い識別性能を発揮することが可能となっている。 The discriminator of this specific discriminating model adopts SVM in this embodiment. SVM is one of the many machine learning methods currently being developed, which is said to have excellent versatility and recognition performance, and can exhibit high discrimination performance for unlearned data. It is possible.
このSVMを採用した識別器では、図6に示すように、例えば、ネガティブ判定を行う場合、特徴量空間において、ネガティブログのレコード点には正解ラベルを付与して、その他のレコード点には不正解ラベルを付与する。次いで、各レコード点からの距離が最大となる面(識別境界面)を決定して、以後、ネガティブ判定に使用する。同様の処理をニュートラル判定やポジティブ判定にも行い、結局、全てのログの各フィールドの変数を入力して集計処理を行い、SVM識別関数の判定係数を決定する。 In the discriminator employing this SVM, as shown in FIG. 6, for example, in the case of making a negative determination, the correct answer label is given to the record point of the negative log and the other record point is not recorded in the feature amount space. Give the correct answer label. Next, the surface (identification boundary surface) having the maximum distance from each record point is determined, and thereafter used for negative determination. The same process is performed for the neutral determination and the positive determination, and after all, the variables of each field of all logs are input and the aggregation process is performed to determine the determination coefficient of the SVM discriminant function.
状態決定部115では、このように構築された特定識別モデルのSVM識別器に対し、例えば、識別対象となる特定ユーザの写真画像におけるポジティブ、ニュートラル及びネガティブについての各スコアを入力し、すなわち上記のSVM識別関数に入力して、この特定ユーザに適した表情識別結果を出力する。
In the
例えば、図3及び図4の実施例で説明した、「怒っても表情表出が控えめなタイプ」のユーザBについて学習を行った特定識別モデルのSVM識別器に対し、このユーザBの写真画像についての3つのスコアであってニュートラルが最大であるスコアを入力することによって、正解であるネガティブとの識別結果を出力することも可能となる。また、「日頃から表情の厳しいタイプ」のユーザCについて学習を行った特定識別モデルのSVM識別器に対し、このユーザBの写真画像についての3つのスコアであってネガティブが最大であるスコアを入力することによって、正解であるニュートラルとの識別結果を出力することも可能となるのである。 For example, for the SVM classifier of the specific identification model that has learned about the user B of the "moderate expression expression even when angry" described in the embodiments of FIGS. 3 and 4, a photograph image of this user B It is also possible to output the discrimination result from the negative which is the correct answer by inputting the score having the maximum neutral value, which is the three scores for. Further, for the SVM discriminator of the specific discriminant model, which has been learned for the user C of “type with a severe expression on a daily basis”, the three scores of the photograph image of the user B and the score with the largest negative value are input. By doing so, it is possible to output the discrimination result from the correct answer, neutral.
このように、状態決定部115での状態決定処理によれば、特定対象(例えば特定のユーザの顔)の対象情報(例えば写真画像)に対し、クラスタリング処理から決定された正解を用いて学習した、この特定対象(特定のユーザの顔)の識別に適合した特定識別モデルを利用することができる。また、その結果、この特定対象の状態(特定ユーザの顔の表情)をより高い精度で識別することが可能となるのである。
As described above, according to the state determination process in the
なお、特定識別モデルの識別器は、本実施形態において、特定ユーザに適合したものとなっているが、当然これに限定されるものではない。例えば、表情識別対象として、所定の属性集団、例えばある民族や、所定の居住地域の住民等を採用し、このような対象に特化した特定識別モデルの識別器を構成することもできる。なお、この場合、特定識別モデルの識別器への入力は、このような表情識別対象となる属性集団に属する人間の顔についてのスコア(レコード)となる。 In addition, although the classifier of the specific identification model is adapted to the specific user in the present embodiment, it is not limited to this. For example, it is possible to adopt a predetermined attribute group, for example, a certain ethnic group or a resident in a predetermined residential area, as a facial expression identification target, and configure a classifier of a specific identification model specialized for such an object. In this case, the input of the specific discriminant model to the discriminator is a score (record) for a human face belonging to such an attribute group that is a facial expression discrimination target.
また、特定識別モデルの識別器に採用される機械学習手法も、上述したSVMに限定されるものではない。例えば、ニューラルネットワークを採用した識別器とすることも可能である。この場合、このニューラルネットワークは、入力されたスコアに対する重み付け係数を含み、決定された正解に係る状態(表情のカテゴリ)と、当該モデルの出力との誤差を減少させるように重み付け係数を更新するタイプのものとすることができる。 Further, the machine learning method adopted in the classifier of the specific classification model is not limited to the SVM described above. For example, it is possible to use a discriminator that employs a neural network. In this case, this neural network includes a weighting coefficient for the input score, and updates the weighting coefficient so as to reduce the error between the state (category of facial expression) related to the determined correct answer and the output of the model. Can be
さらに、状態決定部115での状態決定処理は、以上に述べた特定識別モデルを用いず、より簡易な実装の下で実施することも可能である。例えば、画像クラスタリング部113で生成された複数のクラスタの中心のうち、特定対象(特定ユーザの顔)に係る1つの対象情報(写真画像)について決定されたスコアとの距離が最も小さい中心を有するクラスタに付与されたラベルの状態(表情のカテゴリ)を、この1つの対象情報(写真画像)に係る状態(表情のカテゴリ)に決定してもよい。
Furthermore, the state determination process in the
具体的には、1つのレコードのスコアを要素とするスコア空間のベクトルを、<(ポジティブ), (ニュートラル), (ネガティブ)>の形に記述するとした場合に、画像クラスタリング部113で生成され、それぞれ表情カテゴリ:ネガティブ、ニュートラル及びポジティブをラベリングされた3つのクラスタの中心は、1つの実施例として、
ネガティブ・クラスタの中心:<0.02, 0.10, 0.88>、
ニュートラル・クラスタの中心:<0.08, 0.42, 0.50>、及び
ポジティブ・クラスタの中心:<0.37, 0.35, 0.28>
といった形で表される。ここで、表情識別対象である特定対象の対象情報(特定ユーザの顔の写真画像)について決定されたスコアのなす点を<ng, nt, ps>とすると、上記の3つの中心のうち、この点<ng, nt, ps>とのユークリッド距離が最も小さい中心のクラスタに付与されたラベルを、この特定対象の対象情報の状態(表情カテゴリ)とすることができるのである。
Specifically, when the vector of the score space having the score of one record as an element is described in the form of <(positive), (neutral), (negative)>, it is generated by the
Negative cluster center: <0.02, 0.10, 0.88>,
Neutral cluster centers: <0.08, 0.42, 0.50>, and positive cluster centers: <0.37, 0.35, 0.28>
It is expressed in the form. Here, if the point made by the score determined for the target information of the specific target (photograph image of the face of the specific user), which is the facial expression identification target, is <ng, nt, ps>, among these three centers, The label given to the central cluster having the smallest Euclidean distance from the point <ng, nt, ps> can be used as the state (expression category) of the target information of this specific target.
[他の実施形態における装置構成]
図7は、本発明による状態識別装置の他の実施形態における機能構成を示す機能ブロック図である。
[Device Configuration in Other Embodiments]
FIG. 7 is a functional block diagram showing a functional configuration in another embodiment of the state identification device according to the present invention.
図7に示した実施形態の状態識別装置であるスマートフォン5は、図1に示したスマートフォン1の機能構成部と対応する機能構成部を有している。具体的には、通信インタフェース部501と、カメラ505と、タッチパネル・ディスプレイ506と、画像管理部511と、表情スコア決定部512bを有する表情識別エンジン512と、正解表情決定部514と、表情決定部515と、アプリケーション121とを有する。
The smartphone 5 which is the state identification device of the embodiment shown in FIG. 7 has a functional configuration unit corresponding to the functional configuration unit of the
すなわち、スマートフォン5は、図1に示したスマートフォン1の有する識別モデル学習部112a及び画像クラスタリング部113に対応する機能構成部を備えていない。本実施形態では、表情識別エンジン512の有する表情識別モデルの構築(学習)については、外部の表情識別準備装置3が、画像管理サーバ2から一般画像データを取得して行っている。また、スコアを有する写真画像データに対するクラスタリング処理についても、この表情識別準備装置3が、スマートフォン5から個人画像データを取得して行っているのである。
That is, the smartphone 5 does not include a functional configuration unit corresponding to the identification
スマートフォン5の正解表情決定部514は、表情識別準備装置3から、構築された表情識別モデル及びクラスタリング結果を受信して、管理している個人画像データについての正解を決定する。次いで、表情決定部515は、この正解を用いて特定識別モデルを構築し、構築したこの特定識別モデルによって、表情識別対象(例えばスマートフォン5のユーザの顔写真画像)の表情カテゴリを決定するのである。
The correct answer facial
変更態様として、スマートフォン5は、スマートフォン1の画像クラスタリング部113(図1)に対応する画像クラスタリング部513を備えていてもよい。この場合、クラスタリング処理はスマートフォン5で実施されるので、表情識別準備装置3に個人画像データを送信する必要はなくなる。
As a modification, the smartphone 5 may include an
以上説明したように、スマートフォン5では、少なくとも表情識別モデルを構築する処理を省略できる分、装置内で実行する情報処理量が格段に小さくて済む。言い換えれば、スマートフォン5は、携帯端末レベルのサイズ及び処理能力をもって表情識別を実現可能とするのである。 As described above, in the smartphone 5, at least the process of constructing the facial expression identification model can be omitted, and thus the amount of information processing executed in the device can be remarkably small. In other words, the smartphone 5 can realize facial expression recognition with the size and processing capability of a mobile terminal level.
なお、更なる他の実施形態として、スマートフォン5は、表情識別エンジン512、画像クラスタリング部513、正解表情決定部514及び表情決定部515のいずれも備えておらず、表情識別準備装置3がこれらの機能構成部を全て備えていてもよい。このような実施形態では、表情識別準備装置3が本発明に係る状態識別装置として機能する。
Note that, as still another embodiment, the smartphone 5 does not include any of the facial
具体的には、スマートフォン5のカメラ505で撮影された個人画像を受信した表情識別準備装置3は、表情識別モデルによるスコア決定処理だけでなく、クラスタリング処理及び個人画像についての正解決定処理、さらには、特定識別モデルによる個人画像の表情カテゴリの決定処理を実施する。表情識別準備装置3は、次いで、この決定された表情カテゴリに係る情報(表情識別結果)をスマートフォン5に送信し、当該情報を受信したスマートフォン5は、当該情報をアプリケーション521において利用するのである。
Specifically, the facial expression
ちなみに、上述したようなサーバ(表情識別準備装置3)から出力された表情識別結果を享受する端末は当然、スマートフォンに限定されるものではない。例えば、タブレット型コンピュータ、ノート型コンピュータや、PC(パーソナル・コンピュータ)であってもよく、さらには、IOT(Internet Of Things)環境での使用に適したデバイスとしてのシンクライアント(Thin client)端末等、種々の形態の端末を採用することが可能である。 Incidentally, the terminal that enjoys the facial expression identification result output from the server (facial expression identification preparation device 3) as described above is not limited to the smartphone. For example, it may be a tablet computer, a notebook computer, a PC (personal computer), and further, a thin client terminal as a device suitable for use in an IOT (Internet Of Things) environment. It is possible to adopt various types of terminals.
以上、詳細に説明したように、本発明によれば、表情識別器によって決定されるスコアだけに頼って表情を識別するのではなく、特定対象(例えば特定のユーザの顔)の対象情報(例えば写真画像)に対し、クラスタリング処理を利用して正解を予め決定する。これにより、この特定対象(特定のユーザの顔)の識別に適合した特定識別モデルを利用することができ、結果として、この特定対象の状態(特定ユーザの顔の表情)をより確実に識別することが可能となるのである。 As described above in detail, according to the present invention, the facial expression is not identified only by the score determined by the facial expression discriminator, but the target information (for example, the face of a specific user) of the specific target (for example, the face of a specific user) For a photograph image), a correct answer is determined in advance by using a clustering process. This makes it possible to use a specific identification model that is suitable for identifying the specific target (face of the specific user), and as a result, more reliably identify the state of the specific target (face expression of the specific user). It is possible.
特に、顔の表情を識別する場合、個人差や国・民族・居住地域差等が存在する表情を、これらの差異を考慮したモデルを構築することによって、より高い精度で識別することが可能となる。 In particular, when identifying facial expressions, it is possible to identify facial expressions that have individual differences, country / ethnicity / residential differences, etc. with higher accuracy by constructing a model that considers these differences. Become.
ちなみに、本発明に基づき、端末ユーザのような特定の個人の表情をより確実に識別し、そこで得られた高精度の表情識別結果を利用することによって、様々なサービスを提供可能なアプリケーション・プログラムを開発することもできる。そのようなアプリとして、例えば、この表情識別結果を利用して、対話している端末ユーザの感情(発話意図)を理解し、その応答内容を調整したり、当該ユーザとの対話内容をパーソナライズしたりすることが可能な対話AIアプリが挙げられる。 By the way, based on the present invention, an application program capable of providing various services by more surely identifying the facial expression of a specific individual such as a terminal user and using the highly accurate facial expression identification result obtained there. Can also be developed. As such an application, for example, the facial expression recognition result is used to understand the emotion (utterance intention) of the terminal user who is interacting, adjust the response content, and personalize the content of the interaction with the user. An interactive AI application that can be used is mentioned.
以上に述べた本発明の種々の実施形態について、本発明の技術思想及び見地の範囲内での種々の変更、修正及び省略は、当業者によれば容易に行うことができる。以上に述べた説明はあくまで例示であって、何ら制約を意図するものではない。本発明は、特許請求の範囲及びその均等物によってのみ制約される。 Various changes, modifications, and omissions of the various embodiments of the present invention described above within the technical idea and viewpoint of the present invention can be easily made by those skilled in the art. The above description is merely an example, and is not intended to impose any restrictions. The invention is limited only by the claims and their equivalents.
1、5 スマートフォン(状態識別装置)
101、501 通信インタフェース部
102 一般画像データベース
103 個人画像データベース
104 表情データ記憶部
105、505 カメラ
106、506 タッチパネル・ディスプレイ(TP・DP)
111、511 画像管理部
112、512 表情識別エンジン
112a 識別モデル学習部
112b、512b 表情スコア決定部
113、513 画像クラスタリング部
114、514 正解表情決定部
115、515 表情決定部
121、521 アプリケーション
2 画像管理サーバ
3 表情識別準備装置
1, 5 smartphone (state identification device)
101, 501
111, 511
Claims (9)
多数の対象情報に基づいて決定された識別モデルであって、取り得る複数の状態の各々である度合を示すスコアを出力する識別モデルを用いて、入力された対象情報から、該対象情報に係る対象が各状態をとり得る度合を示すスコアを決定するスコア決定手段と、
当該所定の対象のうちの状態識別対象である特定対象に係る複数の対象情報から決定された各状態のスコアに基づき、当該複数の対象情報を、当該スコアのなす空間で規定される複数のクラスタに分類するクラスタリング手段と、
当該複数のクラスタの各々に前記複数の状態の各々を対応付け、当該特定対象に係る対象情報が属するクラスタに対応付けられた状態を、該対象情報についての正解に決定する正解決定手段と、
当該特定対象に係る複数の対象情報について決定されたスコアと、当該複数の対象情報について決定された正解とに基づいて決定された特定識別モデルに対して、当該特定対象に係る1つの対象情報について決定されたスコアを入力し、その出力から、当該特定対象における該1つの対象情報に係る状態を決定する状態決定手段と
を有することを特徴とする状態識別装置。 A state identification device for identifying a state in which a predetermined target state is different in tendency to be manifested for each individual target or for each type of the target, based on target information related to the predetermined target. ,
Be identification model determined based on a number of target information using the identification model that outputs a score indicating the degree are each of a plurality of possible states, the target information input, according to the target information Score determination means for determining a score indicating the degree to which the subject can assume each state,
Based on a score of each state determined from a plurality of target information related to a specific target that is a state identification target of the predetermined target, the plurality of target information, a plurality of clusters defined in the space formed by the score Clustering means for classifying into
Associating each of each said plurality of the states of the plurality of clusters, a state in which target information related to the specific object has been correlated to belong cluster, a correct answer determination means for determining the correct answer for the target information,
About one target information related to the specific target, with respect to the specific identification model determined based on the score determined for the plurality of target information related to the specific target and the correct answer determined for the plurality of target information A state identification device, comprising: a state determination means for inputting the determined score and, from the output thereof, determining a state related to the one target information in the specific target.
多数の対象情報に基づいて決定された識別モデルを用いて、入力された対象情報から該対象情報に係る対象の状態を表すスコアを決定するスコア決定手段と、
当該所定の対象のうちの状態識別対象である特定対象に係る複数の対象情報から決定されたスコアに基づき、当該複数の対象情報を、各状態に対応付けられた複数のクラスタに分類した場合において、当該特定対象に係る対象情報が属するクラスタに対応する状態を、該対象情報についての正解に決定する正解決定手段と、
当該特定対象に係る複数の対象情報について決定されたスコアと、当該複数の対象情報について決定された正解とに基づいて決定された特定識別モデルであって、入力されたスコアから生成された特徴量のなす特徴量空間において各特徴量の点との距離が最大となる識別超平面を求める特定識別モデルに対して、当該特定対象に係る1つの対象情報について決定されたスコアを入力し、その出力から、当該特定対象における該1つの対象情報に係る状態を決定する状態決定手段と
を有することを特徴とする状態識別装置。 A state identification device for identifying a state in which a predetermined target state is different in tendency to be manifested for each individual target or for each type of the target, based on target information related to the predetermined target. ,
Using an identification model determined based on a large number of target information, score determination means for determining a score representing the state of the target related to the target information from the input target information,
Based on a score determined from a plurality of target information related to a specific target that is a state identification target of the predetermined target, when the plurality of target information is classified into a plurality of clusters associated with each state A correct answer determining unit that determines a state corresponding to a cluster to which the target information related to the specific target belongs, as a correct answer for the target information,
A specific identification model determined based on a score determined for a plurality of target information related to the specific target and a correct answer determined for the plurality of target information, and a feature amount generated from the input score For a specific identification model that obtains an identification hyperplane that maximizes the distance to each feature amount point in the feature amount space formed by, input the score determined for one piece of target information related to the specific target, and output it. from the state determining means that determine the state of the said one of the target information that put in the specific subject
You wherein state identification device that has a.
多数の対象情報に基づいて決定された識別モデルを用いて、入力された対象情報から該対象情報に係る対象の状態を表すスコアを決定するスコア決定手段と、
当該所定の対象のうちの状態識別対象である特定対象に係る複数の対象情報から決定されたスコアに基づき、当該複数の対象情報を、各状態に対応付けられた複数のクラスタに分類した場合において、当該特定対象に係る対象情報が属するクラスタに対応する状態を、該対象情報についての正解に決定する正解決定手段と、
当該特定対象に係る複数の対象情報について決定されたスコアと、当該複数の対象情報について決定された正解とに基づいて決定された特定識別モデルであって、入力されたスコアに対する重み付け係数を含んでおり、決定された正解に係る状態と、当該モデルの出力との誤差を減少させるように当該重み付け係数を更新する特定識別モデルに対して、当該特定対象に係る1つの対象情報について決定されたスコアを入力し、その出力から、当該特定対象における該1つの対象情報に係る状態を決定する状態決定手段と
を有することを特徴とする状態識別装置。 A state identification device for identifying a state in which a predetermined target state is different in tendency to be manifested for each individual target or for each type of the target, based on target information related to the predetermined target. ,
Using an identification model determined based on a large number of target information, score determination means for determining a score representing the state of the target related to the target information from the input target information,
Based on a score determined from a plurality of target information related to a specific target that is a state identification target of the predetermined target, when the plurality of target information is classified into a plurality of clusters associated with each state A correct answer determining unit that determines a state corresponding to a cluster to which the target information related to the specific target belongs, as a correct answer for the target information,
A score determined for a plurality of object information related to the specific object, a specific identification model determined based on the correct answer determined for the plurality of target information, including Nde weighting coefficients for the input score The score determined for one piece of target information related to the specific target for the specific identification model that updates the weighting coefficient so as to reduce the error between the state of the determined correct answer and the output of the model . enter a, from the output, and a state determining means for determining a state of the said one of the target information that put in the specific subject
You wherein state identification device that has a.
当該特定対象は、その表情を識別する対象である個人、又はその表情を識別する対象である人間の属する所定の属性集団であり、
前記状態決定手段は、当該個人又は当該属性集団に属する人間の顔の表情の画像情報に基づいて、当該画像情報に係る顔に現れた表情を識別する
ことを特徴とする請求項1から3のいずれか1項に記載の状態識別装置。 The predetermined target is a human face, the state is a facial expression, the target information is information related to a human face image,
The specific object is a predetermined attribute group to which an individual whose facial expression is to be identified, or a human who is the target whose facial expression is to be identified,
Said state determining means, humans belonging to the individual or the population of attributes based on the facial expression image information of the face, of claims 1 to 3, characterized in that identifying the expression that appeared on the face related to the image information The state identification device according to any one of items.
多数の対象情報に基づいて決定された識別モデルであって、取り得る複数の状態の各々である度合を示すスコアを出力する識別モデルを用いて、入力された対象情報から、該対象情報に係る対象が各状態をとり得る度合を示すスコアを決定するスコア決定手段と、
当該所定の対象のうちの状態識別対象である特定対象に係る複数の対象情報から決定された各状態のスコアに基づき、当該複数の対象情報を、当該スコアのなす空間で規定される複数のクラスタに分類するクラスタリング手段と、
当該複数のクラスタの各々に前記複数の状態の各々を対応付け、当該複数のクラスタの中心のうち、当該特定対象に係る1つの対象情報について決定されたスコアとの距離が最も小さい中心を有するクラスタに対応付けられた状態を、該1つの対象情報に係る状態に決定する状態決定手段と
を有することを特徴とする状態識別装置。 A state identification device for identifying a state in which a predetermined target state is different in tendency to be manifested for each individual target or for each type of the target, based on target information related to the predetermined target. ,
Be identification model determined based on a number of target information using the identification model that outputs a score indicating the degree are each of a plurality of possible states, the target information input, according to the target information Score determination means for determining a score indicating the degree to which the subject can assume each state,
Based on a score of each state determined from a plurality of target information related to a specific target that is a state identification target of the predetermined target, the plurality of target information, a plurality of clusters defined in the space formed by the score Clustering means for classifying into
A cluster having the smallest distance from the score determined for one piece of target information related to the specific target among the centers of the plurality of clusters, each of the plurality of clusters being associated with each of the plurality of states the state of being correlated to, state identification device, characterized in that it comprises a state determining means for determining the state of the said one of the target information.
多数の対象情報に基づいて決定された識別モデルであって、取り得る複数の状態の各々である度合を示すスコアを出力する識別モデルを用いて、入力された対象情報から、該対象情報に係る対象が各状態をとり得る度合を示すスコアを決定するスコア決定手段と、
当該所定の対象のうちの状態識別対象である特定対象に係る複数の対象情報から決定された各状態のスコアに基づき、当該複数の対象情報を、当該スコアのなす空間で規定される複数のクラスタに分類するクラスタリング手段と、
当該複数のクラスタの各々に前記複数の状態の各々を対応付け、当該特定対象に係る対象情報が属するクラスタに対応付けられた状態を、該対象情報についての正解に決定する正解決定手段と、
当該特定対象に係る複数の対象情報について決定されたスコアと、当該複数の対象情報について決定された正解とに基づいて決定された特定識別モデルに対して、当該特定対象に係る1つの対象情報について決定されたスコアを入力し、その出力から、当該特定対象における該1つの対象情報に係る状態を決定する状態決定手段と
してコンピュータを機能させることを特徴とする状態識別プログラム。 A computer mounted on a device that identifies a state of a predetermined target, which is different in tendency to occur for each individual target or for each type of the target, based on target information related to the predetermined target Is an evaluation and estimation program that makes
Be identification model determined based on a number of target information using the identification model that outputs a score indicating the degree are each of a plurality of possible states, the target information input, according to the target information Score determination means for determining a score indicating the degree to which the subject can assume each state,
Based on a score of each state determined from a plurality of target information related to a specific target that is a state identification target of the predetermined target, the plurality of target information, a plurality of clusters defined in the space formed by the score Clustering means for classifying into
Associating each of each said plurality of the states of the plurality of clusters, a state in which target information related to the specific object has been correlated to belong cluster, a correct answer determination means for determining the correct answer for the target information,
About one target information related to the specific target, with respect to the specific identification model determined based on the score determined for the plurality of target information related to the specific target and the correct answer determined for the plurality of target information A state identification program, characterized in that a computer is made to function as a state determination means for inputting the determined score and determining the state related to the one target information in the specific target from the output thereof.
多数の対象情報に基づいて決定された識別モデルであって、取り得る複数の状態の各々である度合を示すスコアを出力する識別モデルを用いて、入力された対象情報から、該対象情報に係る対象が各状態をとり得る度合を示すスコアを決定するステップと、
当該所定の対象のうちの状態識別対象である特定対象に係る複数の対象情報から決定された各状態のスコアに基づき、当該複数の対象情報を、当該スコアのなす空間で規定される複数のクラスタに分類するステップと、
当該複数のクラスタの各々に前記複数の状態の各々を対応付け、当該特定対象に係る対象情報が属するクラスタに対応付けられた状態を、該対象情報についての正解に決定するステップと、
当該特定対象に係る複数の対象情報について決定されたスコアと、当該複数の対象情報について決定された正解とに基づいて決定された特定識別モデルに対して、当該特定対象に係る1つの対象情報について決定されたスコアを入力し、その出力から、当該特定対象における該1つの対象情報に係る状態を決定するステップと
を有することを特徴とする状態識別方法。 A computer mounted on a device that identifies a state of a predetermined target, which is different in tendency to occur for each individual target or for each type of the target, based on target information related to the predetermined target A state identification method implemented in
Be identification model determined based on a number of target information using the identification model that outputs a score indicating the degree are each of a plurality of possible states, the target information input, according to the target information Determining a score indicating the degree to which the subject can assume each state,
Based on a score of each state determined from a plurality of target information related to a specific target that is a state identification target of the predetermined target, the plurality of target information, a plurality of clusters defined in the space formed by the score A step of classifying into
Associating each of said plurality of states in each of the plurality of clusters, a state in which target information related to the specific object has been correlated to belong cluster, determining the correct answer for the target information,
About one target information related to the specific target, with respect to the specific identification model determined based on the score determined for the plurality of target information related to the specific target and the correct answer determined for the plurality of target information Inputting the determined score, and determining the state related to the one piece of target information in the specific target from the output thereof, the state identifying method.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016178294A JP6697356B2 (en) | 2016-09-13 | 2016-09-13 | Device, program and method for identifying state of specific object among predetermined objects |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016178294A JP6697356B2 (en) | 2016-09-13 | 2016-09-13 | Device, program and method for identifying state of specific object among predetermined objects |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2018045350A JP2018045350A (en) | 2018-03-22 |
JP6697356B2 true JP6697356B2 (en) | 2020-05-20 |
Family
ID=61694930
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016178294A Active JP6697356B2 (en) | 2016-09-13 | 2016-09-13 | Device, program and method for identifying state of specific object among predetermined objects |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6697356B2 (en) |
Families Citing this family (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7007244B2 (en) | 2018-07-09 | 2022-01-24 | 株式会社シマノ | Creation device, component control device, creation method, component control method, computer program and learning model |
WO2020129959A1 (en) * | 2018-12-18 | 2020-06-25 | グリー株式会社 | Computer program, server device, terminal device, and display method |
KR102253572B1 (en) * | 2019-01-17 | 2021-05-18 | 조선대학교산학협력단 | Ensemble network-based data learning method and person identification method |
JP7279526B2 (en) | 2019-05-31 | 2023-05-23 | 富士通株式会社 | Analysis program, analysis device and analysis method |
JP7323694B2 (en) * | 2019-08-29 | 2023-08-08 | 株式会社奥村組 | Structure deterioration diagnosis method |
JP7219192B2 (en) * | 2019-08-29 | 2023-02-07 | 株式会社奥村組 | Structure deterioration diagnosis method |
JP7419711B2 (en) * | 2019-09-09 | 2024-01-23 | 株式会社ソシオネクスト | Quantization parameter optimization method and quantization parameter optimization device |
CN111104846B (en) * | 2019-10-16 | 2022-08-30 | 平安科技(深圳)有限公司 | Data detection method and device, computer equipment and storage medium |
JP7363382B2 (en) | 2019-11-05 | 2023-10-18 | 富士通株式会社 | Analysis equipment, analysis program and analysis method |
JP7363383B2 (en) | 2019-11-05 | 2023-10-18 | 富士通株式会社 | Analysis equipment, analysis program and analysis method |
JP7351186B2 (en) | 2019-11-05 | 2023-09-27 | 富士通株式会社 | Analysis equipment, analysis program and analysis method |
JP7363384B2 (en) | 2019-11-05 | 2023-10-18 | 富士通株式会社 | Analysis equipment, analysis program and analysis method |
JP7511352B2 (en) | 2020-02-03 | 2024-07-05 | キヤノン株式会社 | Information processing system, imaging device, and control method and program thereof |
CN111723730B (en) * | 2020-06-18 | 2023-08-22 | 中国银行股份有限公司 | Method for predicting number of target objects and related equipment |
CN111898548B (en) * | 2020-07-31 | 2023-07-28 | 平安科技(深圳)有限公司 | Visitor identity authentication method and device based on machine learning and computer equipment |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH10187651A (en) * | 1996-12-19 | 1998-07-21 | Matsushita Electric Ind Co Ltd | Learning type recognition and judgement device |
JP4197019B2 (en) * | 2006-08-02 | 2008-12-17 | ソニー株式会社 | Imaging apparatus and facial expression evaluation apparatus |
JP2008146137A (en) * | 2006-12-06 | 2008-06-26 | Seiko Epson Corp | Image recognition device, electronic device, image recognition method, control program, and record medium |
JP4417951B2 (en) * | 2006-12-28 | 2010-02-17 | 株式会社東芝 | Device monitoring method and device monitoring system |
JP2011171792A (en) * | 2010-02-16 | 2011-09-01 | Seiko Epson Corp | Image photographing device, image photographing method and control program |
JP5771127B2 (en) * | 2011-11-15 | 2015-08-26 | 日本放送協会 | Attention level estimation device and program thereof |
JP2013126206A (en) * | 2011-12-16 | 2013-06-24 | Sony Corp | Information processor, information processing method, and program |
-
2016
- 2016-09-13 JP JP2016178294A patent/JP6697356B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
JP2018045350A (en) | 2018-03-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6697356B2 (en) | Device, program and method for identifying state of specific object among predetermined objects | |
Mollahosseini et al. | Affectnet: A database for facial expression, valence, and arousal computing in the wild | |
US10747989B2 (en) | Systems and/or methods for accelerating facial feature vector matching with supervised machine learning | |
CN112990054B (en) | Compact linguistics-free facial expression embedding and novel triple training scheme | |
US10019653B2 (en) | Method and system for predicting personality traits, capabilities and suggested interactions from images of a person | |
US9542419B1 (en) | Computer-implemented method for performing similarity searches | |
US12035005B2 (en) | Sensitivity assessment for media production using artificial intelligence | |
JP6240916B2 (en) | Identifying text terms in response to visual queries | |
Yang et al. | Benchmarking commercial emotion detection systems using realistic distortions of facial image datasets | |
Do et al. | Deep neural network-based fusion model for emotion recognition using visual data | |
AU2007325117A2 (en) | Identifying images using face recognition | |
CN111260754A (en) | Face image editing method and device and storage medium | |
CN108959323B (en) | Video classification method and device | |
Kember | Face recognition and the emergence of smart photography | |
JP2018116589A (en) | State identification device, program and method using changed image group of object image | |
Aminbeidokhti et al. | Emotion recognition with spatial attention and temporal softmax pooling | |
Xinhan | Intelligent analysis of classroom student state based on neural network algorithm and emotional feature recognition | |
KR20180049791A (en) | Method of filtering a plurality of messages and apparatus thereof | |
CN113705310A (en) | Feature learning method, target object identification method and corresponding device | |
CN112989922A (en) | Face recognition method, device, equipment and storage medium based on artificial intelligence | |
JP2012194691A (en) | Re-learning method and program of discriminator, image recognition device | |
Dinh et al. | Social Relation Trait Discovery from Visual LifeLog Data with Facial Multi-Attribute Framework. | |
CN114708449A (en) | Similar video determination method, and training method and device of example characterization model | |
Upadhyay et al. | Face Recognition Using EfficientNet | |
JP5931021B2 (en) | Personal recognition tendency model learning device, personal recognition state estimation device, personal recognition tendency model learning method, personal recognition state estimation method, and program |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20181101 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20190905 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20191004 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20191125 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20200408 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20200424 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6697356 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |