JP5931021B2 - Personal recognition tendency model learning device, personal recognition state estimation device, personal recognition tendency model learning method, personal recognition state estimation method, and program - Google Patents
Personal recognition tendency model learning device, personal recognition state estimation device, personal recognition tendency model learning method, personal recognition state estimation method, and program Download PDFInfo
- Publication number
- JP5931021B2 JP5931021B2 JP2013162921A JP2013162921A JP5931021B2 JP 5931021 B2 JP5931021 B2 JP 5931021B2 JP 2013162921 A JP2013162921 A JP 2013162921A JP 2013162921 A JP2013162921 A JP 2013162921A JP 5931021 B2 JP5931021 B2 JP 5931021B2
- Authority
- JP
- Japan
- Prior art keywords
- interpersonal
- recognition
- tendency
- subjective
- observer
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Image Analysis (AREA)
Description
この発明は、複数の観察者が人物の状態をどのように解釈するかの傾向を学習し、特定の観察者が人物の状態をどのように解釈するかを推定する技術に関する。 The present invention relates to a technique for learning a tendency of how a plurality of observers interpret a person's state and estimating how a specific observer interprets the person's state.
対面での対話は、情報の伝達や共有、他者の気持ちの理解、意思決定などを行う際の最も基本的な形態のコミュニケーションである。しかし、うまく対話を行うことは必ずしも容易なことではなく、意思疎通における些細な齟齬から対人関係を損じることも少なくない。そのため、機械を介した対話や対話エージェントといった情報技術による対話の質や効率の改善が望まれている。これを実現するためには、表情やジェスチャといった対話者の行動を認識するのみならず、対話者の感情や人格、あるいは対話者間の関係性なども理解する必要がある。自動対話分析の研究も行動の自動認識から始まったが、近年ではこのような対話者の内部状態の推定へと移行してきている。 Face-to-face dialogue is the most basic form of communication when communicating and sharing information, understanding other people's feelings, and making decisions. However, it is not always easy to have a good dialogue, and it is often the case that personal relationships are damaged by trivial traps in communication. Therefore, it is desired to improve the quality and efficiency of dialogue by information technology such as dialogue through machines and dialogue agents. In order to realize this, it is necessary not only to recognize the behavior of the interlocutor, such as facial expressions and gestures, but also to understand the emotion and personality of the interlocutor and the relationship between the interlocutors. Research on automatic dialog analysis began with automatic recognition of behavior, but in recent years it has shifted to the estimation of the internal state of such a dialog.
コミュニケーションの場面では、対話者の内部状態には二つの異なる側面がある。一つは、真の状態、すなわち、実際に本人たちの内部で生じている状態という側面である。もう一つは、認知状態、すなわち、他者にどのように解釈されるかという側面である。これまでの大半の研究は、真の状態の推定を目指してきた。しかし、特に、行動を介した内部状態の表出とそこからの内部状態の認知が繰り返される対話の場面においては、認知状態も非常に重要である。 In communication situations, there are two different aspects to the internal state of the interlocutor. One is the aspect of the true state, that is, the state that actually occurs within the individuals. The other is the aspect of cognitive status, that is, how it is interpreted by others. Most studies so far have aimed at estimating the true state. However, the cognitive state is also very important, especially in a dialogue scene where the internal state is expressed through actions and the internal state is recognised.
近年、感性情報工学分野では、情動や気分などの認知状態を推定することが注目されてきている。従来研究は、専ら認知状態とその認知される人物の言語/非言語行動との関連付けを行ってきた。例えば、対象人物が笑顔を浮かべていたらその認知状態は幸福となるといった具合である。このとき、観察者がどう解釈するかは主観的、すなわち観察者次第であり、大きな解釈の偏差を含んでいることが過去の心理学の研究で明らかにされている。そこで、従来研究では、この主観性や偏差を排除するため、複数の観察者から解釈を集め、その代表値(例えば、日本人や30代の男性/女性などの平均値や最頻値)を客観的解釈としてそれを正しく推定しようとする試みがなされてきた。対話者の内部状態についての客観的解釈をその対話者の行動から推定する技術として、例えば、特許文献1に記載の技術が存在する。
In recent years, in the field of Kansei information engineering, it has been attracting attention to estimate a cognitive state such as emotion and mood. Previous studies have exclusively associated cognitive status with the language / non-verbal behavior of the perceived person. For example, if the target person has a smiling face, the recognition state becomes happy. At this time, how the observer interprets is subjective, that is, depends on the observer, and past psychological studies have revealed that it includes a large deviation in interpretation. Therefore, in the conventional research, in order to eliminate this subjectivity and deviation, we gathered interpretations from a plurality of observers, and used representative values (for example, average values or mode values of Japanese and men / women in their 30s). Attempts have been made to correctly estimate it as an objective interpretation. As a technique for estimating an objective interpretation of a conversation person's internal state from the action of the conversation person, for example, a technique described in
従来技術では、ある特定の観察者の解釈がどのように偏るか、さらに、ある認知の対象に対してどのように解釈するか、といったある一人の観察者の主観的な解釈を推定したい場合には、その観察者の解釈のラベルを使った教師あり学習でもってモデルを学習することが必要であった。つまり、従来技術の多くは、ある特定の観察者の解釈がどのように偏るか、さらに、ある認知の対象に対してどのように解釈するか、といったある一人の観察者の主観的な解釈を、その観察者の解釈情報を用いずに推定できるには至っていないと言える。 In the prior art, when you want to estimate the subjective interpretation of a single observer, such as how the interpretation of a particular observer is biased, and how to interpret for a certain cognitive object Needed to learn the model with supervised learning using the observer's interpretation label. In other words, many of the prior arts use a single observer's subjective interpretation, such as how a particular observer's interpretation is biased, and how to interpret a certain cognitive object. Therefore, it can be said that it cannot be estimated without using the interpretation information of the observer.
対話中の二者の共感状態が外部観察者の集団からどのように解釈されるかの分布、すなわち、共感状態を{共感/反感/どちらでもない}の3状態として、ある対話を共感状態のそれぞれと解釈する観察者の割合の分布を推定する方法が複数提案されている。しかし、従来モデルの大半は観察者の個人的な特性を全く考慮していないため、特定の観察者の主観的な解釈は推定できない。 The distribution of how the two sympathetic states in the dialogue are interpreted from a group of external observers, that is, the sympathetic state is defined as three states of {sympathy / antisense / neither}, Several methods have been proposed for estimating the distribution of the percentage of observers interpreted as each. However, since most of the conventional models do not consider the personal characteristics of the observer at all, the subjective interpretation of a specific observer cannot be estimated.
この発明の目的は、ある人物の感情や対話中の人物間の関係性などの内部状態について、特定の観察者が持つ主観的な解釈を正しく推定することである。 An object of the present invention is to correctly estimate a subjective interpretation of a specific observer with respect to an internal state such as an emotion of a certain person and a relationship between persons in conversation.
上記の課題を解決するために、この発明の一態様である対人認知傾向モデル学習装置は、対人認知ラベリング部、行動認識部、観察者特性入力部、客観的行動認知傾向モデル学習部及び主観的対人認知傾向モデル学習部を含む。対人認知ラベリング部は、複数の観察者が少なくとも一人の人物を撮影した学習用映像に基づいて学習用映像中の人物の状態を解釈した対人認知状態を時系列にラベル付けした解釈ラベル集合を生成する。観察者特性入力部は、複数の観察者それぞれの個人特性を表す観察者特性を入力する。客観的行動認知傾向モデル学習部は、解釈ラベル集合及び学習用行動時系列を用いて、行動時系列が与えられたもとでの対人認知状態の尤度を表す客観的行動認知傾向モデルのパラメタを学習する。主観的対人認知傾向モデル学習部は、観察者特性及び解釈ラベル集合を用いて、個人特性が与えられたもとでの対人認知状態の尤度を表す主観的対人認知傾向モデルのパラメタを学習する。 In order to solve the above problems, an interpersonal recognition tendency model learning device according to an aspect of the present invention includes an interpersonal recognition labeling unit, an action recognition unit, an observer characteristic input unit, an objective behavior recognition tendency model learning unit, and a subjective Includes an interpersonal cognitive tendency model learning section. Interpersonal cognitive labeling unit generates a set of interpretation labels that time-sequentially label the interpersonal cognitive state based on the video for learning taken by multiple observers and captured the state of the person in the video for learning To do. The observer characteristic input unit inputs observer characteristics representing individual characteristics of the plurality of observers. The objective behavior recognition tendency model learning unit learns the parameters of the objective behavior recognition trend model that represents the likelihood of the state of human recognition given the behavior time series using the interpretation label set and the behavior time series for learning. To do. The subjective personal recognition tendency model learning unit learns a parameter of a subjective personal recognition tendency model representing the likelihood of the personal recognition state given the personal characteristics, using the observer characteristics and the interpretation label set.
この発明の他の態様である対人認知状態推定装置は、主観的対人認知傾向モデル記憶部、客観的行動認知傾向モデル記憶部、主観的対人認知傾向推定部、客観的行動認知傾向推定部及び主観的対人認知状態推定部を含む。主観的対人認知傾向モデル記憶部は、対人認知傾向モデル学習装置により学習された主観的対人認知傾向モデルを記憶する。客観的行動認知傾向モデル記憶部は、対人認知傾向モデル学習装置により学習された客観的行動認知傾向モデルを記憶する。主観的対人認知傾向推定部は、主観的対人認知傾向モデルを用いて、入力された対象観察者の個人特性から対象観察者の主観的対人認知傾向を求める。客観的行動認知傾向推定部は、客観的行動認知傾向モデルを用いて、少なくとも一人の人物を撮影した推定用映像に基づいて推定用映像中の人物の行動を時系列にラベル付けした推定用行動時系列から客観的行動認知傾向を求める。主観的対人認知状態推定部は、主観的対人認知傾向及び客観的行動認知傾向を用いて主観的対人認知状態推定結果を求める。 The interpersonal cognitive state estimation apparatus according to another aspect of the present invention includes a subjective interpersonal recognition tendency model storage unit, an objective behavior recognition tendency model storage unit, a subjective interpersonal recognition tendency estimation unit, an objective behavior recognition tendency estimation unit, and a subjective Includes an interpersonal cognitive state estimation unit. The subjective personal recognition tendency model storage unit stores the subjective personal recognition tendency model learned by the personal recognition tendency model learning device. The objective behavior recognition tendency model storage unit stores the objective behavior recognition tendency model learned by the interpersonal recognition tendency model learning device. The subjective personal recognition tendency estimation unit obtains the subjective personal recognition tendency of the target observer from the input individual characteristics of the target observer using a subjective personal recognition tendency model. The objective behavior recognition trend estimator uses the objective behavior recognition trend model to estimate the behavior of the person in the video for estimation based on the video for estimation taken of at least one person in time series. The objective behavior recognition tendency is obtained from the time series. The subjective person recognition state estimation unit obtains a subjective person recognition state estimation result using the subjective person recognition tendency and the objective behavior recognition tendency.
この発明によれば、ある人物の感情や対話中の人物間の関係性などの内部状態について、特定の観察者が持つ主観的な解釈を正しく推定することができる。 According to the present invention, it is possible to correctly estimate a subjective interpretation of a specific observer with respect to an internal state such as an emotion of a certain person and a relationship between persons in conversation.
以下、この発明の実施の形態について詳細に説明する。なお、図面中において同じ機能を有する構成部には同じ番号を付し、重複説明を省略する。 Hereinafter, embodiments of the present invention will be described in detail. In addition, the same number is attached | subjected to the component which has the same function in drawing, and duplication description is abbreviate | omitted.
[発明のポイント]
実施形態の説明に先立ち、この発明のポイントについて説明する。この発明における一番のポイントは、観察者の主観的対人認知傾向と、その観察者の個人特性(例えば、性別や心理尺度スコア)とを関連付けるモデルを構築する点である。ここで、主観的対人認知傾向というのは、ある観察者が他者の内部状態をどう解釈するのかの傾向のことであり、ここでは、対人認知傾向を一次元の確率分布として表現する。例えば、肯定的あるいは否定的に偏った解釈をしやすい、または中立的な解釈をしやすい(中心化傾向)、あるいは中立的な解釈を避けやすい(極端反応傾向)といった傾向が挙げられる。
[Points of Invention]
Prior to the description of the embodiments, the points of the present invention will be described. The most important point in the present invention is to construct a model that associates an observer's subjective interpersonal tendency and the observer's personal characteristics (for example, gender and psychological scale score). Here, the subjective interpersonal recognition tendency is a tendency of how an observer interprets the other person's internal state, and here, the interpersonal recognition tendency is expressed as a one-dimensional probability distribution. For example, there is a tendency that a positive or negative biased interpretation is easy, a neutral interpretation is easy (centralization tendency), or a neutral interpretation is easy to avoid (extreme reaction tendency).
後述する実施形態では、観察者の人格を直接観測できない潜在変数として表現し、各観察者の人格を学習データから自動的に獲得した典型的な観察者の人格(以下、典型的人格と呼ぶ)の混合によって表現する。典型的人格は対人認知傾向及び個人特性についてそれぞれ固有のパラメタを持っており、それらのパラメタから対人認知傾向及び個人特性を確率的に決定するものと仮定する。 In an embodiment to be described later, the observer's personality is expressed as a latent variable that cannot be directly observed, and each observer's personality is automatically acquired from the learning data (hereinafter referred to as a typical personality). Expressed by a mixture of It is assumed that a typical personality has unique parameters for personal cognitive tendency and personal characteristics, and the personal cognitive tendency and personal characteristics are determined probabilistically from these parameters.
このような確率モデルに基づき推定される主観的対人認知傾向を事前情報とし、既存技術により推定される客観的行動認知傾向を事後情報として組み合わせることで、その観察者が他者の感情をどう解釈するのかを推定できるようになる。客観的行動認知傾向とは、観察者集団が他者の行動から感情を解釈するときにどうばらつくかの傾向である。これを可能とするために次の二つの仮定を設けている。一つは、観察者の主観的解釈が他者の行動の間でどう変化するのかは観察者に関わらず一定であるという仮定である。例えば、他者の笑顔と怒り顔の間での解釈が相対的にどの程度変化するかは観察者によらず一定であるということである。もう一つの仮定は、観察者によって解釈のバイアス(主観的対人認知傾向)が異なるということである。この二つの仮定により、他者のある行動を見たときの観察者の解釈が観察者の間で異なるということが言える。 By combining the subjective interpersonal cognitive tendency estimated based on such a probabilistic model as prior information and the objective behavioral cognitive tendency estimated by existing technology as posterior information, the observer interprets the feelings of others. You will be able to estimate what to do. The objective behavior recognition tendency is the tendency of the observer group to vary when interpreting emotions from the behavior of others. To make this possible, the following two assumptions are made. One is the assumption that how the observer's subjective interpretation changes between the actions of others is constant regardless of the observer. For example, the relative change in the interpretation between another person's smile and angry face is constant regardless of the observer. Another assumption is that the observers have different interpretation biases (subjective personal perceptions). With these two assumptions, it can be said that the observer's interpretation differs when the observer sees certain actions of others.
なお、対象とする対人認知傾向としては、名義尺度(カテゴリカルデータ)、順序尺度、間隔尺度及び比例尺度のいずれの尺度のデータも適用可能である。また、心理尺度については、既存の心理アンケートから測定したスコアとすればよい。 In addition, as a target interpersonal recognition tendency, data of any scale of nominal scale (categorical data), order scale, interval scale, and proportional scale can be applied. The psychological scale may be a score measured from an existing psychological questionnaire.
この発明では、推定の対象とする人物の内部状態は、喜びや怒り、悲しみといった一人の人物の基本感情であってもよいし、共感や反感などの二者もしくは三者以上の対話の状態であってもよい。後述する実施形態では、対話における二者間の共感/反感の状態を対象とする。対話中の共感や反感は、同調圧力(大勢の他者が自分とは異なる同じ意見を持っているときには、それに従わなければならないと感じること)に深く関わり、合意形成や人間関係を構築する上での基本要素である。 In the present invention, the internal state of the person to be estimated may be a basic emotion of one person such as joy, anger, and sadness, or in a state of dialogue of two or more parties such as empathy and antipathy. There may be. In an embodiment described later, a state of empathy / antisense between two parties in a dialogue is targeted. The empathy and antipathy during the dialogue is deeply related to the pressure of entrainment (the feeling that many others have to follow when they have the same opinion different from their own), and helps build consensus building and relationships. Is the basic element.
[実施形態]
この発明の一つの実施形態は、観察者集団が学習用映像を解釈した結果に基づいて主観的対人認知傾向モデルを学習する対人認知傾向モデル学習装置と、学習した対人認知傾向モデルを用いて特定の観察者が推定用映像中の人物の内部状態を解釈した結果を推定する対人認知状態推定装置とからなる。対人認知傾向モデル学習装置と対人認知状態推定装置とは、必ずしも別々の装置である必要はなく、各装置の含む各部を重複なく含む一台の装置として構成することも可能である。
[Embodiment]
One embodiment of the present invention relates to a personal recognition tendency model learning device that learns a subjective personal recognition tendency model based on a result obtained by an observer group interpreting a learning video, and specified using the learned personal recognition tendency model And an interpersonal recognition state estimation device that estimates the result of interpretation of the internal state of the person in the estimation video. The interpersonal recognition tendency model learning device and the interpersonal recognition state estimation device do not necessarily need to be separate devices, and can be configured as a single device including each unit included in each device without duplication.
<対人認知傾向モデル学習装置>
図1を参照して、実施形態に係る対人認知傾向モデル学習装置の機能構成の一例を説明する。対人認知傾向モデル学習装置は、一人以上の人物を撮影した映像や、その映像に基づいて複数の観察者が人手により付与した解釈ラベルなどを中間出力しつつ、最終的に主観的対人認知傾向モデルのパラメタ及び客観的行動認知傾向モデルのパラメタを出力する装置である。
<Personal cognitive tendency model learning device>
With reference to FIG. 1, an example of a functional configuration of the interpersonal recognition tendency model learning device according to the embodiment will be described. The interpersonal cognitive tendency model learning device finally outputs a subjective interpersonal tendency model while intermediately outputting images of one or more persons photographed and interpretation labels manually assigned by a plurality of observers based on the images. This is a device that outputs the parameters and objective behavior recognition tendency model parameters.
実施形態に係る対人認知傾向モデル学習装置1は、映像入力部10、対人認知ラベリング部11、観察者特性入力部12、行動認識部13、主観的対人認知傾向モデル学習部14、客観的行動認知傾向モデル学習部15、主観的対人認知傾向モデル記憶部20及び客観的行動認知傾向モデル記憶部21を含む。対人認知傾向モデル学習装置1は、例えば、中央演算処理装置(Central Processing Unit、CPU)、主記憶装置(Random Access Memory、RAM)などを有する公知又は専用のコンピュータに特別なプログラムが読み込まれて構成された特別な装置である。対人認知傾向モデル学習装置1は、例えば、中央演算処理装置の制御のもとで各処理を実行する。対人認知傾向モデル学習装置1に入力されたデータや各処理で得られたデータは、例えば、主記憶装置に格納され、主記憶装置に格納されたデータは必要に応じて読み出されて他の処理に利用される。対人認知傾向モデル学習装置1が備える各記憶部は、例えば、RAM(Random Access Memory)などの主記憶装置、ハードディスクや光ディスクもしくはフラッシュメモリ(Flash Memory)のような半導体メモリ素子により構成される補助記憶装置、またはリレーショナルデータベースやキーバリューストアなどのミドルウェアにより構成することができる。対人認知傾向モデル学習装置1が備える各記憶部は、それぞれ論理的に分割されていればよく、一つの物理的な記憶装置に記憶されていてもよい。
The interpersonal recognition tendency
図2を参照して、対人認知傾向モデル学習方法の処理フローの一例を、実際に行われる手続きの順に従って説明する。 With reference to FIG. 2, an example of the processing flow of the interpersonal recognition tendency model learning method will be described according to the order of procedures actually performed.
ステップS10において、映像入力部10は、一人以上の人物を撮影した学習用映像を入力して記憶する。学習用映像は主観的対人認知傾向モデル及び客観的行動認知傾向モデルの学習に用いられる映像であり、学習に十分な分量の映像である必要がある。撮影対象が複数人対話である場合、各対話者について一台のカメラを用意してもよいし、魚眼レンズを用いるなどした全方位カメラ一台で対話者全員を撮影してもよい。撮影した映像はハードディスクドライブ(Hard Disk Drive、HDD)等の媒体に記憶される。さらに、対話映像中に三者以上が含まれている場合は、二者がインタラクションを行っているシーンを全て抽出する。対話映像が二者による対話であれば映像を分割する必要はない。また、他者状態として、基本感情などある一人の内部状態を対象とする場合は、対話者一人ずつを抽出すればよい。分割した結果は、各シーンを個別の映像ファイルとして出力してもよいし、元の対話映像中からシーンを切り出す時刻及び位置の情報を記録しておいてもよい。以降の対人認知傾向モデル学習装置の処理では、映像中のすべてのシーンに対してそれぞれ処理を行うものとする。
In step S10, the
ステップS11において、対人認知ラベリング部11は、学習用映像の各シーンを複数の観察者(以下、学習用観察者集団と呼ぶ)に提示し、各観察者はそれぞれのシーンに対して、{共感/反感/どちらでもない}のうちの一つの解釈を示すラベルを付与する。以下、複数の観察者それぞれが付与した解釈ラベルの結果全体を解釈ラベル集合と呼ぶ。生成した解釈ラベル集合は、主観的対人認知傾向モデル学習部14及び客観的行動認知傾向モデル学習部15へ出力される。
In step S11, the interpersonal
ステップS12において、観察者特性入力部12は、観察者の個人特性(性別及び心理尺度スコア)を入力する。入力された観察者の個人特性は、主観的対人認知傾向モデル学習部14へ出力される。心理尺度スコアについては、心理アンケートを提示してそれぞれの質問に対する回答を入力してスコアを自動で計算する。あるいは、あらかじめアンケート用紙などを用いてスコアを計算しておき、そのスコアを入力してもよい。観察者特性入力部12で対象とする観察者は、対人認知ラベリング部11にて解釈のラベル付けを行った学習用観察者集団である。後述する対人認知状態推定装置の処理では、対象とする観察者は、推定の対象とする観察者である。推定の対象とする観察者は学習用観察者集団に含まれていてもよいし、含まれていなくてもよい。
In step S12, the observer
観察者の個人特性についてより詳細に説明する。心理尺度として、例えば、主要5因子性格検査(BigFive性格検査)、及びDavisのInterpersonal Reactivity Index(IRI)を使用することができる。なお、この発明では、計算機で処理可能な範囲において定量化された任意の数の任意の特性を使用することが可能である。例えば、BigFive性格検査は、「外向性」、「情緒不安定性」、「開放性」、「誠実性」及び「調和性」の5つの因子からなる。各因子に対して12項目ずつ計60項目の特性語(例えば、「話し好き」、「悩みがち」、「独創的な」など)が用意されており、それぞれに対して「非常に当てはまる」(スコア=7)から「まったくあてはまらない」(スコア=1)から選んだ一つの回答から合計点(スコアの和)を集計することで、5つの因子のスコア(各要素が12〜84の間の値をとる5次元のベクトル)が計算される。DavisのInterpersonal Reactivity Index(IRI)の場合も同様に、「視点取得」、「共感的配慮」、「空想」及び「個人的苦悩」の4つの因子それぞれに対して、「何かを決定する時には、自分と反対の意見を持つ人たちの立場に立って考えてみる」といった7つずつの質問に対する回答の結果から合計点を計算し、4次元のベクトルが得られる。よって、BigFive性格検査及びDavisのInterpersonal Reactivity Index(IRI)の両方を使用する場合、特性は5+4=9次元のベクトルとして表現される。 The personal characteristics of the observer will be described in more detail. As a psychological measure, for example, a major five-factor personality test (BigFive personality test) and Davis' Interpersonal Reactivity Index (IRI) can be used. In the present invention, it is possible to use an arbitrary number of arbitrary characteristics quantified within a range that can be processed by a computer. For example, the BigFive personality test consists of five factors: “extroversion”, “emotional instability”, “openness”, “honesty”, and “harmony”. A total of 60 characteristic words (for example, “talking”, “prone to worry”, “creative”, etc.) are prepared for each factor, 12 items, and “very true” ( Scores of 5 factors (each element is between 12-84) by summing up the total score (sum of the scores) from one answer selected from “not at all” (score = 1) from score = 7) A five-dimensional vector) is calculated. Similarly, in the case of Davis's Interpersonal Reactivity Index (IRI), for each of the four factors “acquisition of viewpoint”, “empathetic consideration”, “fantasy” and “personal distress” The total score is calculated from the results of answers to seven questions such as “Think from the standpoint of people who have opinions opposite to you”, and a four-dimensional vector is obtained. Thus, when using both the BigFive personality check and Davis' Interpersonal Reactivity Index (IRI), the characteristics are expressed as 5 + 4 = 9-dimensional vectors.
ステップS13において、行動認識部13は、映像入力部11で取得した学習用映像に基づいて、その映像中の各人物の行動を時系列にラベル付けした学習行動時系列を生成する。生成した学習行動時系列は、客観的行動認知傾向モデル学習部15へ出力される。この実施形態では、表情、視線、頭部ジェスチャ及び発話の有無の4種類の行動を対象とする。表情は、感情を表す主要な経路である。視線は、感情を誰に伝えようとしているのかを示すため、または、他者の行動を観察するために必要である。頭部ジェスチャは、しばしば他者の意見に対する態度の表明として表出される。発話の有無は、話し手/聞き手という対話役割の主要な指標となる。表情は{無表情/微笑/哄笑/苦笑/思考中/その他}の6状態とする。視線は、どの対話者を見ているかを表し、状態の集合は{他者のうちの誰か一人(状態数は対話者数に等しい)/どの他者の方も見ていない}の(対話者数+1)状態とする。頭部ジェスチャは、{なし/頷き/首ふり/傾げ}の4状態を基本とし、これらの組み合わせであってもよい。発話は{発話/沈黙}の2状態とする。それぞれの行動は外部の別々の認識装置を用いて認識しても構わない。例えば、表情の認識であれば、認識装置の一例として下記の参考文献1に記載された認識装置が挙げられる。なお、行動認識部13は、対人認知ラベリング部11と同様に、人手によるラベル付けを行いその結果を出力するとしても構わない。
〔参考文献1〕特許第4942197号公報
In step S <b> 13, the
[Reference 1] Japanese Patent No. 4942197
ステップS14において、主観的対人認知傾向モデル学習部14は、観察者特性入力部12から入力された観察者特性及び対人認知ラベリング部11から出力される解釈ラベル集合を用いて、観察者の対人認知傾向と観察者の個人特性とを関連付ける主観的対人認知傾向モデルのパラメタを学習する。
In step S <b> 14, the subjective interpersonal recognition tendency
<<主観的対人認知傾向モデルの概要>>
以下、図5を参照しながら、主観的対人認知傾向モデルについて詳細に説明する。この実施形態では、主観的対人認知傾向と対象観察者の個人特性を関連付けるモデルとして、確率的トピックモデルを用いる。確率的トピックモデルは、様々な離散データに隠れた潜在的なトピックを推定することができるモデルである。確率モデルを用いるのは、認知の過程に含まれる曖昧性や文脈情報など様々な外部要因や欠損情報をベイズ推定の枠組みで効果的に取り扱えるためである。
<< Outline of subjective interpersonal cognitive tendency model >>
Hereinafter, the subjective interpersonal recognition tendency model will be described in detail with reference to FIG. In this embodiment, a probabilistic topic model is used as a model for associating the subjective personal recognition tendency with the personal characteristics of the target observer. A probabilistic topic model is a model that can estimate potential topics hidden in various discrete data. The reason for using the probabilistic model is that various external factors such as ambiguity and context information included in the cognitive process and missing information can be effectively handled in a Bayesian estimation framework.
この実施形態では、観察者の人格を直接観測できない潜在変数として表現し、各観察者の人格を学習データから自動的に獲得したK個の典型的人格の混合によって表現する。そして、それら典型的人格は対人認知傾向及び個人特性についてそれぞれ固有のパラメタを持っており、そこから対人認知傾向及び個人特性が確率的に決定されるものと仮定する。典型的人格は、確率的トピックモデルにおけるトピックに相当する。典型的人格の数Kはモデルの学習に要する時間と推定する人格の詳細度を鑑みて決定すればよいが、この実施形態ではK=4とする。典型的人格は、以下の式(1)に示すK次元ベクトルで表現される。 In this embodiment, the personality of the observer is expressed as a latent variable that cannot be directly observed, and the personality of each observer is expressed by a mixture of K typical personalities that are automatically acquired from the learning data. These typical personalities have parameters specific to personal recognition tendency and personal characteristics, and it is assumed that the personal recognition tendency and personal characteristics are determined probabilistically. A typical personality corresponds to a topic in a probabilistic topic model. The number K of typical personalities may be determined in consideration of the time required for learning the model and the level of detail of the estimated personality. In this embodiment, K = 4. A typical personality is represented by a K-dimensional vector shown in the following equation (1).
ここで、zはK個の要素のうちどれか一つだけが1を取り他は0となる、つまり1-of-K表現である。例えば、k(1≦k≦K)番目の典型的人格については、zk=1であり、残りの要素は0となる。 Here, z is a 1-of-K representation in which only one of the K elements is 1 and the others are 0. For example, for the kth (1 ≦ k ≦ K) typical personality, z k = 1 and the remaining elements are zero.
N人の観察者がいたときの観察者j(∈{1,…,N})の人格は、このベクトルzを用いて、以下の式(2)にて表現される。 The personality of the observer j (∈ {1,..., N}) when there are N observers is expressed by the following equation (2) using this vector z.
ここで、P(zj,k=1)は、観察者jの人格におけるk番目の典型的人格の占める割合を表し、以下の式(3)が成り立つ。 Here, P (z j, k = 1) represents the ratio of the k-th typical personality in the personality of the observer j, and the following formula (3) is established.
この実施形態では主観的対人認知傾向モデルに生成モデルを用いる。ここで、生成モデルという意味は、まず、潜在変数で表現される観察者jの人格が典型的人格の事前確率πに従って確率的に決定され、次いで、その人格に従って主観的対人認知傾向と個人特性が確率的に決定されるということである。事前確率πは、以下の式(4)により表される。 In this embodiment, a generation model is used as a subjective interpersonal recognition tendency model. Here, the meaning of the generation model is that the personality of the observer j expressed by the latent variable is determined probabilistically according to the prior probability π of the typical personality, and then the subjective interpersonal recognition tendency and personal characteristics according to the personality Is determined probabilistically. Prior probability π is expressed by the following equation (4).
なお、典型的人格の事前確率πはすべての観察者に対して等しいものとする。 It is assumed that the prior probability π of the typical personality is the same for all observers.
各観察者の主観的対人認知傾向は確率分布αにて表される。確率分布αを、以下の式(5)に示す。 Each observer's subjective interpersonal cognitive tendency is represented by a probability distribution α. The probability distribution α is shown in the following formula (5).
ここで、確率αeは対人認知状態e∈{1,…,Ne}が対象観察者に選択される確率を表し、以下の式(6)が成り立つ。 Here, the probability α e represents the probability that the person recognition state eε {1,..., N e } is selected by the target observer, and the following equation (6) is established.
この実施形態では、k番目の典型的人格が対人認知状態eの解釈を生成する過程を多項分布にてモデル化する。この多項分布は、M(e|1,αk)と表される。ここで、多項分布のパラメタαkはk番目の典型的人格の持つ主観的対人認知傾向を意味している。同様に、k番目の典型的人格はB(g|1,βk)で表される二項分布に従って観察者の性別g={0,1}を決定しているものとする。ここで、二項分布のパラメタβkはk番目の典型的人格に占める男性(g=1)の割合を表す。心理尺度スコアsについては、k番目の典型的人格は正規分布N(s|μk,Σk)に従って生成すると仮定する。ここで、心理尺度はNs個の尺度からなるものとする。つまり、siはi番目の心理尺度のスコアとして、以下の式(7)で表すことができる。 In this embodiment, the process in which the kth typical personality generates an interpretation of the interpersonal cognitive state e is modeled by a multinomial distribution. This multinomial distribution is represented as M (e | 1, α k ). Here, the parameter α k of the multinomial distribution means the subjective personal recognition tendency of the kth typical personality. Similarly, it is assumed that the kth typical personality determines the gender g = {0,1} of the observer according to the binomial distribution represented by B (g | 1, β k ). Here, the parameter β k of the binomial distribution represents the proportion of men (g = 1) in the kth typical personality. For the psychological scale score s, assume that the kth typical personality is generated according to the normal distribution N (s | μ k , Σ k ). Here, the psychological scale is composed of N s scales. That is, s i can be expressed by the following equation (7) as the score of the i-th psychological scale.
また、正規分布のパラメタμk及びΣkは、k番目の典型的人格が持つ心理尺度スコアsの平均ベクトル及び共分散行列をそれぞれ表す。この実施形態では、数学的単純化のために、心理尺度スコアは観察者の潜在的人格が与えられたもとで、尺度間で独立であることを仮定する。すると、多変量正規分布N(s|μk,Σk)は一変量正規分布の積となる。 Further, the parameters μ k and Σ k of the normal distribution respectively represent an average vector and a covariance matrix of the psychological scale score s possessed by the kth typical personality. In this embodiment, for mathematical simplification, it is assumed that psychological scale scores are independent between scales given the potential personality of the observer. Then, the multivariate normal distribution N (s | μ k , Σ k ) is a product of the univariate normal distribution.
以上に示した主観的対人認知傾向モデルパラメタは以下の式(8)に示す通りにまとめることができる。 The subjective interpersonal recognition tendency model parameters shown above can be summarized as shown in the following equation (8).
この実施形態では、主観的対人認知傾向モデルパラメタΘが与えられたもとでの、観察者jが生成する対人認知状態ej、観察者jの性別gj及び心理尺度スコアsjの同時確率P(ej,gj,sj|Θ)をモデル化する。この同時確率は、潜在変数を積分消去すると、以下の式(9)となり、ここから計算可能である。 In this embodiment, given the subjective interpersonal cognitive tendency model parameter Θ, the interpersonal cognitive state e j generated by the observer j, the gender g j of the observer j, and the joint probability P () of the psychological scale score s j e j , g j , s j | Θ). This joint probability can be calculated from the following equation (9) when the latent variable is integrated and eliminated.
<<主観的対人認知傾向モデルの学習方法>>
以下、主観的対人認知傾向モデルの学習方法について詳細に説明する。主観的対人認知傾向モデル学習部14は、学習用観察者集団中の各観察者の性別及び心理尺度スコアと、学習用観察者集団中の各観察者が学習用映像の各シーンに対して付与した対人認知ラベル集合を用いて主観的対人認知傾向モデルパラメタの学習を行う。この主観的対人認知傾向モデルでは、もし潜在変数zが決まれば、主観的対人認知傾向モデルパラメタΘは解析的に計算可能である。この問題は潜在変数zを欠損値としたEMアルゴリズムを用いて効率的に解くことが可能である。
<< Learning method of subjective interpersonal cognitive tendency model >>
Hereinafter, the learning method of the subjective interpersonal recognition tendency model will be described in detail. The subjective interpersonal cognitive tendency
EMアルゴリズムはEステップとMステップを収束するまで繰り返す反復法である。Eステップでは、観察者jにおける典型的人格の混合率γ(zj,k)、すなわちzの事後確率を全ての説明変数(主観的対人認知傾向、性別及び心理尺度スコア)の情報を用いて下記の式(10)に従い更新する。 The EM algorithm is an iterative method that repeats the E and M steps until they converge. In step E, the typical personality mixture rate γ (z j, k ) in observer j, that is, the posterior probability of z, using information of all explanatory variables (subjective interpersonal cognitive tendency, gender and psychological scale score) Update according to equation (10) below.
ここで、学習用映像にはL個のシーンが含まれているものとし、hjはそれらLシーンに対して観察者jが付与した対人認知ラベルの頻度分布(ヒストグラム)である。また、変数tを含む上添え字はEMアルゴリズムの反復ステップ番号を表す。 Here, it is assumed that the learning video includes L scenes, and h j is the frequency distribution (histogram) of the personal recognition labels given to the L scenes by the observer j. The superscript including the variable t represents the EM algorithm iteration step number.
Mステップでは、主観的対人認知傾向モデルパラメタΘを更新する。更新式は、例えば下記の参考文献2に記されている混合ガウス分布におけるパラメタ更新と同様の方法で導出可能である。
〔参考文献2〕A. Dempster, N. Laird, and D. Rubin, “Maximum likelihood from incomplete data via the em algorithm,” Journal of the Royal Statistical Society, vol. B 39, no. 1, pp. 1-38, 1977.
In the M step, the subjective interpersonal recognition tendency model parameter Θ is updated. The update formula can be derived by the same method as the parameter update in the mixed Gaussian distribution described in Reference Document 2 below, for example.
[Reference 2] A. Dempster, N. Laird, and D. Rubin, “Maximum likelihood from incomplete data via the em algorithm,” Journal of the Royal Statistical Society, vol. B 39, no. 1, pp. 1- 38, 1977.
具体的には次の式(11)〜(15)によって更新される。
ここで、hj,eは頻度分布hjのうち対人認知状態eの頻度である。また、Nkは下記の式(16)で表すことができる。 Here, h j, e is the frequency of the interpersonal recognition state e in the frequency distribution h j . N k can be expressed by the following equation (16).
このように学習して得られた主観的対人認知傾向モデルのパラメタは、主観的対人認知傾向モデル記憶部20へ記憶する。
The parameters of the subjective personal recognition tendency model obtained by learning in this way are stored in the subjective personal recognition tendency
ステップS15において、客観的行動認知傾向モデル学習部15は、対人認知ラベリング部11から出力される解釈ラベル集合及び行動認識部13から出力される学習行動時系列を用いて、観察者の対人認知傾向と映像中の人物の行動とを関連付ける客観的行動認知傾向モデルのパラメタを学習する。客観的行動認知傾向モデルのパラメタは、より具体的には、行動の時系列Bが与えられたもとでの対人認知状態eが得られる尤度P(B|e)である。言い替えると、客観的行動認知傾向モデルのパラメタは、行動時系列Bに対して対人認知状態eと解釈する観察者の割合である。
In step S15, the objective behavior recognition tendency model learning unit 15 uses the interpretation label set output from the personal
客観的行動認知傾向モデル学習部15は、例えば、特許文献1に記載の方法により、客観的行動認知傾向モデルのパラメタを学習することができる。特許文献1に記載の方法では、以下のように客観的行動認知傾向モデルのパラメタを学習する。ただし、以下の手順は処理の概要であって、詳細な処理の手順については特許文献1を参照されたい。
The objective behavior recognition tendency model learning unit 15 can learn the parameters of the objective behavior recognition tendency model by the method described in
客観的行動認知傾向モデル学習部15は、学習行動時系列及び解釈ラベル集合を教師ラベルとして、客観的行動認知傾向モデルのハイパーパラメタを学習する。ここでは、それぞれのハイパーパラメタが表す事象がその学習用映像中で発生した確率をハイパーパラメタの値として設定することとする。例えば、尤度P(B=b|e=e’)についてであれば、教師ラベル中において、対人認知状態がe’であり、かつ、行動がbである回数を数えて、その回数を対人認知状態がe’である回数で除した値(確率)をハイパーパラメタの値として設定すればよい。 The objective behavior recognition tendency model learning unit 15 learns hyperparameters of the objective behavior recognition tendency model using the learning behavior time series and the interpretation label set as teacher labels. Here, the probability that the event represented by each hyperparameter has occurred in the learning video is set as the hyperparameter value. For example, for likelihood P (B = b | e = e '), in the teacher label, count the number of times that the person recognition state is e' and the action is b, and A value (probability) divided by the number of times that the recognition state is e ′ may be set as the hyperparameter value.
このようにして学習して得られた客観的行動認知傾向モデルのパラメタは、客観的行動認知傾向モデル記憶部21へ記憶する。
The parameters of the objective behavior recognition tendency model obtained by learning in this way are stored in the objective behavior recognition tendency
<対人認知状態推定装置>
図3を参照して、実施形態に係る対人認知状態推定装置の機能構成の一例を説明する。対人認知状態推定装置は、主観的対人認知傾向モデルパラメタ及び客観的行動認知傾向モデルパラメタを入力とし、主観的対人認知状態推定結果を出力する装置である。
<Personal recognition state estimation device>
With reference to FIG. 3, an example of a functional configuration of the interpersonal recognition state estimation apparatus according to the embodiment will be described. The personal recognition state estimation device is a device that receives a subjective personal recognition tendency model parameter and an objective behavior recognition tendency model parameter and outputs a subjective personal recognition state estimation result.
実施形態に係る対人認知状態推定装置2は、対人認知傾向モデル学習装置1と同様に、映像入力部10、観察者特性入力部12、行動認識部13、主観的対人認知傾向モデル記憶部20及び客観的行動認知傾向モデル記憶部21を含む。対人認知状態推定装置2ではさらに、主観的対人認知傾向推定部31、客観的行動認知傾向推定部32及び主観的対人認知状態推定部33を含む。対人認知状態推定装置2は、例えば、中央演算処理装置(Central Processing Unit、CPU)、主記憶装置(Random Access Memory、RAM)などを有する公知又は専用のコンピュータに特別なプログラムが読み込まれて構成された特別な装置である。対人認知状態推定装置2は、例えば、中央演算処理装置の制御のもとで各処理を実行する。対人認知状態推定装置2に入力されたデータや各処理で得られたデータは、例えば、主記憶装置に格納され、主記憶装置に格納されたデータは必要に応じて読み出されて他の処理に利用される。対人認知状態推定装置2が備える各記憶部は、例えば、RAM(Random Access Memory)などの主記憶装置、ハードディスクや光ディスクもしくはフラッシュメモリ(Flash Memory)のような半導体メモリ素子により構成される補助記憶装置、またはリレーショナルデータベースやキーバリューストアなどのミドルウェアにより構成することができる。対人認知状態推定装置2が備える各記憶部は、それぞれ論理的に分割されていればよく、一つの物理的な記憶装置に記憶されていてもよい。
Similarly to the interpersonal recognition tendency
図4を参照して、対人認知状態推定方法の処理フローの一例を、実際に行われる手続きの順に従って説明する。 With reference to FIG. 4, an example of the processing flow of the interpersonal recognition state estimation method will be described in the order of procedures actually performed.
主観的対人認知傾向モデル記憶部20には、対人認知傾向モデル学習装置1により学習された主観的対人認知傾向モデルが記憶されている。
The subjective personal recognition tendency
客観的行動認知傾向モデル記憶部21には、対人認知傾向モデル学習装置1により学習された客観的行動認知傾向モデルが記憶されている。
The objective behavior recognition tendency
ステップS10において、映像入力部10は、一人以上の人物を撮影した推定用映像を入力して記憶する。推定用映像は対人認知状態を推定する対象の映像である。推定用映像の内容は学習用映像と同様であるが、学習用映像には含まれない映像であるものとする。対人認知傾向モデル学習装置では、映像中のすべてのシーンに対して以降の処理を行ったが、対人認知状態推定装置では、映像中のある一つのシーンに対して処理を行ってもよいし、映像中のすべてのシーンに対して処理を行なっても構わない。
In step S10, the
ステップS12において、観察者特性入力部12は、対人認知状態を推定する対象の観察者の個人特性を入力する。個人特性は、対人認知傾向モデル学習装置1が学習に用いた観察者の個人特性と同様であり、この実施形態では、例えば、性別及び心理尺度スコアである。推定の対象とする観察者は学習用観察者集団に含まれていてもよいし、含まれていなくともよい。
In step S <b> 12, the observer
ステップS13において、行動認識部13は、映像入力部11で取得した推定用映像に基づいて、その映像中の各人物の行動を時系列にラベル付けした推定用行動時系列を生成する。生成した推定用行動時系列は、客観的行動認知傾向推定部32へ出力される。映像中の人物の行動を認識する方法は、対人認知傾向モデル学習装置1と同様である。
In step S <b> 13, the
ステップS31において、主観的対人認知傾向推定部31は、主観的対人認知傾向モデル20に記憶された主観的対人認知傾向モデルを用いて、観察者特性入力部12から入力された対象観察者の個人特性から対象観察者の主観的対人認知傾向を求める。求めた主観的対人認知傾向は、主観的対人認知状態推定部33へ出力される。
In step S <b> 31, the subjective personal recognition
主観的対人認知傾向推定部31が出力する主観的対人認知傾向は、P(ej|gj,sj,Θ)と表せられるが、下記の式(17)に示すように、結局、式(9)と等しくなる。
The subjective personal recognition tendency output by the subjective personal recognition
ここで、最後の比例関係の導出には、P(gj,sj|Θ)の各要素がいずれも既知であり、比例定数として扱えることを利用した。 Here, for the derivation of the last proportional relationship, it is used that each element of P (g j , s j | Θ) is known and can be treated as a proportional constant.
このとき、混合率zの事後確率分布は、下記の式(18)で計算することができる。 At this time, the posterior probability distribution of the mixing ratio z can be calculated by the following equation (18).
そして、この混合率における主観的対人認知傾向は、下記の式(19)となる。 And the subjective interpersonal recognition tendency in this mixing ratio is expressed by the following equation (19).
ステップS32において、客観的行動認知傾向推定部32は、客観的行動認知傾向モデル21に記憶された客観的行動認知傾向モデルを用いて、行動認識部13の出力する推定用行動時系列から客観的行動認知傾向を求める。求めた客観的行動認知傾向は、主観的対人認知状態推定部33へ出力される。
In step S <b> 32, the objective behavior recognition
客観的行動認知傾向推定部32は、例えば、特許文献1に記載の方法により、客観的行動認知傾向を求めることができる。特許文献1に記載の方法では、以下のように客観的行動認知傾向を求める。ただし、以下の手順は処理の概要であって、詳細な処理の手順については特許文献1を参照されたい。
The objective behavior recognition
客観的行動認知傾向推定部32は、まず、客観的行動認知傾向モデル記憶部21に記憶されたハイパーパラメタに基づいて、客観的行動認知傾向モデルの各パラメタの初期値を設定し、設定された各パラメタの初期値に基づいて、推定用映像中の人物の客観的行動認知傾向の推定値の初期値を設定する。次に、客観的行動認知傾向モデルのハイパーパラメタと、客観的行動認知傾向モデルの各パラメタの初期値及び客観的行動認知傾向の推定値の初期値、または前回決定された客観的行動認知傾向モデルの各パラメタの値及び客観的行動認知傾向の推定値とに基づいて求めた確率分布に従って、サンプリングにより客観的行動認知傾向の推定値を決定する。さらに、行動認識部13の出力する行動時系列及び客観的行動認知傾向モデルのハイパーパラメタに基づいて求めた確率分布に従って、サンプリングにより客観的行動認知傾向モデルの各パラメタの値を決定する。客観的行動認知傾向推定部32は、所定の収束条件として予め定めた反復回数に到達したか否かを判定し、予め定めた反復回数に到達していない場合には所定の収束条件が成立していないと判断して、再度、客観的行動認知傾向の推定値の決定を行い、さらに、客観的行動認知傾向モデルの各パラメタの決定を行う。予め定めた反復回数に到達した場合には所定の収束条件が成立したと判断し、以降の処理へ進む。
The objective behavior recognition
客観的行動認知傾向推定部32は、続いて、客観的行動認知傾向モデルのハイパーパラメタと、前回決定された客観的行動認知傾向モデルの各パラメタの値及び客観的行動認知傾向の推定値とに基づいて求めた確率分布に従って、サンプリングにより客観的行動認知傾向の推定値を決定する。さらに、行動認識部13の出力する行動時系列及び客観的行動認知傾向モデルのハイパーパラメタに基づいて求めた確率分布に従って、サンプリングにより客観的行動認知傾向モデルの各パラメタの値を決定する。客観的行動認知傾向推定部32は、上記の処理を予め定めた回数(ここではR回とする)繰り返し、R回分の客観的行動認知傾向の推定値及び客観的行動認知傾向モデルの各パラメタに基づいて、客観的行動認知傾向の推定値及び客観的行動認知傾向モデルの各パラメタの推定値を算出する。
Subsequently, the objective behavior recognition
客観的行動認知傾向の推定値P(B|e)は、具体的には、各時刻での推定結果を算出し、そこから対象とする時間の中で平均を取るなどをすればよい。この場合、客観的行動認知傾向P(B|e)は、下記の式(20)により表される。 Specifically, the estimated value P (B | e) of the objective behavior recognition tendency may be obtained by calculating an estimation result at each time and then averaging the target results. In this case, the objective behavior recognition tendency P (B | e) is expressed by the following equation (20).
ステップS33において、主観的対人認知状態推定部33は、主観的対人認知傾向推定部31の出力する主観的対人認知傾向及び客観的行動認知傾向推定部32の出力する客観的行動認知傾向を用いて主観的対人認知状態推定結果を求める。具体的には、性別gjで心理尺度スコアsjを持つ観察者jが、対話者の行動の集合Biを含む対象シーンiに対して生成する主観的対人認知状態ei,jを、これらの同時確率P(ei,j,Bi,gj,sj)として計算する。この同時確率は、式(21)に示すように変換できる。
In step S <b> 33, the subjective personal recognition
主観的対人認知状態の推定結果については、すべての対人認知状態について確率付きで出力したい場合は、同時確率分布P(ei,j,Bi,gj,sj)をそのまま出力すればよい。確率分布ではなく一つの値として出力したい場合は、下記の式(22)に示すように、同時確率が最も高くなる対人認知状態を出力すればよい。 For the estimation results of subjective interpersonal cognitive states, if you want to output all interpersonal cognitive states with probability, you can output the joint probability distribution P (e i, j , B i , g j , s j ) as it is . When it is desired to output a single value instead of the probability distribution, it is only necessary to output the interpersonal recognition state having the highest joint probability as shown in the following equation (22).
<応用例>
ある観察者の主観的対人認知傾向が既知である場合には、主観的対人認知傾向モデルを用いて、その観察者の個人特性を推定することが可能である。
<Application example>
When the subjective personal recognition tendency of an observer is known, it is possible to estimate the personal characteristics of the observer using a subjective personal recognition tendency model.
図6を参照して、応用例に係る対人認知状態推定装置の機能構成の一例を説明する。応用例に係る対人認知状態推定装置3は、実施形態の対人認知状態推定装置2と同様に、主観的対人認知傾向モデル記憶部20を含む。対人認知状態推定装置3ではさらに、主観的対人認知傾向記憶部22及び対象観察者特性推定部34を含む。
With reference to FIG. 6, an example of a functional configuration of the interpersonal recognition state estimation device according to the application example will be described. The interpersonal recognition state estimation device 3 according to the application example includes a subjective interpersonal recognition tendency
主観的対人認知傾向モデル記憶部20には、対人認知傾向モデル学習装置1により学習された主観的対人認知傾向モデルが記憶されている。
The subjective personal recognition tendency
主観的対人認知傾向記憶部22には、既知の主観的対人認知傾向が記憶されている。既知の主観的対人認知傾向は、典型的には以前の対人認知傾向モデル学習装置1により推定された主観的対人認知傾向であるが、手入力などにより人為的にパラメタを設定することで生成したものであってもよい。
The subjective personal recognition
対象観察者特性推定部34は、主観的対人認知傾向モデル記憶部20に記憶された主観的対人認知傾向モデルを用いて、主観的対人認知傾向記憶部22に記憶されている主観的対人認知傾向からその主観的対人認知傾向を持つ観察者の個人特性を推定する。
The target observer
上述のとおり、主観的対人認知傾向モデルは、観察者jが生成する対人認知状態ej、観察者jの性別gj及び心理尺度スコアsjの同時確率P(ej,gj,sj|Θ)をモデル化したものである。したがって、観察者jが生成する対人認知状態ejが既知であれば、実施形態の対人認知状態推定装置2に含まれる主観的対人認知傾向推定部31と同様にして、観察者jの性別gj及び心理尺度スコアsjを求めることができる。
As described above, the subjective person perception trend model, the observer j generates interpersonal cognitive status e j, the joint probability P (e j sex g j and psychological subscale scores s j of the observer j, g j, s j | Θ) is modeled. Therefore, if the person recognition state ej generated by the observer j is known, the gender g of the observer j is similar to the subjective person recognition
[プログラム、記録媒体]
この発明は上述の実施形態に限定されるものではなく、この発明の趣旨を逸脱しない範囲で適宜変更が可能であることはいうまでもない。上記実施例において説明した各種の処理は、記載の順に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。
[Program, recording medium]
The present invention is not limited to the above-described embodiment, and it goes without saying that modifications can be made as appropriate without departing from the spirit of the present invention. The various processes described in the above-described embodiments are not only executed in time series according to the order described, but may be executed in parallel or individually as required by the processing capability of the apparatus that executes the processes.
また、上記実施形態で説明した各装置における各種の処理機能をコンピュータによって実現する場合、各装置が有すべき機能の処理内容はプログラムによって記述される。そして、このプログラムをコンピュータで実行することにより、上記各装置における各種の処理機能がコンピュータ上で実現される。 When various processing functions in each device described in the above embodiment are realized by a computer, the processing contents of the functions that each device should have are described by a program. Then, by executing this program on a computer, various processing functions in each of the above devices are realized on the computer.
この処理内容を記述したプログラムは、コンピュータで読み取り可能な記録媒体に記録しておくことができる。コンピュータで読み取り可能な記録媒体としては、例えば、磁気記録装置、光ディスク、光磁気記録媒体、半導体メモリ等どのようなものでもよい。 The program describing the processing contents can be recorded on a computer-readable recording medium. As the computer-readable recording medium, for example, any recording medium such as a magnetic recording device, an optical disk, a magneto-optical recording medium, and a semiconductor memory may be used.
また、このプログラムの流通は、例えば、そのプログラムを記録したDVD、CD−ROM等の可搬型記録媒体を販売、譲渡、貸与等することによって行う。さらに、このプログラムをサーバコンピュータの記憶装置に格納しておき、ネットワークを介して、サーバコンピュータから他のコンピュータにそのプログラムを転送することにより、このプログラムを流通させる構成としてもよい。 The program is distributed by selling, transferring, or lending a portable recording medium such as a DVD or CD-ROM in which the program is recorded. Furthermore, the program may be distributed by storing the program in a storage device of the server computer and transferring the program from the server computer to another computer via a network.
このようなプログラムを実行するコンピュータは、例えば、まず、可搬型記録媒体に記録されたプログラムもしくはサーバコンピュータから転送されたプログラムを、一旦、自己の記憶装置に格納する。そして、処理の実行時、このコンピュータは、自己の記録媒体に格納されたプログラムを読み取り、読み取ったプログラムに従った処理を実行する。また、このプログラムの別の実行形態として、コンピュータが可搬型記録媒体から直接プログラムを読み取り、そのプログラムに従った処理を実行することとしてもよく、さらに、このコンピュータにサーバコンピュータからプログラムが転送されるたびに、逐次、受け取ったプログラムに従った処理を実行することとしてもよい。また、サーバコンピュータから、このコンピュータへのプログラムの転送は行わず、その実行指示と結果取得のみによって処理機能を実現する、いわゆるASP(Application Service Provider)型のサービスによって、上述の処理を実行する構成としてもよい。なお、本形態におけるプログラムには、電子計算機による処理の用に供する情報であってプログラムに準ずるもの(コンピュータに対する直接の指令ではないがコンピュータの処理を規定する性質を有するデータ等)を含むものとする。 A computer that executes such a program first stores, for example, a program recorded on a portable recording medium or a program transferred from a server computer in its own storage device. When executing the process, the computer reads a program stored in its own recording medium and executes a process according to the read program. As another execution form of the program, the computer may directly read the program from a portable recording medium and execute processing according to the program, and the program is transferred from the server computer to the computer. Each time, the processing according to the received program may be executed sequentially. Also, the program is not transferred from the server computer to the computer, and the above-described processing is executed by a so-called ASP (Application Service Provider) type service that realizes the processing function only by the execution instruction and result acquisition. It is good. Note that the program in this embodiment includes information that is used for processing by an electronic computer and that conforms to the program (data that is not a direct command to the computer but has a property that defines the processing of the computer).
また、この形態では、コンピュータ上で所定のプログラムを実行させることにより、本装置を構成することとしたが、これらの処理内容の少なくとも一部をハードウェア的に実現することとしてもよい。 In this embodiment, the present apparatus is configured by executing a predetermined program on a computer. However, at least a part of these processing contents may be realized by hardware.
10 映像入力部
11 対人認知ラベリング部
12 観察者特性入力部
13 行動認識部
14 主観的対人認知傾向モデル学習部
15 客観的行動認知傾向モデル学習部
20 主観的対人認知傾向モデル記憶部
21 客観的行動認知傾向モデル記憶部
31 主観的対人認知傾向推定部
32 客観的行動認知傾向推定部
33 主観的対人認知状態推定部
34 対象観察者特性推定部
DESCRIPTION OF
Claims (8)
上記学習用映像に基づいて上記学習用映像中の人物の行動を時系列にラベル付けした学習用行動時系列を生成する行動認識部と、
上記複数の観察者それぞれの個人特性を表す観察者特性を入力する観察者特性入力部と、
上記解釈ラベル集合及び上記学習用行動時系列を用いて、行動時系列が与えられたもとでの対人認知状態の尤度を表す客観的行動認知傾向モデルのパラメタを学習する客観的行動認知傾向モデル学習部と、
上記解釈ラベル集合及び上記観察者特性を用いて、個人特性が与えられたもとでの対人認知状態の尤度を表す主観的対人認知傾向モデルのパラメタを学習する主観的対人認知傾向モデル学習部と、
を含む対人認知傾向モデル学習装置。 Interpersonal cognitive labeling unit that generates a set of interpretation labels that time-sequentially label the interpersonal cognitive state obtained by interpreting the state of the person in the video for learning based on the video for learning taken by a plurality of observers. When,
An action recognition unit that generates a learning action time series in which the actions of persons in the learning video are labeled in time series based on the learning video;
An observer characteristic input unit for inputting observer characteristics representing individual characteristics of each of the plurality of observers;
Objective behavior recognition trend model learning that learns the parameters of the objective behavior recognition trend model that represents the likelihood of interpersonal cognitive state given the behavior time series using the interpretation label set and the behavior time series for learning. And
A subjective interpersonal cognitive tendency model learning unit that learns a parameter of a subjective interpersonal cognitive tendency model that represents the likelihood of the interpersonal cognitive state given the personal characteristic using the interpretation label set and the observer characteristic,
Interpersonal cognitive tendency model learning device.
上記主観的対人認知傾向モデルは、上記観察者特性から抽出した典型的人格の個人特性をトピックとし、上記典型的人格の混合率を潜在変数とする確率的トピックモデルである
対人認知傾向モデル学習装置。 The interpersonal recognition tendency model learning device according to claim 1,
The subjective interpersonal cognitive tendency model is a probabilistic topic model in which the personal characteristics of the typical personality extracted from the observer characteristics are topics, and the mixed rate of the typical personalities is a latent variable. .
上記個人特性は、性別及び心理尺度スコアを含み、
上記主観的対人認知傾向モデルは、Nを観察者の数とし、1≦j≦Nとし、ejをj番目の観察者の対人認知状態とし、gjをj番目の観察者の性別とし、sjをj番目の観察者の心理尺度スコアとし、Kを典型的人格の数とし、1≦k≦Kとし、πkをk番目の典型的人格の事前確率とし、αkをk番目の典型的人格の持つ対人認知傾向とし、βkをk番目の典型的人格の性別とし、μkをk番目の典型的人格の心理尺度スコアの平均ベクトルとし、Σkをk番目の典型的人格の心理尺度スコアの共分散行列とし、Mは多項分布を表し、Bは二項分布を表し、Nは正規分布を表すとして、次式で表される同時確率により計算される
対人認知傾向モデル学習装置。 The interpersonal cognitive tendency model learning device according to claim 1 or 2,
The personal characteristics include gender and psychological scale scores,
The subjective interpersonal recognition tendency model is such that N is the number of observers, 1 ≦ j ≦ N, e j is the personal recognition state of the jth observer, g j is the gender of the jth observer, s j is the psychological scale score of the jth observer, K is the number of typical personalities, 1 ≦ k ≦ K, π k is the prior probability of the kth typical personality, and α k is the kth and interpersonal perception tends to have a typical personality, β k and the k-th of the typical personality of gender, μ k was used as a mean vector of psychological scale score of the k-th of a typical personality, k-th of a typical personality Σ k Is a covariance matrix of psychological scale scores, where M is a multinomial distribution, B is a binomial distribution, and N is a normal distribution.
Interpersonal cognitive tendency model learning device.
請求項1から3のいずれかに記載の対人認知傾向モデル学習装置により学習された客観的行動認知傾向モデルを記憶する客観的行動認知傾向モデル記憶部と、
上記主観的対人認知傾向モデルを用いて、入力された対象観察者の個人特性から上記対象観察者の主観的対人認知傾向を求める主観的対人認知傾向推定部と、
上記客観的行動認知傾向モデルを用いて、少なくとも一人の人物を撮影した推定用映像に基づいて上記推定用映像中の人物の行動を時系列にラベル付けした推定用行動時系列から客観的行動認知傾向を求める客観的行動認知傾向推定部と、
上記主観的対人認知傾向及び上記客観的行動認知傾向を用いて主観的対人認知状態推定結果を求める主観的対人認知状態推定部と、
を含む対人認知状態推定装置。 A subjective interpersonal recognition tendency model storage unit that stores a subjective interpersonal recognition tendency model learned by the interpersonal recognition tendency model learning device according to claim 1,
An objective behavior recognition tendency model storage unit that stores an objective behavior recognition tendency model learned by the interpersonal recognition tendency model learning device according to claim 1;
Using the subjective personal recognition tendency model, a subjective personal recognition tendency estimation unit for obtaining the subjective personal recognition tendency of the target observer from the personal characteristics of the input target observer,
Using the objective behavior recognition trend model, objective behavior recognition from a presumed behavior time series in which the behavior of the person in the presumption video is labeled in time series based on the presumption video taken of at least one person An objective behavior recognition trend estimator that seeks trends,
A subjective interpersonal recognition state estimation unit for obtaining a subjective interpersonal recognition state estimation result using the subjective interpersonal recognition tendency and the objective behavior recognition tendency;
Interpersonal cognitive state estimation device including:
上記主観的対人認知傾向モデルを用いて、入力された対象観察者の主観的対人認知傾向から上記対象観察者の個人特性を求める対象観察者特性推定部と、
を含む対人認知状態推定装置。 An interpersonal recognition tendency model storage unit that stores a subjective interpersonal tendency model learned by the interpersonal recognition tendency model learning device according to claim 1;
Using the subjective interpersonal recognition tendency model, the target observer characteristic estimation unit for obtaining the personal characteristic of the target observer from the subjective interpersonal recognition tendency of the input target observer,
Interpersonal cognitive state estimation device including:
行動認識部が、上記学習用映像に基づいて上記学習用映像中の人物の行動を時系列にラベル付けした学習用行動時系列を生成する行動認識ステップと、
観察者特性入力部が、上記複数の観察者それぞれの個人特性を表す観察者特性を入力する観察者特性入力ステップと、
客観的行動認知傾向モデル学習部が、上記解釈ラベル集合及び上記学習用行動時系列を用いて、行動時系列が与えられたもとでの対人認知状態の尤度を表す客観的行動認知傾向モデルのパラメタを学習する客観的行動認知傾向モデル学習ステップと、
主観的対人認知傾向モデル学習部が、上記解釈ラベル集合及び上記観察者特性を用いて、個人特性が与えられたもとでの対人認知状態の尤度を表す主観的対人認知傾向モデルのパラメタを学習する主観的対人認知傾向モデル学習ステップと、
を含む対人認知傾向モデル学習方法。 Interpersonal cognitive labeling unit sets a set of interpretation labels that time-sequentially recognizes the state of human cognition obtained by interpreting the state of the person in the learning video based on the video for learning in which a plurality of observers photograph at least one person. Interpersonal recognition labeling step to generate,
An action recognition step in which an action recognition unit generates a learning action time series in which a person's action in the learning video is labeled in time series based on the learning video;
The observer characteristic input unit inputs an observer characteristic representing the individual characteristic of each of the plurality of observers, and an observer characteristic input step,
Objective behavior recognition trend model learning unit uses the interpretation label set and the behavior time series for learning, and the parameters of the objective behavior recognition trend model that represent the likelihood of the state of human recognition when the behavior time series is given Objective behavioral cognitive tendency model learning step to learn
Subjective interpersonal cognitive tendency model learning unit learns the parameters of the subjective interpersonal cognitive tendency model representing the likelihood of interpersonal cognitive state given the personal characteristics, using the set of interpretation labels and the observer characteristics Subjective interpersonal cognitive tendency model learning step,
Interpersonal cognitive tendency model learning method.
客観的行動認知傾向推定部が、請求項6に記載の対人認知傾向モデル学習方法により学習された客観的行動認知傾向モデルを用いて、少なくとも一人の人物を撮影した推定用映像に基づいて上記推定用映像中の人物の行動を時系列にラベル付けした推定用行動時系列から客観的行動認知傾向を求める客観的行動認知傾向推定ステップと、
主観的対人認知状態推定部が、上記主観的対人認知傾向及び上記客観的行動認知傾向を用いて主観的対人認知状態推定結果を求める主観的対人認知状態推定ステップと、
を含む対人認知状態推定方法。 The subjective interpersonal recognition tendency estimation unit uses the subjective personal recognition tendency model learned by the interpersonal recognition tendency model learning method according to claim 6 to determine the target observer's personal characteristics from the input individual characteristics of the target observer. A subjective interpersonal cognitive tendency estimation step to obtain a subjective interpersonal cognitive tendency;
The objective behavior recognition tendency estimation unit uses the objective behavior recognition tendency model learned by the interpersonal recognition tendency model learning method according to claim 6 to perform the estimation based on an estimation video obtained by photographing at least one person. Objective behavior recognition tendency estimation step for obtaining an objective behavior recognition tendency from an estimation behavior time series in which the behavior of a person in the video is labeled in time series,
A subjective interpersonal cognitive state estimation unit that obtains a subjective interpersonal cognitive state estimation result using the subjective interpersonal recognition tendency and the objective behavior recognition tendency,
Interpersonal cognitive state estimation method including:
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013162921A JP5931021B2 (en) | 2013-08-06 | 2013-08-06 | Personal recognition tendency model learning device, personal recognition state estimation device, personal recognition tendency model learning method, personal recognition state estimation method, and program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013162921A JP5931021B2 (en) | 2013-08-06 | 2013-08-06 | Personal recognition tendency model learning device, personal recognition state estimation device, personal recognition tendency model learning method, personal recognition state estimation method, and program |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2015032233A JP2015032233A (en) | 2015-02-16 |
JP5931021B2 true JP5931021B2 (en) | 2016-06-08 |
Family
ID=52517474
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2013162921A Active JP5931021B2 (en) | 2013-08-06 | 2013-08-06 | Personal recognition tendency model learning device, personal recognition state estimation device, personal recognition tendency model learning method, personal recognition state estimation method, and program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5931021B2 (en) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7154164B2 (en) * | 2019-03-20 | 2022-10-17 | ヤフー株式会社 | Generation device, generation method and generation program |
KR102145698B1 (en) * | 2019-09-27 | 2020-08-18 | 주식회사 인피니그루 | Methods and systems for interpreting predicted solution through deep learning model |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5437297B2 (en) * | 2011-03-07 | 2014-03-12 | 日本電信電話株式会社 | Dialog state estimation apparatus, method, and program |
-
2013
- 2013-08-06 JP JP2013162921A patent/JP5931021B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
JP2015032233A (en) | 2015-02-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Ong et al. | Modeling emotion in complex stories: the Stanford Emotional Narratives Dataset | |
Lotfian et al. | Curriculum learning for speech emotion recognition from crowdsourced labels | |
Bishay et al. | Schinet: Automatic estimation of symptoms of schizophrenia from facial behaviour analysis | |
JP6023685B2 (en) | Emotion information display control device, method and program thereof | |
JP5437297B2 (en) | Dialog state estimation apparatus, method, and program | |
US11727717B2 (en) | Data-driven, photorealistic social face-trait encoding, prediction, and manipulation using deep neural networks | |
US10770072B2 (en) | Cognitive triggering of human interaction strategies to facilitate collaboration, productivity, and learning | |
Boccignone et al. | Give ear to my face: Modelling multimodal attention to social interactions | |
Ponce-López et al. | Non-verbal communication analysis in victim–offender mediations | |
JP5931021B2 (en) | Personal recognition tendency model learning device, personal recognition state estimation device, personal recognition tendency model learning method, personal recognition state estimation method, and program | |
Yagi et al. | Predicting multimodal presentation skills based on instance weighting domain adaptation | |
JP7453169B2 (en) | Model, device, and method for estimating emotions through emotion type group identification | |
Vukojičić et al. | Optimization of Multimodal Trait Prediction Using Particle Swarm Optimization | |
Pantic et al. | Image and video processing for affective applications | |
Fang et al. | Estimation of cohesion with feature categorization on small scale groups | |
Sun | Neural Networks for Emotion Classification | |
JP2015075906A (en) | Emotion information display control device, method of the same, and program | |
WO2023032016A1 (en) | Estimation method, estimation device, and estimation program | |
US11900327B2 (en) | Evaluation adjustment factoring for bias | |
Hupont et al. | From a discrete perspective of emotions to continuous, dynamic, and multimodal affect sensing | |
Tanveer et al. | Automatic identification of non-meaningful body-movements and what it reveals about humans | |
Hupont et al. | Effective emotional classification combining facial classifiers and user assessment | |
Kusumam | Multimodal analysis of depression in unconstrained environments | |
Song | Structured video content analysis: learning spatio-temporal and multimodal structures | |
Johri et al. | A Deep Learning Model for Automatic Recognition of Facial Expressions Using Haar Cascade Images |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20150619 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20160413 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20160419 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20160426 |
|
R150 | Certificate of patent (=grant) or registration of utility model |
Ref document number: 5931021 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |