JP2014085952A - Expression generation device and program - Google Patents
Expression generation device and program Download PDFInfo
- Publication number
- JP2014085952A JP2014085952A JP2012236066A JP2012236066A JP2014085952A JP 2014085952 A JP2014085952 A JP 2014085952A JP 2012236066 A JP2012236066 A JP 2012236066A JP 2012236066 A JP2012236066 A JP 2012236066A JP 2014085952 A JP2014085952 A JP 2014085952A
- Authority
- JP
- Japan
- Prior art keywords
- facial expression
- character
- emotion classification
- emotion
- expression
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Processing Or Creating Images (AREA)
Abstract
Description
本発明は、感情を示す情報に応じて表情が変化し得るキャラクタの表情を生成する表情生成装置およびプログラムに関する。 The present invention relates to a facial expression generation apparatus and a program for generating a facial expression of a character whose facial expression can change according to information indicating emotion.
従来から、マウスクリックやテキストデータなど、任意の入力情報に基づいて、人間の顔画像やキャラクタの表情を生成する技術が知られている。例えば、特許文献１に開示されている技術では、マウス操作などの入力操作により顔画像を構成する複数の顔部品画像を制御して特定の表情を生成する。また、特許文献２に開示されている技術では、入力されたテキストデータを解析してセグメント毎に感情情報を付与し、付与された感情に対応するキャラクタを表情付で表示する。 2. Description of the Related Art Conventionally, a technique for generating a human face image or a facial expression of a character based on arbitrary input information such as a mouse click or text data is known. For example, in the technique disclosed in Patent Document 1, a specific facial expression is generated by controlling a plurality of facial part images constituting a facial image by an input operation such as a mouse operation. In the technique disclosed in Patent Document 2, input text data is analyzed, emotion information is assigned to each segment, and a character corresponding to the assigned emotion is displayed with a facial expression.
しかしながら、特許文献１に開示されている技術では、マウス操作などの入力操作により複数の顔部品画像を１つ１つ調整するため、感情表現のある表情を生成するまでに多大な時間を要するといった課題がある。また、生成する画像は１枚の静止画像であり、時間軸の制御によって表現可能な感情における表情については生成することができない。 However, since the technique disclosed in Patent Document 1 adjusts a plurality of facial part images one by one by an input operation such as a mouse operation, it takes a long time to generate a facial expression with emotional expression. There are challenges. Also, the image to be generated is a single still image, and it is not possible to generate a facial expression in emotion that can be expressed by controlling the time axis.
また、特許文献２に開示されている技術では、システムに登録されたキャラクタの表情をそのまま表示しているため、表現可能な表情の数に限りがある。また、多くの感情表現に対応するには、各表現に対応した大量の表情を予め生成しておかなければならず、手間を要してしまう。 In the technique disclosed in Patent Document 2, since the facial expressions of characters registered in the system are displayed as they are, the number of facial expressions that can be expressed is limited. Also, in order to deal with many emotional expressions, it is necessary to generate a large number of facial expressions corresponding to each expression in advance, which is troublesome.
本発明は、このような事情に鑑みてなされたものであり、感情を示す情報に応じて表情が変化し得るキャラクタの表情を簡易かつ迅速に生成することができる表情生成装置およびプログラムを提供することを目的とする。 The present invention has been made in view of such circumstances, and provides a facial expression generation apparatus and a program that can easily and quickly generate a facial expression of a character whose facial expression can change according to information indicating emotion. For the purpose.
（１）上記の目的を達成するために、本発明は、以下のような手段を講じた。すなわち、本発明の表情生成装置は、感情に応じて表情が変化し得るキャラクタの表情を生成する表情生成装置であって、入力データの感情分類及び前記感情分類の強度を示す情報に応じて、前記キャラクタの基本表情を前記感情分類の強度の割合で合成する表情合成部と、前記解析した感情分類に対応する時間情報に応じて、前記合成したキャラクタの表情を時間的に変化させる動き制御部と、を備えることを特徴とする。 (1) In order to achieve the above object, the present invention takes the following measures. That is, the facial expression generation device of the present invention is a facial expression generation device that generates a facial expression of a character whose facial expression can change according to the emotion, and according to information indicating the emotion classification of the input data and the strength of the emotion classification A facial expression synthesis unit that synthesizes the basic facial expression of the character at a ratio of the intensity of the emotion classification, and a motion control unit that temporally changes the facial expression of the synthesized character according to time information corresponding to the analyzed emotion classification And.
（２）また、本発明の表情生成装置は、前記解析した感情分類に対応する時間情報に応じて、前記合成したキャラクタの表情が変化する速度または加速度を調整する時間制御部を更に備えることを特徴とする。 (2) The facial expression generation apparatus of the present invention further includes a time control unit that adjusts a speed or acceleration at which the facial expression of the synthesized character changes according to time information corresponding to the analyzed emotion classification. Features.
（３）また、本発明の表情生成装置は、任意のデータを入力し、前記入力データにおける感情分類及び前記感情分類の強度を解析する感情解析部を更に備えることを特徴とする。 (3) The facial expression generation apparatus of the present invention further includes an emotion analysis unit that inputs arbitrary data and analyzes the emotion classification in the input data and the strength of the emotion classification.
（４）また、本発明の表情生成装置は、前記表情合成部で合成し、前記時間制御部で時間的に変化したキャラクタの表情を再生する表情再生部をさらに備えることを特徴とする。 (4) In addition, the facial expression generation apparatus of the present invention further includes a facial expression reproduction unit that synthesizes the facial expression synthesis unit and reproduces the facial expression of the character that has been temporally changed by the time control unit.
（５）また、本発明のプログラムは、感情に応じて表情が変化し得るキャラクタの表情を生成するプログラムであって、任意のデータを入力し、前記入力データにおける感情分類及び前記感情分類の強度を解析する処理と、前記解析した感情分類に応じて、前記キャラクタの基本表情を前記感情分類の強度の割合で合成する処理と、前記解析した感情分類に対応する時間情報に応じて、前記合成したキャラクタの表情を時間的に変化させる処理と、の一連の処理をコンピュータに実行させることを特徴とする。 (5) Further, the program of the present invention is a program for generating a facial expression of a character whose facial expression can be changed according to emotions, input arbitrary data, and the emotion classification in the input data and the strength of the emotion classification A process of analyzing the character according to the analyzed emotion classification, a process of combining the basic facial expression of the character at a ratio of the intensity of the emotion classification, and the synthesis according to time information corresponding to the analyzed emotion classification The computer is caused to execute a series of processes of changing the facial expression of the character that has been changed over time.
本発明によれば、任意のデータを入力し、入力データにおける感情を解析し、解析された感情に応じたキャラクタの表情を合成するので、感情表現のある表情を一意に生成することができる。また、解析された感情に基づいて生成したキャラクタの表情を時間的に制御するので、時間軸の制御によって表現可能な感情における表情を生成することができる。さらに、大量の表情を予め用意しなくても、多くの感情を表現した表情を合成することが可能となる。 According to the present invention, since arbitrary data is input, emotions in the input data are analyzed, and facial expressions of the character corresponding to the analyzed emotions are synthesized, it is possible to uniquely generate facial expressions with emotional expressions. In addition, since the facial expression of the character generated based on the analyzed emotion is temporally controlled, it is possible to generate facial expressions in emotions that can be expressed by controlling the time axis. Furthermore, it is possible to synthesize facial expressions expressing many emotions without preparing a large number of facial expressions in advance.
本発明の実施形態に係る表情生成装置は、任意のテキストデータを入力し、テキストデータにおける感情を解析し、解析された感情に基づいてキャラクタの表情を合成する。これにより、感情表現のある表情を自動的に生成することができる。また、解析された感情に基づいて生成したキャラクタの表情を時間的に制御する。この制御により、時間軸の制御によって表現可能な感情における表情を生成することができる。さらに、大量の表情を予め用意しなくても、多くの感情を表現した表情を生成することが可能となる。本実施形態に係る表情生成装置では、入力として、テキストデータを利用する。本明細書では、一例として、テキストデータを用いた表情生成装置を示すが、本発明の技術的思想は、テキストデータに限定されるわけではない。例えば、「音声」を入力情報とし、音声認識により、テキストデータを取得しても良い。また、「音響」を入力情報とし、平均テンポ、音色、音圧レベル、音圧レベルの変動により、感情分類およびその強度を抽出しても良い。また、「キー操作」を入力情報として、感情分類及びその強度をキー操作により入力するようにしても良い。また、「タッチ」を入力情報として、感情分類およびその強度をタッチ操作により入力するようにしても良い。また、「画像」を入力情報として、画像における表情認識技術を利用して、感情分類およびその強度を抽出しても良い。この場合、感情認識カメラを用いることも可能である。また、「映像」を入力情報として、「音声」と「画像」における例を併用し、感情分類及びその強度を抽出するようにしても良い。 The facial expression generation apparatus according to the embodiment of the present invention inputs arbitrary text data, analyzes emotions in the text data, and synthesizes the facial expressions of the character based on the analyzed emotions. As a result, facial expressions with emotional expressions can be automatically generated. In addition, the facial expression of the character generated based on the analyzed emotion is temporally controlled. With this control, it is possible to generate facial expressions in emotions that can be expressed by controlling the time axis. Furthermore, it is possible to generate facial expressions expressing many emotions without preparing a large number of facial expressions in advance. The facial expression generation apparatus according to the present embodiment uses text data as an input. In this specification, a facial expression generation apparatus using text data is shown as an example, but the technical idea of the present invention is not limited to text data. For example, text data may be acquired by voice recognition using “speech” as input information. In addition, “acoustic” may be input information, and emotion classification and intensity may be extracted based on fluctuations in average tempo, tone color, sound pressure level, and sound pressure level. Further, the emotion classification and its strength may be input by key operation using “key operation” as input information. In addition, “touch” may be used as input information, and emotion classification and intensity may be input by a touch operation. Further, the emotion classification and its intensity may be extracted using “image” as input information using facial expression recognition technology in the image. In this case, an emotion recognition camera can be used. In addition, with “video” as input information, the examples of “voice” and “image” may be used together to extract emotion classification and its intensity.
図１は、本実施形態に係る表情生成装置の概略構成を示す図である。図１に示すように、表情生成装置１は、ディスプレイ１０と、キーボード２０と、ＰＣ（Personal Computer）３０とから構成されている。そして、キーボード２０によりＰＣ３０にテキストデータ４０が入力される。なお、図１では、キーボード２０が、ＰＣ３０に接続されているが、本発明の技術的思想は、これに限定されるわけではなく、任意手段によりＰＣに対してテキストデータが入力されれば十分である。
FIG. 1 is a diagram illustrating a schematic configuration of a facial expression generation apparatus according to the present embodiment. As shown in FIG. 1, the facial expression generation device 1 includes a
ＰＣ３０は、ケーブル３０ａを介して表情再生装置としてのディスプレイ１０に接続されている。ＰＣ３０では、入力されるテキストデータ４０における感情を解析し、解析された感情に基づいてキャラクタの表情を合成する。また、解析された感情に基づいて生成したキャラクタの表情を時間的に制御する。そして、ＰＣ３０は、制御された時間情報に基づき、合成されたキャラクタの表情の画像を生成して、画像信号を随時ディスプレイ１０に発信する。その際、ＰＣ３０において生成された画像はディスプレイ１０にＡ１として映写される。なお、本発明の実施形態に係る表情生成装置では、合成されたキャラクタの表情の画像信号をディスプレイ１０に発信しなくても構わない。
The PC 30 is connected to the
図２は、本実施形態に係る表情生成装置１の機能を示すブロック図である。ＰＣ３０の感情解析部３０−１は、ユーザの入力操作を受け付けて、入力された任意のデータから各データにおける感情を解析する。すなわち、感情解析部３０−１は、キーボード２０により入力されたテキストデータ４０を認識して、テキストデータ４０における感情を解析する。また、ＰＣ３０の表情合成部３０−２は、キャラクタの表情を合成する。すなわち、表情合成部３０−２は、感情解析部３０−１が解析した感情に基づいて基本表情を合成し、キャラクタの表情を生成する。
FIG. 2 is a block diagram illustrating functions of the facial expression generation apparatus 1 according to the present embodiment. The emotion analysis unit 30-1 of the PC 30 accepts a user's input operation and analyzes emotions in each data from arbitrary input data. That is, the emotion analysis unit 30-1 recognizes the
ＰＣ３０の動き制御部３０−３は、感情分類に対応する時間情報に応じて、合成したキャラクタの表情を時間的に変化させる。すなわち、動き制御部３０−３は、感情解析部３０−１が解析した感情に基づいて、表情合成部３０−２が生成したキャラクタの表情を時間的に制御する。また、表情再生部３０−４は、キャラクタの表情の画像を再生する。すなわち、表情再生部３０−４は、動き制御部３０−３が制御した時間情報に基づき、表情合成部３０−２が生成したキャラクタの表情の画像を再生する。また、時間制御部３０−５は、上記解析した感情分類に対応する時間情報に応じて、合成したキャラクタの表情が変化する速度または加速度を調整する。
The motion control unit 30-3 of the
図３は、本実施形態に係る表情生成装置１の動作を示すフローチャートである。初めに、ＰＣ３０に、キーボード２０によりテキストデータ４０が入力される（ステップＳ１）。次に、ＰＣ３０において、入力されるテキストデータ４０を認識して、テキストデータ４０における感情分類及び強度を解析する（ステップＳ２）。ここでは、入力されるテキストデータ４０が単語の場合を説明するが、本発明の技術的思想は、単語に限定されるわけではなく、句であっても文であっても良い。本実施形態では、感情分類とそれぞれの強度から構成される感情語データベースを使用する。
FIG. 3 is a flowchart showing the operation of the facial expression generation apparatus 1 according to this embodiment. First,
なお、感情語データベースは、日本語辞書などの大量の単語データベースに存在する全ての単語に対して、人間の表情形成に用いられる感情分類「喜び」「悲しみ」「怒り」「嫌悪」「恐怖」「罪」「恥」「興味」「驚き」の９つがどれくらいの割合で存在するか規定し、それぞれの感情強度を０〜１の範囲で、０．１刻みに１１段階で指定して、予め形成されている。また、入力されるテキストデータ４０が句または文である場合は、単語の場合と同様に、句または文に全体における感情分類とそれぞれの強度から構成される感情句データベースまたは感情文データベースを使用すれば良い。ここで、「喜び」の強度をＳ1、「悲しみ」の強度をＳ2、「怒り」の強度をＳ3、「嫌悪」の強度をＳ4、「恐怖」の強度をＳ5、「罪」の強度をＳ6、「恥」の強度をＳ7、「興味」の強度をＳ8、「驚き」の強度をＳ9、「無感動」をＳ10で表す。ただし、次の２式をいずれも満たすものとする。
The emotion word database is the emotion classification "joy", "sadness", "anger", "disgust", "fear" used for human expression formation for all words in a large number of word databases such as Japanese dictionary Specify the ratio of 9 of “Sin”, “Shame”, “Interest” and “Surprise” and specify each emotional strength in the range of 0 to 11 in increments of 0.1. Is formed. In addition, when the
そして、入力されるテキストデータ４０と一致または類似する単語を感情語データベースの中から検索し、その単語における感情分類と強度を抽出する。すなわち、テキストデータ４０における感情分類と強度Ｏは、次式で表わされる。
Then, a word that matches or is similar to the
すなわち、上式のように、９次元のベクトルで示される。例えば、テキストデータ４０として、「泣き笑い」を入力すると、抽出される感情分類と強度Ｏは、次のように表わされる。
That is, it is represented by a 9-dimensional vector as in the above equation. For example, when “crying laughter” is input as the
次に、ＰＣ３０において、解析された感情に基づいてキャラクタの表情を合成する。（ステップＳ３）。本実施形態では、基本表情を合成して、解析された感情におけるキャラクタの表情を合成する。ここでは、基本表情として、人間の表情形成に用いられる感情分類「喜び」「悲しみ」「怒り」「嫌悪」「恐怖」「罪」「恥」「興味」「驚き」「無感動」の１０個の表情が予め用意されている。ここで、キャラクタの表情の中のあるポリゴンＰに対して、「喜び」の基本表情におけるＰの座標を（Ｘ1，Ｙ1，Ｚ1）、「悲しみ」の基本表情におけるＰの座標を（Ｘ2，Ｙ2，Ｚ2）、「怒り」の基本表情におけるＰの座標を（Ｘ3，Ｙ3，Ｚ3）、「嫌悪」の基本表情におけるＰの座標を（Ｘ4，Ｙ4，Ｚ4）、「恐怖」の基本表情におけるＰの座標を（Ｘ5，Ｙ5，Ｚ5）、「罪」の基本表情におけるＰの座標を（Ｘ6，Ｙ6，Ｚ6）、「恥」の基本表情におけるＰの座標を（Ｘ7，Ｙ7，Ｚ7）、「興味」の基本表情におけるＰの座標を（Ｘ8，Ｙ8，Ｚ8）、「驚き」の基本表情におけるＰの座標を（Ｘ9，Ｙ9，Ｚ9）、「無感動」の基本表情におけるＰの座標を（Ｘ10，Ｙ10，Ｚ10）と表す。そして、抽出された感情分類に対応する基本表情を、それぞれの感情強度の割合で合成し、キャラクタの表情を生成する。すなわち、生成されたキャラクタの表情におけるＰの座標（ＸE，ＹE，ＺE）は、次式で表わされる。
Next, the
同様の操作をキャラクタの表情における全ポリゴンに対して実行し、キャラクタの表情を生成する。 A similar operation is performed on all polygons in the character's facial expression to generate the character's facial expression.
次に、ＰＣ３０において、解析された感情に基づいて生成したキャラクタの表情が変化する速度を制御する（ステップＳ４）。本実施形態では、感情語データベースに対応した時間情報データベースを使用する。時間情報データベースは、日本語辞書などの大量の単語データベースに存在する全ての単語に対して、表情がどれくらいの速度で変化するか規定し、標準の速度を１として、予め形成されている。
Next, the
そして、入力されるテキストデータ４０と一致または類似する単語を感情語データベースの中から検索し、その単語に対応する時間情報を時間情報データベースの中から抽出する。ここで、抽出された時間情報をＶと表す。そして、抽出された時間情報Ｖに基づいて、生成したキャラクタの表情を時間的に制御する。すなわち、時刻０に（Ｘ0，Ｙ0，Ｚ0）であったキャラクタのＰの座標を、生成されたキャラクタのＰの座標（ＸE，ＹE，ＺE）へ変化させる場合、任意の時刻Ｔにおける生成されたキャラクタのＰの座標（ＸT，ＹT，ＺT）は、次式で表わされる。
Then, a word that matches or is similar to the
同様の操作をキャラクタの表情における全ポリゴンに対して実行し、キャラクタの表情を時間的に制御する。 A similar operation is performed on all the polygons in the character's facial expression, and the character's facial expression is temporally controlled.
次に、ＰＣ３０において、制御された時間に基づき、合成されたキャラクタの表情の画像を生成する（ステップＳ５）。もし、キーボード２０により入力されるテキストデータ４０が続く場合は、キャラクタの表情の画像を生成した後、ステップＳ２に戻り、次のテキストデータ４０に対しての処理を開始する。
Next, the
最後に、制御された時間情報に基づき、合成されたキャラクタの表情の画像をディスプレイ１０に映写する（ステップＳ６）。 Finally, based on the controlled time information, the synthesized facial expression image of the character is projected on the display 10 (step S6).
なお、本発明は、以下のような態様を採ることも可能である。すなわち、（１）本発明の表情生成装置は、感情に応じて表情が変化し得るキャラクタの表情を生成する表情生成装置であって、入力データの感情分類及び前記感情分類の強度を示す情報に応じて、前記キャラクタの基本表情を前記感情分類の強度の割合で合成する表情合成部と、前記解析した感情分類に対応する時間情報に応じて、前記合成したキャラクタの表情を時間的に変化させる動き制御部と、を備えることを特徴とする。 In addition, this invention can also take the following aspects. That is, (1) a facial expression generation apparatus according to the present invention is a facial expression generation apparatus that generates a facial expression of a character whose facial expression can change according to emotion, and includes information indicating emotion classification of input data and the intensity of the emotion classification In response, a facial expression synthesis unit that synthesizes the basic facial expression of the character at a ratio of the intensity of the emotion classification, and temporally changes the facial expression of the synthesized character according to time information corresponding to the analyzed emotion classification. A motion control unit.
このように、入力データの感情分類及び前記感情分類の強度を示す情報に応じて、キャラクタの基本表情を前記感情分類の強度の割合で合成し、感情分類に対応する時間情報に応じて、合成したキャラクタの表情を時間的に変化させるので、感情表現のある表情を一意に生成することができる。また、時間軸の制御によって表現可能な感情における表情を生成することができる。さらに、大量の表情を予め用意しなくても、多くの感情を表現した表情を合成することが可能となる。 As described above, the basic facial expression of the character is synthesized at the ratio of the intensity of the emotion classification according to the emotion classification of the input data and the information indicating the intensity of the emotion classification, and is synthesized according to the time information corresponding to the emotion classification. Since the facial expression of the selected character is changed with time, a facial expression with emotional expression can be uniquely generated. It is also possible to generate facial expressions in emotions that can be expressed by controlling the time axis. Furthermore, it is possible to synthesize facial expressions expressing many emotions without preparing a large number of facial expressions in advance.
（２）また、本発明の表情生成装置は、前記解析した感情分類に対応する時間情報に応じて、前記合成したキャラクタの表情が変化する速度または加速度を調整する時間制御部を更に備えることを特徴とする。 (2) The facial expression generation apparatus of the present invention further includes a time control unit that adjusts a speed or acceleration at which the facial expression of the synthesized character changes according to time information corresponding to the analyzed emotion classification. Features.
このように、感情分類に対応する時間情報に応じて、前記合成したキャラクタの表情が変化する速度または加速度を調整するので、時間軸の制御によって表現可能な感情における表情を生成することができる。 In this way, the speed or acceleration at which the combined facial expression of the synthesized character changes is adjusted according to the time information corresponding to the emotion classification, so that it is possible to generate facial expressions in emotions that can be expressed by controlling the time axis.
（３）また、本発明の表情生成装置は、任意のデータを入力し、前記入力データにおける感情分類及び前記感情分類の強度を解析する感情解析部を更に備えることを特徴とする。 (3) The facial expression generation apparatus of the present invention further includes an emotion analysis unit that inputs arbitrary data and analyzes the emotion classification in the input data and the strength of the emotion classification.
このように、任意のデータを入力し、前記入力データにおける感情分類及び前記感情分類の強度を解析するので、感情表現のある表情を一意に生成することができる。 As described above, since arbitrary data is input and the emotion classification and the strength of the emotion classification in the input data are analyzed, a facial expression with emotion expression can be uniquely generated.
（４）また、本発明の表情生成装置は、前記表情合成部で合成し、前記時間制御部で時間的に変化したキャラクタの表情を再生する表情再生部をさらに備えることを特徴とする。 (4) In addition, the facial expression generation apparatus of the present invention further includes a facial expression reproduction unit that synthesizes the facial expression synthesis unit and reproduces the facial expression of the character that has been temporally changed by the time control unit.
このように、表情合成部で合成し、時間制御部で時間的に変化したキャラクタの表情を再生するので、ユーザに対して処理したキャラクタの感情を表示することが可能となる。 In this way, since the facial expression of the character that is synthesized by the facial expression synthesis unit and temporally changed by the time control unit is reproduced, it is possible to display the emotion of the processed character to the user.
（５）また、本発明のプログラムは、感情に応じて表情が変化し得るキャラクタの表情を生成するプログラムであって、任意のデータを入力し、前記入力データにおける感情分類及び前記感情分類の強度を解析する処理と、前記解析した感情分類に応じて、前記キャラクタの基本表情を前記感情分類の強度の割合で合成する処理と、前記解析した感情分類に対応する時間情報に応じて、前記合成したキャラクタの表情を時間的に変化させる処理と、の一連の処理をコンピュータに実行させることを特徴とする。 (5) Further, the program of the present invention is a program for generating a facial expression of a character whose facial expression can be changed according to emotions, input arbitrary data, and the emotion classification in the input data and the strength of the emotion classification A process of analyzing the character according to the analyzed emotion classification, a process of combining the basic facial expression of the character at a ratio of the intensity of the emotion classification, and the synthesis according to time information corresponding to the analyzed emotion classification The computer is caused to execute a series of processes of changing the facial expression of the character that has been changed over time.
このように、入力データの感情分類及び前記感情分類の強度を示す情報に応じて、キャラクタの基本表情を前記感情分類の強度の割合で合成し、感情分類に対応する時間情報に応じて、合成したキャラクタの表情を時間的に変化させるので、感情表現のある表情を一意に生成することができる。また、時間軸の制御によって表現可能な感情における表情を生成することができる。さらに、大量の表情を予め用意しなくても、多くの感情を表現した表情を合成することが可能となる。 As described above, the basic facial expression of the character is synthesized at the ratio of the intensity of the emotion classification according to the emotion classification of the input data and the information indicating the intensity of the emotion classification, and is synthesized according to the time information corresponding to the emotion classification. Since the facial expression of the selected character is changed with time, a facial expression with emotional expression can be uniquely generated. It is also possible to generate facial expressions in emotions that can be expressed by controlling the time axis. Furthermore, it is possible to synthesize facial expressions expressing many emotions without preparing a large number of facial expressions in advance.
なお、本実施形態に係る表情生成装置では、表情合成部３０−２で合成したキャラクタの表情を表示する画面を備えても良い。これにより、ユーザに対して合成したキャラクタの表情を視認可能とすることができる。また、その画面は、スクリーン、ディスプレイ、テレビ、建築物の壁面、窓、ガラス、鏡またはパネルのいずれかとすることも可能である。これにより、ユーザに対して、種々の形態での表示を行なうことが可能となる。 Note that the facial expression generation apparatus according to the present embodiment may include a screen that displays the facial expression of the character synthesized by the facial expression synthesis unit 30-2. Thereby, it is possible to make the facial expression of the synthesized character visible to the user. The screen may be any of a screen, a display, a television, a building wall, a window, glass, a mirror, or a panel. Thereby, it is possible to display in various forms to the user.
以上説明したように、本実施形態によれば、ＰＣ３０に入力されるテキストデータ４０における感情を解析し、解析された感情に応じたキャラクタの表情を合成する。また、解析された感情に基づいて生成したキャラクタの表情を時間的に制御する。そして、ＰＣ３０は、制御された時間情報に基づき、合成されたキャラクタの表情の画像を生成して、画像信号を随時ディスプレイ１０に発信する。その際、ＰＣ３０において生成された画像はディスプレイ１０にＡ１として映写される。これにより、本実施形態では、感情表現のある表情を自動的に生成することができる。また、解析された感情に基づいて生成したキャラクタの表情を時間的に制御するので、時間軸の制御によって表現可能な感情における表情を生成することができる。さらに、大量の表情を予め用意しなくても、多くの感情を表現した表情を生成することが可能となる。
As described above, according to the present embodiment, the emotion in the
１０ ディスプレイ
２０ キーボード
３０−１ 感情解析部
３０−２ 表情合成部
３０−３ 動き制御部
３０−４ 表情再生部
３０−５ 時間制御部
３０ａ ケーブル
DESCRIPTION OF
Claims (5)
入力データの感情分類及び前記感情分類の強度を示す情報に応じて、前記キャラクタの基本表情を前記感情分類の強度の割合で合成する表情合成部と、
前記解析した感情分類に対応する時間情報に応じて、前記合成したキャラクタの表情を時間的に変化させる動き制御部と、を備えることを特徴とする表情生成装置。 A facial expression generator that generates a facial expression of a character whose facial expression can change according to emotions,
A facial expression synthesizer that synthesizes the basic facial expression of the character at a ratio of the emotion classification intensity according to the emotion classification of the input data and the information indicating the intensity of the emotion classification;
A facial expression generating apparatus comprising: a motion control unit that temporally changes the facial expression of the synthesized character in accordance with time information corresponding to the analyzed emotion classification.
任意のデータを入力し、前記入力データにおける感情分類及び前記感情分類の強度を解析する処理と、
前記解析した感情分類に応じて、前記キャラクタの基本表情を前記感情分類の強度の割合で合成する処理と、
前記解析した感情分類に対応する時間情報に応じて、前記合成したキャラクタの表情を時間的に変化させる処理と、の一連の処理をコンピュータに実行させることを特徴とするプログラム。
A program for generating a facial expression of a character whose facial expression can change according to emotions,
Processing for inputting arbitrary data and analyzing the emotion classification in the input data and the strength of the emotion classification;
In accordance with the analyzed emotion classification, a process of combining the basic facial expression of the character with a ratio of the intensity of the emotion classification;
A program for causing a computer to execute a series of processing of temporally changing the facial expression of the synthesized character in accordance with time information corresponding to the analyzed emotion classification.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2012236066A JP2014085952A (en) | 2012-10-25 | 2012-10-25 | Expression generation device and program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2012236066A JP2014085952A (en) | 2012-10-25 | 2012-10-25 | Expression generation device and program |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2014085952A true JP2014085952A (en) | 2014-05-12 |
Family
ID=50788932
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2012236066A Pending JP2014085952A (en) | 2012-10-25 | 2012-10-25 | Expression generation device and program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2014085952A (en) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105404878A (en) * | 2015-12-11 | 2016-03-16 | 广东欧珀移动通信有限公司 | Photo classification method and apparatus |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH0612401A (en) * | 1992-06-26 | 1994-01-21 | Fuji Xerox Co Ltd | Emotion simulating device |
| JPH10255070A (en) * | 1997-03-11 | 1998-09-25 | Atr Chinou Eizo Tsushin Kenkyusho:Kk | Three-dimensional image generating device |
| JP2001209820A (en) * | 2000-01-25 | 2001-08-03 | Nec Corp | Emotion expressing device and mechanically readable recording medium with recorded program |
| JP2002032306A (en) * | 2000-07-19 | 2002-01-31 | Atr Media Integration & Communications Res Lab | Mail transmission system |
| JP2012160082A (en) * | 2011-02-01 | 2012-08-23 | Bond:Kk | Input support device, input support method, and program |
-
2012
- 2012-10-25 JP JP2012236066A patent/JP2014085952A/en active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH0612401A (en) * | 1992-06-26 | 1994-01-21 | Fuji Xerox Co Ltd | Emotion simulating device |
| JPH10255070A (en) * | 1997-03-11 | 1998-09-25 | Atr Chinou Eizo Tsushin Kenkyusho:Kk | Three-dimensional image generating device |
| JP2001209820A (en) * | 2000-01-25 | 2001-08-03 | Nec Corp | Emotion expressing device and mechanically readable recording medium with recorded program |
| JP2002032306A (en) * | 2000-07-19 | 2002-01-31 | Atr Media Integration & Communications Res Lab | Mail transmission system |
| JP2012160082A (en) * | 2011-02-01 | 2012-08-23 | Bond:Kk | Input support device, input support method, and program |
Non-Patent Citations (1)
| Title |
|---|
| JPN6016023481; 黒瀬 啓之: '感情に基づく表情選択手法の提案とその文章朗読への適用' 映像情報メディア学会技術報告 第２９巻 第６４号 メディア工学 ＭＥ２００５-１９６, 20051103, Ｐ．５７-６２, （社）映像情報メディア学会 * |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105404878A (en) * | 2015-12-11 | 2016-03-16 | 广东欧珀移动通信有限公司 | Photo classification method and apparatus |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| WO2022048403A1 (en) | Virtual role-based multimodal interaction method, apparatus and system, storage medium, and terminal | |
| KR102503413B1 (en) | Animation interaction method, device, equipment and storage medium | |
| US20200279553A1 (en) | Linguistic style matching agent | |
| WO2019196306A1 (en) | Device and method for speech-based mouth shape animation blending, and readable storage medium | |
| US9431027B2 (en) | Synchronized gesture and speech production for humanoid robots using random numbers | |
| KR101306221B1 (en) | Method and apparatus for providing moving picture using 3d user avatar | |
| KR102116309B1 (en) | Synchronization animation output system of virtual characters and text | |
| CN111145777A (en) | Virtual image display method and device, electronic equipment and storage medium | |
| JP2018014094A (en) | Virtual robot interaction method, system, and robot | |
| JP6711044B2 (en) | Image processing device, display device, animation generation method, and program | |
| JP6201212B2 (en) | Character generating apparatus and program | |
| CN112001323A (en) | Digital virtual human mouth shape driving method based on pinyin or English phonetic symbol reading method | |
| KR101089184B1 (en) | Method and system for providing a speech and expression of emotion in 3D charactor | |
| WO2018079332A1 (en) | Information processing device and information processing method | |
| US9449521B2 (en) | Method for using virtual facial and bodily expressions | |
| Charalambous et al. | Audio‐driven emotional speech animation for interactive virtual characters | |
| Pan et al. | Expressive talking avatars | |
| JP6222465B2 (en) | Animation generating apparatus, animation generating method and program | |
| JP2014085952A (en) | Expression generation device and program | |
| JP2017182261A (en) | Information processing apparatus, information processing method, and program | |
| Tolins et al. | A verbal and gestural corpus of story retellings to an expressive embodied virtual character | |
| JP2014167737A (en) | Device and program for creating gestures | |
| JP2022054326A (en) | Interactive program, device, and method for expressing sense of listening of character in accordance with user's emotion | |
| Mukashev et al. | Facial expression generation of 3D avatar based on semantic analysis | |
| Gibet et al. | Challenges for the animation of expressive virtual characters: The standpoint of sign language and theatrical gestures |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20150828 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20160615 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20160621 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20160819 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20160927 |