JP2011227710A

JP2011227710A - Data processor, data processing system, and program

Info

Publication number: JP2011227710A
Application number: JP2010096980A
Authority: JP
Inventors: Taizo Umezaki; 太造梅崎; Motoyasu Tanaka; 基康田中
Original assignee: MegaChips Corp
Current assignee: MegaChips Corp
Priority date: 2010-04-20
Filing date: 2010-04-20
Publication date: 2011-11-10

Abstract

PROBLEM TO BE SOLVED: To provide a data processor for generating a correct expression map using natural expression images by acquiring the various expression images of a specific person without imposing a mental load on the specific person.SOLUTION: A data processor 3 comprises: an acquisition part 30 for acquiring image data obtained by photographing the expression of a person; a generation part 37 for generating an expression map 40 including data concerning the image of the expressions of a specific person, based on the image data acquired by the acquisition part 30; a determination part 33 for determining whether the image data acquired by the acquisition part 30 is the image data of a new expression of the specific person; and an updating part 38 for updating the expression map 40 by additionally registering data concerning the image of the new expression to the expression map 40 when it is determined that the image data acquired by the acquisition part 30 is the image data of the new expression of the specific person.

Description

本発明は、データ処理装置、データ処理システム、及びプログラムに関し、特に、コホーネン型のニューラルネットワークによる自己組織化マップを用いた、データ処理装置、データ処理システム、及びプログラムに関する。 The present invention relates to a data processing device, a data processing system, and a program, and more particularly, to a data processing device, a data processing system, and a program using a self-organizing map by a Kohonen type neural network.

例えば下記特許文献１には、コホーネン型のニューラルネットワークによる自己組織化マップを用いた感情推定装置が開示されている。当該感情推定装置は、表情マップ生成手段、領域区分手段、及び感情推定手段を備えて構成されている。表情マップ生成手段は、「怒り」、「喜び」、「驚き」等の所定の感情に関連付けられた特定人物の表情画像を学習することにより、ニューラルネットワークによる表情マップを生成する。領域区分手段は、表情マップ生成手段が生成した表情マップを、上記所定の感情に基づいて複数の領域に区分する。感情推定手段は、不特定人物の表情画像と、上記複数の領域に区分された表情マップとに基づいて、不特定人物の感情を推定する。 For example, Patent Document 1 below discloses an emotion estimation apparatus using a self-organizing map using a Kohonen type neural network. The emotion estimation apparatus includes an expression map generation unit, a region segmentation unit, and an emotion estimation unit. The expression map generation means generates an expression map by a neural network by learning an expression image of a specific person associated with a predetermined emotion such as “anger”, “joy”, “surprise”, and the like. The area classifying means classifies the facial expression map generated by the facial expression map generating means into a plurality of areas based on the predetermined emotion. The emotion estimation means estimates the emotion of the unspecified person based on the expression image of the unspecified person and the expression map divided into the plurality of regions.

特開２００８−１４６３１８号公報JP 2008-146318 A

しかし、上記特許文献１に開示された感情推定装置によると、表情マップ生成手段が表情マップを生成するにあたって、「怒り」、「喜び」、「驚き」等の各々の感情に対応した特定人物の表情画像を予め準備する必要がある。従って、表情画像の撮影時における当該特定人物の精神的負担が大きく、また、撮影時の緊張により表情が不自然となって、正確な表情画像が取得されない可能性もある。 However, according to the emotion estimation apparatus disclosed in Patent Document 1, when the facial expression map generating means generates the facial expression map, the specific person corresponding to each emotion such as “anger”, “joy”, “surprise”, etc. It is necessary to prepare a facial expression image in advance. Therefore, there is a possibility that the specific person has a great mental burden at the time of photographing a facial expression image, and the facial expression becomes unnatural due to tension at the time of photographing, and an accurate facial expression image may not be acquired.

本発明はかかる事情に鑑みて成されたものであり、特定人物の様々な表情画像を当該特定人物に精神的負担をかけることなく取得することにより、自然な表情画像を用いた正確な表情マップを生成することが可能な、データ処理装置、データ処理システム、及びプログラムを得ることを目的とする。 The present invention has been made in view of such circumstances, and an accurate facial expression map using a natural facial expression image is obtained by acquiring various facial expression images of a specific person without placing a mental burden on the specific person. An object of the present invention is to obtain a data processing device, a data processing system, and a program that can generate a program.

本発明の第１の態様に係るデータ処理装置は、人物の表情を撮影した画像データを取得する取得手段と、前記取得手段が取得した画像データに基づいて、特定人物の表情の画像に関するデータを含む表情マップを生成する生成手段と、前記取得手段が取得した画像データが、前記表情マップに既に登録されている前記特定人物の表情の画像に関するデータとは異なる、前記特定人物の新たな表情の画像データであるか否かを判定する判定手段と、前記判定手段が、前記取得手段が取得した画像データが前記特定人物の新たな表情の画像データであると判定した場合に、当該新たな表情の画像に関するデータを前記表情マップに追加登録することにより、前記表情マップを更新する更新手段と、を備えることを特徴とするものである。 According to a first aspect of the present invention, there is provided a data processing apparatus for acquiring image data obtained by photographing a facial expression of a person, and data relating to an image of a specific person's facial expression based on the image data acquired by the acquisition means. A generating means for generating a facial expression map including the image data acquired by the acquiring means is different from data relating to the facial expression image of the specific person already registered in the facial expression map. A determination unit that determines whether the image data is the image data; and the determination unit determines that the image data acquired by the acquisition unit is image data of a new facial expression of the specific person. Update means for updating the facial expression map by additionally registering data relating to the facial image in the facial expression map.

第１の態様に係るデータ処理装置によれば、判定手段は、取得手段が取得した画像データが、表情マップに既に登録されている特定人物の表情の画像に関するデータとは異なる、特定人物の新たな表情の画像データであるか否かを判定する。そして、判定手段が、取得手段が取得した画像データが特定人物の新たな表情の画像データであると判定した場合に、更新手段は、当該新たな表情の画像に関するデータを表情マップに追加登録することにより、表情マップを更新する。従って、特定人物を連続的に撮影しておき、当該特定人物が、表情マップに既に登録されている表情画像とは異なる新たな表情をしたときに、その新たな表情画像を表情マップに追加することができる。その結果、特定人物の様々な表情画像を当該特定人物に精神的負担をかけることなく取得できるため、自然な表情画像を用いた正確な表情マップを生成することが可能となる。 According to the data processing device according to the first aspect, the determination unit is configured to determine whether the image data acquired by the acquisition unit is different from the data related to the facial expression image of the specific person already registered in the facial expression map. It is determined whether or not the image data is a simple expression. When the determination unit determines that the image data acquired by the acquisition unit is image data of a new facial expression of the specific person, the update unit additionally registers data related to the new facial expression image in the facial expression map. As a result, the facial expression map is updated. Therefore, the specific person is continuously photographed, and when the specific person has a new facial expression different from the facial expression image already registered in the facial expression map, the new facial expression image is added to the facial expression map. be able to. As a result, since various facial expression images of a specific person can be acquired without applying a mental burden to the specific person, an accurate facial expression map using a natural facial expression image can be generated.

本発明の第２の態様に係るデータ処理装置は、第１の態様に係るデータ処理装置において特に、前記更新手段は、前記新たな表情の画像に関するデータを前記表情マップに追加登録する場合に、前記表情マップに既に登録されている前記特定人物の表情と、当該新たな表情との中間の表情の画像に関するデータを、さらに前記表情マップに追加登録することを特徴とするものである。 In the data processing device according to the second aspect of the present invention, in particular, in the data processing device according to the first aspect, the update unit adds the data related to the new facial expression image to the facial expression map. Data relating to an image of a facial expression intermediate between the facial expression of the specific person already registered in the facial expression map and the new facial expression is additionally registered in the facial expression map.

第２の態様に係るデータ処理装置によれば、更新手段は、新たな表情の画像に関するデータを表情マップに追加登録する場合に、表情マップに既に登録されている特定人物の表情と、当該新たな表情との中間の表情の画像に関するデータを、さらに表情マップに追加登録する。従って、表情マップに登録される特定人物の表情画像が充実するため、表情マップを用いて人物の認証を行う場合に、認証の精度を向上することが可能となる。 According to the data processing device of the second aspect, when the data relating to the new facial expression image is additionally registered in the facial expression map, the updating means adds the facial expression of the specific person already registered in the facial expression map and the new facial expression. Data related to images of facial expressions in the middle of facial expressions are additionally registered in the facial expression map. Therefore, since the facial expression images of a specific person registered in the facial expression map are enriched, it is possible to improve the accuracy of authentication when performing personal authentication using the facial expression map.

本発明の第３の態様に係るデータ処理装置は、第１又は第２の態様に係るデータ処理装置において特に、前記更新手段が更新した前記表情マップに基づいて、前記取得手段が画像データを取得した人物が前記特定人物に一致するか否かを決定する決定手段をさらに備えることを特徴とするものである。 In the data processing device according to the third aspect of the present invention, in particular, in the data processing device according to the first or second aspect, the acquisition unit acquires image data based on the facial expression map updated by the update unit. It is further characterized by further comprising a determining means for determining whether or not the selected person matches the specific person.

第３の態様に係るデータ処理装置によれば、決定手段は、更新手段が更新した表情マップに基づいて、取得手段が画像データを取得した人物が特定人物に一致するか否かを決定する。更新手段による更新後の表情マップには、既登録の表情画像と新たな表情画像との中間の表情の画像も登録されており、特定人物の表情画像が充実している。そのため、更新後の表情マップを参照することにより、決定手段が人物の一致／不一致を決定する際の決定の精度を向上することが可能となる。 According to the data processing apparatus according to the third aspect, the determining means determines whether or not the person whose image data has been acquired by the acquiring means matches the specific person based on the facial expression map updated by the updating means. In the facial expression map updated by the updating means, an intermediate facial expression image between the registered facial expression image and the new facial expression image is registered, and the facial expression image of the specific person is enriched. Therefore, by referring to the updated facial expression map, it is possible to improve the accuracy of determination when the determination unit determines match / mismatch of a person.

本発明の第４の態様に係るデータ処理装置は、第１〜第３のいずれか一つの態様に係るデータ処理装置において特に、前記特定人物を撮影した際の当該特定人物の感情を推定する推定手段と、前記表情マップに登録されている前記特定人物の複数の表情の画像に関するデータを、前記推定手段が推定した感情ごとに分類する分類手段と、をさらに備えることを特徴とするものである。 In the data processing device according to the fourth aspect of the present invention, in the data processing device according to any one of the first to third aspects, in particular, the estimation for estimating the emotion of the specific person when the specific person is photographed. And classification means for classifying data relating to images of a plurality of facial expressions of the specific person registered in the facial expression map for each emotion estimated by the estimation means. .

第４の態様に係るデータ処理装置によれば、分類手段は、表情マップに登録されている特定人物の複数の表情の画像に関するデータを、推定手段が推定した感情ごとに分類する。従って、取得手段が取得した画像データにおける特定人物の表情が、表情マップ内のどの感情領域の表情画像に一致又は最も類似しているかによって、特定人物の感情を特定することが可能となる。 According to the data processing device of the fourth aspect, the classifying unit classifies the data related to the plurality of facial expression images of the specific person registered in the facial expression map for each emotion estimated by the estimating unit. Therefore, it is possible to specify the emotion of the specific person depending on which emotional area in the facial expression map the facial expression of the specific person in the image data acquired by the acquisition means matches or is most similar.

本発明の第５の態様に係るデータ処理装置は、第４の態様に係るデータ処理装置において特に、前記特定人物は、テレビゲームのプレーヤーであり、前記推定手段は、前記特定人物を撮影した時点における前記テレビゲームの進行又は結果の状況に基づいて、前記特定人物の感情を推定することを特徴とするものである。 A data processing device according to a fifth aspect of the present invention is the data processing device according to the fourth aspect, in particular, the specific person is a video game player, and the estimating means captures the specific person at a time The emotion of the specific person is estimated based on the progress or result of the video game.

第５の態様に係るデータ処理装置によれば、推定手段は、特定人物を撮影した時点におけるテレビゲームの進行又は結果の状況に基づいて、特定人物の感情を推定する。従って、テレビゲームの進行又は結果の状況を参照するという簡易な手法によって、特定人物の感情を容易に推定することが可能となる。 According to the data processing device of the fifth aspect, the estimating means estimates the emotion of the specific person based on the progress or result of the video game at the time when the specific person was photographed. Therefore, the emotion of a specific person can be easily estimated by a simple method of referring to the progress of the video game or the result situation.

本発明の第６の態様に係るデータ処理装置は、第５の態様に係るデータ処理装置において特に、前記特定人物を撮影した時点における前記テレビゲームの進行又は結果の状況と、当該時点に対応して前記推定手段が推定した前記特定人物の感情と、前記表情マップに基づいて特定された当該時点における前記特定人物の感情とに基づいて、前記テレビゲームの進行の条件を設定する設定手段をさらに備えることを特徴とするものである。 The data processing device according to the sixth aspect of the present invention, in the data processing device according to the fifth aspect, particularly corresponds to the progress or result of the video game at the time of shooting the specific person and the time. Setting means for setting conditions for the progress of the video game based on the emotion of the specific person estimated by the estimation means and the emotion of the specific person at the time specified based on the facial expression map It is characterized by comprising.

第６の態様に係るデータ処理装置によれば、設定手段は、特定人物を撮影した時点におけるテレビゲームの進行又は結果の状況と、当該時点に対応して推定手段が推定した特定人物の感情と、表情マップに基づいて特定された当該時点における特定人物の感情とに基づいて、テレビゲームの進行の条件を設定する。従って、プレーヤーの感情を考慮することによって、テレビゲームのその後のシナリオ展開や難易度レベルを設定することができる。その結果、プレーヤーの技量等に応じてシナリオ展開や難易度レベルを自動設定することが可能なテレビゲームを得ることができる。 According to the data processing device of the sixth aspect, the setting means includes the progress or result of the video game at the time when the specific person was photographed, and the emotion of the specific person estimated by the estimating means corresponding to the time. Based on the emotion of the specific person at the time specified based on the facial expression map, a condition for progressing the video game is set. Therefore, the scenario development and difficulty level of the video game can be set by considering the player's emotion. As a result, it is possible to obtain a video game in which scenario development and difficulty level can be automatically set according to the skill of the player.

本発明の第７の態様に係るデータ処理システムは、撮影装置と、データ処理装置と、を備え、前記データ処理装置は、人物の表情を撮影した画像データを前記撮影装置から取得する取得手段と、前記取得手段が取得した画像データに基づいて、特定人物の表情の画像に関するデータを含む表情マップを生成する生成手段と、前記取得手段が取得した画像データが、前記表情マップに既に登録されている前記特定人物の表情の画像に関するデータとは異なる、前記特定人物の新たな表情の画像データであるか否かを判定する判定手段と、前記判定手段が、前記取得手段が取得した画像データが前記特定人物の新たな表情の画像データであると判定した場合に、当該新たな表情の画像に関するデータを前記表情マップに追加登録することにより、前記表情マップを更新する更新手段と、を有することを特徴とするものである。 A data processing system according to a seventh aspect of the present invention includes a photographing device and a data processing device, and the data processing device obtains image data obtained by photographing a facial expression of a person from the photographing device; Generating means for generating an expression map including data relating to an expression image of a specific person based on the image data acquired by the acquiring means; and the image data acquired by the acquiring means is already registered in the expression map. Determining means for determining whether or not the image data of a new facial expression of the specific person is different from data relating to the facial expression image of the specific person, and the image data acquired by the acquisition means is determined by the determining means. When it is determined that it is image data of a new facial expression of the specific person, by additionally registering data related to the image of the new facial expression in the facial expression map, And updating means for updating the serial expression maps, it is characterized in that it has a.

第７の態様に係るデータ処理システムによれば、判定手段は、取得手段が取得した画像データが、表情マップに既に登録されている特定人物の表情の画像に関するデータとは異なる、特定人物の新たな表情の画像データであるか否かを判定する。そして、判定手段が、取得手段が取得した画像データが特定人物の新たな表情の画像データであると判定した場合に、更新手段は、当該新たな表情の画像に関するデータを表情マップに追加登録することにより、表情マップを更新する。従って、特定人物を連続的に撮影しておき、当該特定人物が、表情マップに既に登録されている表情画像とは異なる新たな表情をしたときに、その新たな表情画像を表情マップに追加することができる。その結果、特定人物の様々な表情画像を当該特定人物に精神的負担をかけることなく取得できるため、自然な表情画像を用いた正確な表情マップを生成することが可能となる。 According to the data processing system of the seventh aspect, the determining unit is configured to determine whether the image data acquired by the acquiring unit is different from the data related to the facial expression image of the specific person already registered in the facial expression map. It is determined whether or not the image data is a simple expression. When the determination unit determines that the image data acquired by the acquisition unit is image data of a new facial expression of the specific person, the update unit additionally registers data related to the new facial expression image in the facial expression map. As a result, the facial expression map is updated. Therefore, the specific person is continuously photographed, and when the specific person has a new facial expression different from the facial expression image already registered in the facial expression map, the new facial expression image is added to the facial expression map. be able to. As a result, since various facial expression images of a specific person can be acquired without applying a mental burden to the specific person, an accurate facial expression map using a natural facial expression image can be generated.

本発明の第８の態様に係るプログラムは、データ処理装置に搭載されるコンピュータを、人物の表情を撮影した画像データを取得する取得手段と、前記取得手段が取得した画像データに基づいて、特定人物の表情の画像に関するデータを含む表情マップを生成する生成手段と、前記取得手段が取得した画像データが、前記表情マップに既に登録されている前記特定人物の表情の画像に関するデータとは異なる、前記特定人物の新たな表情の画像データであるか否かを判定する判定手段と、前記判定手段が、前記取得手段が取得した画像データが前記特定人物の新たな表情の画像データであると判定した場合に、当該新たな表情の画像に関するデータを前記表情マップに追加登録することにより、前記表情マップを更新する更新手段と、として機能させることを特徴とするものである。 A program according to an eighth aspect of the present invention specifies a computer mounted on a data processing device based on acquisition means for acquiring image data obtained by photographing a facial expression of a person, and image data acquired by the acquisition means. Generating means for generating a facial expression map including data relating to a facial expression image of a person, and image data acquired by the acquiring means is different from data relating to the facial expression image of the specific person already registered in the facial expression map; A determination unit that determines whether or not the image data is a new facial expression of the specific person, and the determination unit determines that the image data acquired by the acquisition unit is image data of a new facial expression of the specific person And updating means for updating the facial expression map by additionally registering data related to the new facial expression image in the facial expression map. It is characterized in that to ability.

第８の態様に係るプログラムによれば、判定手段は、取得手段が取得した画像データが、表情マップに既に登録されている特定人物の表情の画像に関するデータとは異なる、特定人物の新たな表情の画像データであるか否かを判定する。そして、判定手段が、取得手段が取得した画像データが特定人物の新たな表情の画像データであると判定した場合に、更新手段は、当該新たな表情の画像に関するデータを表情マップに追加登録することにより、表情マップを更新する。従って、特定人物を連続的に撮影しておき、当該特定人物が、表情マップに既に登録されている表情画像とは異なる新たな表情をしたときに、その新たな表情画像を表情マップに追加することができる。その結果、特定人物の様々な表情画像を当該特定人物に精神的負担をかけることなく取得できるため、自然な表情画像を用いた正確な表情マップを生成することが可能となる。 According to the program according to the eighth aspect, the determining means has the new facial expression of the specific person whose image data acquired by the acquiring means is different from the data related to the facial expression image of the specific person already registered in the facial expression map. It is determined whether or not the image data. When the determination unit determines that the image data acquired by the acquisition unit is image data of a new facial expression of the specific person, the update unit additionally registers data related to the new facial expression image in the facial expression map. As a result, the facial expression map is updated. Therefore, the specific person is continuously photographed, and when the specific person has a new facial expression different from the facial expression image already registered in the facial expression map, the new facial expression image is added to the facial expression map. be able to. As a result, since various facial expression images of a specific person can be acquired without applying a mental burden to the specific person, an accurate facial expression map using a natural facial expression image can be generated.

本発明によれば、特定人物の様々な表情画像を当該特定人物に精神的負担をかけることなく取得することにより、自然な表情画像を用いた正確な表情マップを生成することが可能な、データ処理装置、データ処理システム、及びプログラムを得ることができる。 According to the present invention, it is possible to generate an accurate facial expression map using a natural facial expression image by acquiring various facial expression images of the specific person without placing a mental burden on the specific person. A processing device, a data processing system, and a program can be obtained.

本発明の実施の形態に係るデータ処理システムの全体構成を模式的に示す図である。It is a figure showing typically the whole data processing system composition concerning an embodiment of the invention. データ処理装置の構成を示すブロック図である。It is a block diagram which shows the structure of a data processor. 認証処理部の機能構成を示すブロック図である。It is a block diagram which shows the function structure of an authentication process part. 認証処理部が行う処理の概要を示す図である。It is a figure which shows the outline | summary of the process which an authentication process part performs. コホーネン型のニューラルネットワークの構成を示す図である。It is a figure which shows the structure of a Kohonen type neural network. 図３に示した生成部による表情マップの生成処理を示す図である。It is a figure which shows the production | generation process of the facial expression map by the production | generation part shown in FIG. 図３に示した判定部による判定処理を示す図である。It is a figure which shows the determination process by the determination part shown in FIG. 図３に示した更新部による表情マップの更新処理を示す図である。It is a figure which shows the update process of the facial expression map by the update part shown in FIG. 感情ごとに分類された表情マップを示す図である。It is a figure which shows the facial expression map classified according to emotion.

以下、本発明の実施の形態について、図面を用いて詳細に説明する。なお、異なる図面において同一の符号を付した要素は、同一又は相応する要素を示すものとする。 Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings. In addition, the element which attached | subjected the same code | symbol in different drawing shall show the same or corresponding element.

図１は、本発明の実施の形態に係るデータ処理システム１の全体構成を模式的に示す図である。データ処理システム１は、ＣＣＤカメラ等の撮影装置２と、テレビゲーム機の本体等のデータ処理装置３とを備えて構成されている。撮影装置２は、液晶テレビ等のモニタ４上に取り付けられており、テレビゲームのプレーヤー１００を連続的に撮影する。データ処理装置３は、有線又は無線によって、撮影装置２、モニタ４、及びテレビゲーム機のコントローラ５との間でデータ通信を行うことが可能である。 FIG. 1 is a diagram schematically showing an overall configuration of a data processing system 1 according to an embodiment of the present invention. The data processing system 1 includes a photographing device 2 such as a CCD camera and a data processing device 3 such as a main body of a video game machine. The photographing device 2 is attached on a monitor 4 such as a liquid crystal television, and continuously shoots a video game player 100. The data processing device 3 can perform data communication with the imaging device 2, the monitor 4, and the controller 5 of the video game machine by wire or wireless.

図２は、データ処理装置３の構成を示すブロック図である。データ処理装置３は、通信部１０と、ＣＰＵ等の処理部１１と、半導体メモリ又はハードディスク等の任意の記憶媒体を有する記憶部１２とを備えて構成されている。通信部１０は、撮影装置２、モニタ４、及びコントローラ５との間でデータ通信を行う。処理部１１は、テレビゲームの進行に関わる処理等を行うゲーム処理部２０と、人物の認証に関わる処理等を行う認証処理部２１とを有している。記憶部１２には、ゲームプログラム２２と認証プログラム２３とが記憶されている。処理部１１が記憶部１２からゲームプログラム２２を読み出して実行することにより、処理部１１はゲーム処理部２０として機能する。また、処理部１１が記憶部１２から認証プログラム２３を読み出して実行することにより、処理部１１は認証処理部２１として機能する。 FIG. 2 is a block diagram showing the configuration of the data processing device 3. The data processing device 3 includes a communication unit 10, a processing unit 11 such as a CPU, and a storage unit 12 having an arbitrary storage medium such as a semiconductor memory or a hard disk. The communication unit 10 performs data communication with the imaging device 2, the monitor 4, and the controller 5. The processing unit 11 includes a game processing unit 20 that performs processing related to the progress of a video game and an authentication processing unit 21 that performs processing related to person authentication. The storage unit 12 stores a game program 22 and an authentication program 23. When the processing unit 11 reads out and executes the game program 22 from the storage unit 12, the processing unit 11 functions as the game processing unit 20. In addition, the processing unit 11 functions as the authentication processing unit 21 by the processing unit 11 reading the authentication program 23 from the storage unit 12 and executing it.

図３は、認証処理部２１の機能構成を示すブロック図である。図３の接続関係で示すように、認証処理部２１は、取得部３０、加工部３１、表情マップ処理部３２、判定部３３、決定部３４、推定部３５、及び設定部３６を備えて構成されている。表情マップ処理部３２は、生成部３７、更新部３８、及び分類部３９を有している。記憶部１２には、表情マップ４０が記憶されている。 FIG. 3 is a block diagram illustrating a functional configuration of the authentication processing unit 21. As shown in the connection relationship of FIG. 3, the authentication processing unit 21 includes an acquisition unit 30, a processing unit 31, a facial expression map processing unit 32, a determination unit 33, a determination unit 34, an estimation unit 35, and a setting unit 36. Has been. The facial expression map processing unit 32 includes a generation unit 37, an update unit 38, and a classification unit 39. The storage unit 12 stores a facial expression map 40.

図４は、認証処理部２１が行う処理の概要を示す図である。図３，４を参照して、取得部３０は、撮影装置２が撮影したプレーヤー１００を含む画像データ５０を、通信部１０から取得する。撮影装置２はプレーヤー１００を連続的に撮影しているため、取得部３０は、画像データ５０を通信部１０から連続的に取得する。画像データ５０は、信号Ｓ１として取得部３０から加工部３１に入力される。 FIG. 4 is a diagram showing an outline of the processing performed by the authentication processing unit 21. With reference to FIGS. 3 and 4, the acquisition unit 30 acquires image data 50 including the player 100 captured by the imaging device 2 from the communication unit 10. Since the imaging device 2 continuously captures the player 100, the acquisition unit 30 continuously acquires the image data 50 from the communication unit 10. The image data 50 is input from the acquisition unit 30 to the processing unit 31 as a signal S1.

加工部３１は、二値化、エッジ抽出、及びアフィン変換等の周知の手法を用いることにより、画像データ５０の中から人物の顔部分を抽出する。また、加工部３１は、抽出した顔部分の画像をニューラルネットワークに対する入力画像として使用できるように、当該顔部分の画像を所定サイズに圧縮することにより、人物の表情画像に関する画像データ５１を生成する。画像データ５１は、信号Ｓ２として加工部３１から表情マップ処理部３２、判定部３３、及び決定部３４に入力される。 The processing unit 31 extracts a human face portion from the image data 50 by using a known method such as binarization, edge extraction, and affine transformation. Further, the processing unit 31 generates image data 51 relating to a facial expression image of a person by compressing the face part image to a predetermined size so that the extracted face part image can be used as an input image to the neural network. . The image data 51 is input from the processing unit 31 to the facial expression map processing unit 32, the determination unit 33, and the determination unit 34 as a signal S2.

表情マップ処理部３２は、コホーネン型のニューラルネットワークを用いて構成されており、ニューラルネットワークの入力ユニットに入力された画像データ５１に基づいて、自己組織化マップである表情マップ４０の生成、更新、及び分類を含む処理を実行する。表情マップ処理部３２が実行する処理内容の詳細については後述する。表情マップ４０は、ニューラルネットワークの複数の出力ユニット６２の集合として構成されており、各出力ユニット６２に、プレーヤー１００の表情画像が一つ表れる。図４では図面の簡略化のためプレーヤー１００の表情を統一して図示しているが、実際には、表情マップ４０には、プレーヤー１００の様々な表情画像に対応する画像データ５２が含まれることとなる。 The expression map processing unit 32 is configured using a Kohonen type neural network, and generates, updates, and updates the expression map 40 that is a self-organizing map based on the image data 51 input to the input unit of the neural network. And processing including classification. Details of the processing contents executed by the facial expression map processing unit 32 will be described later. The expression map 40 is configured as a set of a plurality of output units 62 of the neural network, and one expression image of the player 100 appears in each output unit 62. In FIG. 4, the expression of the player 100 is shown in a unified manner for simplification of the drawing, but actually, the expression map 40 includes image data 52 corresponding to various expression images of the player 100. It becomes.

図５は、コホーネン型のニューラルネットワークの構成を示す図である。コホーネン型のニューラルネットワークは、複数の入力ユニット６０を含む入力層と、複数の出力ユニット６２を含む出力層とを備えている。図５では、入力ユニット６０の横方向及び縦方向の座標をそれぞれ「ｋ」，「ｌ」で表し、出力ユニット６２の横方向及び縦方向の座標をそれぞれ「ｉ」，「ｊ」で表している。コホーネン型のニューラルネットワークでは、初めに、各入力ユニット−各出力ユニット間の重み付け値Ｗ_ｉｊｋｌとして、小さなランダム値が与えられている。入力画像ｘ_ｋｌが入力されると、その画像データ５１の各画素値（例えば輝度値）は、対応する入力ユニット６０にそれぞれ入力される。下記式（１）に基づいて入力画像との類似度ｕ_ｉｊが全ての出力ユニットに関して求められ、類似度ｕ_ｉｊが最も高い出力ユニットが類似度最大ユニットとされる。そして、類似度最大ユニットを中心とした所定の学習半径ｄ_ｓ内に含まれる複数の出力ユニットの各画素値が、入力画像ｘ_ｋｌに近づくように、下記式（２）に基づいて関連箇所の重み付け値Ｗ_ｉｊｋｌが修正される。ここで、重み付け値Ｗ_ｉｊｋｌの更新には下記式（３）が用いられ、学習係数α（ｔ）の更新には下記式（４）が用いられる。なお、ｄ_ｉ及びｄ_ｊはそれぞれ、類似度最大ユニットから更新する重みまでのｉ方向及びｊ方向の距離（ｄ_ｓ＞ｄ_ｉ，ｄ_ｓ＞ｄ_ｊ）であり、Ｔは総学習回数であり、ｔは現在の学習回数であり、Ｘは任意の変数である。 FIG. 5 is a diagram illustrating a configuration of a Kohonen type neural network. The Kohonen type neural network includes an input layer including a plurality of input units 60 and an output layer including a plurality of output units 62. In FIG. 5, the horizontal and vertical coordinates of the input unit 60 are represented by “k” and “l”, respectively, and the horizontal and vertical coordinates of the output unit 62 are represented by “i” and “j”, respectively. Yes. In the Kohonen type neural network, first, a small random value is given as the weighting value W _ijkl between each input unit and each output unit. When the input image x _kl is input, each pixel value (for example, luminance value) of the image data 51 is input to the corresponding input unit 60. Based on the following formula (1), the similarity u _ij with the input image is obtained for all output units, and the output unit with the highest similarity u _ij is set as the maximum similarity unit. Then, the pixel values of the plurality of output units included in the predetermined learning radius d _s centered on the maximum similarity unit are approximated to the input image x _kl based on the following formula (2), and The weight value W _ijkl is modified. Here, the following formula (3) is used for updating the weighting value W _ijkl , and the following formula (4) is used for updating the learning coefficient α (t). Here, d _i and d _j are distances in the i direction and j direction from the maximum similarity unit to the weight to be updated (d _s > d _i , d _s > d _j ), respectively, and T is the total number of learning times , T is the current number of learning times, and X is an arbitrary variable.

図６は、図３に示した生成部３７による表情マップ４０の生成処理を示す図である。プレーヤー１００が登録されていない初期段階においては、表情マップ４０の各ノード（つまり各出力ユニット６２）は乱数を用いて初期化されている。プレーヤー１００の登録が指示されると、生成部３７には、撮影装置２によって撮影された画像データ５０に基づいて生成された画像データ５１が、加工部３１から入力される。この画像データ５１には、プレーヤー１００の任意の表情画像（例えば無表情の画像）が含まれている。生成部３７は、入力された画像データ５１と同一の画像データ５２Ａを、表情マップ４０の所定のノードに登録する。その際、予め設定された学習半径に応じて、その周囲のノードにおいても同じ画像データ５２Ａが登録される。図６に示した例では、表情マップ４０の領域Ａ１内に含まれるノードに画像データ５２Ａが登録される。換言すれば、領域Ａ１内に含まれるノードに画像データ５１と同一の画像データ５２Ａが表れるように、ニューラルネットワークの関連箇所の重み付け値Ｗが設定される。 FIG. 6 is a diagram showing a generation process of the facial expression map 40 by the generation unit 37 shown in FIG. In an initial stage where the player 100 is not registered, each node (that is, each output unit 62) of the facial expression map 40 is initialized using a random number. When the registration of the player 100 is instructed, the image data 51 generated based on the image data 50 photographed by the photographing device 2 is input from the processing unit 31 to the generation unit 37. The image data 51 includes an arbitrary expression image (for example, an expressionless image) of the player 100. The generation unit 37 registers the same image data 52A as the input image data 51 in a predetermined node of the expression map 40. At this time, the same image data 52A is registered in the surrounding nodes according to a preset learning radius. In the example shown in FIG. 6, the image data 52 A is registered in a node included in the area A 1 of the expression map 40. In other words, the weight value W of the relevant part of the neural network is set so that the same image data 52A as the image data 51 appears in the nodes included in the region A1.

プレーヤー１００がテレビゲームを続けている間、撮影装置２はプレーヤー１００を連続的に撮影している。従って、加工部３１はプレーヤー１００の様々な表情画像を含む画像データ５１を連続的に出力し、これらの画像データ５１は加工部３１から判定部３３に入力される。 While the player 100 continues the video game, the photographing device 2 continuously photographs the player 100. Therefore, the processing unit 31 continuously outputs image data 51 including various facial expression images of the player 100, and these image data 51 are input from the processing unit 31 to the determination unit 33.

図７は、図３に示した判定部３３による判定処理を示す図である。判定部３３には、画像データ５１が信号Ｓ２として加工部３１から入力されるともに、表情マップ４０が信号Ｓ４として記憶部１２から入力される。判定部３３は、表情マップ４０に既に登録されている画像データ５２のうち、加工部３１から入力された画像データ５１に最も類似度の高い画像データ５２Ｍを特定する。そして、判定部３３は、画像データ５１と画像データ５２Ｍとの類似度Ｎが閾値Ｔｈ１以上である場合には、画像データ５１と画像データ５２Ｍとは実質的に同一であるとみなして、表情マップ４０の更新（詳細は後述する）を行わない。また、判定部３３は、類似度Ｎが閾値Ｔｈ２以上かつ閾値Ｔｈ１未満である場合には、画像データ５１にはプレーヤー１００の新たな表情画像が含まれているとみなして、表情マップ４０の更新を指示する更新命令信号Ｓ５を更新部３８に入力する。また、判定部３３は、類似度Ｎが閾値Ｔｈ２未満である場合には、画像データ５１にはプレーヤー１００とは別人の表情画像が含まれているとみなして、表情マップ４０の更新を行わない。 FIG. 7 is a diagram illustrating a determination process performed by the determination unit 33 illustrated in FIG. The determination unit 33 receives the image data 51 from the processing unit 31 as the signal S2 and the facial expression map 40 from the storage unit 12 as the signal S4. The determination unit 33 specifies image data 52M having the highest similarity to the image data 51 input from the processing unit 31 among the image data 52 already registered in the facial expression map 40. Then, when the similarity N between the image data 51 and the image data 52M is equal to or greater than the threshold Th1, the determination unit 33 regards the image data 51 and the image data 52M as substantially the same, and determines the expression map. 40 is not updated (details will be described later). Further, when the similarity N is equal to or greater than the threshold Th2 and less than the threshold Th1, the determination unit 33 regards that the image data 51 includes a new facial expression image of the player 100, and updates the facial expression map 40. An update command signal S5 is input to the update unit 38. Further, when the similarity N is less than the threshold Th2, the determination unit 33 regards that the image data 51 includes a facial expression image of a person different from the player 100, and does not update the facial expression map 40. .

図８は、図３に示した更新部３８による表情マップ４０の更新処理を示す図である。更新命令信号Ｓ５が判定部３３から入力されると、更新部３８は、加工部３１から入力された画像データ５１と同一の画像データ５２Ｂを、表情マップ４０に追加登録する。その際、上記と同様に、予め設定された学習半径に応じて、その周囲のノードにおいても同じ画像データ５２Ｂが登録される。図８に示した例では、表情マップ４０の領域Ａ２内に含まれるノードに画像データ５２Ｂが登録される。また、領域Ａ１と領域Ａ２とが重複する重複エリアにおいては、画像データ５２Ａと画像データ５２Ｂとが互いに融合した（混ざり合った）画像データが登録される。例えば、画像データ５２Ａにおけるプレーヤー１００の表情が無表情であり、画像データ５２Ｂにおけるプレーヤー１００の表情が笑顔であった場合には、無表情と笑顔との中間の表情の画像データが、当該重複エリアに登録される。 FIG. 8 is a diagram showing an update process of the facial expression map 40 by the update unit 38 shown in FIG. When the update command signal S5 is input from the determination unit 33, the update unit 38 additionally registers the same image data 52B as the image data 51 input from the processing unit 31 in the facial expression map 40. At that time, in the same manner as described above, the same image data 52B is registered in the surrounding nodes in accordance with a preset learning radius. In the example illustrated in FIG. 8, the image data 52 B is registered in a node included in the area A 2 of the expression map 40. In the overlapping area where the area A1 and the area A2 overlap, image data in which the image data 52A and the image data 52B are fused (mixed) with each other is registered. For example, when the expression of the player 100 in the image data 52A is no expression and the expression of the player 100 in the image data 52B is a smile, the image data of the expression between the expressionless expression and the smile is the overlap area. Registered in

プレーヤー１００の新たな表情画像を含む画像データ５１が入力される度に、判定部３３は、更新命令信号Ｓ５を更新部３８に入力し、更新部３８は、新たな表情の画像データ、及び、新たな表情と既登録の表情との中間の表情の画像データを、表情マップ４０に追加登録する。これにより、プレーヤー１００がテレビゲームの続行中に新たな表情を見せる度に、プレーヤー１００の様々な表情画像を含む画像データ５２が表情マップ４０に自動的に蓄積され、表情マップ４０が充実化する。 Each time image data 51 including a new facial expression image of the player 100 is input, the determination unit 33 inputs an update command signal S5 to the update unit 38, and the update unit 38 includes the new facial expression image data, and Image data of an intermediate facial expression between a new facial expression and a registered facial expression is additionally registered in the facial expression map 40. Thus, whenever the player 100 shows a new facial expression while the video game continues, the image data 52 including various facial expression images of the player 100 is automatically accumulated in the facial expression map 40, and the facial expression map 40 is enriched. .

次回以降のテレビゲームの起動時には、記憶部１２に記憶されているその時点での最新の表情マップ４０を用いて、プレーヤー１００の認証等が行われる。図３を参照して、起動時に撮影装置２によって撮影されたプレーヤー１００の画像データ５０が、信号Ｓ１として取得部３０から加工部３１に入力される。決定部３４には、画像データ５０に基づいて生成された画像データ５１が、信号Ｓ２として加工部３１から入力される。また、決定部３４には、表情マップ４０が信号Ｓ４として記憶部１２から入力される。決定部３４は、表情マップ４０に登録されている様々な表情画像の画像データ５２のうち、加工部３１から入力された画像データ５１に最も類似度の高い画像データ５２Ｍを特定する。そして、決定部３４は、画像データ５１と画像データ５２Ｍとの類似度が所定の閾値以上である場合には、撮影装置２によって撮影された人物は、表情マップ４０に登録されているプレーヤー１００と同一人物であるとみなして、認証結果を「成功」とする。この場合、テレビゲームの進行に関する得点履歴や進行状況等の種々のパラメータ値が、記憶部１２に保存されているプレーヤー１００の設定値に自動的に設定される。一方、決定部３４は、画像データ５１と画像データ５２Ｍとの類似度が当該閾値未満である場合には、撮影装置２によって撮影された人物は、表情マップ４０に登録されているプレーヤー１００とは別人であるとみなして、認証結果を「失敗」とする。 When the video game is started after the next time, the player 100 is authenticated using the latest facial expression map 40 stored at that time stored in the storage unit 12. With reference to FIG. 3, the image data 50 of the player 100 imaged by the imaging device 2 at the time of activation is input from the acquisition unit 30 to the processing unit 31 as a signal S1. Image data 51 generated based on the image data 50 is input from the processing unit 31 to the determination unit 34 as the signal S2. Further, the expression map 40 is input from the storage unit 12 to the determination unit 34 as the signal S4. The determination unit 34 specifies image data 52M having the highest similarity to the image data 51 input from the processing unit 31 among the image data 52 of various facial expression images registered in the facial expression map 40. When the similarity between the image data 51 and the image data 52M is equal to or greater than a predetermined threshold, the determining unit 34 determines that the person photographed by the photographing device 2 is the player 100 registered in the facial expression map 40. Considering the same person, the authentication result is “success”. In this case, various parameter values such as a score history and a progress situation regarding the progress of the video game are automatically set to the setting values of the player 100 stored in the storage unit 12. On the other hand, when the similarity between the image data 51 and the image data 52M is less than the threshold, the determination unit 34 determines that the person photographed by the photographing device 2 is the player 100 registered in the facial expression map 40. Assuming that the person is another person, the authentication result is “failure”.

図３を参照して、推定部３５には、テレビゲームの進行又は結果の状況を示す信号Ｓ６が、図２に示したゲーム処理部２０から入力される。推定部３５は、信号Ｓ６に基づいて、テレビゲームの進行又は結果の状況に応じたプレーヤー１００の感情を推定する。例えば、ハイスコアを更新した場合や、対戦型ゲームにおいて対戦相手に勝利した場合等には、プレーヤー１００の感情は「喜び」であると推定する。また、ホラーゲーム等においてプレーヤーを驚かせる演出を行った場合には、プレーヤー１００の感情は「驚き」であると推定する。推定部３５は、推定したプレーヤー１００の感情を示す信号Ｓ７を表情マップ処理部３２に入力する。 Referring to FIG. 3, a signal S 6 indicating the progress or result of the video game is input to the estimation unit 35 from the game processing unit 20 illustrated in FIG. 2. The estimation unit 35 estimates the emotion of the player 100 according to the progress of the video game or the situation of the result based on the signal S6. For example, when the high score is updated or when the opponent is won in the competitive game, it is estimated that the emotion of the player 100 is “joy”. In addition, when an effect that surprises the player in a horror game or the like is performed, it is estimated that the emotion of the player 100 is “surprise”. The estimation unit 35 inputs a signal S7 indicating the estimated emotion of the player 100 to the facial expression map processing unit 32.

分類部３９は、生成部３７又は更新部３８が画像データ５２を表情マップ４０に登録する際に、プレーヤー１００を撮影した瞬間におけるプレーヤー１００の感情の推定結果に基づいて、画像データ５２に含まれるプレーヤー１００の表情画像と、プレーヤー１００の感情とを関連付ける。これにより、表情マップ４０における複数の画像データ５２を、プレーヤー１００の感情ごとに分類する。図９は、感情ごとに分類された表情マップ４０を示す図である。例えば、領域Ｂ１には「喜び」の感情に関連付けられた複数の表情画像の画像データが登録されており、領域Ｂ２には「悲しみ」の感情に関連付けられた複数の表情画像の画像データが登録されている。領域Ｂ３〜Ｂ６についても同様に、プレーヤー１００の表情画像の画像データが、プレーヤー１００の感情ごとに分類されて各領域に登録されている。 The classification unit 39 is included in the image data 52 based on the emotion estimation result of the player 100 at the moment when the player 100 is photographed when the generation unit 37 or the update unit 38 registers the image data 52 in the facial expression map 40. The facial expression image of the player 100 is associated with the emotion of the player 100. Thereby, the plurality of image data 52 in the facial expression map 40 is classified for each emotion of the player 100. FIG. 9 is a diagram showing facial expression maps 40 classified for each emotion. For example, image data of a plurality of facial expression images associated with the emotion of “joy” is registered in the area B1, and image data of a plurality of facial expression images associated with the emotion of “sadness” is registered in the area B2. Has been. Similarly, for the areas B3 to B6, the image data of the facial expression image of the player 100 is classified for each emotion of the player 100 and registered in each area.

図３を参照して、設定部３６には、テレビゲームの進行又は結果の状況を示す信号Ｓ６がゲーム処理部２０から入力されるとともに、プレーヤー１００の感情の推定結果を示す信号Ｓ７が推定部３５から入力される。また、設定部３６には、図９に示した表情マップ４０に基づいて特定されたプレーヤー１００の感情を示す信号Ｓ８が、表情マップ処理部３２から入力される。ここで、表情マップ処理部３２は、表情マップ４０に登録されている様々な表情画像の画像データ５２のうち、加工部３１から入力された画像データ５１に最も類似度の高い画像データ５２Ｍを特定し、その画像データ５２Ｍがどの領域Ｂ１〜Ｂ６に属しているかによって、プレーヤー１００の感情を特定する。例えば、画像データ５２Ｍが領域Ｂ１に属している場合には、プレーヤー１００の感情は「喜び」であると特定する。 Referring to FIG. 3, a signal S6 indicating the progress or result of the video game is input from the game processing unit 20 to the setting unit 36 and a signal S7 indicating the estimation result of the emotion of the player 100 is input to the estimation unit 35. Further, a signal S8 indicating the emotion of the player 100 specified based on the facial expression map 40 shown in FIG. Here, the facial expression map processing unit 32 specifies image data 52M having the highest similarity to the image data 51 input from the processing unit 31 among the image data 52 of various facial expression images registered in the facial expression map 40. Then, the emotion of the player 100 is specified depending on which region B1 to B6 the image data 52M belongs to. For example, when the image data 52M belongs to the area B1, the emotion of the player 100 is specified as “joy”.

設定部３６は、入力されたこれらの信号Ｓ６〜Ｓ８に基づいて、テレビゲームの進行の条件を可変に設定する。例えば、対戦型ゲームでプレーヤー１００がコンピュータとの対戦に敗れた状況において、その際に特定したプレーヤー１００の感情が極度の「悲しみ」である場合には、次回の対戦においてはコンピュータの戦力レベルを今回より低く設定する。また、ホラーゲーム等においてプレーヤーを驚かせる演出を行ったにも拘わらず、特定したプレーヤー１００の感情が「驚き」でなかった場合には、プレーヤーが次に進むシーンのシナリオを、プレーヤーを驚かせる演出が今回のものよりも過激なシナリオに設定する。同一のシーンに対して複数のシナリオを準備しておき、設定部３６が複数のシナリオの中から一のシナリオを選択することにより、これを実現することができる。 The setting unit 36 variably sets the conditions for progressing the video game based on these input signals S6 to S8. For example, in a situation where the player 100 is defeated in a battle-type game and the emotion of the player 100 specified at that time is extreme “sadness”, the computer's strength level is set to the level of the computer in the next battle. Set lower than this time. In addition, if the emotion of the identified player 100 is not “surprise” in spite of performing an effect that surprises the player in a horror game or the like, the player will be surprised at the scenario of the next scene that the player proceeds to. Set the scenario to be more radical than the current one. This can be realized by preparing a plurality of scenarios for the same scene and selecting one scenario from the plurality of scenarios by the setting unit 36.

なお、以上の説明では、モニタ４上にゲーム映像を表示させるテレビゲームを例にとって本発明の内容を述べたが、この例に限らず、カメラ機能を備える携帯電話等の携帯端末を用いて、携帯端末の画面上にゲーム映像を表示させる場合にも、テレビゲームと同様に本発明を適用可能である。 In the above description, the content of the present invention has been described by taking a video game for displaying a game video on the monitor 4 as an example. However, the present invention is not limited to this example. The present invention can also be applied to a case where a game video is displayed on the screen of a mobile terminal, as in the case of a video game.

また、以上の説明では、表情マップ４０に画像データを登録する例について述べたが、記憶データ量を削減すべく、画像データの代わりに、両目間の間隔や両目と鼻との位置関係等の人物の顔の特徴を数値化したデータを、表情マップ４０に登録してもよい。あるいは、認証の精度を向上すべく、画像データを用いた表情マップと、数値化データを用いた表情マップとを併用してもよい。 In the above description, the example in which image data is registered in the facial expression map 40 has been described. However, in order to reduce the amount of stored data, instead of the image data, the distance between the eyes and the positional relationship between the eyes and the nose Data obtained by digitizing the characteristics of a person's face may be registered in the facial expression map 40. Alternatively, in order to improve the accuracy of authentication, an expression map using image data and an expression map using digitized data may be used in combination.

本実施の形態に係るデータ処理装置３によれば、判定部３３は、取得部３０が取得した画像データが、表情マップ４０に既に登録されているプレーヤー１００の表情画像とは異なる、プレーヤー１００の新たな表情画像であるか否かを判定する。そして、判定部３３が、取得部３０が取得した画像データがプレーヤー１００の新たな表情画像であると判定した場合に、更新部３８は、当該新たな表情画像を表情マップ４０に追加登録することにより、表情マップ４０を更新する。従って、プレーヤー１００を連続的に撮影しておき、プレーヤー１００が、表情マップ４０に既に登録されている表情画像とは異なる新たな表情をしたときに、その新たな表情画像を表情マップ４０に追加することができる。その結果、プレーヤー１００の様々な表情画像を、プレーヤー１００に精神的負担をかけることなく取得できるため、自然な表情画像を用いた正確な表情マップ４０を生成することが可能となる。 According to the data processing device 3 according to the present embodiment, the determination unit 33 determines whether the image data acquired by the acquisition unit 30 is different from the facial expression image of the player 100 already registered in the facial expression map 40. It is determined whether or not it is a new facial expression image. Then, when the determination unit 33 determines that the image data acquired by the acquisition unit 30 is a new facial expression image of the player 100, the update unit 38 additionally registers the new facial expression image in the facial expression map 40. Thus, the facial expression map 40 is updated. Therefore, the player 100 is continuously photographed, and when the player 100 makes a new facial expression different from the facial expression image already registered in the facial expression map 40, the new facial expression image is added to the facial expression map 40. can do. As a result, since various facial expression images of the player 100 can be acquired without placing a mental burden on the player 100, it is possible to generate an accurate facial expression map 40 using a natural facial expression image.

また、本実施の形態に係るデータ処理装置３によれば、更新部３８は、新たな表情画像を表情マップ４０に追加登録する場合に、表情マップ４０に既に登録されているプレーヤー１００の表情と、当該新たな表情との中間の表情画像を、表情マップ４０に追加登録する。従って、表情マップ４０に登録されるプレーヤー１００の表情画像が充実するため、表情マップ４０を用いて人物の認証を行う場合に、認証の精度を向上することが可能となる。 In addition, according to the data processing device 3 according to the present embodiment, when the update unit 38 additionally registers a new facial expression image in the facial expression map 40, the update unit 38 and the facial expression of the player 100 already registered in the facial expression map 40 The facial expression image intermediate to the new facial expression is additionally registered in the facial expression map 40. Therefore, since the facial expression images of the player 100 registered in the facial expression map 40 are enriched, it is possible to improve the accuracy of authentication when authenticating a person using the facial expression map 40.

また、本実施の形態に係るデータ処理装置３によれば、決定部３４は、更新部３８が更新した表情マップ４０に基づいて、取得部３０が画像データを取得した人物がプレーヤー１００に一致するか否かを決定する。更新部３８による更新後の表情マップ４０には、既登録の表情画像と新たな表情画像との中間の表情画像も登録されており、プレーヤー１００の表情画像が充実している。そのため、更新後の表情マップ４０を参照することにより、決定部３４が人物の一致／不一致を決定する際の決定の精度を向上することが可能となる。 Further, according to the data processing device 3 according to the present embodiment, the determination unit 34 determines that the person whose image data is acquired by the acquisition unit 30 matches the player 100 based on the facial expression map 40 updated by the update unit 38. Determine whether or not. In the facial expression map 40 updated by the updating unit 38, an intermediate facial expression image between the registered facial expression image and the new facial expression image is registered, and the facial expression image of the player 100 is enriched. Therefore, by referring to the updated facial expression map 40, it is possible to improve the accuracy of determination when the determination unit 34 determines match / mismatch of a person.

また、本実施の形態に係るデータ処理装置３によれば、分類部３９は、表情マップ４０に登録されているプレーヤー１００の複数の表情画像を、推定部３５が推定した感情ごとに分類する。従って、取得部３０が取得した画像データにおけるプレーヤー１００の表情が、表情マップ４０内のどの感情領域の表情画像に一致又は最も類似しているかによって、プレーヤー１００の感情を特定することが可能となる。 Further, according to the data processing device 3 according to the present embodiment, the classification unit 39 classifies the plurality of facial expression images of the player 100 registered in the facial expression map 40 for each emotion estimated by the estimation unit 35. Therefore, it is possible to specify the emotion of the player 100 according to which emotional region in the facial expression map 40 the facial expression of the player 100 in the image data acquired by the acquisition unit 30 matches or is most similar to. .

また、本実施の形態に係るデータ処理装置３によれば、推定部３５は、プレーヤー１００を撮影した時点におけるテレビゲームの進行又は結果の状況に基づいて、プレーヤー１００の感情を推定する。従って、テレビゲームの進行又は結果の状況を参照するという簡易な手法によって、プレーヤー１００の感情を容易に推定することが可能となる。 Further, according to the data processing device 3 according to the present embodiment, the estimation unit 35 estimates the emotion of the player 100 based on the progress of the video game or the situation of the result at the time when the player 100 is photographed. Therefore, it is possible to easily estimate the emotion of the player 100 by a simple method of referring to the progress or result of the video game.

また、本実施の形態に係るデータ処理装置３によれば、設定部３６は、プレーヤー１００を撮影した時点におけるテレビゲームの進行又は結果の状況と、当該時点に対応して推定部３５が推定したプレーヤー１００の感情と、表情マップ４０に基づいて表情マップ処理部３２によって特定された当該時点におけるプレーヤー１００の感情とに基づいて、テレビゲームの進行の条件を設定する。従って、プレーヤー１００の感情を考慮することによって、テレビゲームのその後のシナリオ展開や難易度レベルを設定することができる。その結果、プレーヤーの技量等に応じてシナリオ展開や難易度レベルを自動設定することが可能なテレビゲームを得ることができる。 Further, according to the data processing device 3 according to the present embodiment, the setting unit 36 estimates the progress or result of the video game at the time when the player 100 is photographed and the estimation unit 35 corresponding to the time. Based on the emotion of the player 100 and the emotion of the player 100 at the time point specified by the facial expression map processing unit 32 based on the facial expression map 40, conditions for progressing the video game are set. Therefore, by considering the emotion of the player 100, it is possible to set the subsequent scenario development and difficulty level of the video game. As a result, it is possible to obtain a video game in which scenario development and difficulty level can be automatically set according to the skill of the player.

１データ処理システム
２撮影装置
３データ処理装置
１１処理部
１２記憶部
２０ゲーム処理部
２１認証処理部
２２ゲームプログラム
２３認証プログラム
３０取得部
３１加工部
３２表情マップ処理部
３３判定部
３４決定部
３５推定部
３６設定部
３７生成部
３８更新部
３９分類部
４０表情マップ
５１，５２画像データ DESCRIPTION OF SYMBOLS 1 Data processing system 2 Imaging device 3 Data processing device 11 Processing part 12 Storage part 20 Game processing part 21 Authentication processing part 22 Game program 23 Authentication program 30 Acquisition part 31 Processing part 32 Expression map processing part 33 Determination part 34 Determination part 35 Estimation Unit 36 setting unit 37 generation unit 38 update unit 39 classification unit 40 facial expression map 51, 52 image data

Claims

人物の表情を撮影した画像データを取得する取得手段と、
前記取得手段が取得した画像データに基づいて、特定人物の表情の画像に関するデータを含む表情マップを生成する生成手段と、
前記取得手段が取得した画像データが、前記表情マップに既に登録されている前記特定人物の表情の画像に関するデータとは異なる、前記特定人物の新たな表情の画像データであるか否かを判定する判定手段と、
前記判定手段が、前記取得手段が取得した画像データが前記特定人物の新たな表情の画像データであると判定した場合に、当該新たな表情の画像に関するデータを前記表情マップに追加登録することにより、前記表情マップを更新する更新手段と、
を備える、データ処理装置。 An acquisition means for acquiring image data obtained by photographing a facial expression of a person;
Generating means for generating a facial expression map including data relating to the facial expression image of the specific person based on the image data acquired by the acquiring means;
It is determined whether the image data acquired by the acquisition unit is image data of a new facial expression of the specific person that is different from data related to the facial expression image of the specific person already registered in the facial expression map. A determination means;
When the determination unit determines that the image data acquired by the acquisition unit is image data of a new facial expression of the specific person, by additionally registering data related to the new facial expression image in the facial expression map Updating means for updating the facial expression map;
A data processing apparatus.

前記更新手段は、前記新たな表情の画像に関するデータを前記表情マップに追加登録する場合に、前記表情マップに既に登録されている前記特定人物の表情と、当該新たな表情との中間の表情の画像に関するデータを、さらに前記表情マップに追加登録する、請求項１に記載のデータ処理装置。 When the data relating to the new facial expression image is additionally registered in the facial expression map, the updating unit is configured to display an intermediate facial expression between the facial expression of the specific person already registered in the facial expression map and the new facial expression. The data processing apparatus according to claim 1, wherein data related to an image is additionally registered in the facial expression map.

前記更新手段が更新した前記表情マップに基づいて、前記取得手段が画像データを取得した人物が前記特定人物に一致するか否かを決定する決定手段
をさらに備える、請求項１又は２に記載のデータ処理装置。 The determination unit according to claim 1, further comprising: a determination unit that determines whether or not a person whose image data has been acquired by the acquisition unit matches the specific person based on the facial expression map updated by the update unit. Data processing device.

前記特定人物を撮影した際の当該特定人物の感情を推定する推定手段と、
前記表情マップに登録されている前記特定人物の複数の表情の画像に関するデータを、前記推定手段が推定した感情ごとに分類する分類手段と、
をさらに備える、請求項１〜３のいずれか一つに記載のデータ処理装置。 Estimating means for estimating an emotion of the specific person when the specific person is photographed;
Classification means for classifying data relating to images of a plurality of facial expressions of the specific person registered in the facial expression map for each emotion estimated by the estimation means;
The data processing device according to claim 1, further comprising:

前記特定人物は、テレビゲームのプレーヤーであり、
前記推定手段は、前記特定人物を撮影した時点における前記テレビゲームの進行又は結果の状況に基づいて、前記特定人物の感情を推定する、請求項４に記載のデータ処理装置。 The specific person is a video game player,
The data processing apparatus according to claim 4, wherein the estimation unit estimates an emotion of the specific person based on a progress or result of the video game at the time when the specific person is photographed.

前記特定人物を撮影した時点における前記テレビゲームの進行又は結果の状況と、当該時点に対応して前記推定手段が推定した前記特定人物の感情と、前記表情マップに基づいて特定された当該時点における前記特定人物の感情とに基づいて、前記テレビゲームの進行の条件を設定する設定手段
をさらに備える、請求項５に記載のデータ処理装置。 The progress or result of the video game at the time of shooting the specific person, the emotion of the specific person estimated by the estimating means corresponding to the time, and the time specified based on the facial expression map The data processing apparatus according to claim 5, further comprising setting means for setting a condition for progress of the video game based on the emotion of the specific person.

撮影装置と、
データ処理装置と、
を備え、
前記データ処理装置は、
人物の表情を撮影した画像データを前記撮影装置から取得する取得手段と、
前記取得手段が取得した画像データに基づいて、特定人物の表情の画像に関するデータを含む表情マップを生成する生成手段と、
前記取得手段が取得した画像データが、前記表情マップに既に登録されている前記特定人物の表情の画像に関するデータとは異なる、前記特定人物の新たな表情の画像データであるか否かを判定する判定手段と、
前記判定手段が、前記取得手段が取得した画像データが前記特定人物の新たな表情の画像データであると判定した場合に、当該新たな表情の画像に関するデータを前記表情マップに追加登録することにより、前記表情マップを更新する更新手段と、
を有する、データ処理システム。 A photographing device;
A data processing device;
With
The data processing device includes:
Obtaining means for obtaining image data obtained by photographing a facial expression of a person from the photographing device;
Generating means for generating a facial expression map including data relating to the facial expression image of the specific person based on the image data acquired by the acquiring means;
It is determined whether the image data acquired by the acquisition unit is image data of a new facial expression of the specific person that is different from data related to the facial expression image of the specific person already registered in the facial expression map. A determination means;
When the determination unit determines that the image data acquired by the acquisition unit is image data of a new facial expression of the specific person, by additionally registering data related to the new facial expression image in the facial expression map Updating means for updating the facial expression map;
A data processing system.

データ処理装置に搭載されるコンピュータを、
人物の表情を撮影した画像データを取得する取得手段と、
前記取得手段が取得した画像データに基づいて、特定人物の表情の画像に関するデータを含む表情マップを生成する生成手段と、
前記取得手段が取得した画像データが、前記表情マップに既に登録されている前記特定人物の表情の画像に関するデータとは異なる、前記特定人物の新たな表情の画像データであるか否かを判定する判定手段と、
前記判定手段が、前記取得手段が取得した画像データが前記特定人物の新たな表情の画像データであると判定した場合に、当該新たな表情の画像に関するデータを前記表情マップに追加登録することにより、前記表情マップを更新する更新手段と、
として機能させる、プログラム。

A computer installed in a data processing device
An acquisition means for acquiring image data obtained by photographing a facial expression of a person;
Generating means for generating a facial expression map including data relating to the facial expression image of the specific person based on the image data acquired by the acquiring means;
It is determined whether the image data acquired by the acquisition unit is image data of a new facial expression of the specific person that is different from data related to the facial expression image of the specific person already registered in the facial expression map. A determination means;
When the determination unit determines that the image data acquired by the acquisition unit is image data of a new facial expression of the specific person, by additionally registering data related to the new facial expression image in the facial expression map Updating means for updating the facial expression map;
A program that functions as