JP7439932B2 - 情報処理システム、データ蓄積装置、データ生成装置、情報処理方法、データ蓄積方法、データ生成方法及び記録媒体、並びに、データベース - Google Patents

Description

この開示は、例えば、人物の顔に関する所望の情報処理を行うことが可能な情報処理システム、データ蓄積装置、データ生成装置、情報処理方法、データ蓄積方法、データ生成方法及び記録媒体、並びに、人物の顔に関する所望の情報処理を行うために利用可能なデータベースのうちの少なくとも一つの技術分野に関するものである。

人物の顔に関する所望の情報処理の一例として、人物の顔を構成する複数の顔パーツのうちの少なくとも一つの動きを検出する（つまり、特定）する情報処理があげられる。顔パーツの動きは、例えば、アクションユニットと称される単位で区別される。このようなアクションユニットの検出は、例えば、人物の表情を推定する用途で行われてもよい。

尚、この開示に関連する先行技術文献として、特許文献１から４があげられる。

特開２０００－０６７２１８号公報 特許第５９４９０３０号 特開平８－２９３０３８号公報 特開平７－０４４７２５号公報

この開示は、上述した技術的問題を解決可能な情報処理システム、データ蓄積装置、データ生成装置、情報処理方法、データ蓄積方法、データ生成方法及び記録媒体、並びに、データベースを提供することを課題とする。一例として、この開示は、アクションユニット、感情及び体調の少なくとも一つを特定可能な装置を学習させるために利用可能なデータを適切に生成可能な情報処理システム、データ蓄積装置、データ生成装置、情報処理方法、データ蓄積方法、データ生成方法及び記録媒体、並びに、データベースを提供することを課題とする。

この開示の情報処理システムの一の態様は、データ蓄積収集装置と、データ生成装置とを備える情報処理システムであって、前記データ蓄積装置は、人物の顔が写り込んだ顔画像に基づいて、前記人物の前記顔の特徴点を第１特徴点として検出する検出手段と、前記顔画像に写り込んでいる前記人物の前記顔を構成する複数の顔パーツのうちの少なくとも一つの動きに関するアクションユニット、前記顔画像に写り込んでいる前記人物の感情及び前記顔画像に写り込んでいる前記人物の体調の少なくとも一つを含む前記人物の状態を示す状態情報を取得する取得手段と、前記状態情報が関連付け付けられており、且つ、前記複数の顔パーツの夫々の単位で分類されている前記第１特徴点を複数含む特徴点データベースを生成するデータベース生成手段とを備え、前記データ生成装置は、前記特徴点データベースから、前記状態が所望状態にあることを示す前記状態情報が関連付けられた少なくとも一つの第１特徴点を、前記複数の顔パーツの夫々毎に第２特徴点として選択する選択手段と、前記選択手段が選択した前記複数の顔パーツに夫々対応する複数の前記第２特徴点を組み合わせることで、仮想的な人物の顔の特徴を前記複数の第２特徴点を用いて表す顔データを生成する顔データ生成手段とを備える。

この開示のデータ蓄積装置の一の態様は、人物の顔が写り込んだ顔画像に基づいて、前記人物の前記顔の特徴点を第１特徴点として検出する検出手段と、前記顔画像に写り込んでいる前記人物の前記顔を構成する複数の顔パーツのうちの少なくとも一つの動きに関するアクションユニット、前記顔画像に写り込んでいる前記人物の感情及び前記顔画像に写り込んでいる前記人物の体調の少なくとも一つを含む前記人物の状態を示す状態情報を取得する取得手段と、前記状態情報が関連付け付けられており、且つ、前記複数の顔パーツの夫々の単位で分類されている前記第１特徴点を複数含む特徴点データベースを生成するデータベース生成手段とを備える。

この開示のデータ生成装置の一の態様は、（ｉ）人物の顔の特徴点である第１特徴点を複数含み、（ｉｉ）前記複数の第１特徴点の夫々に、前記人物の前記顔を構成する複数の顔パーツのうちの少なくとも一つの動きに関するアクションユニット、前記人物の感情及び前記人物の体調の少なくとも一つを含む前記人物の状態を示す状態情報が関連付けられており、且つ、（ｉｉｉ）前記複数の第１特徴点が、前記複数の顔パーツの夫々の単位で分類されている特徴点データベースから、前記状態が所望状態にあることを示す前記状態情報が関連付けられた少なくとも一つの第１特徴点を、前記複数の顔パーツの夫々毎に第２特徴点として選択する選択手段と、前記選択手段が選択した前記複数の顔パーツに夫々対応する複数の前記第２特徴点を組み合わせることで、仮想的な人物の顔の特徴を前記複数の第２特徴点を用いて表す顔データを生成する顔データ生成手段とを備える。

この開示の情報処理方法の一の態様は、人物の顔が写り込んだ顔画像に基づいて、前記人物の前記顔の特徴点を第１特徴点として検出することと、前記顔画像に写り込んでいる前記人物の前記顔を構成する複数の顔パーツのうちの少なくとも一つの動きに関するアクションユニット、前記顔画像に写り込んでいる前記人物の感情及び前記顔画像に写り込んでいる前記人物の体調の少なくとも一つを含む前記人物の状態を示す状態情報を取得することと、前記状態情報が関連付け付けられており、且つ、前記複数の顔パーツの夫々の単位で分類されている前記第１特徴点を複数含む特徴点データベースを生成することと、前記特徴点データベースから、前記状態が所望状態にあることを示す前記状態情報が関連付けられた少なくとも一つの第１特徴点を、前記複数の顔パーツの夫々毎に第２特徴点として選択することと、前記選択された前記複数の顔パーツに夫々対応する複数の前記第２特徴点を組み合わせることで、仮想的な人物の顔の特徴を前記複数の第２特徴点を用いて表す顔データを生成することとを含む。

この開示のデータ蓄積方法の一の態様は、人物の顔が写り込んだ顔画像に基づいて、前記人物の前記顔の特徴点を第１特徴点として検出することと、前記顔画像に写り込んでいる前記人物の前記顔を構成する複数の顔パーツのうちの少なくとも一つの動きに関するアクションユニット、前記顔画像に写り込んでいる前記人物の感情及び前記顔画像に写り込んでいる前記人物の体調の少なくとも一つを含む前記人物の状態を示す状態情報を取得することと、前記状態情報が関連付け付けられており、且つ、前記複数の顔パーツの夫々の単位で分類されている前記第１特徴点を複数含む特徴点データベースを生成することとを含む。

この開示のデータ生成方法の一の態様は、（ｉ）人物の顔の特徴点である第１特徴点を複数含み、（ｉｉ）前記複数の第１特徴点の夫々に、前記人物の前記顔を構成する複数の顔パーツのうちの少なくとも一つの動きに関するアクションユニット、前記人物の感情及び前記人物の体調の少なくとも一つを含む前記人物の状態を示す状態情報が関連付けられており、且つ、（ｉｉｉ）前記複数の第１特徴点が、前記複数の顔パーツの夫々の単位で分類されている特徴点データベースから、前記状態が所望状態にあることを示す前記状態情報が関連付けられた少なくとも一つの第１特徴点を、前記複数の顔パーツの夫々毎に第２特徴点として選択することと、前記選択手段が選択した前記複数の顔パーツに夫々対応する複数の前記第２特徴点を組み合わせることで、仮想的な人物の顔の特徴を前記複数の第２特徴点を用いて表す顔データを生成することとを含む。

この開示の記録媒体の第１の態様は、コンピュータに情報処理方法を実行させるコンピュータプログラムが記録された記録媒体であって、前記情報処理方法は、人物の顔が写り込んだ顔画像に基づいて、前記人物の前記顔の特徴点を第１特徴点として検出することと、前記顔画像に写り込んでいる前記人物の前記顔を構成する複数の顔パーツのうちの少なくとも一つの動きに関するアクションユニット、前記顔画像に写り込んでいる前記人物の感情及び前記顔画像に写り込んでいる前記人物の体調の少なくとも一つを含む前記人物の状態を示す状態情報を取得することと、前記状態情報が関連付け付けられており、且つ、前記複数の顔パーツの夫々の単位で分類されている前記第１特徴点を複数含む特徴点データベースを生成することと、前記特徴点データベースから、前記状態が所望状態にあることを示す前記状態情報が関連付けられた少なくとも一つの第１特徴点を、前記複数の顔パーツの夫々毎に第２特徴点として選択することと、前記選択された前記複数の顔パーツに夫々対応する複数の前記第２特徴点を組み合わせることで、仮想的な人物の顔の特徴を前記複数の第２特徴点を用いて表す顔データを生成することとを含む。

この開示の記録媒体の第２の態様は、コンピュータにデータ蓄積方法を実行させるコンピュータプログラムが記録された記録媒体であって、前記データ蓄積方法は、人物の顔が写り込んだ顔画像に基づいて、前記人物の前記顔の特徴点を第１特徴点として検出することと、前記顔画像に写り込んでいる前記人物の前記顔を構成する複数の顔パーツのうちの少なくとも一つの動きに関するアクションユニット、前記顔画像に写り込んでいる前記人物の感情及び前記顔画像に写り込んでいる前記人物の体調の少なくとも一つを含む前記人物の状態を示す状態情報を取得することと、前記状態情報が関連付け付けられており、且つ、前記複数の顔パーツの夫々の単位で分類されている前記第１特徴点を複数含む特徴点データベースを生成することとを含む。

この開示の記録媒体の第３の態様は、コンピュータにデータ生成方法を実行させるコンピュータプログラムが記録された記録媒体であって、前記データ生成方法は、（ｉ）人物の顔の特徴点である第１特徴点を複数含み、（ｉｉ）前記複数の第１特徴点の夫々に、前記人物の前記顔を構成する複数の顔パーツのうちの少なくとも一つの動きに関するアクションユニット、前記人物の感情及び前記人物の体調の少なくとも一つを含む前記人物の状態を示す状態情報が関連付けられており、且つ、（ｉｉｉ）前記複数の第１特徴点が、前記複数の顔パーツの夫々の単位で分類されている特徴点データベースから、前記状態が所望状態にあることを示す前記状態情報が関連付けられた少なくとも一つの第１特徴点を、前記複数の顔パーツの夫々毎に第２特徴点として選択することと、前記選択手段が選択した前記複数の顔パーツに夫々対応する複数の前記第２特徴点を組み合わせることで、仮想的な人物の顔の特徴を前記複数の第２特徴点を用いて表す顔データを生成することとを含む。

この開示のデータベースの一の態様は、夫々が人物の顔の特徴点である複数の第１特徴点に関するデータを格納可能な第１データフィールドと、前記人物の前記顔を構成する複数の顔パーツのうちの少なくとも一つの動きに関するアクションユニット、前記人物の感情及び前記人物の体調の少なくとも一つを含む人物状態を示す状態情報を格納可能な第２データフィールドとを含み、前記複数の第１特徴点の夫々に、前記状態情報が関連付けられており、且つ、前記複数の第１特徴点が、前記複数の顔パーツの夫々の単位で分類されている。

図１は、第１実施形態の情報処理システムの構成を示すブロック図である。 図２は、第１実施形態のデータ蓄積装置の構成を示すブロック図である。 図３は、第１実施形態のデータ生成装置の構成を示すブロック図である。 図４は、第１実施形態の画像処理装置の構成を示すブロック図である。 図５は、第１実施形態のデータ蓄積装置が行うデータ蓄積動作の流れを示すフローチャートである。 図６は、顔画像の一例を示す平面図である。 図７は、顔画像上で検出される複数の特徴点の一例を示す平面図である 図８は、顔画像内で正面を向いている人物が写り込んだ顔画像を示す平面図である。 図９は、顔画像内で左右を向いている人物が写り込んだ顔画像を示す平面図である。 図１０は、水平面内での人物の顔の向きを示す平面図である。 図１１は、顔画像内で上下を向いている人物が写り込んだ顔画像を示す平面図である。 図１２は、垂直面内での人物の顔の向きを示す平面図である。 図１３は、特徴点データベースのデータ構造の一例を示す。 図１４は、第１実施形態のデータ生成装置が行うデータ生成動作の流れを示すフローチャートである。 図１５は、顔データを模式的に示す平面図である。 図１６は、第１実施形態の画像処理装置が行うアクション検出動作の流れを示すフローチャートである。 図１７は、第２実施形態の画像処理装置が行うアクション検出動作の流れを示すフローチャートである。 図１８は、補正される前の特徴点距離と顔向き角度との関係を示すグラフである。 図１９は、補正された後の特徴点距離と顔向き角度との関係を示すグラフである。 図２０は、データ蓄積装置が生成する特徴点データベースの第１変形例を示す。 図２１は、データ蓄積装置が生成する特徴点データベースの第２変形例を示す。 図２２は、データ蓄積装置が生成する特徴点データベースの第３変形例を示す。

以下、図面を参照しながら、情報処理システム、データ蓄積装置、データ生成装置、画像処理装置、情報処理方法、データ蓄積方法、データ生成方法、画像処理方法、記録媒体及びデータベースの実施形態について説明する。以下では、情報処理システム、データ蓄積装置、データ生成装置、画像処理装置、情報処理方法、データ蓄積方法、データ生成方法、画像処理方法、記録媒体及びデータベースの実施形態が適用された情報処理システムＳＹＳについて説明する。

（１）第１実施形態の情報処理システムＳＹＳの構成
（１－１）情報処理システムＳＹＳの全体構成
初めに、図１を参照しながら、第１実施形態の情報処理システムＳＹＳの全体構成について説明する。図１は、第１実施形態の情報処理システムＳＹＳの全体構成を示すブロック図である。

図１に示すように、情報処理システムＳＹＳは、画像処理装置１と、データ生成装置２と、データ蓄積装置３とを備えている。画像処理装置１、データ生成装置２及びデータ蓄積装置３は、有線の通信ネットワーク及び無線の通信ネットワークの少なくとも一つを介して、互いに通信可能であってもよい。

画像処理装置１は、人物１００を撮像することで生成される顔画像１０１を用いた画像処理を行う。具体的には、画像処理装置１は、顔画像１０１に基づいて、顔画像１０１に写り込んだ人物１００の顔に発生するアクションユニットを検出する（言い換えれば、特定する）ためのアクション検出動作を行う。つまり、画像処理装置１は、顔画像１０１に基づいて、顔画像１０１に写り込んだ人物１００の顔にアクションユニットが発生しているか否かを判定するためのアクション検出動作を行う。第１実施形態では、アクションユニットは、顔を構成する複数の顔パーツのうちの少なくとも一つの所定の動きを意味する。顔パーツの一例として、例えば、眉、瞼、目、頬、鼻、唇、口及びあごの少なくとも一つがあげられる。

アクションユニットは、関連する顔パーツの種類及び顔パーツの動きの種類に応じて複数種類に区別されていてもよい。この場合、画像処理装置１は、複数種類のアクションユニットのうちの少なくとも一つが発生しているか否かを判定してもよい。例えば、画像処理装置１は、眉の内側が持ち上がったという動きに相当するアクションユニット、眉の外側が持ち上がったという動きに相当するアクションユニット、眉が内側に下がったという動きに相当するアクションユニット、上瞼が上がったという動きに相当するアクションユニット、頬が持ち上がったという動きに相当するアクションユニット、瞼が緊張しているという動きに相当するアクションユニット、鼻に皺を寄せているという動きに相当するアクションユニット、上唇が持ち上がったという動きに相当するアクションユニット、薄目を開けているという動きに相当するアクションユニット、瞼を閉じているというアクションユニット及び目を細めているというアクションユニットのうちの少なくとも一つを検出してもよい。尚、画像処理装置１は、このような複数種類のアクションユニットとして、例えば、ＦＡＣＳ（Ｆａｃｉａｌ Ａｃｔｉｏｎ Ｃｏｄｉｎｇ Ｓｙｓｔｅｍ）によって定義されている複数種類のアクションユニットを用いてもよい。但し、第１実施形態のアクションユニットが、ＦＡＣＳによって定義されるアクションユニットに限定されることはない。

画像処理装置１は、学習可能な演算モデル（以降、“学習モデル”と称する）を用いて、アクション検出動作を行う。学習モデルは、例えば、顔画像１０１が入力されると、顔画像１０１に写り込んでいる人物１００の顔に発生しているアクションユニットに関する情報を出力する演算モデルであってもよい。但し、画像処理装置１は、学習モデルを用いる方法とは異なる方法を用いて、アクション検出動作を行ってもよい。

データ生成装置２は、画像処理装置１が用いる学習モデルを学習させるために利用可能な学習データセット２２０を生成するためのデータ生成動作を行う。学習モデルの学習は、例えば、学習モデルによるアクションユニットの検出精度（つまり、画像処理装置１によるアクションユニットの検出精度）を向上させるために行われる。但し、学習モデルは、データ生成装置２が生成した学習データセット２２０を用いることなく学習されてもよい。つまり、学習モデルの学習方法は、学習データセット２２０を用いた学習方法に限定されることはない。第１実施形態では、データ生成装置２は、顔データ２２１を複数生成することで、当該複数の顔データ２２１の少なくとも一部を含む学習データセット２２０を生成する。各顔データ２２１は、各顔データ２２１に対応する仮想的な（言い換えれば、疑似的）人物２００（後述する図１５等参照）の顔の特徴を表すデータである。例えば、各顔データ２２１は、各顔データ２２１に対応する仮想的な人物２００の顔の特徴を、当該顔の特徴点を用いて表すデータであってもよい。更に、各顔データ２２１は、各顔データ２２１に対応する仮想的な人物２００の顔に発生しているアクションユニットの種類を示す正解ラベルが付与されたデータである。

画像処理装置１の学習モデルは、学習データセット２２０を用いて学習される。具体的には、学習モデルを学習させるために、学習モデルには、顔データ２２１に含まれる特徴点が入力される。その後、学習モデルの出力と、顔データ２２１に付与された正解ラベルとに基づいて、学習モデルを規定するパラメータ（例えば、ニューラルネットワークの重み及びバイアスの少なくとも一つ）が学習される。画像処理装置１は、学習データセット２２０を用いて学習済みの学習モデルを用いて、アクション検出動作を行う。

データ蓄積装置３は、データ生成装置２が学習データセット２２０を生成する（つまり、複数の顔データ２２１を生成する）ために参照する特徴点データベース３２０を生成するためのデータ蓄積動作を行う。具体的には、データ蓄積装置３は、人物３００（後述する図６等参照）を撮像することで生成される顔画像３０１に基づいて、顔画像３０１に写り込んだ人物３００の顔の特徴点を収集する。顔画像３０１は、少なくとも一つの所望の種類のアクションユニットが発生している人物３００を撮像することで生成されてもよい。或いは、顔画像３０１は、いずれの種類のアクションユニットも発生していない人物３００を撮像することで生成されてもよい。いずれにせよ、顔画像３０１に写り込んでいる人物３００の顔に発生しているアクションユニットの有無及び種類は、データ蓄積装置３にとって既知の情報となる。更に、データ蓄積装置３は、収集した特徴点を、人物３００の顔に発生しているアクションユニットの種類が関連付けられ且つ顔パーツ毎に分類された状態で格納する（つまり、蓄積する又は含む）特徴点データベース３２０を生成する。尚、特徴点データベース３２０のデータ構造については、後に詳述する。

（１－２）画像処理装置１の構成
続いて、図２を参照しながら、第１実施形態の画像処理装置１の構成について説明する。図２は、第１実施形態の画像処理装置１の構成を示すブロック図である。

図２に示すように、画像処理装置１は、カメラ１１と、演算装置１２と、記憶装置１３とを備えている。更に、画像処理装置１は、入力装置１４と、出力装置１５とを備えていてもよい。但し、画像処理装置１は、入力装置１４及び出力装置１５の少なくとも一方を備えていなくてもよい。カメラ１１と、演算装置１２と、記憶装置１３と、入力装置１４と、出力装置１５とは、データバス１６を介して接続されていてもよい。

カメラ１１は、人物１００を撮像することで顔画像１０１を生成する。カメラ１１が生成した顔画像１０１は、カメラ１１から演算装置１２に入力される。尚、画像処理装置１は、カメラ１１を備えていなくてもよい。この場合、画像処理装置１の外部に配置されるカメラが、人物１００を撮像することで顔画像１０１を生成してもよい。画像処理装置１の外部に配置されるカメラが生成した顔画像１０１は、入力装置１４を介して、演算装置１２に入力されてもよい。

演算装置１２は、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｅｃｓｓｉｎｇ Ｕｎｉｔ）、ＧＰＵ（Ｇｒａｐｈｉｃ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）、ＴＰＵ（Ｔｅｎｓｏｒ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）及び量子プロセッサの少なくとも一つを含むプロセッサを備える。演算装置１２は、単一のプロセッサを備えていてもよいし、複数のプロセッサを備えていてもよい。演算装置１２は、コンピュータプログラムを読み込む。例えば、演算装置１２は、記憶装置１３が記憶しているコンピュータプログラムを読み込んでもよい。例えば、演算装置１２は、コンピュータで読み取り可能であって且つ一時的でない記録媒体が記憶しているコンピュータプログラムを、図示しない記録媒体読み取り装置を用いて読み込んでもよい。演算装置１２は、受信装置として機能可能な入力装置１４を介して、画像処理装置１の外部に配置される不図示の装置からコンピュータプログラムを取得してもよい（つまり、ダウンロードしてもよい又は読み込んでもよい）。演算装置１２は、読み込んだコンピュータプログラムを実行する。その結果、演算装置１２内には、画像処理装置１が行うべき動作（例えば、アクション検出動作）を実行するための論理的な機能ブロックが実現される。つまり、演算装置１２は、画像処理装置１が行うべき動作を実行するための論理的な機能ブロックを実現するためのコントローラとして機能可能である。

図２には、アクション検出動作を実行するために演算装置１２内に実現される論理的な機能ブロックの一例が示されている。図２に示すように、演算装置１２内には、アクション検出動作を実行するための論理的な機能ブロックとして、特徴点検出部１２１と、顔向き算出部１２２と、位置補正部１２３と、アクション検出部１２４とが実現される。尚、特徴点検出部１２１、顔向き算出部１２２、位置補正部１２３及びアクション検出部１２４の夫々の動作の詳細については後に詳述するが、以下のその概要について簡単に説明する。特徴点検出部１２１は、顔画像１０１に基づいて、顔画像１０１に写り込んでいる人物１００の顔の特徴点を検出する。顔向き算出部１２２は、顔画像１０１に基づいて、顔画像１０１に写り込んでいる人物１００の顔の向きを角度で示す顔角度情報を生成する。位置補正部１２３は、特徴点検出部１２１が検出した特徴点の位置に関する位置情報を生成し、顔向き算出部１２２が生成した顔角度情報に基づいて、生成した位置情報を補正する。アクション検出部１２４は、位置補正部１２３が補正した位置情報に基づいて、顔画像１０１に写り込んでいる人物１００の顔にアクションユニットが発生したか否かを判定する。

記憶装置１３は、所望のデータを記憶可能である。例えば、記憶装置１３は、演算装置１２が実行するコンピュータプログラムを一時的に記憶していてもよい。記憶装置１３は、演算装置１２がコンピュータプログラムを実行している際に演算装置１２が一時的に使用するデータを一時的に記憶してもよい。記憶装置１３は、画像処理装置１が長期的に保存するデータを記憶してもよい。尚、記憶装置１３は、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ハードディスク装置、光磁気ディスク装置、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）及びディスクアレイ装置のうちの少なくとも一つを含んでいてもよい。つまり、記憶装置１３は、一時的でない記録媒体を含んでいてもよい。

入力装置１４は、画像処理装置１の外部からの画像処理装置１に対する情報の入力を受け付ける装置である。例えば、入力装置１４は、画像処理装置１のユーザが操作可能な操作装置（例えば、キーボード、マウス及びタッチパネルのうちの少なくとも一つ）を含んでいてもよい。例えば、入力装置１４は、画像処理装置１に対して外付け可能な記録媒体にデータとして記録されている情報を読み取り可能な読取装置を含んでいてもよい。例えば、入力装置１４は、画像処理装置１の外部から通信ネットワークを介して画像処理装置１にデータとして送信される情報を受信可能な受信装置を含んでいてもよい。

出力装置１５は、画像処理装置１の外部に対して情報を出力する装置である。例えば、出力装置１５は、画像処理装置１が行うアクション検出動作に関する情報（例えば、検出されたアクションリストに関する情報）を出力してもよい。このような出力装置１５の一例として、情報を画像として出力可能な（つまり、表示可能な）ディスプレイがあげられる。出力装置１５の一例として、情報を音声として出力可能なスピーカがあげられる。出力装置１５の一例として、情報が印刷された文書を出力可能なプリンタがあげられる。出力装置１５の一例として、通信ネットワーク又はデータバスを介して情報をデータとして送信可能な送信装置があげられる。

（１－３）データ生成装置２の構成
続いて、図３を参照しながら、第１実施形態のデータ生成装置２の構成について説明する。図３は、第１実施形態のデータ生成装置２の構成を示すブロック図である。

図３に示すように、データ生成装置２は、演算装置２１と、記憶装置２２とを備えている。更に、データ生成装置２は、入力装置２３と、出力装置２４とを備えていてもよい。但し、データ生成装置２は、入力装置２３及び出力装置２４の少なくとも一方を備えていなくてもよい。演算装置２１と、記憶装置２２と、入力装置２３と、出力装置２４とは、データバス２５を介して接続されていてもよい。

演算装置２１は、例えば、ＣＰＵ、ＧＰＵ及びＦＰＧＡの少なくとも一つを含む。演算装置２１は、コンピュータプログラムを読み込む。例えば、演算装置２１は、記憶装置２２が記憶しているコンピュータプログラムを読み込んでもよい。例えば、演算装置２１は、コンピュータで読み取り可能であって且つ一時的でない記録媒体が記憶しているコンピュータプログラムを、図示しない記録媒体読み取り装置を用いて読み込んでもよい。演算装置２１は、受信装置として機能可能な入力装置２３を介して、データ生成装置２の外部に配置される不図示の装置からコンピュータプログラムを取得してもよい（つまり、ダウンロードしてもよい又は読み込んでもよい）。演算装置２１は、読み込んだコンピュータプログラムを実行する。その結果、演算装置２１内には、データ生成装置２が行うべき動作（例えば、データ生成動作）を実行するための論理的な機能ブロックが実現される。つまり、演算装置２１は、データ生成装置２が行うべき動作を実行するための論理的な機能ブロックを実現するためのコントローラとして機能可能である。

図３には、データ生成動作を実行するために演算装置２１内に実現される論理的な機能ブロックの一例が示されている。図３に示すように、演算装置２１内には、データ生成動作を実行するための論理的な機能ブロックとして、特徴点選択部２１１と、顔データ生成部２１２とが実現される。尚、特徴点選択部２１１及び顔データ生成部２１２の夫々の動作の詳細については後に詳述するが、以下のその概要について簡単に説明する。特徴点選択部２１１は、特徴点データベース３２０から、複数の顔パーツの夫々毎に少なくとも一つの特徴点を選択する。顔データ生成部２１１は、特徴点選択部２１１が選択した複数の顔パーツの夫々に対応する複数の特徴点を組み合わせることで、複数の特徴点によって仮想的な人物の顔の特徴を表す顔データ２１１を生成する。

記憶装置２２は、所望のデータを記憶可能である。例えば、記憶装置２２は、演算装置２１が実行するコンピュータプログラムを一時的に記憶していてもよい。記憶装置２２は、演算装置２１がコンピュータプログラムを実行している際に演算装置２１が一時的に使用するデータを一時的に記憶してもよい。記憶装置２２は、データ生成装置２が長期的に保存するデータを記憶してもよい。尚、記憶装置２２は、ＲＡＭ、ＲＯＭ、ハードディスク装置、光磁気ディスク装置、ＳＳＤ及びディスクアレイ装置のうちの少なくとも一つを含んでいてもよい。つまり、記憶装置２２は、一時的でない記録媒体を含んでいてもよい。

入力装置２３は、データ生成装置２の外部からのデータ生成装置２に対する情報の入力を受け付ける装置である。例えば、入力装置２３は、データ生成装置２のユーザが操作可能な操作装置（例えば、キーボード、マウス及びタッチパネルのうちの少なくとも一つ）を含んでいてもよい。例えば、入力装置２３は、データ生成装置２に対して外付け可能な記録媒体にデータとして記録されている情報を読み取り可能な読取装置を含んでいてもよい。例えば、入力装置２３は、データ生成装置２の外部から通信ネットワークを介してデータ生成装置２にデータとして送信される情報を受信可能な受信装置を含んでいてもよい。

出力装置２４は、データ生成装置２の外部に対して情報を出力する装置である。例えば、出力装置２４は、データ生成装置２が行うデータ生成動作に関する情報を出力してもよい。例えば、出力装置２４は、データ生成動作によって生成された複数の顔データ２２１の少なくとも一部を含む学習データセット２２０を画像処理装置１に対して出力してもよい。このような出力装置２４の一例として、通信ネットワーク又はデータバスを介して情報をデータとして送信可能な送信装置があげられる。出力装置２４の一例として、情報を画像として出力可能な（つまり、表示可能な）ディスプレイがあげられる。出力装置２４の一例として、情報を音声として出力可能なスピーカがあげられる。出力装置２４の一例として、情報が印刷された文書を出力可能なプリンタがあげられる。

（１－４）データ蓄積装置３の構成
続いて、図４を参照しながら、第１実施形態のデータ蓄積装置３の構成について説明する。図４は、第１実施形態のデータ蓄積装置３の構成を示すブロック図である。

図４に示すように、データ蓄積成装置３は、演算装置３１と、記憶装置３２とを備えている。更に、データ蓄積装置３は、入力装置３３と、出力装置３４とを備えていてもよい。但し、データ蓄積装置３は、入力装置３３及び出力装置３４の少なくとも一方を備えていなくてもよい。演算装置３１と、記憶装置３２と、入力装置３３と、出力装置３４とは、データバス３５を介して接続されていてもよい。

演算装置３１は、例えば、ＣＰＵ、ＧＰＵ及びＦＰＧＡの少なくとも一つを含む。演算装置３１は、コンピュータプログラムを読み込む。例えば、演算装置３１は、記憶装置３２が記憶しているコンピュータプログラムを読み込んでもよい。例えば、演算装置３１は、コンピュータで読み取り可能であって且つ一時的でない記録媒体が記憶しているコンピュータプログラムを、図示しない記録媒体読み取り装置を用いて読み込んでもよい。演算装置３１は、受信装置として機能可能な入力装置３３を介して、データ蓄積装置３の外部に配置される不図示の装置からコンピュータプログラムを取得してもよい（つまり、ダウンロードしてもよい又は読み込んでもよい）。演算装置３１は、読み込んだコンピュータプログラムを実行する。その結果、演算装置３１内には、データ蓄積装置３が行うべき動作（例えば、データ蓄積動作）を実行するための論理的な機能ブロックが実現される。つまり、演算装置３１は、データ蓄積装置３が行うべき動作を実行するための論理的な機能ブロックを実現するためのコントローラとして機能可能である。

図４には、データ蓄積動作を実行するために演算装置３１内に実現される論理的な機能ブロックの一例が示されている。図４に示すように、演算装置３１内には、データ蓄積動作を実行するための論理的な機能ブロックとして、特徴点検出部３１１と、状態・属性特定部３１２と、データベース生成部３１３とが実現される。尚、特徴点検出部３１１、状態・属性特定部３１２及びデータベース生成部３１３との夫々の動作の詳細については後に詳述するが、以下のその概要について簡単に説明する。特徴点検出部３１１は、顔画像３０１に基づいて、顔画像３０１に写り込んでいる人物３００の顔の特徴点を検出する。尚、上述した画像処理装置１が用いる顔画像１０１が、顔画像３０１として用いられてもよい。上述した画像処理装置１が用いる顔画像１０１とは異なる画像が、顔画像３０１として用いられてもよい。このため、顔画像３０１に写り込んでいる人物３００は、顔画像１０１に写り込んでいる人物１００と同一であってもよいし、異なっていてもよい。状態・属性特定部３１２は、顔画像３０１に写り込んでいる人物３００の顔に発生しているアクションユニットの種類を特定する。データベース生成部３１３は、特徴点検出部３１１が検出した特徴点を、状態・属性特定部３１２が特定したアクションユニットの種類を示す情報に関連付けられ且つ顔パーツ毎に分類された状態で格納する（つまり、蓄積する又は含む）特徴点データベース３２０を生成する。つまり、データベース生成部３１３は、人物３００の顔に発生しているアクションユニットの種類を示す情報が関連付けられており、且つ、複数の顔パーツの夫々の単位で分類されている特徴点を複数含む特徴点データベース３２０を生成する。

記憶装置３２は、所望のデータを記憶可能である。例えば、記憶装置３２は、演算装置３１が実行するコンピュータプログラムを一時的に記憶していてもよい。記憶装置３２は、演算装置３１がコンピュータプログラムを実行している際に演算装置３１が一時的に使用するデータを一時的に記憶してもよい。記憶装置３２は、データ蓄積装置３が長期的に保存するデータを記憶してもよい。尚、記憶装置３２は、ＲＡＭ、ＲＯＭ、ハードディスク装置、光磁気ディスク装置、ＳＳＤ及びディスクアレイ装置のうちの少なくとも一つを含んでいてもよい。つまり、記憶装置３２は、一時的でない記録媒体を含んでいてもよい。

入力装置３３は、データ生成装置３の外部からのデータ蓄積装置３に対する情報の入力を受け付ける装置である。例えば、入力装置３３は、データ蓄積装置３のユーザが操作可能な操作装置（例えば、キーボード、マウス及びタッチパネルのうちの少なくとも一つ）を含んでいてもよい。例えば、入力装置３３は、データ蓄積装置３に対して外付け可能な記録媒体にデータとして記録されている情報を読み取り可能な読取装置を含んでいてもよい。例えば、入力装置３３は、データ蓄積装置３の外部から通信ネットワークを介してデータ蓄積装置３にデータとして送信される情報を受信可能な受信装置を含んでいてもよい。

出力装置３４は、データ蓄積装置３の外部に対して情報を出力する装置である。例えば、出力装置３４は、データ蓄積装置３が行うデータ蓄積動作に関する情報を出力してもよい。例えば、出力装置３４は、データ蓄積動作によって生成された特徴点データベース３２０（或いは、その少なくとも一部）をデータ生成装置２に対して出力してもよい。このような出力装置３４の一例として、通信ネットワーク又はデータバスを介して情報をデータとして送信可能な送信装置があげられる。出力装置３４の一例として、情報を画像として出力可能な（つまり、表示可能な）ディスプレイがあげられる。出力装置３４の一例として、情報を音声として出力可能なスピーカがあげられる。出力装置３４の一例として、情報が印刷された文書を出力可能なプリンタがあげられる。

（２）情報処理システムＳＹＳの動作の流れ
続いて、情報処理システムＳＹＳの動作について説明する。上述したように、画像処理装置１、データ生成装置２及びデータ蓄積装置３は、夫々、アクション検出動作、データ生成動作及びデータ蓄積動作を行う。このため、以下では、アクション検出動作、データ生成動作及びデータ蓄積動作について順に説明する。但し、説明の便宜上、最初にデータ蓄積動作について説明し、次にデータ生成動作について説明し、最後にアクション検出動作について説明する。

（２－１）データ蓄積動作の流れ
初めに、図５を参照しながら、データ蓄積装置３が行うデータ蓄積動作の流れについて説明する。図５は、データ蓄積装置３が行うデータ蓄積動作の流れを示すフローチャートである。

図５に示すように、演算装置３１は、入力装置３３を用いて、顔画像３０１を取得する（ステップＳ３１）。演算装置３１は、単一の顔画像３０１を取得してもよい。演算装置３１は、複数の顔画像３０１を取得してもよい。演算装置３１が複数の顔画像３０１を取得する場合には、演算装置３１は、複数の顔画像３０１の夫々に対して、後述するステップＳ３２からステップＳ３６の動作を行ってもよい。

その後、特徴点検出部３１１は、ステップＳ３１で取得された顔画像３０１に映り込んでいる人物３００の顔を検出する（ステップＳ３２）。特徴点検出部３１１は、画像に映り込んでいる人物の顔を検出するための既存の方法を用いて、顔画像３０１に映り込んでいる人物３００の顔を検出してもよい。以下、顔画像３０１に映り込んでいる人物３００の顔を検出する方法の一例について簡単に説明する。顔画像３０１の一例を示す平面図である図６に示すように、顔画像３０１には、人物３００の顔のみならず、人物３００の顔以外の部位及び人物３００の背景が映り込んでいる可能性がある。そこで、特徴点検出部３１１は、顔画像３０１から、人物３００の顔が映り込んでいる顔領域３０２を特定する。顔領域３０２は、例えば、矩形の領域であるが、その他の形状の領域であってもよい。特徴点検出部３１１は、顔画像３０１のうちの特定した顔領域３０２に含まれる画像部分を、新たな顔画像３０３として抽出してもよい。

その後、特徴点検出部３１１は、顔画像３０３（或いは、顔領域３０２が特定された顔画像３０１）に基づいて、人物３００の顔の特徴点を複数検出する（ステップＳ３３）。例えば、顔画像３０３上で検出される複数の特徴点の一例を示す平面図である図７に示すように、特徴点検出部３１１は、顔画像３０３に含まれる人物３００の顔の特徴的な部分を、特徴点として検出する。図７に示す例では、特徴点検出部３１１は、人物３００の顔の輪郭、目、眉毛、眉間、耳、鼻、口及びあごの少なくとも一部を、複数の特徴点として検出している。特徴点検出部３１１は、顔パーツ毎に単一の特徴点を検出してもよいし、顔パーツ毎に複数の特徴点を検出してもよい。例えば、特徴点検出部３１１は、目に関する単一の特徴点を検出してもよいし、目に関する複数の特徴点を検出してもよい。尚、図７（更には、後述する図面）では、図面の簡略化のために、人物３００の髪の毛の描画を省略している。

ステップＳ３２からステップＳ３３までの動作に相前後して又は並行して、状態・属性特定部３１２は、ステップＳ３１で取得された顔画像３０１に写り込んでいる人物３００の顔に発生しているアクションユニットの種類を特定する（ステップＳ３４）。具体的には、上述したように、顔画像３０１は、顔画像３０１に写り込んでいる人物３００の顔に発生しているアクションユニットの有無及び種類が、データ蓄積装置３にとって既知となる画像である。この場合、顔画像３０１には、顔画像３０１に写り込んでいる人物３００の顔に発生しているアクションユニットの有無及び種類を示すアクション情報が関連付けられていてもよい。つまり、ステップＳ３１において、演算装置３１は、顔画像３０１と共に、顔画像３０１に写り込んでいる人物３００の顔に発生しているアクションユニットの有無及び種類を示すアクション情報を取得してもよい。その結果、状態・属性特定部３１２は、アクション情報に基づいて、顔画像３０１に写り込んでいる人物３００の顔に発生しているアクションユニットの有無及び種類を特定することができる。つまり、状態・属性特定部３１２は、顔画像３０１に対してアクションユニットを検出するための画像処理を施すことなく、顔画像３０１に写り込んでいる人物３００の顔に発生しているアクションユニットの有無及び種類を特定することができる。

尚、アクションユニットは、人物３００の顔の状態を、顔パーツの動きを用いて示す情報であるとも言える。この場合、演算装置３１が顔画像３０１と共に取得するアクション情報は、顔パーツの動きを用いて人物３００の顔の状態を示す情報であるがゆえに、状態情報と称されてもよい。

ステップＳ３２からステップＳ３４までの動作に相前後して又は並行して、状態・属性特定部３１２は、顔画像３０１（或いは、顔画像３０３）に基づいて、顔画像３０１に写り込んでいる人物３００の属性を特定する（ステップＳ３５）。ステップＳ３５で特定される属性は、属性の変化が、顔画像３０１に写り込んだ顔を構成する複数の顔パーツのうちの少なくとも一つの位置（つまり、顔画像３０１内での位置）の変化につながるという第１の性質を有する属性を含んでいてもよい。ステップＳ３５で特定される属性は、属性の変化が、顔画像３０１に写り込んだ顔を構成する複数の顔パーツのうちの少なくとも一つの形状（つまり、顔画像３０１内での形状）の変化につながるという第２の性質を有する属性を含んでいてもよい。ステップＳ３５で特定される属性は、属性の変化が、顔画像３０１に写り込んだ顔を構成する複数の顔パーツのうちの少なくとも一つの輪郭（つまり、顔画像３０１内での輪郭）の変化につながるという第３の性質を有する属性を含んでいてもよい。この場合、顔パーツの位置、形状、及び輪郭の少なくとも一つが顔の違和感に及ぼす影響が相対的に大きいことを考慮すれば、データ生成装置２（図１）あるいは演算装置２１（図３）は、人物の顔として違和感の少ない又はない仮想的な人物２００の顔の特徴点を示す顔データ２２１を適切に生成することができる。

例えば、第１の方向を向いている人物３００の顔を撮像することで得られる顔画像３０１に写り込んでいる顔パーツの位置は、第１の方向とは異なる第２の方向を向いている人物３００の顔を撮像することで得られる顔画像３０１に写り込んでいる顔パーツの位置と異なる可能性がある。具体的には、顔画像３０１内で正面を向いている人物３００の目の位置は、顔画像３０１内で左右方向を向いている人物３００の目の位置と異なる可能性がある。同様に、第１の方向を向いている人物３００の顔を撮像することで得られる顔画像３０１に写り込んでいる顔パーツの形状は、第２の方向を向いている人物３００の顔を撮像することで得られる顔画像３０１に写り込んでいる顔パーツの形状と異なる可能性がある。具体的には、顔画像３０１内で正面を向いている人物３００の鼻の形状は、顔画像３０１内で左右方向を向いている人物３００の鼻の形状と異なる可能性がある。同様に、第１の方向を向いている人物３００の顔を撮像することで得られる顔画像３０１に写り込んでいる顔パーツの輪郭は、第２の方向を向いている人物３００の顔を撮像することで得られる顔画像３０１に写り込んでいる顔パーツの輪郭と異なる可能性がある。具体的には、顔画像３０１内で正面を向いている人物３００の口の輪郭は、顔画像３０１内で左右方向を向いている人物３００の口の輪郭と異なる可能性がある。このため、第１から第３の性質のうちの少なくとも一つを有する属性の一例として、顔の向きがあげられる。この場合、状態・属性特定部３１２は、顔画像３０１に基づいて、顔画像３０１に写り込んでいる人物３００の顔の向きを特定してもよい。つまり、状態・属性特定部３１２は、顔画像３０１を解析することで、顔画像３０１に写り込んでいる人物３００の顔の向きを特定してもよい。

状態・属性特定部３１２は、顔の向きを角度で表すパラメータ（以降、“顔向き角度θ”と称する）を特定（つまり、算出）してもよい。顔向き角度θは、顔から所定方向に向かって延びる基準軸と、顔が実際に向いている方向に沿った比較軸とがなす角度を意味していてもよい。以下、図８から図１２を参照しながら、このような顔向き角度θについて説明する。尚、図８から図１２では、顔向き画像３０１の横方向（つまり、水平方向）をＸ軸方向とし、顔向き画像３０１の縦方向（つまり、垂直方向）をＹ軸方向とする座標系を用いて、顔向き角度θについて説明する。

図８は、顔画像３０１内で正面を向いている人物３００が写り込んだ顔画像３０１を示す平面図である。顔向き角度θは、顔画像３０１内で人物３００が正面を向いている場合にゼロとなるパラメータであってもよい。従って、基準軸は、顔画像３０１内で人物３００が正面を向いている場合に人物３００が向いている方向に沿った軸であってもよい。典型的には、カメラが人物３００を撮像することで顔画像３０１が生成されるため、顔画像３０１内で人物３００が正面を向いている状態は、人物３００を撮像するカメラに対して人物３００が正対している状態を意味していてもよい。この場合、人物３００を撮像するカメラが備える光学系（例えば、レンズ）の光軸（或いは、当該光軸に平行な軸）が、基準軸として用いられてもよい。

図９は、顔画像３０１内で右方を向いている人物３００が写り込んだ顔画像３０１を示す平面図である。つまり、図９は、垂直方向（図９では、Ｙ軸方向）に沿った軸廻りに顔を回転させた（つまり、パン方向に顔を動かした）人物３００が写り込んだ顔画像３０１を示す平面図である。この場合、水平面（つまり、Ｙ軸に直交する面）内での人物３００の顔の向きを示す平面図である図１０に示すように、基準軸と比較軸とは、水平面内において０度とは異なる角度をなすように交差する。つまり、パン方向における顔向き角度θ（より具体的には、垂直方向に沿った軸廻りの顔の回転角度）は、０度とは異なる角度となる。

図１１は、顔画像３０１内で下方を向いている人物３００が写り込んだ顔画像３０１を示す平面図である。つまり、図１１は、水平方向（図１１では、Ｘ軸方向）に沿った軸廻りに顔を回転させている（つまり、チルト方向に顔を動かした）人物３００が写り込んだ顔画像３０１を示す平面図である。この場合、垂直面（つまり、Ｘ軸に直交する面）内での人物３００の顔の向きを示す平面図である図１２に示すように、基準軸と比較軸とは、垂直面内において０度とは異なる角度をなすように交差する。つまり、チルト方向における顔向き角度θ（より具体的には、水平方向に沿った軸廻りの顔の回転角度）は、０度とは異なる角度となる。

このように顔が上下左右を向く可能性があるため、状態・属性特定部３１２は、パン方向の顔向き角度θ（以降、“顔向き角度θ＿ｐａｎ”と称する）と、チルト方向の顔向き角度θ（以降、“顔向き角度θ＿ｔｉｌｔ”と称する）とを別々に特定してもよい。但し、状態・属性特定部３１２は、顔向き角度θ＿ｐａｎ及びθ＿ｔｉｌｔのいずれか一方を特定する一方で、顔向き角度θ＿ｐａｎ及びθ＿ｔｉｌｔのいずれか他方を特定しなくてもよい。状態・属性特定部３１２は、顔向き角度θ＿ｐａｎ及びθ＿ｔｉｌｔを区別することなく、基準軸と比較軸とがなす角度を顔向き角度θとして特定してもよい。尚、以下の説明では、特段の説明がない場合は、顔向き角度θは、顔向き角度θ＿ｐａｎ及びθ＿ｔｉｌｔの双方又はいずれか一方を意味していてもよい。

或いは、状態・属性特定部３１２は、顔画像３０１に写り込んでいる人物３００の顔の向きに加えて又は代えて、人物３００のその他の属性を特定してもよい。例えば、アスペクト比（例えば、縦横比）が第１の比となる人物３００の顔を撮像することで得られる顔画像３０１に写り込んでいる顔パーツの位置、形状及び輪郭の少なくとも一つは、アスペクト比が第１の比と異なる第２の比となる人物３００の顔を撮像することで得られる顔画像３０１に写り込んでいる顔パーツの位置、形状及び輪郭の少なくとも一つと異なる可能性がある。例えば、男性である人物３００の顔を撮像することで得られる顔画像３０１に写り込んでいる顔パーツの位置、形状及び輪郭の少なくとも一つは、女性である人物３００の顔を撮像することで得られる顔画像３０１に写り込んでいる顔パーツの位置、形状及び輪郭の少なくとも一つと異なる可能性がある。例えば、第１の種類の人種の人物３００の顔を撮像することで得られる顔画像３０１に写り込んでいる顔パーツの位置、形状及び輪郭の少なくとも一つは、第１の種類の人種とは異なる第２の種類の人種の人物３００の顔を撮像することで得られる顔画像３０１に写り込んでいる顔パーツの位置、形状及び輪郭の少なくとも一つと異なる可能性がある。なぜならば、人種によって骨格（ひいては、顔つき）が大きく異なる可能性があるからである。このため、第１から第３の性質のうちの少なくとも一つを有する属性の他の一例として、顔のアスペクト比、性別及び人種のうちの少なくとも一つがあげられる。この場合、状態・属性特定部３１２は、顔画像３０１に基づいて、顔画像３０１に写り込んでいる人物３００の顔のアスペクト比、顔画像３０１に写り込んでいる人物３００の性別及び顔画像３０１に写り込んでいる人物３００の人種のうちの少なくとも一つを特定してもよい。この場合、顔向き角度θ、顔のアスペクト比、性別及び人種の少なくとも一つが顔の違和感各パーツの位置、形状、または輪郭に及ぼす影響が相対的に大きいことを考慮すれば、データ生成装置２あるいは演算装置２１は、属性として、顔向き角度θ、顔のアスペクト比、性別及び人種の少なくとも一つを用いることで、人物の顔として違和感の少ない又はない仮想的な人物２００の顔の特徴点を示す顔データ２２１を適切に生成することができる。尚、以下の説明では、説明の簡略化のため、状態・属性特定部３１２が顔向き角度θを属性として特定する例について説明する。

再び図５において、その後、データベース生成部３１３は、ステップＳ３３で検出された特徴点と、ステップＳ３４で特定されたアクションユニットの種類と、ステップＳ３５で特定された顔向き角度θ（つまり、人物３００の属性）とに基づいて、特徴点データベース３２０を生成する（ステップＳ３６）。具体的には、データベース生成部３１３は、ステップＳ３３で検出された特徴点と、ステップＳ３４で特定されたアクションユニットの種類と、ステップＳ３５で特定された顔向き角度θ（つまり、人物３００の属性）とが関連付けられたデータレコード３２１を含む特徴点データベース３２０を生成する。

特徴点データベース３２０を生成するために、データベース生成部３１３は、ステップＳ３３で検出された特徴点に対応する顔パーツの種類の数だけ、データレコード３２１を生成する。例えば、ステップＳ３３において、目に関する特徴点と、眉に関する特徴点と、鼻に関する特徴点とが検出された場合には、データベース生成部３１３は、目に関する特徴点を含むデータレコード３２１と、眉に関する特徴点を含むデータレコード３２１と、鼻に関する特徴点を含むデータレコード３２１とを生成する。その結果、データベース生成部３１３は、顔向き角度θが関連付け付けられており、且つ、複数の顔パーツの夫々の単位で分類されている特徴点を含むデータレコード３２１を複数含む特徴点データベース３２０を生成する。

同じ種類の顔パーツが複数存在する場合には、データベース生成部３１３は、同じ種類の複数の顔パーツの特徴点をまとめて含むデータレコード３２１を生成してもよい。或いは、データベース生成部３１３は、同じ種類の複数の顔パーツの特徴点を夫々含む複数のデータレコード３２１を生成してもよい。例えば、顔には、右目と左目という、種類が同じ“目”となる顔パーツが含まれる。この場合、データベース生成部３１３は、右目に関する特徴点を含むデータレコード３２１と、左目に関する特徴点を含むデータレコード３２１とを別個に生成してもよい。或いは、データベース生成部３１３は、右目及び左目に関する特徴点をまとめて含むデータレコード３２１を生成してもよい。

特徴点データベース３２０のデータ構造の一例が図１３に示されている。図１３に示すように、特徴点データベース３２０は、複数のデータレコード３２１を含む。各データレコード３２１は、各データレコード３２１の識別番号（ＩＤ）を示すデータフィールド３２１０と、特徴点データフィールド３２１１と、属性データフィールド３２１２と、アクションユニットデータフィールド３２１３とを含む。特徴点データフィールド３２１１は、図５のステップＳ３３で検出された特徴点に関する情報をデータとして格納するためのデータフィールドである。図１３に示す例では、特徴点データフィールド３２１１には、例えば、一の顔パーツに関する特徴点の位置を示す位置情報と、一の顔パーツの種類を示すパーツ情報とがデータとして格納されている。属性データフィールド３２１２は、属性（この場合、顔向き角度θ）に関する情報をデータとして格納するためのデータフィールドである。図１３に示す例では、属性データフィールド３２１２には、例えば、パン方向の顔向き角度θ＿ｐａｎを示す情報と、チルト方向の顔向き角度θ＿ｔｉｌｔを示す情報とがデータとして記録されている。アクションユニットデータフィールド３２１３は、アクションユニットに関する情報を格納するためのデータフィールドである。図１３に示す例では、アクションユニットデータフィールド３２１３には、例えば、第１の種類のアクションユニットＡＵ＃１が発生しているか否かを示す情報と、第２の種類のアクションユニットＡＵ＃２が発生しているか否かを示す情報と、・・・、第ｋ（尚、ｋは１以上の整数）の種類のアクションユニットＡＵ＃ｋが発生しているか否かを示す情報とがデータとして記録されている。

各データレコード３２１は、属性データフィールド３２１２が示す向きを向いており且つアクションユニットデータフィールド３２１３が示す種類のアクションユニットが発生している顔から検出された、パーツ情報が示す種類の顔パーツに関する特徴点に関する情報（例えば、位置情報）を含んでいる。例えば、識別番号が＃１であるデータレコード３２１は、顔向き角度θ＿ｐａｎが５度であり、顔向き角度θ＿ｔｉｌｔが１５度であり、且つ、第１の種類のアクションユニットＡＵ＃１が発生している顔から検出された、眉に関する特徴点に関する情報（例えば、位置情報）を含んでいる。

特徴点データフィールド３２１１に格納される特徴点の位置は、人物３００の顔のサイズで正規化されていてもよい。例えば、データベース生成部３２０は、図５のステップＳ３３で検出された特徴点の位置を、人物３００の顔のサイズ（例えば、面積、長さ又は幅）で正規化し、正規化した位置を含むデータレコード３２１を生成してもよい。この場合、人物３００の顔のサイズのばらつきに起因して、特徴点データベース３２０に格納される特徴点の位置がばらつく可能性が小さくなる。その結果、特徴点データベース３２０は、人物３００の顔のサイズに起因したばらつき（つまり、個人差）を低減又は排除した特徴点を格納することができる。

生成した特徴点データベース３２０は、例えば、記憶装置３２に記憶されていてもよい。記憶装置３２が既に特徴点データベース３２０を記憶している場合には、データベース生成部３１３は、新たなデータレコード３２１を、記憶装置３２が記憶している特徴点データベース３２０に追加してもよい。データレコード３２１を特徴点データベース３２０に追加する動作は、実質的には、特徴点データベース３２０を再生成する動作と等価である。

データ蓄積装置３は、上述した図５に示すデータ蓄積動作を、複数の異なる顔画像３０１を対象に繰り返してもよい。複数の異なる顔画像３０１は、複数の異なる人物３００が夫々写り込んだ複数の顔画像３０１を含んでいてもよい。複数の異なる顔画像３０１は、同じ人物３００が写り込んだ複数の顔画像３０１を含んでいてもよい。その結果、データ蓄積装置３は、複数の異なる顔画像３０１から収集した複数のデータレコード３２１を含む特徴点データベース３２０を生成することができる。

（２－２）データ生成動作の流れ
続いて、データ生成装置２が行うデータ生成動作の流れについて説明する。上述したように、データ生成装置２は、データ生成動作を行うことで、仮想的な人物２００の顔の特徴点を示す顔データ２２１を生成する。具体的には、上述したように、データ生成装置２は、特徴点データベース３２０から、複数の顔パーツの夫々毎に少なくとも一つの特徴点を選択する。つまり、データ生成装置２は、特徴点データベース３２０から、複数の顔パーツに夫々対応する複数の特徴点を選択する。その後、データ生成装置２は、選択した複数の特徴点を組み合わせることで顔データ２２１を生成する。

第１実施形態では、データ生成装置２は、複数の顔パーツに夫々対応する複数の特徴点を選択する際に、特徴点データベース３２０から所望の条件を満たすデータレコード３２１を抽出し、特定したデータレコード３２１に含まれる特徴点を、顔データ２２１を生成するための特徴点として選択してもよい。

例えば、データ生成装置２は、所望の条件の一例として、アクションユニットに関する条件を採用してもよい。例えば、データ生成装置２は、所望種類のアクションユニットが発生していることをアクションユニットデータフィールド３２１３が示すデータレコード３２１を抽出してもよい。この場合、データ生成装置２は、所望種類のアクションユニットが発生している顔が写り込んだ顔画像３０１から収集された特徴点を選択することになる。つまり、データ生成装置２は、所望種類のアクションユニットが発生していることを示す情報に関連付けられた特徴点を選択することになる。

例えば、データ生成装置２は、所望の条件の他の一例として、属性（この場合、顔向き角度θ）に関する条件を採用してもよい。例えば、データ生成装置２は、属性が所望属性となっている（例えば、顔向き角度θが所望角度となっている）ことを属性データフィールド３２１３が示すデータレコード３２１を抽出してもよい。この場合、データ生成装置２は、所望属性の顔が写り込んだ顔画像３０１から収集された特徴点を選択することになる。つまり、データ生成装置２は、属性が所望属性となっている（例えば、顔向き角度θが所望角度となっている）ことを示す情報に関連付けられた特徴点を選択することになる。

以下、このようなデータ生成動作の流れについて、図１４を参照しながら説明する。図１４は、データ生成装置２が行うデータ生成動作の流れを示すフローチャートである。

図１４に示すように、特徴点選択部２１１は、特徴点を選択する条件として、アクションユニットに関する条件を設定してもよい（ステップＳ２１）。つまり、特徴点選択部２１１は、選択するべき特徴点に対応するアクションユニットの種類を、アクションユニットに関する条件として設定してもよい。この際、特徴点選択部２１１は、アクションユニットに関する条件を一つだけ設定してもよいし、アクションユニットに関する条件を複数設定してもよい。つまり、特徴点選択部２１１は、選択するべき特徴点に対応するアクションユニットの種類を一つだけ設定してもよいし、選択するべき特徴点に対応するアクションユニットの種類を複数設定してもよい。但し、特徴点選択部２１１は、アクションユニットに関する条件を設定しなくてもよい。つまり、データ生成装置２は、ステップＳ２１の動作を行わなくてもよい。

ステップＳ２１の動作に相前後又は並行して、特徴点選択部２１１は、特徴点を選択する条件として、アクションユニットに関する条件に加えて又は代えて、属性（この場合、顔向き角度θ）に関する条件を設定してもよい（ステップＳ２２）。つまり、特徴点選択部２１１は、選択するべき特徴点に対応する顔向き角度θを、顔向き角度θに関する条件として設定してもよい。例えば、特徴点選択部２１１は、選択するべき特徴点に対応する顔向き角度θの値を設定してもよい。例えば、特徴点選択部２１１は、選択するべき特徴点に対応する顔向き角度θの範囲を設定してもよい。この際、特徴点選択部２１１は、顔向き角度θに関する条件を一つだけ設定してもよいし、顔向き角度θに関する条件を複数設定してもよい。つまり、特徴点選択部２１１は、選択するべき特徴点に対応する顔向き角度θを一つだけ設定してもよいし、選択するべき特徴点に対応する顔向き角度θを複数設定してもよい。但し、特徴点選択部２１１は、属性に関する条件を設定なくしてもよい。つまり、データ生成装置２は、ステップＳ２２の動作を行わなくてもよい。

特徴点選択部２１１は、データ生成装置２のユーザの指示に基づいて、アクションユニットに関する条件を設定してもよい。例えば、特徴点選択部２１１は、アクションユニットに関する条件を設定するためのユーザの指示を、入力装置２３を介して取得し、取得したユーザの指示に基づいて、アクションユニットに関する条件を設定してもよい。或いは、特徴点選択部２１１は、アクションユニットに関する条件をランダムに設定してもよい。上述したように画像処理装置１が複数種類のアクションユニットのうちの少なくとも一つを検出する場合には、特徴点選択部２１１は、画像処理装置１の検出対象となる複数種類のアクションユニットが順に、データ生成装置２が選択するべき特徴点に対応するアクションユニットとして設定されるように、アクションユニットに関する条件を設定してもよい。属性に関する条件についても同様である。

その後、特徴点選択部２１１は、特徴点データベース３２０から、複数の顔パーツの夫々毎に少なくとも一つの特徴点をランダムに選択する（ステップＳ２３）。つまり、特徴点選択部２１１は、一の顔パーツの特徴点を含むデータレコード３２１をランダムに選択し、選択したデータレコード３２１に含まれる特徴点を選択する動作を、複数の顔パーツに夫々対応する複数の特徴点が選択されるまで繰り返す。例えば、特徴点選択部２１１は、眉の特徴点を含むデータレコード３２１をランダムに選択し且つ選択したデータレコード３２１に含まれる特徴点を選択する動作と、目の特徴点を含むデータレコード３２１をランダムに選択し且つ選択したデータレコード３２１に含まれる特徴点を選択する動作と、鼻の特徴点を含むデータレコード３２１をランダムに選択し且つ選択したデータレコード３２１に含まれる特徴点を選択する動作と、上唇の特徴点を含むデータレコード３２１をランダムに選択し且つ選択したデータレコード３２１に含まれる特徴点を選択する動作と、下唇の特徴点を含むデータレコード３２１をランダムに選択し且つ選択したデータレコード３２１に含まれる特徴点を選択する動作と、頬の特徴点を含むデータレコード３２１をランダムに選択し且つ選択したデータレコード３２１に含まれる特徴点を選択する動作とを行ってもよい。

一の顔パーツの特徴点をランダムに選択する際には、特徴点選択部２１１は、ステップＳ２１で設定されたアクションユニットに関する条件及びステップＳ２２で設定された属性に関する条件の少なくとも一方を参照する。つまり、特徴点選択部２１１は、ステップＳ２１で設定されたアクションユニットに関する条件及びステップＳ２２で設定された属性に関する条件の少なくとも一方を満たす一の顔パーツの特徴点をランダムに選択する。

具体的には、特徴点選択部２１１は、ステップＳ２１で設定された種類のアクションユニットが発生していることをアクションユニットデータフィールド３２１３が示している一のデータレコード３２１をランダムに抽出し、抽出したデータレコード３２１に含まれる特徴点を選択してもよい。つまり、特徴点選択部２１１は、ステップＳ２１で設定された種類のアクションユニットが発生している顔が写り込んだ顔画像３０１から収集された特徴点を選択してもよい。言い換えれば、特徴点選択部２１１は、ステップＳ２１で設定された種類のアクションユニットが発生していることを示す情報に関連付けられた特徴点を選択してもよい。

特徴点選択部２１１は、ステップＳ２２で設定された顔向き角度θに応じた方向を人物３００が向いていることを属性データフィールド３２１２が示している一のデータレコード３２１をランダムに抽出し、抽出したデータレコード３２１に含まれる特徴点を選択してもよい。つまり、特徴点選択部２１１は、ステップＳ２２で設定された顔向き角度θに応じた方向を向いた顔が写り込んだ顔画像３０１から収集された特徴点を選択してもよい。言い換えれば、特徴点選択部２１１は、ステップＳ２１で設定された顔向き角度θに応じた方向を人物３００が向いていることを示す情報に関連付けられた特徴点を選択してもよい。この場合、データ生成装置２あるいは演算装置２１は、一の属性の顔の一の顔パーツに関する特徴点と、一の属性とは異なる他の属性の顔の他の顔パーツに関する特徴点とを組み合わせなくてもよくなる。例えば、データ生成装置２あるいは演算装置２１は、正面の向いた顔の目に関する特徴点と、左右を向いた顔の鼻に関する特徴点とを組み合わせなくてもよくなる。このため、データ生成装置２あるいは演算装置２１は、複数の顔パーツに夫々対応する複数の特徴点を、違和感の少ない又はない位置に、違和感の少ない又はない配置態様で配置することで、顔データ２２１を生成することができる。つまり、データ生成装置２あるいは演算装置２１は、人物の顔として違和感の少ない又はない仮想的な人物２００の顔の特徴点を示す顔データ２２１を適切に生成することができる。

ステップＳ２１において選択するべき特徴点に対応するアクションユニットの種類が複数設定された場合には、特徴点選択部２１１は、設定された複数種類のアクションユニットのうちの少なくとも一つに対応する特徴点を選択してもよい。つまり、特徴点選択部２１１は、設定された複数種類のアクションユニットのうちの少なくとも一つが発生している顔が写り込んだ顔画像３０１から収集された特徴点を選択してもよい。言い換えれば、特徴点選択部２１１は、設定された複数種類のアクションユニットのうちの少なくとも一つが発生していることを示す情報に関連付けられた特徴点を選択してもよい。或いは、特徴点選択部２１１は、設定された複数種類のアクションユニットの全てに対応する特徴点を選択してもよい。つまり、特徴点選択部２１１は、設定された複数種類のアクションユニットの全てが発生している顔が写り込んだ顔画像３０１から収集された特徴点を選択してもよい。言い換えれば、特徴点選択部２１１は、設定された複数種類のアクションユニットの全てが発生していることを示す情報に関連付けられた特徴点を選択してもよい。

ステップＳ２２において選択するべき特徴点に対応する顔向き角度θが複数設定された場合には、特徴点選択部２１１は、設定された複数の顔向き角度θのうちの少なくとも一つに対応する特徴点を選択してもよい。つまり、特徴点選択部２１１は、設定された複数の顔向き角度θのうちの少なくとも一つに応じた方向を向いている顔が写り込んだ顔画像３０１から収集された特徴点を選択してもよい。言い換えれば、特徴点選択部２１１は、設定された複数の顔向き角度θのうちの少なくとも一つに応じた方向を顔が向いていることを示す情報に関連付けられた特徴点を選択してもよい。

その後、顔データ生成部２１２は、ステップＳ２３で選択された複数の顔パーツに夫々対応する複数の特徴点を組み合わせることで、顔データ２２１を生成する（ステップＳ２４）。具体的には、顔データ生成部２１２は、ステップＳ２３で選択された一の顔パーツの特徴点が、当該特徴点の位置（つまり、データレコード３２１に含まれる位置情報が示す位置）に配置されるように、ステップＳ２３で選択された複数の特徴点を組み合わせることで、顔データ２２１を生成する。つまり、顔データ生成部２１２は、ステップＳ２３で選択された一の顔パーツの特徴点が仮想的な人物の顔の一部を構成するように、ステップＳ２３で選択された複数の特徴点を組み合わせることで、顔データ２２１を生成する。その結果、顔データ２２１を模式的に示す平面図である図１５に示すように、仮想的な人物２００の顔の特徴を特徴点で表す顔データ２２１が生成される。

生成された顔データ２２１は、ステップＳ２１で設定されたアクションユニットに関する条件（つまり、アクションユニットの種類）が正解ラベルとして付与された状態で、記憶装置２２に記憶されてもよい。記憶装置２２が記憶している顔データ２２１は、上述したように、学習用データセット２２０として、画像処理装置１の学習モデルを学習するために用いられてもよい。

データ生成装置２は、上述した図１４に示すデータ生成動作を、複数回繰り返してもよい。その結果、データ生成装置２は、複数の顔データ２２１を生成することができる。ここで、顔データ２２１は、複数の顔画像３０１から収集された特徴点を組み合わせることで生成される。このため、典型的には、データ生成装置２は、顔画像３０１の数よりも多くの数の顔データ２２１を生成することができる。

（２－３）アクション検出動作の流れ
続いて、図１６を参照しながら、画像処理装置１が行うアクション検出動作の流れについて説明する。図１６は、画像処理装置１が行うアクション検出の流れを示すフローチャートである。

図１６に示すように、演算装置１２は、入力装置１４を用いて、カメラ１１から顔画像１０１を取得する（ステップＳ１１）。演算装置１２は、単一の顔画像１０１を取得してもよい。演算装置１２は、複数の顔画像１０１を取得してもよい。演算装置１２が複数の顔画像１０１を取得する場合には、演算装置１２は、複数の顔画像１０１の夫々に対して、後述するステップＳ１２からステップＳ１６の動作を行ってもよい。

その後、特徴点検出部１２１は、ステップＳ１１で取得された顔画像１０１に映り込んでいる人物１００の顔を検出する（ステップＳ１２）。尚、アクション検出動作において特徴点検出部１２１が人物１００の顔を検出する動作は、上述したデータ蓄積動作において特徴点検出部３１１が人物３００の顔を検出する動作（図５のステップＳ３２）と同一であってもよい。このため、特徴点検出部１２１が人物１００の顔を検出する動作の詳細な説明は省略する。

その後、特徴点検出部１２１は、顔画像１０１（或いは、顔画像１０１のうちステップＳ１２において特定された顔領域に含まれる画像部分）に基づいて、人物１００の顔の特徴点を複数検出する（ステップＳ１３）。尚、アクション検出動作において特徴点検出部１２１が人物１００の顔の特徴点を検出する動作は、上述したデータ蓄積動作において特徴点検出部３１１が人物３００の顔の特徴点を検出する動作（図５のステップＳ３３）と同一であってもよい。このため、特徴点検出部１２１が人物１００の顔の特徴点を検出する動作の詳細な説明は省略する。

その後、位置補正部１２３は、ステップＳ１３で検出された特徴点の位置に関する位置情報を生成する（ステップＳ１４）。例えば、位置補正部１２３は、ステップＳ１３で検出された複数の特徴点の間の相対的な位置関係を算出することで、当該相対的な位置関係を示す位置情報を生成してもよい。例えば、位置補正部１２３は、ステップＳ１３で検出された複数の特徴点のうちの任意の二つの特徴点の間の相対的な位置関係を算出することで、当該相対的な位置関係を示す位置情報を生成してもよい。

以下の説明では、位置補正部１２３が、ステップＳ１３で検出された複数の特徴点のうちの任意の二つの特徴点の間の距離（以降、“特徴点距離Ｌ”と称する）を生成する例を用いて説明を進める。この場合、ステップＳ１３においてＮ個の特徴点が検出された場合には、位置補正部１２３は、第ｋ（但し、ｋは、１以上且つＮ以下の整数を示す変数）番目の特徴点と第ｍ（但し、ｍは、１以上且つＮ以下であって且つ変数ｋとは異なる整数を示す変数）との間の特徴点距離Ｌを、変数ｋ及びｍの組み合わせを変えながら算出する。つまり、位置補正部１２３は、複数の特徴点距離Ｌを算出する。

特徴点距離Ｌは、同じ顔画像１０１から検出された異なる二つの特徴点の間の距離（つまり、顔画像１０１内での位置を示す座標系での距離）を含んでいてもよい。或いは、複数の顔画像１０１が時系列データとして画像処理装置１に入力される場合には、特徴点距離Ｌは、異なる二つの顔画像１０１から夫々検出された互いに対応する二つの特徴点の間の距離を含んでいてもよい。具体的には、特徴点距離Ｌは、第１の時刻における人物１００の顔が写り込んだ顔画像１０１から検出された一の特徴点と、第１の時刻とは異なる第２の時刻における人物１００の顔が写り込んだ顔画像１０１から検出された同じ一の特徴点との間の距離（つまり、顔画像１０１内での位置を示す座標系での距離）を含んでいてもよい。

ステップＳ１２からステップＳ１４までの動作に相前後して又は並行して、顔向き算出部１２２は、顔画像１０１（或いは、顔画像１０１のうちステップＳ１２において特定された顔領域に含まれる画像部分）に基づいて、顔画像１０１に写り込んでいる人物１００の顔向き角度θを算出する（ステップＳ１５）。尚、アクション検出動作において顔向き算出部１２２が人物１００の顔向き角度θを検出する動作は、上述したデータ蓄積動作において状態・属性特定部３１２が人物３００の顔向き角度θを特定する動作（図５のステップＳ３５）と同一であってもよい。このため、顔向き算出部１２２が人物１００の顔向き角度θを算出する動作の詳細な説明は省略する。

その後、位置補正部１２３は、ステップＳ１５で算出された顔向き角度θに基づいて、ステップＳ１４で生成された位置情報（この場合、複数の特徴点距離Ｌ）を補正する（ステップＳ１６）。その結果、位置補正部１２３は、補正された位置情報を生成する（この場合、補正された複数の特徴点距離Ｌを算出する）。尚、以下の説明では、ステップＳ１４で算出された（つまり、ステップＳ１６で補正されていない）特徴点距離Ｌを、“特徴点距離Ｌ”と表記し、且つ、ステップＳ１６で補正された特徴点距離Ｌを、“特徴点距離Ｌ’”と表記することで、両者を区別する。

ここで、顔向き角度θに基づいて特徴点距離Ｌを補正する理由について説明する。特徴点距離Ｌは、上述したように、アクションユニットを検出するために生成される。なぜならば、アクションユニットが発生した場合には、通常、顔を構成する複数の顔パーツのうちの少なくとも一つが動くがゆえに、特徴点距離Ｌ（つまり、特徴点の位置に関する位置情報）もまた変化するからである。このため、画像処理装置１は、特徴点距離Ｌの変化に基づいて、アクションユニットを検出することができる。一方で、特徴点距離Ｌは、アクションユニットの発生とは異なる要因によって変化することがある。具体的には、特徴点距離Ｌは、顔画像１０１に写り込んでいる人物１００の顔の向きの変化に起因して変化することがある。この場合、画像処理装置１は、アクションユニットが発生していないにも関わらず、人物１００の顔の向きの変化に起因して特徴点距離Ｌが変化したことを理由に、ある種類のアクションユニットが発生していると誤判定してしまう可能性がある。その結果、画像処理装置１は、アクションユニットが発生しているか否かを精度良く判定することができなくなるという技術的問題を有する。

そこで、第１実施形態では、画像処理装置１は、上述した技術的問題を解決するために、特徴点距離Ｌに基づいてアクションユニットを検出することに代えて、顔向き角度θに基づいて補正された特徴点距離Ｌ’に基づいてアクションユニットを検出する。このような顔向き角度θに基づいて特徴点距離Ｌを補正する理由を考慮すれば、位置補正部１２３は、人物１００の顔の向きの変化に起因して生ずる特徴点距離Ｌの変化が、アクションユニットが発生しているか否かを判定する動作に与える影響を低減するように、顔向き角度θに基づいて特徴点距離Ｌを補正することが好ましい。言い換えれば、位置補正部１２３は、人物１００の顔の向きの変動に起因して生ずる特徴点距離Ｌの変化が、アクションユニットの検出精度に与える影響を低減するように、顔向き角度θに基づいて特徴点距離Ｌを補正することが好ましい。具体的には、位置補正部１２３は、人物１００の顔の向きの変化に起因して本来の値から変化している可能性がある特徴点距離Ｌと比較して、人物１００の顔の向きの変化に起因した変化量が少ない又は相殺された（つまり、本来の値により近い）特徴点距離Ｌ’を算出するように、顔向き角度θに基づいて特徴点距離Ｌを補正してもよい。

一例として、位置補正部１２３は、Ｌ’＝Ｌ／ｃｏｓθという第１の数式を用いて、特徴点距離Ｌを補正してもよい。尚、第１の数式における顔向き角度θは、顔向き角度θ＿ｐａｎ及びθ＿ｔｉｌｔを区別しない状況下で基準軸と比較軸とがなす角度を意味していてもよい。Ｌ’＝Ｌ／ｃｏｓθという第１の数式を用いて特徴点距離Ｌを補正する動作は、アクションユニットが発生しているか否かを判定する動作に対して人物１００の顔の向きの変化に起因して生ずる特徴点距離Ｌの変化が与える影響を低減するように特徴点距離Ｌを補正する動作の一具体例に相当する。

顔向き算出部１２２は、顔向き角度θとして、パン方向の顔向き角度θ＿ｐａｎと、チルト方向の顔向き角度θ＿ｔｉｌｔとを算出してもよいことは上述したとおりである。この場合、位置補正部１２３は、特徴点距離Ｌを、Ｘ軸方向の距離成分Ｌｘと、Ｙ軸方向の距離成分Ｌｙとの距離成分に分解し、距離成分Ｌｘ及びＬｙの夫々を補正してもよい。その結果、位置補正部１２３は、特徴点距離Ｌ’のうちのＸ軸方向の距離成分Ｌｘ’と、特徴点距離Ｌ’のうちのＹ軸方向の距離成分Ｌｙ’とを算出することができる。具体的には、位置補正部１２３は、Ｌｘ’＝Ｌｘ／ｃｏｓθ＿ｐａｎという第２の数式及びＬｙ’＝Ｌｙ／ｃｏｓθ＿ｔｉｌｔという第３の数式を用いて、距離成分Ｌｘ及びＬｙを別々に補正してもよい。その結果、位置補正部１２３は、Ｌ’＝（Ｌｘ’^２＋Ｌｙ’^２）^１／２という数式を用いて、特徴点距離Ｌ’を算出することができる。或いは、Ｌｘ’＝Ｌｘ／ｃｏｓθ＿ｐａｎという第２の数式及びＬｙ’＝Ｌｙ／ｃｏｓθ＿ｔｉｌｔという第３の数式は、Ｌ’＝（（Ｌｘ／ｃｏｓθ＿ｐａｎ）^２＋（Ｌｙ／ｃｏｓθ＿ｔｉｌｔ）^２）^１／２という第４の数式に統合されてもよい。つまり、位置補正部１２３は、第４の数式を用いて特徴点距離Ｌ（距離成分Ｌｘ及びＬｙ）を補正することで、特徴点距離Ｌ’を算出してもよい。尚、第４の数式は、第２の数式及び第３の数式に基づく演算をまとめて行うための数式であるため、第２及び第３の数式と同様に、Ｌ’＝Ｌ／ｃｏｓθという第１の数式に基づく数式である（つまり、第１の数式と実質的には等価である）ことに変わりはない。

ここで、第１実施形態では、位置補正部１２３は、人物１００の顔がどの程度正面から外れた方向を向いているかを示す数値パラメータに相当する顔向き角度θに基づいて、特徴点距離Ｌを補正することができる。その結果、上述した第１から第４の数式から分かるように、位置補正部１２３は、顔向き角度θが第１の角度となる場合の特徴点距離Ｌの補正量（つまり、補正前の特徴点距離Ｌと補正後の特徴点距離Ｌ’との差分）が、顔向き角度θが第１の角度とは異なる第２の角度となる場合に特徴点距離Ｌの補正量と異なるものとなるように、特徴点距離Ｌを補正することになる。

その後、アクション検出部１２４は、位置補正部１２３が補正した複数の特徴点距離Ｌ’（つまり、位置情報）に基づいて、顔画像１０１に写り込んでいる人物１００の顔にアクションユニットが発生したか否かを判定する（ステップＳ１７）。具体的には、アクション検出部１２４は、上述した学習モデルにステップＳ１６で補正された複数の特徴点距離Ｌ’を入力することで、顔画像１０１に写り込んでいる人物１００の顔にアクションユニットが発生したか否かを判定してもよい。この場合、学習モデルは、複数の特徴点距離Ｌ’に基づいて特徴量ベクトルを生成し、生成した特徴量ベクトルに基づいて、顔画像１０１に写り込んでいる人物１００の顔にアクションユニットが発生したか否かの判定結果を出力してもよい。特徴量ベクトルは、複数の特徴点距離Ｌ’を並べたベクトルであってもよい。特徴量ベクトルは、複数の特徴点距離Ｌ’の特徴を示すベクトルであってもよい。

（３）情報処理システムＳＹＳの技術的効果
以上説明したように、第１実施形態では、画像処理装置１は、顔画像１０１に写り込んだ人物１００の顔にアクションユニットが発生しているか否かを判定することができる。つまり、画像処理装置１は、顔画像１０１に写り込んだ人物１００の顔に発生するアクションユニットを検出することができる。

特に、第１実施形態では、画像処理装置１は、人物１００の顔向き角度θに基づいて、特徴点距離Ｌ（つまり、人物１００の顔の特徴点の位置に関する位置情報）を補正し、補正した特徴点距離Ｌに基づいて、アクションユニットが発生しているか否かを判定することができる。このため、顔向き角度θに基づいて特徴点距離Ｌが補正されない場合と比較して、アクションユニットが発生していないにも関わらず、人物１００の顔の向きの変化に起因して特徴点距離Ｌが変化したことを理由に、ある種類のアクションユニットが発生していると画像処理装置１が誤判定してしまう可能性が低くなる。このため、画像処理装置１は、アクションユニットが発生しているか否かを精度良く判定することができる。

この際、画像処理装置１は、顔向き角度θを用いて特徴点距離Ｌを補正するため、人物１００の顔がどの程度正面から外れた方向を向いているかを考慮して、特徴点距離Ｌを補正することができる。その結果、人物１００の顔が正面、右方及び左方のいずれを向いているかしか考慮しない（つまり、顔向き角度θを考慮しない）比較例の画像処理装置と比較して、画像処理装置１は、アクションユニットが発生しているか否かを精度良く判定することができる。

また、画像処理装置１は、人物１００の顔の向きの変化に起因して生ずる特徴点距離Ｌの変化が、アクションユニットが発生しているか否かを判定する動作に与える影響を低減するように、顔向き角度θに基づいて特徴点距離Ｌを補正することができる。このため、アクションユニットが発生していないにも関わらず、人物１００の顔の向きの変化に起因して特徴点距離Ｌが変化したことを理由に、ある種類のアクションユニットが発生していると画像処理装置１が誤判定してしまう可能性が低くなる。このため、画像処理装置１は、アクションユニットが発生しているか否かを精度良く判定することができる。

また、画像処理装置１は、上述したＬ’＝Ｌ／ｃｏｓθという第１の数式（更には、当該第１の数式に準拠した第２から第４の数式のうちの少なくとも一つ）を用いて、特徴点距離Ｌを補正することができる。その結果、画像処理装置１は、人物１００の顔の向きの変動に起因して生ずる特徴点距離Ｌの変動が、アクションユニットが発生しているか否かを判定する動作に与える影響を低減するように、特徴点距離Ｌを適切に補正することができる。

また、第１実施形態では、データ生成装置２は、所望種類のアクションユニットが発生している顔が写り込んだ顔画像３０１から収集された特徴点を、複数の顔パーツの夫々毎に選択し、複数の顔パーツに夫々対応する複数の特徴点を組み合わせることで、顔データ２２１を生成することができる。このため、データ生成装置２は、所望種類のアクションユニットが発生している仮想的な人物２００の顔の特徴点を示す顔データ２２１を、適切に生成することができる。その結果、データ生成装置２は、顔画像３０１よりも数が多く且つ所望種類のアクションユニットが発生していることを示す正解ラベルが付与された複数の顔データ２２１を含む学習データセット２２０を適切に生成することができる。つまり、データ生成装置２は、顔画像３０１がそのまま学習データセット２２０として用いられる場合と比較して、正解ラベルが付与されたより多くの顔データ２２１を含む学習データセット２２０を適切に生成することができる。つまり、データ生成装置２は、正解ラベルが付与された顔画像に相当する顔画像３０１を大量に用意することが困難な状況下においても、正解ラベルが付与された顔画像に相当する顔データ２２１を大量に用意することができる。このため、顔画像３０１そのものを用いて画像処理装置１の学習モデルを学習させる場合と比較して、学習モデルの学習データの数が多くなる。その結果、顔データ２２１を用いて画像処理装置１の学習モデルをより適切に（例えば、検出精度がより向上するように）学習させることができる。その結果、画像処理装置１の検出精度が向上する。

また、第１実施形態では、データ生成装置２は、所望属性の顔が写り込んだ顔画像３０１から収集された特徴点を、複数の顔パーツの夫々毎に選択し、複数の顔パーツに夫々対応する複数の特徴点を組み合わせることで、顔データ２２１を生成することができる。この場合、データ生成装置２は、一の属性の顔の一の顔パーツに関する特徴点と、一の属性とは異なる他の属性の顔の他の顔パーツに関する特徴点とを組み合わせなくてもよくなる。例えば、データ生成装置２は、正面の向いた顔の目に関する特徴点と、左右を向いた顔の鼻に関する特徴点とを組み合わせなくてもよくなる。このため、データ生成装置２は、複数の顔パーツに夫々対応する複数の特徴点を、違和感の少ない又はない位置に、違和感の少ない又はない配置態様で配置することで、顔データ２２１を生成することができる。つまり、データ生成装置２は、人物の顔として違和感の少ない又はない仮想的な人物２００の顔の特徴点を示す顔データ２２１を適切に生成することができる。その結果、画像処理装置１の学習モデルは、現実の人物の顔に相対的に近い仮想的な人物２００の顔の特徴を示す顔データ２２１を用いて学習される。このため、現実の人物の顔からかけ離れた仮想的な人物２００の顔の特徴を示す顔データ２２１を用いて学習モデルが学習される場合と比較して、画像処理装置１の学習モデルをより適切に（例えば、検出精度がより向上するように）学習させることができる。その結果、画像処理装置１の検出精度が向上する。

また、上述したデータ蓄積動作において特徴点データベース３２０に格納される特徴点の位置が人物３００の顔のサイズで正規化されている場合には、データ生成装置２は、人物３００の顔のサイズに起因したばらつきを低減又は排除した特徴点を組み合わせることで、顔データ２２１を生成することができる。その結果、特徴点データベース３２０に格納される特徴点の位置が人物３００の顔のサイズで正規化されていない場合と比較して、データ生成装置２は、違和感の少ない又はない位置関係を有するように配置された複数の顔パーツから構成される仮想的な人物２００の顔の特徴点を示す顔データ２２１を適切に生成することができる。この場合も、画像処理装置１の学習モデルは、現実の人物の顔に相対的に近い仮想的な人物２００の顔の特徴を示す顔データ２２１を用いて学習可能となる。

第１実施形態では、属性として、属性の変化が、顔画像３０１に写り込んだ顔を構成する複数の顔パーツのうちの少なくとも一つの位置及び形状の少なくとも一つの変化につながるという性質を有する属性を用いることができる。この場合、顔パーツの位置及び形状の少なくとも一つが顔の違和感に及ぼす影響が相対的に大きいことを考慮すれば、データ生成装置２は、人物の顔として違和感の少ない又はない仮想的な人物２００の顔の特徴点を示す顔データ２２１を適切に生成することができる。

第１実施形態では、属性として、顔向き角度θ、顔のアスペクト比、性別及び人種の少なくとも一つを用いることができる。この場合、顔向き角度θ、顔のアスペクト比、性別及び人種の少なくとも一つが顔の各パーツの位置、形状及び輪郭の少なくとも一つに及ぼす影響が相対的に大きいことを考慮すれば、データ生成装置２は、属性として、顔向き角度θ、顔のアスペクト比、性別及び人種の少なくとも一つを用いることで、人物の顔として違和感の少ない又はない仮想的な人物２００の顔の特徴点を示す顔データ２２１を適切に生成することができる。

また、第１実施形態では、データ蓄積装置３は、データ生成装置２が顔データ２２１を生成するために参照可能な特徴点データベース３２０を生成する。このため、データ蓄積装置３は、特徴点データベース３２０をデータ生成装置２に提供することで、データ生成装置２に顔データ２２１を適切に生成させることができる。

（４）第２実施形態の情報処理システムＳＹＳの構成
続いて、第２実施形態の情報処理システムＳＹＳについて説明する。以降の説明では、第２実施形態の情報処理システムＳＹＳを、“情報処理システムＳＹＳｂ”と称することで、第１実施形態の情報処理システムＳＹＳと区別する。第２実施形態の情報処理システムＳＹＳｂの構成は、上述した第１実施形態の情報処理システムＳＹＳの構成と同一である。第２実施形態の情報処理システムＳＹＳｂは、上述した第１実施形態の情報処理システムＳＹＳと比較して、アクション検出動作の流れが異なるという点で異なる。第２実施形態の情報処理システムＳＹＳｂのその他の特徴は、上述した第１実施形態の情報処理システムＳＹＳのその他の特徴と同一であってもよい。このため、以下では、図１７を参照しながら、第２実施形態の情報処理システムＳＹＳｂが行うアクション検出動作の流れを示すフローチャートである。

図１７に示すように、第２実施形態においても、第１実施形態と同様に、演算装置１２は、入力装置１４を用いて、カメラ１１から顔画像１０１を取得する（ステップＳ１１）。その後、特徴点検出部１２１は、ステップＳ１１で取得された顔画像１０１に映り込んでいる人物１００の顔を検出する（ステップＳ１２）。その後、特徴点検出部１２１は、顔画像１０１（或いは、顔画像１０１のうちステップＳ１２において特定された顔領域に含まれる画像部分）に基づいて、人物１００の顔の特徴点を複数検出する（ステップＳ１３）。その後、位置補正部１２３は、ステップＳ１３で検出された特徴点の位置に関する位置情報を生成する（ステップＳ１４）。尚、第２実施形態においても、ステップＳ１４において、位置補正部１２３が、特徴点距離Ｌを生成する例を用いて説明を進める。更に、顔向き算出部１２２は、顔画像１０１（或いは、顔画像１０１のうちステップＳ１２において特定された顔領域に含まれる画像部分）に基づいて、顔画像１０１に写り込んでいる人物１００の顔向き角度θを算出する（ステップＳ１５）。

その後、位置補正部１２３は、ステップＳ１４で生成された位置情報（この場合、複数の特徴点距離Ｌ）と、ステップＳ１５で算出された顔向き角度θとに基づいて、特徴点距離Ｌと顔向き角度θとの関係を規定する回帰式を算出する（ステップＳ２１）。つまり、位置補正部１２３は、ステップＳ１４で生成された複数の特徴点距離Ｌと、ステップＳ１５で算出された顔向き角度θとに基づいて、特徴点距離Ｌと顔向き角度θとの関係を規定する回帰式を推定する回帰分析を行う。尚、ステップＳ２１では、位置補正部１２３は、様々な人物１０１が様々な顔角度θに応じた方向を向いている複数の顔画像１０１から算出される複数の特徴点距離Ｌを用いて、回帰式を算出してもよい。同様に、ステップＳ２１では、位置補正部１２３は、様々な人物１０１が様々な顔角度θに応じた方向を向いている複数の顔画像１０１から算出される複数の顔角度θを用いて、回帰式を算出してもよい。

ステップＳ１４で生成された特徴点距離ＬとステップＳ１５で算出された顔向き角度θとをプロットしたグラフの一例が、図１８に示されている。図１８は、特徴点距離Ｌが縦軸によって示されており且つ顔向き角度θが横軸によって示されているグラフ上で、特徴点距離Ｌと顔向き角度θとの関係を示している。図１８に示すように、顔向き角度θによって補正されていない特徴点距離Ｌは、顔向き角度θに依存して変動する可能性があることが分かる。位置補正部１２３は、特徴点距離Ｌと顔向き角度θとの関係をｎ（尚、ｎは、１以上の整数を示す変数）次方程式で表す回帰式を算出してもよい。図１８に示す例では、位置補正部１２３は、特徴点距離Ｌと顔向き角度θとの関係を二次方程式で表す回帰式（Ｌ＝ａ×θ^２＋ｂ×θ＋ｃ）を算出している。

その後、位置補正部１２３は、ステップＳ２１で算出された回帰式に基づいて、ステップＳ１４で生成された位置情報（この場合、複数の特徴点距離Ｌ）を補正する（ステップＳ２２）。例えば、補正された特徴点距離Ｌ’と顔向き角度θとをプロットしたグラフの一例である図１９に示すように、位置補正部１２３は、顔向き角度θによって補正された特徴点距離Ｌ’が顔向き角度θに依存して変動しなくなるように、回帰式に基づいて複数の特徴点距離Ｌを補正してもよい。つまり、位置補正部１２３は、顔向き角度θと特徴点距離Ｌ’との関係を示す回帰式が、横軸（つまり、顔向き角度θに対応する座標軸）に沿った直線を示す数式になるように、回帰式に基づいて複数の特徴点距離Ｌを補正してもよい。例えば、図１９に示すように、位置補正部１２３は、顔向き角度θの変動に起因した特徴点距離Ｌ’の変動量が、顔向き角度θの変動に起因した特徴点距離Ｌの変動量よりも少なくなるように、回帰式に基づいて複数の特徴点距離Ｌを補正してもよい。つまり、位置補正部１２３は、顔向き角度θと特徴点距離Ｌ’との関係を示す回帰式が、顔向き角度θと特徴点距離Ｌとの関係を示す回帰式よりも直線に近づくように、回帰式に基づいて複数の特徴点距離Ｌを補正してもよい。一例として、上述したように顔向き角度θと特徴点距離Ｌとの間の関係を規定する回帰式がＬ＝ａ×θ^２＋ｂ×θ＋ｃという数式で表現される場合には、位置補正部１２３は、Ｌ’＝Ｌ－ａ×θ^２－ｂ×θという第５の数式を用いて、特徴点距離Ｌを補正してもよい。

その後、アクション検出部１２４は、位置補正部１２３が補正した複数の特徴点距離Ｌ’（つまり、位置情報）に基づいて、顔画像１０１に写り込んでいる人物１００の顔にアクションユニットが発生したか否かを判定する（ステップＳ１７）。

以上説明したように、第２実施形態の情報処理システムＳＹＳｂは、Ｌ’＝Ｌ／ｃｏｓθという第１の数式、Ｌｘ’＝Ｌｘ／ｃｏｓθ＿ｐａｎという第２の数式、Ｌｙ’＝Ｌｙ／ｃｏｓθ＿ｔｉｌｔという第３の数式及びＬ’＝（（Ｌｘ／ｃｏｓθ＿ｐａｎ）^２＋（Ｌｙ／ｃｏｓθ＿ｔｉｌｔ）^２）^１／２という第４の数式のうちの少なくとも一つに代えて、顔向き角度θと特徴点距離Ｌとの間の関係を規定する回帰式に基づいて、特徴点距離Ｌ（つまり、特徴点の位置に関する位置情報）を補正している。この場合であっても、顔向き角度θに基づいて特徴点距離Ｌが補正されない場合と比較して、アクションユニットが発生していないにも関わらず、人物１００の顔の向きの変化に起因して特徴点距離Ｌが変化したことを理由に、ある種類のアクションユニットが発生していると画像処理装置１が誤判定してしまう可能性が低くなる。このため、画像処理装置１は、アクションユニットが発生しているか否かを精度良く判定することができる。従って、第２実施形態の情報処理システムＳＹＳｂは、上述した第１実施形態の情報処理システムＳＹＳが享受可能な効果と同様の効果を享受することができる。

特に、情報処理システムＳＹＳｂは、回帰式という統計的手法を用いて、特徴点距離Ｌを補正することができる。つまり、情報処理システムＳＹＳｂは、特徴点距離Ｌを統計的に補正することができる。このため、情報処理システムＳＹＳｂは、特徴点距離Ｌを統計的に補正しない場合と比較して、特徴点距離Ｌをより適切に補正することができる。つｊまり、情報処理システムＳＹＳｂは、画像処理装置１がアクションユニットをご検出する頻度を減らすように、特徴点距離Ｌを補正することができる。このため、画像処理装置１は、アクションユニットが発生しているか否かをより一層精度良く判定することができる。

尚、回帰式に基づいて特徴点距離Ｌを補正する場合には、位置補正部１２３は、顔向き角度θの変動に起因した特徴点距離Ｌの変動量が相対的に大きい（例えば、所定閾値よりも大きい）特徴点距離Ｌと、顔向き角度θの変動に起因した特徴点距離Ｌの変動量が相対的に小さい（例えば、所定閾値よりも小さい）特徴点距離Ｌとを区別してもよい。この場合、位置補正部１２３は、顔向き角度θの変動に起因した特徴点距離Ｌの変動量が相対的に大きい特徴点距離Ｌを、回帰式を用いて補正してもよい。一方で、位置補正部１２３は、顔向き角度θの変動に起因した特徴点距離Ｌの変動量が相対的に小さい特徴点距離Ｌを補正しなくてもよい。その後、アクション検出部１２４は、顔向き角度θの変動に起因した変動量が相対的に大きいがゆえに補正された特徴点距離Ｌ’と、顔向き角度θの変動に起因した変動量が相対的に小さいがゆえに補正されなかった特徴点距離Ｌとを用いて、アクションユニットが発生しているか否かを判定してもよい。この場合、画像処理装置１は、位置情報の補正に必要な処理負荷を低減しつつ、アクションユニットが発生したか否かを適切に判定することができる。というのも、顔向き角度θの変動に起因した変動量が相対的に小さい特徴点距離Ｌは、回帰式に基づいて補正されなかったとしても（つまり、顔向き角度θに基づいて補正されなかったとしても）真の値に近い値になっていると想定される。つまり、顔向き角度θの変動に起因した変動量が相対的に小さい特徴点距離Ｌは、補正された特徴点距離Ｌ’と概ね同じ値になっていると想定される。その結果、顔向き角度θの変動に起因した変動量が相対的に小さい特徴点距離Ｌは、補正する必要性が相対的に低いと想定される。一方で、顔向き角度θの変動に起因した変動量が相対的に大きい特徴点距離Ｌは、回帰式に基づいて補正されなければ、真の値から大きく乖離した値になっていると想定される。つまり、顔向き角度θの変動に起因した変動量が相対的に大きい特徴点距離Ｌは、補正された特徴点距離Ｌ’から大きく乖離した値になっていると想定される。このため、顔向き角度θの変動に起因した変動量が相対的に大きい特徴点距離Ｌは、補正する必要性が相対的に高いと想定される。このような状況を踏まえて、画像処理装置１は、顔向き角度θの変動に起因した変動量が相対的に大きい少なくとも一つの特徴点距離Ｌのみを選択的に補正しても、アクションユニットが発生したか否かを適切に判定することができる。

（５）変形例
続いて、情報処理システムＳＹＳの変形例について説明する。

（５－１）データ蓄積装置３の変形例
上述した説明では、図１３に示すように、データ蓄積装置３は、特徴点データフィールド３２１１と、属性データフィールド３２１２と、アクションユニットデータフィールド３２１３とを含むデータレコード３２１を含む特徴点データベース３２０を生成している。しかしながら、データ蓄積装置３が生成する特徴点データベース３２０の第１変形例（以降、“特徴点データベース３２０ａ”と表記する）を示す図２０に示すように、データ蓄積装置３は、特徴点データフィールド３２１１とアクションユニットデータフィールド３２１３とを含む一方で、属性データフィールド３２１２を含まないデータレコード３２１を含む特徴点データベース３２０ａを生成してもよい。この場合であっても、データ生成装置２は、所望種類のアクションユニットが発生している顔が写り込んだ顔画像３０１から収集された特徴点を、複数の顔パーツの夫々毎に選択し、複数の顔パーツに夫々対応する複数の特徴点を組み合わせることで、顔データ２２１を生成することができる。或いは、データ蓄積装置３が生成する特徴点データベース３２０の第２変形例（以降、“特徴点データベース３２０ｂ”と表記する）を示す図２１に示すように、データ蓄積装置３は、特徴点データフィールド３２１１と属性データフィールド３２１２とを含む一方で、アクションユニットデータフィールド３２１３を含まないデータレコード３２１を含む特徴点データベース３２０ｂを生成してもよい。この場合であっても、データ生成装置２は、所望属性の顔が写り込んだ顔画像３０１から収集された特徴点を、複数の顔パーツの夫々毎に選択し、複数の顔パーツに夫々対応する複数の特徴点を組み合わせることで、顔データ２２１を生成できる。

上述した説明では、図１３に示すように、データ蓄積装置３は、顔向き角度θという単一種類の属性に関する情報が格納された属性データフィールド３２１２を含むデータレコード３２１を含む特徴点データベース３２０を生成している。しかしながら、データ蓄積装置３が生成する特徴点データベース３２０の第３変形例（以降、“特徴点データベース３２０ｃ”と表記する）を示す図２２に示すように、データ蓄積装置３は、複数の異なる種類の属性に関する情報が格納された属性データフィールド３２１２を含むデータレコード３２１を含む特徴点データベース３２０ｃを生成してもよい。図２２に示す例では、属性データフィールド３２１２には、顔向き角度θに関する情報と、顔のアスペクト比に関する情報とがデータとして記録されている。この場合、データ生成装置２は、図１４のステップＳ２２において、複数種類の属性に関する複数の条件を設定してもよい。例えば、データ生成装置２が図２２に示す特徴点データベース３２０ｃを用いて顔データ２２１を生成する場合には、データ生成装置２は、顔向き角度θに関する条件と、顔のアスペクト比に関する条件とを設定してもよい。更に、データ生成装置２は、図１４のステップＳ２３において、ステップＳ２２で設定された複数種類の属性に関する複数の条件の全てを満たす一の顔パーツの特徴点をランダムに選択してもよい。例えば、データ生成装置２が図２１に示す特徴点データベース３２０ｃを用いて顔データ２２１を生成する場合には、データ生成装置２は、顔向き角度θに関する条件及び顔のアスペクト比に関する条件の双方を満たす一の顔パーツの特徴点をランダムに選択してもよい。このように異なる種類の属性に関する情報と関連付けられた特徴点を含む特徴点データベース３２０ｃが用いられる場合には、単一種類の属性に関する情報と関連付けられた特徴点を含む特徴点データベース３２０が用いられる場合と比較して、データ生成装置２は、人物の顔として違和感のより少ない又はない仮想的な人物２００の顔の特徴点を示す顔データ２２１を適切に生成することができる。

（５－２）データ生成装置２の変形例
データ生成装置２は、複数の顔パーツに夫々対応する複数の特徴点を組み合わせることで顔データ２２１を生成する際に、顔パーツ毎に特徴点の配置可能範囲を設定してもよい。つまり、データ生成装置２は、一の顔パーツの特徴点を仮想的な顔を構成するように配置する際に、一の顔パーツの特徴点の配置可能範囲を設定してもよい。一の顔パーツの特徴点の配置可能範囲は、仮想的な顔を構成する仮想的な一の顔パーツの位置として違和感のない又は少ない位置を含む一方で、仮想的な顔を構成する仮想的な一の顔パーツの位置として違和感のある又は大きい位置を含まない範囲に設定されてもよい。この場合、データ生成装置２は、配置可能範囲を外れて特徴点を配置することはなくなる。その結果、データ生成装置２は、人物の顔として違和感のより少ない又はない仮想的な人物２００の顔の特徴点を示す顔データ２２１を適切に生成することができる。

データ生成装置２は、顔データ２２１を生成した後に、顔データ２２１が示す特徴点によって表される仮想的な人物２００の顔の顔らしさを示す指標（以降、“顔指標”と称する）を算出してもよい。例えば、データ生成装置２は、基準となる顔の特徴を表す特徴点と、顔データ２２１が示す特徴点とを比較することで、顔指標を算出してもよい。この場合、データ生成装置２は、基準となる顔の特徴を表す特徴点の位置と顔データ２２１が示す特徴点の位置とのずれが大きくなるほど、顔指標が小さくなるように（つまり、仮想的な人物２００の顔が顔らしくない、つまり、違和感が大きいと判定されるように）、顔指標を算出してもよい。

データ生成装置２が顔指標を算出する場合には、データ生成装置２は、顔指標が所定閾値を下回った顔データ２２１を、廃棄してもよい。つまり、データ生成装置２は、顔指標が所定閾値を下回った顔データ２２１を、記憶装置２２に記憶しなくてもよい。データ生成装置２は、顔指標が所定閾値を下回った顔データ２２１を、学習用データセット２２０に含めなくてもよい。その結果、画像処理装置１の学習モデルは、現実の人物の顔に近い仮想的な人物２００の顔の特徴を示す顔データ２２１を用いて学習される。このため、現実の人物の顔からかけ離れた仮想的な人物２００の顔の特徴を示す顔データ２２１を用いて学習モデルが学習される場合と比較して、画像処理装置１の学習モデルをより適切に学習させることができる。その結果、画像処理装置１の検出精度が向上する。

（５－３）画像処理装置１の変形例
上述した説明では、図１６及び図１７の夫々のステップＳ１４において、画像処理装置１は、図１６のステップＳ１３で検出された複数の特徴点のうちの任意の二つの特徴点の間の相対的な位置関係を算出している。しかしながら、画像処理装置１は、ステップＳ１３で検出された複数の特徴点の中から、検出したいアクションユニットに関連する少なくとも一つの特徴点を抽出し、抽出した少なくとも一つの特徴点の位置に関する位置情報を生成してもよい。言い換えれば、画像処理装置１は、ステップＳ１３で検出された複数の特徴点の中から、検出したいアクションユニットの検出に寄与する少なくとも一つの特徴点を抽出し、抽出した少なくとも一つの特徴点の位置に関する位置情報を生成してもよい。この場合、位置情報の生成に必要な処理負荷が低減される。

同様に、上述した説明では、図１６のステップＳ１６及び図１７のステップＳ２２の夫々において、画像処理装置１は、図１６のステップＳ１４において算出された複数の特徴点距離Ｌ（つまり、位置情報）を補正している。しかしながら、画像処理装置１は、ステップＳ１４において算出された複数の特徴点距離Ｌの中から、検出したいアクションユニットに関連する少なくとも一つの特徴点距離Ｌを抽出し、抽出した少なくとも一つの特徴点距離Ｌを補正してもよい。言い換えれば、画像処理装置１は、ステップＳ１４において算出された複数の特徴点距離Ｌの中から、検出したいアクションユニットの検出に寄与する少なくとも一つの特徴点距離Ｌを抽出し、抽出した少なくとも一つの特徴点距離Ｌを補正してもよい。この場合、位置情報の補正に必要な処理負荷が低減される。

同様に、上述した説明では、図１７のステップＳ２１において、画像処理装置１は、図１７のステップＳ１４において算出された複数の特徴点距離Ｌ（つまり、位置情報）を用いて、回帰式を算出している。しかしながら、画像処理装置１は、ステップＳ１４において算出された複数の特徴点距離Ｌの中から、検出したいアクションユニットに関連する少なくとも一つの特徴点距離Ｌを抽出し、抽出した少なくとも一つの特徴点距離Ｌを用いて、回帰式を算出してもよい。言い換えれば、画像処理装置１は、ステップＳ１４において算出された複数の特徴点距離Ｌの中から、検出したいアクションユニットの検出に寄与する少なくとも一つの特徴点距離Ｌを抽出し、抽出した少なくとも一つの特徴点距離Ｌを用いて回帰式を算出してもよい。つまり、画像処理装置１は、複数種類のアクションユニットに夫々対応する複数の回帰式を算出してもよい。アクションユニットの種類によって特徴点距離Ｌの変化態様が異なることを考慮すれば、各アクションユニットに対応する回帰式は、複数種類の全てのアクションユニットに共通する回帰式と比較して、各アクションユニットに関連する特徴点距離Ｌと顔向き角度θとの関係をより高精度に示していると想定される。このため、画像処理装置１は、このような各アクションユニットに対応する回帰式を用いて、各アクションユニットに関連する特徴点距離Ｌを高精度に補正することができる。その結果、画像処理装置１は、各アクションユニットが発生しているか否かをより高精度に判定することができる。
同様に、上述した説明では、図１６及び図１７の夫々のステップＳ１７において、画像処理装置１は、図１６のステップＳ１６において補正された複数の特徴点距離Ｌ’（つまり、位置情報）を用いて、アクションユニットを検出している。しかしながら、画像処理装置１は、ステップＳ１６において補正された複数の特徴点距離Ｌ’の中から、検出したいアクションユニットに関連する少なくとも一つの特徴点距離Ｌ’を抽出し、抽出した少なくとも一つの特徴点距離Ｌ’を用いてアクションユニットを検出してもよい。言い換えれば、画像処理装置１は、ステップＳ１６において補正された複数の特徴点距離Ｌ’の中から、検出したいアクションユニットの検出に寄与する少なくとも一つの特徴点距離Ｌ’を抽出し、抽出した少なくとも一つの特徴点距離Ｌ’を用いてアクションユニットを検出してもよい。この場合、アクションユニットの検出に必要な処理負荷が低減される。

上述した説明では、画像処理装置１は、顔画像１０１に写り込んだ人物１００の顔の特徴点の位置に関する位置情報（上述した例では、特徴点距離Ｌ等）に基づいて、アクションユニットを検出している。しかしながら、画像処理装置１（アクション検出部１２４）は、特徴点の位置に関する位置情報に基づいて、顔画像１０１に写り込んだ人物１００の感情を推定（つまり、特定）してもよい。或いは、画像処理装置１（アクション検出部１２４）は、特徴点の位置に関する位置情報に基づいて、顔画像１０１に写り込んだ人物１００の体調を推定（つまり、特定）してもよい。尚、人物１００の感情及び体調の夫々は、人物１００の状態の一例である。

画像処理装置１が人物１００の感情及び体調の少なくとも一方を推定する場合には、データ蓄積装置３は、図５のステップＳ３４において、図５のステップＳ３１で取得された顔画像３０１に写り込んでいる人物３００の感情及び体調の少なくとも一方を特定してもよい。このため、顔画像３０１には、顔画像３０１に写り込んでいる人物３００の感情及び体調の少なくとも一方を示す情報が関連付けられていてもよい。また、データ蓄積装置３は、図５のステップＳ３６において、特徴点と、人物３００の感情及び体調の少なくとも一方と、顔向き角度θとが関連付けられたデータレコード３２１を含む特徴点データベース３２０を生成してもよい。また、データ生成装置２は、図１４のステップＳ２２において、感情及び体調の少なくとも一方に関する条件を設定してもよい。また、データ生成装置２は、図１４のステップＳ２３において、ステップＳ２１で設定された感情及び体調の少なくとも一方に関する条件を満たす一の顔パーツの特徴点をランダムに選択してもよい。その結果、顔画像１０１が入力されると人物１００の感情及び体調の少なくとも一方の推定結果を出力可能であって且つ学習可能な演算モデルを学習させるために、正解ラベルが付与された顔画像に相当する顔画像３０１を大量に用意することが困難な状況下においても、正解ラベルが付与された顔画像に相当する顔データ２２１を大量に用意することができる。このため、顔画像３０１そのものを用いて画像処理装置１の学習モデルを学習させる場合と比較して、学習モデルの学習データの数が多くなる。その結果、画像処理装置１による感情及び体調の推定精度が向上する。

尚、画像処理装置１が人物１００の感情及び体調の少なくとも一方を推定する場合には、画像処理装置１は、特徴点の位置に関する位置情報に基づいてアクションユニットを検出し、検出したアクションユニットの種類の組み合わせに基づいて人物１００の表情（つまり、感情）を推定してもよい。

このように、画像処理装置１は、顔画像１０１に写り込んだ人物１００の顔に発生しているアクションユニット、顔画像１０１に写り込んだ人物１００の感情及び顔画像１０１に写り込んだ人物１００の体調のうちの少なくとも一つを特定してもよい。この場合、情報処理システムＳＹＳは、例えば、以下に説明する用途で用いられてもよい。例えば、情報処理システムＳＹＳは、特定された感情及び体調の少なくとも一方に合わせた商品及びサービスの広告を人物１００に対して提供してもよい。一例として、情報処理システムＳＹＳは、人物１００が疲れていることがアクション検出動作によって判明した場合には、疲れた人物１００が欲する商品（例えば、栄養ドリンク）の広告を人物１００に対して提供してもよい。例えば、情報処理システムＳＹＳは、特定された感情及び体調に基づいて、人物１００のＱＯＬ（Ｑｕｏｌｉｔｙ ｏｆ Ｌｉｆｅ）を向上させるためのサービスを人物１００に対して提供してもよい。一例として、情報処理システムＳＹＳは、人物１００が認知症を患う兆候があることがアクション検出動作によって判明した場合には、認知症の発症又は進行を遅らせるためのサービス（例えば、脳を活性化させるためのサービス）を人物１００に対して提供してもよい。

（６）付記
上記の実施形態の一部又は全部は、以下の付記のようにも記載される。但し、上記の実施形態が以下の付記に限定されることはない。
［付記１］
データ蓄積収集装置と、データ生成装置とを備える情報処理システムであって、
前記データ蓄積装置は、
人物の顔が写り込んだ顔画像に基づいて、前記人物の前記顔の特徴点を第１特徴点として検出する検出手段と、
前記顔画像に写り込んでいる前記人物の前記顔を構成する複数の顔パーツのうちの少なくとも一つの動きに関するアクションユニット、前記顔画像に写り込んでいる前記人物の感情及び前記顔画像に写り込んでいる前記人物の体調の少なくとも一つを含む前記人物の状態を示す状態情報を取得する取得手段と、
前記状態情報が関連付け付けられており、且つ、前記複数の顔パーツの夫々の単位で分類されている前記第１特徴点を複数含む特徴点データベースを生成するデータベース生成手段と
を備え、
前記データ生成装置は、
前記特徴点データベースから、前記状態が所望状態にあることを示す前記状態情報が関連付けられた少なくとも一つの第１特徴点を、前記複数の顔パーツの夫々毎に第２特徴点として選択する選択手段と、
前記選択手段が選択した前記複数の顔パーツに夫々対応する複数の前記第２特徴点を組み合わせることで、仮想的な人物の顔の特徴を前記複数の第２特徴点を用いて表す顔データを生成する顔データ生成手段と
を備える情報処理システム。
［付記２］
前記顔画像に基づいて、前記人物の属性を特定する特定手段を更に備え、
前記データベース生成手段は、前記状態情報及び前記特定手段が特定した前記属性に関する属性情報が関連付け付けられている前記第１特徴点を複数含む前記特徴点データベースを生成する
付記１に記載の情報処理システム。
［付記３］
前記属性は、前記属性の変化が、前記顔画像に写り込んだ前記複数の顔パーツのうちの少なくとも一つの位置、形状及び輪郭の少なくとも一方の変化につながるという性質を有する属性を含む
付記２に記載の情報処理システム。
［付記４］
前記属性は、前記顔の向きを含む
付記２又は３に記載の情報処理システム。
［付記５］
前記属性は、前記顔のアスペクト比、性別及び人種のうちの少なくとも一つを含む
付記２から４のいずれか一項に記載の情報処理システム。
［付記６］
前記選択手段は、前記特徴点データベースから、前記状態が前記所望状態にあることを示す前記状態情報及び前記属性が所望属性であることを示す前記属性情報が関連付けられた少なくとも一つの第１特徴点を、前記複数の顔パーツの夫々毎に前記第２特徴点として選択する
付記２から５のいずれか一項に記載の情報処理システム。
［付記７］
前記特定手段は、前記顔画像に基づいて、前記属性として、第１の種類の属性と、前記第１の種類の属性とは異なる第２の種類の属性とを特定し、
前記データベース生成手段は、前記状態情報及び前記特定手段が特定した前記第１及び第２の種類の属性に関する前記属性情報が関連付け付けられている第１特徴点を複数含む前記特徴点データベースを生成する
付記２から６のいずれか一項に記載の情報処理システム。
［付記８］
前記人物は、前記第１人物であり、前記顔画像は、第１顔画像であり、前記検出手段は、第１検出手段であり、
前記情報処理システムは、画像処理装置を更に備え、
前記画像処理装置は、
第２人物の顔が写り込んだ第２顔画像に基づいて、前記第２人物の前記顔の特徴点を第３特徴点として検出する第２検出手段と、
前記顔データを用いて学習された学習モデルと前記第３特徴点とに基づいて、前記第２顔画像に写り込んでいる前記第２人物の前記顔を構成する複数の顔パーツのうちの少なくとも一つの動きに関するアクションユニット、前記第２顔画像に写り込んでいる前記第２人物の感情及び前記第２顔画像に写り込んでいる前記第２人物の体調の少なくとも一つを特定する特定手段と
を備える
付記１から７のいずれか一項に記載の情報処理システム。
［付記９］
人物の顔が写り込んだ顔画像に基づいて、前記人物の前記顔の特徴点を第１特徴点として検出する検出手段と、
前記顔画像に写り込んでいる前記人物の前記顔を構成する複数の顔パーツのうちの少なくとも一つの動きに関するアクションユニット、前記顔画像に写り込んでいる前記人物の感情及び前記顔画像に写り込んでいる前記人物の体調の少なくとも一つを含む前記人物の状態を示す状態情報を取得する取得手段と、
前記状態情報が関連付け付けられており、且つ、前記複数の顔パーツの夫々の単位で分類されている前記第１特徴点を複数含む特徴点データベースを生成するデータベース生成手段と
を備えるデータ蓄積装置。
［付記１０］
（ｉ）人物の顔の特徴点である第１特徴点を複数含み、（ｉｉ）前記複数の第１特徴点の夫々に、前記人物の前記顔を構成する複数の顔パーツのうちの少なくとも一つの動きに関するアクションユニット、前記人物の感情及び前記人物の体調の少なくとも一つを含む前記人物の状態を示す状態情報が関連付けられており、且つ、（ｉｉｉ）前記複数の第１特徴点が、前記複数の顔パーツの夫々の単位で分類されている特徴点データベースから、前記状態が所望状態にあることを示す前記状態情報が関連付けられた少なくとも一つの第１特徴点を、前記複数の顔パーツの夫々毎に第２特徴点として選択する選択手段と、
前記選択手段が選択した前記複数の顔パーツに夫々対応する複数の前記第２特徴点を組み合わせることで、仮想的な人物の顔の特徴を前記複数の第２特徴点を用いて表す顔データを生成する顔データ生成手段と
を備えるデータ生成装置。
［付記１１］
人物の顔が写り込んだ顔画像に基づいて、前記人物の前記顔の特徴点を第１特徴点として検出することと、
前記顔画像に写り込んでいる前記人物の前記顔を構成する複数の顔パーツのうちの少なくとも一つの動きに関するアクションユニット、前記顔画像に写り込んでいる前記人物の感情及び前記顔画像に写り込んでいる前記人物の体調の少なくとも一つを含む前記人物の状態を示す状態情報を取得することと、
前記状態情報が関連付け付けられており、且つ、前記複数の顔パーツの夫々の単位で分類されている前記第１特徴点を複数含む特徴点データベースを生成することと、
前記特徴点データベースから、前記状態が所望状態にあることを示す前記状態情報が関連付けられた少なくとも一つの第１特徴点を、前記複数の顔パーツの夫々毎に第２特徴点として選択することと、
前記選択された前記複数の顔パーツに夫々対応する複数の前記第２特徴点を組み合わせることで、仮想的な人物の顔の特徴を前記複数の第２特徴点を用いて表す顔データを生成することと
を含む情報処理方法。
［付記１２］
人物の顔が写り込んだ顔画像に基づいて、前記人物の前記顔の特徴点を第１特徴点として検出することと、
前記顔画像に写り込んでいる前記人物の前記顔を構成する複数の顔パーツのうちの少なくとも一つの動きに関するアクションユニット、前記顔画像に写り込んでいる前記人物の感情及び前記顔画像に写り込んでいる前記人物の体調の少なくとも一つを含む前記人物の状態を示す状態情報を取得することと、
前記状態情報が関連付け付けられており、且つ、前記複数の顔パーツの夫々の単位で分類されている前記第１特徴点を複数含む特徴点データベースを生成することと
を含むデータ蓄積方法。
［付記１３］
（ｉ）人物の顔の特徴点である第１特徴点を複数含み、（ｉｉ）前記複数の第１特徴点の夫々に、前記人物の前記顔を構成する複数の顔パーツのうちの少なくとも一つの動きに関するアクションユニット、前記人物の感情及び前記人物の体調の少なくとも一つを含む前記人物の状態を示す状態情報が関連付けられており、且つ、（ｉｉｉ）前記複数の第１特徴点が、前記複数の顔パーツの夫々の単位で分類されている特徴点データベースから、前記状態が所望状態にあることを示す前記状態情報が関連付けられた少なくとも一つの第１特徴点を、前記複数の顔パーツの夫々毎に第２特徴点として選択することと、
前記選択手段が選択した前記複数の顔パーツに夫々対応する複数の前記第２特徴点を組み合わせることで、仮想的な人物の顔の特徴を前記複数の第２特徴点を用いて表す顔データを生成することと
を含むデータ生成方法。
［付記１４］
コンピュータに情報処理方法を実行させるコンピュータプログラムが記録された記録媒体であって、
前記情報処理方法は、
人物の顔が写り込んだ顔画像に基づいて、前記人物の前記顔の特徴点を第１特徴点として検出することと、
前記顔画像に写り込んでいる前記人物の前記顔を構成する複数の顔パーツのうちの少なくとも一つの動きに関するアクションユニット、前記顔画像に写り込んでいる前記人物の感情及び前記顔画像に写り込んでいる前記人物の体調の少なくとも一つを含む前記人物の状態を示す状態情報を取得することと、
前記状態情報が関連付け付けられており、且つ、前記複数の顔パーツの夫々の単位で分類されている前記第１特徴点を複数含む特徴点データベースを生成することと、
前記特徴点データベースから、前記状態が所望状態にあることを示す前記状態情報が関連付けられた少なくとも一つの第１特徴点を、前記複数の顔パーツの夫々毎に第２特徴点として選択することと、
前記選択された前記複数の顔パーツに夫々対応する複数の前記第２特徴点を組み合わせることで、仮想的な人物の顔の特徴を前記複数の第２特徴点を用いて表す顔データを生成することと
を含む記録媒体。
［付記１５］
コンピュータにデータ蓄積方法を実行させるコンピュータプログラムが記録された記録媒体であって、
前記データ蓄積方法は、
人物の顔が写り込んだ顔画像に基づいて、前記人物の前記顔の特徴点を第１特徴点として検出することと、
前記顔画像に写り込んでいる前記人物の前記顔を構成する複数の顔パーツのうちの少なくとも一つの動きに関するアクションユニット、前記顔画像に写り込んでいる前記人物の感情及び前記顔画像に写り込んでいる前記人物の体調の少なくとも一つを含む前記人物の状態を示す状態情報を取得することと、
前記状態情報が関連付け付けられており、且つ、前記複数の顔パーツの夫々の単位で分類されている前記第１特徴点を複数含む特徴点データベースを生成することと
を含む記録媒体。
［付記１６］
コンピュータにデータ生成方法を実行させるコンピュータプログラムが記録された記録媒体であって、
前記データ生成方法は、
（ｉ）人物の顔の特徴点である第１特徴点を複数含み、（ｉｉ）前記複数の第１特徴点の夫々に、前記人物の前記顔を構成する複数の顔パーツのうちの少なくとも一つの動きに関するアクションユニット、前記人物の感情及び前記人物の体調の少なくとも一つを含む前記人物の状態を示す状態情報が関連付けられており、且つ、（ｉｉｉ）前記複数の第１特徴点が、前記複数の顔パーツの夫々の単位で分類されている特徴点データベースから、前記状態が所望状態にあることを示す前記状態情報が関連付けられた少なくとも一つの第１特徴点を、前記複数の顔パーツの夫々毎に第２特徴点として選択することと、
前記選択手段が選択した前記複数の顔パーツに夫々対応する複数の前記第２特徴点を組み合わせることで、仮想的な人物の顔の特徴を前記複数の第２特徴点を用いて表す顔データを生成することと
を含む記録媒体。
［付記１７］
夫々が人物の顔の特徴点である複数の第１特徴点に関するデータを格納可能な第１データフィールドと、
前記人物の前記顔を構成する複数の顔パーツのうちの少なくとも一つの動きに関するアクションユニット、前記人物の感情及び前記人物の体調の少なくとも一つを含む人物状態を示す状態情報を格納可能な第２データフィールドと
を含み、
前記複数の第１特徴点の夫々に、前記状態情報が関連付けられており、且つ、前記複数の第１特徴点が、前記複数の顔パーツの夫々の単位で分類されている
データベース。

この開示は、請求の範囲及び明細書全体から読み取るこのできる発明の要旨又は思想に反しない範囲で適宜変更可能であり、そのような変更を伴う情報処理システム、データ蓄積装置、データ生成装置、画像処理装置、情報処理方法、データ蓄積方法、データ生成方法、画像処理方法、記録媒体及びデータベースもまたこの開示の技術思想に含まれる。

ＳＹＳ 情報処理システム
１ 画像処理装置
１１ カメラ
１２ 演算装置
１２１ 特徴点検出部
１２２ 顔向き算出部
１２３ 位置補正部
１２４ アクション検出部
２ データ生成装置
２１ 演算装置
２１１ 特徴点選択部
２１２ 顔データ生成部
２２ 記憶装置
２２０ 学習データセット
２２１ 顔データ
３ データ蓄積装置
３１ 演算装置
３１１ 特徴点検出部
３１２ 状態・属性特定部
３１３ データベース生成部
３２ 記憶装置
３２０ 特徴点データベース
１００、３００ 人物
１０１、３０１ 顔画像
θ、θ＿ｐａｎ、θ＿ｔｉｌｔ 顔向き角度

Claims (10)

1. データ蓄積装置と、データ生成装置とを備える情報処理システムであって、
   前記データ蓄積装置は、
   人物の顔が写り込んだ顔画像に基づいて、前記人物の前記顔の特徴点を第１特徴点として検出する検出手段と、
   前記顔画像に写り込んでいる前記人物の前記顔を構成する複数の顔パーツのうちの少なくとも一つの動きに関するアクションユニット、前記顔画像に写り込んでいる前記人物の感情及び前記顔画像に写り込んでいる前記人物の体調の少なくとも一つを含む前記人物の状態を示す状態情報を取得する取得手段と、
   前記状態情報が関連付け付けられており、且つ、前記複数の顔パーツの夫々の単位で分類されている前記第１特徴点を複数含む特徴点データベースを生成するデータベース生成手段と
   を備え、
   前記データ生成装置は、
   前記特徴点データベースから、前記状態が所望状態にあることを示す前記状態情報が関連付けられた少なくとも一つの第１特徴点を、前記複数の顔パーツの夫々毎に第２特徴点として選択する選択手段と、
   前記選択手段が選択した前記複数の顔パーツに夫々対応する複数の前記第２特徴点を組み合わせることで、仮想的な人物の顔の特徴を前記複数の前記第２特徴点を用いて表す顔データを生成する顔データ生成手段と
   を備える情報処理システム。
2. 前記顔画像に基づいて、前記人物の属性を特定する特定手段を更に備え、
   前記データベース生成手段は、前記状態情報及び前記特定手段が特定した前記属性に関する属性情報が関連付け付けられている前記第１特徴点を複数含む前記特徴点データベースを生成する
   請求項１に記載の情報処理システム。
3. 前記属性は、前記属性の変化が、前記顔画像に写り込んだ前記複数の顔パーツのうちの少なくとも一つの位置、形状及び輪郭の少なくとも一方の変化につながるという性質を有する属性を含む
   請求項２に記載の情報処理システム。
4. 前記属性は、前記顔の向きを含む
   請求項２又は３に記載の情報処理システム。
5. 前記属性は、前記顔のアスペクト比、性別及び人種のうちの少なくとも一つを含む
   請求項２から４のいずれか一項に記載の情報処理システム。
6. 前記選択手段は、前記特徴点データベースから、前記状態が前記所望状態にあることを示す前記状態情報及び前記属性が所望属性であることを示す前記属性情報が関連付けられた少なくとも一つの第１特徴点を、前記複数の顔パーツの夫々毎に前記第２特徴点として選択する
   請求項２から５のいずれか一項に記載の情報処理システム。
7. 人物の顔が写り込んだ顔画像に基づいて、前記人物の前記顔の特徴点を第１特徴点として検出する検出手段と、
   前記顔画像に写り込んでいる前記人物の前記顔を構成する複数の顔パーツのうちの少なくとも一つの動きに関するアクションユニット、前記顔画像に写り込んでいる前記人物の感情及び前記顔画像に写り込んでいる前記人物の体調の少なくとも一つを含む前記人物の状態を示す状態情報を取得する取得手段と、
   前記顔画像に基づいて、前記人物の属性を特定する特定手段と、
   前記状態情報及び前記特定手段が特定した前記属性に関する属性情報が関連付け付けられており、且つ、前記複数の顔パーツの夫々の単位で分類されている前記第１特徴点を複数含む特徴点データベースを生成するデータベース生成手段と
   を備えるデータ蓄積装置。
8. （ｉ）人物の顔の特徴点である第１特徴点を複数含み、（ｉｉ）前記複数の前記第１特徴点の夫々に、前記人物の前記顔を構成する複数の顔パーツのうちの少なくとも一つの動きに関するアクションユニット、前記人物の感情及び前記人物の体調の少なくとも一つを含む前記人物の状態を示す状態情報が関連付けられており、且つ、（ｉｉｉ）前記複数の前記第１特徴点が、前記複数の顔パーツの夫々の単位で分類されている特徴点データベースから、前記状態が所望状態にあることを示す前記状態情報が関連付けられた少なくとも一つの第１特徴点を、前記複数の顔パーツの夫々毎に第２特徴点として選択する選択手段と、
   前記選択手段が選択した前記複数の顔パーツに夫々対応する複数の前記第２特徴点を組み合わせることで、仮想的な人物の顔の特徴を前記複数の前記第２特徴点を用いて表す顔データを生成する顔データ生成手段と
   を備えるデータ生成装置。
9. コンピュータが実行する情報処理方法であって、
   人物の顔が写り込んだ顔画像に基づいて、前記人物の前記顔の特徴点を第１特徴点として検出することと、
   前記顔画像に写り込んでいる前記人物の前記顔を構成する複数の顔パーツのうちの少なくとも一つの動きに関するアクションユニット、前記顔画像に写り込んでいる前記人物の感情及び前記顔画像に写り込んでいる前記人物の体調の少なくとも一つを含む前記人物の状態を示す状態情報を取得することと、
   前記状態情報が関連付け付けられており、且つ、前記複数の顔パーツの夫々の単位で分類されている前記第１特徴点を複数含む特徴点データベースを生成することと、
   前記特徴点データベースから、前記状態が所望状態にあることを示す前記状態情報が関連付けられた少なくとも一つの第１特徴点を、前記複数の顔パーツの夫々毎に第２特徴点として選択することと、
   前記選択された前記複数の顔パーツに夫々対応する複数の前記第２特徴点を組み合わせることで、仮想的な人物の顔の特徴を前記複数の前記第２特徴点を用いて表す顔データを生成することと
   を含む情報処理方法。
10. コンピュータに情報処理方法を実行させるコンピュータプログラムであって、
    前記情報処理方法は、
    人物の顔が写り込んだ顔画像に基づいて、前記人物の前記顔の特徴点を第１特徴点として検出することと、
    前記顔画像に写り込んでいる前記人物の前記顔を構成する複数の顔パーツのうちの少なくとも一つの動きに関するアクションユニット、前記顔画像に写り込んでいる前記人物の感情及び前記顔画像に写り込んでいる前記人物の体調の少なくとも一つを含む前記人物の状態を示す状態情報を取得することと、
    前記状態情報が関連付け付けられており、且つ、前記複数の顔パーツの夫々の単位で分類されている前記第１特徴点を複数含む特徴点データベースを生成することと、
    前記特徴点データベースから、前記状態が所望状態にあることを示す前記状態情報が関連付けられた少なくとも一つの第１特徴点を、前記複数の顔パーツの夫々毎に第２特徴点として選択することと、
    前記選択された前記複数の顔パーツに夫々対応する複数の前記第２特徴点を組み合わせることで、仮想的な人物の顔の特徴を前記複数の前記第２特徴点を用いて表す顔データを生成することと
    を含むコンピュータプログラム。

Images