JP6046501B2 - 特徴点出力装置、特徴点出力プログラム、特徴点出力方法、検索装置、検索プログラムおよび検索方法 - Google Patents

Description

本発明は、人物の顔部を含む入力画像データから、当該人物の特徴点を抽出する特徴点出力装置、特徴点出力プログラム、抽出された特徴点を用いてデータを検索する検索装置および検索プログラムに関する。

一般的に、デジタルカメラやコンピュータなどの発達に伴い、人物を撮影した写真などの画像データから、その人物を特定する技術が普及している。この画像データから抽出される人物の特徴点を、特定対象の人物の顔画像データから予め抽出された特徴点とを比較することにより、同一人物であるか否かが判定される。

また、人物画像から顔領域を抽出し、三次元データを生成する手法も知られている（例えば、特許文献１参照。）。

特開２０１２−１８５６２４号公報

しかしながら、一般的な人物特定技術は、人物を正面から撮影するなどにより、多くの特徴点を抽出できた場合の顔画像を前提としている。従って、人物を正面以外の向きから撮影した顔画像や、喜怒哀楽の表情などのある顔画像などについて、判定に十分な特徴点を抽出することができず、精度が低くなってしまう問題点がある。

これに対応するために、特定対象の人物について、予め様々な向きや表情で撮影した多くの画像を用意し、これらの画像から特徴点を抽出する方法がある。しかしながら、特定対象の人物ごとに、多くの画像を用意する必要があり、非効率となってしまう問題がある。

従って本発明の目的は、精度の高い特徴点を効率的に出力する特徴点出力装置、特徴点出力プログラム、特徴点出力方法、抽出された特徴点を用いてデータを検索する検索装置、検索プログラムおよび検索方法を提供することである。

上記課題を解決するために、本発明の第１の特徴は、人物の顔部を含む入力画像データから、当該人物の特徴点を抽出する特徴点出力装置に関する。即ち本発明の第１の特徴に係る特徴点出力装置は、入力画像データの顔部を正規化した正規化顔画像データを、三次元顔モデルに投影し、所定の向きに合わせた三次元顔モデルを投影変換した投影顔画像データを生成する三次元マッピング手段と、投影顔画像データから、特徴点を抽出する特徴点抽出手段を備える。

三次元マッピング手段は、正規化顔画像データの顔の向きに合わせた三次元顔モデルに、正規化顔画像データを投影した後、当該三次元顔モデルを所定の向きに合わせても良い。

正規化顔画像データは、表情、年齢および向きのうち少なくともいずれかについて、三次元顔モデルと一致するように、入力画像データの顔部を変換したデータであっても良い。

三次元マッピング手段は、向きを変更して、複数の投影顔画像データを生成し、特徴点抽出手段は、複数の投影顔画像データのそれぞれから、特徴点を抽出しても良い。

本発明の第２の特徴は、人物の顔部を含む入力画像データから、当該人物の特徴点を抽出する特徴点出力プログラムに関する。即ち本発明の第２の特徴に係る特徴点出力プログラムは、コンピュータを、入力画像データの顔部を正規化した正規化顔画像データを三次元顔モデルに投影し、所定の向きに合わせた三次元顔モデルを投影変換した投影顔画像データを生成する三次元マッピング手段と、投影顔画像データから、特徴点を抽出する特徴点抽出手段として機能させる。

本発明の第３の特徴は、人物の顔部を含む入力画像データから、当該人物の特徴点を抽出する特徴点出力方法に関する。即ち第３の特徴に係る特徴点出力方法は、入力画像データの顔部を正規化した正規化顔画像データを三次元顔モデルに投影し、所定の向きに合わせた三次元顔モデルを投影変換した投影顔画像データを生成するステップと、投影顔画像データから、特徴点を抽出するステップを備える。

本発明の第４の特徴は、複数の画像データを含む画像データベースから、対象ユーザの画像データを検索する検索装置に関する。即ち本発明の第３の特徴に係る検索装置は、入力画像データの対象ユーザの顔部を正規化して三次元顔モデルに投影し、所定の向きに合わせた三次元顔モデルを投影変換した投影顔画像データから、対象ユーザの特徴点を抽出するユーザ特徴点登録手段と、画像データベースから、対象ユーザの特徴点に基づいて、対象ユーザの顔部を含む画像データを検索する検索手段を備える。

画像データベースの複数の画像データから、特徴点に基づいて対象ユーザの顔部を含む画像データを抽出し、対象ユーザの識別子と、抽出した画像データの識別子とを対応付けた画像人物対応データを記憶する画像人物対応付け手段をさらに備え、検索手段は、画像データベースから、画像人物対応データにおいて対象ユーザの識別子に対応する画像データを検索しても良い。

本発明の第５の特徴は、複数の画像データを含む画像データベースから、対象ユーザの画像データを検索する検索プログラムに関する。即ち本発明の第４の特徴に係る検索プログラムは、コンピュータを、入力画像データの対象ユーザの顔部を正規化して三次元顔モデルに投影し、所定の向きに合わせた三次元顔モデルを投影変換した投影顔画像データから、対象ユーザの特徴点を抽出するユーザ特徴点登録手段と、画像データベースから、対象ユーザの特徴点に基づいて、対象ユーザの顔部を含む画像データを検索する検索手段として機能させる。

本発明の第６の特徴は、複数の画像データを含む画像データベースから、対象ユーザの画像データを検索する検索方法に関する。即ち本発明の第６の特徴に係る検索方法は、入力画像データの対象ユーザの顔部を正規化して三次元顔モデルに投影し、所定の向きに合わせた三次元顔モデルを投影変換した投影顔画像データから、対象ユーザの特徴点を抽出するステップと、画像データベースから、対象ユーザの特徴点に基づいて、対象ユーザの顔部を含む画像データを検索するステップを備える。

本発明によれば、精度の高い特徴点を効率的に出力する特徴点出力装置、特徴点出力プログラム、特徴点出力方法、抽出された特徴点を用いてデータを検索する検索装置、検索プログラムおよび検索方法を提供することができる。

本発明の実施の形態に係る特徴点出力装置のハードウェア構成および機能ブロックを説明する図である。 本発明の実施の形態に係る特徴点データのデータ構造の一例を説明する図である。 本発明の実施の形態に係る特徴点出力装置の処理を説明するフローチャートである。 本発明の実施の形態に係る検索システムのシステム構成と、検索装置のハードウェア構成および機能ブロックを説明する図である。 本発明の実施の形態に係る画像人物対応データのデータ構造とデータの一例を説明する図である。 本発明の実施の形態に係る検索システムにおいて、ユーザの特徴点を登録する処理を説明する図である。 本発明の実施の形態に係る検索システムにおいて、ユーザの識別子から、このユーザの顔部を含む画像データを検索する処理を説明する図である。 本発明の実施の形態に係る検索システムにおいて、クエリ画像データから、このクエリ画像データのユーザの顔部を含む画像データを検索する処理を説明する図である。

次に、図面を参照して、本発明の実施の形態を説明する。以下の図面の記載において、同一または類似の部分には同一または類似の符号を付している。

（実施の形態）
図１に示す本発明の実施の形態に係る特徴点出力装置１は、人物の顔部を含む入力画像データ２１から、この人物の特徴点を抽出する。ここで、「特徴点」とは、人物の顔の特徴を決定するためのデータであって、例えば、顔のパーツの相対位置、目の内側の端と外側の端の相対位置などのデータである。特徴点データ２５が保持する特徴点の種別は、特徴点データ２５を利用するシステムに依存し、本発明の実施の形態においては問わない。

特徴点出力装置１は、例えば、人物の特徴点の登録において用いられる。登録用の入力画像データ２１が入力されると、特徴点出力装置１はこの入力画像データ２１に基づいて、人物が様々な向きに向いた画像データを生成し、それぞれの画像データから抽出した複数の特徴点を出力する。特徴点出力装置１が出力した特徴点は、認証システムや検索システムなどにおいて参照される。例えば、認証システムは、認証対象ユーザの顔部の特徴点が、予め登録された特徴点と一致するか否かを検証する。検索システムは、検索対象ユーザの予め登録された顔部の特徴点に基づいて、複数の画像データから、検索対象ユーザを撮影した画像データを抽出する。

図１を参照して、本発明の実施の形態に係る特徴点出力装置１を説明する。

特徴点出力装置１は、中央処理制御装置１０、記憶装置２０および入出力制御装置３０を備える一般的なコンピュータである。特徴点出力装置１は、所定の処理を実行するための特徴点出力プログラムを読み込み実行することにより、図１に示す各手段として機能する。

入出力制御装置２０は、操作者が入力装置を操作して入力した指示を、中央処理制御装置１０に入力するとともに、中央処理制御装置１０の処理結果を表示装置に出力して、操作者に認識させる。入出力制御装置３０は、ＬＡＮ、インターネットなどの通信ネットワークで接続する情報端末を操作者が操作することにより、操作者の指示を入力し、処理結果を出力しても良い。

記憶装置２０は、入力画像データ２１、顔画像データ２２、正規化顔画像データ２４、複数の投影顔画像データ２４ａ、２４ｂ…および特徴点データ２５を記憶する。本発明の実施の形態において、複数の投影顔画像データ２４ａ、２４ｂ…を特に区別しない場合、単に投影顔画像データ２４を記載する場合がある。

入力画像データ２１は、対象ユーザなどの人物の顔部を含む画像データである。入力画像データ２１には、特徴点出力装置１が特徴点を出力する対象ユーザの顔部が撮影されている。入力画像データ２１は、操作者の指示などにより、入出力制御装置３０を介して、予め記憶装置２０に記憶される。

入力画像データ２１において、対象ユーザの顔部が撮影されていれば良く、表情や向き、顔部の大小は問わない。後述する三次元マッピング手段１３が出力する投影顔画像データから抽出する特徴点が、認証システムや検索システムなどで要求される精度を満たすことができれば良く、入力画像データ２１に、顔の全てが含まれていなくとも良い。

顔画像データ２２は、入力画像データ２１から抽出した顔部のデータである。顔画像データ２２は、顔画像抽出手段１１により生成され記憶される。

正規化顔画像データ２４は、顔画像データ２２を正規化したデータである。正規化顔画像データ２４は、正規化手段１２により生成され記憶される。

投影顔画像データ２４は、正規化顔画像データ２４を三次元顔モデルにマッピングし、この三次元顔モデルを二次元に投影変換したデータである。投影顔画像データ２４は、三次元マッピング手段１３により生成され記憶される。三次元マッピング手段１３が、三次元顔モデルの向きを変更する場合、向きを変更する度に、複数の投影顔画像データ２４ａ、２４ｂ、…を生成する。

特徴点データ２５は、投影顔画像データ２４から抽出した特徴点を含むデータである。ここで、一つの投影顔画像データ２４から複数の特徴点を抽出しても良く、一つの投影顔画像データ２４から抽出した複数の特徴点を「特徴点セット」と称する。複数の投影顔画像データ２４ａ、２４ｂ、…からそれぞれ特徴点セットを抽出した場合、特徴点データ２５は、一つの投影顔画像データ２４に対応して一つの特徴点セットを有する。

例えば、任意のユーザＡの顔画像に基づいて、三次元顔モデルを３つの向きに変更することにより、３つの投影顔画像データ２４が生成され、各投影顔画像データ２４から複数の特徴点が抽出された場合を想定する。この３つの向きは、顔の正面、上α１度かつ右β１度および上α２度かつ右β２度である。この場合、特徴点データ２５は、図２に示すように３つの特徴点セットを有する。図２に示す例では、一つの特徴点セットは、ｎ個の特徴点を含む。認証システムや検索システムなどは、特徴点セットの各特徴点に基づいて、処理する。

中央処理制御装置１０は、顔画像抽出手段１１、正規化手段１２、三次元マッピング手段１３および特徴点抽出手段１４を備える。顔画像抽出手段１１、正規化手段１２、三次元マッピング手段１３および特徴点抽出手段１４を、特徴点出力手段１１３と称する場合もある。

顔画像抽出手段１１は、入力画像データ２１から、対象ユーザの顔部を切り取り、顔画像データ２２を生成する。

正規化手段１２は、顔画像データ２２を正規化し、正規化顔画像データ２４を生成する。ここで正規化とは、表情、年齢および向きのうち少なくともいずれかについて、前記三次元顔モデルと一致するように、顔画像データ２２を変換することである。三次元顔モデルが無表情の場合、正規化手段１２は、顔画像データ２２を無表情に変換する。

正規化手段１２による正規化処理は、既存の技術に基づいて実現される。ここで、正規化手段１２が、無表情の正規化顔画像データ２４を生成する場合を説明する。

正規化手段１２はまず、顔画像データ２２における対象ユーザの表情を推定する。正規化手段１２は、表情を推定する技術として、例えば、「ポテンシャルネットを用いた顔領域の推定と表情認識」（別所 弘章，岩井 儀雄，谷内田 正彦，電子情報通信学会技術研究報告（ＰＰＭＵ），Ｖｏｌ．９９（４４９），ｐｐ．４３−４８，１９９９−１１−１９）を用いることができる。正規化手段１２はこの技術により、表情データベースを参照して、顔画像データ２２の顔部から抽出した顔器官情報に基づいて表情を推定する。

次に、正規化手段１２は、表情データベースを参照して、推定された表情から無表情に変換するための、各顔器官の位置のずれを算出し、モーフィング処理によって、無表情の顔画像である正規化顔画像データ２４を生成する。正規化手段１２は、モーフィング技術として、例えば、「顔画像からの筋肉パラメータの推定とそれに基づく他人の表情生成」（ＡＨＮ Ｓｅｏｎｊｕ，小沢 愼治，電子情報通信学会論文誌，Ｖｏｌ．Ｊ８８−Ｄ−ＩＩ（１０），ｐｐ．２０８１−２０８９，２００５−１０−０１）を用いることができる。正規化手段１２はこの技術により、表情のある顔から無表情の顔への顔器官の変異を事前に学習し、表情のある顔画像データ２２から、無表情の正規化顔画像データ２４を生成する。

以上説明したように、正規化手段１２が、正規化により無表情の正規化顔画像データ２４を生成する場合を説明したが、年齢や顔の向きも正規化しても良い。例えば、三次元マッピング手段１３において、所定の年齢に対応する三次元顔モデルを使って処理する場合、正規化手段１２は、顔画像データ２２を、三次元顔モデルの年齢にあうように変換して正規化顔画像データ２４を生成することが好ましい。この場合、正規化手段１２は、三次元顔モデルの年齢に一致するように、顔画像データ２２を変化させて、正規化顔画像データ２４を生成する。正規化手段１２は、年齢に応じた顔画像の生成技術として、例えば、「統計情報を用いた年齢変化顔画像の生成」（磯野 勝宣，橋本 隆之，堀 雅和，電子情報通信学会論文誌，Ｖｏｌ．４５，ｐｐ．１０−１４，２００４−０６−１５）を用いることができる。正規化手段１２は、この技術で開示された年齢変化に伴う顔器官の位置のデータベースに基づいて、顔画像データ２２から、所定の年齢に対応する正規化顔画像データ２４を生成する。

また正規化手段１２は、顔画像データ２２を正面の画像に変換して正規化顔画像データ２４を生成しても良い。さらに正規化手段１２は、表情および年齢を正規化するなど、表情、年齢および向きなどを任意に組み合わせて、正規化しても良い。

三次元マッピング手段１３は、正規化顔画像データ２４と表情、年齢などが一致するこの三次元顔モデルのデータを用いて、複数の投影顔画像データ２４を生成する。例えば、三次元マッピング手段１３は、年齢別の三次元顔モデルを保持している場合、正規化顔画像データ２４におけるユーザの年齢に対応する三次元顔モデルを用いることが好ましい。

三次元マッピング手段１３は、まず、正規化顔画像データ２４の顔の向きに合わせた三次元顔モデルに、正規化顔画像データ２４を投影する。その後三次元マッピング手段１３は、所定の向きに合わせた三次元顔モデルを投影変換した投影顔画像データ２４を生成する。三次元マッピング手段１３は、三次元顔モデルの向きを変更して、複数の投影顔画像データ２４ａ、２４ｂ…を生成する。

ここで三次元マッピング手段１３は、テクスチャマッピングを用いて、二次元の正規化顔画像データ２４を、三次元顔モデルにマッピングする。これにより、任意の方向から三次元顔モデル上に二次元の絵を投射した時の絵の見え方を再現することが可能となる。

三次元マッピング手段１３は、まず、正規化顔画像データ２４における対象ユーザの顔の向きを推定する。三次元マッピング手段１３は、対象ユーザの顔の向きを推定する技術として、「耳と顔の特徴の位置関係に基づく顔画像からの視線方向の推定」（Ｖｏｌ．９７（５９６）， ｐｐ．１１３−１２０， １９９８−０３−１３）を用いることができる。三次元マッピング手段１３は、この技術により、正規化顔画像データ２４における耳や目などの位置関係から、正規化顔画像データ２４中の対象ユーザの顔方向や視線方向を推定する。三次元マッピング手段１３は、三次元顔モデルを推定した顔方向に向かせて、正規化顔画像データ２４のテクスチャを、三次元顔モデルに投影する。

テクスチャマッピングで描画された三次元モデルを用いて、別の向きからの見え方も再現できる。これに基づいて三次元マッピング手段１３は、正規化顔画像データ２４をマッピングした三次元顔モデルを利用して、別の向きで見た場合の三次元顔モデルを生成する。ここで、三次元顔モデルに与える向きは、顔の正面、上±α度、右±β度、上±α度かつ右±β度などである。

さらに三次元マッピング手段１３は、向きの異なる複数の三次元顔モデルを二次元平面に変換して、複数の投影顔画像データ２４を生成する。具体的には三次元マッピング手段１３は、コンピュータグラフィックスの分野における投影変換を行うことにより、三次元顔モデルから、複数の投影顔画像データ２４を生成する。

ここで、複数の三次元顔モデルを生成する際の向きや向きを決定する角度の変化量に関する情報は、特徴点出力装置１が出力する特徴点データ２５を参照するシステムで求められる精度や仕様などに依存する。従って、三次元マッピング手段１３が参照可能な設定ファイルデータなどに、複数の三次元顔モデルを生成する際の向きや、向きを決定する角度の変化量に関する情報が、予め設定される。三次元マッピング手段１３は、設定ファイルデータの設定に従って、三次元顔モデルを、所定の軸を基準に所定角度で回転させることにより、三次元顔モデルの向きを変更して、複数の三次元顔モデルを生成する。

例えば、斜め上１８度を向いた入力画像データ２１から、特徴点を抽出する場合を想定する。三次元マッピング手段１３は、斜め上１８度を向いた入力画像データ２１から得られた正規化顔画像データ２４を、斜め上１８度を向いた三次元顔モデルにテクスチャマッピングする。これにより三次元マッピング手段１３は、対象ユーザが斜め上１８度を向いたことを示す三次元顔モデルのデータを生成する。

三次元マッピング手段１３は、三次元顔モデルの向きを正面に変更して、対象ユーザが正面を向いたことを示す三次元顔モデルのデータを生成する。また三次元マッピング手段１３は、下３０度から上３０度までの１０度刻み、右３０度から左３０度までの１０度刻み、またこれらの角度を組み合わせなどに、三次元顔モデルの向きを変更する。三次元マッピング手段１３は、対象ユーザがそれぞれの向きに向いたことを示す三次元顔モデルのデータを生成し、投影変換により複数の投影顔画像データ２４を生成する。

このように、入力画像データ２１において対象ユーザが斜め上１８度を向いていたとしても、三次元マッピング手段１３により、一つの入力画像データ２１から、対象ユーザの顔が様々な向きに向いた複数の投影顔画像データ２４を、効率的に生成することができる。これにより、様々な顔の向きの顔認証にも対応するので、精度の高い特徴点を効率的に出力することができる。

特徴点抽出手段１４は、投影顔画像データ２４から、特徴点を抽出し、特徴点データ２５を生成する。特徴点抽出手段１４は、投影顔画像データ２４が複数の場合、それぞれの投影顔画像データ２４から特徴点を抽出する。ここで、特徴点抽出手段１４が抽出する特徴点は、特徴点データ２５を参照するシステムが用いる特徴点である。特徴点データ２５は、図２に示すように、投影顔画像データ２４の数、具体的には三次元顔モデルに与えた向きに対応して、複数の特徴点セットを含む。ここで特徴点抽出手段１４は、三次元顔モデルのデータを用いずに、正規化顔画像データ２４から抽出した特徴点セットも、特徴点データ２５に含めても良い。

なお図１に示す例では、三次元マッピング手段１３が、複数の投影顔画像データ２４ａ、２４ｂ、…を生成した後、特徴点抽出手段１４が、それぞれの投影顔画像データ２４ａ、２４ｂ、…について特徴点を抽出する場合を説明したが、これに限られない。例えば、三次元マッピング手段１３が、投影顔画像データ２４を生成する度に、特徴点抽出手段１４が、この投影顔画像データ２４から特徴点を抽出しても良く、処理順序は問わない。

図３を参照して、本発明の実施の形態に係る特徴点出力手段１１３による、特徴点出力処理を説明する。

まずステップＳ１において顔画像抽出手段１１は、記憶装置２０から入力画像データ２１を読み出し、ステップＳ２において、入力画像データ２１から顔画像データ２２を抽出する。顔画像データ２２を抽出できなかったと判定された場合、そのまま処理を終了する。その後ステップＳ３において正規化手段１２は、特徴点出力手段１１３は顔画像データ２２を正規化し、正規化顔画像データ２４を生成する。ステップＳ３において、顔画像データ２２を正規化できなかったと判定された場合、そのまま処理を終了する。

ステップＳ４において三次元マッピング手段１３は、正規化顔画像データ２４の顔方向を推定し、推定した顔方向に合わせた三次元顔モデルに、正規化顔画像データ２４をマッピングする。その後特徴点出力手段１１３は、設定ファイルデータで設定された各向きに基づいて、ステップＳ４でマッピングされた三次元顔モデルについて、ステップＳ５ないしステップＳ８の処理を繰り返す。

まずステップＳ５において、ステップＳ４でマッピングされた三次元顔モデルを、所定の向きに設定する。この所定の向きは、設定ファイルデータで設定された複数の向きの一つである。ステップＳ６において三次元マッピング手段１３は、ステップＳ５において所定の向きに設定された三次元顔モデルのデータから、投影変換により二次元の投影顔画像データ２４を生成する。

ステップＳ７において特徴点抽出手段１４は、ステップＳ６で生成した投影顔画像データ２４から特徴点を抽出し、ステップＳ８においてステップＳ７で抽出した特徴点のデータを特徴点データ２５に保存する。特徴点抽出手段１４は、予め設定ファイルデータにおいて設定された特徴点の種別に対応する特徴点のデータを算出する。ステップＳ７で抽出する特徴点は、図２に示す特徴点データ２５の一つの特徴点セットに対応し、ステップＳ８の処理により、特徴点データ２５に１レコードが追加される。

設定ファイルデータで設定された各向きについて、ステップＳ５ないしステップＳ７の処理が終了すると、特徴点出力手段１１３は、処理を終了する。

図３で示す例では、投影顔画像データ２４を生成する度に特徴点を抽出する処理を説明したが、矛盾が生じない限り、処理の順序は問わない。

このように本発明の実施の形態に係る特徴点出力装置１は、対象ユーザの顔画像データを正規化することにより、表情や年齢などに依存することなく、特徴点を抽出することができる。

また特徴点出力装置１は、正規化した顔画像を三次元顔モデルにマッピングするとともに、所定の向きに設定した三次元顔モデルを投影変換して、対象ユーザが様々な向きを向いた投影顔画像データ２４を生成する。これにより特徴点出力装置１は、１枚の入力画像データ２１から、様々な向きの顔部の特徴点を効率的に抽出することができる。従って、認証システムや検索システムなどにおいて、様々な向きの顔画像に対応することができるので、各システムの精度を向上させることができる。

さらに、入力画像データ２１における対象ユーザの向きに三次元顔モデルを合わせてから、正規化顔画像データ２４を三次元顔モデルにマッピングする。これにより、入力画像データ２１において対象ユーザが正面を向いていなくとも、正面やそのほかの向きを向いた投影顔画像データ２４を生成することができる。

（適用例）
図４を参照して、本発明の実施の形態に係る特徴点出力装置１が出力した特徴点データを、検索システム３００に適用した例を説明する。検索システム３００は、特徴点出力装置１が出力した特徴点に基づいて、予め登録された複数の画像データから、所定のユーザが含まれる画像データを検索したり、画像データに含まれるユーザの氏名を特定したりする。

検索システム３００は、検索装置１００、ユーザ端末２００ａ、２００ｂおよび２００ｃを備える。検索装置１００は、インターネットなどの通信ネットワーク３０１を介して、ユーザ端末２００ａ、２００ｂおよび２００ｃと相互に通信可能に接続される。ユーザ端末２００ａ、２００ｂおよび２００ｃを区別しない場合、単にユーザ端末２００と記載する場合がある。

ユーザ端末２００は、検索システム３００における検索サービスを享受するユーザによって、利用される。ユーザ端末２００は、画像を表示する表示装置、指示を入力する入力装置、通信ネットワーク３０１に接続するための通信制御装置、これらの各装置とデータを送受信し処理するコントローラなどを備える情報処理端末である。ユーザ端末２００は、例えば、パーソナルコンピュータ、携帯電話機、スマートフォンなどである。

検索装置１００は、本発明の実施の形態に係る特徴点出力手段１１３が出力した特徴点に基づいて、複数の画像データを含む画像データベース１２４から、対象ユーザの画像データなどを検索する。検索装置１００は、中央処理制御装置１１０、記憶装置１２０および入出力制御装置１３０を備える一般的なコンピュータである。検索装置１００は、所定の処理を実行するための検索プログラムを読み込み実行することにより、図４に示す各手段として機能する。

記憶装置１２０は、ユーザ画像データ１２１、特徴点データベース１２２、画像人物対応データ１２３および画像データベース１２４を記憶する。画像データベース１２４は、複数の画像データを含む。

中央処理制御装置１１０は、ユーザ画像取得手段１１１、ユーザ特徴点登録手段１１２、画像人物対応付け手段１１４および検索手段１１５を備える。ここで、ユーザ画像取得手段１１１、ユーザ特徴点登録手段１１２および画像人物対応付け手段１１４は、検索に必要な特徴点などの情報を登録するための処理手段である。検索手段１１５は、ユーザ画像取得手段１１１、ユーザ特徴点登録手段１１２および画像人物対応付け手段１１４によって登録された情報に基づいて、画像データなどを検索する。

ユーザ画像取得手段１１１は、ユーザ端末２００が送信したユーザ画像データ１２１を受信し、記憶装置１２０に記憶する。このユーザ画像データ１２１は、特徴点を抽出する対象となる対象ユーザの顔部を含む。ユーザ画像取得手段１１１は、ユーザ画像データ１２１を、対象ユーザの識別子に対応付けて記憶しても良い。

ユーザ特徴点登録手段１１２は、ユーザ画像データ１２１を特徴点出力手段１１３に入力するとともに、特徴点出力手段１１３によって出力された特徴点データを取得する。ユーザ特徴点登録手段１１２は、取得した特徴点データを、対象ユーザの識別子に対応付けて特徴点データベース１２２に記憶する。特徴点出力手段１１３は、図１等を参照して説明した本発明の実施の形態に係る特徴点出力装置１の各手段に相当する。

ユーザ特徴点登録手段１１２は、ユーザ画像データ１２１を特徴点出力手段１１３に入力する。特徴点出力手段１１３は、ユーザ画像データ１２１の対象ユーザの顔部を正規化して三次元顔モデルに投影し、所定の向きに向いた三次元顔モデルを投影変換して、投影顔画像データ２４を生成する。特徴点出力手段１１３は、三次元顔モデルの向きを様々に変化させて、各向きの投影顔画像データ２４を生成する。特徴点出力手段１１３は、複数の投影顔画像データ２４のそれぞれから特徴点を抽出して特徴点セットを生成し、特徴点データ２５を生成する。

ユーザ特徴点登録手段１１２は、対象ユーザの識別子に、一つの投影顔画像データ２４から生成した特徴点セットを対応付けて、特徴点データベース１２２に登録する。ユーザ特徴点登録手段１１２は、特徴点出力手段１１３において生成された投影顔画像データ２４の数に対応したレコードを、特徴点データベース１２２に登録する。

画像人物対応付け手段１１４は、画像データベース１２４に登録された画像データの識別子と、この画像データに含まれるユーザの識別子とを対応付けて、画像人物対応データ１２３を生成する。画像人物対応データ１２３は、図５に示すように、ユーザの識別子と、このユーザの顔部を含む画像データの識別子とを対応付けたデータである。

画像人物対応付け手段１１４は、画像データベース１２４の複数の画像データから、対象ユーザの特徴点データの特徴点に基づいて対象ユーザの顔部を含む画像データを抽出する。ここで、対象ユーザの特徴点データは、様々な向きに対応する特徴点セットを含む。従って、画像データにおいて対象ユーザがどのような向きで撮られていても、画像人物対応付け手段１１４は、対象ユーザの顔部を含む画像データを抽出し、画像人物対応データ１２３を生成することができる。

検索手段１１５は、画像データベース１２４から、対象ユーザの特徴点データの特徴点に基づいて、対象ユーザの顔部を含む画像データを検索する。検索手段１１５による検索処理は、様々な形態が考えられる。検索手段１１５が検索時に参照する特徴点の種別などは、特徴点出力手段１１３が参照可能な設定ファイルデータに記憶される。

例えば、ユーザ端末２００から、対象ユーザの識別子が入力されると、検索手段１１５は、画像データベース１２４から、画像人物対応データ１２３において対象ユーザの識別子に対応する画像データを検索する。検索手段１１５は、対象ユーザの顔部を含む画像データを検索すると、検索した画像データを、ユーザ端末２００に送信する。

また検索手段１１５は、ユーザ端末２００から、ユーザの顔部を含むクエリ画像データが入力されると、このクエリ画像データに含まれるユーザの識別子を出力したり、このユーザの映り込んだ画像データを出力したりすることができる。例えば、検索手段１１５は、入力されたクエリ画像データから特徴点を抽出し、特徴点データベース１２２から、抽出した特徴点と一致する特徴点を有するユーザの識別子を抽出し、出力する。特徴点データベース１２２には、予め様々な向きのユーザの特徴点が登録されているので、検索手段１１５は、入力されたクエリ画像データにおけるユーザの向きにかかわらず、このユーザを識別することができる。検索手段１１５はさらに、クエリ画像データに含まれるユーザの識別子を特定すると、画像人物対応データ１２３から、特定されたユーザの識別子に対応付けられた画像の識別子を取得し、この画像の識別子に対応する画像データを出力しても良い。

ここで検索手段１１５は、ユーザ端末２００からクエリ画像データが入力されると、このクエリ画像データに含まれるユーザの顔部を正規化した後、特徴点を抽出しても良い。検索手段１１５は、クエリ画像データを特徴点データベース１２２に登録された表情などと同じ条件に変換することにより、精度を向上させることができる。

図４に示す例において、検索装置１００が、一つのコンピュータで実装される場合を説明したが、これに限られない。例えば、検索装置１００は、複数の画像データを管理する画像データベースサーバや、図１で参照して説明した特徴点出力装置１などと連携しても良い。このように検索装置１００による検索サービスは、いわゆるクラウドサービスを経由してユーザ端末２００に提供されても良い。

図６ないし図８を参照して、本発明の実施の形態に係る検索システム３００の処理の一例を説明する。

図６を参照して、検索システム３００において、ユーザの特徴点を登録する処理を説明する。この処理は、図４のユーザ画像取得手段１１１、ユーザ特徴点登録手段１１２および画像人物対応付け手段１１４の処理に対応する。

まずステップＳ１０１において、ユーザ端末２００が、登録リクエストを送信する。この登録リクエストは、ユーザＡの顔部を含むユーザ画像データと、このユーザＡの識別子を含む。

検索装置１００は、ユーザ端末２００から登録リクエストを受信すると、ステップＳ１０２において、ユーザＡの顔部を含むユーザ画像データ１２１に基づいて、ユーザＡの顔の特徴点を取得し、特徴点データベース１２２に登録する。ここでユーザＡが様々な向きに向いた画像における複数の特徴点セットが、特徴点データベース１２２に登録される。

ステップＳ１０３において検索装置１００は、ユーザＡの様々な向きに対応する特徴点に基づいて、画像データベース１２４からユーザＡの顔部が含まれる画像データを特定する。ステップＳ１０４において検索装置１００は、ステップＳ１０１で取得したユーザＡの識別子と、ステップＳ１０３で特定されたユーザＡの顔部が含まれる画像データの識別子とを対応付けて、画像人物対応データ１２３に登録する。

登録が完了すると検索装置１００は、ステップＳ１０１の登録リクエストに対応して、ユーザ端末２００に登録応答を返す。

図６に示す例では、ユーザＡについて画像人物対応データ１２３への登録が完了したタイミングで登録応答を返す場合を説明するが、これに限られない。検索装置１００は例えば、登録リクエストを受信した後、応答を返し、ステップＳ１０２ないしステップＳ１０４などの処理は、登録リクエストの受信とは非同期に、バッチ処理などで処理されても良い。

図７を参照して、検索システムにおいて、ユーザの識別子から、このユーザの顔部を含む画像データを検索する処理を説明する。まずステップＳ２０１において、ユーザ端末２００が、取得リクエストを送信する。この取得リクエストは、ユーザＡの識別子を含む。

検索装置１００は、ユーザ端末２００から取得リクエストを受信すると、ステップＳ２０２において、画像人物対応データ１２３から、ユーザＡの識別子に対応付けられた画像の識別子を取得する。さらに検索装置１００は、ステップＳ２０３において、画像データベース１２４から、ステップＳ２０２で取得した画像の識別子に対応する画像データを取得する。ここで取得する画像データは、ユーザＡの顔部を含む。ステップＳ２０４において検索装置１００は、ステップＳ２０１の取得リクエストに対応して、ユーザ端末２００に取得応答を返す。この取得応答は、ステップＳ２０３で取得した画像データを含む。

図８を参照して、クエリ画像データから、このクエリ画像データのユーザの顔部を含む画像データを検索する処理を説明する。まずステップＳ３０１において、ユーザ端末２００が、取得リクエストを送信する。この取得リクエストは、クエリ画像データを含み、クエリ画像データは、ユーザＢの顔部を含む。

検索装置１００は、ユーザ端末２００から取得リクエストを受信すると、ステップＳ３０２において、クエリ画像データの特徴点を特定し、この特徴点に基づいて、特徴点データベース１２２から、このクエリ画像データに含まれるユーザの識別子を抽出する。ステップＳ３０４において、ユーザの識別子が抽出されなかった場合、ステップＳ３０８に進む。ステップＳ３０８において検索装置１００は、ステップＳ３０１の取得リクエストに対応して、ユーザ端末２００に、エラーの応答を返す。

一方、ステップＳ３０３においてユーザの識別子、具体的には、「ユーザＢ」の識別子を抽出できた場合、ステップＳ３０５に進む。ステップＳ３０５において検索装置１００は、画像人物対応データ１２３から、ユーザＢの識別子に対応付けられた画像の識別子を取得する。さらに検索装置１００は、ステップＳ３０６において、画像データベース１２４から、ステップＳ３０５で取得した画像の識別子に対応する画像データを取得する。ここで取得する画像データは、ユーザＢの顔部を含む。ステップＳ３０７において検索装置１００は、ステップＳ３０１の取得リクエストに対応して、ユーザ端末２００に取得応答を返す。この取得応答は、ステップＳ３０６で取得した、クエリ画像データに含まれるユーザであるユーザＢの識別子と、ユーザＢの顔部を含む画像データを含む。

図８に示す例において検索装置１００は、ステップＳ３０３で抽出したユーザの識別子をユーザ端末２００に返しても良い。これによりユーザ端末２００は、クエリ画像データに映り込んだユーザの名前を特定することができる。また図８に示す例において、検索装置１００が予め画像データを保持し特徴点が抽出されている場合を説明するが、ユーザから取得リクエストが送信されたタイミングで、画像データベースの画像データの特徴点を抽出しても良い。

図４ないし図８を参照して、本発明の実施の形態に係る特徴点出力装置１が出力した特徴点データを、画像検索に用いる場合を説明したがこれに限られず、顔認証システムなどの様々なシステムに適用しても良い。

（その他の実施の形態）
上記のように、本発明の実施の形態によって記載したが、この開示の一部をなす論述および図面はこの発明を限定するものであると理解すべきではない。この開示から当業者には様々な代替実施の形態、実施例および運用技術が明らかとなる。

例えば、本発明の実施の形態においては、画像データは静止画である場合を説明したが、動画データから取得した１フレームの画像データであっても良い。また、本発明の実施の形態に係る特徴点出力装置１が出力する特徴点データを用いて、入力された複数の写真について、同一人物が写っているか否かを判定しても良い。またこれ以外の活用方法も考えられる。

本発明はここでは記載していない様々な実施の形態等を含むことは勿論である。従って、本発明の技術的範囲は上記の説明から妥当な特許請求の範囲に係る発明特定事項によってのみ定められるものである。

１ 特徴点出力装置
１０、１１０ 中央処理制御装置
１１ 顔画像抽出手段
１２ 正規化手段
１３ 三次元マッピング手段
１４ 特徴点抽出手段
２０、１２０ 記憶装置
２１ 入力画像データ
２２ 顔画像データ
２３ 正規化顔画像データ
２４ 投影顔画像データ
２５ 特徴点データ
３０、１３０ 入出力制御装置
１１１ ユーザ画像取得手段
１１２ ユーザ特徴点登録手段
１１３ 特徴点出力手段
１１４ 画像人物対応付け手段
１２１ ユーザ画像データ
１２２ 特徴点データベース
１２３ 画像人物対応データ
１２４ 画像データベース
２００ ユーザ端末
３００ 検索システム
３０１ 通信ネットワーク

Claims (9)

1. 人物の顔部を含む入力画像データから、当該人物の特徴点を抽出する特徴点出力装置であって、
   入力画像データの顔部を正規化した正規化顔画像データを三次元顔モデルに投影し、所定の向きに合わせた前記三次元顔モデルを投影変換した投影顔画像データを生成する三次元マッピング手段と、
   前記投影顔画像データから、特徴点を抽出する特徴点抽出手段
   を備え、
   前記正規化顔画像データは、年齢変化に伴う顔器官の位置のデータベースに基づいて、前記三次元顔モデルの年齢に対応するように、前記入力画像データから顔器官の位置が変換されたデータであることを特徴とする特徴点出力装置。
2. 前記三次元マッピング手段は、前記正規化顔画像データの顔の向きに合わせた三次元顔モデルに、前記正規化顔画像データを投影した後、当該三次元顔モデルを所定の向きに合わせる
   ことを特徴とする請求項１に記載の特徴点出力装置。
3. 前記三次元マッピング手段は、前記向きを変更して、複数の投影顔画像データを生成し、
   前記特徴点抽出手段は、前記複数の投影顔画像データのそれぞれから、特徴点を抽出する
   ことを特徴とする請求項１または２に記載の特徴点出力装置。
4. 人物の顔部を含む入力画像データから、当該人物の特徴点を抽出する特徴点出力プログラムであって、
   コンピュータを、
   前記入力画像データの顔部を正規化した正規化顔画像データを三次元顔モデルに投影し、所定の向きに合わせた三次元顔モデルを投影変換した投影顔画像データを生成する三次元マッピング手段と、
   前記投影顔画像データから、特徴点を抽出する特徴点抽出手段
   として機能させ、
   前記正規化顔画像データは、年齢変化に伴う顔器官の位置のデータベースに基づいて、前記三次元顔モデルの年齢に対応するように、前記入力画像データから顔器官の位置が変換されたデータであることを特徴とする特徴点出力プログラム。
5. 人物の顔部を含む入力画像データから、当該人物の特徴点を抽出する特徴点出力方法であって、
   入力画像データの顔部を正規化した正規化顔画像データを三次元顔モデルに投影し、所定の向きに合わせた前記三次元顔モデルを投影変換した投影顔画像データを生成するステップと、
   前記投影顔画像データから、特徴点を抽出するステップ
   を備え、
   前記正規化顔画像データは、年齢変化に伴う顔器官の位置のデータベースに基づいて、前記三次元顔モデルの年齢に対応するように、前記入力画像データから顔器官の位置が変換されたデータであることを特徴とする特徴点出力方法。
6. 複数の画像データを含む画像データベースから、対象ユーザの画像データを検索する検索装置であって、
   入力画像データの対象ユーザの顔部を正規化した正規化顔画像データを三次元顔モデルに投影し、所定の向きに合わせた前記三次元顔モデルを投影変換した投影顔画像データから、前記対象ユーザの特徴点を抽出するユーザ特徴点登録手段と、
   前記画像データベースから、前記対象ユーザの前記特徴点に基づいて、前記対象ユーザの顔部を含む画像データを検索する検索手段
   を備え、
   前記正規化顔画像データは、年齢変化に伴う顔器官の位置のデータベースに基づいて、前記三次元顔モデルの年齢に対応するように、前記入力画像データから顔器官の位置が変換されたデータであることを特徴とする検索装置。
7. 前記画像データベースの前記複数の画像データから、前記特徴点に基づいて前記対象ユーザの顔部を含む画像データを抽出し、前記対象ユーザの識別子と、抽出した前記画像データの識別子とを対応付けた画像人物対応データを記憶する画像人物対応付け手段をさらに備え、
   前記検索手段は、前記画像データベースから、前記画像人物対応データにおいて前記対象ユーザの識別子に対応する画像データを検索する
   ことを特徴とする請求項６に記載の検索装置。
8. 複数の画像データを含む画像データベースから、対象ユーザの画像データを検索する検索プログラムであって、
   コンピュータを、
   入力画像データの対象ユーザの顔部を正規化した正規化顔画像データを三次元顔モデルに投影し、所定の向きに合わせた前記三次元顔モデルを投影変換した投影顔画像データから、前記対象ユーザの特徴点を抽出するユーザ特徴点登録手段と、
   前記画像データベースから、前記対象ユーザの前記特徴点に基づいて、前記対象ユーザの顔部を含む画像データを検索する検索手段
   として機能させ、
   前記正規化顔画像データは、年齢変化に伴う顔器官の位置のデータベースに基づいて、前記三次元顔モデルの年齢に対応するように、前記入力画像データから顔器官の位置が変換されたデータであることを特徴とする検索プログラム。
9. 複数の画像データを含む画像データベースから、対象ユーザの画像データを検索する検索方法であって、
   入力画像データの対象ユーザの顔部を正規化した正規化顔画像データを三次元顔モデルに投影し、所定の向きに合わせた前記三次元顔モデルを投影変換した投影顔画像データから、前記対象ユーザの特徴点を抽出するステップと、
   前記画像データベースから、前記対象ユーザの前記特徴点に基づいて、前記対象ユーザの顔部を含む画像データを検索するステップ
   を備え、
   前記正規化顔画像データは、年齢変化に伴う顔器官の位置のデータベースに基づいて、前記三次元顔モデルの年齢に対応するように、前記入力画像データから顔器官の位置が変換されたデータであることを特徴とする検索方法。

Images