JP6046501B2 - Feature point output device, feature point output program, feature point output method, search device, search program, and search method - Google Patents
Feature point output device, feature point output program, feature point output method, search device, search program, and search method Download PDFInfo
- Publication number
- JP6046501B2 JP6046501B2 JP2013006122A JP2013006122A JP6046501B2 JP 6046501 B2 JP6046501 B2 JP 6046501B2 JP 2013006122 A JP2013006122 A JP 2013006122A JP 2013006122 A JP2013006122 A JP 2013006122A JP 6046501 B2 JP6046501 B2 JP 6046501B2
- Authority
- JP
- Japan
- Prior art keywords
- image data
- face
- feature point
- dimensional
- search
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Processing Or Creating Images (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Image Analysis (AREA)
Description
本発明は、人物の顔部を含む入力画像データから、当該人物の特徴点を抽出する特徴点出力装置、特徴点出力プログラム、抽出された特徴点を用いてデータを検索する検索装置および検索プログラムに関する。 The present invention relates to a feature point output device, a feature point output program for extracting a feature point of a person from input image data including a human face, a search device for searching for data using the extracted feature point, and a search program About.
一般的に、デジタルカメラやコンピュータなどの発達に伴い、人物を撮影した写真などの画像データから、その人物を特定する技術が普及している。この画像データから抽出される人物の特徴点を、特定対象の人物の顔画像データから予め抽出された特徴点とを比較することにより、同一人物であるか否かが判定される。 In general, with the development of digital cameras, computers, and the like, a technique for identifying a person from image data such as a photograph taken of the person has become widespread. It is determined whether or not they are the same person by comparing the feature points of the person extracted from the image data with the feature points extracted in advance from the face image data of the person to be specified.
また、人物画像から顔領域を抽出し、三次元データを生成する手法も知られている（例えば、特許文献１参照。）。 A technique for extracting a face area from a person image and generating three-dimensional data is also known (see, for example, Patent Document 1).
しかしながら、一般的な人物特定技術は、人物を正面から撮影するなどにより、多くの特徴点を抽出できた場合の顔画像を前提としている。従って、人物を正面以外の向きから撮影した顔画像や、喜怒哀楽の表情などのある顔画像などについて、判定に十分な特徴点を抽出することができず、精度が低くなってしまう問題点がある。 However, a general person identification technique is based on a face image in the case where many feature points can be extracted by photographing a person from the front. Therefore, it is not possible to extract sufficient feature points for judgment on face images obtained by shooting a person from a direction other than the front, face images with emotional expressions, etc. There is.
これに対応するために、特定対象の人物について、予め様々な向きや表情で撮影した多くの画像を用意し、これらの画像から特徴点を抽出する方法がある。しかしながら、特定対象の人物ごとに、多くの画像を用意する必要があり、非効率となってしまう問題がある。 In order to cope with this, there is a method in which a lot of images taken in advance with various orientations and expressions are prepared for a specific target person, and feature points are extracted from these images. However, it is necessary to prepare a large number of images for each person to be specified, and there is a problem that it becomes inefficient.
従って本発明の目的は、精度の高い特徴点を効率的に出力する特徴点出力装置、特徴点出力プログラム、特徴点出力方法、抽出された特徴点を用いてデータを検索する検索装置、検索プログラムおよび検索方法を提供することである。 Accordingly, an object of the present invention is to provide a feature point output device, a feature point output program, a feature point output method, a feature point output method, a search device for searching for data using the extracted feature points, and a search program. And providing a search method.
上記課題を解決するために、本発明の第１の特徴は、人物の顔部を含む入力画像データから、当該人物の特徴点を抽出する特徴点出力装置に関する。即ち本発明の第１の特徴に係る特徴点出力装置は、入力画像データの顔部を正規化した正規化顔画像データを、三次元顔モデルに投影し、所定の向きに合わせた三次元顔モデルを投影変換した投影顔画像データを生成する三次元マッピング手段と、投影顔画像データから、特徴点を抽出する特徴点抽出手段を備える。 In order to solve the above-described problem, a first feature of the present invention relates to a feature point output device that extracts a feature point of a person from input image data including the face portion of the person. That is, the feature point output device according to the first feature of the present invention projects the normalized face image data obtained by normalizing the face portion of the input image data onto the three-dimensional face model, and matches the predetermined direction to the three-dimensional face. 3D mapping means for generating projected face image data obtained by projecting the model, and feature point extracting means for extracting feature points from the projected face image data.
三次元マッピング手段は、正規化顔画像データの顔の向きに合わせた三次元顔モデルに、正規化顔画像データを投影した後、当該三次元顔モデルを所定の向きに合わせても良い。 The three-dimensional mapping unit may project the normalized face image data onto a three-dimensional face model that matches the face direction of the normalized face image data, and then align the three-dimensional face model in a predetermined direction.
正規化顔画像データは、表情、年齢および向きのうち少なくともいずれかについて、三次元顔モデルと一致するように、入力画像データの顔部を変換したデータであっても良い。 The normalized face image data may be data obtained by converting the face portion of the input image data so that at least one of expression, age, and orientation matches the three-dimensional face model.
三次元マッピング手段は、向きを変更して、複数の投影顔画像データを生成し、特徴点抽出手段は、複数の投影顔画像データのそれぞれから、特徴点を抽出しても良い。 The three-dimensional mapping unit may change the direction to generate a plurality of projection face image data, and the feature point extraction unit may extract a feature point from each of the plurality of projection face image data.
本発明の第２の特徴は、人物の顔部を含む入力画像データから、当該人物の特徴点を抽出する特徴点出力プログラムに関する。即ち本発明の第２の特徴に係る特徴点出力プログラムは、コンピュータを、入力画像データの顔部を正規化した正規化顔画像データを三次元顔モデルに投影し、所定の向きに合わせた三次元顔モデルを投影変換した投影顔画像データを生成する三次元マッピング手段と、投影顔画像データから、特徴点を抽出する特徴点抽出手段として機能させる。 The second feature of the present invention relates to a feature point output program for extracting feature points of a person from input image data including the face portion of the person. That is, the feature point output program according to the second feature of the present invention uses a computer to project normalized face image data obtained by normalizing a face portion of input image data onto a three-dimensional face model, and to perform a tertiary operation in a predetermined direction. It is made to function as a three-dimensional mapping means for generating projected face image data obtained by projecting the original face model, and a feature point extracting means for extracting feature points from the projected face image data.
本発明の第３の特徴は、人物の顔部を含む入力画像データから、当該人物の特徴点を抽出する特徴点出力方法に関する。即ち第３の特徴に係る特徴点出力方法は、入力画像データの顔部を正規化した正規化顔画像データを三次元顔モデルに投影し、所定の向きに合わせた三次元顔モデルを投影変換した投影顔画像データを生成するステップと、投影顔画像データから、特徴点を抽出するステップを備える。 A third feature of the present invention relates to a feature point output method for extracting feature points of a person from input image data including the face portion of the person. That is, the feature point output method according to the third feature projects the normalized face image data obtained by normalizing the face portion of the input image data onto the three-dimensional face model, and projects and converts the three-dimensional face model according to a predetermined direction. Generating the projected face image data and extracting the feature points from the projected face image data.
本発明の第４の特徴は、複数の画像データを含む画像データベースから、対象ユーザの画像データを検索する検索装置に関する。即ち本発明の第３の特徴に係る検索装置は、入力画像データの対象ユーザの顔部を正規化して三次元顔モデルに投影し、所定の向きに合わせた三次元顔モデルを投影変換した投影顔画像データから、対象ユーザの特徴点を抽出するユーザ特徴点登録手段と、画像データベースから、対象ユーザの特徴点に基づいて、対象ユーザの顔部を含む画像データを検索する検索手段を備える。 A fourth feature of the present invention relates to a search device that searches for image data of a target user from an image database including a plurality of image data. That is, the search device according to the third feature of the present invention normalizes the target user's face portion of the input image data and projects it onto a three-dimensional face model, and projects the three-dimensional face model according to a predetermined orientation by projection conversion. User feature point registration means for extracting feature points of the target user from the face image data, and search means for searching image data including the face portion of the target user from the image database based on the feature points of the target user.
画像データベースの複数の画像データから、特徴点に基づいて対象ユーザの顔部を含む画像データを抽出し、対象ユーザの識別子と、抽出した画像データの識別子とを対応付けた画像人物対応データを記憶する画像人物対応付け手段をさらに備え、検索手段は、画像データベースから、画像人物対応データにおいて対象ユーザの識別子に対応する画像データを検索しても良い。 Image data including the face portion of the target user is extracted from a plurality of image data in the image database based on the feature points, and image person correspondence data in which the identifier of the target user is associated with the identifier of the extracted image data is stored. The image person association unit may further include an image person association unit configured to retrieve image data corresponding to the identifier of the target user in the image person association data from the image database.
本発明の第５の特徴は、複数の画像データを含む画像データベースから、対象ユーザの画像データを検索する検索プログラムに関する。即ち本発明の第４の特徴に係る検索プログラムは、コンピュータを、入力画像データの対象ユーザの顔部を正規化して三次元顔モデルに投影し、所定の向きに合わせた三次元顔モデルを投影変換した投影顔画像データから、対象ユーザの特徴点を抽出するユーザ特徴点登録手段と、画像データベースから、対象ユーザの特徴点に基づいて、対象ユーザの顔部を含む画像データを検索する検索手段として機能させる。 A fifth feature of the present invention relates to a search program for searching for image data of a target user from an image database including a plurality of image data. In other words, the search program according to the fourth feature of the present invention normalizes the face portion of the target user of the input image data and projects it onto a three-dimensional face model, and projects a three-dimensional face model in a predetermined direction. User feature point registration means for extracting feature points of the target user from the converted projected face image data, and search means for searching image data including the face portion of the target user from the image database based on the feature points of the target user To function as.
本発明の第６の特徴は、複数の画像データを含む画像データベースから、対象ユーザの画像データを検索する検索方法に関する。即ち本発明の第６の特徴に係る検索方法は、入力画像データの対象ユーザの顔部を正規化して三次元顔モデルに投影し、所定の向きに合わせた三次元顔モデルを投影変換した投影顔画像データから、対象ユーザの特徴点を抽出するステップと、画像データベースから、対象ユーザの特徴点に基づいて、対象ユーザの顔部を含む画像データを検索するステップを備える。 A sixth feature of the present invention relates to a search method for searching image data of a target user from an image database including a plurality of image data. That is, the search method according to the sixth aspect of the present invention is a projection obtained by normalizing a target user's face portion of input image data and projecting it on a three-dimensional face model, and projecting and transforming a three-dimensional face model in a predetermined direction. Extracting the target user's feature points from the face image data, and searching the image database for image data including the target user's face based on the target user's feature points.
本発明によれば、精度の高い特徴点を効率的に出力する特徴点出力装置、特徴点出力プログラム、特徴点出力方法、抽出された特徴点を用いてデータを検索する検索装置、検索プログラムおよび検索方法を提供することができる。 According to the present invention, a feature point output device that efficiently outputs highly accurate feature points, a feature point output program, a feature point output method, a search device that searches for data using the extracted feature points, a search program, and A search method can be provided.
次に、図面を参照して、本発明の実施の形態を説明する。以下の図面の記載において、同一または類似の部分には同一または類似の符号を付している。 Next, embodiments of the present invention will be described with reference to the drawings. In the following description of the drawings, the same or similar parts are denoted by the same or similar reference numerals.
（実施の形態）
図１に示す本発明の実施の形態に係る特徴点出力装置１は、人物の顔部を含む入力画像データ２１から、この人物の特徴点を抽出する。ここで、「特徴点」とは、人物の顔の特徴を決定するためのデータであって、例えば、顔のパーツの相対位置、目の内側の端と外側の端の相対位置などのデータである。特徴点データ２５が保持する特徴点の種別は、特徴点データ２５を利用するシステムに依存し、本発明の実施の形態においては問わない。
(Embodiment)
The feature point output device 1 according to the embodiment of the present invention shown in FIG. 1 extracts the feature point of the person from the
特徴点出力装置１は、例えば、人物の特徴点の登録において用いられる。登録用の入力画像データ２１が入力されると、特徴点出力装置１はこの入力画像データ２１に基づいて、人物が様々な向きに向いた画像データを生成し、それぞれの画像データから抽出した複数の特徴点を出力する。特徴点出力装置１が出力した特徴点は、認証システムや検索システムなどにおいて参照される。例えば、認証システムは、認証対象ユーザの顔部の特徴点が、予め登録された特徴点と一致するか否かを検証する。検索システムは、検索対象ユーザの予め登録された顔部の特徴点に基づいて、複数の画像データから、検索対象ユーザを撮影した画像データを抽出する。
The feature point output device 1 is used, for example, in the registration of person feature points. When the
図１を参照して、本発明の実施の形態に係る特徴点出力装置１を説明する。 A feature point output apparatus 1 according to an embodiment of the present invention will be described with reference to FIG.
特徴点出力装置１は、中央処理制御装置１０、記憶装置２０および入出力制御装置３０を備える一般的なコンピュータである。特徴点出力装置１は、所定の処理を実行するための特徴点出力プログラムを読み込み実行することにより、図１に示す各手段として機能する。
The feature point output device 1 is a general computer including a central
入出力制御装置２０は、操作者が入力装置を操作して入力した指示を、中央処理制御装置１０に入力するとともに、中央処理制御装置１０の処理結果を表示装置に出力して、操作者に認識させる。入出力制御装置３０は、ＬＡＮ、インターネットなどの通信ネットワークで接続する情報端末を操作者が操作することにより、操作者の指示を入力し、処理結果を出力しても良い。
The input /
記憶装置２０は、入力画像データ２１、顔画像データ２２、正規化顔画像データ２４、複数の投影顔画像データ２４ａ、２４ｂ…および特徴点データ２５を記憶する。本発明の実施の形態において、複数の投影顔画像データ２４ａ、２４ｂ…を特に区別しない場合、単に投影顔画像データ２４を記載する場合がある。
The
入力画像データ２１は、対象ユーザなどの人物の顔部を含む画像データである。入力画像データ２１には、特徴点出力装置１が特徴点を出力する対象ユーザの顔部が撮影されている。入力画像データ２１は、操作者の指示などにより、入出力制御装置３０を介して、予め記憶装置２０に記憶される。
The
入力画像データ２１において、対象ユーザの顔部が撮影されていれば良く、表情や向き、顔部の大小は問わない。後述する三次元マッピング手段１３が出力する投影顔画像データから抽出する特徴点が、認証システムや検索システムなどで要求される精度を満たすことができれば良く、入力画像データ２１に、顔の全てが含まれていなくとも良い。
In the
顔画像データ２２は、入力画像データ２１から抽出した顔部のデータである。顔画像データ２２は、顔画像抽出手段１１により生成され記憶される。
The
正規化顔画像データ２４は、顔画像データ２２を正規化したデータである。正規化顔画像データ２４は、正規化手段１２により生成され記憶される。
The normalized face image data 24 is data obtained by normalizing the
投影顔画像データ２４は、正規化顔画像データ２４を三次元顔モデルにマッピングし、この三次元顔モデルを二次元に投影変換したデータである。投影顔画像データ２４は、三次元マッピング手段１３により生成され記憶される。三次元マッピング手段１３が、三次元顔モデルの向きを変更する場合、向きを変更する度に、複数の投影顔画像データ２４ａ、２４ｂ、…を生成する。
The projected face image data 24 is data obtained by mapping the normalized face image data 24 to a three-dimensional face model and projecting the three-dimensional face model into two dimensions. The projected face image data 24 is generated and stored by the three-dimensional mapping means 13. When the three-
特徴点データ２５は、投影顔画像データ２４から抽出した特徴点を含むデータである。ここで、一つの投影顔画像データ２４から複数の特徴点を抽出しても良く、一つの投影顔画像データ２４から抽出した複数の特徴点を「特徴点セット」と称する。複数の投影顔画像データ２４ａ、２４ｂ、…からそれぞれ特徴点セットを抽出した場合、特徴点データ２５は、一つの投影顔画像データ２４に対応して一つの特徴点セットを有する。
The
例えば、任意のユーザＡの顔画像に基づいて、三次元顔モデルを３つの向きに変更することにより、３つの投影顔画像データ２４が生成され、各投影顔画像データ２４から複数の特徴点が抽出された場合を想定する。この３つの向きは、顔の正面、上α１度かつ右β１度および上α２度かつ右β２度である。この場合、特徴点データ２５は、図２に示すように３つの特徴点セットを有する。図２に示す例では、一つの特徴点セットは、ｎ個の特徴点を含む。認証システムや検索システムなどは、特徴点セットの各特徴点に基づいて、処理する。
For example, by changing the three-dimensional face model in three directions based on the face image of an arbitrary user A, three projected face image data 24 are generated, and a plurality of feature points are obtained from each projected face image data 24. Assume that it has been extracted. The three orientations are the front of the face, α1 degree up and β1 degree right, and α2 degree up and β2 degree right. In this case, the
中央処理制御装置１０は、顔画像抽出手段１１、正規化手段１２、三次元マッピング手段１３および特徴点抽出手段１４を備える。顔画像抽出手段１１、正規化手段１２、三次元マッピング手段１３および特徴点抽出手段１４を、特徴点出力手段１１３と称する場合もある。
The central
顔画像抽出手段１１は、入力画像データ２１から、対象ユーザの顔部を切り取り、顔画像データ２２を生成する。
The face
正規化手段１２は、顔画像データ２２を正規化し、正規化顔画像データ２４を生成する。ここで正規化とは、表情、年齢および向きのうち少なくともいずれかについて、前記三次元顔モデルと一致するように、顔画像データ２２を変換することである。三次元顔モデルが無表情の場合、正規化手段１２は、顔画像データ２２を無表情に変換する。
The normalizing means 12 normalizes the
正規化手段１２による正規化処理は、既存の技術に基づいて実現される。ここで、正規化手段１２が、無表情の正規化顔画像データ２４を生成する場合を説明する。
The normalization process by the normalization means 12 is realized based on existing technology. Here, a case where the normalizing
正規化手段１２はまず、顔画像データ２２における対象ユーザの表情を推定する。正規化手段１２は、表情を推定する技術として、例えば、「ポテンシャルネットを用いた顔領域の推定と表情認識」（別所 弘章，岩井 儀雄，谷内田 正彦，電子情報通信学会技術研究報告（ＰＰＭＵ），Ｖｏｌ．９９（４４９），ｐｐ．４３−４８，１９９９−１１−１９）を用いることができる。正規化手段１２はこの技術により、表情データベースを参照して、顔画像データ２２の顔部から抽出した顔器官情報に基づいて表情を推定する。
The normalizing means 12 first estimates the facial expression of the target user in the
次に、正規化手段１２は、表情データベースを参照して、推定された表情から無表情に変換するための、各顔器官の位置のずれを算出し、モーフィング処理によって、無表情の顔画像である正規化顔画像データ２４を生成する。正規化手段１２は、モーフィング技術として、例えば、「顔画像からの筋肉パラメータの推定とそれに基づく他人の表情生成」（ＡＨＮ Ｓｅｏｎｊｕ，小沢 愼治，電子情報通信学会論文誌，Ｖｏｌ．Ｊ８８−Ｄ−ＩＩ（１０），ｐｐ．２０８１−２０８９，２００５−１０−０１）を用いることができる。正規化手段１２はこの技術により、表情のある顔から無表情の顔への顔器官の変異を事前に学習し、表情のある顔画像データ２２から、無表情の正規化顔画像データ２４を生成する。
Next, the normalization means 12 refers to the expression database, calculates the position shift of each facial organ for converting the estimated expression into the expressionless expression, and uses the expressionless face image by morphing processing. Some normalized face image data 24 is generated. The normalizing means 12 is, for example, “estimating muscle parameters from facial images and generating facial expressions of others based on the morphing techniques” (AHN Seonju, Shinji Ozawa, IEICE Transactions, Vol. J88-D-II). (10), pp. 2081-2089, 2005-10-01). Using this technique, the normalizing means 12 learns in advance the facial organ variation from a facial expression to an expressionless face, and generates expressionless normalized facial image data 24 from the expression
以上説明したように、正規化手段１２が、正規化により無表情の正規化顔画像データ２４を生成する場合を説明したが、年齢や顔の向きも正規化しても良い。例えば、三次元マッピング手段１３において、所定の年齢に対応する三次元顔モデルを使って処理する場合、正規化手段１２は、顔画像データ２２を、三次元顔モデルの年齢にあうように変換して正規化顔画像データ２４を生成することが好ましい。この場合、正規化手段１２は、三次元顔モデルの年齢に一致するように、顔画像データ２２を変化させて、正規化顔画像データ２４を生成する。正規化手段１２は、年齢に応じた顔画像の生成技術として、例えば、「統計情報を用いた年齢変化顔画像の生成」（磯野 勝宣，橋本 隆之，堀 雅和，電子情報通信学会論文誌，Ｖｏｌ．４５，ｐｐ．１０−１４，２００４−０６−１５）を用いることができる。正規化手段１２は、この技術で開示された年齢変化に伴う顔器官の位置のデータベースに基づいて、顔画像データ２２から、所定の年齢に対応する正規化顔画像データ２４を生成する。
As described above, the case where the normalizing
また正規化手段１２は、顔画像データ２２を正面の画像に変換して正規化顔画像データ２４を生成しても良い。さらに正規化手段１２は、表情および年齢を正規化するなど、表情、年齢および向きなどを任意に組み合わせて、正規化しても良い。
Further, the normalizing
三次元マッピング手段１３は、正規化顔画像データ２４と表情、年齢などが一致するこの三次元顔モデルのデータを用いて、複数の投影顔画像データ２４を生成する。例えば、三次元マッピング手段１３は、年齢別の三次元顔モデルを保持している場合、正規化顔画像データ２４におけるユーザの年齢に対応する三次元顔モデルを用いることが好ましい。
The three-dimensional mapping means 13 generates a plurality of projected face image data 24 using the data of the three-dimensional face model whose facial expression, age, etc. match the normalized face image data 24. For example, when the three-
三次元マッピング手段１３は、まず、正規化顔画像データ２４の顔の向きに合わせた三次元顔モデルに、正規化顔画像データ２４を投影する。その後三次元マッピング手段１３は、所定の向きに合わせた三次元顔モデルを投影変換した投影顔画像データ２４を生成する。三次元マッピング手段１３は、三次元顔モデルの向きを変更して、複数の投影顔画像データ２４ａ、２４ｂ…を生成する。
First, the three-
ここで三次元マッピング手段１３は、テクスチャマッピングを用いて、二次元の正規化顔画像データ２４を、三次元顔モデルにマッピングする。これにより、任意の方向から三次元顔モデル上に二次元の絵を投射した時の絵の見え方を再現することが可能となる。 Here, the three-dimensional mapping means 13 maps the two-dimensional normalized face image data 24 to the three-dimensional face model using texture mapping. This makes it possible to reproduce the appearance of a picture when a two-dimensional picture is projected onto a three-dimensional face model from an arbitrary direction.
三次元マッピング手段１３は、まず、正規化顔画像データ２４における対象ユーザの顔の向きを推定する。三次元マッピング手段１３は、対象ユーザの顔の向きを推定する技術として、「耳と顔の特徴の位置関係に基づく顔画像からの視線方向の推定」（Ｖｏｌ．９７（５９６）， ｐｐ．１１３−１２０， １９９８−０３−１３）を用いることができる。三次元マッピング手段１３は、この技術により、正規化顔画像データ２４における耳や目などの位置関係から、正規化顔画像データ２４中の対象ユーザの顔方向や視線方向を推定する。三次元マッピング手段１３は、三次元顔モデルを推定した顔方向に向かせて、正規化顔画像データ２４のテクスチャを、三次元顔モデルに投影する。
First, the three-dimensional mapping means 13 estimates the orientation of the target user's face in the normalized face image data 24. The three-dimensional mapping means 13 is a technique for estimating the orientation of the target user's face as “estimation of the gaze direction from the face image based on the positional relationship between the ear and facial features” (Vol. 97 (596), pp. 113. -120, 1998-03-13) can be used. With this technique, the three-
テクスチャマッピングで描画された三次元モデルを用いて、別の向きからの見え方も再現できる。これに基づいて三次元マッピング手段１３は、正規化顔画像データ２４をマッピングした三次元顔モデルを利用して、別の向きで見た場合の三次元顔モデルを生成する。ここで、三次元顔モデルに与える向きは、顔の正面、上±α度、右±β度、上±α度かつ右±β度などである。 The 3D model drawn by texture mapping can be used to reproduce the appearance from different directions. Based on this, the three-dimensional mapping means 13 uses the three-dimensional face model to which the normalized face image data 24 is mapped to generate a three-dimensional face model when viewed in another direction. Here, the directions given to the three-dimensional face model are the front of the face, upper ± α degrees, right ± β degrees, upper ± α degrees, right ± β degrees, and the like.
さらに三次元マッピング手段１３は、向きの異なる複数の三次元顔モデルを二次元平面に変換して、複数の投影顔画像データ２４を生成する。具体的には三次元マッピング手段１３は、コンピュータグラフィックスの分野における投影変換を行うことにより、三次元顔モデルから、複数の投影顔画像データ２４を生成する。
Further, the three-
ここで、複数の三次元顔モデルを生成する際の向きや向きを決定する角度の変化量に関する情報は、特徴点出力装置１が出力する特徴点データ２５を参照するシステムで求められる精度や仕様などに依存する。従って、三次元マッピング手段１３が参照可能な設定ファイルデータなどに、複数の三次元顔モデルを生成する際の向きや、向きを決定する角度の変化量に関する情報が、予め設定される。三次元マッピング手段１３は、設定ファイルデータの設定に従って、三次元顔モデルを、所定の軸を基準に所定角度で回転させることにより、三次元顔モデルの向きを変更して、複数の三次元顔モデルを生成する。
Here, the information regarding the direction when generating a plurality of three-dimensional face models and the amount of change in the angle that determines the direction is the accuracy and specification required by the system referring to the
例えば、斜め上１８度を向いた入力画像データ２１から、特徴点を抽出する場合を想定する。三次元マッピング手段１３は、斜め上１８度を向いた入力画像データ２１から得られた正規化顔画像データ２４を、斜め上１８度を向いた三次元顔モデルにテクスチャマッピングする。これにより三次元マッピング手段１３は、対象ユーザが斜め上１８度を向いたことを示す三次元顔モデルのデータを生成する。
For example, a case is assumed where feature points are extracted from
三次元マッピング手段１３は、三次元顔モデルの向きを正面に変更して、対象ユーザが正面を向いたことを示す三次元顔モデルのデータを生成する。また三次元マッピング手段１３は、下３０度から上３０度までの１０度刻み、右３０度から左３０度までの１０度刻み、またこれらの角度を組み合わせなどに、三次元顔モデルの向きを変更する。三次元マッピング手段１３は、対象ユーザがそれぞれの向きに向いたことを示す三次元顔モデルのデータを生成し、投影変換により複数の投影顔画像データ２４を生成する。
The three-dimensional mapping means 13 changes the direction of the three-dimensional face model to the front, and generates three-dimensional face model data indicating that the target user faces the front. Also, the three-dimensional mapping means 13 sets the direction of the three-dimensional face model in increments of 10 degrees from the lower 30 degrees to the upper 30 degrees, in increments of 10 degrees from the right 30 degrees to the left 30 degrees, and combinations of these angles. change. The three-
このように、入力画像データ２１において対象ユーザが斜め上１８度を向いていたとしても、三次元マッピング手段１３により、一つの入力画像データ２１から、対象ユーザの顔が様々な向きに向いた複数の投影顔画像データ２４を、効率的に生成することができる。これにより、様々な顔の向きの顔認証にも対応するので、精度の高い特徴点を効率的に出力することができる。
As described above, even if the target user is directed obliquely upward 18 degrees in the
特徴点抽出手段１４は、投影顔画像データ２４から、特徴点を抽出し、特徴点データ２５を生成する。特徴点抽出手段１４は、投影顔画像データ２４が複数の場合、それぞれの投影顔画像データ２４から特徴点を抽出する。ここで、特徴点抽出手段１４が抽出する特徴点は、特徴点データ２５を参照するシステムが用いる特徴点である。特徴点データ２５は、図２に示すように、投影顔画像データ２４の数、具体的には三次元顔モデルに与えた向きに対応して、複数の特徴点セットを含む。ここで特徴点抽出手段１４は、三次元顔モデルのデータを用いずに、正規化顔画像データ２４から抽出した特徴点セットも、特徴点データ２５に含めても良い。
The feature
なお図１に示す例では、三次元マッピング手段１３が、複数の投影顔画像データ２４ａ、２４ｂ、…を生成した後、特徴点抽出手段１４が、それぞれの投影顔画像データ２４ａ、２４ｂ、…について特徴点を抽出する場合を説明したが、これに限られない。例えば、三次元マッピング手段１３が、投影顔画像データ２４を生成する度に、特徴点抽出手段１４が、この投影顔画像データ２４から特徴点を抽出しても良く、処理順序は問わない。
In the example shown in FIG. 1, after the three-
図３を参照して、本発明の実施の形態に係る特徴点出力手段１１３による、特徴点出力処理を説明する。 With reference to FIG. 3, the feature point output process by the feature point output means 113 according to the embodiment of the present invention will be described.
まずステップＳ１において顔画像抽出手段１１は、記憶装置２０から入力画像データ２１を読み出し、ステップＳ２において、入力画像データ２１から顔画像データ２２を抽出する。顔画像データ２２を抽出できなかったと判定された場合、そのまま処理を終了する。その後ステップＳ３において正規化手段１２は、特徴点出力手段１１３は顔画像データ２２を正規化し、正規化顔画像データ２４を生成する。ステップＳ３において、顔画像データ２２を正規化できなかったと判定された場合、そのまま処理を終了する。
First, in step S1, the face
ステップＳ４において三次元マッピング手段１３は、正規化顔画像データ２４の顔方向を推定し、推定した顔方向に合わせた三次元顔モデルに、正規化顔画像データ２４をマッピングする。その後特徴点出力手段１１３は、設定ファイルデータで設定された各向きに基づいて、ステップＳ４でマッピングされた三次元顔モデルについて、ステップＳ５ないしステップＳ８の処理を繰り返す。
In step S4, the three-dimensional mapping means 13 estimates the face direction of the normalized face image data 24, and maps the normalized face image data 24 to a three-dimensional face model that matches the estimated face direction. After that, the feature
まずステップＳ５において、ステップＳ４でマッピングされた三次元顔モデルを、所定の向きに設定する。この所定の向きは、設定ファイルデータで設定された複数の向きの一つである。ステップＳ６において三次元マッピング手段１３は、ステップＳ５において所定の向きに設定された三次元顔モデルのデータから、投影変換により二次元の投影顔画像データ２４を生成する。 First, in step S5, the three-dimensional face model mapped in step S4 is set in a predetermined direction. This predetermined direction is one of a plurality of directions set in the setting file data. In step S6, the three-dimensional mapping means 13 generates two-dimensional projection face image data 24 by projection conversion from the three-dimensional face model data set in a predetermined direction in step S5.
ステップＳ７において特徴点抽出手段１４は、ステップＳ６で生成した投影顔画像データ２４から特徴点を抽出し、ステップＳ８においてステップＳ７で抽出した特徴点のデータを特徴点データ２５に保存する。特徴点抽出手段１４は、予め設定ファイルデータにおいて設定された特徴点の種別に対応する特徴点のデータを算出する。ステップＳ７で抽出する特徴点は、図２に示す特徴点データ２５の一つの特徴点セットに対応し、ステップＳ８の処理により、特徴点データ２５に１レコードが追加される。
In step S7, the feature
設定ファイルデータで設定された各向きについて、ステップＳ５ないしステップＳ７の処理が終了すると、特徴点出力手段１１３は、処理を終了する。
When the processing of step S5 to step S7 is completed for each direction set in the setting file data, the feature
図３で示す例では、投影顔画像データ２４を生成する度に特徴点を抽出する処理を説明したが、矛盾が生じない限り、処理の順序は問わない。 In the example illustrated in FIG. 3, the process of extracting the feature points every time the projection face image data 24 is generated has been described, but the order of the processes is not limited as long as no contradiction occurs.
このように本発明の実施の形態に係る特徴点出力装置１は、対象ユーザの顔画像データを正規化することにより、表情や年齢などに依存することなく、特徴点を抽出することができる。 As described above, the feature point output apparatus 1 according to the embodiment of the present invention can extract the feature points without depending on the facial expression, the age, or the like by normalizing the face image data of the target user.
また特徴点出力装置１は、正規化した顔画像を三次元顔モデルにマッピングするとともに、所定の向きに設定した三次元顔モデルを投影変換して、対象ユーザが様々な向きを向いた投影顔画像データ２４を生成する。これにより特徴点出力装置１は、１枚の入力画像データ２１から、様々な向きの顔部の特徴点を効率的に抽出することができる。従って、認証システムや検索システムなどにおいて、様々な向きの顔画像に対応することができるので、各システムの精度を向上させることができる。
The feature point output device 1 maps the normalized face image to the three-dimensional face model, and also projects and converts the three-dimensional face model set in a predetermined direction so that the target user faces various directions. Image data 24 is generated. As a result, the feature point output device 1 can efficiently extract feature points of face portions in various directions from one piece of
さらに、入力画像データ２１における対象ユーザの向きに三次元顔モデルを合わせてから、正規化顔画像データ２４を三次元顔モデルにマッピングする。これにより、入力画像データ２１において対象ユーザが正面を向いていなくとも、正面やそのほかの向きを向いた投影顔画像データ２４を生成することができる。
Furthermore, after the 3D face model is matched with the orientation of the target user in the
（適用例）
図４を参照して、本発明の実施の形態に係る特徴点出力装置１が出力した特徴点データを、検索システム３００に適用した例を説明する。検索システム３００は、特徴点出力装置１が出力した特徴点に基づいて、予め登録された複数の画像データから、所定のユーザが含まれる画像データを検索したり、画像データに含まれるユーザの氏名を特定したりする。
(Application example)
With reference to FIG. 4, an example in which the feature point data output by the feature point output device 1 according to the embodiment of the present invention is applied to the search system 300 will be described. The search system 300 searches for image data including a predetermined user from a plurality of pre-registered image data based on the feature points output by the feature point output device 1 or the names of users included in the image data. Or to identify.
検索システム３００は、検索装置１００、ユーザ端末２００ａ、２００ｂおよび２００ｃを備える。検索装置１００は、インターネットなどの通信ネットワーク３０１を介して、ユーザ端末２００ａ、２００ｂおよび２００ｃと相互に通信可能に接続される。ユーザ端末２００ａ、２００ｂおよび２００ｃを区別しない場合、単にユーザ端末２００と記載する場合がある。
The search system 300 includes the
ユーザ端末２００は、検索システム３００における検索サービスを享受するユーザによって、利用される。ユーザ端末２００は、画像を表示する表示装置、指示を入力する入力装置、通信ネットワーク３０１に接続するための通信制御装置、これらの各装置とデータを送受信し処理するコントローラなどを備える情報処理端末である。ユーザ端末２００は、例えば、パーソナルコンピュータ、携帯電話機、スマートフォンなどである。
The
検索装置１００は、本発明の実施の形態に係る特徴点出力手段１１３が出力した特徴点に基づいて、複数の画像データを含む画像データベース１２４から、対象ユーザの画像データなどを検索する。検索装置１００は、中央処理制御装置１１０、記憶装置１２０および入出力制御装置１３０を備える一般的なコンピュータである。検索装置１００は、所定の処理を実行するための検索プログラムを読み込み実行することにより、図４に示す各手段として機能する。
The
記憶装置１２０は、ユーザ画像データ１２１、特徴点データベース１２２、画像人物対応データ１２３および画像データベース１２４を記憶する。画像データベース１２４は、複数の画像データを含む。
The
中央処理制御装置１１０は、ユーザ画像取得手段１１１、ユーザ特徴点登録手段１１２、画像人物対応付け手段１１４および検索手段１１５を備える。ここで、ユーザ画像取得手段１１１、ユーザ特徴点登録手段１１２および画像人物対応付け手段１１４は、検索に必要な特徴点などの情報を登録するための処理手段である。検索手段１１５は、ユーザ画像取得手段１１１、ユーザ特徴点登録手段１１２および画像人物対応付け手段１１４によって登録された情報に基づいて、画像データなどを検索する。
The central
ユーザ画像取得手段１１１は、ユーザ端末２００が送信したユーザ画像データ１２１を受信し、記憶装置１２０に記憶する。このユーザ画像データ１２１は、特徴点を抽出する対象となる対象ユーザの顔部を含む。ユーザ画像取得手段１１１は、ユーザ画像データ１２１を、対象ユーザの識別子に対応付けて記憶しても良い。
The user
ユーザ特徴点登録手段１１２は、ユーザ画像データ１２１を特徴点出力手段１１３に入力するとともに、特徴点出力手段１１３によって出力された特徴点データを取得する。ユーザ特徴点登録手段１１２は、取得した特徴点データを、対象ユーザの識別子に対応付けて特徴点データベース１２２に記憶する。特徴点出力手段１１３は、図１等を参照して説明した本発明の実施の形態に係る特徴点出力装置１の各手段に相当する。
The user feature
ユーザ特徴点登録手段１１２は、ユーザ画像データ１２１を特徴点出力手段１１３に入力する。特徴点出力手段１１３は、ユーザ画像データ１２１の対象ユーザの顔部を正規化して三次元顔モデルに投影し、所定の向きに向いた三次元顔モデルを投影変換して、投影顔画像データ２４を生成する。特徴点出力手段１１３は、三次元顔モデルの向きを様々に変化させて、各向きの投影顔画像データ２４を生成する。特徴点出力手段１１３は、複数の投影顔画像データ２４のそれぞれから特徴点を抽出して特徴点セットを生成し、特徴点データ２５を生成する。
The user feature
ユーザ特徴点登録手段１１２は、対象ユーザの識別子に、一つの投影顔画像データ２４から生成した特徴点セットを対応付けて、特徴点データベース１２２に登録する。ユーザ特徴点登録手段１１２は、特徴点出力手段１１３において生成された投影顔画像データ２４の数に対応したレコードを、特徴点データベース１２２に登録する。
The user feature
画像人物対応付け手段１１４は、画像データベース１２４に登録された画像データの識別子と、この画像データに含まれるユーザの識別子とを対応付けて、画像人物対応データ１２３を生成する。画像人物対応データ１２３は、図５に示すように、ユーザの識別子と、このユーザの顔部を含む画像データの識別子とを対応付けたデータである。
The image
画像人物対応付け手段１１４は、画像データベース１２４の複数の画像データから、対象ユーザの特徴点データの特徴点に基づいて対象ユーザの顔部を含む画像データを抽出する。ここで、対象ユーザの特徴点データは、様々な向きに対応する特徴点セットを含む。従って、画像データにおいて対象ユーザがどのような向きで撮られていても、画像人物対応付け手段１１４は、対象ユーザの顔部を含む画像データを抽出し、画像人物対応データ１２３を生成することができる。
The image
検索手段１１５は、画像データベース１２４から、対象ユーザの特徴点データの特徴点に基づいて、対象ユーザの顔部を含む画像データを検索する。検索手段１１５による検索処理は、様々な形態が考えられる。検索手段１１５が検索時に参照する特徴点の種別などは、特徴点出力手段１１３が参照可能な設定ファイルデータに記憶される。
The
例えば、ユーザ端末２００から、対象ユーザの識別子が入力されると、検索手段１１５は、画像データベース１２４から、画像人物対応データ１２３において対象ユーザの識別子に対応する画像データを検索する。検索手段１１５は、対象ユーザの顔部を含む画像データを検索すると、検索した画像データを、ユーザ端末２００に送信する。
For example, when the identifier of the target user is input from the
また検索手段１１５は、ユーザ端末２００から、ユーザの顔部を含むクエリ画像データが入力されると、このクエリ画像データに含まれるユーザの識別子を出力したり、このユーザの映り込んだ画像データを出力したりすることができる。例えば、検索手段１１５は、入力されたクエリ画像データから特徴点を抽出し、特徴点データベース１２２から、抽出した特徴点と一致する特徴点を有するユーザの識別子を抽出し、出力する。特徴点データベース１２２には、予め様々な向きのユーザの特徴点が登録されているので、検索手段１１５は、入力されたクエリ画像データにおけるユーザの向きにかかわらず、このユーザを識別することができる。検索手段１１５はさらに、クエリ画像データに含まれるユーザの識別子を特定すると、画像人物対応データ１２３から、特定されたユーザの識別子に対応付けられた画像の識別子を取得し、この画像の識別子に対応する画像データを出力しても良い。
Further, when the query image data including the user's face is input from the
ここで検索手段１１５は、ユーザ端末２００からクエリ画像データが入力されると、このクエリ画像データに含まれるユーザの顔部を正規化した後、特徴点を抽出しても良い。検索手段１１５は、クエリ画像データを特徴点データベース１２２に登録された表情などと同じ条件に変換することにより、精度を向上させることができる。
Here, when query image data is input from the
図４に示す例において、検索装置１００が、一つのコンピュータで実装される場合を説明したが、これに限られない。例えば、検索装置１００は、複数の画像データを管理する画像データベースサーバや、図１で参照して説明した特徴点出力装置１などと連携しても良い。このように検索装置１００による検索サービスは、いわゆるクラウドサービスを経由してユーザ端末２００に提供されても良い。
In the example shown in FIG. 4, the case where the
図６ないし図８を参照して、本発明の実施の形態に係る検索システム３００の処理の一例を説明する。 With reference to FIG. 6 thru | or FIG. 8, an example of the process of the search system 300 which concerns on embodiment of this invention is demonstrated.
図６を参照して、検索システム３００において、ユーザの特徴点を登録する処理を説明する。この処理は、図４のユーザ画像取得手段１１１、ユーザ特徴点登録手段１１２および画像人物対応付け手段１１４の処理に対応する。
With reference to FIG. 6, a process of registering user feature points in the search system 300 will be described. This processing corresponds to the processing of the user
まずステップＳ１０１において、ユーザ端末２００が、登録リクエストを送信する。この登録リクエストは、ユーザＡの顔部を含むユーザ画像データと、このユーザＡの識別子を含む。
First, in step S101, the
検索装置１００は、ユーザ端末２００から登録リクエストを受信すると、ステップＳ１０２において、ユーザＡの顔部を含むユーザ画像データ１２１に基づいて、ユーザＡの顔の特徴点を取得し、特徴点データベース１２２に登録する。ここでユーザＡが様々な向きに向いた画像における複数の特徴点セットが、特徴点データベース１２２に登録される。
When receiving the registration request from the
ステップＳ１０３において検索装置１００は、ユーザＡの様々な向きに対応する特徴点に基づいて、画像データベース１２４からユーザＡの顔部が含まれる画像データを特定する。ステップＳ１０４において検索装置１００は、ステップＳ１０１で取得したユーザＡの識別子と、ステップＳ１０３で特定されたユーザＡの顔部が含まれる画像データの識別子とを対応付けて、画像人物対応データ１２３に登録する。
In step S <b> 103, the
登録が完了すると検索装置１００は、ステップＳ１０１の登録リクエストに対応して、ユーザ端末２００に登録応答を返す。
When the registration is completed, the
図６に示す例では、ユーザＡについて画像人物対応データ１２３への登録が完了したタイミングで登録応答を返す場合を説明するが、これに限られない。検索装置１００は例えば、登録リクエストを受信した後、応答を返し、ステップＳ１０２ないしステップＳ１０４などの処理は、登録リクエストの受信とは非同期に、バッチ処理などで処理されても良い。
In the example illustrated in FIG. 6, a case where a registration response is returned at the timing when registration of the user A in the image
図７を参照して、検索システムにおいて、ユーザの識別子から、このユーザの顔部を含む画像データを検索する処理を説明する。まずステップＳ２０１において、ユーザ端末２００が、取得リクエストを送信する。この取得リクエストは、ユーザＡの識別子を含む。
With reference to FIG. 7, processing for searching image data including a user's face from a user identifier in the search system will be described. First, in step S201, the
検索装置１００は、ユーザ端末２００から取得リクエストを受信すると、ステップＳ２０２において、画像人物対応データ１２３から、ユーザＡの識別子に対応付けられた画像の識別子を取得する。さらに検索装置１００は、ステップＳ２０３において、画像データベース１２４から、ステップＳ２０２で取得した画像の識別子に対応する画像データを取得する。ここで取得する画像データは、ユーザＡの顔部を含む。ステップＳ２０４において検索装置１００は、ステップＳ２０１の取得リクエストに対応して、ユーザ端末２００に取得応答を返す。この取得応答は、ステップＳ２０３で取得した画像データを含む。
When receiving the acquisition request from the
図８を参照して、クエリ画像データから、このクエリ画像データのユーザの顔部を含む画像データを検索する処理を説明する。まずステップＳ３０１において、ユーザ端末２００が、取得リクエストを送信する。この取得リクエストは、クエリ画像データを含み、クエリ画像データは、ユーザＢの顔部を含む。
With reference to FIG. 8, a process for searching image data including the user's face portion of the query image data from the query image data will be described. First, in step S301, the
検索装置１００は、ユーザ端末２００から取得リクエストを受信すると、ステップＳ３０２において、クエリ画像データの特徴点を特定し、この特徴点に基づいて、特徴点データベース１２２から、このクエリ画像データに含まれるユーザの識別子を抽出する。ステップＳ３０４において、ユーザの識別子が抽出されなかった場合、ステップＳ３０８に進む。ステップＳ３０８において検索装置１００は、ステップＳ３０１の取得リクエストに対応して、ユーザ端末２００に、エラーの応答を返す。
When receiving the acquisition request from the
一方、ステップＳ３０３においてユーザの識別子、具体的には、「ユーザＢ」の識別子を抽出できた場合、ステップＳ３０５に進む。ステップＳ３０５において検索装置１００は、画像人物対応データ１２３から、ユーザＢの識別子に対応付けられた画像の識別子を取得する。さらに検索装置１００は、ステップＳ３０６において、画像データベース１２４から、ステップＳ３０５で取得した画像の識別子に対応する画像データを取得する。ここで取得する画像データは、ユーザＢの顔部を含む。ステップＳ３０７において検索装置１００は、ステップＳ３０１の取得リクエストに対応して、ユーザ端末２００に取得応答を返す。この取得応答は、ステップＳ３０６で取得した、クエリ画像データに含まれるユーザであるユーザＢの識別子と、ユーザＢの顔部を含む画像データを含む。
On the other hand, if the identifier of the user, specifically, the identifier of “user B” has been extracted in step S303, the process proceeds to step S305. In step S <b> 305, the
図８に示す例において検索装置１００は、ステップＳ３０３で抽出したユーザの識別子をユーザ端末２００に返しても良い。これによりユーザ端末２００は、クエリ画像データに映り込んだユーザの名前を特定することができる。また図８に示す例において、検索装置１００が予め画像データを保持し特徴点が抽出されている場合を説明するが、ユーザから取得リクエストが送信されたタイミングで、画像データベースの画像データの特徴点を抽出しても良い。
In the example illustrated in FIG. 8, the
図４ないし図８を参照して、本発明の実施の形態に係る特徴点出力装置１が出力した特徴点データを、画像検索に用いる場合を説明したがこれに限られず、顔認証システムなどの様々なシステムに適用しても良い。 With reference to FIGS. 4 to 8, the case where the feature point data output by the feature point output device 1 according to the embodiment of the present invention is used for image search has been described. However, the present invention is not limited to this. It may be applied to various systems.
（その他の実施の形態）
上記のように、本発明の実施の形態によって記載したが、この開示の一部をなす論述および図面はこの発明を限定するものであると理解すべきではない。この開示から当業者には様々な代替実施の形態、実施例および運用技術が明らかとなる。
(Other embodiments)
As described above, the embodiments of the present invention have been described. However, it should not be understood that the descriptions and drawings constituting a part of this disclosure limit the present invention. From this disclosure, various alternative embodiments, examples, and operational techniques will be apparent to those skilled in the art.
例えば、本発明の実施の形態においては、画像データは静止画である場合を説明したが、動画データから取得した１フレームの画像データであっても良い。また、本発明の実施の形態に係る特徴点出力装置１が出力する特徴点データを用いて、入力された複数の写真について、同一人物が写っているか否かを判定しても良い。またこれ以外の活用方法も考えられる。 For example, in the embodiment of the present invention, the case where the image data is a still image has been described, but it may be one frame of image data acquired from moving image data. Moreover, you may determine whether the same person is reflected about the some inputted photo using the feature point data which the feature point output device 1 which concerns on embodiment of this invention outputs. Other ways of utilization are also conceivable.
本発明はここでは記載していない様々な実施の形態等を含むことは勿論である。従って、本発明の技術的範囲は上記の説明から妥当な特許請求の範囲に係る発明特定事項によってのみ定められるものである。 It goes without saying that the present invention includes various embodiments not described herein. Therefore, the technical scope of the present invention is defined only by the invention specifying matters according to the scope of claims reasonable from the above description.
１ 特徴点出力装置
１０、１１０ 中央処理制御装置
１１ 顔画像抽出手段
１２ 正規化手段
１３ 三次元マッピング手段
１４ 特徴点抽出手段
２０、１２０ 記憶装置
２１ 入力画像データ
２２ 顔画像データ
２３ 正規化顔画像データ
２４ 投影顔画像データ
２５ 特徴点データ
３０、１３０ 入出力制御装置
１１１ ユーザ画像取得手段
１１２ ユーザ特徴点登録手段
１１３ 特徴点出力手段
１１４ 画像人物対応付け手段
１２１ ユーザ画像データ
１２２ 特徴点データベース
１２３ 画像人物対応データ
１２４ 画像データベース
２００ ユーザ端末
３００ 検索システム
３０１ 通信ネットワーク
DESCRIPTION OF SYMBOLS 1 Feature
Claims (9)
入力画像データの顔部を正規化した正規化顔画像データを三次元顔モデルに投影し、所定の向きに合わせた前記三次元顔モデルを投影変換した投影顔画像データを生成する三次元マッピング手段と、
前記投影顔画像データから、特徴点を抽出する特徴点抽出手段
を備え、
前記正規化顔画像データは、年齢変化に伴う顔器官の位置のデータベースに基づいて、前記三次元顔モデルの年齢に対応するように、前記入力画像データから顔器官の位置が変換されたデータであることを特徴とする特徴点出力装置。 A feature point output device that extracts a feature point of a person from input image data including the face of the person,
3D mapping means for projecting normalized face image data obtained by normalizing a face portion of input image data onto a 3D face model, and generating projected face image data obtained by projecting and converting the 3D face model in a predetermined orientation When,
Feature point extraction means for extracting feature points from the projected face image data ,
The normalized face image data is data obtained by converting the position of the facial organ from the input image data so as to correspond to the age of the three-dimensional face model based on the database of the position of the facial organ accompanying the age change. Oh feature point output device according to claim Rukoto.
ことを特徴とする請求項１に記載の特徴点出力装置。 The three-dimensional mapping means projects the normalized face image data onto a three-dimensional face model that matches the face direction of the normalized face image data, and then adjusts the three-dimensional face model to a predetermined direction. The feature point output device according to claim 1, wherein the feature point output device is a feature point output device.
前記特徴点抽出手段は、前記複数の投影顔画像データのそれぞれから、特徴点を抽出する
ことを特徴とする請求項１または２に記載の特徴点出力装置。 The three-dimensional mapping means changes the orientation to generate a plurality of projection face image data,
The feature point output device according to claim 1, wherein the feature point extraction unit extracts a feature point from each of the plurality of projection face image data.
コンピュータを、
前記入力画像データの顔部を正規化した正規化顔画像データを三次元顔モデルに投影し、所定の向きに合わせた三次元顔モデルを投影変換した投影顔画像データを生成する三次元マッピング手段と、
前記投影顔画像データから、特徴点を抽出する特徴点抽出手段
として機能させ、
前記正規化顔画像データは、年齢変化に伴う顔器官の位置のデータベースに基づいて、前記三次元顔モデルの年齢に対応するように、前記入力画像データから顔器官の位置が変換されたデータであることを特徴とする特徴点出力プログラム。 A feature point output program for extracting feature points of a person from input image data including the face of the person,
Computer
Three-dimensional mapping means for projecting normalized face image data obtained by normalizing the face portion of the input image data onto a three-dimensional face model, and generating projection face image data obtained by projecting and transforming the three-dimensional face model in a predetermined orientation When,
Function as feature point extraction means for extracting feature points from the projected face image data ;
The normalized face image data is data obtained by converting the position of the facial organ from the input image data so as to correspond to the age of the three-dimensional face model based on the database of the position of the facial organ accompanying the age change. Oh feature point output program characterized Rukoto.
入力画像データの顔部を正規化した正規化顔画像データを三次元顔モデルに投影し、所定の向きに合わせた前記三次元顔モデルを投影変換した投影顔画像データを生成するステップと、
前記投影顔画像データから、特徴点を抽出するステップ
を備え、
前記正規化顔画像データは、年齢変化に伴う顔器官の位置のデータベースに基づいて、前記三次元顔モデルの年齢に対応するように、前記入力画像データから顔器官の位置が変換されたデータであることを特徴とする特徴点出力方法。 A feature point output method for extracting feature points of a person from input image data including the face of the person,
Projecting normalized face image data obtained by normalizing a face portion of input image data onto a three-dimensional face model, and generating projection face image data obtained by projecting and converting the three-dimensional face model in a predetermined orientation; and
Extracting a feature point from the projected face image data ,
The normalized face image data is data obtained by converting the position of the facial organ from the input image data so as to correspond to the age of the three-dimensional face model based on the database of the position of the facial organ accompanying the age change. feature point output wherein the Rukoto Oh.
入力画像データの対象ユーザの顔部を正規化した正規化顔画像データを三次元顔モデルに投影し、所定の向きに合わせた前記三次元顔モデルを投影変換した投影顔画像データから、前記対象ユーザの特徴点を抽出するユーザ特徴点登録手段と、
前記画像データベースから、前記対象ユーザの前記特徴点に基づいて、前記対象ユーザの顔部を含む画像データを検索する検索手段
を備え、
前記正規化顔画像データは、年齢変化に伴う顔器官の位置のデータベースに基づいて、前記三次元顔モデルの年齢に対応するように、前記入力画像データから顔器官の位置が変換されたデータであることを特徴とする検索装置。 A search device for searching image data of a target user from an image database including a plurality of image data,
From the projected face image data obtained by projecting the normalized face image data obtained by normalizing the face portion of the target user of the input image data onto the three-dimensional face model, and projecting and converting the three-dimensional face model according to a predetermined orientation. User feature point registration means for extracting user feature points;
Search means for searching image data including the face portion of the target user based on the feature point of the target user from the image database ,
The normalized face image data is data obtained by converting the position of the facial organ from the input image data so as to correspond to the age of the three-dimensional face model based on the database of the position of the facial organ accompanying the age change. Oh retrieval apparatus according to claim Rukoto.
前記検索手段は、前記画像データベースから、前記画像人物対応データにおいて前記対象ユーザの識別子に対応する画像データを検索する
ことを特徴とする請求項６に記載の検索装置。 Image data including the face portion of the target user is extracted from the plurality of image data in the image database based on the feature points, and the identifier of the target user is associated with the identifier of the extracted image data Further comprising image person association means for storing image person correspondence data,
The search device according to claim 6 , wherein the search means searches the image database for image data corresponding to the identifier of the target user in the image person correspondence data.
コンピュータを、
入力画像データの対象ユーザの顔部を正規化した正規化顔画像データを三次元顔モデルに投影し、所定の向きに合わせた前記三次元顔モデルを投影変換した投影顔画像データから、前記対象ユーザの特徴点を抽出するユーザ特徴点登録手段と、
前記画像データベースから、前記対象ユーザの前記特徴点に基づいて、前記対象ユーザの顔部を含む画像データを検索する検索手段
として機能させ、
前記正規化顔画像データは、年齢変化に伴う顔器官の位置のデータベースに基づいて、前記三次元顔モデルの年齢に対応するように、前記入力画像データから顔器官の位置が変換されたデータであることを特徴とする検索プログラム。 A search program for searching image data of a target user from an image database including a plurality of image data,
Computer
From the projected face image data obtained by projecting the normalized face image data obtained by normalizing the face portion of the target user of the input image data onto the three-dimensional face model, and projecting and converting the three-dimensional face model according to a predetermined orientation. User feature point registration means for extracting user feature points;
Based on the feature point of the target user from the image database, function as search means for searching for image data including the target user's face ,
The normalized face image data is data obtained by converting the position of the facial organ from the input image data so as to correspond to the age of the three-dimensional face model based on the database of the position of the facial organ accompanying the age change. Oh search program characterized by Rukoto.
入力画像データの対象ユーザの顔部を正規化した正規化顔画像データを三次元顔モデルに投影し、所定の向きに合わせた前記三次元顔モデルを投影変換した投影顔画像データから、前記対象ユーザの特徴点を抽出するステップと、
前記画像データベースから、前記対象ユーザの前記特徴点に基づいて、前記対象ユーザの顔部を含む画像データを検索するステップ
を備え、
前記正規化顔画像データは、年齢変化に伴う顔器官の位置のデータベースに基づいて、前記三次元顔モデルの年齢に対応するように、前記入力画像データから顔器官の位置が変換されたデータであることを特徴とする検索方法。 A search method for searching image data of a target user from an image database including a plurality of image data,
From the projected face image data obtained by projecting the normalized face image data obtained by normalizing the face portion of the target user of the input image data onto a three-dimensional face model, and projecting and converting the three-dimensional face model in a predetermined orientation Extracting user feature points;
Searching the image database for image data including the face portion of the target user based on the feature point of the target user ;
The normalized face image data is data obtained by converting the position of the facial organ from the input image data so as to correspond to the age of the three-dimensional face model based on the database of the position of the facial organ accompanying the age change. Search and wherein the Rukoto Oh.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2013006122A JP6046501B2 (en) | 2013-01-17 | 2013-01-17 | Feature point output device, feature point output program, feature point output method, search device, search program, and search method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2013006122A JP6046501B2 (en) | 2013-01-17 | 2013-01-17 | Feature point output device, feature point output program, feature point output method, search device, search program, and search method |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2014137719A JP2014137719A (en) | 2014-07-28 |
| JP6046501B2 true JP6046501B2 (en) | 2016-12-14 |
Family
ID=51415181
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2013006122A Active JP6046501B2 (en) | 2013-01-17 | 2013-01-17 | Feature point output device, feature point output program, feature point output method, search device, search program, and search method |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6046501B2 (en) |
Families Citing this family (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101643573B1 (en) * | 2014-11-21 | 2016-07-29 | 한국과학기술연구원 | Method for face recognition, recording medium and device for performing the method |
| KR102290392B1 (en) * | 2014-12-02 | 2021-08-17 | 삼성전자주식회사 | Method and apparatus for registering face, method and apparatus for recognizing face |
| JP5950486B1 (en) * | 2015-04-01 | 2016-07-13 | みずほ情報総研株式会社 | Aging prediction system, aging prediction method, and aging prediction program |
| WO2017006615A1 (en) * | 2015-07-09 | 2017-01-12 | みずほ情報総研 株式会社 | Aging prediction system, aging prediction method, and aging prediction program |
| KR102184493B1 (en) * | 2018-12-31 | 2020-11-30 | 주식회사 포스코아이씨티 | System for Face Recognition Based On AI |
| KR102137329B1 (en) * | 2018-12-24 | 2020-07-23 | 주식회사 포스코아이씨티 | Face Recognition System for Extracting Feature Vector Using Face Recognition Model Based on Deep Learning |
| KR102137328B1 (en) * | 2018-12-24 | 2020-07-23 | 주식회사 포스코아이씨티 | Face Recognition Service Providing System for Training Face Recognition Model Using Error Reduction Algorithm |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4653606B2 (en) * | 2005-05-23 | 2011-03-16 | 株式会社東芝 | Image recognition apparatus, method and program |
| JP4525523B2 (en) * | 2005-08-23 | 2010-08-18 | コニカミノルタホールディングス株式会社 | Authentication system, authentication method and program |
| JP4569670B2 (en) * | 2008-06-11 | 2010-10-27 | ソニー株式会社 | Image processing apparatus, image processing method, and program |
| JP5206366B2 (en) * | 2008-11-27 | 2013-06-12 | カシオ計算機株式会社 | 3D data creation device |
| JP5618593B2 (en) * | 2010-03-31 | 2014-11-05 | セコム株式会社 | Face image processing device |
-
2013
- 2013-01-17 JP JP2013006122A patent/JP6046501B2/en active Active
Also Published As
| Publication number | Publication date |
|---|---|
| JP2014137719A (en) | 2014-07-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6046501B2 (en) | Feature point output device, feature point output program, feature point output method, search device, search program, and search method | |
| US11501574B2 (en) | Multi-person pose recognition method and apparatus, electronic device, and storage medium | |
| JP6850291B2 (en) | Methods and devices for minimizing false positives in face recognition applications | |
| JP5134664B2 (en) | Annotation device | |
| CN111788572A (en) | Method and system for face recognition | |
| CN111612842B (en) | Method and device for generating pose estimation model | |
| US20100250588A1 (en) | Image searching system and image searching method | |
| CN109754464B (en) | Method and apparatus for generating information | |
| KR20180097915A (en) | Method for generating personalized three dimension face model and apparatus therefor | |
| CN108229375B (en) | Method and device for detecting face image | |
| JP7337428B1 (en) | CONTROL METHOD, CONTROL DEVICE, AND RECORDING MEDIUM FOR INTERACTIVE THREE-DIMENSIONAL REPRESENTATION OF OBJECT | |
| CN105096353A (en) | Image processing method and device | |
| KR102464271B1 (en) | Pose acquisition method, apparatus, electronic device, storage medium and program | |
| CN111967515A (en) | Image information extraction method, training method and device, medium and electronic equipment | |
| CN112036284B (en) | Image processing method, device, equipment and storage medium | |
| CN112598780A (en) | Instance object model construction method and device, readable medium and electronic equipment | |
| CN113822427A (en) | Model training method, image matching device and storage medium | |
| JP2014102746A (en) | Subject recognition device and subject recognition program | |
| CN111814811A (en) | Image information extraction method, training method and device, medium and electronic equipment | |
| JP2011223250A (en) | Photographing assisting apparatus, photographing assisting method, and program used therewith | |
| CN109376581B (en) | Object relation recognition method and device, storage medium and electronic device | |
| CN117218398A (en) | Data processing method and related device | |
| WO2022016803A1 (en) | Visual positioning method and apparatus, electronic device, and computer readable storage medium | |
| US20230316607A1 (en) | Image processing method and apparatus, computer device, computer-readable storage medium, and computer program product | |
| CN114693872A (en) | Eyeball data processing method and device, computer equipment and storage medium |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20150902 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20160727 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20160802 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20161003 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20161108 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20161117 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6046501 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |