JP2015225567A - Device of determining the same person and method of the same, and control program of the same - Google Patents

Device of determining the same person and method of the same, and control program of the same Download PDF

Info

Publication number
JP2015225567A
JP2015225567A JP2014110916A JP2014110916A JP2015225567A JP 2015225567 A JP2015225567 A JP 2015225567A JP 2014110916 A JP2014110916 A JP 2014110916A JP 2014110916 A JP2014110916 A JP 2014110916A JP 2015225567 A JP2015225567 A JP 2015225567A
Authority
JP
Japan
Prior art keywords
image
face
feature
faces
same person
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2014110916A
Other languages
Japanese (ja)
Other versions
JP6215774B2 (en
Inventor
学斌 胡
Gakuhin Ko
学斌 胡
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Priority to JP2014110916A priority Critical patent/JP6215774B2/en
Priority to CN201580027210.2A priority patent/CN106462980B/en
Priority to PCT/JP2015/061426 priority patent/WO2015182270A1/en
Priority to EP15798876.7A priority patent/EP3151191A4/en
Publication of JP2015225567A publication Critical patent/JP2015225567A/en
Priority to US15/290,087 priority patent/US10007842B2/en
Application granted granted Critical
Publication of JP6215774B2 publication Critical patent/JP6215774B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G06V40/173—Classification, e.g. identification face re-identification, e.g. recognising unknown faces across different face tracks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/30—Scenes; Scene-specific elements in albums, collections or shared content, e.g. social network photos or video
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation

Landscapes

  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • Collating Specific Patterns (AREA)
  • Image Processing (AREA)
  • Processing Or Creating Images (AREA)

Abstract

PROBLEM TO BE SOLVED: To provide a device of determining the same person which is capable of determining whether or not even persons having resemble faces are the same person, a method of determining the same person, and a control program of a computer of the device of determining the same person.SOLUTION: Whether or not existence of a plurality of relationship of approximate to non-approximate such that a feature quantity of one face of one image is approximate to a feature quantity of one face of another image (YES in Step 28) and a feature quantity of one face of one image does not resemble a feature quantity of all other faces other than one face of another image (YES in Step 29) is determined (Step 31). In the case where a plurality of the relationship of approximate to non-approximate exist, one face of one image and one face of another image are determined to be the same person.

Description

この発明は，同一人物判定装置ならびにその方法およびその制御プログラムに関する。   The present invention relates to an identical person determination device, a method thereof, and a control program thereof.

ディジタル・カメラ，スマートフォンの普及により，写真撮影が気軽となり，極めて多くの画像がメモリ・カード，パーソナル・コンピュータに保存されるようになってきている。多くの画像からアルバムを作成しようとする場合などには，主要人物を見つけるために人物ごとにグループ分けすることが必要となってくる。このために，複数の顔の識別（特許文献１），同一人物のグループの形成（特許文献２，３，４，５），人物照合（特許文献６），人間関係を類推するもの（特許文献７）などがある。   With the widespread use of digital cameras and smartphones, photography has become easy, and an extremely large number of images have been stored on memory cards and personal computers. When creating an album from many images, it is necessary to group by person to find the main person. For this purpose, identification of a plurality of faces (Patent Document 1), formation of a group of the same person (Patent Documents 2, 3, 4, 5), person verification (Patent Document 6), analogy of human relations (Patent Document) 7).

USP8379939USP8379939 特開2006-343791JP2006-343791 特開2007-102549JP2007-102549 特開2010-211785JP2010-211785 特開2012-64082JP2012-64082 特開2011-34133JP2011-34133 特開2009-59042JP2009-59042

複数の人物像が含まれている複数の画像から主要人物を分類する場合に，顔検出，認証技術により識別分類することは一般的であるが，複数の画像には主要人物以外の他人（他人の顔）の存在，様々な顔の向き，表情，照明条件などにより，人物の分類に不利な状況がある。このため，常に高精度な主要人物識別は容易ではない。人物の自動抽出の場合には，主要人物の事前登録もできない。   When a main person is classified from a plurality of images including a plurality of person images, it is common to classify and classify using face detection and authentication techniques. There are disadvantageous situations for the classification of people due to the presence of various faces, various face orientations, facial expressions, lighting conditions, and the like. For this reason, it is not always easy to identify the main person with high accuracy. In the case of automatic extraction of people, pre-registration of main people is also impossible.

特許文献１に記載のものは，複数の画像から複数の顔を識別するために顔同士の類似性の尺度としての距離を算出し，その距離にもとづいて顔を識別しているが，親子，兄弟，親戚などのように顔が類似している場合には，その距離が近くなるために，顔を区別できないことがある。特許文献２に記載のものは，時間的に異なるフレームから検出される顔領域に対応する領域を見つけ，同一人物のグループを形成するものであるから，動画が必要となる。特許文献３に記載のものは，顔の特徴量ごとにソートするものであり，類似している顔同士を区別することは難しい。特許文献４に記載のものは，類似性にしたがって複数の顔領域をグループ化しているが，類似している顔同士を区別することは難しい。特許文献５に記載のものは，表情ごとの顔特徴量を記憶し，検出された顔特徴量と比較することにより人物を識別しているが，類似している顔を識別することは難しい。特許文献６に記載のものは，タグ情報として，兄弟，親戚のＩＤが付加され，兄弟，親戚などの画像の類似度を求めて照合しているが，そのためにあらかじめデータベースに登録する必要がある。特許文献７に記載のものは，一緒に写っている人物を利用して人物が誰かを推定するが，その精度が高いとは言えない。   The device described in Patent Document 1 calculates a distance as a measure of similarity between faces in order to identify a plurality of faces from a plurality of images, and identifies a face based on the distance. If the faces are similar, such as siblings or relatives, the faces may not be distinguished because the distance is close. Since the thing of patent document 2 finds the area | region corresponding to the face area detected from a temporally different flame | frame, and forms the group of the same person, a moving image is required. The thing of patent document 3 sorts for every feature-value of a face, and it is difficult to distinguish similar faces. Although the thing of patent document 4 groups the several face area | region according to similarity, it is difficult to distinguish the faces which are similar. Although the thing of patent document 5 memorize | stores the face feature-value for every facial expression, and identifies a person by comparing with the detected face feature-value, it is difficult to identify a similar face. In the document described in Patent Document 6, IDs of siblings and relatives are added as tag information, and the similarity of images of siblings and relatives is obtained and collated, but for this purpose, it is necessary to register them in the database in advance. . Although the thing of patent document 7 estimates who is a person using the person shown together, it cannot be said that the precision is high.

この発明は，親子，兄弟，親戚などのように類似している顔同士であっても，同一人物かどうかを判定できるようにすることを目的とする。   An object of the present invention is to make it possible to determine whether or not the faces are similar, such as parents and children, siblings, relatives, and the like.

この発明による同一人物判定装置は，複数の顔が含まれている一の画像から，複数の顔のそれぞれの顔の特徴量を算出する第１の特徴量算出手段，第１の特徴量算出手段によって一の画像から算出されたそれぞれの顔の特徴量と，一の画像と異なる他の画像に含まれる複数の顔のそれぞれの顔の特徴量と，を比較する特徴量比較手段，および特徴量比較手段における比較によって，一の画像から算出された一の顔の特徴量と他の画像から得られた一の顔の特徴量とが近似し，かつ一の画像から算出された一の顔の特徴量と他の画像から得られた一の顔以外のすべての他の顔の特徴量とが近似していない関係が，一の画像と他の画像とから複数得られたことにより，一の画像に含まれている一の顔と他の画像に含まれている一の顔とが同一人物の顔と判定する人物判定手段を備えていることを特徴とする。   The same person determination device according to the present invention includes a first feature amount calculation unit and a first feature amount calculation unit that calculate a feature amount of each of a plurality of faces from one image including a plurality of faces. A feature amount comparing means for comparing the feature amount of each face calculated from one image with the feature amount of each of a plurality of faces included in another image different from the one image, and the feature amount By comparison in the comparison means, the feature quantity of one face calculated from one image approximates the feature quantity of one face obtained from another image, and the one face calculated from one image is approximated. Since the relationship between the feature quantity and the feature quantities of all other faces other than one face obtained from other images is not approximated, One face included in an image and one face included in another image are the same person Characterized in that it comprises a person determining section for determining a face.

この発明は，同一人物判定方法も提供している。すなわち，この方法は，特徴量算出手段が，複数の顔が含まれている一の画像から，複数の顔のそれぞれの顔の特徴量を算出し，特徴量比較手段が，第１の特徴量算出手段によって一の画像から算出されたそれぞれの顔の特徴量と，一の画像と異なる他の画像に含まれる複数の顔のそれぞれの顔の特徴量と，を比較し，人物判定手段が，特徴量比較手段における比較によって，一の画像から算出された一の顔の特徴量と他の画像から得られた一の顔の特徴量とが近似し，かつ一の画像から算出された一の顔の特徴量と他の画像から得られた一の顔以外のすべての他の顔の特徴量とが近似していない関係が，一の画像と他の画像とから複数得られたことにより，一の画像に含まれている一の顔と他の画像に含まれている一の顔とが同一人物の顔と判定するものである。   The present invention also provides a method for determining the same person. That is, in this method, the feature quantity calculating means calculates the feature quantity of each face of the plurality of faces from one image including a plurality of faces, and the feature quantity comparing means is the first feature quantity. The feature determination unit compares each face feature amount calculated from one image by the calculation unit with each face feature amount of a plurality of faces included in another image different from the one image. The feature amount of one face calculated from one image approximates the feature amount of one face obtained from another image by the comparison in the feature amount comparison means, and the one calculated from one image The fact that the feature quantities of the face and the feature quantities of all other faces other than one face obtained from another image are not approximated is obtained from one image and other images, so that One face contained in one image and one face contained in another image are the faces of the same person It is intended to determine.

この発明は，同一物判定装置のコンピュータを制御するコンピュータが読み取り可能なプログラムも提供している。そのようなプログラムを格納した記録媒体を提供するようにしてもよい。   The present invention also provides a computer-readable program for controlling the computer of the same object determination apparatus. A recording medium storing such a program may be provided.

人物判定手段は，たとえば，関係が，一の画像と他の画像とから複数得られたことにより，一の画像に含まれている一の顔と他の画像に含まれている一の顔とが同一人物の顔と判定し，かつ一の画像に含まれている一の顔と他の画像に含まれているすべての他の顔とが非同一人物と判定するものである。   The person determination means, for example, can obtain one face included in one image and one face included in another image by obtaining a plurality of relationships from one image and another image. Are the faces of the same person, and one face included in one image and all other faces included in another image are determined to be non-identical persons.

人物判定手段は，関係が一の画像と他の画像とから一つだけ得られた場合には，一の画像に含まれている一の顔と他の画像に含まれている一の顔とが同一人物の顔であるとは判定しないものでもよい。   In the case where only one relationship is obtained from one image and another image, the person determination means determines that one face included in the one image and one face included in the other image May not be determined to be the faces of the same person.

他の画像から，複数の顔のそれぞれの顔の特徴量を算出する第２の特徴量算出手段をさらに備えてもよい。この場合，特徴量比較手段は，第１の特徴量算出手段によって一の画像から算出されたそれぞれの顔の特徴量と，第２の特徴量算出手段によって他の画像から算出されたそれぞれの顔の特徴量と，を比較するものとなろう。   You may further provide the 2nd feature-value calculation means which calculates the feature-value of each face of a some face from another image. In this case, the feature amount comparison unit is configured such that each face feature amount calculated from one image by the first feature amount calculation unit and each face calculated from another image by the second feature amount calculation unit. It will be compared with the feature quantity.

他の画像に含まれる複数の顔のそれぞれの顔の特徴量を記憶する特徴量記憶手段をさらに備えてもよい。この場合，特徴量比較手段は，第１の特徴量算出手段によって一の画像から算出されたそれぞれの顔の特徴量と，特徴量記憶手段に記憶されている，それぞれの顔の特徴量と，を比較するものとなろう。   You may further provide the feature-value memory | storage means which memorize | stores the feature-value of each face of the some face contained in another image. In this case, the feature amount comparison unit includes the feature amount of each face calculated from one image by the first feature amount calculation unit, the feature amount of each face stored in the feature amount storage unit, Will be compared.

他の画像が複数存在している場合には，複数の他の画像について，特徴量比較手段における処理および人物判定手段における処理を行わせる制御手段をさらに備えてもよい。   In the case where there are a plurality of other images, a control unit may be further provided that performs the processing in the feature amount comparison unit and the processing in the person determination unit for the plurality of other images.

人物判定手段によって同一人物の顔と判定された顔ごとにグループ化するグループ化手段をさらに備えてもよい。   You may further provide the grouping means to group for every face determined as the face of the same person by the person determination means.

この発明によると，複数の顔が含まれている一の画像から，複数の顔のそれぞれの顔の特徴量が算出される。算出されたそれぞれの顔の特徴量と，一の画像と異なる他の画像に含まれる複数の顔のそれぞれの顔の特徴量とが比較される（他の画像に含まれる複数の顔の特徴量は，あらかじめ算出されていてもよいし，比較される時に算出されてもよい）。一の画像から算出された一の顔の特徴量と他の画像から算出された一の顔の特徴量とが近似し（例えば，一の画像から算出された一の顔の特徴量と他の画像から算出された一の顔の特徴量との差分がしきい値以内であれば近似すると判断される），かつ一の画像から算出された一の顔の特徴量と他の画像から算出された一の顔以外のすべての他の顔の特徴量とが近似していない（例えば，一の画像から算出された一の顔の特徴量と他の画像から算出された位置の顔以外のすべての他の顔の特徴量との差分がしきい値を越えていれば近似しないと判断される）という関係が，一の画像と他の画像とから複数得られた場合には，一の画像に含まれている一の顔と他の画像に含まれている一の顔とが同一人物と判定される。   According to the present invention, the feature amount of each of the plurality of faces is calculated from one image including the plurality of faces. The calculated feature values of each face are compared with the feature values of each of a plurality of faces included in another image different from the one image (a plurality of face feature values included in another image). May be calculated in advance or may be calculated when compared). The feature quantity of one face calculated from one image approximates the feature quantity of one face calculated from another image (for example, the feature quantity of one face calculated from one image and the other If the difference from the feature value of one face calculated from the image is within the threshold value, it is determined that the difference is within the threshold), and the feature value of one face calculated from the one image and the other image are calculated. The feature values of all other faces other than the one face are not approximate (for example, all the features other than the face feature value calculated from one image and the face calculated from the other image) If there is more than one relationship between one image and another image, the difference between the feature value of the other face and the facial feature value exceeds the threshold value) One face included in the image and one face included in another image are determined to be the same person.

この発明によると，一の画像から算出された一の顔の特徴量と他の画像から算出された一の顔の特徴量とが近似しているだけでなく，一の画像から算出された一の顔の特徴量と他の画像から算出された一の顔以外のすべての他の顔の特徴量とが近似していないという関係が，一の画像と他の画像とから複数得られた場合に，一の画像に含まれている一の顔と他の画像に含まれている一の顔とが同一人物と判定される。単に顔の特徴量が近似しているから，それらの顔の人物が同一人物と判定されるのではなく，顔の特徴量が近似していないということを考慮して，それらの顔の人物が同一人物と判定しているので，類似している顔同士であっても同一人物かどうかを判定できる。しかも，一の画像から算出された一の顔の特徴量と他の画像から算出された一の顔以外のすべての他の顔の特徴量とが近似していないという関係が，１つだけでなく複数得られた場合に，一の画像に含まれている一の顔と他の画像に含まれている一の顔とが同一人物と判定されるので，親子，兄弟，親戚など，より類似している顔同士の人物であっても同一人物かどうかを判定できるようになる。同一人物の判定精度を高くするためには同一人物かどうかを判定するための顔の類似度のしきい値を上げる必要があるが，このしきい値を上げると，同一人物であっても同一人物でないと判定されてしまうことがある。この発明によると，上述した関係が複数得られた場合に同一人物と判定されるので，同一人物かどうかを判定するための顔の類似度のしきい値を抑えることができる。より多くの同一人物の判定が可能となる。   According to the present invention, not only the feature value of one face calculated from one image is approximated to the feature value of one face calculated from another image, but also one feature value calculated from one image. When there are multiple relationships from one image and other images that the feature values of one face and the feature values of all other faces other than one face calculated from other images are not approximate In addition, one face included in one image and one face included in another image are determined to be the same person. Since the facial feature values are simply approximated, it is not determined that the facial characters are the same person, but the facial features are not approximated. Since it is determined that they are the same person, it can be determined whether the faces are similar even if they are similar. In addition, there is only one relationship in which the feature amount of one face calculated from one image and the feature amounts of all other faces other than one face calculated from another image are not approximated. If more than one is obtained, one face included in one image and one face included in another image are judged to be the same person, so it is more similar to parents, children, siblings, relatives, etc. It is possible to determine whether or not the faces are the same person. To increase the accuracy of the same person, it is necessary to increase the threshold of facial similarity for determining whether or not the person is the same. It may be determined that the person is not a person. According to the present invention, since the same person is determined when a plurality of the above-described relationships are obtained, the threshold value of the face similarity for determining whether or not they are the same person can be suppressed. More same person can be determined.

同一人物判定装置の電気的構成を示すブロック図である。It is a block diagram which shows the electrical structure of the same person determination apparatus. 同一人物判定装置の処理手順を示すフローチャートである。It is a flowchart which shows the process sequence of the same person determination apparatus. 同一人物判定装置の処理手順を示すフローチャートである。It is a flowchart which shows the process sequence of the same person determination apparatus. 同一人物判定装置の処理手順を示すフローチャートである。It is a flowchart which shows the process sequence of the same person determination apparatus. 画像の一例である。It is an example of an image. 画像の一例である。It is an example of an image. 画像の一例である。It is an example of an image. 画像の一例である。It is an example of an image. 画像から検出された顔を示している。The face detected from the image is shown. 画像から検出された顔を示している。The face detected from the image is shown. 画像から検出された顔を示している。The face detected from the image is shown. 画像から検出された顔を示している。The face detected from the image is shown. 特徴量テーブルの一例である。It is an example of a feature-value table. 同一人物テーブルの一例である。It is an example of the same person table. 非同一人物テーブルの一例である。It is an example of a nonidentical person table.

図１は，この発明の実施例を示すもので，同一人物判定装置の電気的構成を示すブロック図である。   FIG. 1 shows an embodiment of the present invention and is a block diagram showing an electrical configuration of the same person determination apparatus.

同一人物判定装置１の全体の動作は，ＣＰＵ（中央処理装置）６によって統括される。   The overall operation of the same person determination device 1 is controlled by a CPU (central processing unit) 6.

同一人物判定装置１には，インターネットなどのネットワークを介して他の装置と通信するための通信装置２，データ等を一時的に記憶するメモリ３，表示装置４および表示装４を制御する表示制御装置５が含まれている。また，同一人物判定装置１には，コマンド等を同一人物判定装置１に与えるためのキーボードなどの入力装置７が設けられている。入力装置７からの出力信号は，ＣＰＵ６に与えられる。   The same person determination device 1 includes a communication device 2 for communicating with other devices via a network such as the Internet, a memory 3 for temporarily storing data, a display control for controlling the display device 4 and the display device 4. A device 5 is included. Further, the same person determination device 1 is provided with an input device 7 such as a keyboard for giving a command or the like to the same person determination device 1. An output signal from the input device 7 is given to the CPU 6.

さらに，同一人物判定装置１には，画像データなどのデータを記憶するハードディスク９，ハードディスク９にアクセスするためのハードディスク・ドライブ８ならびにコンパクト・ディスク11にアクセスするためにコンパクト・ディスク・ドライブ10も含まれている。   Further, the same person determination device 1 includes a hard disk 9 for storing data such as image data, a hard disk drive 8 for accessing the hard disk 9, and a compact disk drive 10 for accessing the compact disk 11. It is.

コンパクト・ディスク11に，後述する動作を制御するプログラムが格納されている。そのプログラムがコンパクト・ディスク・ドライブ10によってコンパクト・ディスク11から読み取られる。読み取られたプログラムが同一人物判定装置１にインストールされることにより，後述する動作が行われる。プログラムは，コンパクト・ディスク11のような記録媒体に格納されていなくとも，通信装置２を利用してネットワークからダウンロードされるようにしてもよい。   The compact disk 11 stores a program for controlling operations described later. The program is read from the compact disk 11 by the compact disk drive 10. When the read program is installed in the same person determination apparatus 1, an operation described later is performed. The program may be downloaded from the network using the communication device 2 even if it is not stored in a recording medium such as the compact disk 11.

図２から図４は，同一人物判定装置１の処理手順を示すフローチャート，図５から図８は，複数の顔が含まれている画像の一例である。これらの画像を表わす画像データは，ハードディスク９に格納されているが，ハードディスク９に格納させていなくとも，通信装置２を介してダウンロードされてもよいし，メモリ・カードなどの記録媒体に記録されている画像データが同一人物判定装置１において読み取られてもよい。   2 to 4 are flowcharts showing the processing procedure of the same person determination apparatus 1, and FIGS. 5 to 8 are examples of images including a plurality of faces. The image data representing these images is stored in the hard disk 9, but may be downloaded via the communication device 2 even if not stored in the hard disk 9, or recorded on a recording medium such as a memory card. The same person determination device 1 may read the image data that are stored.

図５は第１の画像Ｉ１を示しており，人物像Ｈ11からＨ14が含まれている。第１の画像Ｉ１は家族が撮像された画像であり，人物像Ｈ11，Ｈ12，Ｈ13およびＨ14は，それぞれ母親の画像，長男の画像，次男の画像および父親の画像である。図６は第２の画像Ｉ２を示しており，人物像Ｈ21からＨ23が含まれている。第２の画像Ｉ２は，母親と父親との夫婦とその友人が撮像された画像であり，人物像Ｈ21，Ｈ22およびＨ23は，それぞれ母親の画像，父親の画像および友人の画像である。図７は第３の画像Ｉ３を示しており，人物像Ｈ31およびＨ32が含まれている。第３の画像Ｉ３は親子で撮像された画像であり，人物像Ｈ31およびＨ32は，長男の画像および母親の画像である。図８は第４の画像Ｉ４を示しており，人物像Ｈ41からＨ43が含まれている。第４の画像Ｉ４は親子と友人とで撮像された画像であり，人物像Ｈ41，Ｈ42およびＨ43は，母親の画像，友人の画像および長男の画像である。図５から図８においては，人物像が誰か分るように，それぞれの人物像に「母」，「長男」，「次男」，「父」または「友人」の文字が付されているが，同一人物判定装置１は，どの人物像が，母，長男，次男，父または友人かは認識しない（もっとも，それぞれの人物の特徴をあらかじめ同一人物判定装置１に登録しておき，それぞれの人物像がだれかが認識されるようにしてもよい）。   FIG. 5 shows the first image I1, which includes person images H11 to H14. The first image I1 is an image of the family, and the person images H11, H12, H13, and H14 are a mother image, an eldest son image, a second son image, and a father image, respectively. FIG. 6 shows the second image I2, which includes person images H21 to H23. The second image I2 is an image of a mother and father couple and their friends, and the person images H21, H22 and H23 are a mother image, father image and friend image, respectively. FIG. 7 shows a third image I3, which includes human images H31 and H32. The third image I3 is an image captured by the parent and child, and the person images H31 and H32 are the eldest son's image and the mother's image. FIG. 8 shows a fourth image I4, which includes person images H41 to H43. The fourth image I4 is an image captured by a parent and child and a friend, and the person images H41, H42, and H43 are a mother image, a friend image, and an eldest son image. In FIG. 5 to FIG. 8, the characters “mother”, “eldest son”, “second son”, “father” or “friend” are attached to each person image so that the person image is known. The same person determination device 1 does not recognize which person image is the mother, eldest son, second son, father or friend (although the characteristics of each person are registered in the same person determination device 1 in advance and each person image is May be recognized).

この実施例は，複数の顔が含まれている複数の画像から，同一人物の顔を判定するものである。この実施例では，４つの画像Ｉ１からＩ４の画像から，同一人物の顔を判定するが，複数の顔が含まれている複数の画像があれば，４つの画像に限らないのはいうまでもない。   In this embodiment, the face of the same person is determined from a plurality of images including a plurality of faces. In this embodiment, the face of the same person is determined from the four images I1 to I4. However, if there are a plurality of images including a plurality of faces, the image is not limited to four images. Absent.

複数の画像Ｉ１からＩ４の中から，一の画像がＣＰＵ６によって決定される（図２ステップ21）。同一人物判定装置１のユーザによって決定されてもよい。第１の画像Ｉ１が一の画像として決定されたものとする。つづいて，決定された一の画像Ｉ１についてＣＰＵ６によって顔検出処理が行われ，一の画像Ｉ１から顔が検出される（図２ステップ22）。   One image is determined by the CPU 6 from the plurality of images I1 to I4 (step 21 in FIG. 2). It may be determined by the user of the same person determination device 1. It is assumed that the first image I1 is determined as one image. Subsequently, the CPU 6 performs face detection processing on the determined one image I1, and a face is detected from the one image I1 (step 22 in FIG. 2).

図９は，一の画像Ｉ１から顔Ｆ11からＦ14が検出された様子を示している。顔Ｆ11は，人物像Ｈ11から検出された顔であり，「母」の顔Ｆ11である。顔Ｆ12は，人物像Ｈ12から検出された顔であり，「長男」の顔Ｆ12である。顔Ｆ13は，人物像Ｈ13から検出された顔であり，「次男」の顔Ｆ13である。顔Ｆ14は，人物像Ｈ14から検出された顔であり，「父」の顔Ｆ14である。図９においても，誰の顔かが分るように，「母」，「長男」，「次男」または「父」の文字が付されているが，上述したように，同一人物判定装置１は，検出された顔が誰の顔かは認識していない。   FIG. 9 shows a state in which faces F11 to F14 are detected from one image I1. The face F11 is a face detected from the person image H11, and is the “mother” face F11. The face F12 is a face detected from the person image H12, and is the face F12 of the “eldest son”. The face F13 is a face detected from the person image H13, and is the face F13 of the “second son”. The face F14 is a face detected from the person image H14, and is the “Father” face F14. In FIG. 9, the characters “mother”, “eldest son”, “second son” or “father” are added so that the face of the person can be seen. , It does not recognize who the detected face is.

つづいて，一の画像Ｉ１から検出された複数の顔Ｆ11，Ｆ12，Ｆ13およびＦ14のそれぞれの顔の特徴量がＣＰＵ６によって算出され（第１の特徴量算出手段），算出された顔の特徴量が特徴量テーブル（特徴量記憶手段）に記憶させられる（図２ステップ23）。特徴量テーブルはメモリ３（特徴量記憶手段）に記憶される。顔の特徴量は，顔全体に対する目，鼻，口，耳などの位置，大きさなどを数値化したものであり，公知の手法により得られる。   Subsequently, the face feature amounts of the plurality of faces F11, F12, F13, and F14 detected from the one image I1 are calculated by the CPU 6 (first feature amount calculating means), and the calculated face feature amounts are calculated. Is stored in the feature amount table (feature amount storage means) (step 23 in FIG. 2). The feature quantity table is stored in the memory 3 (feature quantity storage means). The facial feature value is obtained by quantifying the position and size of the eyes, nose, mouth, ears, and the like with respect to the entire face, and is obtained by a known method.

図13は，特徴量テーブルの一例である。   FIG. 13 is an example of the feature amount table.

特徴量テーブルは，画像から検出された顔ごとに，算出された顔の特徴量を記憶するものである。特徴量テーブルは，メモリ３に格納される。一の画像Ｉ１から検出された顔Ｆ11，Ｆ12，Ｆ13およびＦ14のそれぞれの顔の特徴量は，Ｌ11，Ｌ12，Ｌ13およびＬ14である。   The feature amount table stores the calculated face feature amount for each face detected from the image. The feature amount table is stored in the memory 3. The face feature amounts of the faces F11, F12, F13 and F14 detected from one image I1 are L11, L12, L13 and L14.

図２に戻って，ＣＰＵ６によって他の画像が決定される（ステップ24）。もっとも，同一人物判定装置１を操作するユーザによって，他の画像が決定されてもよい。ここでは，ＣＰＵ６によって，第２の画像Ｉ６が他の画像として決定されたものとする。つづいて，一の画像Ｉ１と同様に，ＣＰＵ６によって顔検出処理が行われ，他の画像として決定された第２の画像Ｉ２から顔が検出される（図２ステップ25）。   Returning to FIG. 2, another image is determined by the CPU 6 (step 24). However, another image may be determined by a user who operates the same person determination device 1. Here, it is assumed that the second image I6 is determined as another image by the CPU 6. Subsequently, the face detection process is performed by the CPU 6 as in the case of the one image I1, and the face is detected from the second image I2 determined as the other image (step 25 in FIG. 2).

図10は，他の画像Ｉ２から顔Ｆ21からＦ23が検出された様子を示している。顔Ｆ21は，人物像Ｈ21から検出された顔であり，「母」の顔Ｆ21である。顔Ｆ22は，人物像Ｈ22から検出された顔であり，「父」の顔である。顔Ｆ23は，人物像Ｈ23から検出された顔であり，「友人」の顔である。図10においても，誰の顔かが分るように，「母」，「父」または「友人」の文字が付されている。   FIG. 10 shows a state in which faces F21 to F23 are detected from another image I2. The face F21 is a face detected from the person image H21 and is the “mother” face F21. The face F22 is a face detected from the person image H22 and is the face of “Father”. The face F23 is a face detected from the person image H23 and is a face of a “friend”. Also in FIG. 10, the letters “mother”, “father” or “friend” are added so that the face of the person can be seen.

図２に戻って，上述したのと同様に，他の画像Ｉ２から検出された複数の顔Ｆ21，Ｆ22およびＦ23のそれぞれの顔の特徴量がＣＰＵ６によって算出され（第２の特徴量算出手段），算出された顔の特徴量が特徴量テーブルに記憶させられる（ステップ26）。これにより，図13の特徴量テーブルに，他の画像Ｉ２から検出された顔Ｆ21，Ｆ22およびＦ23のそれぞれの顔の特徴量としてＬ21，Ｌ22およびＬ23が記憶させられる。   Returning to FIG. 2, as described above, the face feature amounts of the plurality of faces F21, F22 and F23 detected from the other image I2 are calculated by the CPU 6 (second feature amount calculating means). , The calculated facial feature quantity is stored in the feature quantity table (step 26). As a result, L21, L22, and L23 are stored in the feature amount table of FIG. 13 as the face feature amounts of the faces F21, F22, and F23 detected from the other image I2.

つづいて，一の画像Ｉ１から算出されたそれぞれの顔の特徴量Ｌ11，Ｌ12，Ｌ13およびＬ14と，一の画像と異なる他の画像Ｉ２から算出されたそれぞれの顔の特徴量Ｌ21，Ｌ22およびＬ23と，がＣＰＵ６によって比較される［特徴量比較手段，第１の特徴量算出手段によって一の画像から算出されたそれぞれの顔の特徴量と，第２の特徴量算出手段によって他の画像から算出されたそれぞれの顔の特徴量（特徴量記憶手段に記憶されている，それぞれの顔の特徴量）とが比較されることとなる］（図３ステップ27）。この比較によって，一の画像Ｉ１から算出された一の顔の特徴量と他の画像Ｉ２から得られた一の顔の特徴量とが近似し，かつ一の画像Ｉ１から算出された一の顔の特徴量と他の画像Ｉ２から得られた一の顔以外のすべての他の顔の特徴量とが近似していない関係（近似−非近似関係）が，一の画像Ｉ１と他の画像Ｉ２とから複数得られるかどうか判定される。そのような関係が複数得られると，一の画像Ｉ１に含まれている一の顔と他の画像Ｉ２に含まれている一の顔とが同一人物の顔と判定される。   Subsequently, the facial feature amounts L11, L12, L13, and L14 calculated from one image I1, and the facial feature amounts L21, L22, and L23 calculated from another image I2 different from the one image. Are compared by the CPU 6 [feature feature values calculated from one image by the feature value comparison means and the first feature value calculation means, and calculated from other images by the second feature value calculation means. Each face feature amount (each face feature amount stored in the feature amount storage means) is compared] (step 27 in FIG. 3). By this comparison, the feature amount of one face calculated from one image I1 approximates the feature amount of one face obtained from another image I2, and one face calculated from one image I1. The relationship between the feature amount of the image I and the feature amounts of all other faces other than the one face obtained from the other image I2 (approximate-non-approximate relationship) is that the one image I1 and the other image I2 It is determined whether or not two or more can be obtained. When a plurality of such relationships are obtained, it is determined that one face included in one image I1 and one face included in another image I2 are the faces of the same person.

まず，一の画像Ｉ１から算出された一の顔の特徴量と，他の画像Ｉ２から算出された一の顔の特徴量とが近似しているかどうかが判定される（図３ステップ28）。たとえば，一の画像Ｉ１に含まれる顔Ｆ11からＦ14のうち，一の顔として顔Ｆ11がＣＰＵ６によって決定され，他の画像Ｉ２に含まれる顔Ｆ21からＦ23のうち，一の顔として顔Ｆ21がＣＰＵ６によって決定される。一の画像Ｉ１に含まれる一の顔Ｆ11の特徴量Ｌ11と他の画像Ｉ２に含まれる一の顔Ｆ21の特徴量Ｌ21とが近似しているかどうかが判定される。特徴量Ｌ11と特徴量Ｌ21との差分がしきい値未満（以下）であれば，これらの特徴量Ｌ11と特徴量Ｌ21とは近似しているものと判定される。特徴量Ｌ11と特徴量Ｌ21との差分がしきい値以上（しきい値より大きい）であれば，これらの特徴量Ｌ11と特徴量Ｌ21とは近似していないと判定される。しきい値は，同一人物の複数の顔について特徴量を算出し，得られる特徴量の変動量から決定できる。   First, it is determined whether the feature quantity of one face calculated from one image I1 is approximate to the feature quantity of one face calculated from another image I2 (step 28 in FIG. 3). For example, among the faces F11 to F14 included in one image I1, the face F11 is determined by the CPU 6 as one face, and among the faces F21 to F23 included in the other image I2, the face F21 is the CPU 6 as one face. Determined by. It is determined whether or not the feature quantity L11 of one face F11 included in one image I1 is approximate to the feature quantity L21 of one face F21 contained in another image I2. If the difference between the feature value L11 and the feature value L21 is less than the threshold value (below), it is determined that the feature value L11 and the feature value L21 are approximate. If the difference between the feature value L11 and the feature value L21 is equal to or greater than a threshold value (greater than the threshold value), it is determined that the feature value L11 and the feature value L21 are not approximate. The threshold value can be determined from the variation amount of the feature amount obtained by calculating the feature amount for a plurality of faces of the same person.

さらに，一の画像Ｉ１の一の顔の特徴量と他の画像Ｉ２のすべての他の顔の特徴量とが近似していないかどうかが判定される（図３ステップ29）。たとえば，一の画像Ｉ１の一の顔Ｆ11の特徴量Ｌ11と他の画像Ｉ２の他の顔Ｆ22の特徴量Ｌ22とが近似せず，かつ一の画像Ｉ１の一の顔Ｆ11の特徴量Ｌ11と他の画像Ｉ２の他の顔Ｆ23の特徴量Ｌ23とが近似していないかどうかが判定される。特徴量Ｌ11と特徴量Ｌ22との差分がしきい値以上（しきい値より大きい）であれば，これらの特徴量Ｌ11と特徴量Ｌ22とは近似していないと判定され，そうでなければ，近似していると判定される。このしきい値は，親子，兄弟，親戚など，同一人物ではないが，似ている複数の顔について特徴量を算出し，得られる特徴量の差分から決定できる。   Further, it is determined whether the feature amount of one face of one image I1 is not approximate to the feature amounts of all other faces of another image I2 (step 29 in FIG. 3). For example, the feature quantity L11 of one face F11 of one image I1 and the feature quantity L22 of another face F22 of another image I2 are not approximate, and the feature quantity L11 of one face F11 of one image I1 is It is determined whether the feature amount L23 of the other face F23 of the other image I2 is not approximate. If the difference between the feature quantity L11 and the feature quantity L22 is greater than or equal to a threshold value (greater than the threshold value), it is determined that the feature quantity L11 and the feature quantity L22 are not approximated. It is determined that they are approximate. This threshold value can be determined from the difference between the feature values obtained by calculating the feature values of a plurality of similar faces that are not the same person, such as parents and children, siblings, and relatives.

一の画像Ｉ１に含まれるすべての顔Ｆ11，Ｆ12，Ｆ13およびＦ14について，一の顔Ｆ11が，Ｆ12，Ｆ13およびＦ14に変更させられて，ステップ28および29の処理が行われる（図３ステップ30）。また，他の画像Ｉ２に含まれるすべての顔Ｆ21，Ｆ22およびＦ23について，一の顔Ｆ21が，Ｆ22およびＦ23に変更させられて，ステップ28および29の処理が行われる（図３ステップ30）。一の画像Ｉ１に含まれる顔Ｆ11からＦ14と他の画像Ｉ２に含まれる顔Ｆ21からＦ23とのすべての組み合わせについてステップ28および29の処理が行われることとなる。   For all the faces F11, F12, F13 and F14 included in one image I1, the one face F11 is changed to F12, F13 and F14, and the processes of steps 28 and 29 are performed (step 30 in FIG. 3). ). Further, for all the faces F21, F22, and F23 included in the other image I2, the one face F21 is changed to F22 and F23, and the processes of steps 28 and 29 are performed (step 30 in FIG. 3). Steps 28 and 29 are performed for all combinations of the faces F11 to F14 included in one image I1 and the faces F21 to F23 included in another image I2.

ステップ28において近似しているとされた判定結果およびステップ29において近似していないとされた判定結果の関係（近似−非近似関係）が複数存在するかどうかが判定される（図３ステップ31）。   It is determined whether or not there are a plurality of relations (approximation-non-approximation relation) between the determination result determined to be approximate in step 28 and the determination result determined not to be approximate in step 29 (step 31 in FIG. 3). .

近似−非近似関係が複数存在すると判定されると（図３ステップ31でＹＥＳ），そのように判定された一の画像の一の顔と他の画像の一の顔とが同一人物の顔とＣＰＵ６によって判定される（人物判定手段）（図４ステップ32）。その判定結果が同一人物テーブルに格納される（図４ステップ32）。   If it is determined that there are a plurality of approximate-non-approximate relationships (YES in step 31 in FIG. 3), one face of one image determined as described above and one face of another image are the faces of the same person. It is determined by the CPU 6 (person determination means) (step 32 in FIG. 4). The determination result is stored in the same person table (step 32 in FIG. 4).

図14は，同一人物テーブルの一例である。   FIG. 14 is an example of the same person table.

同一人物テーブルには，人物ごとに，その人物と判定された人物像の識別データが格納される。図14においては，分りやすくするためにグループごとに人物像の符号が格納されている。たとえば，グループ１，２，３および４は，それぞれ母親，長男，次男および父親のグループである。それぞれのグループに対応した人物像の符号が格納される。同一人物と判定された顔ごとにＣＰＵ６によってグループ化されることとなる。このような同一人物テーブルは，ＣＰＵ６によって生成され（グループ化手段），メモリ３に格納される。   In the same person table, identification data of a person image determined to be the person is stored for each person. In FIG. 14, the sign of a person image is stored for each group for easy understanding. For example, groups 1, 2, 3 and 4 are groups of mother, eldest son, second son and father, respectively. The code of the person image corresponding to each group is stored. The faces determined to be the same person are grouped by the CPU 6. Such an identical person table is generated by the CPU 6 (grouping means) and stored in the memory 3.

図４に戻って，一の画像の一の顔と他の画像の一の顔とが同一人物の顔と判定されると，一の画像の一の顔と他の画像の一の顔以外のすべての他の顔とは同一人物では無いと考えられる。このために，一の画像の一の顔と他の画像のすべての他の顔とが非同一人物であるとＣＰＵ６によって判定される（人物判定手段）（図４ステップ33）。このような判定結果は非同一人物テーブルに格納される（図４ステップ33）。   Returning to FIG. 4, when one face of one image and one face of another image are determined to be the same person's face, other than one face of one image and one face of another image It is considered that all other faces are not the same person. For this reason, the CPU 6 determines that one face of one image and all other faces of other images are non-identical persons (person determination means) (step 33 in FIG. 4). Such a determination result is stored in the non-identical person table (step 33 in FIG. 4).

図15は，非同一人物テーブルの一例である。   FIG. 15 is an example of a non-identical person table.

非同一人物テーブルには，人物ごとに，その人物とは異なる人物と判定された人物像の識別データが格納される。図15においても，分りやすくするためにグループごとに人物像の符号が格納されている。たとえば，人物像Ｈ11の人物は，人物像Ｈ22，Ｈ23，Ｈ42，Ｈ43とは異なる人物となる。その他の人物像の人物についても同様である。非同一人物テーブルもＣＰＵ６によって生成され，メモリ３に格納される。   In the non-identical person table, identification data of person images determined to be different from the person is stored for each person. Also in FIG. 15, the sign of the person image is stored for each group for easy understanding. For example, the person of the person image H11 is a person different from the person images H22, H23, H42, and H43. The same applies to the other figures. The non-identical person table is also generated by the CPU 6 and stored in the memory 3.

たとえば，上述のように，一の画像Ｉ１の一の顔Ｆ11の特徴量Ｌ11と他の画像Ｉ２の一の顔Ｆ21の特徴量Ｌ21とが近似し，かつ一の画像Ｉ１の一の顔Ｆ11の特徴量Ｌ11と他の画像Ｉ２のすべての他の顔Ｆ22およびＦ23の特徴量Ｌ22およびＬ23とが近似していないという関係が成立し，かつ一の画像Ｉ１の一の顔Ｆ14の特徴量Ｌ14と他の画像Ｉ２の一の顔Ｆ22の特徴量Ｌ22とが近似し，かつ一の画像Ｉ１の一の顔Ｆ14の特徴量Ｌ14と他の画像Ｉ２のすべての他の顔Ｆ21およびＦ23の特徴量Ｌ21およびＬ23とが近似していないという関係が成立したとする。すると，上述した近似−非近似の関係が複数存在することとなるから，一の画像Ｉ１の一の顔Ｆ11と他の画像Ｉ２の一の顔Ｆ21とが同一人物の顔と判定され，かつ一の画像Ｉ１の一の顔Ｆ14と他の画像Ｉ２の一の顔Ｆ23とが同一人物の顔と判定される。このように同一人物の顔と判定された人物ごとに図14に示すように同一人物テーブルにおいてグループ化される。さらに，一の画像Ｉ１の一の顔Ｆ11と他の画像Ｉ２の一の顔Ｆ21以外のすべての他の顔Ｆ22およびＦ23とが異なる人物の顔と判定され，かつ一の画像Ｉ１の一の顔Ｆ14と他の画像Ｉ２の一の顔Ｆ23以外のすべての他の顔Ｆ21およびＦ23とが異なる人物の顔と判定される。このように非同一人物の顔と判定された人物を識別するデータが図15に示すように非同一人物テーブルに格納される。   For example, as described above, the feature quantity L11 of one face F11 of one image I1 approximates the feature quantity L21 of one face F21 of another image I2, and the one face F11 of one image I1 The relationship that the feature quantity L11 and the feature quantities L22 and L23 of all other faces F22 and F23 of the other image I2 are not approximated is established, and the feature quantity L14 of one face F14 of one image I1 The feature amount L22 of one face F22 of another image I2 approximates, and the feature amount L14 of one face F14 of one image I1 and the feature amount L21 of all other faces F21 and F23 of the other image I2 And L23 are not approximated. Then, since there are a plurality of approximate-non-approximate relationships described above, one face F11 of one image I1 and one face F21 of another image I2 are determined as the faces of the same person, and one One face F14 of the image I1 and another face F23 of the other image I2 are determined as the faces of the same person. Thus, the persons determined to be the same person's face are grouped in the same person table as shown in FIG. Further, one face F11 of one image I1 and all other faces F22 and F23 other than one face F21 of another image I2 are determined to be different human faces, and one face of one image I1 It is determined that F14 and all other faces F21 and F23 other than one face F23 of another image I2 are different human faces. Data for identifying the person determined to be the face of the non-identical person is stored in the non-identical person table as shown in FIG.

図３に戻って，上述した近似−非近似の関係が複数存在しない場合には（ステップ31でＮＯ），近似−非近似の関係が一つだけ得られた場合であっても，一の画像に含まれている一の顔の特徴量と他の画像に含まれている一の顔の特徴量とが近似していたとしても，一の画像に含まれている一の顔と他の画像に含まれている一の顔とが同一人物であるとはＣＰＵ６によって判定されない。このために，図４ステップ32およびステップ33の処理がスキップされる。   Returning to FIG. 3, when there are not a plurality of the approximate-non-approximate relationships described above (NO in step 31), even if only one approximate-non-approximate relationship is obtained, one image is obtained. Even if the feature value of one face included in the image is similar to the feature value of one face included in another image, one face and another image included in one image It is not determined by the CPU 6 that one face included in is the same person. For this reason, the processing of step 32 and step 33 in FIG. 4 is skipped.

すべての画像について上述した処理が終了していなければ（図４ステップ34でＮＯ），図２ステップ21からの処理が繰り返される。一の画像が画像Ｉ１とされ，他の画像が画像Ｉ２とされた場合の上述の処理が終了すると，再び一の画像が画像Ｉ１とされ，他の画像が，図７に示す画像Ｉ３とされて，上述した処理が行われる。図７に示す他の画像Ｉ３に含まれている人物像Ｈ31およびＨ32から，図11に示すように顔画像Ｆ31およびＦ32が検出され，顔の特徴量Ｌ31およびＬ32が算出される。算出された顔の特徴量Ｌ31およびＬ32が図13に示す特徴量テーブルに格納され，上述したように，同一人物および非同一人物の検出処理が行われる。   If the above-described processing has not been completed for all the images (NO in step 34 in FIG. 4), the processing from step 21 in FIG. 2 is repeated. When the above processing is completed when one image is the image I1 and the other image is the image I2, the one image is again the image I1, and the other image is the image I3 shown in FIG. Thus, the above-described processing is performed. Face images F31 and F32 are detected from person images H31 and H32 included in another image I3 shown in FIG. 7, and facial feature amounts L31 and L32 are calculated as shown in FIG. The calculated facial feature amounts L31 and L32 are stored in the feature amount table shown in FIG. 13, and the detection processing of the same person and the non-identical person is performed as described above.

図５に示す一の画像Ｉ１と図７に示す他の画像Ｉ３との間では，図５の一の画像Ｉ１に含まれる人物像Ｈ11の一の顔F11の特徴量Ｌ11と図７の他の画像Ｉ３に含まれる人物像Ｈ32の一の顔Ｆ32の特徴量Ｌ32とが近似し，かつその特徴量Ｌ11と他の画像Ｉ３に含まれるすべての他の顔Ｆ31の特徴量Ｌ31とが近似していないという近似−非近似関係が成立するが，そのような近似−非近似関係は一つだけなので，一の画像Ｉ１の一の顔Ｆ11と他の画像Ｉ３の位置の顔Ｆ32とは同一人物であるとは判定されない。   Between one image I1 shown in FIG. 5 and another image I3 shown in FIG. 7, the feature quantity L11 of one face F11 of the human image H11 included in one image I1 of FIG. The feature amount L32 of one face F32 included in the image I3 is approximated, and the feature amount L11 and the feature amounts L31 of all other faces F31 included in the other image I3 are approximated. However, since there is only one such approximate-non-approximation relationship, one face F11 of one image I1 and the face F32 at the position of another image I3 are the same person. It is not determined that there is.

また，図５に示す一の画像Ｉ１と図８に示す他の画像Ｉ４との間においても，上述したように，図８に示す他の画像Ｉ４から，図12に示すように顔Ｆ41，Ｆ42およびＦ43が検出され，それぞれの顔の特徴量Ｌ41，Ｌ42およびＬ43が算出される。算出された特徴量Ｌ41，Ｌ42およびＬ43は，図13に示す特徴量テーブルに格納される。   Further, between the one image I1 shown in FIG. 5 and the other image I4 shown in FIG. 8, as described above, from the other image I4 shown in FIG. 8, the faces F41 and F42 as shown in FIG. And F43 are detected, and feature amounts L41, L42 and L43 of the respective faces are calculated. The calculated feature values L41, L42 and L43 are stored in the feature value table shown in FIG.

図５に示す一の画像Ｉ１と図８に示す他の画像Ｉ４との間では，図５の一の画像Ｉ１に含まれる人物像Ｈ11の一の顔Ｆ11の特徴量Ｌ11と，図８の他の画像Ｉ４に含まれる人物像Ｈ41の一の顔Ｆ41の特徴量Ｌ41と，が近似し，かつその特徴量Ｌ11と，他の画像Ｉ４に含まれるすべての他の顔Ｆ42およびＦ43の特徴量Ｌ42およびＬ43と，が近似していないという近似−非近似関係が成立し，かつ図５の一の画像Ｉ１に含まれる人物像Ｈ12の一の顔Ｆ12の特徴量Ｌ12と，図８の他の画像Ｉ４に含まれるすべての他の顔Ｆ41およびＦ42の特徴量Ｌ41およびＬ42と，が近似していないという近似−非近似関係も成立する。複数の近似−非近似関係が存在するので，図５の一の画像Ｉ１に含まれる人物像Ｈ11と図８の他の画像Ｉ４に含まれる人物像Ｈ41とは同一人物であり，かつ図５の一の画像Ｉ１に含まれる人物像Ｈ12と図８の他の画像Ｉ４に含まれる人物像Ｈ43とは同一人物であると判定される。さらに，図５の一の画像Ｉ１に含まれる人物像Ｈ11と，図８の他の画像Ｉ４に含まれる人物像Ｈ42およびＨ43とは非同一人物であり，かつ図５の一の画像Ｉ１に含まれる人物像Ｈ12と図８の他の画像Ｉ４に含まれる人物像Ｈ41およびＨ42とは非同一人物であると判定される。   Between one image I1 shown in FIG. 5 and another image I4 shown in FIG. 8, the feature quantity L11 of one face F11 included in the image I1 shown in FIG. The feature amount L41 of one face F41 of the human image H41 included in the image I4 of the image is approximated, and the feature amount L11 and the feature amounts L42 of all other faces F42 and F43 included in the other image I4 And L43 are not approximated, and an approximate-non-approximate relationship is established, and the feature amount L12 of one face F12 of the human image H12 included in the image I1 of FIG. 5 and the other image of FIG. An approximate-non-approximation relationship is also established in which the feature quantities L41 and L42 of all other faces F41 and F42 included in I4 are not approximated. Since there are a plurality of approximate-non-approximate relationships, the person image H11 included in one image I1 in FIG. 5 and the person image H41 included in another image I4 in FIG. 8 are the same person, and FIG. It is determined that the person image H12 included in one image I1 and the person image H43 included in another image I4 in FIG. 8 are the same person. Further, the person image H11 included in one image I1 of FIG. 5 and the person images H42 and H43 included in the other image I4 of FIG. 8 are non-identical persons and included in the image I1 of FIG. The person image H12 and the person images H41 and H42 included in the other image I4 in FIG. 8 are determined to be non-identical persons.

図５に示す画像Ｉ１を一の画像とし，図６から図８に示す画像Ｉ２からＩ４のそれぞれを他の画像とした上述の処理が終了すると，次に図６に示す画像Ｉ２を一の画像とし，図７および図８に示す画像Ｉ３およびＩ４を他の画像とした上述の処理が行われる。さらに，図７に示す画像Ｉ３を一の画像とし，図８に示す画像Ｉ４を他の画像とした上述の処理が行われる。このように，複数の他の画像について，上述した特徴量比較処理，人物判定処理が行われるようにＣＰＵ６によって制御される（制御手段）。   When the above-described processing is completed with the image I1 shown in FIG. 5 as one image and the images I2 to I4 shown in FIGS. 6 to 8 as other images, the image I2 shown in FIG. Then, the above-described processing using the images I3 and I4 shown in FIGS. 7 and 8 as other images is performed. Further, the above-described processing is performed with the image I3 shown in FIG. 7 as one image and the image I4 shown in FIG. 8 as another image. In this way, the CPU 6 controls the plurality of other images so that the above-described feature amount comparison processing and person determination processing are performed (control means).

家族，親子，兄弟，姉妹，親戚などで撮影された画像は，顔つきが似ている。このために，顔の類似度（特徴量）にもとづいて同一人物かどうかを判定する場合には，精度を高くするためには，同一人物かどうかを判別するしきい値を上げる必要がある。この実施例によると，上述したように近似−非近似関係が複数存在する場合に同一人物であると判定しているので，しきい値を上げる必要がない。顔の類似度があまり高くなくとも同一人物を見つけることができるようになる。たとえば，カメラに正面の顔を見せないような子供であっても，同一人物かどうかを判定できるようになる。   Images taken by family members, parents and children, brothers, sisters, and relatives have similar faces. For this reason, when determining whether or not they are the same person based on the similarity (feature amount) of the face, it is necessary to increase the threshold value for determining whether or not they are the same person in order to increase the accuracy. According to this embodiment, as described above, when there are a plurality of approximate-non-approximate relationships, it is determined that they are the same person, so there is no need to increase the threshold value. The same person can be found even if the similarity of the faces is not so high. For example, even a child who does not show a front face to the camera can determine whether or not they are the same person.

また，上述のようにして生成された同一人物テーブルから，同一人物と判定された顔ごとに一覧で表示装置４の表示画面に表示させるようにしてもよい。さらに，同一人物と判定された顔の画像が最も多い人物が必ず含まれているような複数の画像を用いてアルバムを生成することもできる。   Further, from the same person table generated as described above, each face determined to be the same person may be displayed as a list on the display screen of the display device 4. Furthermore, an album can be generated using a plurality of images that always include the person with the largest number of face images determined to be the same person.

１ 同一人物判定装置
３ メモリ（特徴量記憶手段）
６ ＣＰＵ（第１の特徴量算出手段，特徴量比較手段，人物判定手段，第２の特徴量算出手段，制御手段，グループ化手段）
11 コンパクト・ディスク（プログラムを格納した記録媒体） DESCRIPTION OF SYMBOLS 1 Same person determination apparatus 3 Memory (feature quantity storage means)
6 CPU (first feature quantity calculation means, feature quantity comparison means, person determination means, second feature quantity calculation means, control means, grouping means)
11 Compact disc (recording medium storing the program)

Claims (9)

複数の顔が含まれている一の画像から，複数の顔のそれぞれの顔の特徴量を算出する第１の特徴量算出手段，
上記第１の特徴量算出手段によって上記一の画像から算出されたそれぞれの顔の特徴量と，上記一の画像と異なる他の画像に含まれる複数の顔のそれぞれの顔の特徴量と，を比較する特徴量比較手段，および
上記特徴量比較手段における比較によって，上記一の画像から算出された一の顔の特徴量と上記他の画像から得られた一の顔の特徴量とが近似し，かつ上記一の画像から算出された一の顔の特徴量と上記他の画像から得られた一の顔以外のすべての他の顔の特徴量とが近似していない関係が，上記一の画像と上記他の画像とから複数得られたことにより，上記一の画像に含まれている上記一の顔と上記他の画像に含まれている上記一の顔とが同一人物の顔と判定する人物判定手段，
を備えた同一人物判定装置。 A first feature amount calculating means for calculating a feature amount of each of the plurality of faces from one image including a plurality of faces;
A feature amount of each face calculated from the one image by the first feature amount calculating means, and a feature amount of each face of a plurality of faces included in another image different from the one image. The feature quantity comparison means to be compared, and the feature quantity comparison means compare the feature quantity of one face calculated from the one image with the feature quantity of one face obtained from the other image. And the relationship between the feature quantity of one face calculated from the one image and the feature quantities of all other faces other than the one face obtained from the other image is not As a result of obtaining a plurality of images and the other images, it is determined that the one face included in the one image and the one face included in the other image are faces of the same person. Person judging means,
The same person determination apparatus provided with. 上記人物判定手段は，
上記関係が，上記一の画像と上記他の画像とから複数得られたことにより，上記一の画像に含まれている上記一の顔と上記他の画像に含まれている上記一の顔とが同一人物の顔と判定し，かつ上記一の画像に含まれている上記一の顔と上記他の画像に含まれている上記すべての他の顔とが非同一人物と判定するものである，
請求項１に記載の同一人物判定装置。 The person determination means is
By obtaining a plurality of the relationships from the one image and the other image, the one face included in the one image and the one face included in the other image Are determined to be the same person's face, and the one face included in the one image and all the other faces included in the other image are determined to be non-identical persons. ,
The same person determination device according to claim 1. 上記人物判定手段は，
上記関係が上記一の画像と上記他の画像とから一つだけ得られた場合には，上記一の画像に含まれている上記一の顔と上記他の画像に含まれている上記一の顔とが同一人物の顔であるとは判定しないものである，
請求項１または２に記載の同一人物判定装置。 The person determination means is
When only one relationship is obtained from the one image and the other image, the one face included in the one image and the one image included in the other image The face is not determined to be the same person's face.
The same person determination device according to claim 1 or 2. 上記他の画像から，複数の顔のそれぞれの顔の特徴量を算出する第２の特徴量算出手段をさらに備え，
上記特徴量比較手段は，
上記第１の特徴量算出手段によって上記一の画像から算出されたそれぞれの顔の特徴量と，上記第２の特徴量算出手段によって上記他の画像から算出されたそれぞれの顔の特徴量と，を比較するものである，
請求項１から３のうち，いずれか一項に記載の同一人物判定装置。 A second feature amount calculating means for calculating a feature amount of each of the plurality of faces from the other image;
The above feature quantity comparison means
A feature value of each face calculated from the one image by the first feature value calculating means, a feature value of each face calculated from the other image by the second feature value calculating means, Which compares
The same person determination device according to any one of claims 1 to 3. 上記他の画像に含まれる複数の顔のそれぞれの顔の特徴量を記憶する特徴量記憶手段をさらに備え，
上記特徴量比較手段は，
上記第１の特徴量算出手段によって上記一の画像から算出されたそれぞれの顔の特徴量と，上記特徴量記憶手段に記憶されている，それぞれの顔の特徴量と，を比較するものである，
請求項１から３のうち，いずれか一項に記載の同一人物判定装置。 A feature amount storage means for storing a feature amount of each of the plurality of faces included in the other image;
The above feature quantity comparison means
The feature quantity of each face calculated from the one image by the first feature quantity calculation means is compared with the feature quantity of each face stored in the feature quantity storage means. ,
The same person determination device according to any one of claims 1 to 3. 上記他の画像が複数存在しており，
複数の上記他の画像について，上記特徴量比較手段における処理および上記人物判定手段における処理を行わせる制御手段，
をさらに備えた請求項１に記載の同一人物判定装置。 There are multiple other images above,
Control means for performing processing in the feature amount comparison means and processing in the person determination means for a plurality of the other images;
The same person determination device according to claim 1, further comprising: 上記人物判定手段によって同一人物の顔と判定された顔ごとにグループ化するグループ化手段，
をさらに備えた請求項１から６のうち，いずれか一項に記載の同一人物判定装置。 Grouping means for grouping each face determined to be the face of the same person by the person determining means;
The same person determination device according to any one of claims 1 to 6, further comprising: 特徴量算出手段が，複数の顔が含まれている一の画像から，複数の顔のそれぞれの顔の特徴量を算出し，
特徴量比較手段が，上記第１の特徴量算出手段によって上記一の画像から算出されたそれぞれの顔の特徴量と，上記一の画像と異なる他の画像に含まれる複数の顔のそれぞれの顔の特徴量と，を比較し，
人物判定手段が，上記特徴量比較手段における比較によって，上記一の画像から算出された一の顔の特徴量と上記他の画像から得られた一の顔の特徴量とが近似し，かつ上記一の画像から算出された一の顔の特徴量と上記他の画像から得られた一の顔以外のすべての他の顔の特徴量とが近似していない関係が，上記一の画像と上記他の画像とから複数得られたことにより，上記一の画像に含まれている上記一の顔と上記他の画像に含まれている上記一の顔とが同一人物の顔と判定する，
同一人物判定方法。 The feature amount calculating means calculates a feature amount of each face of the plurality of faces from one image including the plurality of faces,
The feature quantity comparing means calculates the feature quantity of each face calculated from the one image by the first feature quantity calculating means and each face of a plurality of faces included in another image different from the one image. And the feature quantity of
The person determination means approximates the feature quantity of one face calculated from the one image and the feature quantity of one face obtained from the other image by the comparison in the feature quantity comparison means, and A relationship in which the feature amount of one face calculated from one image and the feature amounts of all other faces other than one face obtained from the other image are not approximated is the same as the one image and the above It is determined that the one face included in the one image and the one face included in the other image are the same person's face by being obtained from a plurality of other images.
Same person determination method. 同一人物判定装置のコンピュータを制御するコンピュータが読み取り可能なプログラムであって，
複数の顔が含まれている一の画像から，複数の顔のそれぞれの顔の特徴量を算出させ，
上記一の画像から算出されたそれぞれの顔の特徴量と，上記一の画像と異なる他の画像に含まれる複数の顔のそれぞれの顔の特徴量と，を比較させ，
上記一の画像から算出された一の顔の特徴量と上記他の画像から得られた一の顔の特徴量とが近似し，かつ上記一の画像から算出された一の顔の特徴量と上記他の画像から得られた一の顔以外のすべての他の顔の特徴量とが近似していない関係が，上記一の画像と上記他の画像とから複数得られたことにより，上記一の画像に含まれている上記一の顔と上記他の画像に含まれている上記一の顔とが同一人物の顔と判定するように，同一人物判定装置のコンピュータを制御するプログラム。 A computer-readable program for controlling the computer of the same person determination device,
Calculate the feature values of each of the multiple faces from one image that contains multiple faces,
The feature amount of each face calculated from the one image is compared with the feature amount of each face of a plurality of faces included in another image different from the one image,
The feature value of one face calculated from the one image is approximated by the feature value of one face calculated from the one image, and the feature value of one face calculated from the one image By obtaining a plurality of relationships in which the feature amounts of all other faces other than one face obtained from the other image are not approximated from the one image and the other image, A program for controlling the computer of the same person determination apparatus so that the one face included in the image of the first image and the one face included in the other image are determined as the face of the same person.
JP2014110916A 2014-05-29 2014-05-29 Same person determination device and method and control program therefor Active JP6215774B2 (en)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2014110916A JP6215774B2 (en) 2014-05-29 2014-05-29 Same person determination device and method and control program therefor
CN201580027210.2A CN106462980B (en) 2014-05-29 2015-04-14 Same human identification apparatus, its method and computer-readable storage medium
PCT/JP2015/061426 WO2015182270A1 (en) 2014-05-29 2015-04-14 Same person determination device and method, and control program therefor
EP15798876.7A EP3151191A4 (en) 2014-05-29 2015-04-14 Same person determination device and method, and control program therefor
US15/290,087 US10007842B2 (en) 2014-05-29 2016-10-11 Same person determination device and method, and control program therefor

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2014110916A JP6215774B2 (en) 2014-05-29 2014-05-29 Same person determination device and method and control program therefor

Publications (2)

Publication Number Publication Date
JP2015225567A true JP2015225567A (en) 2015-12-14
JP6215774B2 JP6215774B2 (en) 2017-10-18

Family

ID=54698611

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014110916A Active JP6215774B2 (en) 2014-05-29 2014-05-29 Same person determination device and method and control program therefor

Country Status (5)

Country Link
US (1) US10007842B2 (en)
EP (1) EP3151191A4 (en)
JP (1) JP6215774B2 (en)
CN (1) CN106462980B (en)
WO (1) WO2015182270A1 (en)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10558848B2 (en) 2017-10-05 2020-02-11 Duelight Llc System, method, and computer program for capturing an image with correct skin tone exposure
US10753075B2 (en) 2016-09-26 2020-08-25 Zurn Industries, Llc Flush valve
KR20210083026A (en) 2019-12-26 2021-07-06 삼성전자주식회사 Electrolic device for biometrics and method thereof

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006236217A (en) * 2005-02-28 2006-09-07 Fuji Photo Film Co Ltd Person recognition system, person recognition method, and person recognition program
JP2007272890A (en) * 2006-03-31 2007-10-18 Fujifilm Corp Method and device for performing constrained spectral clustering of digital image data

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7403642B2 (en) * 2005-04-21 2008-07-22 Microsoft Corporation Efficient propagation for face annotation
JP4591215B2 (en) * 2005-06-07 2010-12-01 株式会社日立製作所 Facial image database creation method and apparatus
JP2007102549A (en) 2005-10-05 2007-04-19 Fujifilm Corp Image retrieval support device
JP5128880B2 (en) 2007-08-30 2013-01-23 オリンパスイメージング株式会社 Image handling device
US8121358B2 (en) 2009-03-06 2012-02-21 Cyberlink Corp. Method of grouping images by face
JP4636190B2 (en) * 2009-03-13 2011-02-23 オムロン株式会社 Face collation device, electronic device, face collation device control method, and face collation device control program
JP5178611B2 (en) * 2009-04-15 2013-04-10 株式会社東芝 Image processing apparatus, image processing method, and program
JP5438419B2 (en) 2009-07-29 2014-03-12 富士フイルム株式会社 Person verification device and person verification method
US8379939B1 (en) 2009-09-08 2013-02-19 Adobe Systems Incorporated Efficient and scalable face recognition in photo albums
JP2012064082A (en) 2010-09-17 2012-03-29 Panasonic Corp Image classification device
US8494231B2 (en) * 2010-11-01 2013-07-23 Microsoft Corporation Face recognition in video content
JP4775515B1 (en) * 2011-03-14 2011-09-21 オムロン株式会社 Image collation apparatus, image processing system, image collation program, computer-readable recording medium, and image collation method
JP6074182B2 (en) * 2012-07-09 2017-02-01 キヤノン株式会社 Image processing apparatus, image processing method, and program

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006236217A (en) * 2005-02-28 2006-09-07 Fuji Photo Film Co Ltd Person recognition system, person recognition method, and person recognition program
JP2007272890A (en) * 2006-03-31 2007-10-18 Fujifilm Corp Method and device for performing constrained spectral clustering of digital image data

Also Published As

Publication number Publication date
US10007842B2 (en) 2018-06-26
EP3151191A1 (en) 2017-04-05
JP6215774B2 (en) 2017-10-18
WO2015182270A1 (en) 2015-12-03
US20170032181A1 (en) 2017-02-02
EP3151191A4 (en) 2017-06-21
CN106462980A (en) 2017-02-22
CN106462980B (en) 2019-10-08

Similar Documents

Publication Publication Date Title
US8422747B1 (en) Finding untagged images of a social network member
JP6446971B2 (en) Data processing apparatus, data processing method, and computer program
CN107038405B (en) Method and apparatus for recognizing object and method and apparatus for training recognition model
US8649602B2 (en) Systems and methods for tagging photos
US20160299897A1 (en) License plate matching systems and methods
US20150339516A1 (en) Collation apparatus and method for the same, and image searching apparatus and method for the same
WO2015045233A1 (en) Information processing system
CN109189970A (en) Picture similarity comparison method and device
Katzman et al. Taxonomizing and measuring representational harms: A look at image tagging
JP7463473B2 (en) Image candidate determination device, image candidate determination method, program for controlling the image candidate determination device, and recording medium storing the program
JP6215774B2 (en) Same person determination device and method and control program therefor
KR20230038087A (en) Method for de-identifying text plate contained in video data, and device performing the same
WO2016125418A1 (en) Image display control device, image display control method, image display control program, and recording medium which stores program
US11393249B2 (en) Apparatus and method of providing vehicle service based on individual emotion recognition
US9785829B2 (en) Information processing apparatus, information processing method, and non-transitory computer readable medium
JP6800671B2 (en) Grant device, grant method and grant program
US20160260127A1 (en) Ensuring a desired distribution of content in a multimedia document for different demographic groups utilizing demographic information
JP5845988B2 (en) Image processing system, image processing method, server, and program
US11205258B2 (en) Image processing apparatus, image processing method, and storage medium
JP2014191479A (en) Face recognition device, image pickup device, control method, and program
Gurkan et al. Evaluation of human and machine face detection using a novel distinctive human appearance dataset
KR20120128094A (en) Face recognition apparatus, control method thereof, face recognition method
Fu Human-centered social media analytics
US20170068848A1 (en) Display control apparatus, display control method, and computer program product
US9367768B2 (en) Image processing device, image processing method, and storage medium computer-readably storing program therefor

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20160719

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20170829

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20170921

R150 Certificate of patent or registration of utility model

Ref document number: 6215774

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250