JP2006236217A - Person recognition system, person recognition method, and person recognition program - Google Patents

Person recognition system, person recognition method, and person recognition program Download PDF

Info

Publication number
JP2006236217A
JP2006236217A JP2005053062A JP2005053062A JP2006236217A JP 2006236217 A JP2006236217 A JP 2006236217A JP 2005053062 A JP2005053062 A JP 2005053062A JP 2005053062 A JP2005053062 A JP 2005053062A JP 2006236217 A JP2006236217 A JP 2006236217A
Authority
JP
Japan
Prior art keywords
person
persons
unit
recognition
images
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2005053062A
Other languages
Japanese (ja)
Inventor
Akira Yoda
章 依田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Holdings Corp
Original Assignee
Fuji Photo Film Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fuji Photo Film Co Ltd filed Critical Fuji Photo Film Co Ltd
Priority to JP2005053062A priority Critical patent/JP2006236217A/en
Publication of JP2006236217A publication Critical patent/JP2006236217A/en
Pending legal-status Critical Current

Links

Images

Landscapes

  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Image Analysis (AREA)
  • Collating Specific Patterns (AREA)
  • Image Processing (AREA)

Abstract

<P>PROBLEM TO BE SOLVED: To provide a user with highly precise person recognition results by correcting recognition results even if the same person is erroneously recognized as a plurality of different persons. <P>SOLUTION: This person recognition system for recognizing a person included in each of a plurality of images is provided with a person recognizing part for recognizing a plurality of persons included in each of the plurality of images, an exclusion detecting part for detecting two persons who are not included in any of the plurality of images among a plurality of persons included in at least a part of the plurality of images, and a correcting part for deciding that the two persons detected by the exclusion detecting part are the same person, and for correcting the recognition results by the person recognizing part. <P>COPYRIGHT: (C)2006,JPO&NCIPI

Description

本発明は、人物認識システム、人物認識方法、及び人物認識プログラムに関する。特に本発明は、複数の画像のそれぞれに含まれる人物を認識する人物認識システム、人物認識方法、及び人物認識プログラムに関する。   The present invention relates to a person recognition system, a person recognition method, and a person recognition program. In particular, the present invention relates to a person recognition system, a person recognition method, and a person recognition program for recognizing a person included in each of a plurality of images.

従来、人物の顔画像を画像認識することにより、当該人物を認識する人物認識システムが知られている（例えば、特許文献１参照。）。これらの人物認識システムにおいては、人物の顔画像に対して画像処理を行うことにより、当該顔画像から特徴量を抽出すると共に、抽出した特徴量の差異に基づいて、それぞれの人物を認識している。
特開２００１−２７３４９６号公報 2. Description of the Related Art Conventionally, a person recognition system that recognizes a person by recognizing the face image of the person is known (see, for example, Patent Document 1). In these person recognition systems, by performing image processing on a person's face image, the feature amount is extracted from the face image, and each person is recognized based on the difference of the extracted feature amount. Yes.
Japanese Patent Laid-Open No. 2001-27396

しかしながら、人物認識に用いられる顔画像は、撮像されるアングルや撮像環境、被写体である人物の表情等によって様々に変化するので、従来の人物認識システムにおいて、常に高い認識率を維持することは容易ではない。このため、同一人物を示す複数の顔画像のそれぞれが、互いに異なる人物の顔画像であるとして誤認識される場合が少なからずあり、より高い精度で人物の認識結果を得ることのできる人物認識システムが待望されていた。   However, since the face image used for person recognition changes variously depending on the captured angle, the imaging environment, the facial expression of the person who is the subject, etc., it is easy to always maintain a high recognition rate in the conventional person recognition system. is not. For this reason, there are not a few cases where each of a plurality of face images representing the same person is erroneously recognized as being face images of different persons, and a person recognition system capable of obtaining a person recognition result with higher accuracy. Was long-awaited.

そこで本発明は、上記の課題を解決することができる人物認識システム、人物認識方法、及び人物認識プログラムを提供することを目的とする。この目的は特許請求の範囲における独立項に記載の特徴の組み合わせにより達成される。また従属項は本発明の更なる有利な具体例を規定する。   Accordingly, an object of the present invention is to provide a person recognition system, a person recognition method, and a person recognition program that can solve the above-described problems. This object is achieved by a combination of features described in the independent claims. The dependent claims define further advantageous specific examples of the present invention.

上記課題を解決するために、本発明の第１の形態においては、複数の画像のそれぞれに含まれる人物を認識する人物認識システムであって、複数の画像のそれぞれについて、当該画像に含まれる複数の人物を認識する人物認識部と、複数の画像の少なくとも一部に含まれる複数の人物の中で、複数の画像の何れにおいても共に含まれることがない２人の人物を検出する排他検出部と、排他検出部によって検出された２人の人物が同一人物であると判定し、人物認識部による認識結果を修正する修正部とを備える。当該人物認識システムは、排他検出部によって検出された２人の人物の間における、顔画像の類似度を算出する類似度算出部を更に備え、修正部は、更に、排他検出部によって検出された２人の人物の間における、類似度算出部によって算出された顔画像の類似度が、予め定められた基準値以上であることを条件として、当該２人の人物が同一人物であると判定し、人物認識部による認識結果を修正してもよい。   In order to solve the above problems, in the first embodiment of the present invention, there is provided a person recognition system for recognizing a person included in each of a plurality of images, wherein each of the plurality of images includes a plurality of A person recognizing unit for recognizing a person and an exclusive detecting unit for detecting two persons who are not included in any of the plurality of images among a plurality of persons included in at least a part of the plurality of images And a correction unit that determines that the two persons detected by the exclusion detection unit are the same person and corrects the recognition result by the person recognition unit. The person recognition system further includes a similarity calculation unit that calculates the similarity of the face image between the two persons detected by the exclusion detection unit, and the correction unit is further detected by the exclusion detection unit. It is determined that the two persons are the same person on the condition that the similarity of the face image calculated by the similarity calculator between the two persons is equal to or greater than a predetermined reference value. The recognition result by the person recognition unit may be corrected.

修正部は、更に、排他検出部によって検出された２人の人物のうち一方の人物が含まれる第１の画像、及び当該２人の人物のうち他方の人物が含まれる第２の画像における撮像日時の差が、予め定められた基準値以下であることを条件として、当該２人の人物が同一人物であると判定し、人物認識部による認識結果を修正してもよい。人物認識部は、複数の人物のそれぞれについて、当該人物の顔画像の特徴量を格納している特徴量データベースと、複数の画像のそれぞれについて、当該画像に含まれる人物の画像から抽出した特徴量が、特徴量データベースに格納されている顔画像を示す特徴量に対して、予め定められた基準値以上の類似度で類似している場合に、当該人物を、当該顔画像に対応する人物であると認識する認識処理部とを有し、修正部は、排他検出部によって検出された２人の人物が同一人物であると判定した場合に、更に、認識処理部によって当該２人の人物が同一人物として認識されるべく、認識処理部における類似度の基準値をより低く修正してもよい。   The correction unit further captures a first image including one of the two persons detected by the exclusive detection unit and a second image including the other of the two persons. On the condition that the difference in date and time is equal to or less than a predetermined reference value, it may be determined that the two persons are the same person, and the recognition result by the person recognition unit may be corrected. For each of a plurality of persons, the person recognizing unit stores a feature quantity database that stores the feature quantity of the person's face image, and for each of the plurality of images, a feature quantity extracted from the person image included in the image. Is similar to the feature quantity indicating the face image stored in the feature quantity database with a similarity equal to or higher than a predetermined reference value, the person is the person corresponding to the face image. A recognition processing unit that recognizes that the two persons detected by the exclusive detection unit are further identified by the recognition processing unit. In order to be recognized as the same person, the reference value of similarity in the recognition processing unit may be modified to be lower.

また、本発明の第２の形態においては、複数の画像のそれぞれに含まれる人物を認識する人物認識方法であって、複数の画像のそれぞれについて、当該画像に含まれる複数の人物を認識する人物認識段階と、複数の画像の少なくとも一部に含まれる複数の人物の中で、複数の画像の何れにおいても共に含まれることがない２人の人物を検出する排他検出段階と、排他検出段階において検出された２人の人物が同一人物であると判定し、人物認識段階における認識結果を修正する修正段階とを備える。当該人物認識方法は、排他検出段階において検出された２人の人物の間における、顔画像の類似度を算出する類似度算出段階を更に備え、修正段階は、更に、排他検出段階において検出された２人の人物の間における、類似度算出段階において算出された顔画像の類似度が、予め定められた基準値以上であることを条件として、当該２人の人物が同一人物であると判定し、人物認識段階における認識結果を修正してもよい。   Further, in the second aspect of the present invention, there is provided a person recognition method for recognizing a person included in each of a plurality of images, wherein the person recognizing a plurality of persons included in the image for each of the plurality of images. A recognition stage, an exclusive detection stage for detecting two persons who are not included in any of the plurality of images among a plurality of persons included in at least a part of the plurality of images, and an exclusive detection stage It is determined that the two detected persons are the same person, and includes a correction stage for correcting the recognition result in the person recognition stage. The person recognition method further includes a similarity calculation step of calculating the similarity of the face image between two persons detected in the exclusion detection step, and the correction step is further detected in the exclusion detection step. It is determined that the two persons are the same person on the condition that the similarity of the face image calculated in the similarity calculation step between the two persons is equal to or greater than a predetermined reference value. The recognition result in the person recognition stage may be corrected.

また、本発明の第３の形態においては、複数の画像のそれぞれに含まれる人物を認識する人物認識システムとしてコンピュータを機能させる人物認識プログラムであって、コンピュータを、複数の画像のそれぞれについて、当該画像に含まれる複数の人物を認識する人物認識部と、複数の画像の少なくとも一部に含まれる複数の人物の中で、複数の画像の何れにおいても共に含まれることがない２人の人物を検出する排他検出部と、排他検出部によって検出された２人の人物が同一人物であると判定し、人物認識部による認識結果を修正する修正部とを備える人物認識システムとして機能させる。当該人物認識プログラムは、コンピュータを、排他検出部によって検出された２人の人物の間における、顔画像の類似度を算出する類似度算出部を更に備え、修正部は、更に、排他検出部によって検出された２人の人物の間における、類似度算出部によって算出された顔画像の類似度が、予め定められた基準値以上であることを条件として、当該２人の人物が同一人物であると判定し、人物認識部による認識結果を修正する人物認識システムとして機能させる。   According to a third aspect of the present invention, there is provided a person recognition program that causes a computer to function as a person recognition system for recognizing a person included in each of a plurality of images. A person recognition unit that recognizes a plurality of persons included in an image, and two persons that are not included in any of the plurality of images among a plurality of persons included in at least a part of the plurality of images. It is determined that the exclusion detection unit to be detected and the two persons detected by the exclusion detection unit are the same person, and function as a person recognition system including a correction unit that corrects the recognition result by the person recognition unit. The person recognition program further includes a similarity calculation unit that calculates the similarity of the face image between two persons detected by the exclusion detection unit, and the correction unit is further configured by the exclusion detection unit. The two persons are the same person on condition that the similarity of the face image calculated by the similarity calculation unit between the two detected persons is equal to or greater than a predetermined reference value. It is made to function as a person recognition system which corrects the recognition result by a person recognition part.

なお、上記の発明の概要は、本発明の必要な特徴の全てを列挙したものではなく、これらの特徴群のサブコンビネーションもまた、発明となりうる。   The above summary of the invention does not enumerate all the necessary features of the present invention, and sub-combinations of these feature groups can also be the invention.

本発明によれば、同一人物を互いに異なる複数の人物として誤認識した場合であっても、認識結果を修正して、精度の高い人物の認識結果を利用者に提供することができる。   According to the present invention, even when the same person is mistakenly recognized as a plurality of different persons, the recognition result can be corrected and a highly accurate recognition result of the person can be provided to the user.

以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は特許請求の範囲にかかる発明を限定するものではなく、また実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。   Hereinafter, the present invention will be described through embodiments of the invention. However, the following embodiments do not limit the invention according to the scope of claims, and all combinations of features described in the embodiments are included. It is not necessarily essential for the solution of the invention.

図１は、本発明の実施形態に係る人物認識システム１０の機能構成の一例を示すブロック図である。人物認識システム１０は、画像格納部１００、人物認識部１１０、排他検出部１２０、類似度算出部１３０、及び修正部１４０を備える。例えば、人物認識システム１０は、電子アルバムに含まれる複数の画像が画像格納部１００に格納されている場合に、当該複数の画像のそれぞれに含まれる人物を認識すると共に、当該画像に含まれる人物のそれぞれが誰であるかを示す情報を、Ｅｘｉｆ（Ｅｘｃｈａｎｇｅａｂｌｅ ｉｍａｇｅ ｆｉｌｅ）フォーマット等に基づくタグ情報として、当該画像を示す画像ファイルに記録してよい。これにより、利用者は、当該複数の画像を、容易に、人物毎にカテゴリ分けされたスライドショーとして鑑賞したり、また人物毎に整理したりすることができる。なお、人物認識システム１０は、例えばパーソナルコンピュータであってよく、また、デジタルスチルカメラや、デジタルスチルカメラが設けられた携帯電話端末等であってもよい。   FIG. 1 is a block diagram illustrating an example of a functional configuration of a person recognition system 10 according to an embodiment of the present invention. The person recognition system 10 includes an image storage unit 100, a person recognition unit 110, an exclusion detection unit 120, a similarity calculation unit 130, and a correction unit 140. For example, when a plurality of images included in the electronic album are stored in the image storage unit 100, the person recognition system 10 recognizes a person included in each of the plurality of images and also includes a person included in the images. May be recorded in an image file indicating the image as tag information based on an Exif (Exchangeable image file) format or the like. Thus, the user can easily view the plurality of images as a slide show categorized for each person or organize them for each person. The person recognition system 10 may be a personal computer, for example, or may be a digital still camera, a mobile phone terminal provided with a digital still camera, or the like.

本発明の実施形態に係る人物認識システム１０は、複数の画像に含まれる人物の中で、同一人物であるにも関わらず、互いに異なる２人の人物であるとして認識された人物を検出して、当該人物についての認識結果を修正することにより、精度の高い認識結果を利用者に提供することを目的とする。   The person recognition system 10 according to the embodiment of the present invention detects a person who is recognized as two different persons even though they are the same person among the persons included in the plurality of images. An object of the present invention is to provide a user with a highly accurate recognition result by correcting the recognition result of the person.

画像格納部１００は、例えば、磁気記録媒体や半導体記録媒体等を用いた記憶装置であってよく、複数の画像を格納している。人物認識部１１０は、画像格納部１００に格納されている複数の画像のそれぞれについて、当該画像に含まれる複数の人物を、公知の画像認識技術を用いることにより認識する。人物認識部１１０は、特徴量データベース１１２、及び認識処理部１１４を有する。特徴量データベース１１２は、複数の人物のそれぞれについて、当該人物の顔画像の特徴量を格納している。認識処理部１１４は、画像格納部１００に格納されている複数の画像のそれぞれについて、当該画像に含まれる人物の画像から抽出した特徴量が、特徴量データベース１１２に格納されている顔画像を示す特徴量に対して、予め定められた基準値以上の類似度で類似している場合に、当該人物を、当該顔画像に対応する人物であると認識する。そして、認識処理部１１４は、それぞれの画像についての人物の認識結果を、排他検出部１２０及び修正部１４０に出力する。   The image storage unit 100 may be a storage device using, for example, a magnetic recording medium or a semiconductor recording medium, and stores a plurality of images. The person recognition unit 110 recognizes a plurality of persons included in the image for each of the plurality of images stored in the image storage unit 100 by using a known image recognition technique. The person recognition unit 110 includes a feature amount database 112 and a recognition processing unit 114. The feature amount database 112 stores the feature amount of the face image of each person for each of a plurality of persons. For each of a plurality of images stored in the image storage unit 100, the recognition processing unit 114 indicates the face image stored in the feature amount database 112, with the feature amount extracted from the person image included in the image. When the feature amount is similar to the feature value equal to or higher than a predetermined reference value, the person is recognized as a person corresponding to the face image. Then, the recognition processing unit 114 outputs a person recognition result for each image to the exclusion detection unit 120 and the correction unit 140.

排他検出部１２０は、画像格納部１００に格納されている複数の画像の少なくとも一部に含まれる人物の中で、当該複数の画像の何れにおいても共に含まれることがない２人の人物を検出する。そして、排他検出部１２０は、検出した２人の人物を示す情報を、類似度算出部１３０に出力する。類似度算出部１３０は、排他検出部１２０によって検出された２人の人物の間における、顔画像の類似度を算出する。そして、類似度算出部１３０は、排他検出部１２０から受け取った当該２人の人物を示す情報、及び当該２人の人物について算出した顔画像の類似度を、修正部１４０に出力する。修正部１４０は、排他検出部１２０によって検出された２人の人物が同一人物であると判定し、認識処理部１１４による認識結果を修正する。ここで、修正部１４０は、更に、類似度算出部１３０によって算出された、当該２人の人物の間における顔画像の類似度が、予め定められた基準値以上であることを条件として、当該２人の人物が同一人物であると判定してよい。   The exclusion detection unit 120 detects two persons included in at least a part of the plurality of images stored in the image storage unit 100 and not included in any of the plurality of images. To do. Then, the exclusion detection unit 120 outputs information indicating the detected two persons to the similarity calculation unit 130. The similarity calculation unit 130 calculates the similarity of the face image between the two persons detected by the exclusion detection unit 120. Then, the similarity calculation unit 130 outputs the information indicating the two persons received from the exclusion detection unit 120 and the similarity between the face images calculated for the two persons to the correction unit 140. The correction unit 140 determines that the two persons detected by the exclusion detection unit 120 are the same person, and corrects the recognition result by the recognition processing unit 114. Here, the correction unit 140 is further provided on the condition that the similarity of the face image between the two persons calculated by the similarity calculation unit 130 is greater than or equal to a predetermined reference value. It may be determined that the two persons are the same person.

本発明の実施形態に係る人物認識システム１０によれば、２人の人物が、何れの画像においても共に含まれることがなく、画像に含まれる機会が互いに排他的である場合に、当該２人の人物が実際には同一人物であるとして、人物の認識結果を修正することができる。これにより、画像認識技術を用いた人物認識処理において、１人の人物の画像を、互いに異なる２人の人物の画像として誤認識した場合であっても、当該２人の人物が同一人物であるとして認識結果を修正し、精度の高い人物認識結果を利用者に提供することができる。   According to the person recognition system 10 according to the embodiment of the present invention, when two persons are not included in any image and the opportunities included in the image are mutually exclusive, the two persons are included. The person recognition result can be corrected assuming that the person is actually the same person. As a result, in the person recognition process using the image recognition technology, even when the image of one person is erroneously recognized as the images of two different persons, the two persons are the same person. As a result, it is possible to correct the recognition result and provide the user with a highly accurate person recognition result.

また、例えば、画像格納部１００に格納されている画像の数が少ない場合になどにおいては、ある２人の人物が、実際には同一人物ではないにも関わらず、何れの画像においても共に含まれていないことにより、排他検出部１２０が当該２人の人物を検出する場合がある。しかし、人物認識システム１０によれば、当該２人の人物の間における顔画像の類似度が基準値以上でない場合には、当該２人の人物を同一人物であると判定しない。これにより、排他検出部１２０によって検出された２人の人物が同一人物であるか否かを、より高い精度で判定することができる。   In addition, for example, when the number of images stored in the image storage unit 100 is small, two people are included in both images even though they are not actually the same person. In some cases, the exclusion detection unit 120 may detect the two persons. However, according to the person recognition system 10, when the similarity degree of the face image between the two persons is not equal to or higher than the reference value, the two persons are not determined to be the same person. Thereby, it can be determined with higher accuracy whether or not the two persons detected by the exclusion detection unit 120 are the same person.

図２は、本発明の実施形態に係る画像格納部１００の一例を示す。画像格納部１００は、複数の画像のそれぞれについて、当該画像を識別する画像識別子と、当該画像を示す画像データとを対応付けて格納している。ここで、画像識別子とは、画像格納部１００が画像を格納する場合に、それぞれの画像について一意となるべく定められた値であってよい。なお、本図において、画像識別子は数値として示されているが、これに代えて、画像識別子は、例えば画像データを示すファイルに割り当てられたファイル名等の文字列であってもよい。また、画像格納部１００は、複数の画像のそれぞれを識別する画像識別子に対応付けて、更に、当該画像の撮像日時を示す情報を格納していてよい。   FIG. 2 shows an example of the image storage unit 100 according to the embodiment of the present invention. The image storage unit 100 stores, for each of a plurality of images, an image identifier for identifying the image and image data indicating the image in association with each other. Here, the image identifier may be a value determined to be unique for each image when the image storage unit 100 stores the image. In this figure, the image identifier is shown as a numerical value. Alternatively, the image identifier may be a character string such as a file name assigned to a file indicating image data. In addition, the image storage unit 100 may store information indicating the imaging date and time of the image in association with an image identifier for identifying each of the plurality of images.

図３は、本発明の実施形態に係る特徴量データベース１１２の一例を示す。特徴量データベース１１２は、複数の人物のそれぞれについて、当該人物を識別する人物識別子と、当該人物の顔画像の特徴量とを対応付けて格納している。ここで、人物識別子は、例えば、特徴量データベース１１２に人物の顔画像の特徴量が格納される場合に、それぞれの人物について一意となるべく定められた値であってよい。また、特徴量データベース１１２は、それぞれの人物について、複数の特徴量（例えば、Ａ、Ｂ、・・・等）を格納してよい。ここで、人物の顔画像の特徴量とは、例えば、顔画像そのものや、当該顔画像から公知の画像処理技術を用いて抽出された、顔の輪郭形状、或いは、眼や鼻、口といった、顔における特徴的な部位の形状、それぞれの部位の顔全体における位置、またはそれぞれの部位の間の位置関係といった、多様な情報であってよい。   FIG. 3 shows an example of the feature quantity database 112 according to the embodiment of the present invention. The feature quantity database 112 stores, for each of a plurality of persons, a person identifier for identifying the person and a feature quantity of the face image of the person in association with each other. Here, the person identifier may be a value determined to be unique for each person when the feature quantity of the person's face image is stored in the feature quantity database 112, for example. Further, the feature quantity database 112 may store a plurality of feature quantities (for example, A, B,...) For each person. Here, the feature amount of the face image of a person is, for example, the face image itself, the face contour shape extracted from the face image using a known image processing technique, or the eyes, nose, mouth, The information may be various information such as the shape of a characteristic part of the face, the position of each part in the entire face, or the positional relationship between the parts.

図４は、本発明の実施形態に係る認識処理部１１４における人物の認識結果の一例を示す。認識処理部１１４は、画像格納部１００に格納されている複数の画像のそれぞれについて、当該画像に含まれる複数の人物を認識する。例えば、認識処理部１１４は、画像格納部１００に格納されている複数の画像のそれぞれについて、輪郭抽出処理や色分布分析処理等の公知の画像処理を行うことにより、当該画像に含まれる複数の被写体を検出する。そして、認識処理部１１４は、検出したそれぞれの被写体を示す画像から、人物の顔に固有の特徴量を検出することにより、当該被写体が人物である場合に、当該被写体を示す画像から人物の顔を示す部分画像を検出する。そして、認識処理部１１４は、検出した人物の顔を示す部分画像から特徴量を抽出すると共に、抽出した特徴量を、図３に示した特徴量データベース１１２に格納されている、複数の人物のそれぞれについての顔画像の特徴量と比較する。そして、認識処理部１１４は、抽出した特徴量が、特徴量データベース１１２に格納されている顔画像の特徴量に対して、予め定められた基準値以上の類似度で類似している場合に、画像から検出した被写体が、特徴量データベース１１２において当該顔画像の特徴量に対応付けられている人物であると認識し、当該人物を示す人物識別子を検出する。このようにして、認識処理部１１４は、図４に示すように、画像格納部１００に格納されている複数の画像のそれぞれについて、当該画像に含まれる複数の人物のそれぞれを認識し、当該複数の人物を示す複数の人物識別子を検出する。   FIG. 4 shows an example of a person recognition result in the recognition processing unit 114 according to the embodiment of the present invention. The recognition processing unit 114 recognizes a plurality of persons included in each of the plurality of images stored in the image storage unit 100. For example, the recognition processing unit 114 performs well-known image processing such as contour extraction processing and color distribution analysis processing on each of the plurality of images stored in the image storage unit 100, so that the plurality of images included in the image are included. Detect the subject. Then, the recognition processing unit 114 detects a characteristic amount specific to the face of the person from the detected images of the subjects, and when the subject is a person, the recognition processing unit 114 detects the face of the person from the images of the subject. The partial image which shows is detected. Then, the recognition processing unit 114 extracts the feature amount from the partial image indicating the detected person's face, and the extracted feature amount is stored in the feature amount database 112 illustrated in FIG. It compares with the feature-value of the face image about each. Then, when the extracted feature amount is similar to the feature amount of the face image stored in the feature amount database 112 with a similarity equal to or higher than a predetermined reference value, The subject detected from the image is recognized as a person associated with the feature quantity of the face image in the feature quantity database 112, and a person identifier indicating the person is detected. In this way, the recognition processing unit 114 recognizes each of the plurality of persons included in the image for each of the plurality of images stored in the image storage unit 100 as illustrated in FIG. A plurality of person identifiers indicating the person is detected.

なお、特徴量データベース１１２は、人物毎の顔画像の特徴量を、認識処理部１１４から受け取って格納してよい。具体的には、認識処理部１１４は、画像格納部１００に格納されている画像に含まれる人物を認識する場合において、当該画像に含まれる人物の顔画像から抽出した特徴量が、特徴量データベース１１２に格納されている何れの人物の特徴量に対しても、予め定められた基準値以上の類似度を示さない場合に、当該顔画像から抽出した特徴量を、新たな人物の顔画像の特徴量として、特徴量データベース１１２に格納させてよい。これにより、特徴量データベース１１２は、画像格納部１００に格納されている複数の画像の中の、少なくとも一部の画像に含まれる人物の顔画像の特徴量を格納することができる。   The feature amount database 112 may receive the feature amount of the face image for each person from the recognition processing unit 114 and store it. Specifically, when the recognition processing unit 114 recognizes a person included in the image stored in the image storage unit 100, the feature amount extracted from the face image of the person included in the image is the feature amount database. If the feature amount of any person stored in 112 does not show a similarity equal to or higher than a predetermined reference value, the feature amount extracted from the face image is used as the new face image of the person. The feature amount may be stored in the feature amount database 112 as a feature amount. Thereby, the feature amount database 112 can store the feature amount of the face image of the person included in at least some of the plurality of images stored in the image storage unit 100.

図５は、本発明の実施形態に係る人物認識システム１０を用いた人物認識方法における処理の流れの一例を示すフローチャートである。まず、認識処理部１１４は、画像格納部１００に格納されている複数の画像のそれぞれについて、当該画像に含まれる複数の人物を認識する（Ｓ１０００）。続いて、排他検出部１２０は、複数の画像の少なくとも一部に含まれる人物の中で、当該複数の画像の何れにおいても共に含まれることがない２人の人物を検出する（Ｓ１０１０）。ここで、排他検出部１２０は、複数の画像の少なくとも一部に含まれる人物の中から、当該複数の画像の何れにおいても共に含まれることがない２人の人物の組み合わせを、複数検出してもよい。そして、人物認識システム１０は、排他検出部１２０が検出した２人の人物の組み合わせ毎に、以下の処理を繰り返す（Ｓ１０２０）。   FIG. 5 is a flowchart showing an example of the flow of processing in the person recognition method using the person recognition system 10 according to the embodiment of the present invention. First, the recognition processing unit 114 recognizes a plurality of persons included in each of the plurality of images stored in the image storage unit 100 (S1000). Subsequently, the exclusion detection unit 120 detects two persons that are not included in any of the plurality of images among the persons included in at least a part of the plurality of images (S1010). Here, the exclusive detection unit 120 detects a plurality of combinations of two persons that are not included in any of the plurality of images from among persons included in at least a part of the plurality of images. Also good. Then, the person recognition system 10 repeats the following process for each combination of two persons detected by the exclusion detection unit 120 (S1020).

まず、類似度算出部１３０は、当該２人の人物の間における顔画像の類似度を算出する（Ｓ１０３０）。例えば、類似度算出部１３０は、排他検出部１２０から受け取った、当該２人の人物のそれぞれを示す人物識別子と、認識処理部１１４から受け取った、画像格納部１００に格納されている複数の画像のそれぞれに含まれる人物を示す人物識別子とに基づいて、当該２人の人物のそれぞれが含まれる画像を、画像格納部１００から読み出す。そして、類似度算出部１３０は、読み出した画像のそれぞれから、当該２人の人物のそれぞれの顔画像を抽出する。そして、類似度算出部１３０は、抽出したそれぞれの顔画像を比較することにより、当該２人の人物の間における顔画像の類似度を算出する。ここで、類似度算出部１３０は、画像格納部１００から読み出した画像から抽出した顔画像を比較する代わりに、特徴量データベース１１２に格納されている、当該２人の人物のそれぞれにおける顔画像の特徴量を比較することにより、当該２人の人物の間における顔画像の類似度を算出してもよい。   First, the similarity calculation unit 130 calculates the similarity of the face image between the two persons (S1030). For example, the similarity calculation unit 130 receives a person identifier indicating each of the two persons received from the exclusion detection unit 120 and a plurality of images stored in the image storage unit 100 received from the recognition processing unit 114. An image including each of the two persons is read from the image storage unit 100 based on the person identifier indicating the person included in each of the images. Then, the similarity calculation unit 130 extracts each face image of the two persons from each of the read images. Then, the similarity calculation unit 130 calculates the similarity of the face image between the two persons by comparing the extracted face images. Here, instead of comparing the face image extracted from the image read from the image storage unit 100, the similarity calculation unit 130 stores the face image of each of the two persons stored in the feature amount database 112. You may calculate the similarity degree of the face image between the said two persons by comparing a feature-value.

続いて、修正部１４０は、当該２人の人物の間における顔画像の類似度が、予め定められた基準値以上であるか否かを判定する（Ｓ１０４０）。ここで、予め定められた基準値とは、例えば、同一人物を撮像した２枚の画像において、画像の撮像条件、または人物の表情等が異なることにより、それぞれの画像に含まれる人物の顔画像が異なる場合の、当該２枚の画像における顔画像の類似度の典型値、または当該典型値より低い値であってよく、利用者等によって予め定められてよい。   Subsequently, the correcting unit 140 determines whether the similarity of the face image between the two persons is equal to or higher than a predetermined reference value (S1040). Here, the predetermined reference value is, for example, a face image of a person included in each of the two images obtained by capturing the same person because the image capturing conditions or the facial expressions of the persons are different. May be a typical value of the similarity between the face images in the two images or a value lower than the typical value, and may be predetermined by a user or the like.

そして、当該２人の人物の間における顔画像の類似度が基準値以上であると判定した場合（Ｓ１０４０：Ｙｅｓ）、修正部１４０は、更に、当該２人の人物のうち一方の人物が含まれる第１の画像と、当該２人の人物のうち他方の人物が含まれる第２の画像における撮像日時の差が、予め定められた基準値以下であるか否かを判定する（Ｓ１０５０）。ここで、修正部１４０は、当該第１の画像として、当該一方の人物が含まれる画像のうち、何れの画像を選択してもよい。また、修正部１４０は、当該第２の画像として、当該他方の人物が含まれる画像のうち、何れの画像を選択してもよい。なお、撮像日時の差における予め定められた基準値とは、例えば、旅行中に撮像された一連の画像や、同一のイベント中に撮像された一連の画像といった、画像の内容や撮像状況についてまとまりのある一連の画像における、それぞれの画像の、撮像日時の差の最大値であってよく、利用者等によって予め定められてよい。   And when it determines with the similarity degree of the face image between the said 2 persons being more than a reference value (S1040: Yes), the correction part 140 contains one person among the said 2 persons further. It is determined whether or not the difference in imaging date and time between the first image and the second image including the other of the two persons is equal to or less than a predetermined reference value (S1050). Here, the correction unit 140 may select any image from among the images including the one person as the first image. In addition, the correction unit 140 may select any image from among the images including the other person as the second image. Note that the predetermined reference value for the difference in imaging date / time is a collection of image contents and imaging conditions such as a series of images taken during a trip or a series of images taken during the same event. May be the maximum value of the difference in imaging date and time of each image in a certain series of images, and may be predetermined by the user or the like.

そして、撮像日時の差が基準値以下であると判定した場合（Ｓ１０５０：Ｙｅｓ）、修正部１４０は、当該２人の人物が同一人物であると判定し、認識処理部１１４による人物の認識結果を修正する（Ｓ１０６０）。例えば、修正部１４０が、画像格納部１００に格納されている複数の画像のそれぞれについての、認識処理部１１４による人物の認識結果を示す情報、例えば当該画像に含まれる人物識別子等を、Ｅｘｉｆフォーマット等に基づくタグ情報として、当該画像を示す画像ファイルに記録する場合を考える。この場合、修正部１４０は、当該２人の人物における人物識別子が同一の値となるべく修正した認識結果を示す情報を、当該２人の人物のそれぞれが含まれる画像を示す画像ファイルに記録してよい。また、例えば、修正部１４０は、認識処理部１１４による人物の認識結果を修正した後で、修正した認識結果を、例えば人物認識システム１０に設けられた表示装置に表示してもよい。   When it is determined that the difference between the imaging dates and times is equal to or less than the reference value (S1050: Yes), the correction unit 140 determines that the two persons are the same person, and the recognition processing unit 114 recognizes the person. Is corrected (S1060). For example, the correction unit 140 converts information indicating the recognition result of the person by the recognition processing unit 114 for each of a plurality of images stored in the image storage unit 100, for example, a person identifier included in the image into the Exif format. Consider a case in which tag information based on the above is recorded in an image file indicating the image. In this case, the correction unit 140 records information indicating the recognition result corrected so that the person identifiers of the two persons have the same value in an image file indicating an image including each of the two persons. Good. For example, the correction unit 140 may display the corrected recognition result on a display device provided in the person recognition system 10, for example, after correcting the recognition result of the person by the recognition processing unit 114.

更に、修正部１４０は、当該２人の人物が同一人物であると判定した場合に、認識結果を修正するだけでなく、認識処理部１１４によって当該２人の人物が同一人物として認識されるべく、認識処理部１１４における顔画像の類似度の基準値をより低く修正してもよい。ここで、より低く修正された基準値とは、例えば、認識処理部１１４によって、当該２人の人物が同一人物として認識される基準値のうち、最大の値であってよい。そして、人物認識システム１０は、以上の処理を、排他検出部１２０が検出した２人の人物の組み合わせ毎に繰り返す（Ｓ１０７０）。   Further, when the correction unit 140 determines that the two persons are the same person, the correction unit 140 not only corrects the recognition result, but also allows the recognition processing unit 114 to recognize the two persons as the same person. The reference value of the similarity of the face image in the recognition processing unit 114 may be corrected to be lower. Here, the reference value corrected to be lower may be, for example, the maximum value among the reference values by which the recognition processing unit 114 recognizes the two persons as the same person. The person recognition system 10 repeats the above processing for each combination of two persons detected by the exclusion detection unit 120 (S1070).

本発明の実施形態に係る人物認識システム１０によれば、排他検出部１２０が検出した２人の人物が含まれる画像のそれぞれにおける撮像日時の差が基準値以下であることを更なる条件として、当該２人の人物が同一人物であるか否かを判定することができる。例えば、旅行中に撮像された一連の画像や、同一のイベント中に撮像された一連の画像といった、撮像日時が近接している一連の画像において、２人の人物が、何れの画像においても共に含まれることがない場合、当該２人の人物は、同一人物である可能性が高い。人物認識システム１０によれば、こういった場合に、当該２人の人物を同一人物として判定することができるので、実際には同一人物でありながら、画像認識処理によって互いに異なる人物として認識された２人の人物を、より高い精度で同一人物として判定することができる。   According to the person recognition system 10 according to the embodiment of the present invention, as a further condition that the difference in imaging date and time in each of the images including the two persons detected by the exclusive detection unit 120 is equal to or less than a reference value, It can be determined whether or not the two persons are the same person. For example, in a series of images that are close to each other, such as a series of images taken during a trip or a series of images taken during the same event, If it is not included, the two persons are likely to be the same person. According to the person recognition system 10, in such a case, the two persons can be determined as the same person. Therefore, although they are actually the same person, they are recognized as different persons by the image recognition process. Two persons can be determined as the same person with higher accuracy.

なお、修正部１４０は、排他検出部１２０によって検出された２人の人物のうち一方の人物が含まれる第１の画像と、当該２人の人物のうち他方の人物が含まれる第２の画像における撮像日時の差が、予め定められた基準値以下であるか否かを判定するだけでなく、当該第１の画像と当該第２の画像との撮像地点の間の距離が、予め定められた基準距離より短いか否かを更に判定してもよい。そして、修正部１４０は、互いの撮像地点の間の距離が基準距離より近い場合に、当該２人の人物が同一人物であると判定してもよい。この場合、画像格納部１００は、複数の画像のそれぞれを識別する画像識別子に対応付けて、更に、当該画像の撮像地点を示す情報を格納していてよい。   Note that the correction unit 140 includes a first image that includes one of the two persons detected by the exclusion detection unit 120, and a second image that includes the other of the two persons. In addition to determining whether or not the difference in imaging date and time is equal to or less than a predetermined reference value, the distance between the imaging points of the first image and the second image is determined in advance. It may be further determined whether or not the distance is shorter than the reference distance. And the correction | amendment part 140 may determine with the said two persons being the same person, when the distance between mutual imaging points is nearer than a reference distance. In this case, the image storage unit 100 may store information indicating an imaging point of the image in association with an image identifier for identifying each of the plurality of images.

また、人物認識システム１０によれば、認識処理部１１４によって互いに異なる人物として認識された２人の人物が、修正部１４０によって同一人物であると判定された場合に、認識処理部１１４における人物の認識処理に用いる顔画像の類似度の基準値を、より低く修正することができる。例えば、人物認識システム１０は、認識処理部１１４における特徴量の類似度の基準値を、当初、利用者等によって予め定められた、画像認識処理における典型的な値に比べて、高く設定しておいてよい。この場合、認識処理部１１４は、画像格納部１００に格納されている複数の画像のそれぞれに含まれる人物の認識において、同一人物であるにも関わらず、互いに異なる複数の人物として誤認識する場合が多くなる。しかし、人物認識システム１０によれば、何れの画像においても共に含まれることがない２人の人物を同一人物であると判定した場合に、認識処理部１１４における類似度の基準値を低下させて、当該人物についての適正な基準値を設定することができる。これにより、その後、認識処理部１１４は、当該人物について、精度の高い認識処理を実行することができる。   Further, according to the person recognition system 10, when two persons recognized as different persons by the recognition processing unit 114 are determined to be the same person by the correction unit 140, The reference value of the similarity of the face image used for the recognition process can be corrected to be lower. For example, the person recognition system 10 sets the reference value of the similarity of the feature amount in the recognition processing unit 114 higher than a typical value in the image recognition process that is initially determined by the user or the like. You can leave. In this case, when the recognition processing unit 114 recognizes a person included in each of a plurality of images stored in the image storage unit 100 as a plurality of different persons even though they are the same person, Will increase. However, according to the person recognition system 10, when it is determined that two persons who are not included in any image are the same person, the similarity reference value in the recognition processing unit 114 is decreased. A proper reference value for the person can be set. Thereby, the recognition process part 114 can perform the recognition process with high precision about the said person after that.

なお、以上の説明において、排他検出部１２０により検出された２人の人物の組み合わせのうち、少なくとも一部の組み合わせは、互いに同一の人物を含んでいてもよい。これにより、認識処理部１１４において、同一人物が、互いに異なる２人以上の数の人物として誤認識された場合であっても、認識結果を修正することができる。   In the above description, at least some of the combinations of the two persons detected by the exclusion detection unit 120 may include the same person. Thereby, even if the recognition processing unit 114 erroneously recognizes the same person as two or more different persons, the recognition result can be corrected.

また、以上の説明において、人物認識システム１０は、何れの画像においても共に含まれることがない２人の人物を検出した後で、当該２人の人物における顔画像の類似度に基づいて、当該２人の人物が同一人物であるか否かを判定している。しかし、人物認識システム１０は、以上の説明における順序とは異なる順序で、互いに異なる人物として認識された２人の人物が同一人物であるか否かを判定してよい。具体的には、まず、類似度算出部１３０が、画像格納部１００に格納されている複数の画像の少なくとも一部に含まれる、互いに異なる人物として認識された複数の人物のうち、顔画像の類似度が予め定められた基準値以上である２人の人物を検出する。続いて、排他検出部１２０は、類似度算出部１３０により検出された２人の人物が、複数の画像の何れにおいても共に含まれることがないか否かを判定する。そして、修正部１４０は、当該２人の人物が、何れの画像においても共に含まれることがない場合に、当該２人の人物が同一人物であると判定し、認識処理部１１４による人物の認識結果を修正する。何れの順序で処理を行う場合であっても、人物認識システム１０によれば、同一人物であるにも関わらず、互いに異なる２人の人物として誤認識された人物についての認識結果を修正して、精度の高い認識結果を利用者に提供することができる。   In the above description, the person recognition system 10 detects two persons that are not included in any image, and then based on the similarity between the face images of the two persons. It is determined whether or not the two persons are the same person. However, the person recognition system 10 may determine whether or not two persons recognized as different persons in the order different from the order in the above description are the same person. Specifically, first, the similarity calculation unit 130 includes a facial image among a plurality of persons recognized as different persons included in at least a part of a plurality of images stored in the image storage unit 100. Two persons whose similarity is equal to or higher than a predetermined reference value are detected. Subsequently, the exclusion detection unit 120 determines whether the two persons detected by the similarity calculation unit 130 are not included in any of the plurality of images. Then, when the two persons are not included in any of the images, the correcting unit 140 determines that the two persons are the same person, and the recognition processing unit 114 recognizes the person. Correct the result. Regardless of the order of processing, the person recognition system 10 corrects the recognition result for a person who is mistakenly recognized as two different persons even though they are the same person. It is possible to provide the user with a highly accurate recognition result.

図６は、本発明の実施形態に係るコンピュータ１５００のハードウェア構成の一例を示すブロック図である。本発明の実施形態に係るコンピュータ１５００は、ホストコントローラ１５８２により相互に接続されるＣＰＵ１５０５、ＲＡＭ１５２０、グラフィックコントローラ１５７５、及び表示装置１５８０を有するＣＰＵ周辺部と、入出力コントローラ１５８４によりホストコントローラ１５８２に接続される通信インターフェイス１５３０、ハードディスクドライブ１５４０、及びＣＤ−ＲＯＭドライブ１５６０を有する入出力部と、入出力コントローラ１５８４に接続されるＲＯＭ１５１０、フレキシブルディスクドライブ１５５０、及び入出力チップ１５７０を有するレガシー入出力部とを備える。   FIG. 6 is a block diagram showing an example of a hardware configuration of a computer 1500 according to the embodiment of the present invention. A computer 1500 according to an embodiment of the present invention is connected to a host peripheral having a CPU 1505, a RAM 1520, a graphic controller 1575, and a display device 1580 connected to each other by a host controller 1582, and to the host controller 1582 by an input / output controller 1584. An input / output unit having a communication interface 1530, a hard disk drive 1540, and a CD-ROM drive 1560, and a legacy input / output unit having a ROM 1510, a flexible disk drive 1550, and an input / output chip 1570 connected to the input / output controller 1584. Prepare.

ホストコントローラ１５８２は、ＲＡＭ１５２０と、高い転送レートでＲＡＭ１５２０をアクセスするＣＰＵ１５０５及びグラフィックコントローラ１５７５とを接続する。ＣＰＵ１５０５は、ＲＯＭ１５１０及びＲＡＭ１５２０に格納されたプログラムに基づいて動作し、各部の制御を行う。グラフィックコントローラ１５７５は、ＣＰＵ１５０５等がＲＡＭ１５２０内に設けたフレームバッファ上に生成する画像データを取得し、表示装置１５８０上に表示させる。これに代えて、グラフィックコントローラ１５７５は、ＣＰＵ１５０５等が生成する画像データを格納するフレームバッファを、内部に含んでもよい。   The host controller 1582 connects the RAM 1520 to the CPU 1505 and the graphic controller 1575 that access the RAM 1520 at a high transfer rate. The CPU 1505 operates based on programs stored in the ROM 1510 and the RAM 1520 and controls each unit. The graphic controller 1575 acquires image data generated by the CPU 1505 or the like on a frame buffer provided in the RAM 1520 and displays the image data on the display device 1580. Alternatively, the graphic controller 1575 may include a frame buffer that stores image data generated by the CPU 1505 or the like.

入出力コントローラ１５８４は、ホストコントローラ１５８２と、比較的高速な入出力装置である通信インターフェイス１５３０、ハードディスクドライブ１５４０、ＣＤ−ＲＯＭドライブ１５６０を接続する。通信インターフェイス１５３０は、ネットワークを介して他の装置と通信する。ハードディスクドライブ１５４０は、コンピュータ１５００内のＣＰＵ１５０５が使用するプログラム及びデータを格納する。ＣＤ−ＲＯＭドライブ１５６０は、ＣＤ−ＲＯＭ１５９５からプログラム又はデータを読み取り、ＲＡＭ１５２０を介してハードディスクドライブ１５４０に提供する。   The input / output controller 1584 connects the host controller 1582 to the communication interface 1530, the hard disk drive 1540, and the CD-ROM drive 1560, which are relatively high-speed input / output devices. The communication interface 1530 communicates with other devices via a network. The hard disk drive 1540 stores programs and data used by the CPU 1505 in the computer 1500. The CD-ROM drive 1560 reads a program or data from the CD-ROM 1595 and provides it to the hard disk drive 1540 via the RAM 1520.

また、入出力コントローラ１５８４には、ＲＯＭ１５１０と、フレキシブルディスクドライブ１５５０、及び入出力チップ１５７０の比較的低速な入出力装置とが接続される。ＲＯＭ１５１０は、コンピュータ１５００が起動時に実行するブートプログラムや、コンピュータ１５００のハードウェアに依存するプログラム等を格納する。フレキシブルディスクドライブ１５５０は、フレキシブルディスク１５９０からプログラム又はデータを読み取り、ＲＡＭ１５２０を介してハードディスクドライブ１５４０に提供する。入出力チップ１５７０は、フレキシブルディスクドライブ１５５０や、例えばパラレルポート、シリアルポート、キーボードポート、マウスポート等を介して各種の入出力装置を接続する。   The input / output controller 1584 is connected to the ROM 1510, the flexible disk drive 1550, and the relatively low-speed input / output device of the input / output chip 1570. The ROM 1510 stores a boot program executed when the computer 1500 is started up, a program depending on the hardware of the computer 1500, and the like. The flexible disk drive 1550 reads a program or data from the flexible disk 1590 and provides it to the hard disk drive 1540 via the RAM 1520. The input / output chip 1570 connects various input / output devices via the flexible disk drive 1550 and, for example, a parallel port, a serial port, a keyboard port, a mouse port, and the like.

ＲＡＭ１５２０を介してハードディスクドライブ１５４０に提供される人物認識プログラムは、フレキシブルディスク１５９０、ＣＤ−ＲＯＭ１５９５、又はＩＣカード等の記録媒体に格納されて利用者によって提供される。人物認識プログラムは、記録媒体から読み出され、ＲＡＭ１５２０を介してコンピュータ１５００内のハードディスクドライブ１５４０にインストールされ、ＣＰＵ１５０５において実行される。コンピュータ１５００にインストールされて実行される人物認識プログラムは、ＣＰＵ１５０５等に働きかけて、コンピュータ１５００を、図１から図５にかけて説明した人物認識システムとして機能させる。   The person recognition program provided to the hard disk drive 1540 via the RAM 1520 is stored in a recording medium such as the flexible disk 1590, the CD-ROM 1595, or an IC card and provided by the user. The person recognition program is read from the recording medium, installed in the hard disk drive 1540 in the computer 1500 via the RAM 1520, and executed by the CPU 1505. The person recognition program installed and executed on the computer 1500 works on the CPU 1505 or the like to cause the computer 1500 to function as the person recognition system described with reference to FIGS.

以上に示したプログラムは、外部の記憶媒体に格納されてもよい。記憶媒体としては、フレキシブルディスク１５９０、ＣＤ−ＲＯＭ１５９５の他に、ＤＶＤやＰＤ等の光学記録媒体、ＭＤ等の光磁気記録媒体、テープ媒体、ＩＣカード等の半導体メモリ等を用いることができる。また、専用通信ネットワークやインターネットに接続されたサーバシステムに設けたハードディスク又はＲＡＭ等の記憶装置を記録媒体として使用し、ネットワークを介してプログラムをコンピュータ１５００に提供してもよい。   The program shown above may be stored in an external storage medium. As the storage medium, in addition to the flexible disk 1590 and the CD-ROM 1595, an optical recording medium such as a DVD or PD, a magneto-optical recording medium such as an MD, a tape medium, a semiconductor memory such as an IC card, or the like can be used. Further, a storage device such as a hard disk or a RAM provided in a server system connected to a dedicated communication network or the Internet may be used as a recording medium, and the program may be provided to the computer 1500 via the network.

以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更または改良を加えることが可能であることが当業者に明らかである。その様な変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。   As mentioned above, although this invention was demonstrated using embodiment, the technical scope of this invention is not limited to the range as described in the said embodiment. It will be apparent to those skilled in the art that various modifications or improvements can be added to the above-described embodiment. It is apparent from the scope of the claims that the embodiments added with such changes or improvements can be included in the technical scope of the present invention.

本発明の実施形態に係る人物認識システム１０の機能構成の一例を示すブロック図である。It is a block diagram showing an example of functional composition of person recognition system 10 concerning an embodiment of the present invention. 本発明の実施形態に係る画像格納部１００の一例を示す図である。It is a figure which shows an example of the image storage part 100 which concerns on embodiment of this invention. 本発明の実施形態に係る特徴量データベース１１２の一例を示す図である。It is a figure which shows an example of the feature-value database 112 which concerns on embodiment of this invention. 本発明の実施形態に係る認識処理部１１４における人物の認識結果の一例を示す図である。It is a figure which shows an example of the recognition result of the person in the recognition process part 114 which concerns on embodiment of this invention. 本発明の実施形態に係る人物認識システム１０を用いた人物認識方法における処理の流れの一例を示すフローチャートである。It is a flowchart which shows an example of the flow of a process in the person recognition method using the person recognition system 10 which concerns on embodiment of this invention. 本発明の実施形態に係るコンピュータ１５００のハードウェア構成の一例を示すブロック図である。It is a block diagram which shows an example of the hardware constitutions of the computer 1500 concerning embodiment of this invention.

符号の説明Explanation of symbols

１０ 人物認識システム、１００ 画像格納部、１１０ 人物認識部、１１２ 特徴量データベース、１１４ 認識処理部、１２０ 排他検出部、１３０ 類似度算出部、１４０ 修正部 DESCRIPTION OF SYMBOLS 10 Person recognition system, 100 Image storage part, 110 Person recognition part, 112 Feature-value database, 114 Recognition processing part, 120 Exclusive detection part, 130 Similarity calculation part, 140 Correction part

Claims (8)

複数の画像のそれぞれに含まれる人物を認識する人物認識システムであって、
前記複数の画像のそれぞれについて、当該画像に含まれる複数の人物を認識する人物認識部と、
前記複数の画像の少なくとも一部に含まれる複数の人物の中で、前記複数の画像の何れにおいても共に含まれることがない２人の人物を検出する排他検出部と、
前記排他検出部によって検出された２人の人物が同一人物であると判定し、前記人物認識部による認識結果を修正する修正部と
を備える人物認識システム。 A person recognition system for recognizing a person included in each of a plurality of images,
For each of the plurality of images, a person recognition unit that recognizes a plurality of persons included in the image;
An exclusive detection unit for detecting two persons who are not included in any of the plurality of images among a plurality of persons included in at least a part of the plurality of images;
A person recognition system comprising: a correction unit that determines that the two persons detected by the exclusion detection unit are the same person and corrects a recognition result by the person recognition unit. 前記排他検出部によって検出された２人の人物の間における、顔画像の類似度を算出する類似度算出部
を更に備え、
前記修正部は、更に、前記排他検出部によって検出された２人の人物の間における、前記類似度算出部によって算出された顔画像の類似度が、予め定められた基準値以上であることを条件として、当該２人の人物が同一人物であると判定し、前記人物認識部による認識結果を修正する
請求項１に記載の人物認識システム。 A similarity calculation unit that calculates the similarity of the face image between the two persons detected by the exclusive detection unit;
The correction unit further determines that the similarity of the face image calculated by the similarity calculation unit between the two persons detected by the exclusive detection unit is greater than or equal to a predetermined reference value. The person recognition system according to claim 1, wherein the person recognition system determines that the two persons are the same person as a condition, and corrects the recognition result by the person recognition unit. 前記修正部は、更に、前記排他検出部によって検出された２人の人物のうち一方の人物が含まれる第１の画像、及び当該２人の人物のうち他方の人物が含まれる第２の画像における撮像日時の差が、予め定められた基準値以下であることを条件として、当該２人の人物が同一人物であると判定し、前記人物認識部による認識結果を修正する請求項２に記載の人物認識システム。   The correction unit further includes a first image including one of the two persons detected by the exclusive detection unit, and a second image including the other of the two persons. 3. The recognition result obtained by the person recognition unit is corrected by determining that the two persons are the same person on the condition that the difference in imaging date and time is equal to or less than a predetermined reference value. Person recognition system. 前記人物認識部は、
複数の人物のそれぞれについて、当該人物の顔画像の特徴量を格納している特徴量データベースと、
前記複数の画像のそれぞれについて、当該画像に含まれる人物の画像から抽出した特徴量が、前記特徴量データベースに格納されている前記顔画像を示す特徴量に対して、予め定められた基準値以上の類似度で類似している場合に、当該人物を、当該顔画像に対応する人物であると認識する認識処理部と
を有し、
前記修正部は、前記排他検出部によって検出された２人の人物が同一人物であると判定した場合に、更に、前記認識処理部によって当該２人の人物が同一人物として認識されるべく、前記認識処理部における類似度の基準値をより低く修正する
請求項３に記載の人物認識システム。 The person recognition unit
For each of a plurality of persons, a feature amount database storing feature amounts of the person's face image;
For each of the plurality of images, a feature amount extracted from an image of a person included in the image is equal to or greater than a predetermined reference value with respect to a feature amount indicating the face image stored in the feature amount database. A recognition processing unit that recognizes the person as a person corresponding to the face image when they are similar in degree of similarity.
When the correction unit determines that the two persons detected by the exclusion detection unit are the same person, the correction processing unit is further configured to recognize the two persons as the same person. The person recognition system according to claim 3, wherein the reference value of similarity in the recognition processing unit is corrected to be lower. 複数の画像のそれぞれに含まれる人物を認識する人物認識方法であって、
前記複数の画像のそれぞれについて、当該画像に含まれる複数の人物を認識する人物認識段階と、
前記複数の画像の少なくとも一部に含まれる複数の人物の中で、前記複数の画像の何れにおいても共に含まれることがない２人の人物を検出する排他検出段階と、
前記排他検出段階において検出された２人の人物が同一人物であると判定し、前記人物認識段階における認識結果を修正する修正段階と
を備える人物認識方法。 A person recognition method for recognizing a person included in each of a plurality of images,
For each of the plurality of images, a person recognition stage for recognizing a plurality of persons included in the image;
An exclusive detection step of detecting two persons that are not included in any of the plurality of images among a plurality of persons included in at least a part of the plurality of images;
A person recognition method comprising: a correction step of determining that the two persons detected in the exclusive detection step are the same person, and correcting a recognition result in the person recognition step. 前記排他検出段階において検出された２人の人物の間における、顔画像の類似度を算出する類似度算出段階
を更に備え、
前記修正段階は、更に、前記排他検出段階において検出された２人の人物の間における、前記類似度算出段階において算出された顔画像の類似度が、予め定められた基準値以上であることを条件として、当該２人の人物が同一人物であると判定し、前記人物認識段階における認識結果を修正する
請求項５に記載の人物認識方法。 A similarity calculation step of calculating a similarity of the face image between the two persons detected in the exclusive detection step;
In the correction step, the similarity of the face image calculated in the similarity calculation step between the two persons detected in the exclusive detection step is more than a predetermined reference value. The person recognition method according to claim 5, wherein as a condition, the two persons are determined to be the same person, and the recognition result in the person recognition stage is corrected. 複数の画像のそれぞれに含まれる人物を認識する人物認識システムとしてコンピュータを機能させる人物認識プログラムであって、
前記コンピュータを、
前記複数の画像のそれぞれについて、当該画像に含まれる複数の人物を認識する人物認識部と、
前記複数の画像の少なくとも一部に含まれる複数の人物の中で、前記複数の画像の何れにおいても共に含まれることがない２人の人物を検出する排他検出部と、
前記排他検出部によって検出された２人の人物が同一人物であると判定し、前記人物認識部による認識結果を修正する修正部と
を備える人物認識システムとして機能させる人物認識プログラム。 A person recognition program for causing a computer to function as a person recognition system for recognizing a person included in each of a plurality of images,
The computer,
For each of the plurality of images, a person recognition unit that recognizes a plurality of persons included in the image;
An exclusive detection unit that detects two persons that are not included in any of the plurality of images among a plurality of persons included in at least a part of the plurality of images;
A person recognition program that functions as a person recognition system including: a correction unit that determines that two persons detected by the exclusion detection unit are the same person, and corrects a recognition result of the person recognition unit. 前記コンピュータを、
前記排他検出部によって検出された２人の人物の間における、顔画像の類似度を算出する類似度算出部
を更に備え、
前記修正部は、更に、前記排他検出部によって検出された２人の人物の間における、前記類似度算出部によって算出された顔画像の類似度が、予め定められた基準値以上であることを条件として、当該２人の人物が同一人物であると判定し、前記人物認識部による認識結果を修正する
人物認識システムとして機能させる請求項７に記載の人物認識プログラム。 The computer,
A similarity calculation unit that calculates the similarity of the face image between the two persons detected by the exclusive detection unit;
The correction unit further determines that the similarity of the face image calculated by the similarity calculation unit between the two persons detected by the exclusive detection unit is greater than or equal to a predetermined reference value. 8. The person recognition program according to claim 7, wherein the person recognition program functions as a person recognition system that determines that the two persons are the same person as a condition and corrects a recognition result by the person recognition unit.
JP2005053062A 2005-02-28 2005-02-28 Person recognition system, person recognition method, and person recognition program Pending JP2006236217A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2005053062A JP2006236217A (en) 2005-02-28 2005-02-28 Person recognition system, person recognition method, and person recognition program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2005053062A JP2006236217A (en) 2005-02-28 2005-02-28 Person recognition system, person recognition method, and person recognition program

Publications (1)

Publication Number Publication Date
JP2006236217A true JP2006236217A (en) 2006-09-07

Family

ID=37043767

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2005053062A Pending JP2006236217A (en) 2005-02-28 2005-02-28 Person recognition system, person recognition method, and person recognition program

Country Status (1)

Country Link
JP (1) JP2006236217A (en)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008141617A (en) * 2006-12-04 2008-06-19 Fujifilm Corp Photographing apparatus, face detection method thereof and image recording method
JP2012014376A (en) * 2010-06-30 2012-01-19 Casio Comput Co Ltd Apparatus, method, and program for image processing
US8107690B2 (en) 2007-04-16 2012-01-31 Fujitsu Limited Similarity analyzing device, image display device, image display program storage medium, and image display method
JP2012104155A (en) * 2012-02-03 2012-05-31 Casio Comput Co Ltd Image processing apparatus and method and program
WO2015182270A1 (en) * 2014-05-29 2015-12-03 富士フイルム株式会社 Same person determination device and method, and control program therefor

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008141617A (en) * 2006-12-04 2008-06-19 Fujifilm Corp Photographing apparatus, face detection method thereof and image recording method
JP4697549B2 (en) * 2006-12-04 2011-06-08 富士フイルム株式会社 Image capturing apparatus and face detection method thereof
US8107690B2 (en) 2007-04-16 2012-01-31 Fujitsu Limited Similarity analyzing device, image display device, image display program storage medium, and image display method
US8300901B2 (en) 2007-04-16 2012-10-30 Fujitsu Limited Similarity analyzing device, image display device, image display program storage medium, and image display method
JP2012014376A (en) * 2010-06-30 2012-01-19 Casio Comput Co Ltd Apparatus, method, and program for image processing
JP2012104155A (en) * 2012-02-03 2012-05-31 Casio Comput Co Ltd Image processing apparatus and method and program
WO2015182270A1 (en) * 2014-05-29 2015-12-03 富士フイルム株式会社 Same person determination device and method, and control program therefor
JP2015225567A (en) * 2014-05-29 2015-12-14 富士フイルム株式会社 Device of determining the same person and method of the same, and control program of the same
CN106462980A (en) * 2014-05-29 2017-02-22 富士胶片株式会社 Same person determination device and method, and control program therefor

Similar Documents

Publication Publication Date Title
US20060115156A1 (en) Image recognizing system, an image recognizing method, a machine readable medium storing thereon, and a computer program for recognizing images
US8121358B2 (en) Method of grouping images by face
US9384619B2 (en) Searching media content for objects specified using identifiers
US8608074B2 (en) Method and apparatus for locating and decoding machine-readable symbols
US7697039B2 (en) Image transmitting system, an image transmitting method, and a machine readable medium storing thereon a computer program for transmitting images
US8526742B2 (en) Image processing apparatus, method, and program that classifies data of images
US10055640B2 (en) Classification of feature information into groups based upon similarity, and apparatus, image processing method, and computer-readable storage medium thereof
US20080062283A1 (en) Image capturing apparatus, image capturing method, album creating apparatus, album creating method, album creating system and computer readable medium
JP4490214B2 (en) Electronic album display system, electronic album display method, and electronic album display program
JP2006236218A (en) Electronic album display system, electronic album display method, and electronic album display program
JP5792985B2 (en) Information processing apparatus, information processing apparatus control method, and program
CN103168314A (en) Method and apparatus for recognizing an emotion of an individual based on facial action units
JP6040640B2 (en) Image processing apparatus and program
JP2006236217A (en) Person recognition system, person recognition method, and person recognition program
JP4226247B2 (en) Image processing device
JP2006081021A (en) Electronic album display system, electronic album display method, electronic album display program, image classification device, image classification method and image classification program
EP2023266A1 (en) Searching media content for objects specified using identifiers
JP2006079460A (en) System, method and program for displaying electronic album and device, method, and program for classifying image
JP2006236216A (en) Person recognition system, person recognizing method and person recognition program
US20210374189A1 (en) Document search device, document search program, and document search method
JP2012027617A (en) Pattern identification device, pattern identification method and program
JP4522323B2 (en) Image processing apparatus and control method thereof
KR20120128094A (en) Face recognition apparatus, control method thereof, face recognition method
JP6241533B2 (en) Image processing apparatus and program
WO2022079841A1 (en) Group specifying device, group specifying method, and computer-readable recording medium

Legal Events

Date Code Title Description
A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A712

Effective date: 20061211