JP2006236216A - Person recognition system, person recognizing method and person recognition program - Google Patents
Person recognition system, person recognizing method and person recognition program Download PDFInfo
- Publication number
- JP2006236216A JP2006236216A JP2005053059A JP2005053059A JP2006236216A JP 2006236216 A JP2006236216 A JP 2006236216A JP 2005053059 A JP2005053059 A JP 2005053059A JP 2005053059 A JP2005053059 A JP 2005053059A JP 2006236216 A JP2006236216 A JP 2006236216A
- Authority
- JP
- Japan
- Prior art keywords
- person
- persons
- image
- images
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Image Analysis (AREA)
- Collating Specific Patterns (AREA)
- Image Processing (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
Description
本発明は、人物認識システム、人物認識方法、及び人物認識プログラムに関する。特に本発明は、複数の画像のそれぞれに含まれる人物を認識する人物認識システム、人物認識方法、及び人物認識プログラムに関する。 The present invention relates to a person recognition system, a person recognition method, and a person recognition program. In particular, the present invention relates to a person recognition system, a person recognition method, and a person recognition program for recognizing a person included in each of a plurality of images.
従来、人物の顔画像を画像認識することにより、当該人物を認識する人物認識システムが知られている（例えば、特許文献１参照。）。これらの人物認識システムにおいては、人物の顔画像に対して画像処理を行うことにより、当該顔画像から特徴量を抽出すると共に、抽出した特徴量の差異に基づいて、それぞれの人物を認識している。
しかしながら、人物認識に用いられる顔画像は、撮像されるアングルや撮像環境、被写体である人物の表情等によって様々に変化するので、従来の人物認識システムにおいて、常に高い認識率を維持することは容易ではない。このため、同一人物を示す複数の顔画像のそれぞれが、互いに異なる人物の顔画像であるとして誤認識される場合が少なからずあり、より高い精度で人物の認識結果を得ることのできる人物認識システムが待望されていた。 However, since the face image used for person recognition changes variously depending on the captured angle, the imaging environment, the facial expression of the person who is the subject, etc., it is easy to always maintain a high recognition rate in the conventional person recognition system. is not. For this reason, there are not a few cases where each of a plurality of face images representing the same person is erroneously recognized as being face images of different persons, and a person recognition system capable of obtaining a person recognition result with higher accuracy. Was long-awaited.
そこで本発明は、上記の課題を解決することができる人物認識システム、人物認識方法、及び人物認識プログラムを提供することを目的とする。この目的は特許請求の範囲における独立項に記載の特徴の組み合わせにより達成される。また従属項は本発明の更なる有利な具体例を規定する。 Accordingly, an object of the present invention is to provide a person recognition system, a person recognition method, and a person recognition program that can solve the above-described problems. This object is achieved by a combination of features described in the independent claims. The dependent claims define further advantageous specific examples of the present invention.
上記課題を解決するために、本発明の第１の形態においては、複数の画像のそれぞれに含まれる人物を認識する人物認識システムであって、複数の画像のそれぞれについて、当該画像に含まれる複数の人物を認識する人物認識部と、人物認識部による認識結果に基づいて、複数の画像の中の、少なくとも一部の画像に含まれる人物のそれぞれの間における親密度を算出する親密度算出部と、人物認識部によって、互いに異なる人物として認識された複数の人物のそれぞれの、一の人物に対する親密度の差が、予め定められた基準値以下であるか否かを判断する判断部と、互いに異なる人物として認識された複数の人物のそれぞれの、一の人物に対する親密度の差が、予め定められた基準値以下であると判断された場合に、当該複数の人物が同一人物であると判定し、人物認識部による認識結果を修正する修正部とを備える。 In order to solve the above problems, in the first embodiment of the present invention, there is provided a person recognition system for recognizing a person included in each of a plurality of images, wherein each of the plurality of images includes a plurality of A person recognition unit for recognizing a person and a closeness calculation unit for calculating a closeness between each of the persons included in at least some of the images based on the recognition result by the person recognition unit A determination unit that determines whether or not a difference in intimacy with respect to one person of each of a plurality of persons recognized as different persons by the person recognition unit is equal to or less than a predetermined reference value; When it is determined that the difference in intimacy with respect to one person among a plurality of persons recognized as different persons is equal to or less than a predetermined reference value, the plurality of persons are the same. Determines that the person, and a correction unit for correcting the recognition result by the person recognition unit.
親密度算出部は、複数の画像の中の、少なくとも一部の画像に含まれる、第１の人物と第２の人物との間の親密度を、複数の画像のうち、当該第１の人物と当該第２の人物との双方を含む画像の数がより多い場合に、より高い親密度として算出してもよい。親密度算出部は、複数の画像のそれぞれについて人物認識部により認識された人物の数に基づいて、当該画像に含まれる人物の間の親密度である画像内親密度を算出する画像内親密度算出部と、複数の画像のそれぞれについて算出された画像内親密度に基づいて、複数の画像の中の、少なくとも一部の画像に含まれる人物のそれぞれの間における親密度である全体親密度を算出する全体親密度算出部とを有し、判断部は、人物認識部によって、互いに異なる人物として認識された複数の人物のそれぞれの、一の人物に対する全体親密度の差が、予め定められた基準値以下であるか否かを判断してもよい。画像内親密度算出部は、複数の画像のそれぞれについて人物認識部により認識された人物の数が少ない程、当該画像に含まれる人物の間の画像内親密度をより高く算出してもよい。 The closeness calculating unit calculates the closeness between the first person and the second person included in at least some of the plurality of images, and the first person among the plurality of images. And the second person may be calculated as a higher familiarity when the number of images including both the second person and the second person is larger. The intimacy calculating unit calculates an in-image intimacy that is an intimacy between persons included in the image based on the number of persons recognized by the person recognizing unit for each of the plurality of images. Based on the in-image intimacy calculated for each of the plurality of images and the calculation unit, an overall intimacy that is an intimacy between each of the persons included in at least some of the images is determined. An overall closeness calculation unit for calculating, and the determination unit has a predetermined difference in overall closeness with respect to one person of each of a plurality of persons recognized as different persons by the person recognition unit. It may be determined whether or not it is below the reference value. The in-image closeness calculation unit may calculate the in-image closeness between the persons included in the image higher as the number of persons recognized by the person recognition unit for each of the plurality of images is smaller.
親密度算出部は、複数の画像のそれぞれについての人物認識部による認識結果に基づいて、当該画像に含まれる人物の間の親密度である画像内親密度を、当該人物のそれぞれを示す画像の間の距離が小さい程、より高い値として算出する画像内親密度算出部と、複数の画像のそれぞれについて算出された画像内親密度に基づいて、複数の画像の中の、少なくとも一部の画像に含まれる人物のそれぞれの間における親密度である全体親密度を算出する全体親密度算出部とを有し、判断部は、人物認識部によって、互いに異なる人物として認識された複数の人物のそれぞれの、一の人物に対する全体親密度の差が、予め定められた基準値以下であるか否かを判断してもよい。画像内親密度算出部は、複数の画像のそれぞれについて、当該画像に含まれる人物の間の画像内親密度を、当該人物のそれぞれを示す画像に含まれる顔画像の間の距離が小さい程、より高い値として算出してもよい。 The intimacy calculation unit, based on the recognition result by the person recognition unit for each of the plurality of images, the intimacy in the image that is the intimacy between the persons included in the image, and the image indicating each of the persons The image intimacy calculation unit that calculates a higher value as the distance between the images decreases, and at least some of the plurality of images based on the image intimacy calculated for each of the plurality of images. And an overall closeness calculating unit that calculates an overall closeness that is a closeness between each of the persons included in the person, and the determination unit is configured to each of a plurality of persons recognized as different persons by the person recognition unit. It may be determined whether or not the difference in overall familiarity with respect to one person is equal to or less than a predetermined reference value. For each of the plurality of images, the in-image intimacy calculation unit indicates the in-image intimacy between the persons included in the image, and the smaller the distance between the face images included in the image indicating each of the persons, It may be calculated as a higher value.
判断部は、複数の画像の中の、少なくとも一部の画像に含まれる人物から、一の人物を選択すると共に、複数の画像の中の、少なくとも一部の画像に含まれる人物から、選択した一の人物に対する親密度の差が予め定められた基準値以下である、互いに異なる複数の人物を選択できるか否かを判断してもよい。判断部は、複数の画像の中の、少なくとも一部の画像に含まれる人物から、互いに異なる複数の人物を選択すると共に、複数の画像の中の、少なくとも一部の画像に含まれる人物から、当該選択した複数の人物のそれぞれに対する親密度の差が予め定められた基準値以下である一の人物を選択できるか否かを判断してもよい。判断部は、選択した複数の人物の何れかが含まれている画像の中に、より多く含まれる人物に対して、より高い優先度で、一の人物として選択できるか否かを判断してもよい。 The determination unit selects one person from among persons included in at least some of the plurality of images, and selects from among persons included in at least some of the plurality of images. It may be determined whether or not a plurality of different persons whose difference in intimacy with respect to one person is equal to or less than a predetermined reference value can be selected. The determination unit selects a plurality of different persons from the persons included in at least some of the images, and from the persons included in at least some of the images. It may be determined whether or not one person whose difference in closeness with respect to each of the plurality of selected persons is equal to or less than a predetermined reference value can be selected. The determination unit determines whether or not a plurality of selected persons can be selected as a single person with higher priority with respect to a larger number of included persons. Also good.
判断部は、人物認識部によって、互いに異なる人物として認識された複数の人物のそれぞれの、一の人物とは異なる他の人物に対する親密度の差が、予め定められた基準値以下であるか否かを更に判断し、修正部は、互いに異なる人物として認識された複数の人物のそれぞれにおける親密度の差が、一の人物及び他の人物の何れに対しても、予め定められた基準値以下であると判断された場合に、当該複数の人物が同一人物であると判定し、人物認識部による認識結果を修正してもよい。判断部は、人物認識部によって、互いに異なる人物として認識された複数の人物における顔画像のそれぞれが、予め定められた基準値以上の類似度で類似しているか否かを更に判断し、修正部は、互いに異なる人物として認識された複数の人物のそれぞれの、一の人物に対する親密度の差が、予め定められた基準値以下であり、且つ、当該複数の人物における顔画像のそれぞれが、予め定められた基準値以上の類似度で類似していると判断された場合に、当該複数の人物が同一人物であると判定し、人物認識部による認識結果を修正してもよい。 The determination unit determines whether the difference in intimacy of each of the plurality of persons recognized as different persons by the person recognition unit with respect to another person different from the one person is equal to or less than a predetermined reference value. The correction unit determines whether the difference in familiarity between each of the plurality of persons recognized as different persons is equal to or less than a predetermined reference value for one person and the other person. If it is determined that the plurality of persons are the same person, the recognition result by the person recognition unit may be corrected. The determination unit further determines whether or not the face images of a plurality of persons recognized as different persons by the person recognition unit are similar with a similarity equal to or higher than a predetermined reference value, and a correction unit Is a difference in intimacy with respect to one person among a plurality of persons recognized as different persons is equal to or less than a predetermined reference value, and each of face images in the plurality of persons is If it is determined that they are similar with a degree of similarity equal to or greater than a predetermined reference value, the plurality of persons may be determined to be the same person, and the recognition result by the person recognition unit may be corrected.
人物認識部は、複数の人物のそれぞれについて、当該人物の顔画像の特徴量を格納している特徴量データベースと、複数の画像のそれぞれについて、当該画像に含まれる人物の画像から抽出した特徴量が、特徴量データベースに格納されている顔画像を示す特徴量に対して、予め定められた基準値以上の類似度で類似している場合に、当該人物を、当該顔画像に対応する人物であると認識する認識処理部とを有し、修正部は、認識処理部によって互いに異なる人物として認識された複数の人物を同一人物であると判定した場合に、更に、認識処理部によって、当該複数の人物が同一人物として認識されるべく、認識処理部における類似度の基準値をより低く修正してもよい。 For each of a plurality of persons, the person recognizing unit stores a feature quantity database that stores the feature quantity of the person's face image, and for each of the plurality of images, a feature quantity extracted from the person image included in the image. Is similar to the feature quantity indicating the face image stored in the feature quantity database with a similarity equal to or higher than a predetermined reference value, the person is the person corresponding to the face image. A recognizing processing unit that recognizes that a plurality of persons recognized as different persons by the recognizing processing unit are the same person. In order for the persons to be recognized as the same person, the similarity reference value in the recognition processing unit may be modified to be lower.
また、本発明の第２の形態においては、複数の画像のそれぞれに含まれる人物を認識する人物認識方法であって、複数の画像のそれぞれについて、当該画像に含まれる複数の人物を認識する人物認識段階と、人物認識段階における認識結果に基づいて、複数の画像の中の、少なくとも一部の画像に含まれる人物のそれぞれの間における親密度を算出する親密度算出段階と、人物認識段階において、互いに異なる人物として認識された複数の人物のそれぞれの、一の人物に対する親密度の差が、予め定められた基準値以下であるか否かを判断する判断段階と、互いに異なる人物として認識された複数の人物のそれぞれの、一の人物に対する親密度の差が、予め定められた基準値以下であると判断された場合に、当該複数の人物が同一人物であると判定し、人物認識段階における認識結果を修正する修正段階とを備える。 Further, in the second aspect of the present invention, there is provided a person recognition method for recognizing a person included in each of a plurality of images, wherein the person recognizing a plurality of persons included in the image for each of the plurality of images. In a recognition step, a closeness calculation step of calculating a closeness between each of the persons included in at least some of the images based on the recognition result in the human recognition step, and in the human recognition step A determination step of determining whether or not a difference in intimacy with respect to one person among a plurality of persons recognized as different persons is equal to or less than a predetermined reference value; The plurality of persons are the same person when it is determined that the closeness difference of each of the plurality of persons with respect to one person is equal to or less than a predetermined reference value. Determined, and a modified step of modifying the recognition result in the person recognition stage.
また、本発明の第３の形態においては、複数の画像のそれぞれに含まれる人物を認識する人物認識システムとしてコンピュータを機能させる人物認識プログラムであって、コンピュータを、複数の画像のそれぞれについて、当該画像に含まれる複数の人物を認識する人物認識部と、人物認識部による認識結果に基づいて、複数の画像の中の、少なくとも一部の画像に含まれる人物のそれぞれの間における親密度を算出する親密度算出部と、人物認識部によって、互いに異なる人物として認識された複数の人物のそれぞれの、一の人物に対する親密度の差が、予め定められた基準値以下であるか否かを判断する判断部と、互いに異なる人物として認識された複数の人物のそれぞれの、一の人物に対する親密度の差が、予め定められた基準値以下であると判断された場合に、当該複数の人物が同一人物であると判定し、人物認識部による認識結果を修正する修正部とを備える人物認識システムとして機能させる。 According to a third aspect of the present invention, there is provided a person recognition program that causes a computer to function as a person recognition system for recognizing a person included in each of a plurality of images. Based on the recognition result of the person recognition unit that recognizes multiple persons included in the image and the person recognition unit, the intimacy between each of the persons included in at least some of the images is calculated. The degree of familiarity of a plurality of persons recognized as different persons by the familiarity calculating unit and the person recognizing unit determines whether or not the difference in familiarity with respect to one person is equal to or less than a predetermined reference value. The difference in intimacy with respect to one person of each of a plurality of persons recognized as different persons from the determination unit that is different from a predetermined reference value If it is determined that, the plurality of persons is determined to be the same person, to function as a human object recognition system comprising a correction unit for correcting the recognition result by the person recognition unit.
なお、上記の発明の概要は、本発明の必要な特徴の全てを列挙したものではなく、これらの特徴群のサブコンビネーションもまた、発明となりうる。 The above summary of the invention does not enumerate all the necessary features of the present invention, and sub-combinations of these feature groups can also be the invention.
本発明によれば、同一人物を互いに異なる複数の人物として誤認識した場合であっても、認識結果を修正して、精度の高い人物の認識結果を利用者に提供することができる。 According to the present invention, even when the same person is mistakenly recognized as a plurality of different persons, the recognition result can be corrected and a highly accurate recognition result of the person can be provided to the user.
以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は特許請求の範囲にかかる発明を限定するものではなく、また実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。 Hereinafter, the present invention will be described through embodiments of the invention. However, the following embodiments do not limit the invention according to the scope of claims, and all combinations of features described in the embodiments are included. It is not necessarily essential for the solution of the invention.
図１は、本発明の実施形態に係る人物認識システム１０の機能構成の一例を示すブロック図である。人物認識システム１０は、画像格納部１００、人物認識部１１０、親密度算出部１２０、判断部１３０、及び修正部１４０を備える。人物認識システム１０は、画像格納部１００に格納されている複数の画像のそれぞれに含まれる人物を認識する。例えば、人物認識システム１０は、電子アルバムに含まれる複数の画像が画像格納部１００に格納されている場合に、当該複数の画像のそれぞれに含まれる人物を認識すると共に、当該画像に含まれる人物のそれぞれが誰であるかを示す情報を、Ｅｘｉｆ（Ｅｘｃｈａｎｇｅａｂｌｅ ｉｍａｇｅ ｆｉｌｅ）フォーマット等に基づくタグ情報として、当該画像を示す画像ファイルに記録してもよい。これにより、利用者は、当該複数の画像を、容易に、人物毎にカテゴリ分けされたスライドショーとして鑑賞したり、また人物毎に整理したりすることができる。なお、人物認識システム１０は、例えばパーソナルコンピュータであってよく、また、デジタルスチルカメラや、デジタルスチルカメラが設けられた携帯電話端末等であってもよい。
FIG. 1 is a block diagram illustrating an example of a functional configuration of a
本発明の実施形態に係る人物認識システム１０は、複数の画像のそれぞれに含まれる人物の認識結果を、当該複数の画像に基づいて算出した人物間の親密度に基づいて修正することにより、精度の高い認識結果を利用者に提供することを目的とする。
The
画像格納部１００は、例えば、磁気記録媒体や半導体記録媒体等を用いた記憶装置であってよく、複数の画像を格納している。人物認識部１１０は、画像格納部１００に格納されている複数の画像のそれぞれについて、当該画像に含まれる複数の人物を、公知の画像認識技術を用いることにより認識する。人物認識部１１０は、特徴量データベース１１２、及び認識処理部１１４を有する。特徴量データベース１１２は、複数の人物のそれぞれについて、当該人物の顔画像の特徴量を格納している。認識処理部１１４は、画像格納部１００に格納されている複数の画像のそれぞれについて、当該画像に含まれる人物の画像から抽出した特徴量が、特徴量データベース１１２に格納されている顔画像を示す特徴量に対して、予め定められた基準値以上の類似度で類似している場合に、当該人物を、当該顔画像に対応する人物であると認識する。そして、認識処理部１１４は、それぞれの画像についての人物の認識結果を、親密度算出部１２０及び修正部１４０に出力する。
The
親密度算出部１２０は、認識処理部１１４から受け取った、画像格納部１００に格納されている複数の画像のそれぞれについての人物の認識結果に基づいて、当該複数の画像の中の、少なくとも一部の画像に含まれる人物のそれぞれの間における親密度を算出する。そして、親密度算出部１２０は、算出した親密度を判断部１３０に出力する。判断部１３０は、認識処理部１１４によって、互いに異なる人物として認識された複数の人物のそれぞれの、一の人物に対する親密度の差が、予め定められた基準値以下であるか否かを判断する。そして、判断部１３０は、当該複数の人物のそれぞれの、一の人物に対する親密度の差が、予め定められた基準値以下であると判断した場合に、当該複数の人物を示す情報と当該判断結果とを、修正部１４０に出力する。修正部１４０は、認識処理部１１４によって、互いに異なる人物として認識された複数の人物のそれぞれの、一の人物に対する親密度の差が、予め定められた基準値以下であると判断部１３０により判断された場合に、当該複数の人物が同一人物であると判定し、認識処理部１１４による認識結果を修正する。
The
本発明の実施形態に係る人物認識システム１０によれば、複数の人物のそれぞれの、一の人物に対する親密度が類似している場合には、当該複数の人物が実際には同一人物であるとして、人物の認識結果を修正することができる。これにより、画像認識技術を用いた人物認識処理において、１人の人物の画像を、互いに異なる複数の人物の画像として誤認識した場合であっても、当該複数の人物が同一人物であるとして認識結果を修正し、精度の高い人物認識結果を利用者に提供することができる。
According to the
図２は、本発明の実施形態に係る画像格納部１００の一例を示す。画像格納部１００は、複数の画像のそれぞれについて、当該画像を識別する画像識別子と、当該画像を示す画像データとを対応付けて格納している。ここで、画像識別子とは、画像格納部１００が画像を格納する場合に、それぞれの画像について一意となるべく定められた値であってよい。なお、本図において、画像識別子は数値として示されているが、これに代えて、画像識別子は、例えば画像データを示すファイルに割り当てられたファイル名等の文字列であってもよい。
FIG. 2 shows an example of the
図３は、本発明の実施形態に係る特徴量データベース１１２の一例を示す。特徴量データベース１１２は、複数の人物のそれぞれについて、当該人物を識別する人物識別子と、当該人物の顔画像の特徴量とを対応付けて格納している。ここで、人物識別子は、例えば、特徴量データベース１１２に人物の顔画像の特徴量が格納される場合に、それぞれの人物について一意となるべく定められた値であってよい。また、特徴量データベース１１２は、それぞれの人物について、複数の特徴量（例えば、Ａ、Ｂ、・・・等）を格納してよい。ここで、人物の顔画像の特徴量とは、例えば、顔画像そのものや、当該顔画像から公知の画像処理技術を用いて抽出された、顔の輪郭形状、或いは、眼や鼻、口といった、顔における特徴的な部位の形状、それぞれの部位の顔全体における位置、またはそれぞれの部位の間の位置関係といった、多様な情報であってよい。
FIG. 3 shows an example of the
なお、特徴量データベース１１２は、人物毎の顔画像の特徴量を、認識処理部１１４から受け取って格納してよい。具体的には、認識処理部１１４は、画像格納部１００に格納されている画像に含まれる人物を認識する場合において、当該画像に含まれる人物の顔画像から抽出した特徴量が、特徴量データベース１１２に格納されている何れの人物の特徴量に対しても、予め定められた基準値以上の類似度を示さない場合に、当該顔画像から抽出した特徴量を、新たな人物の顔画像の特徴量として、特徴量データベース１１２に格納させてよい。これにより、特徴量データベース１１２は、画像格納部１００に格納されている複数の画像の中の、少なくとも一部の画像に含まれる人物の顔画像の特徴量を格納することができる。
The
図４は、本発明の実施形態に係る認識処理部１１４による人物の認識結果の一例を示す。例えば、認識処理部１１４は、画像格納部１００に格納されている複数の画像のそれぞれについて、輪郭抽出処理や色分布分析処理等の公知の画像処理を行うことにより、当該画像に含まれる複数の被写体を検出する。そして、認識処理部１１４は、検出したそれぞれの被写体を示す画像から、人物の顔に固有の特徴量を検出することにより、当該被写体が人物である場合に、当該被写体を示す画像から人物の顔を示す部分画像を検出する。そして、認識処理部１１４は、検出した人物の顔を示す部分画像から特徴量を抽出すると共に、抽出した特徴量を、図３に示した特徴量データベース１１２に格納されている、複数の人物のそれぞれについての顔画像の特徴量と比較する。そして、認識処理部１１４は、抽出した特徴量が、特徴量データベース１１２に格納されている顔画像の特徴量に対して、予め定められた基準値以上の類似度で類似している場合に、画像から検出した被写体が、特徴量データベース１１２において当該顔画像の特徴量に対応付けられている人物であると認識し、当該人物を示す人物識別子を検出する。このようにして、認識処理部１１４は、図４に示すように、画像格納部１００に格納されている複数の画像のそれぞれについて、当該画像に含まれる複数の人物のそれぞれを認識し、当該複数の人物を示す複数の人物識別子を検出する。
FIG. 4 shows an example of a person recognition result by the
図５は、本発明の実施形態に係る親密度算出部１２０による親密度の算出結果の一例を示す。親密度算出部１２０は、画像格納部１００に格納されている複数の画像の中の、少なくとも一部の画像に含まれる人物のそれぞれの間における親密度を算出する。例えば、親密度算出部１２０は、本図に示すように、人物識別子が０である人物と、人物識別子が１である人物との間における親密度を１０として算出する。ここで、親密度算出部１２０は、画像格納部１００に格納されている複数の画像の中の、少なくとも一部の画像に含まれる、第１の人物と第２の人物との間の親密度を、複数の画像のうち、当該第１の人物と当該第２の人物との双方を含む画像の数がより多い場合に、より高い親密度として算出してよい。例えば、親密度算出部１２０は、当該第１の人物と第２の人物との双方を含む画像の数を、親密度として算出してもよい。これにより、共に画像に含まれている頻度が高い人物同士を、より親密な関係にある人物として検出することができるので、人物の間の親密度を精度よく算出することができる。
FIG. 5 shows an example of the calculation result of the familiarity by the
そして、判断部１３０は、認識処理部１１４によって互いに異なる人物として認識された複数の人物のそれぞれの、一の人物に対する親密度の差が、予め定められた基準値以下であるか否かを判断する。ここで、判断部１３０は、当該判断を行うにあたり、例えば、次に説明する２つの方法の何れかを用いてよい。第１の方法においては、判断部１３０は、画像格納部１００に格納されている複数の画像の中の、少なくとも一部の画像に含まれる人物から、一の人物を選択すると共に、当該複数の画像の中の、少なくとも一部の画像に含まれる人物から、選択した一の人物に対する親密度の差が予め定められた基準値以下である、互いに異なる複数の人物を選択できるか否かを判断する。また、第２の方法においては、判断部１３０は、画像格納部１００に格納されている複数の画像の中の、少なくとも一部に含まれる人物から、互いに異なる複数の人物を選択すると共に、当該複数の画像の中の、少なくとも一部の画像に含まれる人物から、選択した複数の人物のそれぞれに対する親密度の差が予め定められた基準値以下である一の人物を選択できるか否かを判断する。何れの方法を用いた場合であっても、判断部１３０は、修正部１４０において認識処理部１１４による人物の認識結果を修正するべきか否かを、効率よく判断することができる。
Then, the
そして、修正部１４０は、例えば、画像格納部１００に格納されている複数の画像のそれぞれについての、認識処理部１１４による人物の認識結果を示す情報、例えば当該画像に含まれる人物識別子等を、Ｅｘｉｆフォーマット等に基づくタグ情報として、当該画像を示す画像ファイルに記録する。ここで、修正部１４０は、認識処理部１１４によって互いに異なる人物として認識された複数の人物のそれぞれの、一の人物に対する親密度の差が、予め定められた基準値以下であると判断部１３０により判断された場合に、当該複数の人物が同一人物を示すべく修正した認識結果を、それぞれの画像ファイルに記録してよい。
Then, the
なお、人物認識システム１０は、修正部１４０によって修正された、認識処理部１１４による人物の認識結果を、更に、多様な方法で用いてよい。例えば、修正部１４０は、認識処理部１１４による人物の認識結果を親密度に基づいて修正した後で、修正した認識結果を、例えば人物認識システム１０に設けられた表示装置に表示してもよい。また、人物認識システム１０は、人物の認識結果だけでなく、親密度算出部１２０によって算出された親密度を、それぞれの画像を示す画像ファイルにタグ情報として記録してもよい。
In addition, the
また、修正部１４０は、認識処理部１１４によって互いに異なる人物として認識された複数の人物を同一人物であると判定した場合に、認識結果を修正するだけでなく、更に、認識処理部１１４によって、当該複数の人物が同一人物として認識されるべく、認識処理部１１４における特徴量の類似度の基準値をより低く修正してもよい。ここで、より低く修正された基準値とは、例えば、認識処理部１１４によって、当該複数の人物が同一人物として認識される基準値のうち、最大の値であってよい。
In addition, when the
例えば、人物認識システム１０は、認識処理部１１４における特徴量の類似度の基準値を、当初、利用者等によって予め定められた典型的な値に比べて高く設定しておいてよい。この場合、認識処理部１１４は、画像格納部１００に格納されている複数の画像のそれぞれに含まれる人物の認識において、同一人物であるにも関わらず、互いに異なる複数の人物として誤認識する場合が多くなる。しかし、人物認識システム１０においては、人物の間の親密度に基づいて当該複数の人物が同一人物であると判定した場合に、類似度の基準値を低下させて、当該人物についての適正な基準値を設定することができる。これにより、その後、認識処理部１１４は、精度の高い認識処理を実行することができる。
For example, the
また、修正部１４０は、認識処理部１１４によって互いに異なる人物として認識された複数の人物を同一人物であると判定した場合に、更に、当該複数の人物のそれぞれについて、特徴量データベース１１２に格納されている特徴量を修正してもよい。具体的には、修正部１４０は、この場合に、当該複数の人物のそれぞれについて、特徴量データベース１１２に格納されている特徴量のそれぞれを、１人の人物の顔画像における特徴量となるべく、併合してよい。これにより、その後、認識処理部１１４は、精度の高い認識処理を実行することができる。
Further, when the
なお、人物認識システム１０は、以上に説明した処理に加えて、更に他の処理を行うことによって、より高い精度で、認識処理部１１４による人物の認識結果を修正するか否かを判定してもよい。例えば、判断部１３０は、認識処理部１１４によって、互いに異なる人物として認識された複数の人物における顔画像のそれぞれが、利用者等によって予め定められた基準値以上の類似度で類似しているか否かを更に判断してよい。そして、修正部１４０は、互いに異なる人物として認識された複数の人物のそれぞれの、一の人物に対する親密度の差が、予め定められた基準値以下であり、且つ、当該複数の人物における顔画像のそれぞれが、予め定められた基準値以上の類似度で類似していると、判断部１３０により判断された場合に、当該複数の人物が同一人物であると判定し、認識処理部１１４による人物の認識結果を修正してよい。これにより、画像格納部１００に格納されている画像の数が少ない場合や、画像に含まれる人物の組み合わせ等の、親密度を決定する要因の傾向が類似する、互いに異なる複数の人物が存在する場合においても、認識処理部１１４による人物の認識結果を修正するべきか否かを、高い精度で判断することができる。
Note that the
また、例えば、判断部１３０は、認識処理部１１４によって、互いに異なる人物として認識された複数の人物のそれぞれの、一の人物とは異なる他の人物に対する親密度の差が、予め定められた基準値以下であるか否かを更に判断してよい。そして、修正部１４０は、互いに異なる人物として認識された複数の人物のそれぞれにおける親密度の差が、当該一の人物及び当該他の人物の何れに対しても、予め定められた基準値以下であると判断された場合に、当該複数の人物が同一人物であると判定し、認識処理部１１４による人物の認識結果を修正してよい。このように、互いに異なる人物として認識された複数の人物が同一人物であるか否かを、ある人物に対する親密度の差に基づいて判断する場合において、１人の人物に対する親密度のみに基づいて判断するのではなく、複数の人物のそれぞれに対する親密度に基づいて判断することにより、認識処理部１１４による人物の認識結果を修正するべきか否かを、より高い精度で判断することができる。
In addition, for example, the
図６は、本発明の実施形態に係る人物認識システムを用いた人物認識方法における処理の流れの第１の例を示すフローチャートである。本例においては、判断部１３０が、図５において説明した第１の方法を用いる場合について説明する。まず、人物認識部１１０は、画像格納部１００に格納されている複数の画像のそれぞれについて、当該画像に含まれる複数の人物を認識する（Ｓ１０００）。続いて、親密度算出部１２０は、複数の画像のそれぞれについての人物の認識結果に基づいて、当該複数の画像の中の、少なくとも一部の画像に含まれる人物のそれぞれの間における親密度を算出する（Ｓ１０１０）。
FIG. 6 is a flowchart showing a first example of a process flow in the person recognition method using the person recognition system according to the embodiment of the present invention. In this example, a case where the
続いて、判断部１３０は、複数の画像の中の、少なくとも一部の画像に含まれる人物のうち、少なくとも一部の人物を選択し、選択した人物のそれぞれ（以降、一の人物と表記）について、以下の処理を繰り返す（Ｓ１０２０）。ここで、判断部１３０は、複数の画像の中の、少なくとも一部の画像に含まれる人物のうち、より多くの画像に含まれている人物を、より高い優先度で選択してよい。通常、ある人物に対する親密度と、当該親密度を示す人物の数との相関においては、親密度が高い程、当該親密度を示す人物の数は少ない。従って、複数の画像の中の、少なくとも一部の画像に含まれる複数の人物が、互いに異なる複数の人物として誤認識された人物であるか否かを、選択した一の人物に対する親密度に基づいて高い精度で判断するためには、当該判断が、より高い親密度に基づいて行われることが好ましい。つまり、判断部１３０は、複数の画像の中の、少なくとも一部の画像に含まれる人物のすべてを選択するのではなく、より多くの画像に含まれている人物、即ち多くの人物に対して高い親密度を示す人物のみを選択して、以下の処理を行うことにより、当該判断を、高い精度で、且つ効率よく行うことができる。
Subsequently, the
まず、判断部１３０は、選択した一の人物に対する親密度の差が予め定められた基準値以下である複数の人物を、複数の画像の中の、少なくとも一部の画像に含まれる人物から選択する（Ｓ１０３０）。例えば、判断部１３０は、複数の画像の中の、少なくとも一部の画像に含まれる人物のそれぞれについて、当該人物の、選択した一の人物に対する親密度を抽出すると共に、当該人物とは異なる他の人物における、選択した一の人物に対する親密度が、抽出した親密度に対して予め定められた基準値以下の差を示している場合に、当該人物と、当該他の人物とを、前述した複数の人物として選択してよい。そして、判断部１３０は、複数の人物を選択できたか否かを判断する（Ｓ１０４０）。
First, the
複数の人物が選択できた場合（Ｓ１０４０：Ｙｅｓ）、判断部１３０は、更に、選択した複数の人物における顔画像のそれぞれが、予め定められた基準値以上の類似度で類似しているか否かを判断する（Ｓ１０５０）。ここで、判断部１３０は、公知の画像処理技術を用いることにより、当該複数の人物における顔画像のそれぞれから特徴量を抽出すると共に、抽出した特徴量のそれぞれを互いに比較することにより、当該複数の人物における顔画像のそれぞれが類似しているか否かを判断してよい。そして、選択した複数の人物における顔画像のそれぞれが、基準値以上の類似度で類似していると判断された場合に（Ｓ１０５０：Ｙｅｓ）、修正部１４０は、当該複数の人物が同一人物であると判定し、人物認識部１１０による当該複数の人物についての認識結果を修正する（Ｓ１０６０）。そして、判断部１３０は、選択した人物のそれぞれについて、以上の処理を繰り返す（Ｓ１０７０）。
When a plurality of persons can be selected (S1040: Yes), the
図７は、本発明の実施形態に係る人物認識システムを用いた人物認識方法における処理の流れの第２の例を示すフローチャートである。本例においては、判断部１３０が、図５において説明した第２の方法を用いる場合について説明する。まず、人物認識部１１０は、画像格納部１００に格納されている複数の画像のそれぞれについて、当該画像に含まれる複数の人物を認識する（Ｓ１１００）。続いて、親密度算出部１２０は、複数の画像のそれぞれについての人物の認識結果に基づいて、当該複数の画像の中の、少なくとも一部の画像に含まれる人物のそれぞれの間における親密度を算出する（Ｓ１１１０）。
FIG. 7 is a flowchart showing a second example of the flow of processing in the person recognition method using the person recognition system according to the embodiment of the present invention. In this example, the case where the
続いて、判断部１３０は、複数の画像の中の、少なくとも一部の画像に含まれる人物から、互いに異なる複数の人物の組み合わせを複数選択し、選択した組み合わせ毎に、以下の処理を繰り返す（Ｓ１１２０）。ここで、判断部１３０は、複数の人物の組み合わせを選択する場合において、当該少なくとも一部の画像に含まれる人物のうち、互いの顔画像が予め定められた基準値以上の類似度で類似している複数の人物を選択してよい。これにより、複数の人物の組み合わせのすべてについて、以下の処理を繰り返すことなく、人物認識部１１０による人物の認識結果を修正するか否かを、効率よく判断することができる。
Subsequently, the
まず、判断部１３０は、複数の画像の中の、少なくとも一部の画像に含まれる人物から、選択した複数の人物のそれぞれに対する親密度の差が、予め定められた基準値以下である一の人物を選択する（Ｓ１１３０）。ここで、判断部１３０は、選択した複数の人物の何れかが含まれている画像の中に、より多く含まれる人物に対して、より高い優先度で、一の人物として選択できるか否かを試みてよい。通常、ある人物に対する親密度と、当該親密度を示す人物の数との相関においては、親密度が高い程、当該親密度を示す人物の数は少ない。従って、選択した複数の人物が、互いに異なる複数の人物として誤認識された人物であるか否かを、親密度に基づいて高い精度で判断するためには、当該判断が、より高い親密度に基づいて行われることが好ましい。つまり、判断部１３０は、複数の画像の中の、少なくとも一部の画像に含まれるすべての人物について、一の人物として選択できるか否かを試みるのではなく、選択した複数の人物のそれぞれと共に画像に含まれる頻度が高い人物、即ち当該複数の人物に対する親密度が高い人物についてのみ、一の人物として選択できるか否かを試みることにより、当該判断を、高い精度で、且つ効率よく行うことができる。
First, the
そして、判断部１３０は、一の人物を選択できたか否かを判断する（Ｓ１１４０）。一の人物を選択できた場合に（Ｓ１１４０：Ｙｅｓ）、修正部１４０は、選択した複数の人物が同一人物であると判定し、人物認識部１１０による当該複数の人物についての認識結果を修正する（Ｓ１１５０）。そして、判断部１３０は、選択した複数の人物の組み合わせ毎に、以上の処理を繰り返す（Ｓ１１６０）。
Then, the
図８は、本発明の実施形態における第１の変形例に係る親密度算出部１２０の機能構成の一例を示すブロック図である。本発明の実施形態の第１の変形例において、親密度算出部１２０は、画像内親密度算出部１２２、及び全体親密度算出部１２４を有する。画像内親密度算出部１２２は、画像格納部１００に格納されている複数の画像のそれぞれについて認識処理部１１４により認識された人物の数に基づいて、当該画像に含まれる人物の間の親密度である画像内親密度を算出する。そして、画像内親密度算出部１２２は、算出したそれぞれの画像における画像内親密度を全体親密度算出部１２４に出力する。全体親密度算出部１２４は、画像格納部１００に格納されている複数の画像のそれぞれについて画像内親密度算出部１２２により算出された画像内親密度に基づいて、当該複数の画像の中の、少なくとも一部の画像に含まれる人物のそれぞれの間における親密度である全体親密度を算出する。そして、全体親密度算出部１２４は、算出した全体親密度を判断部１３０に出力する。そして、図１に示した判断部１３０は、認識処理部１１４によって、互いに異なる人物として認識された複数の人物のそれぞれの、一の人物に対する全体親密度の差が、予め定められた基準値以下であるか否かを判断する。
FIG. 8 is a block diagram illustrating an example of a functional configuration of the
本発明の実施形態における第１の変形例に係る人物認識システム１０によれば、画像に含まれる人物の数に基づいて、当該画像に含まれる人物間の親密度である画像内親密度を算出することができると共に、画像格納部１００に格納されている複数の画像のそれぞれにおける画像内親密度に基づいて、当該複数の画像全体における人物間の親密度である全体親密度を算出することができる。これにより、１人の人物の画像を、互いに異なる複数の人物の画像として誤認識した場合であっても、算出された全体親密度に基づいて、当該複数の人物が同一人物であると判定して認識結果を修正し、精度の高い人物認識結果を利用者に提供することができる。
According to the
図９は、本発明の実施形態における第１の変形例に係る画像内親密度算出部１２２による画像内親密度の算出結果の一例を示す。画像内親密度算出部１２２は、画像格納部１００に格納されている複数の画像のそれぞれについて、当該画像に含まれる人物の間の親密度である画像内親密度を算出する。例えば、画像内親密度算出部１２２は、複数の画像のそれぞれについて認識処理部１１４により認識された人物の数が少ない程、当該画像に含まれる人物の間の画像内親密度をより高く算出してよい。具体的には、画像内親密度算出部１２２は、それぞれの画像に含まれる人物の間の画像内親密度を、当該画像について認識された人物の数の逆数として算出してよい。なお、画像内親密度算出部１２２は、画像について認識された人物の数が１以下である場合には、当該画像において画像内親密度を算出しなくともよい。画像に含まれている人物の数が少ない程、当該画像に含まれる人物の間の関係はよりプライベートなものであり、それぞれの人物はより親密である場合が多い。従って、画像に含まれる人物が少ない程、より高い画像内親密度を算出することにより、画像内における人物間の親密度を、高い精度で算出することができる。
FIG. 9 shows an example of the calculation result of the in-image familiarity by the in-image
図１０は、本発明の実施形態における第１の変形例に係る全体親密度算出部１２４による全体親密度の算出結果の一例を示す。全体親密度算出部１２４は、画像格納部１００に格納されている複数の画像のそれぞれについて算出された画像内親密度に基づいて、当該複数の画像の中の、少なくとも一部の画像に含まれる人物のそれぞれの間における親密度である全体親密度を算出する。例えば、全体親密度算出部１２４は、本図に示すように、人物識別子が０である人物と、人物識別子が１である人物との間の全体親密度を、９．８として算出する。ここで、全体親密度算出部１２４は、当該複数の画像の中の、少なくとも一部の画像に含まれる第１の人物と第２の人物との間の全体親密度を、複数の画像のうち、当該第１の人物と当該第２の人物との双方が含まれる画像の数がより多い程、より高く算出してよい。例えば、全体親密度算出部１２４は、当該第１の人物と当該第２の人物との間の全体親密度を、複数の画像のうち、当該第１の人物と当該第２の人物との双方が含まれる画像のそれぞれについて算出された、当該１の人物と当該第２の人物との間の画像内親密度のそれぞれを合計することにより算出してよい。
FIG. 10 shows an example of the calculation result of the total familiarity by the total
二人の人物のそれぞれが同一の画像に含まれる頻度が高い程、当該二人の人物の間の関係はより親密である場合が多い。従って、画像内親密度を合計して全体親密度を算出することにより、画像格納部１００に格納されている複数の画像に含まれる人物の間の親密度を、高い精度で算出することができる。
The more frequently each of the two persons is included in the same image, the closer the relationship between the two persons is. Therefore, by calculating the total intimacy by adding up the intimacy within the image, it is possible to calculate the intimacy between persons included in a plurality of images stored in the
図１１は、本発明の実施形態における第２の変形例に係る親密度算出部１２０の機能構成の一例を示すブロック図である。本発明の実施形態の第２の変形例において、親密度算出部１２０は、画像内親密度算出部１２６、及び全体親密度算出部１２８を有する。画像内親密度算出部１２６は、画像格納部１００に格納されている複数の画像のそれぞれについての認識処理部１１４による認識結果に基づいて、当該画像に含まれる人物のそれぞれを示す画像の間の距離を算出する。そして、画像内親密度算出部１２６は、複数の画像のそれぞれについて、当該画像に含まれる人物の間の親密度である画像内親密度を、当該人物のそれぞれを示す画像の間の距離に基づいて算出する。具体的には、画像内親密度算出部１２６は、それぞれの画像に含まれる人物の間の画像内親密度を、当該人物のそれぞれを示す画像の間の距離が小さい程、より高い値として算出する。そして、画像内親密度算出部１２６は、算出したそれぞれの画像における、それぞれの人物の間の画像内親密度を、全体親密度算出部１２８に出力する。
FIG. 11 is a block diagram illustrating an example of a functional configuration of the
全体親密度算出部１２８は、画像格納部１００に格納されている複数の画像のそれぞれについて画像内親密度算出部１２６により算出された画像内親密度に基づいて、当該複数の画像の中の、少なくとも一部の画像に含まれる人物のそれぞれの間における親密度である全体親密度を算出する。そして、全体親密度算出部１２８は、算出した全体親密度を判断部１３０に出力する。そして、図１に示した判断部１３０は、認識処理部１１４によって、互いに異なる人物として認識された複数の人物のそれぞれの、一の人物に対する全体親密度の差が、予め定められた基準値以下であるか否かを判断する。
The overall
二人の人物が非常に親密である場合、当該二人の人物が近接した状態で画像が撮像されることが多い。一方、二人の人物があまり親密ではない場合、当該二人の人物が近接した状態で画像が撮像されることは多くない。このように、画像を撮像する場合における人物間の距離は、それぞれの人物の間における親密さに関連していると言える。ここで、本発明の実施形態における第２の変形例に係る人物認識システム１０によれば、画像に含まれる人物間の距離に基づいて、当該画像に含まれる人物間の親密度である画像内親密度を算出することができると共に、画像格納部１００に格納されている複数の画像のそれぞれにおける画像内親密度に基づいて、当該複数の画像全体における人物間の親密度である全体親密度を算出することができる。これにより、１人の人物の画像を、互いに異なる複数の人物の画像として誤認識した場合であっても、算出された全体親密度に基づいて、当該複数の人物が同一人物であると判定して認識結果を修正し、精度の高い人物認識結果を利用者に提供することができる。
When two persons are very intimate, an image is often captured with the two persons in close proximity. On the other hand, when the two persons are not very close, images are not often captured in the state where the two persons are close to each other. Thus, it can be said that the distance between persons when an image is captured is related to the intimacy between the persons. Here, according to the
図１２は、本発明の実施形態における第２の変形例に係る認識処理部１１４による人物の認識結果の一例を示す。例えば、認識処理部１１４は、画像格納部１００に格納されている複数の画像のそれぞれについて、輪郭抽出処理や色分布分析処理等の公知の画像処理を行うことにより、当該画像に含まれる複数の被写体を検出する。そして、認識処理部１１４は、検出したそれぞれの被写体を示す画像から、人物の顔に固有の特徴量を検出することにより、当該被写体が人物である場合に、当該被写体を示す画像から人物の顔を示す部分画像を検出する。そして、認識処理部１１４は、検出した人物の顔を示す部分画像から特徴量を抽出すると共に、抽出した特徴量を、図３に示した特徴量データベース１１２に格納されている、複数の人物のそれぞれについての顔画像の特徴量と比較する。そして、認識処理部１１４は、抽出した特徴量が、特徴量データベース１１２に格納されている顔画像の特徴量に対して、予め定められた基準値以上の類似度で類似している場合に、画像から検出した被写体が、特徴量データベース１１２において当該顔画像の特徴量に対応付けられている人物であると認識し、当該人物を示す人物識別子を検出する。このようにして、認識処理部１１４は、図１２に示すように、画像格納部１００に格納されている複数の画像のそれぞれについて、当該画像に含まれる複数の人物のそれぞれを認識し、当該複数の人物を示す複数の人物識別子を検出する。
FIG. 12 shows an example of a person recognition result by the
また、認識処理部１１４は、複数の画像のそれぞれについて、当該画像において検出した人物または当該人物の顔を示す部分画像の、当該画像内における位置を示す位置情報を、画像内親密度算出部１２６に出力する。ここで、位置情報とは、例えば、それぞれの画像内における、人物または当該人物の顔を示す部分画像の、左上隅及び右下隅の画素の座標値を含んでいてよい。
In addition, the
図１３は、本発明の実施形態における第２の変形例に係る画像内親密度算出部１２６による画像内親密度の算出結果の一例を示す。画像内親密度算出部１２６は、画像格納部１００に格納されている複数の画像のそれぞれについて、当該画像に含まれる人物の間の親密度である画像内親密度を算出する。具体的には、画像内親密度算出部１２６は、複数の画像のそれぞれについて、当該画像に含まれる人物の間の画像内親密度を、当該人物のそれぞれを示す画像の間の距離が小さい程、より高い値として算出してよい。例えば、画像内親密度算出部１２６は、それぞれの画像に含まれる人物の間の画像内親密度が、当該人物のそれぞれを示す画像の間の距離に反比例するべく、画像内親密度を算出してよい。また、画像内親密度算出部１２６は、複数の画像のそれぞれについて、当該画像に含まれる人物の間の画像内親密度を、当該人物のそれぞれを示す画像に含まれる顔画像の間の距離が小さい程、より高い値として算出してもよい。なお、画像内親密度算出部１２６は、人物のそれぞれを示す画像の間の距離、または人物のそれぞれを示す画像に含まれる顔画像の間の距離を、認識処理部１１４から受け取った、複数の画像のそれぞれにおける人物または当該人物の顔を示す部分画像の、当該画像内における位置を示す位置情報や、当該画像内における大きさを表す面積情報に基づいて算出してよい。
FIG. 13 shows an example of the calculation result of the in-image familiarity by the in-image
二人の人物の顔が近接して画像が撮像されている場合、当該二人の人物は非常に親しい場合が多い。一方、二人の人物があまり親密ではない場合、当該二人の人物の顔が近接した状態で画像が撮像されることは多くない。ここで、本発明の実施形態における第２の変形例に係る人物認識システム１０によれば、画像に含まれる人物の顔画像の間の距離に基づいて画像内親密度を算出することができるので、画像格納部１００に格納されている画像全体における人物間の親密度である全体親密度を高い精度で算出することができる。
When two people's faces are close to each other and an image is captured, the two people are often very close. On the other hand, when the two persons are not very close, images are not often captured with the faces of the two persons close to each other. Here, according to the
また、画像内親密度算出部１２６は、画像格納部１００に格納されている複数の画像のそれぞれについて、当該画像に含まれる人物のそれぞれを示す画像の間の距離が予め定められた基準値以上である場合には、当該人物の間の画像内親密度を、予め定められた標準値として算出してよい。ここで、予め定められた基準値及び予め定められた標準値とは、例えば利用者等によって予め指定された値であってよい。
In addition, the in-image
二人の人物の間の距離と、当該二人の人物の間の親密度とは関連するが、何れの距離においても、常に、距離がより近い程、親密度がより高いとは限らない。例えば、二人の人物が１０メートル離れている場合と、１５メートル離れている場合とでは、当該二人の人物の間の親密度に差はないと見なせる場合がある。ここで、本発明の実施形態における第２の変形例に係る人物認識システム１０によれば、人物の間の距離が予め定められた基準値以上である場合には、当該人物の間の画像内親密度を予め定められた標準的な親密度として算出することができるので、画像格納部１００に格納されている画像全体における人物間の親密度である全体親密度を高い精度で算出することができる。
Although the distance between two persons and the intimacy between the two persons are related, at any distance, the closer the distance, the more intimate is not always. For example, there may be cases where there is no difference in the intimacy between the two persons when the two persons are 10 meters apart and when the two persons are 15 meters away. Here, according to the
図１４は、本発明の実施形態における第２の変形例に係る全体親密度算出部１２８による全体親密度の算出結果の一例を示す。全体親密度算出部１２８は、画像格納部１００に格納されている複数の画像のそれぞれについて算出された、当該画像内に含まれるそれぞれの人物の間の画像内親密度に基づいて、当該複数の画像の中の、少なくとも一部の画像に含まれる人物のそれぞれの間における親密度である全体親密度を算出する。例えば、全体親密度算出部１２８は、本図に示すように、人物識別子が０である人物と、人物識別子が１である人物との間の全体親密度を、１２０として算出する。ここで、全体親密度算出部１２８は、当該複数の画像の中の、少なくとも一部の画像に含まれる第１の人物と第２の人物との間の全体親密度を、複数の画像のうち、当該第１の人物と当該第２の人物との双方が含まれる画像の数がより多い程、より高く算出してよい。例えば、全体親密度算出部１２８は、当該第１の人物と当該第２の人物との間の全体親密度を、複数の画像のうち、当該第１の人物と当該第２の人物との双方が含まれる画像のそれぞれについて算出された、当該１の人物と当該第２の人物との間の画像内親密度のそれぞれを合計することにより算出してよい。
FIG. 14 shows an example of the calculation result of the total familiarity by the total
二人の人物のそれぞれが同一の画像に含まれる頻度が高い程、当該二人の人物の間の関係はより親密である場合が多い。従って、画像内親密度を合計して全体親密度を算出することにより、画像格納部１００に格納されている画像に含まれる人物の間の親密度を、高い精度で算出することができる。
The more frequently each of the two persons is included in the same image, the closer the relationship between the two persons is. Therefore, by calculating the total intimacy by summing up the intimacy within the image, the intimacy between persons included in the image stored in the
図１５は、本発明の実施形態に係るコンピュータ１５００のハードウェア構成の一例を示すブロック図である。本発明の実施形態に係るコンピュータ１５００は、ホスト・コントローラ１５８２により相互に接続されるＣＰＵ１５０５、ＲＡＭ１５２０、グラフィック・コントローラ１５７５、及び表示装置１５８０を有するＣＰＵ周辺部と、入出力コントローラ１５８４によりホスト・コントローラ１５８２に接続される通信インターフェイス１５３０、ハードディスクドライブ１５４０、及びＣＤ−ＲＯＭドライブ１５６０を有する入出力部と、入出力コントローラ１５８４に接続されるＲＯＭ１５１０、フレキシブルディスク・ドライブ１５５０、及び入出力チップ１５７０を有するレガシー入出力部とを備える。
FIG. 15 is a block diagram showing an example of a hardware configuration of a
ホスト・コントローラ１５８２は、ＲＡＭ１５２０と、高い転送レートでＲＡＭ１５２０をアクセスするＣＰＵ１５０５及びグラフィック・コントローラ１５７５とを接続する。ＣＰＵ１５０５は、ＲＯＭ１５１０及びＲＡＭ１５２０に格納されたプログラムに基づいて動作し、各部の制御を行う。グラフィック・コントローラ１５７５は、ＣＰＵ１５０５等がＲＡＭ１５２０内に設けたフレーム・バッファ上に生成する画像データを取得し、表示装置１５８０上に表示させる。これに代えて、グラフィック・コントローラ１５７５は、ＣＰＵ１５０５等が生成する画像データを格納するフレーム・バッファを、内部に含んでもよい。
The
入出力コントローラ１５８４は、ホスト・コントローラ１５８２と、比較的高速な入出力装置である通信インターフェイス１５３０、ハードディスクドライブ１５４０、ＣＤ−ＲＯＭドライブ１５６０を接続する。通信インターフェイス１５３０は、ネットワークを介して他の装置と通信する。ハードディスクドライブ１５４０は、コンピュータ１５００内のＣＰＵ１５０５が使用するプログラム及びデータを格納する。ＣＤ−ＲＯＭドライブ１５６０は、ＣＤ−ＲＯＭ１５９５からプログラム又はデータを読み取り、ＲＡＭ１５２０を介してハードディスクドライブ１５４０に提供する。
The input /
また、入出力コントローラ１５８４には、ＲＯＭ１５１０と、フレキシブルディスク・ドライブ１５５０、及び入出力チップ１５７０の比較的低速な入出力装置とが接続される。ＲＯＭ１５１０は、コンピュータ１５００が起動時に実行するブート・プログラムや、コンピュータ１５００のハードウェアに依存するプログラム等を格納する。フレキシブルディスク・ドライブ１５５０は、フレキシブルディスク１５９０からプログラム又はデータを読み取り、ＲＡＭ１５２０を介してハードディスクドライブ１５４０に提供する。入出力チップ１５７０は、フレキシブルディスク・ドライブ１５５０や、例えばパラレル・ポート、シリアル・ポート、キーボード・ポート、マウス・ポート等を介して各種の入出力装置を接続する。
The input /
ＲＡＭ１５２０を介してハードディスクドライブ１５４０に提供される人物認識プログラムは、フレキシブルディスク１５９０、ＣＤ−ＲＯＭ１５９５、又はＩＣカード等の記録媒体に格納されて利用者によって提供される。人物認識プログラムは、記録媒体から読み出され、ＲＡＭ１５２０を介してコンピュータ１５００内のハードディスクドライブ１５４０にインストールされ、ＣＰＵ１５０５において実行される。コンピュータ１５００にインストールされて実行される人物認識プログラムは、ＣＰＵ１５０５等に働きかけて、コンピュータ１５００を、図１から図１４にかけて説明した人物認識システム１０として機能させる。
The person recognition program provided to the
以上に示したプログラムは、外部の記憶媒体に格納されてもよい。記憶媒体としては、フレキシブルディスク１５９０、ＣＤ−ＲＯＭ１５９５の他に、ＤＶＤやＰＤ等の光学記録媒体、ＭＤ等の光磁気記録媒体、テープ媒体、ＩＣカード等の半導体メモリ等を用いることができる。また、専用通信ネットワークやインターネットに接続されたサーバシステムに設けたハードディスク又はＲＡＭ等の記憶装置を記録媒体として使用し、ネットワークを介してプログラムをコンピュータ１５００に提供してもよい。
The program shown above may be stored in an external storage medium. As the storage medium, in addition to the
以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更または改良を加えることが可能であることが当業者に明らかである。その様な変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。 As mentioned above, although this invention was demonstrated using embodiment, the technical scope of this invention is not limited to the range as described in the said embodiment. It will be apparent to those skilled in the art that various modifications or improvements can be added to the above-described embodiment. It is apparent from the scope of the claims that the embodiments added with such changes or improvements can be included in the technical scope of the present invention.
１０ 人物認識システム、１００ 画像格納部、１１０ 人物認識部、１１２ 特徴量データベース、１１４ 認識処理部、１２０ 親密度算出部、１２２ 画像内親密度算出部、１２４ 全体親密度算出部、１２６ 画像内親密度算出部、１２８ 全体親密度算出部、１３０ 判断部、１４０ 修正部
DESCRIPTION OF
Claims (14)
前記複数の画像のそれぞれについて、当該画像に含まれる複数の人物を認識する人物認識部と、
前記人物認識部による認識結果に基づいて、前記複数の画像の中の、少なくとも一部の画像に含まれる人物のそれぞれの間における親密度を算出する親密度算出部と、
前記人物認識部によって、互いに異なる人物として認識された複数の人物のそれぞれの、一の人物に対する前記親密度の差が、予め定められた基準値以下であるか否かを判断する判断部と、
互いに異なる人物として認識された複数の人物のそれぞれの、前記一の人物に対する前記親密度の差が、予め定められた基準値以下であると判断された場合に、当該複数の人物が同一人物であると判定し、前記人物認識部による認識結果を修正する修正部と
を備える人物認識システム。 A person recognition system for recognizing a person included in each of a plurality of images,
For each of the plurality of images, a person recognition unit that recognizes a plurality of persons included in the image;
Based on the recognition result by the person recognition unit, a closeness calculation unit that calculates a closeness between each of the persons included in at least some of the plurality of images,
A determination unit that determines whether or not a difference in the intimacy with respect to one person of each of a plurality of persons recognized as different persons by the person recognition unit is equal to or less than a predetermined reference value;
When it is determined that a difference in intimacy of each of a plurality of persons recognized as different persons with respect to the one person is equal to or less than a predetermined reference value, the plurality of persons are the same person. A person recognition system comprising: a correction unit that determines that there is a correction and corrects a recognition result by the person recognition unit.
前記複数の画像のそれぞれについて前記人物認識部により認識された人物の数に基づいて、当該画像に含まれる人物の間の前記親密度である画像内親密度を算出する画像内親密度算出部と、
前記複数の画像のそれぞれについて算出された前記画像内親密度に基づいて、前記複数の画像の中の、少なくとも一部の画像に含まれる人物のそれぞれの間における前記親密度である全体親密度を算出する全体親密度算出部と
を有し、
前記判断部は、前記人物認識部によって、互いに異なる人物として認識された複数の人物のそれぞれの、前記一の人物に対する前記全体親密度の差が、予め定められた基準値以下であるか否かを判断する
請求項１に記載の人物認識システム。 The intimacy calculation unit
An in-image intimacy calculating unit that calculates in-image intimacy that is the intimacy between the persons included in the image based on the number of persons recognized by the person recognizing unit for each of the plurality of images; ,
Based on the intimacy within the image calculated for each of the plurality of images, an overall familiarity that is the intimacy between each of the persons included in at least some of the plurality of images. An overall familiarity calculating unit for calculating,
The determination unit determines whether a difference in the overall familiarity with respect to the one person among a plurality of persons recognized as different persons by the person recognition unit is equal to or less than a predetermined reference value. The person recognition system according to claim 1.
前記複数の画像のそれぞれについての前記人物認識部による認識結果に基づいて、当該画像に含まれる人物の間の前記親密度である画像内親密度を、当該人物のそれぞれを示す画像の間の距離が小さい程、より高い値として算出する画像内親密度算出部と、
前記複数の画像のそれぞれについて算出された前記画像内親密度に基づいて、前記複数の画像の中の、少なくとも一部の画像に含まれる人物のそれぞれの間における前記親密度である全体親密度を算出する全体親密度算出部と
を有し、
前記判断部は、前記人物認識部によって、互いに異なる人物として認識された複数の人物のそれぞれの、前記一の人物に対する前記全体親密度の差が、予め定められた基準値以下であるか否かを判断する
請求項１に記載の人物認識システム。 The intimacy calculation unit
Based on the recognition result by the person recognition unit for each of the plurality of images, the intimacy within the image, which is the intimacy between the persons included in the image, and the distance between the images indicating each of the persons The smaller the is, the in-image familiarity calculating unit that calculates a higher value;
Based on the intimacy within the image calculated for each of the plurality of images, an overall familiarity that is the intimacy between each of the persons included in at least some of the plurality of images. An overall familiarity calculating unit for calculating,
The determination unit determines whether a difference in the overall familiarity with respect to the one person among a plurality of persons recognized as different persons by the person recognition unit is equal to or less than a predetermined reference value. The person recognition system according to claim 1.
前記修正部は、互いに異なる人物として認識された複数の人物のそれぞれにおける前記親密度の差が、前記一の人物及び前記他の人物の何れに対しても、予め定められた基準値以下であると判断された場合に、当該複数の人物が同一人物であると判定し、前記人物認識部による認識結果を修正する
請求項１に記載の人物認識システム。 In the determination unit, a difference in the intimacy of each of a plurality of persons recognized as different persons by the person recognition unit with respect to another person different from the one person is equal to or less than a predetermined reference value. Further determine whether or not
In the correction unit, the difference in intimacy between each of a plurality of persons recognized as different persons is equal to or less than a predetermined reference value for both the one person and the other person. The person recognition system according to claim 1, wherein the plurality of persons are determined to be the same person and the recognition result by the person recognition unit is corrected.
前記修正部は、互いに異なる人物として認識された複数の人物のそれぞれの、前記一の人物に対する前記親密度の差が、予め定められた基準値以下であり、且つ、当該複数の人物における顔画像のそれぞれが、予め定められた基準値以上の類似度で類似していると判断された場合に、当該複数の人物が同一人物であると判定し、前記人物認識部による認識結果を修正する
請求項１に記載の人物認識システム。 The determination unit further determines whether or not each of the face images in a plurality of persons recognized as different persons by the person recognition unit is similar with a similarity equal to or higher than a predetermined reference value,
The correction unit is configured so that a difference between the intimacy of the plurality of persons recognized as different persons with respect to the one person is equal to or less than a predetermined reference value, and face images of the plurality of persons Are determined to be similar with a degree of similarity equal to or greater than a predetermined reference value, the plurality of persons are determined to be the same person, and the recognition result by the person recognition unit is corrected. Item 2. The person recognition system according to Item 1.
複数の人物のそれぞれについて、当該人物の顔画像の特徴量を格納している特徴量データベースと、
前記複数の画像のそれぞれについて、当該画像に含まれる人物の画像から抽出した特徴量が、前記特徴量データベースに格納されている前記顔画像を示す特徴量に対して、予め定められた基準値以上の類似度で類似している場合に、当該人物を、当該顔画像に対応する人物であると認識する認識処理部と
を有し、
前記修正部は、前記認識処理部によって互いに異なる人物として認識された複数の人物を同一人物であると判定した場合に、更に、前記認識処理部によって、当該複数の人物が同一人物として認識されるべく、前記認識処理部における類似度の基準値をより低く修正する
請求項１に記載の人物認識システム。 The person recognition unit
For each of a plurality of persons, a feature amount database storing feature amounts of the person's face image;
For each of the plurality of images, a feature amount extracted from an image of a person included in the image is equal to or greater than a predetermined reference value with respect to a feature amount indicating the face image stored in the feature amount database. A recognition processing unit that recognizes the person as a person corresponding to the face image when they are similar in degree of similarity.
When the correction unit determines that the plurality of persons recognized as different persons by the recognition processing unit are the same person, the correction processing unit further recognizes the plurality of persons as the same person. Therefore, the reference value of the similarity in the recognition processing unit is corrected to be lower.
前記複数の画像のそれぞれについて、当該画像に含まれる複数の人物を認識する人物認識段階と、
前記人物認識段階における認識結果に基づいて、前記複数の画像の中の、少なくとも一部の画像に含まれる人物のそれぞれの間における親密度を算出する親密度算出段階と、
前記人物認識段階において、互いに異なる人物として認識された複数の人物のそれぞれの、一の人物に対する前記親密度の差が、予め定められた基準値以下であるか否かを判断する判断段階と、
互いに異なる人物として認識された複数の人物のそれぞれの、前記一の人物に対する前記親密度の差が、予め定められた基準値以下であると判断された場合に、当該複数の人物が同一人物であると判定し、前記人物認識段階における認識結果を修正する修正段階と
を備える人物認識方法。 A person recognition method for recognizing a person included in each of a plurality of images,
For each of the plurality of images, a person recognition stage for recognizing a plurality of persons included in the image;
A familiarity calculating step of calculating a familiarity between each of the persons included in at least some of the plurality of images based on the recognition result in the person recognition step;
A step of determining whether or not a difference in intimacy with respect to one person of each of a plurality of persons recognized as different persons in the person recognition stage is equal to or less than a predetermined reference value;
When it is determined that a difference in intimacy of each of a plurality of persons recognized as different persons with respect to the one person is equal to or less than a predetermined reference value, the plurality of persons are the same person. A person recognition method comprising: a correction step of determining that there is a correction and correcting a recognition result in the person recognition step.
前記コンピュータを、
前記複数の画像のそれぞれについて、当該画像に含まれる複数の人物を認識する人物認識部と、
前記人物認識部による認識結果に基づいて、前記複数の画像の中の、少なくとも一部の画像に含まれる人物のそれぞれの間における親密度を算出する親密度算出部と、
前記人物認識部によって、互いに異なる人物として認識された複数の人物のそれぞれの、一の人物に対する前記親密度の差が、予め定められた基準値以下であるか否かを判断する判断部と、
互いに異なる人物として認識された複数の人物のそれぞれの、前記一の人物に対する前記親密度の差が、予め定められた基準値以下であると判断された場合に、当該複数の人物が同一人物であると判定し、前記人物認識部による認識結果を修正する修正部と
を備える人物認識システムとして機能させる人物認識プログラム。 A person recognition program for causing a computer to function as a person recognition system for recognizing a person included in each of a plurality of images,
The computer,
For each of the plurality of images, a person recognition unit that recognizes a plurality of persons included in the image;
Based on the recognition result by the person recognition unit, a closeness calculation unit that calculates a closeness between each of the persons included in at least some of the plurality of images,
A determination unit configured to determine whether or not a difference in the familiarity with respect to one person of each of a plurality of persons recognized as different persons by the person recognition unit is equal to or less than a predetermined reference value;
When it is determined that a difference in intimacy of each of a plurality of persons recognized as different persons with respect to the one person is equal to or less than a predetermined reference value, the plurality of persons are the same person. A person recognition program for determining that the person recognition system is present and causing the person recognition system to function as a person recognition system.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2005053059A JP2006236216A (en) | 2005-02-28 | 2005-02-28 | Person recognition system, person recognizing method and person recognition program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2005053059A JP2006236216A (en) | 2005-02-28 | 2005-02-28 | Person recognition system, person recognizing method and person recognition program |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2006236216A true JP2006236216A (en) | 2006-09-07 |
Family
ID=37043766
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2005053059A Pending JP2006236216A (en) | 2005-02-28 | 2005-02-28 | Person recognition system, person recognizing method and person recognition program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2006236216A (en) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2010140069A (en) * | 2008-12-09 | 2010-06-24 | Sony Corp | Image processing apparatus, imaging apparatus, image processing method, and program |
| US8442268B2 (en) | 2007-07-31 | 2013-05-14 | Panasonic Corporation | Video analysis apparatus and method for calculating interpersonal relationship evaluation value using video analysis |
| JP2013142930A (en) * | 2012-01-06 | 2013-07-22 | Canon Inc | Image processing device, control method thereof and program |
| US9870507B2 (en) | 2015-06-22 | 2018-01-16 | Fujifilm Corporation | Image extraction device, image extraction method, program, and recording medium |
-
2005
- 2005-02-28 JP JP2005053059A patent/JP2006236216A/en active Pending
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8442268B2 (en) | 2007-07-31 | 2013-05-14 | Panasonic Corporation | Video analysis apparatus and method for calculating interpersonal relationship evaluation value using video analysis |
| JP2010140069A (en) * | 2008-12-09 | 2010-06-24 | Sony Corp | Image processing apparatus, imaging apparatus, image processing method, and program |
| US8503735B2 (en) | 2008-12-09 | 2013-08-06 | Sony Corporation | Image processing to perform grouping based on depth-of-relationship values |
| JP2013142930A (en) * | 2012-01-06 | 2013-07-22 | Canon Inc | Image processing device, control method thereof and program |
| US9870507B2 (en) | 2015-06-22 | 2018-01-16 | Fujifilm Corporation | Image extraction device, image extraction method, program, and recording medium |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| TWI462035B (en) | Object detection metadata | |
| US7477805B2 (en) | Electronic album display system, an image grouping apparatus, an electronic album display method, an image grouping method, and a machine readable medium storing thereon a computer program | |
| US5933527A (en) | Facial image processing method and apparatus | |
| JP5050075B2 (en) | Image discrimination method | |
| US8416997B2 (en) | Method of person identification using social connections | |
| US8649602B2 (en) | Systems and methods for tagging photos | |
| JP5801601B2 (en) | Image recognition apparatus, image recognition apparatus control method, and program | |
| US20140236980A1 (en) | Method and Apparatus for Establishing Association | |
| JP4490214B2 (en) | Electronic album display system, electronic album display method, and electronic album display program | |
| US20120294496A1 (en) | Face recognition apparatus, control method thereof, and face recognition method | |
| US9536132B2 (en) | Facilitating image capture and image review by visually impaired users | |
| JP4303191B2 (en) | Image recognition system, image recognition method, and image recognition program | |
| JP2012243196A (en) | Image identification device, image identification method, image identification program and recording medium | |
| JP2006236218A (en) | Electronic album display system, electronic album display method, and electronic album display program | |
| JP2006079458A (en) | Image transmission system, method, and program | |
| JP4226247B2 (en) | Image processing device | |
| JP2006081021A (en) | Electronic album display system, electronic album display method, electronic album display program, image classification device, image classification method and image classification program | |
| JP2006079460A (en) | System, method and program for displaying electronic album and device, method, and program for classifying image | |
| JP2006236216A (en) | Person recognition system, person recognizing method and person recognition program | |
| JP2006236217A (en) | Person recognition system, person recognition method, and person recognition program | |
| JP2013196417A (en) | Image display device, image display method and program | |
| JP2006133941A (en) | Image processing device, image processing method, image processing program, and portable terminal | |
| JP2008217335A (en) | Image sorting device, method, and program | |
| JP2006244385A (en) | Face-discriminating apparatus, program and learning method for the apparatus | |
| JP4522323B2 (en) | Image processing apparatus and control method thereof |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A712 Effective date: 20061208 |