JP2006236216A - 人物認識システム、人物認識方法、及び人物認識プログラム - Google Patents

Abstract

【課題】同一人物を互いに異なる複数の人物として誤認識した場合であっても、認識結果を修正して、精度の高い人物の認識結果を提供する。
【解決手段】複数の画像のそれぞれに含まれる人物を認識する人物認識システムであって、複数の画像のそれぞれについて、当該画像に含まれる複数の人物を認識する人物認識部と、認識結果に基づいて、複数の画像の中の、少なくとも一部の画像に含まれる人物のそれぞれの間における親密度を算出する親密度算出部と、互いに異なる人物として認識された複数の人物のそれぞれの、一の人物に対する親密度の差が、予め定められた基準値以下であるか否かを判断する判断部と、複数の人物のそれぞれの、一の人物に対する親密度の差が、予め定められた基準値以下であると判断された場合に、当該複数の人物が同一人物であると判定し、人物認識部による認識結果を修正する修正部とを備える。
【選択図】図１

Description

本発明は、人物認識システム、人物認識方法、及び人物認識プログラムに関する。特に本発明は、複数の画像のそれぞれに含まれる人物を認識する人物認識システム、人物認識方法、及び人物認識プログラムに関する。

従来、人物の顔画像を画像認識することにより、当該人物を認識する人物認識システムが知られている（例えば、特許文献１参照。）。これらの人物認識システムにおいては、人物の顔画像に対して画像処理を行うことにより、当該顔画像から特徴量を抽出すると共に、抽出した特徴量の差異に基づいて、それぞれの人物を認識している。
特開２００１−２７３４９６号公報

しかしながら、人物認識に用いられる顔画像は、撮像されるアングルや撮像環境、被写体である人物の表情等によって様々に変化するので、従来の人物認識システムにおいて、常に高い認識率を維持することは容易ではない。このため、同一人物を示す複数の顔画像のそれぞれが、互いに異なる人物の顔画像であるとして誤認識される場合が少なからずあり、より高い精度で人物の認識結果を得ることのできる人物認識システムが待望されていた。

そこで本発明は、上記の課題を解決することができる人物認識システム、人物認識方法、及び人物認識プログラムを提供することを目的とする。この目的は特許請求の範囲における独立項に記載の特徴の組み合わせにより達成される。また従属項は本発明の更なる有利な具体例を規定する。

上記課題を解決するために、本発明の第１の形態においては、複数の画像のそれぞれに含まれる人物を認識する人物認識システムであって、複数の画像のそれぞれについて、当該画像に含まれる複数の人物を認識する人物認識部と、人物認識部による認識結果に基づいて、複数の画像の中の、少なくとも一部の画像に含まれる人物のそれぞれの間における親密度を算出する親密度算出部と、人物認識部によって、互いに異なる人物として認識された複数の人物のそれぞれの、一の人物に対する親密度の差が、予め定められた基準値以下であるか否かを判断する判断部と、互いに異なる人物として認識された複数の人物のそれぞれの、一の人物に対する親密度の差が、予め定められた基準値以下であると判断された場合に、当該複数の人物が同一人物であると判定し、人物認識部による認識結果を修正する修正部とを備える。

親密度算出部は、複数の画像の中の、少なくとも一部の画像に含まれる、第１の人物と第２の人物との間の親密度を、複数の画像のうち、当該第１の人物と当該第２の人物との双方を含む画像の数がより多い場合に、より高い親密度として算出してもよい。親密度算出部は、複数の画像のそれぞれについて人物認識部により認識された人物の数に基づいて、当該画像に含まれる人物の間の親密度である画像内親密度を算出する画像内親密度算出部と、複数の画像のそれぞれについて算出された画像内親密度に基づいて、複数の画像の中の、少なくとも一部の画像に含まれる人物のそれぞれの間における親密度である全体親密度を算出する全体親密度算出部とを有し、判断部は、人物認識部によって、互いに異なる人物として認識された複数の人物のそれぞれの、一の人物に対する全体親密度の差が、予め定められた基準値以下であるか否かを判断してもよい。画像内親密度算出部は、複数の画像のそれぞれについて人物認識部により認識された人物の数が少ない程、当該画像に含まれる人物の間の画像内親密度をより高く算出してもよい。

親密度算出部は、複数の画像のそれぞれについての人物認識部による認識結果に基づいて、当該画像に含まれる人物の間の親密度である画像内親密度を、当該人物のそれぞれを示す画像の間の距離が小さい程、より高い値として算出する画像内親密度算出部と、複数の画像のそれぞれについて算出された画像内親密度に基づいて、複数の画像の中の、少なくとも一部の画像に含まれる人物のそれぞれの間における親密度である全体親密度を算出する全体親密度算出部とを有し、判断部は、人物認識部によって、互いに異なる人物として認識された複数の人物のそれぞれの、一の人物に対する全体親密度の差が、予め定められた基準値以下であるか否かを判断してもよい。画像内親密度算出部は、複数の画像のそれぞれについて、当該画像に含まれる人物の間の画像内親密度を、当該人物のそれぞれを示す画像に含まれる顔画像の間の距離が小さい程、より高い値として算出してもよい。

判断部は、複数の画像の中の、少なくとも一部の画像に含まれる人物から、一の人物を選択すると共に、複数の画像の中の、少なくとも一部の画像に含まれる人物から、選択した一の人物に対する親密度の差が予め定められた基準値以下である、互いに異なる複数の人物を選択できるか否かを判断してもよい。判断部は、複数の画像の中の、少なくとも一部の画像に含まれる人物から、互いに異なる複数の人物を選択すると共に、複数の画像の中の、少なくとも一部の画像に含まれる人物から、当該選択した複数の人物のそれぞれに対する親密度の差が予め定められた基準値以下である一の人物を選択できるか否かを判断してもよい。判断部は、選択した複数の人物の何れかが含まれている画像の中に、より多く含まれる人物に対して、より高い優先度で、一の人物として選択できるか否かを判断してもよい。

判断部は、人物認識部によって、互いに異なる人物として認識された複数の人物のそれぞれの、一の人物とは異なる他の人物に対する親密度の差が、予め定められた基準値以下であるか否かを更に判断し、修正部は、互いに異なる人物として認識された複数の人物のそれぞれにおける親密度の差が、一の人物及び他の人物の何れに対しても、予め定められた基準値以下であると判断された場合に、当該複数の人物が同一人物であると判定し、人物認識部による認識結果を修正してもよい。判断部は、人物認識部によって、互いに異なる人物として認識された複数の人物における顔画像のそれぞれが、予め定められた基準値以上の類似度で類似しているか否かを更に判断し、修正部は、互いに異なる人物として認識された複数の人物のそれぞれの、一の人物に対する親密度の差が、予め定められた基準値以下であり、且つ、当該複数の人物における顔画像のそれぞれが、予め定められた基準値以上の類似度で類似していると判断された場合に、当該複数の人物が同一人物であると判定し、人物認識部による認識結果を修正してもよい。

人物認識部は、複数の人物のそれぞれについて、当該人物の顔画像の特徴量を格納している特徴量データベースと、複数の画像のそれぞれについて、当該画像に含まれる人物の画像から抽出した特徴量が、特徴量データベースに格納されている顔画像を示す特徴量に対して、予め定められた基準値以上の類似度で類似している場合に、当該人物を、当該顔画像に対応する人物であると認識する認識処理部とを有し、修正部は、認識処理部によって互いに異なる人物として認識された複数の人物を同一人物であると判定した場合に、更に、認識処理部によって、当該複数の人物が同一人物として認識されるべく、認識処理部における類似度の基準値をより低く修正してもよい。

また、本発明の第２の形態においては、複数の画像のそれぞれに含まれる人物を認識する人物認識方法であって、複数の画像のそれぞれについて、当該画像に含まれる複数の人物を認識する人物認識段階と、人物認識段階における認識結果に基づいて、複数の画像の中の、少なくとも一部の画像に含まれる人物のそれぞれの間における親密度を算出する親密度算出段階と、人物認識段階において、互いに異なる人物として認識された複数の人物のそれぞれの、一の人物に対する親密度の差が、予め定められた基準値以下であるか否かを判断する判断段階と、互いに異なる人物として認識された複数の人物のそれぞれの、一の人物に対する親密度の差が、予め定められた基準値以下であると判断された場合に、当該複数の人物が同一人物であると判定し、人物認識段階における認識結果を修正する修正段階とを備える。

また、本発明の第３の形態においては、複数の画像のそれぞれに含まれる人物を認識する人物認識システムとしてコンピュータを機能させる人物認識プログラムであって、コンピュータを、複数の画像のそれぞれについて、当該画像に含まれる複数の人物を認識する人物認識部と、人物認識部による認識結果に基づいて、複数の画像の中の、少なくとも一部の画像に含まれる人物のそれぞれの間における親密度を算出する親密度算出部と、人物認識部によって、互いに異なる人物として認識された複数の人物のそれぞれの、一の人物に対する親密度の差が、予め定められた基準値以下であるか否かを判断する判断部と、互いに異なる人物として認識された複数の人物のそれぞれの、一の人物に対する親密度の差が、予め定められた基準値以下であると判断された場合に、当該複数の人物が同一人物であると判定し、人物認識部による認識結果を修正する修正部とを備える人物認識システムとして機能させる。

なお、上記の発明の概要は、本発明の必要な特徴の全てを列挙したものではなく、これらの特徴群のサブコンビネーションもまた、発明となりうる。

本発明によれば、同一人物を互いに異なる複数の人物として誤認識した場合であっても、認識結果を修正して、精度の高い人物の認識結果を利用者に提供することができる。

以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は特許請求の範囲にかかる発明を限定するものではなく、また実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。

図１は、本発明の実施形態に係る人物認識システム１０の機能構成の一例を示すブロック図である。人物認識システム１０は、画像格納部１００、人物認識部１１０、親密度算出部１２０、判断部１３０、及び修正部１４０を備える。人物認識システム１０は、画像格納部１００に格納されている複数の画像のそれぞれに含まれる人物を認識する。例えば、人物認識システム１０は、電子アルバムに含まれる複数の画像が画像格納部１００に格納されている場合に、当該複数の画像のそれぞれに含まれる人物を認識すると共に、当該画像に含まれる人物のそれぞれが誰であるかを示す情報を、Ｅｘｉｆ（Ｅｘｃｈａｎｇｅａｂｌｅ ｉｍａｇｅ ｆｉｌｅ）フォーマット等に基づくタグ情報として、当該画像を示す画像ファイルに記録してもよい。これにより、利用者は、当該複数の画像を、容易に、人物毎にカテゴリ分けされたスライドショーとして鑑賞したり、また人物毎に整理したりすることができる。なお、人物認識システム１０は、例えばパーソナルコンピュータであってよく、また、デジタルスチルカメラや、デジタルスチルカメラが設けられた携帯電話端末等であってもよい。

本発明の実施形態に係る人物認識システム１０は、複数の画像のそれぞれに含まれる人物の認識結果を、当該複数の画像に基づいて算出した人物間の親密度に基づいて修正することにより、精度の高い認識結果を利用者に提供することを目的とする。

画像格納部１００は、例えば、磁気記録媒体や半導体記録媒体等を用いた記憶装置であってよく、複数の画像を格納している。人物認識部１１０は、画像格納部１００に格納されている複数の画像のそれぞれについて、当該画像に含まれる複数の人物を、公知の画像認識技術を用いることにより認識する。人物認識部１１０は、特徴量データベース１１２、及び認識処理部１１４を有する。特徴量データベース１１２は、複数の人物のそれぞれについて、当該人物の顔画像の特徴量を格納している。認識処理部１１４は、画像格納部１００に格納されている複数の画像のそれぞれについて、当該画像に含まれる人物の画像から抽出した特徴量が、特徴量データベース１１２に格納されている顔画像を示す特徴量に対して、予め定められた基準値以上の類似度で類似している場合に、当該人物を、当該顔画像に対応する人物であると認識する。そして、認識処理部１１４は、それぞれの画像についての人物の認識結果を、親密度算出部１２０及び修正部１４０に出力する。

親密度算出部１２０は、認識処理部１１４から受け取った、画像格納部１００に格納されている複数の画像のそれぞれについての人物の認識結果に基づいて、当該複数の画像の中の、少なくとも一部の画像に含まれる人物のそれぞれの間における親密度を算出する。そして、親密度算出部１２０は、算出した親密度を判断部１３０に出力する。判断部１３０は、認識処理部１１４によって、互いに異なる人物として認識された複数の人物のそれぞれの、一の人物に対する親密度の差が、予め定められた基準値以下であるか否かを判断する。そして、判断部１３０は、当該複数の人物のそれぞれの、一の人物に対する親密度の差が、予め定められた基準値以下であると判断した場合に、当該複数の人物を示す情報と当該判断結果とを、修正部１４０に出力する。修正部１４０は、認識処理部１１４によって、互いに異なる人物として認識された複数の人物のそれぞれの、一の人物に対する親密度の差が、予め定められた基準値以下であると判断部１３０により判断された場合に、当該複数の人物が同一人物であると判定し、認識処理部１１４による認識結果を修正する。

本発明の実施形態に係る人物認識システム１０によれば、複数の人物のそれぞれの、一の人物に対する親密度が類似している場合には、当該複数の人物が実際には同一人物であるとして、人物の認識結果を修正することができる。これにより、画像認識技術を用いた人物認識処理において、１人の人物の画像を、互いに異なる複数の人物の画像として誤認識した場合であっても、当該複数の人物が同一人物であるとして認識結果を修正し、精度の高い人物認識結果を利用者に提供することができる。

図２は、本発明の実施形態に係る画像格納部１００の一例を示す。画像格納部１００は、複数の画像のそれぞれについて、当該画像を識別する画像識別子と、当該画像を示す画像データとを対応付けて格納している。ここで、画像識別子とは、画像格納部１００が画像を格納する場合に、それぞれの画像について一意となるべく定められた値であってよい。なお、本図において、画像識別子は数値として示されているが、これに代えて、画像識別子は、例えば画像データを示すファイルに割り当てられたファイル名等の文字列であってもよい。

図３は、本発明の実施形態に係る特徴量データベース１１２の一例を示す。特徴量データベース１１２は、複数の人物のそれぞれについて、当該人物を識別する人物識別子と、当該人物の顔画像の特徴量とを対応付けて格納している。ここで、人物識別子は、例えば、特徴量データベース１１２に人物の顔画像の特徴量が格納される場合に、それぞれの人物について一意となるべく定められた値であってよい。また、特徴量データベース１１２は、それぞれの人物について、複数の特徴量（例えば、Ａ、Ｂ、・・・等）を格納してよい。ここで、人物の顔画像の特徴量とは、例えば、顔画像そのものや、当該顔画像から公知の画像処理技術を用いて抽出された、顔の輪郭形状、或いは、眼や鼻、口といった、顔における特徴的な部位の形状、それぞれの部位の顔全体における位置、またはそれぞれの部位の間の位置関係といった、多様な情報であってよい。

なお、特徴量データベース１１２は、人物毎の顔画像の特徴量を、認識処理部１１４から受け取って格納してよい。具体的には、認識処理部１１４は、画像格納部１００に格納されている画像に含まれる人物を認識する場合において、当該画像に含まれる人物の顔画像から抽出した特徴量が、特徴量データベース１１２に格納されている何れの人物の特徴量に対しても、予め定められた基準値以上の類似度を示さない場合に、当該顔画像から抽出した特徴量を、新たな人物の顔画像の特徴量として、特徴量データベース１１２に格納させてよい。これにより、特徴量データベース１１２は、画像格納部１００に格納されている複数の画像の中の、少なくとも一部の画像に含まれる人物の顔画像の特徴量を格納することができる。

図４は、本発明の実施形態に係る認識処理部１１４による人物の認識結果の一例を示す。例えば、認識処理部１１４は、画像格納部１００に格納されている複数の画像のそれぞれについて、輪郭抽出処理や色分布分析処理等の公知の画像処理を行うことにより、当該画像に含まれる複数の被写体を検出する。そして、認識処理部１１４は、検出したそれぞれの被写体を示す画像から、人物の顔に固有の特徴量を検出することにより、当該被写体が人物である場合に、当該被写体を示す画像から人物の顔を示す部分画像を検出する。そして、認識処理部１１４は、検出した人物の顔を示す部分画像から特徴量を抽出すると共に、抽出した特徴量を、図３に示した特徴量データベース１１２に格納されている、複数の人物のそれぞれについての顔画像の特徴量と比較する。そして、認識処理部１１４は、抽出した特徴量が、特徴量データベース１１２に格納されている顔画像の特徴量に対して、予め定められた基準値以上の類似度で類似している場合に、画像から検出した被写体が、特徴量データベース１１２において当該顔画像の特徴量に対応付けられている人物であると認識し、当該人物を示す人物識別子を検出する。このようにして、認識処理部１１４は、図４に示すように、画像格納部１００に格納されている複数の画像のそれぞれについて、当該画像に含まれる複数の人物のそれぞれを認識し、当該複数の人物を示す複数の人物識別子を検出する。

図５は、本発明の実施形態に係る親密度算出部１２０による親密度の算出結果の一例を示す。親密度算出部１２０は、画像格納部１００に格納されている複数の画像の中の、少なくとも一部の画像に含まれる人物のそれぞれの間における親密度を算出する。例えば、親密度算出部１２０は、本図に示すように、人物識別子が０である人物と、人物識別子が１である人物との間における親密度を１０として算出する。ここで、親密度算出部１２０は、画像格納部１００に格納されている複数の画像の中の、少なくとも一部の画像に含まれる、第１の人物と第２の人物との間の親密度を、複数の画像のうち、当該第１の人物と当該第２の人物との双方を含む画像の数がより多い場合に、より高い親密度として算出してよい。例えば、親密度算出部１２０は、当該第１の人物と第２の人物との双方を含む画像の数を、親密度として算出してもよい。これにより、共に画像に含まれている頻度が高い人物同士を、より親密な関係にある人物として検出することができるので、人物の間の親密度を精度よく算出することができる。

そして、判断部１３０は、認識処理部１１４によって互いに異なる人物として認識された複数の人物のそれぞれの、一の人物に対する親密度の差が、予め定められた基準値以下であるか否かを判断する。ここで、判断部１３０は、当該判断を行うにあたり、例えば、次に説明する２つの方法の何れかを用いてよい。第１の方法においては、判断部１３０は、画像格納部１００に格納されている複数の画像の中の、少なくとも一部の画像に含まれる人物から、一の人物を選択すると共に、当該複数の画像の中の、少なくとも一部の画像に含まれる人物から、選択した一の人物に対する親密度の差が予め定められた基準値以下である、互いに異なる複数の人物を選択できるか否かを判断する。また、第２の方法においては、判断部１３０は、画像格納部１００に格納されている複数の画像の中の、少なくとも一部に含まれる人物から、互いに異なる複数の人物を選択すると共に、当該複数の画像の中の、少なくとも一部の画像に含まれる人物から、選択した複数の人物のそれぞれに対する親密度の差が予め定められた基準値以下である一の人物を選択できるか否かを判断する。何れの方法を用いた場合であっても、判断部１３０は、修正部１４０において認識処理部１１４による人物の認識結果を修正するべきか否かを、効率よく判断することができる。

そして、修正部１４０は、例えば、画像格納部１００に格納されている複数の画像のそれぞれについての、認識処理部１１４による人物の認識結果を示す情報、例えば当該画像に含まれる人物識別子等を、Ｅｘｉｆフォーマット等に基づくタグ情報として、当該画像を示す画像ファイルに記録する。ここで、修正部１４０は、認識処理部１１４によって互いに異なる人物として認識された複数の人物のそれぞれの、一の人物に対する親密度の差が、予め定められた基準値以下であると判断部１３０により判断された場合に、当該複数の人物が同一人物を示すべく修正した認識結果を、それぞれの画像ファイルに記録してよい。

なお、人物認識システム１０は、修正部１４０によって修正された、認識処理部１１４による人物の認識結果を、更に、多様な方法で用いてよい。例えば、修正部１４０は、認識処理部１１４による人物の認識結果を親密度に基づいて修正した後で、修正した認識結果を、例えば人物認識システム１０に設けられた表示装置に表示してもよい。また、人物認識システム１０は、人物の認識結果だけでなく、親密度算出部１２０によって算出された親密度を、それぞれの画像を示す画像ファイルにタグ情報として記録してもよい。

また、修正部１４０は、認識処理部１１４によって互いに異なる人物として認識された複数の人物を同一人物であると判定した場合に、認識結果を修正するだけでなく、更に、認識処理部１１４によって、当該複数の人物が同一人物として認識されるべく、認識処理部１１４における特徴量の類似度の基準値をより低く修正してもよい。ここで、より低く修正された基準値とは、例えば、認識処理部１１４によって、当該複数の人物が同一人物として認識される基準値のうち、最大の値であってよい。

例えば、人物認識システム１０は、認識処理部１１４における特徴量の類似度の基準値を、当初、利用者等によって予め定められた典型的な値に比べて高く設定しておいてよい。この場合、認識処理部１１４は、画像格納部１００に格納されている複数の画像のそれぞれに含まれる人物の認識において、同一人物であるにも関わらず、互いに異なる複数の人物として誤認識する場合が多くなる。しかし、人物認識システム１０においては、人物の間の親密度に基づいて当該複数の人物が同一人物であると判定した場合に、類似度の基準値を低下させて、当該人物についての適正な基準値を設定することができる。これにより、その後、認識処理部１１４は、精度の高い認識処理を実行することができる。

また、修正部１４０は、認識処理部１１４によって互いに異なる人物として認識された複数の人物を同一人物であると判定した場合に、更に、当該複数の人物のそれぞれについて、特徴量データベース１１２に格納されている特徴量を修正してもよい。具体的には、修正部１４０は、この場合に、当該複数の人物のそれぞれについて、特徴量データベース１１２に格納されている特徴量のそれぞれを、１人の人物の顔画像における特徴量となるべく、併合してよい。これにより、その後、認識処理部１１４は、精度の高い認識処理を実行することができる。

なお、人物認識システム１０は、以上に説明した処理に加えて、更に他の処理を行うことによって、より高い精度で、認識処理部１１４による人物の認識結果を修正するか否かを判定してもよい。例えば、判断部１３０は、認識処理部１１４によって、互いに異なる人物として認識された複数の人物における顔画像のそれぞれが、利用者等によって予め定められた基準値以上の類似度で類似しているか否かを更に判断してよい。そして、修正部１４０は、互いに異なる人物として認識された複数の人物のそれぞれの、一の人物に対する親密度の差が、予め定められた基準値以下であり、且つ、当該複数の人物における顔画像のそれぞれが、予め定められた基準値以上の類似度で類似していると、判断部１３０により判断された場合に、当該複数の人物が同一人物であると判定し、認識処理部１１４による人物の認識結果を修正してよい。これにより、画像格納部１００に格納されている画像の数が少ない場合や、画像に含まれる人物の組み合わせ等の、親密度を決定する要因の傾向が類似する、互いに異なる複数の人物が存在する場合においても、認識処理部１１４による人物の認識結果を修正するべきか否かを、高い精度で判断することができる。

また、例えば、判断部１３０は、認識処理部１１４によって、互いに異なる人物として認識された複数の人物のそれぞれの、一の人物とは異なる他の人物に対する親密度の差が、予め定められた基準値以下であるか否かを更に判断してよい。そして、修正部１４０は、互いに異なる人物として認識された複数の人物のそれぞれにおける親密度の差が、当該一の人物及び当該他の人物の何れに対しても、予め定められた基準値以下であると判断された場合に、当該複数の人物が同一人物であると判定し、認識処理部１１４による人物の認識結果を修正してよい。このように、互いに異なる人物として認識された複数の人物が同一人物であるか否かを、ある人物に対する親密度の差に基づいて判断する場合において、１人の人物に対する親密度のみに基づいて判断するのではなく、複数の人物のそれぞれに対する親密度に基づいて判断することにより、認識処理部１１４による人物の認識結果を修正するべきか否かを、より高い精度で判断することができる。

図６は、本発明の実施形態に係る人物認識システムを用いた人物認識方法における処理の流れの第１の例を示すフローチャートである。本例においては、判断部１３０が、図５において説明した第１の方法を用いる場合について説明する。まず、人物認識部１１０は、画像格納部１００に格納されている複数の画像のそれぞれについて、当該画像に含まれる複数の人物を認識する（Ｓ１０００）。続いて、親密度算出部１２０は、複数の画像のそれぞれについての人物の認識結果に基づいて、当該複数の画像の中の、少なくとも一部の画像に含まれる人物のそれぞれの間における親密度を算出する（Ｓ１０１０）。

続いて、判断部１３０は、複数の画像の中の、少なくとも一部の画像に含まれる人物のうち、少なくとも一部の人物を選択し、選択した人物のそれぞれ（以降、一の人物と表記）について、以下の処理を繰り返す（Ｓ１０２０）。ここで、判断部１３０は、複数の画像の中の、少なくとも一部の画像に含まれる人物のうち、より多くの画像に含まれている人物を、より高い優先度で選択してよい。通常、ある人物に対する親密度と、当該親密度を示す人物の数との相関においては、親密度が高い程、当該親密度を示す人物の数は少ない。従って、複数の画像の中の、少なくとも一部の画像に含まれる複数の人物が、互いに異なる複数の人物として誤認識された人物であるか否かを、選択した一の人物に対する親密度に基づいて高い精度で判断するためには、当該判断が、より高い親密度に基づいて行われることが好ましい。つまり、判断部１３０は、複数の画像の中の、少なくとも一部の画像に含まれる人物のすべてを選択するのではなく、より多くの画像に含まれている人物、即ち多くの人物に対して高い親密度を示す人物のみを選択して、以下の処理を行うことにより、当該判断を、高い精度で、且つ効率よく行うことができる。

まず、判断部１３０は、選択した一の人物に対する親密度の差が予め定められた基準値以下である複数の人物を、複数の画像の中の、少なくとも一部の画像に含まれる人物から選択する（Ｓ１０３０）。例えば、判断部１３０は、複数の画像の中の、少なくとも一部の画像に含まれる人物のそれぞれについて、当該人物の、選択した一の人物に対する親密度を抽出すると共に、当該人物とは異なる他の人物における、選択した一の人物に対する親密度が、抽出した親密度に対して予め定められた基準値以下の差を示している場合に、当該人物と、当該他の人物とを、前述した複数の人物として選択してよい。そして、判断部１３０は、複数の人物を選択できたか否かを判断する（Ｓ１０４０）。

複数の人物が選択できた場合（Ｓ１０４０：Ｙｅｓ）、判断部１３０は、更に、選択した複数の人物における顔画像のそれぞれが、予め定められた基準値以上の類似度で類似しているか否かを判断する（Ｓ１０５０）。ここで、判断部１３０は、公知の画像処理技術を用いることにより、当該複数の人物における顔画像のそれぞれから特徴量を抽出すると共に、抽出した特徴量のそれぞれを互いに比較することにより、当該複数の人物における顔画像のそれぞれが類似しているか否かを判断してよい。そして、選択した複数の人物における顔画像のそれぞれが、基準値以上の類似度で類似していると判断された場合に（Ｓ１０５０：Ｙｅｓ）、修正部１４０は、当該複数の人物が同一人物であると判定し、人物認識部１１０による当該複数の人物についての認識結果を修正する（Ｓ１０６０）。そして、判断部１３０は、選択した人物のそれぞれについて、以上の処理を繰り返す（Ｓ１０７０）。

図７は、本発明の実施形態に係る人物認識システムを用いた人物認識方法における処理の流れの第２の例を示すフローチャートである。本例においては、判断部１３０が、図５において説明した第２の方法を用いる場合について説明する。まず、人物認識部１１０は、画像格納部１００に格納されている複数の画像のそれぞれについて、当該画像に含まれる複数の人物を認識する（Ｓ１１００）。続いて、親密度算出部１２０は、複数の画像のそれぞれについての人物の認識結果に基づいて、当該複数の画像の中の、少なくとも一部の画像に含まれる人物のそれぞれの間における親密度を算出する（Ｓ１１１０）。

続いて、判断部１３０は、複数の画像の中の、少なくとも一部の画像に含まれる人物から、互いに異なる複数の人物の組み合わせを複数選択し、選択した組み合わせ毎に、以下の処理を繰り返す（Ｓ１１２０）。ここで、判断部１３０は、複数の人物の組み合わせを選択する場合において、当該少なくとも一部の画像に含まれる人物のうち、互いの顔画像が予め定められた基準値以上の類似度で類似している複数の人物を選択してよい。これにより、複数の人物の組み合わせのすべてについて、以下の処理を繰り返すことなく、人物認識部１１０による人物の認識結果を修正するか否かを、効率よく判断することができる。

まず、判断部１３０は、複数の画像の中の、少なくとも一部の画像に含まれる人物から、選択した複数の人物のそれぞれに対する親密度の差が、予め定められた基準値以下である一の人物を選択する（Ｓ１１３０）。ここで、判断部１３０は、選択した複数の人物の何れかが含まれている画像の中に、より多く含まれる人物に対して、より高い優先度で、一の人物として選択できるか否かを試みてよい。通常、ある人物に対する親密度と、当該親密度を示す人物の数との相関においては、親密度が高い程、当該親密度を示す人物の数は少ない。従って、選択した複数の人物が、互いに異なる複数の人物として誤認識された人物であるか否かを、親密度に基づいて高い精度で判断するためには、当該判断が、より高い親密度に基づいて行われることが好ましい。つまり、判断部１３０は、複数の画像の中の、少なくとも一部の画像に含まれるすべての人物について、一の人物として選択できるか否かを試みるのではなく、選択した複数の人物のそれぞれと共に画像に含まれる頻度が高い人物、即ち当該複数の人物に対する親密度が高い人物についてのみ、一の人物として選択できるか否かを試みることにより、当該判断を、高い精度で、且つ効率よく行うことができる。

そして、判断部１３０は、一の人物を選択できたか否かを判断する（Ｓ１１４０）。一の人物を選択できた場合に（Ｓ１１４０：Ｙｅｓ）、修正部１４０は、選択した複数の人物が同一人物であると判定し、人物認識部１１０による当該複数の人物についての認識結果を修正する（Ｓ１１５０）。そして、判断部１３０は、選択した複数の人物の組み合わせ毎に、以上の処理を繰り返す（Ｓ１１６０）。

図８は、本発明の実施形態における第１の変形例に係る親密度算出部１２０の機能構成の一例を示すブロック図である。本発明の実施形態の第１の変形例において、親密度算出部１２０は、画像内親密度算出部１２２、及び全体親密度算出部１２４を有する。画像内親密度算出部１２２は、画像格納部１００に格納されている複数の画像のそれぞれについて認識処理部１１４により認識された人物の数に基づいて、当該画像に含まれる人物の間の親密度である画像内親密度を算出する。そして、画像内親密度算出部１２２は、算出したそれぞれの画像における画像内親密度を全体親密度算出部１２４に出力する。全体親密度算出部１２４は、画像格納部１００に格納されている複数の画像のそれぞれについて画像内親密度算出部１２２により算出された画像内親密度に基づいて、当該複数の画像の中の、少なくとも一部の画像に含まれる人物のそれぞれの間における親密度である全体親密度を算出する。そして、全体親密度算出部１２４は、算出した全体親密度を判断部１３０に出力する。そして、図１に示した判断部１３０は、認識処理部１１４によって、互いに異なる人物として認識された複数の人物のそれぞれの、一の人物に対する全体親密度の差が、予め定められた基準値以下であるか否かを判断する。

本発明の実施形態における第１の変形例に係る人物認識システム１０によれば、画像に含まれる人物の数に基づいて、当該画像に含まれる人物間の親密度である画像内親密度を算出することができると共に、画像格納部１００に格納されている複数の画像のそれぞれにおける画像内親密度に基づいて、当該複数の画像全体における人物間の親密度である全体親密度を算出することができる。これにより、１人の人物の画像を、互いに異なる複数の人物の画像として誤認識した場合であっても、算出された全体親密度に基づいて、当該複数の人物が同一人物であると判定して認識結果を修正し、精度の高い人物認識結果を利用者に提供することができる。

図９は、本発明の実施形態における第１の変形例に係る画像内親密度算出部１２２による画像内親密度の算出結果の一例を示す。画像内親密度算出部１２２は、画像格納部１００に格納されている複数の画像のそれぞれについて、当該画像に含まれる人物の間の親密度である画像内親密度を算出する。例えば、画像内親密度算出部１２２は、複数の画像のそれぞれについて認識処理部１１４により認識された人物の数が少ない程、当該画像に含まれる人物の間の画像内親密度をより高く算出してよい。具体的には、画像内親密度算出部１２２は、それぞれの画像に含まれる人物の間の画像内親密度を、当該画像について認識された人物の数の逆数として算出してよい。なお、画像内親密度算出部１２２は、画像について認識された人物の数が１以下である場合には、当該画像において画像内親密度を算出しなくともよい。画像に含まれている人物の数が少ない程、当該画像に含まれる人物の間の関係はよりプライベートなものであり、それぞれの人物はより親密である場合が多い。従って、画像に含まれる人物が少ない程、より高い画像内親密度を算出することにより、画像内における人物間の親密度を、高い精度で算出することができる。

図１０は、本発明の実施形態における第１の変形例に係る全体親密度算出部１２４による全体親密度の算出結果の一例を示す。全体親密度算出部１２４は、画像格納部１００に格納されている複数の画像のそれぞれについて算出された画像内親密度に基づいて、当該複数の画像の中の、少なくとも一部の画像に含まれる人物のそれぞれの間における親密度である全体親密度を算出する。例えば、全体親密度算出部１２４は、本図に示すように、人物識別子が０である人物と、人物識別子が１である人物との間の全体親密度を、９．８として算出する。ここで、全体親密度算出部１２４は、当該複数の画像の中の、少なくとも一部の画像に含まれる第１の人物と第２の人物との間の全体親密度を、複数の画像のうち、当該第１の人物と当該第２の人物との双方が含まれる画像の数がより多い程、より高く算出してよい。例えば、全体親密度算出部１２４は、当該第１の人物と当該第２の人物との間の全体親密度を、複数の画像のうち、当該第１の人物と当該第２の人物との双方が含まれる画像のそれぞれについて算出された、当該１の人物と当該第２の人物との間の画像内親密度のそれぞれを合計することにより算出してよい。

二人の人物のそれぞれが同一の画像に含まれる頻度が高い程、当該二人の人物の間の関係はより親密である場合が多い。従って、画像内親密度を合計して全体親密度を算出することにより、画像格納部１００に格納されている複数の画像に含まれる人物の間の親密度を、高い精度で算出することができる。

図１１は、本発明の実施形態における第２の変形例に係る親密度算出部１２０の機能構成の一例を示すブロック図である。本発明の実施形態の第２の変形例において、親密度算出部１２０は、画像内親密度算出部１２６、及び全体親密度算出部１２８を有する。画像内親密度算出部１２６は、画像格納部１００に格納されている複数の画像のそれぞれについての認識処理部１１４による認識結果に基づいて、当該画像に含まれる人物のそれぞれを示す画像の間の距離を算出する。そして、画像内親密度算出部１２６は、複数の画像のそれぞれについて、当該画像に含まれる人物の間の親密度である画像内親密度を、当該人物のそれぞれを示す画像の間の距離に基づいて算出する。具体的には、画像内親密度算出部１２６は、それぞれの画像に含まれる人物の間の画像内親密度を、当該人物のそれぞれを示す画像の間の距離が小さい程、より高い値として算出する。そして、画像内親密度算出部１２６は、算出したそれぞれの画像における、それぞれの人物の間の画像内親密度を、全体親密度算出部１２８に出力する。

全体親密度算出部１２８は、画像格納部１００に格納されている複数の画像のそれぞれについて画像内親密度算出部１２６により算出された画像内親密度に基づいて、当該複数の画像の中の、少なくとも一部の画像に含まれる人物のそれぞれの間における親密度である全体親密度を算出する。そして、全体親密度算出部１２８は、算出した全体親密度を判断部１３０に出力する。そして、図１に示した判断部１３０は、認識処理部１１４によって、互いに異なる人物として認識された複数の人物のそれぞれの、一の人物に対する全体親密度の差が、予め定められた基準値以下であるか否かを判断する。

二人の人物が非常に親密である場合、当該二人の人物が近接した状態で画像が撮像されることが多い。一方、二人の人物があまり親密ではない場合、当該二人の人物が近接した状態で画像が撮像されることは多くない。このように、画像を撮像する場合における人物間の距離は、それぞれの人物の間における親密さに関連していると言える。ここで、本発明の実施形態における第２の変形例に係る人物認識システム１０によれば、画像に含まれる人物間の距離に基づいて、当該画像に含まれる人物間の親密度である画像内親密度を算出することができると共に、画像格納部１００に格納されている複数の画像のそれぞれにおける画像内親密度に基づいて、当該複数の画像全体における人物間の親密度である全体親密度を算出することができる。これにより、１人の人物の画像を、互いに異なる複数の人物の画像として誤認識した場合であっても、算出された全体親密度に基づいて、当該複数の人物が同一人物であると判定して認識結果を修正し、精度の高い人物認識結果を利用者に提供することができる。

図１２は、本発明の実施形態における第２の変形例に係る認識処理部１１４による人物の認識結果の一例を示す。例えば、認識処理部１１４は、画像格納部１００に格納されている複数の画像のそれぞれについて、輪郭抽出処理や色分布分析処理等の公知の画像処理を行うことにより、当該画像に含まれる複数の被写体を検出する。そして、認識処理部１１４は、検出したそれぞれの被写体を示す画像から、人物の顔に固有の特徴量を検出することにより、当該被写体が人物である場合に、当該被写体を示す画像から人物の顔を示す部分画像を検出する。そして、認識処理部１１４は、検出した人物の顔を示す部分画像から特徴量を抽出すると共に、抽出した特徴量を、図３に示した特徴量データベース１１２に格納されている、複数の人物のそれぞれについての顔画像の特徴量と比較する。そして、認識処理部１１４は、抽出した特徴量が、特徴量データベース１１２に格納されている顔画像の特徴量に対して、予め定められた基準値以上の類似度で類似している場合に、画像から検出した被写体が、特徴量データベース１１２において当該顔画像の特徴量に対応付けられている人物であると認識し、当該人物を示す人物識別子を検出する。このようにして、認識処理部１１４は、図１２に示すように、画像格納部１００に格納されている複数の画像のそれぞれについて、当該画像に含まれる複数の人物のそれぞれを認識し、当該複数の人物を示す複数の人物識別子を検出する。

また、認識処理部１１４は、複数の画像のそれぞれについて、当該画像において検出した人物または当該人物の顔を示す部分画像の、当該画像内における位置を示す位置情報を、画像内親密度算出部１２６に出力する。ここで、位置情報とは、例えば、それぞれの画像内における、人物または当該人物の顔を示す部分画像の、左上隅及び右下隅の画素の座標値を含んでいてよい。

図１３は、本発明の実施形態における第２の変形例に係る画像内親密度算出部１２６による画像内親密度の算出結果の一例を示す。画像内親密度算出部１２６は、画像格納部１００に格納されている複数の画像のそれぞれについて、当該画像に含まれる人物の間の親密度である画像内親密度を算出する。具体的には、画像内親密度算出部１２６は、複数の画像のそれぞれについて、当該画像に含まれる人物の間の画像内親密度を、当該人物のそれぞれを示す画像の間の距離が小さい程、より高い値として算出してよい。例えば、画像内親密度算出部１２６は、それぞれの画像に含まれる人物の間の画像内親密度が、当該人物のそれぞれを示す画像の間の距離に反比例するべく、画像内親密度を算出してよい。また、画像内親密度算出部１２６は、複数の画像のそれぞれについて、当該画像に含まれる人物の間の画像内親密度を、当該人物のそれぞれを示す画像に含まれる顔画像の間の距離が小さい程、より高い値として算出してもよい。なお、画像内親密度算出部１２６は、人物のそれぞれを示す画像の間の距離、または人物のそれぞれを示す画像に含まれる顔画像の間の距離を、認識処理部１１４から受け取った、複数の画像のそれぞれにおける人物または当該人物の顔を示す部分画像の、当該画像内における位置を示す位置情報や、当該画像内における大きさを表す面積情報に基づいて算出してよい。

二人の人物の顔が近接して画像が撮像されている場合、当該二人の人物は非常に親しい場合が多い。一方、二人の人物があまり親密ではない場合、当該二人の人物の顔が近接した状態で画像が撮像されることは多くない。ここで、本発明の実施形態における第２の変形例に係る人物認識システム１０によれば、画像に含まれる人物の顔画像の間の距離に基づいて画像内親密度を算出することができるので、画像格納部１００に格納されている画像全体における人物間の親密度である全体親密度を高い精度で算出することができる。

また、画像内親密度算出部１２６は、画像格納部１００に格納されている複数の画像のそれぞれについて、当該画像に含まれる人物のそれぞれを示す画像の間の距離が予め定められた基準値以上である場合には、当該人物の間の画像内親密度を、予め定められた標準値として算出してよい。ここで、予め定められた基準値及び予め定められた標準値とは、例えば利用者等によって予め指定された値であってよい。

二人の人物の間の距離と、当該二人の人物の間の親密度とは関連するが、何れの距離においても、常に、距離がより近い程、親密度がより高いとは限らない。例えば、二人の人物が１０メートル離れている場合と、１５メートル離れている場合とでは、当該二人の人物の間の親密度に差はないと見なせる場合がある。ここで、本発明の実施形態における第２の変形例に係る人物認識システム１０によれば、人物の間の距離が予め定められた基準値以上である場合には、当該人物の間の画像内親密度を予め定められた標準的な親密度として算出することができるので、画像格納部１００に格納されている画像全体における人物間の親密度である全体親密度を高い精度で算出することができる。

図１４は、本発明の実施形態における第２の変形例に係る全体親密度算出部１２８による全体親密度の算出結果の一例を示す。全体親密度算出部１２８は、画像格納部１００に格納されている複数の画像のそれぞれについて算出された、当該画像内に含まれるそれぞれの人物の間の画像内親密度に基づいて、当該複数の画像の中の、少なくとも一部の画像に含まれる人物のそれぞれの間における親密度である全体親密度を算出する。例えば、全体親密度算出部１２８は、本図に示すように、人物識別子が０である人物と、人物識別子が１である人物との間の全体親密度を、１２０として算出する。ここで、全体親密度算出部１２８は、当該複数の画像の中の、少なくとも一部の画像に含まれる第１の人物と第２の人物との間の全体親密度を、複数の画像のうち、当該第１の人物と当該第２の人物との双方が含まれる画像の数がより多い程、より高く算出してよい。例えば、全体親密度算出部１２８は、当該第１の人物と当該第２の人物との間の全体親密度を、複数の画像のうち、当該第１の人物と当該第２の人物との双方が含まれる画像のそれぞれについて算出された、当該１の人物と当該第２の人物との間の画像内親密度のそれぞれを合計することにより算出してよい。

二人の人物のそれぞれが同一の画像に含まれる頻度が高い程、当該二人の人物の間の関係はより親密である場合が多い。従って、画像内親密度を合計して全体親密度を算出することにより、画像格納部１００に格納されている画像に含まれる人物の間の親密度を、高い精度で算出することができる。

図１５は、本発明の実施形態に係るコンピュータ１５００のハードウェア構成の一例を示すブロック図である。本発明の実施形態に係るコンピュータ１５００は、ホスト・コントローラ１５８２により相互に接続されるＣＰＵ１５０５、ＲＡＭ１５２０、グラフィック・コントローラ１５７５、及び表示装置１５８０を有するＣＰＵ周辺部と、入出力コントローラ１５８４によりホスト・コントローラ１５８２に接続される通信インターフェイス１５３０、ハードディスクドライブ１５４０、及びＣＤ−ＲＯＭドライブ１５６０を有する入出力部と、入出力コントローラ１５８４に接続されるＲＯＭ１５１０、フレキシブルディスク・ドライブ１５５０、及び入出力チップ１５７０を有するレガシー入出力部とを備える。

ホスト・コントローラ１５８２は、ＲＡＭ１５２０と、高い転送レートでＲＡＭ１５２０をアクセスするＣＰＵ１５０５及びグラフィック・コントローラ１５７５とを接続する。ＣＰＵ１５０５は、ＲＯＭ１５１０及びＲＡＭ１５２０に格納されたプログラムに基づいて動作し、各部の制御を行う。グラフィック・コントローラ１５７５は、ＣＰＵ１５０５等がＲＡＭ１５２０内に設けたフレーム・バッファ上に生成する画像データを取得し、表示装置１５８０上に表示させる。これに代えて、グラフィック・コントローラ１５７５は、ＣＰＵ１５０５等が生成する画像データを格納するフレーム・バッファを、内部に含んでもよい。

入出力コントローラ１５８４は、ホスト・コントローラ１５８２と、比較的高速な入出力装置である通信インターフェイス１５３０、ハードディスクドライブ１５４０、ＣＤ−ＲＯＭドライブ１５６０を接続する。通信インターフェイス１５３０は、ネットワークを介して他の装置と通信する。ハードディスクドライブ１５４０は、コンピュータ１５００内のＣＰＵ１５０５が使用するプログラム及びデータを格納する。ＣＤ−ＲＯＭドライブ１５６０は、ＣＤ−ＲＯＭ１５９５からプログラム又はデータを読み取り、ＲＡＭ１５２０を介してハードディスクドライブ１５４０に提供する。

また、入出力コントローラ１５８４には、ＲＯＭ１５１０と、フレキシブルディスク・ドライブ１５５０、及び入出力チップ１５７０の比較的低速な入出力装置とが接続される。ＲＯＭ１５１０は、コンピュータ１５００が起動時に実行するブート・プログラムや、コンピュータ１５００のハードウェアに依存するプログラム等を格納する。フレキシブルディスク・ドライブ１５５０は、フレキシブルディスク１５９０からプログラム又はデータを読み取り、ＲＡＭ１５２０を介してハードディスクドライブ１５４０に提供する。入出力チップ１５７０は、フレキシブルディスク・ドライブ１５５０や、例えばパラレル・ポート、シリアル・ポート、キーボード・ポート、マウス・ポート等を介して各種の入出力装置を接続する。

ＲＡＭ１５２０を介してハードディスクドライブ１５４０に提供される人物認識プログラムは、フレキシブルディスク１５９０、ＣＤ−ＲＯＭ１５９５、又はＩＣカード等の記録媒体に格納されて利用者によって提供される。人物認識プログラムは、記録媒体から読み出され、ＲＡＭ１５２０を介してコンピュータ１５００内のハードディスクドライブ１５４０にインストールされ、ＣＰＵ１５０５において実行される。コンピュータ１５００にインストールされて実行される人物認識プログラムは、ＣＰＵ１５０５等に働きかけて、コンピュータ１５００を、図１から図１４にかけて説明した人物認識システム１０として機能させる。

以上に示したプログラムは、外部の記憶媒体に格納されてもよい。記憶媒体としては、フレキシブルディスク１５９０、ＣＤ−ＲＯＭ１５９５の他に、ＤＶＤやＰＤ等の光学記録媒体、ＭＤ等の光磁気記録媒体、テープ媒体、ＩＣカード等の半導体メモリ等を用いることができる。また、専用通信ネットワークやインターネットに接続されたサーバシステムに設けたハードディスク又はＲＡＭ等の記憶装置を記録媒体として使用し、ネットワークを介してプログラムをコンピュータ１５００に提供してもよい。

以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更または改良を加えることが可能であることが当業者に明らかである。その様な変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。

本発明の実施形態に係る人物認識システム１０の機能構成の一例を示すブロック図である。 本発明の実施形態に係る画像格納部１００の一例を示す図である。 本発明の実施形態に係る特徴量データベース１１２の一例を示す図である。 本発明の実施形態に係る認識処理部１１４による人物の認識結果の一例を示す図である。 本発明の実施形態に係る親密度算出部１２０による親密度の算出結果の一例を示す図である。 本発明の実施形態に係る人物認識システムを用いた人物認識方法における処理の流れの第１の例を示すフローチャートである。 本発明の実施形態に係る人物認識システムを用いた人物認識方法における処理の流れの第２の例を示すフローチャートである。 本発明の実施形態における第１の変形例に係る親密度算出部１２０の機能構成の一例を示すブロック図である。 本発明の実施形態における第１の変形例に係る画像内親密度算出部１２２による画像内親密度の算出結果の一例を示す図である。 本発明の実施形態における第１の変形例に係る全体親密度算出部１２４による全体親密度の算出結果の一例を示す図である。 本発明の実施形態における第２の変形例に係る親密度算出部１２０の機能構成の一例を示すブロック図である。 本発明の実施形態における第２の変形例に係る認識処理部１１４による人物の認識結果の一例を示す図である。 本発明の実施形態における第２の変形例に係る画像内親密度算出部１２６による画像内親密度の算出結果の一例を示す図である。 本発明の実施形態における第２の変形例に係る全体親密度算出部１２８による全体親密度の算出結果の一例を示す図である。 本発明の実施形態に係るコンピュータ１５００のハードウェア構成の一例を示すブロック図である。

符号の説明

１０ 人物認識システム、１００ 画像格納部、１１０ 人物認識部、１１２ 特徴量データベース、１１４ 認識処理部、１２０ 親密度算出部、１２２ 画像内親密度算出部、１２４ 全体親密度算出部、１２６ 画像内親密度算出部、１２８ 全体親密度算出部、１３０ 判断部、１４０ 修正部

Claims (14)

1. 複数の画像のそれぞれに含まれる人物を認識する人物認識システムであって、
   前記複数の画像のそれぞれについて、当該画像に含まれる複数の人物を認識する人物認識部と、
   前記人物認識部による認識結果に基づいて、前記複数の画像の中の、少なくとも一部の画像に含まれる人物のそれぞれの間における親密度を算出する親密度算出部と、
   前記人物認識部によって、互いに異なる人物として認識された複数の人物のそれぞれの、一の人物に対する前記親密度の差が、予め定められた基準値以下であるか否かを判断する判断部と、
   互いに異なる人物として認識された複数の人物のそれぞれの、前記一の人物に対する前記親密度の差が、予め定められた基準値以下であると判断された場合に、当該複数の人物が同一人物であると判定し、前記人物認識部による認識結果を修正する修正部と
   を備える人物認識システム。
2. 前記親密度算出部は、前記複数の画像の中の、少なくとも一部の画像に含まれる、第１の人物と第２の人物との間の前記親密度を、前記複数の画像のうち、当該第１の人物と当該第２の人物との双方を含む画像の数がより多い場合に、より高い前記親密度として算出する請求項１に記載の人物認識システム。
3. 前記親密度算出部は、
   前記複数の画像のそれぞれについて前記人物認識部により認識された人物の数に基づいて、当該画像に含まれる人物の間の前記親密度である画像内親密度を算出する画像内親密度算出部と、
   前記複数の画像のそれぞれについて算出された前記画像内親密度に基づいて、前記複数の画像の中の、少なくとも一部の画像に含まれる人物のそれぞれの間における前記親密度である全体親密度を算出する全体親密度算出部と
   を有し、
   前記判断部は、前記人物認識部によって、互いに異なる人物として認識された複数の人物のそれぞれの、前記一の人物に対する前記全体親密度の差が、予め定められた基準値以下であるか否かを判断する
   請求項１に記載の人物認識システム。
4. 前記画像内親密度算出部は、前記複数の画像のそれぞれについて前記人物認識部により認識された人物の数が少ない程、当該画像に含まれる人物の間の前記画像内親密度をより高く算出する請求項３に記載の人物認識システム。
5. 前記親密度算出部は、
   前記複数の画像のそれぞれについての前記人物認識部による認識結果に基づいて、当該画像に含まれる人物の間の前記親密度である画像内親密度を、当該人物のそれぞれを示す画像の間の距離が小さい程、より高い値として算出する画像内親密度算出部と、
   前記複数の画像のそれぞれについて算出された前記画像内親密度に基づいて、前記複数の画像の中の、少なくとも一部の画像に含まれる人物のそれぞれの間における前記親密度である全体親密度を算出する全体親密度算出部と
   を有し、
   前記判断部は、前記人物認識部によって、互いに異なる人物として認識された複数の人物のそれぞれの、前記一の人物に対する前記全体親密度の差が、予め定められた基準値以下であるか否かを判断する
   請求項１に記載の人物認識システム。
6. 前記画像内親密度算出部は、前記複数の画像のそれぞれについて、当該画像に含まれる人物の間の前記画像内親密度を、当該人物のそれぞれを示す画像に含まれる顔画像の間の距離が小さい程、より高い値として算出する請求項５に記載の人物認識システム。
7. 前記判断部は、前記複数の画像の中の、少なくとも一部の画像に含まれる人物から、前記一の人物を選択すると共に、前記複数の画像の中の、少なくとも一部の画像に含まれる人物から、選択した前記一の人物に対する前記親密度の差が予め定められた基準値以下である、互いに異なる複数の人物を選択できるか否かを判断する請求項１に記載の人物認識システム。
8. 前記判断部は、前記複数の画像の中の、少なくとも一部の画像に含まれる人物から、互いに異なる複数の人物を選択すると共に、前記複数の画像の中の、少なくとも一部の画像に含まれる人物から、当該選択した複数の人物のそれぞれに対する前記親密度の差が予め定められた基準値以下である前記一の人物を選択できるか否かを判断する請求項１に記載の人物認識システム。
9. 前記判断部は、選択した複数の人物の何れかが含まれている画像の中に、より多く含まれる人物に対して、より高い優先度で、前記一の人物として選択できるか否かを判断する請求項８に記載の人物認識システム。
10. 前記判断部は、前記人物認識部によって、互いに異なる人物として認識された複数の人物のそれぞれの、前記一の人物とは異なる他の人物に対する前記親密度の差が、予め定められた基準値以下であるか否かを更に判断し、
    前記修正部は、互いに異なる人物として認識された複数の人物のそれぞれにおける前記親密度の差が、前記一の人物及び前記他の人物の何れに対しても、予め定められた基準値以下であると判断された場合に、当該複数の人物が同一人物であると判定し、前記人物認識部による認識結果を修正する
    請求項１に記載の人物認識システム。
11. 前記判断部は、前記人物認識部によって、互いに異なる人物として認識された複数の人物における顔画像のそれぞれが、予め定められた基準値以上の類似度で類似しているか否かを更に判断し、
    前記修正部は、互いに異なる人物として認識された複数の人物のそれぞれの、前記一の人物に対する前記親密度の差が、予め定められた基準値以下であり、且つ、当該複数の人物における顔画像のそれぞれが、予め定められた基準値以上の類似度で類似していると判断された場合に、当該複数の人物が同一人物であると判定し、前記人物認識部による認識結果を修正する
    請求項１に記載の人物認識システム。
12. 前記人物認識部は、
    複数の人物のそれぞれについて、当該人物の顔画像の特徴量を格納している特徴量データベースと、
    前記複数の画像のそれぞれについて、当該画像に含まれる人物の画像から抽出した特徴量が、前記特徴量データベースに格納されている前記顔画像を示す特徴量に対して、予め定められた基準値以上の類似度で類似している場合に、当該人物を、当該顔画像に対応する人物であると認識する認識処理部と
    を有し、
    前記修正部は、前記認識処理部によって互いに異なる人物として認識された複数の人物を同一人物であると判定した場合に、更に、前記認識処理部によって、当該複数の人物が同一人物として認識されるべく、前記認識処理部における類似度の基準値をより低く修正する
    請求項１に記載の人物認識システム。
13. 複数の画像のそれぞれに含まれる人物を認識する人物認識方法であって、
    前記複数の画像のそれぞれについて、当該画像に含まれる複数の人物を認識する人物認識段階と、
    前記人物認識段階における認識結果に基づいて、前記複数の画像の中の、少なくとも一部の画像に含まれる人物のそれぞれの間における親密度を算出する親密度算出段階と、
    前記人物認識段階において、互いに異なる人物として認識された複数の人物のそれぞれの、一の人物に対する前記親密度の差が、予め定められた基準値以下であるか否かを判断する判断段階と、
    互いに異なる人物として認識された複数の人物のそれぞれの、前記一の人物に対する前記親密度の差が、予め定められた基準値以下であると判断された場合に、当該複数の人物が同一人物であると判定し、前記人物認識段階における認識結果を修正する修正段階と
    を備える人物認識方法。
14. 複数の画像のそれぞれに含まれる人物を認識する人物認識システムとしてコンピュータを機能させる人物認識プログラムであって、
    前記コンピュータを、
    前記複数の画像のそれぞれについて、当該画像に含まれる複数の人物を認識する人物認識部と、
    前記人物認識部による認識結果に基づいて、前記複数の画像の中の、少なくとも一部の画像に含まれる人物のそれぞれの間における親密度を算出する親密度算出部と、
    前記人物認識部によって、互いに異なる人物として認識された複数の人物のそれぞれの、一の人物に対する前記親密度の差が、予め定められた基準値以下であるか否かを判断する判断部と、
    互いに異なる人物として認識された複数の人物のそれぞれの、前記一の人物に対する前記親密度の差が、予め定められた基準値以下であると判断された場合に、当該複数の人物が同一人物であると判定し、前記人物認識部による認識結果を修正する修正部と
    を備える人物認識システムとして機能させる人物認識プログラム。

Images