JP4636190B2 - 顔照合装置、電子機器、顔照合装置の制御方法、および顔照合装置制御プログラム - Google Patents

顔照合装置、電子機器、顔照合装置の制御方法、および顔照合装置制御プログラム Download PDF

Info

Publication number
JP4636190B2
JP4636190B2 JP2009062039A JP2009062039A JP4636190B2 JP 4636190 B2 JP4636190 B2 JP 4636190B2 JP 2009062039 A JP2009062039 A JP 2009062039A JP 2009062039 A JP2009062039 A JP 2009062039A JP 4636190 B2 JP4636190 B2 JP 4636190B2
Authority
JP
Japan
Prior art keywords
face image
age
target
image
time
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2009062039A
Other languages
English (en)
Other versions
JP2010218059A (ja
Inventor
孝三 森山
崇 垣内
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Omron Corp
Original Assignee
Omron Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Omron Corp filed Critical Omron Corp
Priority to JP2009062039A priority Critical patent/JP4636190B2/ja
Priority to EP10750494.6A priority patent/EP2407929B1/en
Priority to US13/059,381 priority patent/US8396264B2/en
Priority to CN2010800023253A priority patent/CN102124492B/zh
Priority to PCT/JP2010/001133 priority patent/WO2010103735A1/ja
Priority to KR1020117003462A priority patent/KR101168546B1/ko
Publication of JP2010218059A publication Critical patent/JP2010218059A/ja
Application granted granted Critical
Publication of JP4636190B2 publication Critical patent/JP4636190B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/5838Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using colour
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00General purpose image data processing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172Classification, e.g. identification
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00Indexing scheme relating to image or video recognition or understanding
    • G06V2201/10Recognition assisted with metadata
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/178Human faces, e.g. facial parts, sketches or expressions estimating age from face image; using age information for improving recognition
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/179Human faces, e.g. facial parts, sketches or expressions metadata assisted face recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Library & Information Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Collating Specific Patterns (AREA)
  • Image Analysis (AREA)
  • Processing Or Creating Images (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Image Processing (AREA)

Description

本発明は、対象となる顔画像と、登録者の顔画像とを照合する顔照合装置、電子機器、顔照合装置の制御方法、および顔照合装置制御プログラムに関するものである。
近年、デジタルスチールカメラやデジタルビデオカメラ(以下、「デジタルカメラ」と総称する)の普及に伴い、該デジタルカメラで撮影した静止画や動画等のデジタルデータ(画像)が大量にメモリやハードディスク等の記憶媒体に記憶されている。そして、この記憶媒体に大量の画像が記憶されているため、記憶されている画像の中から所望の人物が写っている画像を探し出したり、写っている人物別に画像を分類したりすることが困難になりつつある。
そこで、多数の画像の中から所望の画像を検索、分類するために、登録されている顔画像と撮影した顔画像(生体情報)とを照合し、同一人物かどうかを判断する、いわゆる顔認証を用いることが考えられる。
しかしながら、顔認証は、時間が経つにつれて実際の顔は変化していく経年変化が生じるにもかかわらず、登録されている顔の画像は変化しないため、時間とともに照合の精度が低下していくという問題がある。
この問題に対し、特許文献1には、照合時に入力された画像と記憶されている画像とから新たに登録すべき画像を生成し、登録されている画像を新たに生成した画像に自動で更新することによって、経年変化の影響を軽減する技術が開示されている。
また、特許文献2には、複数の生体情報を用いて認証を行うことで、認証の制度を高める技術が開示されている。
また、特許文献3には、登録時点あるいは最後に照合した時点からの経過時間が長くなった、重要度の低い画像を記憶媒体から削除する技術が開示されている。
また、特許文献4には、顔画像が登録された時点から顔を撮影した時点までの時間に対応する特徴量を算出し、この特徴量を用いて顔認証を行うことで認証の精度を高める技術が開示されている。
また、特許文献5には、過去の複数の時点で撮像した生体認証データ(画像データ)を用いて認証を行うことで、現実に合った認証を行う技術が開示されている。
また、特許文献6には、予め定められた基準値以上の類似度を示す類似顔画像と撮像顔画像との差分に基づいて、撮像顔画像を差分圧縮して記憶する技術が開示されている。
特開平11−175718号公報(1999年7月2日公開) 特開2003−44858号公報(2003年2月14日公開) 特開2004−54888号公報(2004年2月19日公開) 特開2007−102517号公報(2007年4月19日公開) 特開2006−92491号公報(2006年4月6日公開) 特開2006−59200号公報(2006年3月2日公開)
そして、上記特許文献1〜6に開示された顔認証等の技術を用いて、上述した記憶媒体に記憶されているデジタルデータ(画像)の中から所望の画像の検索・分類を行うことが考えられる。しかしながら、上記特許文献1〜6に開示された技術をそのままデジタルデータの検索、分類に用いると、下記のような問題を生じる。すなわち、記憶媒体に記憶されている画像は、同じ人物の画像であっても様々な年齢時のものが存在する。この記憶媒体に記憶されている画像に対し、上記特許文献1に開示されている認証技術を用いて、目的とする画像の検索、分類を行ったとしても、上記特許文献1に開示されている技術は、登録データを更新することで、認証対象となる人物の最新の状態に対応するものであり、同一人物の様々な年齢時の画像に対応することはできない。よって、対応できない年齢時の画像に対しては、認証の精度が低下し、目的となる画像を正確に照合し、検索、分類できるとは限らない。
また、特許文献2に開示された技術は、複数の生体情報を用いて認証を行うものであり、記憶媒体に記憶されている様々な年齢時の画像に対応することはできない。
また、特許文献3に開示された技術は、重要度の低い画像を記憶媒体から削除するものであり、画像の正確な照合、検索、分類にはつながらない。
また、特許文献4に開示された技術は、顔画像が登録された時点から顔を撮影した時点までの時間に対応する特徴量を算出するものであるが、この時間に対応する特徴量は、あくまでも計算上のものであり、実際の顔とは異なる。よって、必ずしも正確に認証できるとは限らず、正確に画像の照合、検索、分類をできるとは限らない。
また、特許文献5に開示された技術は、過去の複数の時点で撮像した生体認証データを用いて、現在の顔を認証するものであり、様々な年齢時の画像を正確に認証することはできず、正確に画像の照合、検索、分類ができるとは限らない。
また、特許文献6に開示された技術は、撮像顔画像を差分圧縮して記憶するものであり、画像の正確な照合、検索、分類にはつながらない。
本発明は、上記の問題点に鑑みてなされたものであり、その目的は、様々な年齢時の顔画像を含む複数の画像の中からであっても、所望の顔画像を正確に照合できる顔照合装置等を実現することにある。
上記課題を解決するために、本発明に係る顔照合装置は、撮影画像に含まれる照合対象となる対象顔画像を、基準画像データベースに登録された基準の顔画像である基準顔画像と照合する顔照合装置であって、上記基準画像データベースには、各登録者に対して複数の基準顔画像を記憶することが可能で、さらに、上記の各基準顔画像に対して該基準顔画像の撮影時点である基準顔画像撮影時点を記憶することが可能であり、上記対象顔画像の撮影時点である対象顔画像撮影時点を取得する取得手段と、上記取得手段が取得した対象顔画像撮影時点と、上記基準画像データベースに記憶された基準顔画像撮影時点とに基づいて、上記照合に利用する上記基準顔画像を選択する選択手段と、を備えていることを特徴としている。
また、本発明に係る顔照合装置の制御方法は、撮影画像に含まれる照合対象となる対象顔画像を、基準画像データベースに登録された基準の顔画像である基準顔画像と照合する顔照合装置の制御方法であって、上記基準画像データベースには、各登録者に対して複数の基準顔画像を記憶することが可能であり、さらに、各基準顔画像に対して該基準顔画像の撮影時点である基準顔画像撮影時点を記憶することが可能であり、上記対象顔画像の撮影時点である対象顔画像撮影時点を取得する取得ステップと、上記取得ステップで取得した対象顔画像撮影時点と、上記基準画像データベースに記憶された基準顔画像撮影時点とに基づいて、上記照合に利用する上記基準顔画像を選択する選択ステップと、を含むことを特徴としている。
上記の構成および方法によれば、取得された上記対象顔画像の撮影時点である対象顔画像撮影時点と、基準画像データベースに記憶された基準顔画像撮影時点とに基づいて、照合に利用する基準顔画像が選択される。
これにより、対象顔画像の撮影時点と基準顔画像の撮影時点とを考慮して、照合に用いる基準顔画像の選択を行うことができる。そして、対象顔画像の撮影時点に近い撮影時点に撮影された基準顔画像は、対象顔画像の撮影時点における登録者の年齢に近い年齢の登録者が撮影されているので、対象顔画像の撮影時点に近い撮影時点に撮影された基準顔画像を選択することにより、より正確な照合を行うことができる。
例えば、基準顔画像として、A(1980年生まれ)とB(1970年生まれ)の2人の画像があり、Aについて、1985年(A1)、1990年(A2)、1998年(A3)に撮影された顔画像、Bについて、1988年(B1)、1991年(B2)、19998年(B3)に撮影された顔画像がある場合を考える。仮に、対象画像にAが映っており、撮影時点が1998年(Aは18歳)とする。そして、対象画像に対して、基準顔画像を用いて照合を行うときに、全ての基準顔画像を用いると、顔画像B1におけるBの年齢が18歳のため、照合を誤る可能性がある。
これに対し、対象画像の撮影時点に近い基準顔画像を、照合に用いる基準顔画像として選択すると、A3(Aは18歳)とB3(Bは28歳)とが基準顔画像として選択されるので、18歳のAと28歳のBとを同じ人物と判断する可能性は低く、正確に照合を行うことができる。
本発明に係る顔照合装置では、上記基準画像データベースには、さらに、上記の各基準顔画像に対して該基準顔画像の撮影時点における登録者の年齢である基準時年齢を記憶することが可能であり、上記選択手段は、さらに上記基準時年齢を用いて、上記照合に利用する上記基準顔画像を選択するものであってもよい。
上記の構成によれば、撮影画像の撮影時点における登録者の年齢に適した基準撮影時年齢の基準顔画像を選択することができる。
なお、ここで言う年齢とは、生まれてからその時までに経過した年数だけでなく月日まで含むものであってもよい。
また、各種時間情報は、年月日を含むことが望ましいが、時刻を含んでもよいし、年月のみを含んでもよい。
本発明に係る顔照合装置では、上記基準画像データベースには、さらに、上記各登録者の生誕時点を記憶することが可能であり、上記選択手段は、さらに上記生誕時点を用いて、上記照合に利用する上記基準顔画像を選択するものであってもよい。
上記課題を解決するために、本発明に係る顔照合装置は、撮影画像に含まれる照合対象となる対象顔画像を、基準画像データベースに登録された基準の顔画像である基準顔画像と照合する顔照合装置であって、上記基準画像データベースには、各登録者に対して複数の基準顔画像を記憶することが可能で、さらに、上記各登録者の生誕時点、および各基準顔画像の撮影時点における登録者の年齢である基準時年齢を記憶することが可能であり、上記対象顔画像の撮影時点である対象顔画像撮影時点を取得する取得手段と、上記取得手段が取得した対象顔画像撮影時点と、上記基準画像データベースに記憶された生誕時点および基準時年齢とに基づいて、上記照合に利用する上記基準顔画像を選択する選択手段と、を備えていることを特徴としている。
また、本発明に係る顔照合装置の制御方法は、撮影画像に含まれる照合対象となる対象顔画像を、基準画像データベースに登録された基準の顔画像である基準顔画像と照合する顔照合装置の制御方法であって、上記基準画像データベースには、各登録者に対して複数の基準顔画像を記憶することが可能であり、さらに、上記各登録者の生誕時点、および各基準顔画像の撮影時点における登録者の年齢である基準時年齢を記憶することが可能であり、上記対象顔画像の撮影時点である対象顔画像撮影時点を取得する取得ステップと、上記取得ステップで取得した対象顔画像撮影時点と、上記基準画像データベースに記憶された生誕時点および基準時年齢とに基づいて、上記照合に利用する上記基準顔画像を選択する選択ステップと、を含むことを特徴としている。
上記の構成および方法によれば、取得した上記対象顔画像の撮影時点である対象顔画像撮影時点と、基準画像データベースに記憶された登録者の生誕時点および基準時年齢とに基づいて、照合に利用する基準顔画像が選択される。
そして、登録者の生誕時点から対象顔画像の撮影時点における登録者の年齢を算出することができるので、対象顔画像の撮影時点における登録者の年齢と、基準時年齢とを用いて基準顔画像を選択することができる。
これにより、対象顔画像の撮影時点における対象者の年齢を考慮して、対象顔画像の撮影時点における対象者の年齢に適した基準撮影時年齢の基準顔画像を選択することができる。そして、対象顔画像の撮影時点における対象者の年齢に適した基準撮影時年齢の基準顔画像を選択することで、より正確な照合を行うことができる。
本発明に係る顔照合装置では、上記基準顔画像を、上記撮影画像に含まれる対象顔画像との照合にどの程度適用できるかを示す適用度を、上記取得手段が取得した対象顔画像撮影時点と上記基準画像データベースに記憶された基準顔画像撮影時点との差に基づいて算出する適用度算出手段を備え、上記選択手段は、上記適用度算出手段が算出した適用度が所定の閾値を超える基準顔画像を選択するものであることが好ましい。
上記の構成によれば、適用度算出手段は、取得手段が取得した対象顔画像撮影時点と基準画像データベースに記憶された基準顔画像撮影時点との差に基づいて算出する。そして、選択手段は、上記適用度算出手段が算出した適用度が閾値を超える基準顔画像を選択する。
そして、適用度は、対象顔画像の撮影時点である対象顔画像撮影時点から基準顔画像の撮影時点である基準顔画像撮影時点までの差に基づいて算出されるので、対象顔画像撮影時点から基準顔画像撮影時点までの期間を加味した上で、照合に利用する基準顔画像が選択されるので、より正確な照合を行うことができる。
本発明に係る顔照合装置では、上記取得手段が取得した対象顔画像撮影時点と、上記基準画像データベースに記憶された基準顔画像撮影時点および基準時年齢とに基づいて、上記対象顔画像の撮影時点における上記登録者の年齢である対象時年齢を算出する対象時年齢算出手段と、上記基準顔画像を、上記撮影画像に含まれる対象顔画像との照合にどの程度適用できるかを示す適用度を、上記取得手段が取得した対象顔画像撮影時点と上記基準画像データベースに記憶された基準顔画像撮影時点との差と、上記対象時年齢算出手段が算出した対象時年齢とに基づいて算出する適用度算出手段を備え、上記選択手段は、上記適用度算出手段が算出した適用度が所定の閾値を超える基準顔画像を選択するものであってもよい。
上記の構成によれば、適用度を、取得手段が取得した対象顔画像撮影時点と基準顔画像撮影時点との差と、対象時年齢とに基づいて、算出する。そして、選択手段は、上記適用度算出手段が算出した適用度が閾値を超える基準顔画像を選択する。
そして、適用度は、対象画像の撮影時点である対象顔画像撮影時点から基準顔画像の撮影時点である基準顔画像撮影時点までの差と、対象時年齢とに基づいて算出されるので、対象時年齢と、対象顔画像撮影時点から基準顔画像撮影時点までの期間とを加味したものとなる。
これにより、適用度が閾値を超える基準顔画像、すなわち、対象時年齢と、対象顔画像撮影時点から基準顔画像撮影時点までの期間とを加味した上で、対象顔画像の照合に適用できる程度が閾値を超える基準顔画像のみが対象顔画像との照合に用いられ、より正確な照合を行うことができる。
本発明に係る顔照合装置では、上記取得手段が取得した対象顔画像撮影時点と、上記基準画像データベースに記憶された上記生誕時点とに基づいて、上記対象顔画像の撮影時点における上記登録者の年齢である対象時年齢を算出する対象時年齢算出手段と、上記基準顔画像を、上記撮影画像に含まれる対象顔画像との照合にどの程度適用できるかを示す適用度を、上記取得手段が取得した対象顔画像撮影時点と上記基準画像データベースに記憶された基準顔画像撮影時点との差と、上記対象時年齢算出手段が算出した対象時年齢とに基づいて算出する適用度算出手段を備え、上記選択手段は、上記適用度算出手段が算出した適用度が所定の閾値を超える基準顔画像を選択するものであってもよい。
本発明に係る顔照合装置では、上記取得手段が取得した対象顔画像撮影時点と、上記基準画像データベースに記憶された生誕時点とに基づいて、上記対象顔画像の撮影時点における上記登録者の年齢である対象時年齢を算出する対象時年齢算出手段と上記基準顔画像を、上記撮影画像に含まれる対象顔画像との照合にどの程度適用できるかを示す適用度を、上記基準画像データベースに記憶された上記基準時年齢と上記対象時年齢算出手段が算出した対象時年齢との差に基づいて算出する適用度算出手段を備え、上記選択手段は、上記適用度算出手段が算出した適用度が所定の閾値を超える基準顔画像を選択するものであってもよい。
本発明に係る顔照合装置では、上記適用度は、上記対象時年齢が低くなるほど、対象顔画像撮影時点と基準顔画像撮影時点との差に対して変化率が大きいことが好ましい。
上記の構成によれば、適用度は、対象顔画像の撮影時点における登録者の年齢である対象時年齢が低くなるほど、該対象顔画像の撮影時点である対象顔画像撮影時点から照合の基準となる基準顔画像の撮影時点である基準顔画像撮影時点までの期間に対する変化率が大きい。
これにより、生まれたばかりの赤ん坊から幼児になるまでのような顔の変化が大きいと考えられる期間については、適用度は対象顔画像撮影時点と基準顔画像撮影時時点との差に対して大きく変化する。一方、大人になり、経過期間に対してあまり顔の変化が無い期間については、対象顔画像撮影時点と基準顔画像撮影時点との差に対して大きく変化しない。
よって、経過期間に対して顔の変化(経年変化)が大きい期間は、適用度も大きく変化し、経年変化が小さい期間に対しては適用度も大きく変化しないので、より細かく基準顔画像の適用度を算出することができる。
したがって、より細かく適用度を算出した基準顔画像を用いて照合を行うことができ、人の顔の経年変化に対してより細かく対応した正確な照合を行うことができる。
本発明に係る顔照合装置では、上記選択手段が選択した基準顔画像と上記対象顔画像との照合の結果に対し、上記基準顔画像の適用度で重み付けした加重照合結果を算出する加重照合結果算出手段を備えているものであってもよい。
上記の構成によれば、加重照合結果算出手段は、上記選択手段が選択した基準顔画像と上記対象顔画像との照合結果に対し、上記基準顔画像の適用度で重み付けした加重照合結果を算出する。これにより、適用度の高い基準顔画像を用いた照合の結果はより重く、適用度の低い基準顔画像を用いた照合の結果はより軽く、重み付けがされた結果が算出されるので、より正確な照合の結果を出力することができる。
本発明に係る顔照合装置では、上記基準画像データベースに記憶されている基準顔画像の基準時年齢から、閾値以上の適用度となる対象時年齢の範囲を算出し、算出した対象時年齢の範囲に含まれない年齢を対象時年齢とした場合に、上記閾値以上の上記適用度となる基準時年齢の範囲を算出し、算出した基準時年齢の範囲を出力する必要年齢出力手段を備えているものであってもよい。
上記の構成によれば、必要年齢出力手段は、基準時年齢から、閾値以上の適用度となる対象時年齢の範囲を算出し、算出した対象時年齢の範囲に含まれない年齢を対象時年齢とした場合に上記閾値以上の上記適用度となる基準時年齢の範囲を算出し、算出した基準時年齢の範囲を出力する。
これにより、出力された先の装置で、登録者の対象時年齢が何歳であっても、閾値以上の適用度の基準顔画像が選択されるために必要な基準時年齢を認識することができる。
よって、例えば、出力された先の装置から、ユーザに対し、対象時年齢が何歳であっても、閾値以上の適用度の基準顔画像を上記選択手段が選択できるために必要な基準時年齢を報知すれば、ユーザは、対象時年齢が何歳であっても、閾値以上の適用度の基準顔画像を上記選択手段が選択できるために必要な基準時年齢を認識することができる。これにより、ユーザに対し、該基準時年齢の基準顔画像の登録を促すことができる。
そして、ユーザが、促された基準顔画像を登録すれば、選択手段は、対象顔画像の撮影時点における登録者の対象時年齢が何歳であっても閾値以上の基準顔画像を選択できるようになるので、より正確な照合を行うことができる。
本発明に係る顔照合装置では、上記基準顔画像を上記撮影画像に含まれる顔画像の照合にどの程度適用できるかを示す適用度を、上記取得手段が取得した上記対象顔画像撮影時点と上記基準顔画像データベースに記憶された基準顔画像撮影時点との差に基づいて算出する適用度算出手段を備え、上記選択手段は、上記適用度算出手段が算出した適用度が閾値を超える基準顔画像が存在しない場合、閾値を下回る基準顔画像を選択しており、上記照合結果の正否を問い合わせる問い合わせ手段と、上記問い合わせ手段が正しいと受け付けると、当該対象顔画像を上記基準顔画像として登録する画像登録手段とを備えているものであってもよい。
上記の構成によれば、上記適用度が閾値を超える基準顔画像が存在しない場合、選択手段は、上記所定の閾値を下回る基準顔画像を選択し、照合結果が正しい場合、画像登録手段は、当該対象顔画像を上記基準顔画像として登録する。
これにより、対象顔画像に対して、適用度が閾値を超える基準顔画像が登録されていなかった場合に、該対象顔画像を基準顔画像として登録するので、以後の照合において、該対象顔画像の撮影時点と近い撮影時点の顔画像を照合するときに、適用度が従前より高い基準顔画像を用いることができる。よって、より正確な照合を行うことができるようになる。
上記課題を解決するために、本発明に係る電子機器は、上記顔照合装置を備えた電子機器であって、上記対象顔画像に対し、上記適用度が閾値を超える基準顔画像が無い場合に、ユーザに対し報知を行う報知手段を備えていることを特徴としている。
上記の構成によれば、適用度が閾値を超える基準顔画像が無ければ、報知手段はユーザに対し報知を行う。これより、ユーザは、適用度が閾値を超える基準顔画像が無いことを認識することができる。
なお、上記顔照合装置は、コンピュータによって実現してもよく、この場合には、コンピュータを上記各手段として動作させることにより上記顔照合装置をコンピュータにて実現させる顔照合装置の制御プログラムも本発明の範疇に入る。
以上のように、本発明に係る顔照合装置は、上記基準画像データベースには、各登録者に対して複数の基準顔画像を記憶することが可能で、さらに、上記の各基準顔画像に対して該基準顔画像の撮影時点である基準顔画像撮影時点を記憶することが可能であり、対象顔画像の撮影時点である対象顔画像撮影時点を取得する取得手段と、上記取得手段が取得した対象顔画像撮影時点と、上記基準画像データベースに記憶された基準顔画像撮影時点とに基づいて、上記照合に利用する上記基準顔画像を選択する選択手段と、を備えている構成である。
また、本発明に係る顔照合装置の制御方法は、基準画像データベースには、各登録者に対して複数の基準顔画像を記憶することが可能であり、さらに、各基準顔画像に対して該基準顔画像の撮影時点である基準顔画像撮影時点を記憶することが可能であり、上記対象顔画像の撮影時点である対象顔画像撮影時点を取得する取得ステップと、上記取得ステップで取得した対象顔画像撮影時点と、上記基準画像データベースに記憶された基準顔画像撮影時点とに基づいて、上記照合に利用する上記基準顔画像を選択する選択ステップと、を含む方法である。
これにより、対象顔画像の撮影時点と基準顔画像の撮影時点とを考慮して、照合に用いる基準顔画像の選択を行うことができる。そして、対象顔画像の撮影時点に近い撮影時点に撮影された基準顔画像は、対象顔画像の撮影時点における登録者の年齢に近い年齢の登録者が撮影されているので、対象顔画像の撮影時点に近い撮影時点に撮影された基準顔画像を選択することにより、より正確な照合を行うことができるという効果を奏する。
また、本発明に係る顔照合装置は、上記基準画像データベースには、各登録者に対して複数の基準顔画像を記憶することが可能で、さらに、上記各登録者の生誕時点、および各基準顔画像の撮影時点における登録者の年齢である基準時年齢を記憶することが可能であり、対象顔画像の撮影時点である対象顔画像撮影時点を取得する取得手段と、上記取得手段が取得した対象顔画像撮影時点と、上記基準画像データベースに記憶された生誕時点および基準時年齢とに基づいて、上記照合に利用する上記基準顔画像を選択する選択手段と、を備えている構成である。
また、本発明に係る顔照合装置の制御方法は、基準画像データベースには、各登録者に対して複数の基準顔画像を記憶することが可能であり、さらに、上記各登録者の生誕時点、および各基準顔画像の撮影時点における登録者の年齢である基準時年齢を記憶することが可能であり、上記対象顔画像の撮影時点である対象顔画像撮影時点を取得する取得ステップと、上記取得ステップで取得した対象顔画像撮影時点と、上記基準画像データベースに記憶された生誕時点および基準時年齢とに基づいて、上記照合に利用する上記基準顔画像を選択する選択ステップと、を含む方法である。
これにより、対象顔画像の撮影時点における対象者の年齢を考慮して、対象顔画像の撮影時点における対象者の年齢に適した基準撮影時年齢の基準顔画像を選択することができる。そして、対象顔画像の撮影時点における対象者の年齢に適した基準撮影時年齢の基準顔画像を選択することで、より正確な照合を行うことができるという効果を奏する。
本発明の実施の形態を示すものであり、検索部および記憶部の要部構成を示すブロック図である。 上記実施の形態における、顔照合装置の要部構成を示すブロック図である。 上記実施の形態における、基準画像データベースに記憶されている内容を示す図である。 上記実施の形態における、適用度を求めるための係数と撮影画像の撮影時における対象者の年齢との関係をグラフで示した例を示す図である。 上記実施の形態における、ID毎の類似度と適用度の例、および照合信頼度を示す説明図である。 上記実施の形態における、登録処理部の要部構成を示すブロック図である。 上記実施の形態における、画像の照合を行うときの処理の流れを示すフローチャートである。 上記実施の形態における、基準顔画像を基準画像データベースへ登録する処理の流れを示すフローチャートである。
本発明の一実施の形態について図1から図8に基づいて説明すれば、以下のとおりである。図2は、本実施の形態に係る顔照合装置1のブロック図である。図2に示すように、顔照合装置(電子機器)1は、表示部(報知手段)11、外部機器接続部12、操作部13、記憶部14、および制御部10を含む構成である。なお、以下では、顔照合装置1は、パーソナルコンピュータとして説明するがこれに限られるものではない。画像を照合する機能を備えた様々な装置、例えば、デジタルカメラ等であってもよい。
顔照合装置1は、外部機器接続部12を介して接続された外部機器から取得した画像や記憶部14に記憶されている画像等の照合対象となる画像(対象画像)に写っている人物の顔(対象顔画像)が、記憶部14に記憶されている照合の基準となる登録者の顔画像(基準顔画像)のうち、どの顔画像と最も類似するかを判断し、その結果を表示するものである。
なお、以下では、基準顔画像と照合対象となる撮影画像とを照合して検索するものとして記載するが、これは、基準顔画像の特徴量を記憶し、記憶している特徴量と撮影画像の特徴量とを照合して検索する場合を含むものである。
そして、基準となる顔が写っている基準顔画像を以下で説明する適用度を用いて適切に選択することにより、照合対象の画像に写っている人物の顔が、どの基準顔画像と類似するかをより正確に判断することができるものである。
また、照合結果を表示するだけでなく、照合結果に基づいて、画像を分類することも可能である。
次に、顔照合装置1の各部について説明する。
表示部11は、顔照合装置1での照合の結果、顔照合装置1で行った動作、顔照合装置1の状態等を表示するものである。この表示部11は、情報を表示できるものであれば何で実現されてもよいが、例えばLCD(liquid crystal display)、有機EL(electroluminescence)ディスプレイ、プラズマディスプレイ等で実現することができる。
外部機器接続部12は、外部機器と接続し、該外部機器とデータの送受信を行うものである。外部機器の例としては、例えばスキャナーやハードディスクを挙げることができる。
操作部13は、顔照合装置1に対するユーザからの操作を受け付けるものである。
記憶部14は、照合の基準となる基準顔画像、照合の対象となる撮影画像等の画像データや、顔照合装置1を動作させるためのプログラム等を記憶している。この記憶部14の例としては、フラッシュメモリを挙げることができる。なお、記憶部14の詳細については、後述する。
制御部10は、顔照合装置1において、照合、検索や基準顔画像の登録を行うものである。この制御部10の詳細については後述する。
次に制御部10について説明する。制御部10は、照合部16、登録処理部17、および出力処理部18を含む構成である。
そして、照合部16は、図1に示すように対象画像取得部(取得手段)101、適用度算出部(適用度算出手段、対象時年齢算出手段)102、特徴量抽出部103、照合利用画像選択部(選択手段)104、類似度算出部105、照合信頼度算出部(加重照合結果算出手段)106、照合結果決定部107、および結果出力部(問い合わせ手段)108を含む構成である。図1は、本実施の形態に係る照合部16および記憶部14の構成を示すブロック図である。
また、記憶部14は、図1に示すように、基準画像データベース121、適用度係数テーブル記憶部122、および画像データベース123を含む構成である。
基準画像データベース121は、照合の基準となる基準顔画像の画像データを記憶しているデータベースである。図3は、基準画像データベース121に記憶されている内容を示す。図3に示すように、基準画像データベース121には、基準顔画像の他に、基準顔画像のID(identification)、基準顔画像を撮影した日時(撮影年月日、撮影時点、基準時点)、撮影した時の基準顔画像に写っている人物の年齢(基準時年齢)および生年月日(生誕時点)、基準顔画像の特徴量データが記憶されている。なお、IDとは、例えば、その基準顔画像に写っている人物の名前等である。また、基準時年齢そのものか、或いは該基準時年齢を算出できる情報を基準時年齢の情報と呼ぶ。
適用度係数テーブル記憶部122は、基準顔画像に写っている登録者の撮影画像(対象画像)の撮影時(対象時点)における年齢(対象時年齢)と係数との関係を示すものである適用度の係数テーブルを記憶している。ここで、適用度とは、撮影画像を照合する基準顔画像がどの程度、照合に適用できるかを示すものである。本実施の形態では、“適用度=1/(撮影画像の撮影日と基準顔画像の撮影日との差×係数)”で求めている。また、係数とは、新生児において、撮影画像と基準顔画像との撮影日の差が1日のときの値を「1」(変化なし)とし、これを上限とした上で、統計的に、撮影画像の撮影時における対象者の年齢から該撮影画像の適用度を算出するためのものである。この適用度を算出するための係数と撮影画像の撮影時における対象者の年齢との関係をグラフで示した例を図4に示す。
図4は、適用度を求めるための係数と対象画像の撮影時点における登録者の年齢である対象時年齢との関係である適用度の係数テーブルをグラフで示した例を示す図である。図4に示すように、係数は0歳のときに最大値「1」となり、年齢が上がっていくにつれて係数が小さくなる。そして、年齢が下がるほど、係数の変化が大きくなる。また、図4に示した例では、撮影画像の撮影年月日における登録者の年齢が20歳のとき、係数は0.1となる。よって、例えば、撮影画像の撮影年月日における対象者の年齢が20歳で、基準顔画像の撮影時における年齢(基準時年齢)が18歳の場合、適用度は、適用度=1/(365×2×0.1)=0.014となる。
なお、適用度の求め方はこれに限らず、撮影画像を照合するために用いる基準顔画像がどの程度照合に適用できるかを示すことができるものであれば、どのような方法によるものであってもよい。また、上記では、係数を用いて適用度を算出したが、係数を用いずに、撮影画像の撮影日と基準顔画像の撮影日との差のみを用いて適用度を算出してもよい。
画像データベース123は、画像を記憶しているデータベースである。画像データベース123に記憶されている画像とは、外部機器接続部12を介して接続された外部機器(例えば、スキャナーやデジタルカメラ)から取得した画像やインターネットと接続可能な場合にインターネットを介して取得した画像である。そして、画像データベース123には、画像とその画像が撮影された日時が記憶されている。
次に、照合部16について説明する。図1に示すように、照合部16は、対象画像取得部101、適用度算出部102、特徴量抽出部103、照合利用画像選択部104、類似度算出部105、照合信頼度算出部106、照合結果決定部107、および結果出力部108を含む構成である。そして、照合部16は、照合の対象となる撮影画像と、照合の基準となる基準顔画像とを照合し、その結果を出力するものである。
対象画像取得部101は、照合の対象となる撮影画像(対象画像)を取得するものである。そして、取得した撮影画像を示す撮影画像データを適用度算出部102および特徴量抽出部103へ送信する。なお、照合の対象となる撮影画像は、画像データベース123から取得してもよいし、外部機器接続部12を介して外部機器から取得してもよい。また、対象画像取得部101は、撮影画像と共に、対象時年齢の情報として、該撮影画像の撮影時点である対象時点を示す情報を取得し、適用度算出部102へ送信する。ここで、対象時年齢の情報とは、対象時年齢そのものか、或いは該対象時年齢を算出できる情報である。
適用度算出部102は、適用度係数テーブル記憶部122に記憶されている係数テーブルを用いて、対象画像取得部101から取得した撮影画像と基準画像データベース121に記憶されている基準顔画像との適用度を上述した方法で算出する。また、基準画像データベース121に複数の基準顔画像が記憶されていれば、複数の基準顔画像それぞれと撮影画像との適用度を算出する。そして、基準顔画像と算出した該基準顔画像の適用度とを示す適用度データを照合利用画像選択部104へ送信する。
なお、対象画像の撮影時点における、登録者の年齢は、基準画像データベース121に登録者の生年月日が記憶されていれば、該生年月日と対象画像の撮影時点から算出することができる。また、生年月日が記憶されていなくても、撮影日時とその時点における登録者の年齢が記憶されていれば、当該情報と対象画像の撮影時点から算出することができる。
また、対象画像と基準顔画像との撮影日時の差は、両者の撮影日時から算出することができる。なお、基準顔画像の撮影日時が記憶されていない場合であっても、基準顔画像の撮影時点における登録者の年齢と生年月日とが記憶されていれば、当該情報からおおよその撮影日時が算出できるので、これを用いて対象画像と基準顔画像との撮影日時の差を算出することができる。
照合利用画像選択部104は、適用度算出部102から取得した適用度データから、適用度が閾値を超える基準顔画像を照合に利用する基準顔画像として選択する。そして、選択した基準顔画像および適用度を類似度算出部105へ送信する。なお、照合利用画像選択部104は、照合に利用する基準顔画像の選択を、ID毎の枚数で選択するものであってもよいし、ID毎の枚数と閾値とを加味して選択するものであってもよい。
すなわち、ID毎に照合に必要な枚数を予め決めておき、適用度の高い基準顔画像から必要な枚数分の基準顔画像を照合に利用する基準顔画像として選択してもよいし、閾値を超える基準顔画像から必要な枚数分の基準顔画像を照合に利用する基準顔画像として選択するものであってもよい。
これにより、あるIDの基準顔画像には適用度の高いものが多数存在し、他のIDの基準顔画像には適用度の高いものがあまりないといった場合に、照合に利用する基準顔画像として、適用度の高いIDの基準顔画像が多数選択され、適用度の高いものがあまりなかったIDの基準顔画像が選択されないといった、ID毎の選択のアンバランスを防止することができる。よって、特定のIDの基準顔画像ばかりが選択されることにより、正確に照合ができなくなるという弊害を防止することができる。
特徴量抽出部103は、対象画像取得部101から取得した撮影画像の特徴量を抽出するものである。そして、抽出した特徴量を示す特徴量データを類似度算出部105へ送信する。なお、特徴量とは、撮影画像に写っている顔の輪郭、目の色、目の形、鼻の形、唇の形等の顔の特徴を示すものである。
類似度算出部105は、特徴量抽出部103から取得した撮影画像の特徴量データと、照合利用画像選択部104から取得した基準顔画像の特徴量データとから、撮影画像に写っている人物の顔と基準顔画像に写っている人物の顔との類似度を算出する。そして、算出した類似度を示す類似度データ、類似度の算出の基となった基準顔画像データに含まれているID、および適用度を照合信頼度算出部106へ送信する。なお、照合利用画像選択部104で、照合に利用する基準顔画像が複数選択された場合は、それぞれの基準顔画像の特徴量データと、特徴量抽出部103から取得した特徴量データとから類似度を算出し、結果を照合信頼度算出部106へ送信する。
なお、類似度の算出は公知の技術を用いることで可能であるので、ここではその説明を省略する。
照合信頼度算出部106は、類似度算出部105から取得した類似度、適用度、およびIDから、該IDの照合信頼度を算出する。そして、算出した照合信頼度をそのIDとともに照合結果決定部107へ送信する。この照合信頼度は、ID毎に、類似度の加重平均を適用度の重み付けによってとることにより算出する。図5を用いて説明する。図5は、ID毎の類似度と適用度の例、および照合信頼度を示す説明図である。図5では、IDが「A」の基準顔画像がA1、A2、A3の3つあり、それぞれの類似度が0.8、0.6、0.9、適用度が0.8、0.7、0.5であることを示している。また、IDが「B」の基準顔画像がB1、B2、B3の3つあり、それぞれの類似度が0.6、0.2、0.1、適用度が0.6、0.5、0.5であることを示している。
この場合にID「A」の照合信頼度は、類似度を適用度で重み付けした加重平均をとるので、“照合信頼度=0.8×8/20+0.6×7/20+0.9×5/20=0.76”となる。また、ID「B」の照合信頼度は、“照合信頼度=0.6×6/16+0.2×5/16+0.1×5/16=0.32”となる。
照合結果決定部107は、照合信頼度算出部106から取得した照合信頼度およびIDから、照合信頼度が最も高いIDを決定し、該IDと照合信頼度とを結果出力部108へ送信する。
結果出力部108は、照合結果決定部107から取得したIDを照合結果として、照合信頼度とともに出力処理部18へ送信する。
次に、登録処理部17について図6を用いて説明する。図6は、本実施の形態に係る登録処理部17の構成を示すブロック図である。図6に示すように、登録処理部17は、基準顔画像取得部110、年齢・生年算出部111、特徴量抽出部112、類似度算出部113、登録部(画像登録手段)114、および追加画像推奨部(必要年齢出力手段)115を含む構成である。そして、登録処理部17は、画像を照合するときに利用する基準となる画像を基準画像データベース121に登録するものである。
基準顔画像取得部110は、基準顔画像となる画像データ、および該画像データに写っている人物を示すIDを取得し、年齢・生年算出部111と特徴量抽出部112へ送信するものである。なお、画像データには、画像を示すデータおよび該画像の撮影日時を示すデータが含まれている。この画像データは、画像データベース123から取得してもよいし、外部機器接続部12を介して接続されている外部機器から取得してもよい。また、IDは、ユーザが操作部13を用いて入力することによって、基準顔画像取得部110は取得することができる。
年齢・生年算出部111は、基準顔画像取得部110から取得した画像データ(基準顔画像)から画像に写っている人物(対象者)の撮影時の年齢および生年を算出するものである。そして算出した年齢および生年を登録部114へ送信する。年齢および生年の算出は、撮影日時および生年月日から撮影時の年齢を算出し、撮影日時および撮影時の年齢から生年を算出する。対象者の生年月日は、同じIDの基準顔画像が基準画像データベース121に記憶されていれば、その画像データから取得してもよいし、新規の登録であればユーザの入力により取得してもよい。
特徴量抽出部112は、基準顔画像取得部110から取得した画像データの特徴量を抽出し、特徴量を示す特徴量データをIDとともに類似度算出部113へ送信する。
類似度算出部113は、特徴量抽出部112から取得した特徴量データと、取得したIDと同じIDの基準画像データベース121に記憶されているの基準顔画像の特徴量データとから類似度を算出する。そして、算出した類似度を示す類似度データをIDとともに登録部114へ送信する。
登録部114は、類似度算出部113から取得した類似度が年齢差に対して大きすぎ、または小さすぎないかを判断する。そして、所定の範囲内に類似度があれば、取得した画像データを特徴量、ID、撮影日時、年齢・生年算出部111から取得した年齢、生年とともに、基準顔画像として基準画像データベース121へ登録する。そして、IDとともに、登録が完了した旨を示すデータを追加画像推奨部115へ送信する。
追加画像推奨部115は、登録部114からIDおよび登録が完了した旨を示すデータを取得すると、基準画像データベース121に記憶されている該IDの基準顔画像が、どのような年齢の該IDの人物が写った画像が撮影画像として照合の対象となったとしても、所定の値を超える適用度の基準顔画像が選択できるかどうかを判断する。そして、選択できないと判断した場合、どのような年齢の該IDの人物が写った画像が撮影画像として照合の対象となったとしても、所定の値を超える適用度の基準顔画像が選択できるために必要な年齢を示す情報を出力処理部18へ送信する。
例えば、ID「A」の基準顔画像として、0、3、12歳のときの画像が基準画像データベース121に登録されている状態を考える。このときに、9歳のときの画像が新たに登録された場合に、どのような年齢の「A」の画像が撮影画像として照合の対象となったとしても、所定の値を超える適用度の基準顔画像を選択することができるためには、6歳のときの「A」の画像が必要だったとき、追加画像推奨部115は、「A」の画像のうち、6歳のものが必要であるという情報を出力処理部18へ送信する。
出力処理部18は、結果出力部108または追加画像推奨部115から取得した情報に基づいて表示部11に結果を表示させる。すなわち、結果出力部108から閾値以上の照合信頼度のIDを取得した場合は、該IDを照合の結果として表示部11に表示させる。また、閾値未満の照合信頼度のIDを取得した場合は、信頼の程度が低い旨を示す表示とともに該IDを照合の結果として表示部11に表示させる。
なお、信頼の程度が低い場合に、ユーザに対し照合の結果が正しいか否かを確認し、ユーザから正しいとの操作を受け付けると、このときの撮影画像を該IDの基準顔画像として基準画像データベース121に登録を促すものであってもよい。
また、追加画像推奨部115から必要な基準時年齢を示す情報を取得すると、該年齢の画像の登録を促す表示を表示部11で行わせる。
次に、画像の照合を行う処理の流れについて図7を用いて説明する。図7は、顔照合装置1で画像の照合を行うときの処理の流れを示すフローチャートである。まず、対象画像取得部101は照合の対象となる対象者の画像(撮影画像)の画像データ(撮影画像データ)を取得すると、基準画像データベース121に基準顔画像が登録されているか否かを判断する(S701)。
そして、基準画像データベース121に基準顔画像が登録されていなければ(S701でNO)、照合処理を終了する。一方、基準画像データベース121に基準顔画像が登録されていれば(S701でYES)、特徴量抽出部103は、対象画像取得部101から取得した撮影画像の特徴量の抽出を試みる(S702)。
そして、特徴量を抽出できなければ(S702でNO)、照合処理を終了する。一方、特徴量を抽出することができれば(S702でYES)、適用度算出部102は、基準画像データベース121に記憶されている基準顔画像の適用度を、適用度係数テーブル記憶部122に記憶されている適用度の係数テーブルを用いて算出する(S703)。
次に、照合利用画像選択部104は、適用度算出部102が算出した適用度が所定の値を超える基準顔画像を、照合に利用する基準顔画像として選択する(S704)。次に、類似度算出部105は、照合利用画像選択部104が選択した基準顔画像と撮影画像との類似度を算出する(S705)。
そして、S703からS705までを、同一IDの各基準顔画像に対して行う。
次に、照合信頼度算出部106は、適用度と類似度を用いて照合信頼度を算出する(S706)。
そして、S703からS706までの処理を基準画像データベース121に記憶されている基準顔画像の全てのIDについて行う(S707)。そして、全てのIDについて、S703からS706までの処理が終了すると(S707でYES)、照合結果決定部107は、照合信頼度が最も高い基準顔画像のIDを照合結果として決定する(S708)。そして、結果出力部108は、決定した照合結果を照合結果として出力する(S709)。以上で、照合処理の流れは終了する。
なお、S704で、照合利用画像選択部104が、照合に利用する基準顔画像を選択するときに、適用度が所定の値を超える基準顔画像が存在しない場合、適用度が所定の値を超える基準顔画像が存在しない旨を示す警告を報知するものであってもよい。
また、S709で決定したIDの基準顔画像の照合信頼度が所定の値を超えない場合、かつ、基準画像データベース121に、撮影画像に写っている人物(対象人物)の年齢と同程度の年齢の人物(基準人物)が写っている基準顔画像が存在しない場合、該撮影画像を基準顔画像として登録するようにユーザに対し報知し、ユーザの操作により該撮影画像を基準顔画像として登録するものであってもよい。
また、上記S704で、適用度が所定の値を超える基準顔画像が存在しなかった場合に、適用度が所定の値以下の基準顔画像を用いて照合を行い、その結果の正否をユーザに問い合わせ、ユーザから正しいと指示を受け付けると、撮影画像を対象者の基準顔画像として登録するものであってもよい。
より具体的には、上記S704で、適用度が所定の値を超える基準顔画像が存在しなかった場合、照合利用画像選択部104は、適用度が所定の値以下の基準顔画像を照合に利用する基準顔画像として選択する。そして、選択された基準顔画像を用いて上記S705
〜S708の処理を行い、S709で結果を出力するときに、結果出力部108は、照合結果が正しいか否かを問い合わせる出力を行う。そして、結果出力部108が、照合結果は正しいとの入力を受け付けると、登録部114は、対象者の画像(撮影画像)を該対象者の基準顔画像として、基準画像データベース121へ登録する。
次に、基準顔画像を登録する処理の流れについて図8を用いて説明する。図8は、基準顔画像を基準画像データベース121へ登録する処理の流れを示すフローチャートである。
まず、基準顔画像取得部110が基準顔画像を取得すると、特徴量抽出部112は、基準顔画像取得部110が取得した基準顔画像の特徴量を抽出を試みる(S801)。そして、特徴量が抽出できなければ(S801でNO)、基準顔画像の登録処理を終了する。一方、特徴量の抽出ができれば(S801でYES)、登録処理部17は、基準顔画像のIDが既に、基準画像データベース121に登録されているものか否かを判断する(S802)。そして、基準画像データベース121に登録されていないIDであれば(S802でYES)、登録処理部17は、生年月日入力画面を表示させ(S803)、ユーザから、該IDが示す人物の生年月日の入力を受け付ける(S804)。
そして、生年月日の入力が終了すると、新たな基準顔画像を登録する(S810)。
一方、基準顔画像のIDが、既に基準画像データベース121に登録されているものであれば(S802でNO)、年齢・生年算出部111は、登録済みの生年月日と取得した顔画像データに含まれる撮影日時とに基づいて、基準顔画像に写っている人物(対象者)の年齢を算出する(S805)。なお、撮影画像が、リアルタイムで今、撮影したものであれば、装置の管理する現在時刻データから撮影日時を判断してもよい。そして、類似度算出部113は、新たに登録しようとしている基準顔画像と、基準画像データベース121に既に登録されている同じIDの基準顔画像との類似度を算出する(S806)。そして、登録部114は、類似度算出部113が算出した類似度と、類似度を算出した画像に写っているときの年齢差とから類似度が不正か否かを判断する(S807)。
ここで、類似度が不正か否かというのは、年齢差と類似度との関係から判断する。すなわち、年齢差が大きい場合に、類似度が小さいということは考えられることなので、類似度は不正ではないと考えられる。一方、年齢差が小さいにもかかわらず、類似度が小さいということは、通常考えられず、類似度は不正となる。また、年齢差が小さく、かつ類似度が所定の値よりも大きい場合も類似度は不正と判断する。なぜなら、近い年齢のよく似た画像を複数登録することよる利点は少ないと考えられるからである。
そして、登録部114が、類似度が不正の画像であると判断すると(S807でYES)、登録部114は、既存の基準顔画像を保持するか、新たな基準顔画像を登録するかの判断を求める(S808)。そして、既存の基準顔画像を保持するのであれば(S808でYES)、登録処理を終了する。一方、既存の基準顔画像を保持しないのであれば(S808でNO)、登録処理部17は、基準画像データベース121に登録されている基準顔画像を削除する(S809)。そして、新たな基準顔画像を登録する(S810)。
また、類似度が不正でなければ(S807でNO)、新たな基準顔画像を登録する(S810)。
新たな基準顔画像の登録が終了すると、追加画像推奨部115は、基準画像データベース121に登録されている、新たに登録した基準顔画像のIDと同じIDの基準顔画像が、どのような年齢の撮影画像に対しても閾値を超える適用度の基準顔画像として選択できるものか否かを判断する。そして、どのような年齢の撮影画像に対しても閾値を超える適用度の基準顔画像として選択できるためには、さらに別の年齢の該IDの人物が写った基準顔画像が必要と判断した場合には、必要な年齢の該IDの人物が写った基準顔画像を登録するように、ユーザに対し報知する(S811)。
以上で、基準顔画像を登録する処理の流れが終了する。
なお、上述した実施の形態では、適用度が閾値を超える基準顔画像を照合に利用する基準顔画像として選択したが、適用度を閾値とせずに全ての基準顔画像を照合に利用する基準顔画像として選択する構成であってもよい。
そして、照合信頼度が、閾値より低い場合は、信頼度が低い旨をユーザに報知する構成であってもよい。また、照合信頼度が、閾値よりも低いにもかかわらず出力した結果が正しいものであるとユーザが判断した場合、この照合に用いた撮影画像を基準顔画像とした新たに登録するものであってもよい。
なお、本発明は以下の構成であってもよい。すなわち、対象となる顔画像である対象顔画像を、登録者の基準の顔画像である基準顔画像と照合し、照合結果を出力する顔照合装置であって、上記対象顔画像の撮影時点である対象時点における上記登録者の年齢である対象時年齢および該対象時年齢を算出可能な情報の何れかである対象時年齢関連情報と、複数の上記基準顔画像それぞれに関して、撮影時点である基準時点における上記登録者の年齢である基準時年齢および該基準時年齢を算出可能な情報の何れかである基準時年齢関連情報との和集合を取得する取得手段と、該取得手段が取得した和集合からの上記対象時年齢関連情報および上記基準時年齢関連情報を用いて、上記照合に利用する上記基準顔画像を選択する選択手段を備えていることを特徴とする顔照合装置。
複数の上記基準顔画像の基準時点と、上記登録者の生誕時点とを記憶している記憶部を備えており、上記対象時年齢関連情報は、上記対象時点と、上記登録者の生誕時点とを含むものであり、上記基準時年齢関連情報は、上記基準顔画像の基準時点と、上記登録者の生誕時点とを含む顔照合装置。
複数の上記基準顔画像の基準時年齢と上記登録者の生誕時点とを記憶している記憶部を備えており、上記対象時年齢関連情報は、上記対象時点と、上記登録者の生誕時点とを含むものであり、上記基準時年齢関連情報は、上記基準顔画像の基準時年齢である顔照合装置。
複数の上記基準顔画像の基準時点および基準時年齢を記憶している記憶部を備えており、上記対象時年齢関連情報は、上記対象時点と、上記基準顔画像の基準時点および基準時年齢とを含むものであり、上記基準時年齢関連情報は、上記基準顔画像の基準時年齢である顔照合装置。
また、上述したように、本発明に係る顔照合装置では、基準顔画像の撮影時点と登録者の生誕時点とから該登録者の基準顔画像における年齢である基準時年齢を算出し、算出した基準時年齢を上記記憶部に記憶させる年齢・生年算出部111を備えている。
上記の構成によれば、年齢・生年算出部111が、基準顔画像の撮影年月日と登録者の生年月日とから登録者の基準時年齢を算出し、記憶部に記憶させる。これにより、ユーザが手動で基準時年齢を入力するという作業を省略することができる。
本発明は上述した実施の形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能である。すなわち、請求項に示した範囲で適宜変更した技術的手段を組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。
最後に、顔照合装置1の各ブロック、特に制御部10の照合部16、登録処理部17、出力処理部18、照合部16の対象画像取得部101、適用度算出部102、特徴量抽出部103、照合利用画像選択部104、類似度算出部105、照合信頼度算出部106、照合結果決定部107、結果出力部108、登録処理部17の基準顔画像取得部110、年齢・生年算出部111、特徴量抽出部112、類似度算出部113、登録部114、および追加画像推奨部115は、ハードウェアロジックによって構成してもよいし、次のようにCPU(central processing unit)を用いてソフトウェアによって実現してもよい。
すなわち、顔照合装置1は、各機能を実現する制御プログラムの命令を実行するCPU、上記プログラムを格納したROM(read only memory)、上記プログラムを展開するRAM(random access memory)、上記プログラムおよび各種データを格納するメモリ等の記憶装置(記録媒体)などを備えている。そして、本発明の目的は、上述した機能を実現するソフトウェアである顔照合装置1の制御プログラムのプログラムコード(実行形式プログラム、中間コードプログラム、ソースプログラム)をコンピュータで読み取り可能に記録した記録媒体を、上記顔照合装置1に供給し、そのコンピュータ(またはCPUやMPU(microprocessor unit))が記録媒体に記録されているプログラムコードを読み出し実行することによっても、達成可能である。
上記記録媒体としては、例えば、磁気テープやカセットテープ等のテープ系、フロッピー(登録商標)ディスク/ハードディスク等の磁気ディスクやCD−ROM(compact disc read-only memory)/MO(magneto-optical)/MD(Mini Disc)/DVD(digital versatile disk)/CD−R(CD Recordable)等の光ディスクを含むディスク系、ICカード(メモリカードを含む)/光カード等のカード系、あるいはマスクROM/EPROM(erasable programmable read-only memory)/EEPROM(electrically erasable and programmable read-only memory)/フラッシュROM等の半導体メモリ系などを用いることができる。
また、顔照合装置1を通信ネットワークと接続可能に構成し、上記プログラムコードを通信ネットワークを介して供給してもよい。この通信ネットワークとしては、特に限定されず、例えば、インターネット、イントラネット、エキストラネット、LAN(local area network)、ISDN(integrated services digital network)、VAN(value-added network)、CATV(community antenna television)通信網、仮想専用網(virtual private network)、電話回線網、移動体通信網、衛星通信網等が利用可能である。また、通信ネットワークを構成する伝送媒体としては、特に限定されず、例えば、IEEE(institute of electrical and electronic engineers)1394、USB、電力線搬送、ケーブルTV回線、電話線、ADSL(asynchronous digital subscriber loop)回線等の有線でも、IrDA(infrared data association)やリモコンのような赤外線、Bluetooth(登録商標)、802.11無線、HDR(high data rate)、携帯電話網、衛星回線、地上波デジタル網等の無線でも利用可能である。なお、本発明は、上記プログラムコードが電子的な伝送で具現化された、搬送波に埋め込まれたコンピュータデータ信号の形態でも実現され得る。
様々な年齢のときの顔画像であっても、それぞれの年齢に近い顔画像を用いて、正確に照合して人物を判断することができるので、様々な年齢の人物が写った多数の顔画像から特定の人物が写った顔画像を分類、照合する装置に好適である。
1 顔照合装置(電子機器)
10 制御部
11 表示部(報知手段)
12 外部機器接続部
13 操作部
14 記憶部
16 検索部
17 登録処理部
18 出力処理部
101 対象画像取得部(取得手段)
102 適用度算出部(適用度算出手段、対象時年齢算出手段)
103 特徴量抽出部
104 照合利用画像選択部(選択手段)
105 類似度算出部
106 照合信頼度算出部(加重照合結果算出手段)
107 照合結果決定部
108 結果出力部(問い合わせ手段)
110 基準顔画像取得部
111 年齢・生年算出部
112 特徴量抽出部
113 類似度算出部
114 登録部(画像登録手段)
115 追加画像推奨部(必要年齢出力手段)
121 基準画像データベース
122 適用度係数テーブル記憶部
123 画像データベース

Claims (13)

  1. 撮影画像に含まれる照合対象となる対象顔画像を、基準画像データベースに登録された基準の顔画像である基準顔画像と照合する顔照合装置であって、
    上記基準画像データベースには、各登録者に対して複数の基準顔画像を記憶することが可能であり、さらに、上記の各基準顔画像に対して該基準顔画像の撮影時点である基準顔画像撮影時点と、該撮影時点における登録者の年齢である基準時年齢とを記憶することが可能であり、
    上記対象顔画像の撮影時点である対象顔画像撮影時点を取得する取得手段と、
    上記取得手段が取得した対象顔画像撮影時点と、上記基準画像データベースに記憶された基準顔画像撮影時点とに基づいて、上記照合に利用する上記基準顔画像を選択する選択手段と、
    上記登録者の年齢と対応付けられた係数であって、該年齢が0歳のときに最大値となり、該年齢が上がっていくにつれて小さくなるとともに、該年齢が下がるほど変化率が大きい係数を記憶している係数記憶部と、
    上記取得手段が取得した対象顔画像撮影時点と、上記基準画像データベースに記憶された基準顔画像撮影時点および基準時年齢とに基づいて、上記対象顔画像の撮影時点における上記登録者の年齢である対象時年齢を算出する対象時年齢算出手段と、
    上記基準顔画像を上記撮影画像に含まれる対象顔画像との照合にどの程度適用できるかを示す適用度を、上記取得手段が取得した対象顔画像撮影時点と上記基準画像データベースに記憶された基準顔画像撮影時点との差に、上記対象時年齢算出手段が算出した対象時年齢に対応する上記係数記憶部に記憶された係数を乗じ、その逆数を求めることによって算出する適用度算出手段と、を備え、
    上記選択手段は、上記適用度算出手段が算出した適用度が所定の閾値を超える基準顔画像を選択することを特徴とする顔照合装置。
  2. 撮影画像に含まれる照合対象となる対象顔画像を、基準画像データベースに登録された基準の顔画像である基準顔画像と照合する顔照合装置であって、
    上記基準画像データベースには、各登録者に対して複数の基準顔画像を記憶することが可能であり、さらに、上記の各基準顔画像に対して該基準顔画像の撮影時点である基準顔画像撮影時点と、各登録者の生誕時点とを記憶することが可能であり、
    上記対象顔画像の撮影時点である対象顔画像撮影時点を取得する取得手段と、
    上記取得手段が取得した対象顔画像撮影時点と、上記基準画像データベースに記憶された基準顔画像撮影時点とに基づいて、上記照合に利用する上記基準顔画像を選択する選択手段と、
    上記登録者の年齢と対応付けられた係数であって、該年齢が0歳のときに最大値となり、該年齢が上がっていくにつれて小さくなるとともに、該年齢が下がるほど変化率が大きい係数を記憶している係数記憶部と、
    上記取得手段が取得した対象顔画像撮影時点と、上記基準画像データベースに記憶された生誕時点とに基づいて、上記対象顔画像の撮影時点における上記登録者の年齢である対象時年齢を算出する対象時年齢算出手段と、
    上記基準顔画像を上記撮影画像に含まれる対象顔画像との照合にどの程度適用できるかを示す適用度を、上記取得手段が取得した対象顔画像撮影時点と上記基準画像データベースに記憶された基準顔画像撮影時点との差に、上記対象時年齢算出手段が算出した対象時年齢に対応する上記係数記憶部に記憶された係数を乗じ、その逆数を求めることによって算出する適用度算出手段と、を備え、
    上記選択手段は、上記適用度算出手段が算出した適用度が所定の閾値を超える基準顔画像を選択することを特徴とする顔照合装置。
  3. 撮影画像に含まれる照合対象となる対象顔画像を、基準画像データベースに登録された基準の顔画像である基準顔画像と照合する顔照合装置であって、
    上記基準画像データベースには、各登録者に対して複数の基準顔画像を記憶することが可能であり、さらに、上記各登録者の生誕時点、および各基準顔画像の撮影時点における登録者の年齢である基準時年齢を記憶することが可能であり、
    上記対象顔画像の撮影時点である対象顔画像撮影時点を取得する取得手段と、
    上記取得手段が取得した対象顔画像撮影時点と、上記基準画像データベースに記憶された生誕時点および基準時年齢とに基づいて、上記照合に利用する上記基準顔画像を選択する選択手段と、
    上記登録者の年齢と対応付けられた係数であって、該年齢が0歳のときに最大値となり、該年齢が上がっていくにつれて小さくなるとともに、該年齢が下がるほど変化率が大きい係数を記憶している係数記憶部と、
    上記取得手段が取得した対象顔画像撮影時点と、上記基準画像データベースに記憶された生誕時点とに基づいて、上記対象顔画像の撮影時点における上記登録者の年齢である対象時年齢を算出する対象時年齢算出手段と、
    上記基準顔画像を上記撮影画像に含まれる対象顔画像との照合にどの程度適用できるかを示す適用度を、上記対象時年齢算出手段が算出した対象時年齢と上記基準画像データベースに記憶された基準時年齢との差に、上記対象時年齢算出手段が算出した対象時年齢に対応する上記係数記憶部に記憶された係数を乗じ、その逆数を求めることによって算出する適用度算出手段と、を備え、
    上記選択手段は、上記適用度算出手段が算出した適用度が所定の閾値を超える基準顔画像を選択することを特徴とする顔照合装置。
  4. 上記選択手段が選択した基準顔画像と上記対象顔画像との照合の結果である類似度に対し、上記基準顔画像の適用度で重み付けした加重照合結果を算出する加重照合結果算出手段を備えていることを特徴とする請求項1〜3のいずれか1項に記載の顔照合装置。
  5. 上記基準画像データベースに記憶されている基準顔画像の基準時年齢から、閾値以上の適用度となる対象時年齢の範囲を算出し、算出した対象時年齢の範囲に含まれない年齢を対象時年齢とした場合に、上記閾値以上の適用度となる基準時年齢の範囲を算出し、算出した基準撮影時年齢の範囲を出力する必要年齢出力手段を備えていることを特徴とする請求項1に記載の顔照合装置。
  6. 上記選択手段は、上記適用度算出手段が算出した適用度が閾値を超える基準顔画像が存在しない場合、閾値を下回る基準顔画像を選択しており、
    照合結果の正否を問い合わせる問い合わせ手段と、
    上記問い合わせ手段が正しいと受け付けると、当該対象顔画像を上記基準顔画像として登録する画像登録手段とを備えていることを特徴とする請求項1〜5のいずれか1項に記載の顔照合装置。
  7. 請求項1〜6のいずれか1項に記載の顔照合装置を備えた電子機器であって、
    上記対象顔画像に対し、上記適用度が閾値を超える基準顔画像が無い場合に、ユーザに対し報知を行う報知手段を備えていることを特徴とする電子機器。
  8. 撮影画像に含まれる照合対象となる対象顔画像を、基準画像データベースに登録された基準の顔画像である基準顔画像と照合する顔照合装置の制御方法であって、
    上記基準画像データベースには、各登録者に対して複数の基準顔画像を記憶することが可能であり、さらに、上記の各基準顔画像に対して該基準顔画像の撮影時点である基準顔画像撮影時点と、該撮影時点における登録者の年齢である基準時年齢とを記憶することが可能であり、
    上記顔照合装置には、上記登録者の年齢と対応付けられた係数であって、該年齢が0歳のときに最大値となり、該年齢が上がっていくにつれて小さくなるとともに、該年齢が下がるほど変化率が大きい係数を記憶している係数記憶部が備えられており、
    上記対象顔画像の撮影時点である対象顔画像撮影時点を取得する取得ステップと、
    上記取得ステップで取得した対象顔画像撮影時点と、上記基準画像データベースに記憶された基準顔画像撮影時点および基準時年齢とに基づいて、上記対象顔画像の撮影時点における上記登録者の年齢である対象時年齢を算出する対象時年齢算出ステップと、
    上記基準顔画像を上記撮影画像に含まれる対象顔画像との照合にどの程度適用できるかを示す適用度を、上記取得ステップで取得した対象顔画像撮影時点と上記基準画像データベースに記憶された基準顔画像撮影時点との差に、上記対象時年齢算出ステップで算出した対象時年齢に対応する上記係数記憶部に記憶された係数を乗じ、その逆数を求めることによって算出する適用度算出ステップと、
    上記取得ステップで取得した対象顔画像撮影時点と、上記基準画像データベースに記憶された基準顔画像撮影時点とに基づいて、上記照合に利用する上記基準顔画像を選択するものであって、上記適用度算出ステップで算出した適用度が所定の閾値を超える基準顔画像を選択する選択ステップと、を含むことを特徴とする顔照合装置の制御方法。
  9. 撮影画像に含まれる照合対象となる対象顔画像を、基準画像データベースに登録された基準の顔画像である基準顔画像と照合する顔照合装置の制御方法であって、
    上記基準画像データベースには、各登録者に対して複数の基準顔画像を記憶することが可能であり、さらに、上記の各基準顔画像に対して該基準顔画像の撮影時点である基準顔画像撮影時点と、各登録者の生誕時点とを記憶することが可能であり、
    上記顔照合装置には、上記登録者の年齢と対応付けられた係数であって、該年齢が0歳のときに最大値となり、該年齢が上がっていくにつれて小さくなるとともに、該年齢が下がるほど変化率が大きい係数を記憶している係数記憶部が備えられており、
    上記対象顔画像の撮影時点である対象顔画像撮影時点を取得する取得ステップと、
    上記取得ステップで取得した対象顔画像撮影時点と、上記基準画像データベースに記憶された生誕時点とに基づいて、上記対象顔画像の撮影時点における上記登録者の年齢である対象時年齢を算出する対象時年齢算出ステップと、
    上記基準顔画像を上記撮影画像に含まれる対象顔画像との照合にどの程度適用できるかを示す適用度を、上記取得ステップで取得した対象顔画像撮影時点と上記基準画像データベースに記憶された基準顔画像撮影時点との差に、上記対象時年齢算出ステップで算出した対象時年齢に対応する上記係数記憶部に記憶された係数を乗じ、その逆数を求めることによって算出する適用度算出ステップと、
    上記取得ステップで取得した対象顔画像撮影時点と、上記基準画像データベースに記憶された基準顔画像撮影時点とに基づいて、上記照合に利用する上記基準顔画像を選択するものであって、上記適用度算出ステップで算出した適用度が所定の閾値を超える基準顔画像を選択する選択ステップと、を含むことを特徴とする顔照合装置の制御方法。
  10. 撮影画像に含まれる照合対象となる対象顔画像を、基準画像データベースに登録された基準の顔画像である基準顔画像と照合する顔照合装置の制御方法であって、
    上記基準画像データベースには、各登録者に対して複数の基準顔画像を記憶することが可能であり、さらに、上記各登録者の生誕時点、および各基準顔画像の撮影時点における登録者の年齢である基準時年齢を記憶することが可能であり、
    上記顔照合装置には、上記登録者の年齢と対応付けられた係数であって、該年齢が0歳のときに最大値となり、該年齢が上がっていくにつれて小さくなるとともに、該年齢が下がるほど変化率が大きい係数を記憶している係数記憶部が備えられており、
    上記対象顔画像の撮影時点である対象顔画像撮影時点を取得する取得ステップと、
    上記取得ステップで取得した対象顔画像撮影時点と、上記基準画像データベースに記憶された生誕時点とに基づいて、上記対象顔画像の撮影時点における上記登録者の年齢である対象時年齢を算出する対象時年齢算出ステップと、
    上記基準顔画像を上記撮影画像に含まれる対象顔画像との照合にどの程度適用できるかを示す適用度を、上記対象時年齢算出ステップで算出した対象時年齢と上記基準画像データベースに記憶された基準時年齢との差に、上記対象時年齢算出ステップで算出した対象時年齢に対応する上記係数記憶部に記憶された係数を乗じ、その逆数を求めることによって算出する適用度算出ステップと、
    上記取得ステップで取得した対象顔画像撮影時点と、上記基準画像データベースに記憶された生誕時点および基準時年齢とに基づいて、上記照合に利用する上記基準顔画像を選択するものであって、上記適用度算出ステップで算出した適用度が所定の閾値を超える基準顔画像を選択する選択ステップと、を含むことを特徴とする顔照合装置の制御方法。
  11. 撮影画像に含まれる照合対象となる対象顔画像を、基準画像データベースに登録された基準の顔画像である基準顔画像と照合する顔照合装置制御プログラムであって、
    上記基準画像データベースには、各登録者に対して複数の基準顔画像を記憶することが可能であり、さらに、上記の各基準顔画像に対して該基準顔画像の撮影時点である基準顔画像撮影時点と、該撮影時点における登録者の年齢である基準時年齢とを記憶することが可能であり、
    上記顔照合装置には、上記登録者の年齢と対応付けられた係数であって、該年齢が0歳のときに最大値となり、該年齢が上がっていくにつれて小さくなるとともに、該年齢が下がるほど変化率が大きい係数を記憶している係数記憶部が備えられており、
    上記対象顔画像の撮影時点である対象顔画像撮影時点を取得する取得ステップと、
    上記取得ステップで取得した対象顔画像撮影時点と、上記基準画像データベースに記憶された基準顔画像撮影時点および基準時年齢とに基づいて、上記対象顔画像の撮影時点における上記登録者の年齢である対象時年齢を算出する対象時年齢算出ステップと、
    上記基準顔画像を上記撮影画像に含まれる対象顔画像との照合にどの程度適用できるかを示す適用度を、上記取得ステップで取得した対象顔画像撮影時点と上記基準画像データベースに記憶された基準顔画像撮影時点との差に、上記対象時年齢算出ステップで算出した対象時年齢に対応する上記係数記憶部に記憶された係数を乗じ、その逆数を求めることによって算出する適用度算出ステップと、
    上記取得ステップで取得した対象顔画像撮影時点と、上記基準画像データベースに記憶された基準顔画像撮影時点とに基づいて、上記照合に利用する上記基準顔画像を選択するものであって、上記適用度算出ステップで算出した適用度が所定の閾値を超える基準顔画像を選択する選択ステップと、をコンピュータに実行させるための顔照合装置制御プログラム。
  12. 撮影画像に含まれる照合対象となる対象顔画像を、基準画像データベースに登録された基準の顔画像である基準顔画像と照合する顔照合装置制御プログラムであって、
    上記基準画像データベースには、各登録者に対して複数の基準顔画像を記憶することが可能であり、さらに、上記の各基準顔画像に対して該基準顔画像の撮影時点である基準顔画像撮影時点と、各登録者の生誕時点とを記憶することが可能であり、
    上記顔照合装置には、上記登録者の年齢と対応付けられた係数であって、該年齢が0歳のときに最大値となり、該年齢が上がっていくにつれて小さくなるとともに、該年齢が下がるほど変化率が大きい係数を記憶している係数記憶部が備えられており、
    上記対象顔画像の撮影時点である対象顔画像撮影時点を取得する取得ステップと、
    上記取得ステップで取得した対象顔画像撮影時点と、上記基準画像データベースに記憶された生誕時点とに基づいて、上記対象顔画像の撮影時点における上記登録者の年齢である対象時年齢を算出する対象時年齢算出ステップと、
    上記基準顔画像を上記撮影画像に含まれる対象顔画像との照合にどの程度適用できるかを示す適用度を、上記取得ステップで取得した対象顔画像撮影時点と上記基準画像データベースに記憶された基準顔画像撮影時点との差に、上記対象時年齢算出ステップで算出した対象時年齢に対応する上記係数記憶部に記憶された係数を乗じ、その逆数を求めることによって算出する適用度算出ステップと、
    上記取得ステップで取得した対象顔画像撮影時点と、上記基準画像データベースに記憶された基準顔画像撮影時点とに基づいて、上記照合に利用する上記基準顔画像を選択するものであって、上記適用度算出ステップで算出した適用度が所定の閾値を超える基準顔画像を選択する選択ステップと、をコンピュータに実行させるための顔照合装置制御プログラム。
  13. 撮影画像に含まれる照合対象となる対象顔画像を、基準画像データベースに登録された基準の顔画像である基準顔画像と照合する顔照合装置制御プログラムであって、
    上記基準画像データベースには、各登録者に対して複数の基準顔画像を記憶することが可能であり、さらに、上記各登録者の生誕時点、および各基準顔画像の撮影時点における登録者の年齢である基準時年齢を記憶することが可能であり、
    上記顔照合装置には、上記登録者の年齢と対応付けられた係数であって、該年齢が0歳のときに最大値となり、該年齢が上がっていくにつれて小さくなるとともに、該年齢が下がるほど変化率が大きい係数を記憶している係数記憶部が備えられており、
    上記対象顔画像の撮影時点である対象顔画像撮影時点を取得する取得ステップと、
    上記取得ステップで取得した対象顔画像撮影時点と、上記基準画像データベースに記憶された生誕時点とに基づいて、上記対象顔画像の撮影時点における上記登録者の年齢である対象時年齢を算出する対象時年齢算出ステップと、
    上記基準顔画像を上記撮影画像に含まれる対象顔画像との照合にどの程度適用できるかを示す適用度を、上記対象時年齢算出ステップで算出した対象時年齢と上記基準画像データベースに記憶された基準時年齢との差に、上記対象時年齢算出ステップで算出した対象時年齢に対応する上記係数記憶部に記憶された係数を乗じ、その逆数を求めることによって算出する適用度算出ステップと、
    上記取得ステップで取得した対象顔画像撮影時点と、上記基準画像データベースに記憶された生誕時点および基準時年齢とに基づいて、上記照合に利用する上記基準顔画像を選択するものであって、上記適用度算出ステップで算出した適用度が所定の閾値を超える基準顔画像を選択する選択ステップと、をコンピュータに実行させるための顔照合装置制御プログラム。
JP2009062039A 2009-03-13 2009-03-13 顔照合装置、電子機器、顔照合装置の制御方法、および顔照合装置制御プログラム Active JP4636190B2 (ja)

Priority Applications (6)

Application Number Priority Date Filing Date Title
JP2009062039A JP4636190B2 (ja) 2009-03-13 2009-03-13 顔照合装置、電子機器、顔照合装置の制御方法、および顔照合装置制御プログラム
EP10750494.6A EP2407929B1 (en) 2009-03-13 2010-02-22 Face collation device, electronic appliance, method of controlling face collation device, and control program of face collation device
US13/059,381 US8396264B2 (en) 2009-03-13 2010-02-22 Face matching device, electronic device, face matching device control method, and face matching device control program
CN2010800023253A CN102124492B (zh) 2009-03-13 2010-02-22 脸部对照装置、电子设备、脸部对照装置的控制方法,以及脸部对照装置控制程序
PCT/JP2010/001133 WO2010103735A1 (ja) 2009-03-13 2010-02-22 顔照合装置、電子機器、顔照合装置の制御方法、および顔照合装置制御プログラム
KR1020117003462A KR101168546B1 (ko) 2009-03-13 2010-02-22 얼굴 대조 장치, 전자 기기, 얼굴 대조 장치의 제어 방법 및 얼굴 대조 장치 제어 프로그램

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2009062039A JP4636190B2 (ja) 2009-03-13 2009-03-13 顔照合装置、電子機器、顔照合装置の制御方法、および顔照合装置制御プログラム

Publications (2)

Publication Number Publication Date
JP2010218059A JP2010218059A (ja) 2010-09-30
JP4636190B2 true JP4636190B2 (ja) 2011-02-23

Family

ID=42728034

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009062039A Active JP4636190B2 (ja) 2009-03-13 2009-03-13 顔照合装置、電子機器、顔照合装置の制御方法、および顔照合装置制御プログラム

Country Status (6)

Country Link
US (1) US8396264B2 (ja)
EP (1) EP2407929B1 (ja)
JP (1) JP4636190B2 (ja)
KR (1) KR101168546B1 (ja)
CN (1) CN102124492B (ja)
WO (1) WO2010103735A1 (ja)

Families Citing this family (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5753966B2 (ja) * 2010-08-05 2015-07-22 パナソニックIpマネジメント株式会社 顔画像登録装置および方法
JP5618295B2 (ja) * 2010-10-13 2014-11-05 株式会社日立情報通信エンジニアリング 認証システム及び認証の信頼度の判定方法
EP2633474A4 (en) * 2010-10-28 2017-03-22 Telefonaktiebolaget LM Ericsson (publ) A face data acquirer, end user video conference device, server, method, computer program and computer program product for extracting face data
JP5649425B2 (ja) * 2010-12-06 2015-01-07 株式会社東芝 映像検索装置
JP4893855B1 (ja) * 2010-12-21 2012-03-07 オムロン株式会社 画像認証装置、画像処理システム、画像認証装置制御プログラム、コンピュータ読み取り可能な記録媒体、および画像認証方法
WO2012124252A1 (ja) 2011-03-14 2012-09-20 株式会社ニコン 電子機器、電子機器の制御方法およびプログラム
US9373021B2 (en) * 2011-03-25 2016-06-21 Sony Corporation Method, apparatus and system for outputting a group of images
JP5791364B2 (ja) * 2011-05-16 2015-10-07 キヤノン株式会社 顔認識装置、顔認識方法、顔認識プログラム、およびそのプログラムを記録した記録媒体
CN103814545B (zh) * 2011-06-30 2016-10-26 东莞市瑞腾电子科技有限公司 手机用户身份认证方法
US8838647B2 (en) * 2011-12-06 2014-09-16 International Business Machines Corporation Automatic multi-user profile management for media content selection
WO2013100697A1 (en) * 2011-12-29 2013-07-04 Intel Corporation Method, apparatus, and computer-readable recording medium for authenticating a user
US9030545B2 (en) * 2011-12-30 2015-05-12 GNR Resound A/S Systems and methods for determining head related transfer functions
JP6043706B2 (ja) * 2013-09-25 2016-12-14 日本電信電話株式会社 マッチング処理装置およびマッチング方法
CN104639823A (zh) * 2013-11-14 2015-05-20 索尼公司 图像形成方法、装置以及电子设备
JP6215774B2 (ja) * 2014-05-29 2017-10-18 富士フイルム株式会社 同一人物判定装置ならびにその方法およびその制御プログラム
JP6149015B2 (ja) * 2014-09-10 2017-06-14 富士フイルム株式会社 画像処理装置、画像処理方法、プログラムおよび記録媒体
CN105678127A (zh) 2014-11-21 2016-06-15 阿里巴巴集团控股有限公司 一种身份信息的验证方法和装置
US9836669B2 (en) 2016-02-22 2017-12-05 International Business Machines Corporation Generating a reference digital image based on an indicated time frame and searching for other images using the reference digital image
US10410045B2 (en) * 2016-03-23 2019-09-10 Intel Corporation Automated facial recognition systems and methods
CN108228871A (zh) 2017-07-21 2018-06-29 北京市商汤科技开发有限公司 人脸图像动态入库方法和装置、电子设备、介质、程序
JP7204596B2 (ja) * 2019-06-28 2023-01-16 富士フイルム株式会社 画像処理装置,画像処理方法,画像処理プログラムおよびそのプログラムを格納した記録媒体
US20210151169A1 (en) * 2019-11-18 2021-05-20 Fujifilm Medical Systems U.S.A., Inc. Methods And Systems For Remote Analysis Of Medical Image Records
JP7181256B2 (ja) * 2020-07-08 2022-11-30 株式会社スクウェア・エニックス 顔認証プログラム及び顔認証システム
WO2023218441A1 (en) * 2022-05-11 2023-11-16 Inspekto A.M.V. Ltd. Optimizing a reference group for visual inspection

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008129830A (ja) * 2006-11-21 2008-06-05 Sony Corp 個人識別装置、個人識別方法、識別用辞書データの更新方法および識別用辞書データの更新プログラム
JP2008165314A (ja) * 2006-12-27 2008-07-17 Sony Corp 個人識別装置および個人識別方法

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3621245B2 (ja) 1997-12-12 2005-02-16 株式会社東芝 人物認識装置、人物認識方法、および、人物認識プログラムの記録媒体
JP2003044858A (ja) 2001-07-31 2003-02-14 Matsushita Electric Ind Co Ltd 個人認証装置および方法
JP4222066B2 (ja) 2002-05-31 2009-02-12 オムロン株式会社 顔照合装置
JP2006059200A (ja) 2004-08-20 2006-03-02 Fuji Photo Film Co Ltd 顔画像格納システム、顔画像格納方法、及び顔画像格納プログラム
JP2006092491A (ja) 2004-09-27 2006-04-06 Glory Ltd 本人認証装置、本人認証システム、本人認証方法および本人認証プログラム
JP2007102517A (ja) 2005-10-05 2007-04-19 Sony Corp 顔認識装置および方法、係数生成装置および方法、プログラム、並びに記録媒体
JP2008077446A (ja) * 2006-09-22 2008-04-03 Fujifilm Corp 画像検索装置ならびにその制御方法およびその制御プログラム
JP4561914B2 (ja) * 2008-09-22 2010-10-13 ソニー株式会社 操作入力装置、操作入力方法、プログラム
KR20100055946A (ko) * 2008-11-18 2010-05-27 삼성전자주식회사 동영상 썸네일 생성 방법 및 장치

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008129830A (ja) * 2006-11-21 2008-06-05 Sony Corp 個人識別装置、個人識別方法、識別用辞書データの更新方法および識別用辞書データの更新プログラム
JP2008165314A (ja) * 2006-12-27 2008-07-17 Sony Corp 個人識別装置および個人識別方法

Also Published As

Publication number Publication date
CN102124492A (zh) 2011-07-13
KR101168546B1 (ko) 2012-07-27
US20110150302A1 (en) 2011-06-23
US8396264B2 (en) 2013-03-12
CN102124492B (zh) 2013-06-19
WO2010103735A1 (ja) 2010-09-16
EP2407929A1 (en) 2012-01-18
JP2010218059A (ja) 2010-09-30
KR20110036935A (ko) 2011-04-12
EP2407929B1 (en) 2020-02-12
EP2407929A4 (en) 2015-10-21

Similar Documents

Publication Publication Date Title
JP4636190B2 (ja) 顔照合装置、電子機器、顔照合装置の制御方法、および顔照合装置制御プログラム
JP4497236B2 (ja) 検出用情報登録装置、電子機器、検出用情報登録装置の制御方法、電子機器の制御方法、検出用情報登録装置制御プログラム、電子機器の制御プログラム
KR100996066B1 (ko) 얼굴화상 등록 장치, 얼굴화상 등록 방법, 및 기록 매체
JP4544363B1 (ja) 顔認証装置、人物画像検索システム、顔認証装置制御プログラム、コンピュータ読み取り可能な記録媒体、および顔認証装置の制御方法
US8958647B2 (en) Registration determination device, control method and control program therefor, and electronic apparatus
US10275643B2 (en) Electronic device, electronic device control method, and computer-readable recording medium having stored thereon electronic device control program
WO2020134527A1 (zh) 人脸识别的方法及装置
US20150339516A1 (en) Collation apparatus and method for the same, and image searching apparatus and method for the same
US20120296978A1 (en) Content managing apparatus, content managing method, content managing program, and integrated circuit
CN103632130B (zh) 验证被摄体的验证装置及验证方法
US20160267339A1 (en) Image processing apparatus and method of generating face image
JP2009223580A (ja) 優先対象決定装置、電子機器、優先対象決定方法、プログラム、および記録媒体
JP6040640B2 (ja) 画像処理装置及びプログラム
US9070024B2 (en) Intelligent biometric identification of a participant associated with a media recording
JP5300585B2 (ja) 情報処理装置、情報処理方法
JP6969878B2 (ja) 識別器学習装置および識別器学習方法
JP2018181157A (ja) 人物認証装置
US20110091117A1 (en) Image processing apparatus and image processing method
CN111164642A (zh) 图像候选确定装置、图像候选确定方法、控制图像候选确定装置的程序以及存储该程序的记录介质
CN110415113A (zh) 金融数据处理方法、装置、服务器及可读存储介质
JP6241533B2 (ja) 画像処理装置及びプログラム
JP7033228B1 (ja) 認証システム、認証方法および認証プログラム
WO2023062832A1 (ja) 認証装置、認証システム、認証方法、及びコンピュータ可読媒体
JP2013242719A (ja) 画像処理装置及び電子カメラ
JP2022073249A (ja) 情報処理システム、情報処理システムの制御方法、およびプログラム

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100722

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20101026

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20101108

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131203

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 4636190

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: R3D02

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: R3D04

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250