JP4465719B2 - 成り済まし検出装置、および成り済まし検出方法 - Google Patents

成り済まし検出装置、および成り済まし検出方法 Download PDF

Info

Publication number
JP4465719B2
JP4465719B2 JP2005504985A JP2005504985A JP4465719B2 JP 4465719 B2 JP4465719 B2 JP 4465719B2 JP 2005504985 A JP2005504985 A JP 2005504985A JP 2005504985 A JP2005504985 A JP 2005504985A JP 4465719 B2 JP4465719 B2 JP 4465719B2
Authority
JP
Japan
Prior art keywords
impersonation
image
face
person
pattern
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
JP2005504985A
Other languages
English (en)
Other versions
JPWO2004072899A1 (ja
Inventor
利憲 細井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Publication of JPWO2004072899A1 publication Critical patent/JPWO2004072899A1/ja
Application granted granted Critical
Publication of JP4465719B2 publication Critical patent/JP4465719B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161Detection; Localisation; Normalisation
    • G06V40/166Detection; Localisation; Normalisation using acquisition arrangements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00General purpose image data processing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/10Image acquisition
    • G06V10/12Details of acquisition arrangements; Constructional details thereof
    • G06V10/14Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/145Illumination specially adapted for pattern recognition, e.g. using gratings
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/40Spoof detection, e.g. liveness detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Artificial Intelligence (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Collating Specific Patterns (AREA)
  • Image Processing (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Analysis (AREA)

Description

本発明は、人物の認証における対象物が特定の人物であるか否かの判定に利用するため、当該対象物が特定の人物に成り済ました非特定人物であることを検出する成り済まし検出装置に関し、特に、顔の一部または全部を含む頭部による人物認証を行うときに成り済まししていることを検出する成り済まし検出装置、および成り済まし検出方法に関する。
従来、認証対象物が特定人物に成り済ますための物体であることを検出する機能を有する成り済まし検出装置は、特定人物を撮影した顔写真を用いて特定人物に成り済ます行為や、特定人物の頭部を模した立体模型を用いて特定人物に成り済ます行為がなされた場合に、その顔写真や立体模型が特定人物に成り済ますための物体であることを検出するものがある。
具体的には、特開2002−236666号公報に記載されている個人認証装置のように、認証対象物である撮影対象人物の横方向から照明をあてて、横顔のシルエットの凹凸を計測してシルエットが垂直線かどうかにより成り済まししているか否か判別するものがある。
また、特開平4−242106号公報に記載されている顔の認証装置のように、縞模様の光を投射した撮影対象物の顔をカメラで撮影し、撮影によって得られた画像データにもとづいて撮影対象物の顔の3次元形状を測定し、その測定結果から成り済まししているか否か判別するものもある。
さらに、特開2002−117377号公報に記載されている個人認証システムのように、認証装置の位置情報と認証対象物の位置情報とから成り済まししているか否か判別するものもある。
しかしながら、上述した従来の成り済まし検出装置は、以下に示す複数の課題のうち少なくとも1つ以上を包含している。
先ず、上述した従来の技術には、精度が高くかつ安定した成り済まし検出を行うことが困難であるという課題がある。例えば、上述した個人認証装置では、LCD(液晶表示装置)などの画像表示装置に、人為的にシルエットをつけた他人の顔を表示させ、その画像表示装置に表示されている画像を個人認証装置に撮影させることで成り済まし検出を回避することができてしまう。よって、成り済ましの検出精度が落ち、安定した成り済まし検出を行うことが困難なものとなっている。
また、上述した従来の技術には、被撮影者に負担を強いる必要があるという課題がある。例えば、上述した個人認証装置では、横顔のシルエットの凹凸を計測してシルエットが垂直線かどうかにより判別する方法をとっており、被撮影者の横方向から照明を画像から十分にエッジを得られる程度の強さで照射するため、被撮影者にとっては非常に眩しい。すなわち、被撮影者の目に大きな負担をかけることになってしまう。特に、自然照明の下で認証を行う場合には、より強い光の照射が必要であり、被撮影者の負担が顕著なものとなる。
また、上述した従来の技術には、精度の高い成り済まし検出を行うためには複雑な処理を必要とし、成り済まし検出のための制御負担が大きくなってしまうという課題がある。例えば、上述した顔の認証装置では、撮影対象物の顔の3次元形状を測定するための処理が複雑であるため、処理負担が大きくなってしまっている。
さらに、上述した従来の技術では、精度の高い成り済まし検出を行なうためには高価な装置が必要となるという課題がある。例えば、上述した個人認証システムでは、位置測定を行うためのGPS受信機などを必要とするため高コストとなる。また、上述した顔の認証装置では、撮影対象物の顔の3次元形状を測定する機能を有する装置である必要があるため、やはり高コストとなってしまう。
本発明は上述した問題を解消し、安定して精度の高い成り済まし検出を行うことができるようにすることを目的とする。また、本発明は、被撮影者に大きな負担を強いることなく成り済まし検出を行うことができるようにすることを目的とする。さらに、本発明は、成り済まし検出のための制御負担を軽減し、安価で精度の高い成り済まし検出を行うことができるようにすることを目的とする。
上記の問題を解決するために、本発明の成り済まし検出装置は、対象物が特定の人物であるか否かの判定に利用するために当該対象物が特定の人物に成り済ました非特定人物であることを検出する成り済まし検出装置であって、対象物に光を照射するとともに当該対象物に所定の模様を投影するための発光体(例えばフィルタ付照明22が備えるランプ)と、発光体の光源の近傍に配置され当該発光体によって照射された光が透過されるフィルタ(例えばフィルタ付照明22が備えるフィルタ)と、発光体の発光により所定の模様が投影されている対象物を撮影して対象物を示す対象物画像データを取得する対象物画像取得手段(例えば画像入力部23)とを含む対象物情報取得手段(例えば人物計測部2)と、対象物画像データを格納する画像記憶手段(例えば画像記憶部41)を有する記憶手段(例えば記憶装置4)と、対象物が非特定人物であるか否か判定する成り済まし判定手段(例えば成り済まし判定部31)を有するデータ処理手段(例えばデータ処理装置3)とを備え、成り済まし判定手段は、対象物画像データが示す対象物画像の顔領域に表れている模様と所定の模様とを比較することで対象物が平面形状であるか否かを判定(例えばステップS33)し、平面形状であれば非特定人物であると判定する(例えばステップS35)ことを特徴とする。
上記のように、対象物に投影した模様と対象物に表れている模様とを比較することで対象物が平面形状のものであるか立体形状のものであるかを確認し、その確認結果に応じて成り済まし判定を行う構成としているので、写真や画像表示装置のような偽顔を表示した平面形状の物体が用いられている場合に、成り済ましであると判定することができる。
データ処理手段が、対象物画像データが示す対象物画像の顔領域を検出する顔検出手段(例えば顔検出部32)を有し、成り済まし判定手段が、顔検出手段が検出した顔領域に表れている模様を用いて対象物が平面形状であるか否かを判定する構成とされていてもよい。
上記のように、顔検出手段を設ける構成とすれば、対象物の顔領域を容易に検出することができ、成り済まし検出を的確に実行することができる。
フィルタには、光の透過を遮断する複数の直線を平行に並べた縞模様が描かれており、成り済まし判定手段が、対象物画像データが示す対象物画像の顔領域に表れている模様と直線を平行に並べた縞模様とを比較(例えばステップS33)することで対象物が平面形状であるか否かを判定(例えばステップS34)するように構成されていてもよい。
上記のように、複数の直線が平行に並べられている縞模様が描かれたフィルタを用いる構成とすれば、投射された模様によって対象物の凹凸の有無をより正確に判定することができる。
対象物情報取得手段は、対象物に投影される模様を変化させるためにフィルタを回転させるフィルタ回転制御手段(例えば照明制御部22a)を有し、フィルタ回転制御手段は、フィルタの回転角度をランダムに選択し回転させ(例えばステップS71)、成り済まし判定手段は、顔検出手段が検出した顔領域に表れている模様の回転角が正当であるか否かを判定し(例えばステップS86)、正当でなければ非特定人物であると判定する(例えばステップS85)構成とされていてもよい。
上記のように、フィルタをランダムに選択した回転角度だけ回転させる構成とすれば、成り済まし画像の生成を困難なものとすることができ、成り済まし検出の精度を高めることができる。
対象物情報取得手段は、異なる模様が描かれた複数のフィルタ(例えば複数フィルタ付照明22bが備えるフィルタ)と、対象物に模様を投影するために使用するフィルタの切替処理を実行するフィルタ切替制御手段(例えば照明制御部21b)とを有し、フィルタ切替制御手段は、複数のフィルタのいずれかをランダムに選択して切替処理を実行し(例えばステップS121)、成り済まし判定手段は、対象物の顔領域に表れている模様が、フィルタ切替制御手段によって選択され切り替えられたフィルタに描かれた模様であるか否かを判定し(例えばステップS123)、当該フィルタに描かれた模様でなければ非特定人物であると判定する構成とされていてもよい。
上記のように、ランダムにフィルタを選択することでランダムに投影する模様を選択する構成とすれば、成り済まし画像の生成を困難なものとすることができ、成り済まし検出の精度を高めることができる。
対象物情報取得手段は、異なる色で模様が描かれた複数のフィルタ(例えば色フィルタ付照明22cが備えるフィルタ)と、対象物に模様を投影するために使用するフィルタの切替処理を実行するフィルタ切替制御手段(例えば照明制御部22c)とを有し、フィルタ切替制御手段は、複数のフィルタのいずれかをランダムに選択して切替処理を実行し(例えばステップS141)、成り済まし判定手段は、対象物の顔領域に表れている模様が、フィルタ切替制御手段によって選択され切り替えられたフィルタに描かれた模様の色であるか否かを判定し(例えばステップS154)、当該フィルタに描かれた模様の色でなければ非特定人物であると判定する(例えばステップS155)構成とされていてもよい。
上記のように、ランダムにフィルタを選択することでランダムに投影する模様の色を選択する構成とすれば、成り済まし画像の生成を困難なものとすることができ、成り済まし検出の精度を高めることができる。
対象物情報取得手段は、対象物画像取得手段に隣接して配置される距離センサ(例えば距離センサ24)を有し、記憶手段は、対象物画像取得手段と特定の人物との適正な距離を示す距離情報があらかじめ格納される特徴記憶手段(例えば特徴記憶部42)を有し、距離センサは、対象物画像取得手段と対象物との距離を計測し(例えばステップS181)、成り済まし判定手段は、距離センサによって計測された距離と距離情報が示す距離とを比較することで、対象物画像取得手段と対象物との距離が適正範囲内であるか否かを判定し(例えばステップS192)、適正範囲外であれば非特定人物であると判定する(例えばステップS193)構成とされていてもよい。
上記のように、対象物画像取得手段と対象物との距離が適正範囲でないときに成り済まししていると判定する構成とすれば、画像処理を行うことなく、効率的に成り済まし判定を行うことができる。
適正範囲には、あらかじめ下限距離(例えばステップS192で比較される閾値が示す距離)が定められており、成り済まし判定手段は、対象物画像取得手段と対象物との距離が下限距離以上でなければ非特定人物であると判定する構成とされていてもよい。
上記のように、適正範囲に下限距離を定める構成とすれば、対象画像取得手段に近過ぎる位置に対象物がある場合に成り済まししていると判定することができる。
適正範囲には、あらかじめ上限距離が定められており、成り済まし判定手段は、対象物画像取得手段と対象物との距離が上限距離以下でなければ非特定人物であると判定する構成とされていてもよい。
上記のように、適正範囲に上限距離を定める構成とすれば、対象画像取得手段から遠過ぎる位置に対象物がある場合に成り済まししていると判定することができる。
対象物情報取得手段は、対象物画像取得手段に隣接して配置される物体検知センサ(例えば物体検知センサ25)を有し、物体検知センサは、対象物画像取得手段と特定の人物との適正な距離よりも近くに位置する対象物を検知し、記憶手段は、物体検知センサの検知結果が格納される特徴記憶手段(例えば特徴記憶部42)を有し、成り済まし判定手段(例えば成り済まし判定部31e)は、物体検知センサによって対象物が検知されたか否かを判定し、検知された場合には非特定人物であると判定する構成とされていてもよい。
上記のように、物体検知センサを用いて適正な距離よりも近くに位置する対象物を検知する構成とすれば、対象画像取得手段に近過ぎる位置に対象物がある場合に成り済まししていると判定することができる。
対象物情報取得手段は、対象物が特定の人物であるか否かの判定を行うときに当該対象物が位置するあらかじめ定められた所定位置に設置される重量測定器(例えば体重計26)を有し、記憶手段は、特定の人物であるか否かの判定のためにあらかじめ登録されている人物それぞれの体重情報が格納される特徴記憶手段(例えば特徴記憶部42)を有し、重量測定器は、所定位置に位置している対象物の重量を計測し(例えばステップS221)、成り済まし判定手段は、重量測定器によって計測された対象物の重量と特徴記憶手段に格納されている体重情報とを比較することで(例えばステップS222)、対象物の重量が許容重量範囲内であるか否かを判定し(例えばステップS223)、許容重量範囲外であれば非特定人物であると判定する(例えばステップS224)構成とされていてもよい。
上記のように、対象物の重量が許容重量範囲外であるときに成り済まししていると判定する構成とすれば、画像処理を行うことなく、効率的に成り済まし判定を行うことができる。
成り済まし判定手段は、特徴記憶手段に格納されている体重情報のうちの最高重量から最低重量までの範囲を含む許容重量範囲を決定したあと、対象物の重量が許容重量範囲内であるか否かを判定するように構成されていてもよい。
上記のように、事前に許容重量範囲を決定する構成とすれば、体重情報の変更があった場合に迅速に対応することができ、高精度で成り済まし判定を行うことができる。
対象物情報取得手段は、対象物に後方から光を照射する後方発光体(例えば後方照明27)を有し、対象物画像取得手段は、後方発光体の発光により後方から光が照射されている対象物を撮影して逆光状態の対象物を示す逆光画像データを取得し(例えばステップS262)、成り済まし判定手段は、対象物画像取得手段によって取得された逆光画像データが示す逆光画像における輝度値が所定値以下の領域を抽出することによって当該逆光画像における対象物領域を背景領域から分離し(例えばステップS272)、対象物領域と背景領域との境界線の形状が人間の頭部形状であるか否かを判定し(例えばステップS275)、人間の頭部形状でなければ非特定人物であると判定する(例えばステップS276)構成とされていてもよい。
上記のように、逆光画像データを用いて成り済まし判定を行う構成とすれば、対象物が特定の人物であった場合に、その特定の人物の視界に入る強い光を照射することなく成り済まし検出することができるため、人物に負担を強いることなく成り済まし判定を行うことができる。
成り済まし判定手段は、対象物領域と背景領域との境界線の形状が楕円に近い形状となったか否かによって人間の頭部形状であるか否かを判定する(例えばステップS275)ように構成されていてもよい。
上記のように、楕円形状に近い形状を頭部形状と判定する構成とすれば、楕円形状に近くない、例えば長方形状の写真や画像表示装置などを用いた成り済まし行為を高精度で検出することができる。
成り済まし判定手段は、対象物領域の幅を求め(例えばステップS273)、当該対象物領域と背景領域との境界線の形状が対象物領域の幅を短経とする楕円に近い形状となったか否かによって人間の頭部形状であるか否かを判定するように構成されていてもよい。
上記のように、対象物領域の幅を短経とする楕円に近い形状を頭部形状と判定する構成とすれば、人間の頭部形状であるか否かを高精度で判定することができ、成り済まし行為を高精度で検出することができる。
対象物情報取得手段は、2つの対象物画像取得手段(例えば画像入力部25A,25B)を備え、成り済まし判定手段は、2つの対象物画像取得手段の視差を利用して対象物の距離画像を作成し(例えばステップS323)、距離画像における既知の顔領域の形状が平面形状であるか否かを判定し(例えばステップS324)、平面形状であれば非特定人物であると判定する(例えばステップS326)構成とされていてもよい。
上記のように、距離画像を用いて成り済まし判定を行う構成とすれば、平面形状の物体を用いた成り済まし行為を確実に検出することができる。
対象物情報取得手段は、2つの対象物画像取得手段(例えば画像入力部25A,25B)を備え、データ処理手段は、成り済まし判定手段によって作成される距離画像の顔領域を検出する顔検出手段(例えば顔検出部32)を有し、成り済まし判定手段は、2つの対象物画像取得手段の視差を利用して対象物の距離画像を作成し(例えばステップS323)、顔検出手段が検出した距離画像における顔領域の形状が平面形状であるか否かを判定し(例えばステップS324)、平面形状であれば非特定人物であると判定する(例えばステップS326)構成とされていてもよい。
上記のように、距離画像を用いて成り済まし判定を行う構成とすれば、平面形状の物体を用いた成り済まし行為を確実に検出することができる。
2つの対象物画像取得手段は、それぞれ水平に設置され、2つの対象物画像取得手段のうちの一方は、対象物の正面に配置される構成とされていてもよい。
上記のように、一つの対象物画像取得手段を対象物の正面に配置する構成とすれば、その一つの対象物画像取得手段を、認証処理のために用いる画像取得手段と兼用させることができ、低コストで顔認証装置を構成することができるようになる。
対象物情報取得手段は、3つ以上の対象物画像取得手段を備え、成り済まし判定手段は、3つ以上の対象物画像取得手段の中から2つの対象物画像取得手段を選択し、当該選択した2つの対象物画像取得手段の視差を利用して対象物の距離画像を作成し、距離画像における既知の顔領域の形状が平面形状であるか否かを判定し、平面形状であれば非特定人物であると判定する構成とされていてもよい。
上記のように、多数の対象物画像取得手段の中から2つの対象物画像取得手段を選択する構成とすれば、より確実に距離画像を作成することができ、平面形状の物体を用いた成り済まし行為を確実に検出することができる。
対象物情報取得手段は、3つ以上の対象物画像取得手段を備え、データ処理手段は、成り済まし判定手段によって作成される距離画像の顔領域を検出する顔検出手段を有し、成り済まし判定手段は、3つ以上の対象物画像取得手段の中から2つの対象物画像取得手段を選択し、当該選択した2つの対象物画像取得手段の視差を利用して対象物の距離画像を作成し、顔検出手段が検出した距離画像における顔領域の形状が平面形状であるか否かを判定し、平面形状であれば非特定人物であると判定する構成とされていてもよい。
上記のように、多数の対象物画像取得手段の中から2つの対象物画像取得手段を選択する構成とすれば、より確実に距離画像を作成することができ、平面形状の物体を用いた成り済まし行為を確実に検出することができる。
対象物画像取得手段には、近赤外領域の波長を撮影する画像入力手段(例えば近赤外画像入力部23i)が用いられ、発光体(例えばフィルタ付近赤外照明22iが備える発光体)の光源は、近赤外領域波長の光を照射するように構成されていてもよい。
上記のように、近赤外領域波長の光を照射する構成とすれば、人間の目に模様が見えないようになるため、成り済まし検出の方法を知られにくくすることができる。
また、本発明の成り済まし検出装置は、対象物が特定の人物であるか否かの判定に利用するために当該対象物が特定の人物に成り済ました非特定人物であることを検出する成り済まし検出装置であって、対象物を撮影して対象物を示す対象物画像データを取得する対象物画像取得手段(例えば画像入力部23)と、対象物画像取得手段に隣接して配置される距離センサ(例えば距離センサ24)とを含む対象物情報取得手段(例えば人物計測部2d)と、対象物画像データを格納する画像記憶手段(例えば画像記憶部41)と、対象物画像取得手段と特定の人物との適正な距離を示す距離情報があらかじめ格納される特徴記憶手段(例えば特徴記憶部42)とを含む記憶手段(例えば記憶装置4d)と、対象物が非特定人物であるか否か判定する成り済まし判定手段(例えば成り済まし判定部31d)を有するデータ処理手段(例えばデータ処理装置3d)とを備え、距離センサは、対象物画像取得手段と対象物との距離を計測し(例えばステップS181)、成り済まし判定手段は、距離センサによって計測された距離と距離情報が示す距離とを比較することで、対象物画像取得手段と対象物との距離が適正範囲内であるか否かを判定し(例えばステップS192)、適正範囲外であれば非特定人物であると判定する(例えばステップS193)ことを特徴とする。
上記のように、対象物画像取得手段と対象物との距離が適正範囲でないときに成り済まししていると判定する構成とすれば、画像処理を行うことなく、効率的に成り済まし判定を行うことができる。
また、本発明の成り済まし検出装置は、対象物が特定の人物であるか否かの判定に利用するために当該対象物が特定の人物に成り済ました非特定人物であることを検出する成り済まし検出装置であって、対象物を撮影して対象物を示す対象物画像データを取得する対象物画像取得手段(例えば画像入力部23)と、対象物画像取得手段に隣接して配置される物体検知センサ(例えば物体検知センサ25)とを含む対象物情報取得手段(例えば人物計測部2e)と、対象物画像データを格納する画像記憶手段(例えば画像記憶部41)と、物体検知センサの検知結果が格納される特徴記憶手段(例えば特徴記憶部42)とを有する記憶手段(例えば記憶装置4e)と、対象物が非特定人物であるか否か判定する成り済まし判定手段(例えば成り済まし判定部31e)を有するデータ処理手段(例えばデータ処理装置3e)とを備え、物体検知センサは、対象物画像取得手段と特定の人物との適正な距離よりも近くに位置する対象物を検知し、成り済まし判定手段は、物体検知センサによって対象物が検知されたか否かを判定し、検知された場合には非特定人物であると判定することを特徴とする。
上記のように、物体検知センサを用いて適正な距離よりも近くに位置する対象物を検知する構成とすれば、対象画像取得手段に近過ぎる位置に対象物がある場合に成り済まししていると判定することができる。
また、本発明の成り済まし検出装置は、対象物が特定の人物であるか否かの判定に利用するために当該対象物が特定の人物に成り済ました非特定人物であることを検出する成り済まし検出装置であって、対象物に後方から光を照射する後方発光体(例えば後方照明27)と、後方発光体の発光により後方から光が照射されている対象物を撮影して逆光状態の対象物を示す逆光画像データを取得する対象物画像取得手段(例えば画像入力部23)とを含む対象物情報取得手段(例えば人物計測部2g)と、逆光画像データを格納する画像記憶手段(例えば画像記憶部41)を有する記憶手段(例えば記憶装置4)と、対象物が非特定人物であるか否か判定する成り済まし判定手段(例えば成り済まし判定部31g)を有するデータ処理手段(例えばデータ処理装置3g)とを備え、成り済まし判定手段は、対象物画像取得手段によって取得された逆光画像データが示す逆光画像における輝度値が所定値以下の領域を抽出することによって当該逆光画像における対象物領域を背景領域から分離し(例えばステップS272)、対象物領域と背景領域との境界線の形状が人間の頭部形状であるか否かを判定し(例えばステップS275)、人間の頭部形状でなければ非特定人物であると判定する(例えばステップS276)ことを特徴とする。
上記のように、逆光画像データを用いて成り済まし判定を行う構成とすれば、対象物が特定の人物であった場合に、その特定の人物の視界に入る強い光を照射することなく成り済まし検出することができるため、人物に負担を強いることなく成り済まし判定を行うことができる。
また、本発明の成り済まし検出装置は、対象物が特定の人物であるか否かの判定に利用するために当該対象物が特定の人物に成り済ました非特定人物であることを検出する成り済まし検出装置であって、対象物を撮影して対象物を示す対象物画像データを取得する2つの対象物画像取得手段(例えば画像入力部23A,23B)を有する対象物情報取得手段(例えば人物計測部2h)と、対象物画像データを格納する画像記憶手段(例えば画像記憶部41)を有する記憶手段(例えば記憶装置4)と、対象物が非特定人物であるか否か判定する成り済まし判定手段(例えば成り済まし判定部31h)を有するデータ処理手段(例えばデータ処理装置3h)とを備え、成り済まし判定手段は、2つの対象物画像取得手段の視差を利用して対象物の距離画像を作成し(例えばステップS323)、距離画像における既知の顔領域の形状が平面形状であるか否かを判定し(例えばステップS325)、平面形状であれば非特定人物であると判定する(例えばステップS326)ことを特徴とする。
上記のように、距離画像を用いて成り済まし判定を行う構成とすれば、平面形状の物体を用いた成り済まし行為を確実に検出することができる。
また、本発明の成り済まし検出方法によれば、対象物が特定の人物であるか否かの判定に利用するために当該対象物が特定の人物に成り済ました非特定人物であることを検出するための成り済まし検出方法であって、所定の模様が描かれたフィルタ(例えばフィルタ付照明が備えるフィルタ)を透過した光を対象物に照射し、当該対象物に模様を投影するステップ(例えばステップS21)と、所定の模様が投影されている対象物を撮影して対象物を示す対象物画像データを取得するステップ(例えばステップS21)と、対象物画像データが示す対象物画像の顔領域に表れている模様と所定の模様とを比較することで対象物が平面形状であるか否かを判定し、平面形状であれば非特定人物であると判定するステップ(例えばステップS31〜ステップS35)とを含むことを特徴とする。
上記のように、対象物に投影した模様と対象物に表れている模様とを比較することで対象物が平面形状のものであるか立体形状のものであるかを確認し、その確認結果に応じて成り済まし判定を行う構成としているので、写真や画像表示装置のような偽顔を表示した平面形状の物体が用いられている場合に、成り済ましであると判定することができる。
また、本発明の成り済まし検出方法によれば、対象物が特定の人物であるか否かの判定に利用するために当該対象物が特定の人物に成り済ました非特定人物であることを検出するための成り済まし検出方法であって、対象物の撮影に用いられる対象物画像取得手段と対象物との距離を計測する計測処理を実行するステップ(例えばステップS181)と、対象物が非特定人物であるか否か判定する成り済まし判定処理を実行するステップ(例えばステップS182)とを含み、成り済まし判定処理は、計測処理によって計測された距離と、あらかじめ定められた対象物画像取得手段と特定の人物との適正な距離とを比較することで、対象物画像取得手段と対象物との距離が適正範囲内であるか否かを判定し(例えばステップS192)、適正範囲外であれば非特定人物であると判定する処理(例えばステップS193)を含むことを特徴とする。
上記のように、対象物画像取得手段と対象物との距離が適正範囲でないときに成り済まししていると判定する構成とすれば、画像処理を行うことなく、効率的に成り済まし判定を行うことができる。
また、本発明の成り済まし検出方法によれば、対象物が特定の人物であるか否かの判定に利用するために当該対象物が特定の人物に成り済ました非特定人物であることを検出するための成り済まし検出方法であって、対象物の撮影に用いられる対象物画像取得手段と特定の人物との適正な距離よりも近くに位置する対象物を検知する検知処理(例えば物体検知センサ25によって実行される)を実行するステップと、対象物が非特定人物であるか否か判定する成り済まし判定処理(例えば成り済まし判定部31eによって実行される)を実行するステップとを含み、成り済まし判定処理は、検知処理によって対象物が検知されたか否かを判定し、検知された場合には非特定人物であると判定する処理を含むことを特徴とする。
上記のように、適正な距離よりも近くに位置する対象物を検知する構成とすれば、対象画像取得手段に近過ぎる位置に対象物がある場合に成り済まししていると判定することができる。
また、本発明の成り済まし検出方法によれば、対象物が特定の人物であるか否かの判定に利用するために当該対象物が特定の人物に成り済ました非特定人物であることを検出するための成り済まし検出方法であって、対象物に後方から光を照射する後方発光体の発光により後方から光が照射されている対象物を撮影して逆光状態の対象物を示す逆光画像データを取得する対象物画像取得処理を実行するステップ(例えばステップS262)と、対象物が非特定人物であるか否か判定する成り済まし判定処理を実行するステップ(例えばステップS263)とを含み、成り済まし判定処理は、対象物画像取得処理によって取得された逆光画像データが示す逆光画像における輝度値が所定値以下の領域を抽出することによって当該逆光画像における対象物領域を背景領域から分離し(例えばステップS272)、対象物領域と背景領域との境界線の形状が人間の頭部形状であるか否かを判定し(例えばステップS275)、人間の頭部形状でなければ非特定人物であると判定する処理(例えばステップS276)を含むことを特徴とする。
上記のように、逆光画像データを用いて成り済まし判定を行う構成とすれば、対象物が特定の人物であった場合に、その特定の人物の視界に入る強い光を照射することなく成り済まし検出することができるため、人物に負担を強いることなく成り済まし判定を行うことができる。
さらに、本発明の成り済まし検出方法によれば、対象物が特定の人物であるか否かの判定に利用するために当該対象物が特定の人物に成り済ました非特定人物であることを検出するための成り済まし検出方法であって、対象物を異なる2方向から撮影して対象物を示す2つの対象物画像データを取得する対象物画像取得処理を実行するステップ(例えばステップS311)と、対象物が非特定人物であるか否か判定する成り済まし判定処理を実行するステップ(例えばステップS312)とを含み、成り済まし判定処理は、対象物画像取得処理を実行する2つの対象物画像取得手段の視差を利用して対象物の距離画像を作成し(例えばステップS323)、距離画像における顔領域の形状が平面形状であるか否かを判定し(例えばステップS324)、平面形状であれば非特定人物であると判定する処理(例えばステップS326)を含むことを特徴とする。
上記のように、距離画像を用いて成り済まし判定を行う構成とすれば、平面形状の物体を用いた成り済まし行為を確実に検出することができる。
図1は、本発明の第1の実施例における顔認証装置の構成の例を示すブロック図である。
図2は、本発明の第1の実施例における顔認証処理の例を示すフローチャートである。
図3は、本発明の第1の実施例における成り済まし判定処理の例を示すフローチャートである。
図4は、本発明の第1の実施例における成り済まし判定処理において抽出される縞模様の例を示す説明図である。
図5は、本発明の第1の実施例における成り済まし判定処理において抽出される縞模様の例を示す説明図である。
図6は、本発明の第1の実施例における成り済まし判定処理の具体例を示すフローチャートである。
図7は、本発明の第2の実施例における顔認証装置の構成の例を示すブロック図である。
図8は、本発明の第2の実施例における顔認証処理の例を示すフローチャートである。
図9は、本発明の第2の実施例における成り済まし判定処理の例を示すフローチャートである。
図10は、本発明の第2の実施例における成り済まし判定処理において抽出される縞模様の例を示す説明図である。
図11は、本発明の第2の実施例における成り済まし判定処理において抽出される縞摸様の例を示す説明図である。
図12は、本発明の第2の実施例における成り済まし判定処理において抽出される縞模様の例を示す説明図である。
図13は、本発明の第2の実施例における成り済まし判定処理の具体例を示すフローチャートである。
図14は、本発明の第3の実施例における顔認証装置の構成の例を示すブロック図である。
図15は、本発明の第3の実施例における顔認証処理の例を示すフローチャートである。
図16は、本発明の第4の実施例における顔認証装置の構成の例を示すブロック図である。
図17は、本発明の第4の実施例における顔認証処理の例を示すフローチャートである。
図18は、本発明の第4の実施例における成り済まし判定処理の例を示すフローチャートである。
図19は、本発明の第4の実施例における成り済まし判定処理の具体例を示すフローチャートである。
図20は、本発明の第5の実施例における顔認証装置の構成の例を示すブロック図である。
図21は、本発明の第5の実施例における顔認証処理の例を示すフローチャートである。
図22は、本発明の第5の実施例における成り済まし判定処理の例を示すフローチャートである。
図23は、本発明の第6の実施例における顔認証装置の構成の例を示すブロック図である。
図24は、本発明の第7の実施例における顔認証装置の構成の例を示すブロック図である。
図25は、本発明の第7の実施例における顔認証処理の例を示すフローチャートである。
図26は、本発明の第7の実施例における成り済まし判定処理の例を示すフローチャートである。
図27は、本発明の第8の実施例における顔認証装置の構成の例を示すブロック図である。
図28は、本発明の第8の実施例における後方照明の設置位置の例を示す説明図である。
図29は、本発明の第8の実施例における顔認証処理の例を示すフローチャートである。
図30は、本発明の第8の実施例における成り済まし判定処理の例を示すフローチャートである。
図31は、本発明の第8の実施例における成り済まし判定処理の具体例を示すフローチャートである。
図32は、本発明の第8の実施例における成り済まし判定処理での領域の幅を求める処理を説明するための説明図である。
図33は、本発明の第9の実施例における顔認証装置の構成の例を示すブロック図である。
図34は、本発明の第9の実施例における顔認証処理の例を示すフローチャートである。
図35は、本発明の第9の実施例における成り済まし判定処理の例を示すフローチャートである。
図36は、本発明の第9の実施例における成り済まし判定処理の具体例を示すフローチャートである。
図37は、本発明の第10の実施例における顔認証装置の構成の例を示すブロック図である。
発明を実施するための好適な形態
以下、本発明の実施例について図面を参照して説明する。
図1は、本発明の成り済まし検出装置の第1の実施形態を含む顔認証装置1の構成の例を示すブロック図である。顔認証装置1は、人物計測部2と、データ処理装置3と、記憶装置4とを備える。顔認証装置1は、認証対象物(撮影対象物)の顔領域(目・鼻・口などの人物の顔の一部の領域、人物の顔の全部の領域、あるいは人物の顔およびその周辺を含む領域を意味する。)を示す画像と、特定の人物の顔領域を示す画像とを比較し、同一人物であると判断できる程度に互いの顔領域を示す画像が近似していると判定したときに、認証対象物が特定の人物であることを認証する機能を有する装置である。
人物計測部2は、撮影対象物を計測する機能(撮影する機能)と、計測による計測値(例えば撮影によって得た画像データ)を記憶装置4に出力する機能とを有する。人物計測部2は、照明制御部21と、フィルタ付照明22と、画像入力部23とを備える。
照明制御部21は、フィルタ付照明22を制御してランプを点灯/消灯させる機能を有する。フィルタ付照明22は、照明としての光源3と、直線を並べた縞模様が描かれたフィルタとを備える。フィルタ付照明22の光源には、例えばフィルタを取り付けたハロゲンランプが用いられる。フィルタ付照明22に取り付けられているフィルタは、照明を点灯することで撮影対象物に模様が投影される位置に取り付けられている。このフィルタには、ハロゲンランプの光を透過させないインクによって直線を平行に並べた縞模様が描かれている。
画像入力部23は、フィルタ付照明22が点灯されているときに撮影対象物を撮影し、取得した画像データを記憶装置4に出力して画像記憶部41に記憶させる処理を実行する。画像入力部23には、例えばCCDカメラが用いられる。なお、画像入力部23として、ディジタルカメラ、ディジタルビデオカメラなどの画像撮影装置が用いられていてもよい。
記憶装置4は、人物計測部2によって計測された計測値を記憶保持する機能を有する。記憶装置4は、RAMなどの記憶媒体によって構成される画像記憶部41を含む。画像記憶部41は、例えば、磁気ディスク記憶装置により構成される。
データ処理装置3は、記憶装置4が記憶保持しているデータを読み込み、認証対象物を用いて特定の人物に成り済まししているか否かを判定する機能(成り済まし判定機能)を有する。データ処理装置3は、成り済まし判定部31と、顔検出部32とを備える。データ処理装置3には、例えばパーソナルコンピュータが用いられる。このパーソナルコンピュータは、成り済まし判定部31および顔検出部32として機能するCPU(中央演算装置)を有している。
顔検出部32は、画像記憶部41に格納されている画像データを読み込み、画像データが示す画像中の顔領域を特定する機能を有する。成り済まし判定部31は、画像記憶部41に格納されている画像データを読み込み、顔検出部32で特定された顔領域の画像にもとづいて、認証対象物を用いて特定の人物に成り済まししているか、成り済ましでない可能性があるかを判定する機能を有する。
なお、顔検出部32による画像中の顔位置の特定方法は、どのような方法であってもよい。例えば、あらかじめ画像入力部23で認証対象物が撮影位置にないときの画像(背景のみの画像)を撮影して画像記憶部41に記憶しておき、撮影対象物を撮影したあとに画像記憶部41から背景のみの画像と撮影した画像とを読み込み、背景のみの画像と撮影した画像との差分をとることで撮影対象物の領域を抽出し、抽出した領域の上部領域(顔が位置していると想定されるあらかじめ定められた上部の所定範囲の領域)を顔領域として特定する方法であってもよい。また、例えば、画像記憶部41から画像を読み込み、画像中の肌色領域を抽出(肌色検出)することで顔領域を検出するものであってもよい。
図2は、第1の実施例における顔認証装置1が実行する顔認証処理の例を示すフローチャートである。顔認証処理において、人物計測部2は、フィルタ付照明22を点灯して縞模様を撮影対象物に投影し、縞模様が投影されている撮影対象物を画像入力部23によって撮影し、撮影によって取得した画像データを記憶装置4に出力して画像記憶部41に格納する(ステップS21)。
具体的には、ステップS21にて、フィルタが設置されたハロゲンランプ(フィルタ付照明22)を点灯して撮影対象物に模様を投影し、模様が投影されている撮影対象物をCCDカメラ(画像入力部23)で撮影し、撮影によって取得された画像データを画像記憶部41に記憶する処理が実行される。
次いで、顔検出部32は、画像記憶部41から画像データを読み込み、画像データが示す画像の顔領域を検出して検出結果を成り済まし判定部31に出力する。成り済まし判定部31は、画像記憶部41から画像データを読み込み、顔検出部32の検出結果を用いて画像データが示す画像中の顔領域を特定し、認証対象物が成り済まし行為に用いられているものであるか否か判定する(ステップS22)。すなわち、ステップS22では、画像入力部23によって撮影された画像を用いて成り済まし判定処理が実行される。
そして、顔認証装置1は、顔認証のためのその他の処理を実行する(ステップS23)。ステップS23では、成り済まし判定処理にて認証対象物を用いた成り済まし行為であると判定された場合には、認証対象物が特定の人物でないと判定し、認証対象物を特定の人物であると認証しないことに決定する。一方、成り済まし判定処理にて認証対象物を用いた成り済まし行為でない可能性があると判定された場合(特定の人物である可能性を否定できない場合)には、認証対象物が特定の人物であるか否かについてさらに各種の判定処理を行い、認証対象物を特定の人物であると認証するか否か決定する。なお、上記の各種の判定処理については、本発明に直接関係しないため、詳細な説明は省略する。
図3は、第1の実施例における成り済まし判定処理(ステップS22)の例を示すフローチャートである。成り済まし判定処理において、成り済まし判定部31は、縞模様が投影された認証対象物の画像を示す画像データを画像記憶部41から読み込み(ステップS31)、読み込んだ画像データが示す画像の顔領域に表れている縞模様を抽出する(ステップS32)。
図4は、認証対象物が人物を撮影した写真や人物を表示した画像表示装置などの平面状の物体である場合に抽出される縞模様の例を示す説明図である。図5は、認証対象物が人物自体などの立体状の物体である場合に抽出される縞模様の例を示す説明図である。すなわち、平面形状の物体に直線が平行に並べられた縞模様が投影されていた場合には、図4に示すように、投影した縞模様と同様の模様が認証対象物の顔領域に表れる。また、立体形状の物体に平行に並べられた縞模様が投影されていた場合には、図5に示すように、その立体形状の凹凸(例えば鼻などの顔にある凹凸)によって直線が変形された曲線が並べられた状態の縞模様が認証対象物の顔領域に表れる。ステップS32では、認証対象物が平面形状であるか立体形状であるかによって、図4に示すような縞模様または図5に示すような縞模様のいずれかが抽出されることになる。
顔領域に表れている縞模様を抽出すると、成り済まし判定部31は、画像中の顔領域にある縞が直線であるかどうか判定する(ステップS33)。縞が直線であれば(ステップS34のN)、認証対象物が写真や画像表示装置のような平面形状の物体であり、少なくとも人物自体ではないと判断することができるため、成り済ましであると判定する(ステップS35)。一方、縞が直線でなければ(ステップS34のY)、認証対象物が3次元の凹凸形状がある立体形状であり、人物自体である可能性があるため、成り済ましでない可能性があると判定する(ステップS36)。
図6は、第1の実施例での成り済まし判定処理(ステップS22、図3の処理)における縞が直線であるか否かを判定する部分の処理(ステップS32〜ステップS34)の具体例を示すフローチャートである。図6に示すように、成り済まし判定部31は、ステップS31にて画像記憶部41から読み込んだ画像データが示す画像を輝度値に応じて2値化する(ステップS32a)。すなわち、画像を2値化することによってその画像の顔領域に表れている縞模様を抽出する。
顔領域に表れている縞模様を抽出すると、成り済まし判定部31は、画像中の顔領域にある縞が直線であるかどうか判定するために、顔領域に表れている縞の曲率の平均Cを計算する(ステップS33a)。
平均Cがあらかじめ設定された閾値未満であれば(ステップS34aのN)、認証対象物が写真や画像表示装置のような平面形状の物体であり、少なくとも人物自体のような立体形状ではないと判断することができるため、成り済ましであると判定する(ステップS35)。すなわち、この例では、縞の曲率の平均Cが閾値未満であったときには、その縞が直線であると判定するようにしている。
ステップS34aで比較される閾値は、本例では、直線と見なせる程度に曲率の平均Cが小さい値であったときに成り済ましであると判定されるような値とされる。
一方、平均Cがあらかじめ設定された閾値以上であれば(ステップS34aのY)、認証対象物が3次元の凹凸形状がある立体形状であり、人物自体である可能性があるため、成り済ましでない可能性があると判定する(ステップS36)。すなわち、この例では、縞の曲率の平均Cが閾値以上であったときには、その縞が直線でない(曲線である)と判定するようにしている(ステップS34のY参照)。
このように、上述した第1の実施例では、認証対象物に投影した模様の変化の度合いによって認証対象物が平面形状のものであるか立体形状のものであるかを確認し、その確認結果に応じて成り済まし判定を行う構成としているので、写真や画像表示装置のような平面形状の物体が認証対象物として用いられている場合に、成り済ましであると判定することができる。
また、上述した第1の実施例では、顔認証装置1がフィルタ付照明22を用いて認証対象物に対して模様を能動的に投影する構成とされているため、画像入力部23の撮影環境が変化することによる影響を受けにくい。すなわち、フィルタ付照明22によって能動的に模様を照射するので、画像入力部23の周辺に設置されている他の照明(例えば室内照明などのフィルタ付照明22以外の署名)の光による影響を受けることなく、認証対象物に確実に模様を投影することができる。
なお、上述した第1の実施例では、画像中の顔領域を得るために顔検出部32で顔を検出して顔領域を求めているが、被撮影者に画像中の特定の位置に顔が写るよう教示できる場合は、かかる特定の位置を顔領域として処理するようにしてもよい。この場合、顔検出部32を必要としないで、成り済まし判定部31による成り済まし判定処理を実行することができる。
図7は、本発明の成り済まし検出装置の第2の実施例を含む顔認証装置1aの構成の例を示すブロック図である。以下の説明において、上述した第1の実施例における顔認証装置1と同一の構成および処理を行う部分については、同一の符号を付与してその詳細な説明を省略する。
図7に示すように、顔認証装置1aは、人物計測部2aと、データ処理装置3aと、記憶装置4とを備える。人物計測部2aは、照明制御部21aと、フィルタ付照明22aと、画像入力部23とを含む。データ処理装置3aは、成り済まし判定部31aと、顔検出部32とを含む。
照明制御部21aは、フィルタ付照明22aを制御して、ランプを点灯/消灯させる機能と、フィルタ付照明22aに取り付けられているフィルタの回転角度を制御する機能と、設定したフィルタの回転角度を示す角度情報を成り済まし判定部31aに送信する機能とを有する。角度情報は、例えば、あらかじめ定められている基準位置(例えば模様を構成する直線が水平方向に描かれた状態となる位置)からの回転角度を示す情報である。
フィルタ付照明22aは、照明としての光源と、直線を並べた縞模様が描かれたフィルタとを備える。フィルタ付照明22に取り付けられているフィルタは、照明を点灯することで撮影対象物に模様が投影される位置に、回転可能に取り付けられている。このフィルタには、光源としてのハロゲンランプの光を透過させないインクで、直線を平行に並べた縞模様が描かれている。従って、フィルタ付照明22aは、例えば画像入力部23による撮影が実行される毎に、照明制御部21aの制御によってフィルタが回転されることによって、異なる角度の縞模様を認証対象物(被撮影物)に投影することができる。
成り済まし判定部31aは、画像記憶部41に格納されている画像データを読み込むとともに、照明制御部21aからの角度情報を取得する機能を有する。また、成り済まし判定部31aは、顔検出部32で特定された顔領域の画像と、取得した角度情報が示す回転角度とにもとづいて、認証対象物を用いて成り済まししているか、成り済まししていない可能性があるかを判定する機能を有する。
図8は、第2の実施例における顔認証装置1aが実行する顔認証処理の例を示すフローチャートである。顔認証処理において、照明制御部21aは、フィルタ付照明22aのフィルタの回転角度を、認証を受けようとしている者が予測不能なようにランダムに決定し、決定した角度だけ基準位置からフィルタが回転した状態となるようにフィルタを回転させて、フィルタの回転角度を調整する(ステップS71)。
なお、この実施例では、照明制御部21aは、フィルタの回転角度を30度刻みで調節する機能を有するものとする。ステップS71では、照明制御部21aは、ランダムにフィルタの回転角度を0度(基準位置の状態)から180度の範囲で決定する。例えば、回転角度は、30度、60度、90度、120度の4つ中から選択するようにすればよい。なお、フィルタの回転角度を細かく調節できるようにする方が成り済まし検出の精度は高くなるため、より多くの種類の角度が選択できるようにしていてもよい。また、3種類以下であってもよい。
フィルタの回転角度が調整されると、人物計測部2aは、フィルタ付照明22aを点灯して縞模様を認証対象物に投影し、縞模様が投影されている認証対象物を画像入力部23で撮影し、撮影によって取得した画像データを記憶装置4に出力して画像記憶部41に格納する(ステップS72)。なお、撮影時にはフィルタの回転角度はランダムに設定されているため、投影される縞模様の角度もランダムに設定された状態となっている。
具体的には、ステップS72にて、フィルタの付いたハロゲンランプ(フィルタ付照明22a)を点灯して認証対象物にランダムに設定された角度の模様を投影し、その模様が投影されている認証対象物をCCDカメラ(画像入力部23)で撮影し、撮影によって取得された画像データを画像記憶部41に記憶する処理が実行される。
次いで、顔検出部32は、画像記憶部41から画像データを読み込み、画像データが示す画像の顔領域を検出して検出結果を成り済まし判定部31aに出力する。成り済まし判定部31aは、画像記憶部41から画像データを読み込み、顔検出部32の検出結果を用いて、認証対象物を用いて成り済まししているか否か判定する(ステップS73)。すなわち、ステップS73では、画像入力部23によって撮影された画像を用いて成り済まし判定処理が実行される。
そして、顔認証装置1aは、顔認証のためのその他の処理を実行する(ステップS74。ステップS74では、上述したステップS23と同一の処理が実行される。
図9は、第2の実施例における成り済まし判定処理(ステップS73)の例を示すフローチャートである。成り済まし判定処理において、成り済まし判定部31aは、縞模様が投影された認証対象物の画像を示す画像データを画像記憶部41から読み込み(ステップS81)、読み込んだ画像データが示す画像の顔領域に表れている縞模様を抽出する(ステップS82)。
図10は、認証対象物が人物を撮影した写真や人物を表示した画像表示装置などの平面状の物体である場合に抽出される縞模様の例を示す説明図である。図11は、認証対象物が、模様が投影された状態で撮影された写真(成り済まし画像の例)や、模様が投影された状態で撮影された画像(成り済まし画像の例)を表示する画像表示装置である場合に抽出される縞模様(成り済まし画像の撮影時に投影された模様のみが示されているが、実際には図10に示す模様も表れる。ただし、フィルタ付照明22aからの光を遮断する処理(例えばフィルタ付照明22aと認証対象物の間に布などの遮蔽物を置く処理)を成り済まし行為の実行者が行っている場合には図11に示す模様が表れる。)の例を示す説明図である。図12は、認証対象物が人物自体などの立体状の物体である場合に抽出される縞模様の例を示す説明図である。
すなわち、平面形状の物体に直線が平行に並べられた縞模様が投影されていた場合には、図10に示すように、投影した縞模様と同様の模様が、投影した角度から計算される所定の角度で認証対象物の顔領域に表れる。また、成り済まし画像が表示されている写真や画像表示装置が認証対象物に用いられていた場合には、図11に示すような立体形状の凹凸によって直線が変形されたかのような曲線が並べられた状態の縞模様が認証対象物の顔領域に表れるが、その角度は成り済まし画像作成時のときに投影された模様の角度となっている。さらに、立体形状の物体に平行に並べられた縞模様が投影されていた場合には、図12に示すように、投影した角度から計算される所定角度の直線が立体形状の凹凸によって変形された曲線が並べられた状態の縞模様が認証対象物の顔領域に表れる。ステップS82では、認証対象物が平面形状であるときには図10または図11に示すような縞模様が抽出され、認証対象物が立体形状であるときには図12に示すような縞模様が抽出されることになる。
顔領域に表れている縞模様を抽出すると、成り済まし判定部31aは、画像中の顔領域にある縞が直線であるかどうか判定する(ステップS83)。縞が直線であれば(ステップS84のN)、認証対象物が写真や画像表示装置のような平面形状の物体であり、少なくとも人物自体ではないと判断することができるため、成り済ましであると判定する(ステップS85)。すなわち、図10に示すような縞模様が抽出されていたときには、成り済ましであると判定される。
縞が直線でなければ(ステップS84のY)、成り済まし判定部31aは、顔領域に表れている縞模様の回転角度を導出し、照明制御部21aの制御により設定されたフィルタの回転角度と、投影された縞模様の回転角度とが整合性を有しているか否か判定する(ステップS86)。整合性を有していなければ(ステップS87のN)、認証対象物である写真や画像表示装置に模様が投影された人物を表示させるといった成り済まし画像による成り済まし行為が行われているものと判断し、成り済ましであると判定する(ステップS85)。すなわち、図11に示すような縞模様が抽出されていたときには、成り済ましであると判定される。整合性を有していれば(ステップS87のY)、認証対象物である人物自体が3次元の凹凸形状がある立体形状であり、人物自体である可能性があるため、成り済ましでない可能性があると判定する(ステップS88)。すなわち、図12に示すような縞模様が抽出されていたときには、成り済ましでない可能性があると判定される。
図13は、第2の実施例での成り済まし判定処理(ステップS73、図9の処理)における縞が直線であるか否かを判定する部分の処理(ステップS82〜ステップS84)、および縞の回転角度の整合がとれているか否かを判定する部分の処理(ステップS86,ステップS87)の具体例を示すフローチャートである。なお、図13におけるステップS82a〜ステップS84aは、上述した図6におけるステップS32a〜ステップS34aと同一の処理であるため、その詳細な説明は省略する。
ステップS84aにおいて平均Cがあらかじめ設定された閾値以上であると(曲線である)判定した場合には、成り済まし判定部31aは、投影された縞模様の線全てについて顔領域の右端から左端までたどり、左端点と右端点を結ぶ直線のなす角度の平均を計算する(ステップS86a)。次いで、成り済まし判定部31aは、照明制御部21aの制御により設定されたフィルタの回転角度から計算される投影される線の角度Tを求めておき、ステップS86aで算出した平均角度と角度Tと比較する。そして、角度Tを中心とした所定角度(例えば30度)以内に入っていなければ(ステップS87aのN)、成り済ましを意図して人工的に作られた縞があるとみなし、成り済まし行為であると判定し(ステップS85)、角度Tを中心とした所定角度以内に入っている場合は(ステップS87aのY)、成り済ましでない可能性があると判定する(ステップS88)。
なお、角度Tは、例えば投影した線の基準位置からの角度、照明(フィルタ付照明22a)の位置(フィルタの位置も含む)、画像入力部23の位置、および認証対象物の位置にもとづいて計算される。
このように、上述した第2の実施例では、認証対象物に投影した模様の変化の度合いによって認証対象物が平面形状のものであるか立体形状のものであるかを確認し、その確認結果に応じて成り済まし判定を行う構成としているので、写真や画像表示装置のような平面形状の物体が認証対象物として用いられている場合に、成り済ましであると判定することができる。
また、上述した第2の実施例では、認証対象物に投影した模様の角度と、撮影した画像に表れている模様の角度との整合がとれているか否かによって、認証対象物が成り済まし画像であるか否かを確認し、その確認結果に応じて成り済まし判定を行う構成としているので、画像表示装置などを使った成り済まし画像により顔認証を受けようとしている場合であっても、成り済ましであると判定することができる。
しかも、認証対象物に投影する模様の角度をランダムに決定する構成としたので、認証対象物に投影される模様の角度を予測することができなくなるようにすることができる。従って、たとえ認証装置1aによる成り済まし検出の動作が成り済ましをしようとしている者に知られた場合であっても、成り済まし検出を逃れることのできる成り済まし画像を作成することは困難であり、確実に成り済まし検出を回避することのできる成り済まし画像を作成することは不可能なものとすることができる。すなわち、例えば、成り済ましをしようとしている者によって、フィルタ付照明22aが覆い隠されてフィルタ付照明22aからの光が遮断され、画像表示装置などを使った成り済まし画像が用いられ、成り済まし検出を逃れようとする行為がなされても、高精度で成り済ましを検出することができる。
また、上述した第2の実施例では、顔認証装置1aがフィルタ付照明22aを用いて認証対象物に対して模様を能動的に投影する構成とされているため、画像入力部23の撮影環境が変化することによる影響を受けにくい。すなわち、フィルタ付照明22aによって能動的に模様を照射するので、画像入力部23の周辺に設置されている他の照明(例えば室内照明などのフィルタ付照明22a以外の署名)の光による影響を受けることなく、認証対象物に確実に模様を投影することができる。
なお、上述した第2の実施例では、画像中の顔領域を得るために顔検出部32で顔を検出して顔領域を求めているが、被撮影者に画像中の特定の位置に顔が写るよう教示できる場合は、かかる特定の位置を顔領域として処理するようにしてもよい。この場合、顔検出部32を必要としないで、成り済まし判定部31aによる成り済まし判定処理を実行することができる。
また、上述した第2の実施例では特に言及していないが、縞模様を認証対象物に投影する前(ステップS72の前)に、画像入力部23で認証対象物を撮影し、撮影により得られた画像中の顔領域に縞模様が表れていれば、成り済ましであると判定するようにしてもよい。すなわち、認証装置1aが縞模様を投影する前に既に縞模様が存在する場合には、成り済まし画像の縞模様であるとみなし、成り済ましであると判定するようにしてもよい。
図14は、本発明の成り済まし検出装置の第3の実施例を含む顔認証装置1bの構成の例を示すブロック図である。以下の説明において、上述した各実施例における顔認証装置と同一の構成および処理を行う部分については、同一の符号を付与してその詳細な説明を省略する。
図14に示すように、顔認証装置1bは、人物計測部2bと、データ処理装置3bと、記憶装置4とを備える。人物計測部2bは、照明制御部21bと、複数フィルタ付照明22bと、画像入力部23とを含む。データ処理装置3bは、成り済まし判定部31bと、顔検出部32とを含む。
照明制御部21bは、複数フィルタ付照明22bを制御して、ランプを点灯/消灯させる機能と、複数フィルタ付照明22bのフィルタの切り替えを制御する機能と、設定したフィルタに描かれている縞模様の角度を示す角度情報を成り済まし判定部31bに送信する機能とを有する。複数フィルタ付照明22bは、照明としての光源と、直線を並べた縞模様がそれぞれ異なる角度で描かれた複数のフィルタとを備える。複数フィルタ付照明22bに取り付けられている各フィルタのうち模様の投影に用いられるフィルタは、照明制御部21bの制御によって、照明を点灯することで撮影対象物に模様が投影される位置に配置される。この各フィルタには、光源としてのハロゲンランプの光を透過させないインクで、直線を平行に並べた縞模様がフィルタ毎にそれぞれ異なる角度で描かれている。従って、複数フィルタ付照明22bは、画像入力部23による撮影が実行される毎に、照明制御部21bの制御によって撮影対象物に模様が投影される位置に配置されたフィルタによって、異なる角度の縞模様を認証対象者(被撮影者)に投影することができる。
すなわち、上述した第2の実施例ではフィルタ付照明22aのフィルタを回転させて投影する模様をランダムに決定しているが、この実施例では、複数フィルタ付照明22bが備える複数のフィルタを切り替えることによって投影する模様をランダムに決定するようにしている。
成り済まし判定部31bは、画像記憶部41に格納されている画像データを読み込むとともに、照明制御部21bからの角度情報を取得する機能を有する。また、成り済まし判定部31bは、顔検出部32で特定された顔領域の画像と、取得した角度情報が示す角度とにもとづいて、認証対象物が、成り済ましのために用いられているものであるか、成り済ましのために用いられているものでない可能性があるかを判定する機能を有する。
図15は、第3の実施例における顔認証装置1bが実行する顔認証処理の例を示すフローチャートである。顔認証処理において、照明制御部21bは、複数フィルタ付照明22bに備えられている複数のフィルタのうち何れのフィルタを使用するかを認証を受けようとしている者が予測不能なようにランダムに決定し、撮影対象物に模様が投影される位置に配置されているフィルタを決定したフィルタに切り替える(ステップS121)。
なお、この実施例では、照明制御部21bは、30度刻みで角度が異なる縞模様が描かれている複数のフィルタの中から1個のフィルタを選択し、模様が投影される位置に配されるフィルタを選択したフィルタに切り替える機能を有するものとする。本例では、縞模様を基準位置(縞模様を構成する直線が水平方向に描かれている状態)から30度、60度、90度、120度の角度で回転させた4パターンのフィルタを備えているものとする。なお、フィルタの個数が多い方が、細かい角度の相違を判定することができ、より高精度で成り済まし判定を行うことができるため、5パターン以上のフィルタを用いるようにしてもよい。また、複数フィルタ付照明22bの構成を簡単にするため、3パターン以下のフィルタを用いるようにしてもよい。
フィルタが切り替えられると、人物計測部2bは、複数フィルタ付照明22bを点灯して縞模様を認証対象物(撮影対象物)に投影し、縞模様が投影されている撮影対象物を画像入力部23で撮影し、撮影によって取得した画像データを記憶装置4に出力して画像記憶部41に格納する(ステップS122)。なお、撮影時にはフィルタはランダムに設定されているため、設定されているフィルタに描かれている投影される縞模様の角度もランダムに設定された状態となっている。
具体的には、ステップS122にて、フィルタの付いたハロゲンランプ(フィルタ付照明22a)を点灯して撮影対象物にランダムに設定された角度の模様を投影し、その模様が投影されている認証対象物をCCDカメラ(画像入力部23)で撮影し、撮影によって取得された画像データを画像記憶部41に記憶する処理が実行される。
次いで、顔検出部32は、画像記憶部41から画像データを読み込み、画像データが示す画像の顔領域を検出して検出結果を成り済まし判定部31bに出力する。成り済まし判定部31bは、画像記憶部41から画像データを読み込み、顔検出部32の検出結果を用いて、認証対象物を用いて成り済まししているか否か判定する(ステップS123)。なお、ステップS123では、上述したステップS73と同様にして成り済まし判定処理が実行される。
そして、顔認証装置1bは、顔認証のためのその他の処理を実行する(ステップS124。ステップS124では、上述したステップS23と同一の処理が実行される。
上述した第3の実施例のように、複数フィルタ付き照明22bのフィルタを切り替えることによって、投影する縞模様の角度を切り替える構成としても、上述した第2の実施例と同様の効果を得ることができる。すなわち、上述した第3の実施例においても、認証対象物に投影した模様の角度と、撮影した画像に表れている模様の角度との整合がとれているか否かによって、認証対象物が成り済まし画像であるか否かを確認し、その確認結果に応じて成り済まし判定を行う構成となるので、画像表示装置などを使った成り済まし画像により顔認証を受けようとしている場合であっても、成り済ましであると判定することができる。
また、上述した第3の実施例においても、認証対象物に投影する模様の角度をランダムに決定する構成としているので、認証対象物に投影される模様の角度を予測することができなくなるようにすることができる。従って、たとえ認証装置1bによる成り済まし検出の動作が成り済ましをしようとしている者に知られた場合であっても、成り済まし検出を逃れることのできる成り済まし画像を作成することは困難であり、確実に成り済まし検出を回避することのできる成り済まし画像を作成することは不可能なものとすることができる。すなわち、例えば、成り済ましをしようとしている者によって、複数フィルタ付照明22bが覆い隠されて複数フィルタ付照明22bからの光が遮断され、画像表示装置などを使った成り済まし画像が用いられ、成り済まし検出を逃れようとする行為がなされても、高精度で成り済ましを検出することができる。
また、上述した第3の実施例では、顔認証装置1bが複数フィルタ付照明22bを用いて認証対象物に対して模様を能動的に投影する構成とされているため、画像入力部23の撮影環境が変化することによる影響を受けにくい。すなわち、複数フィルタ付照明22bによって能動的に模様を照射するので、画像入力部23の周辺に設置されている他の照明(例えば室内照明などの複数フィルタ付照明22b以外の署名)の光による影響を受けることなく、認証対象物に確実に模様を投影することができる。
なお、上述した第3の実施例では、画像中の顔領域を得るために顔検出部32で顔を検出して顔領域を求めているが、被撮影者に画像中の特定の位置に顔が写るよう教示できる場合は、かかる特定の位置を顔領域として処理するようにしてもよい。この場合、顔検出部32を必要としないで、成り済まし判定部31bによる成り済まし判定処理を実行することができる。
また、上述した第3の実施例では、照明制御部21bが、選択されているフィルタに描かれている縞模様の角度を示す角度情報を成り済まし判定部31bに送信する構成としていたが、角度情報は、選択されているフィルタに描かれている縞模様の角度を特定できる情報であればどのような情報であってもよく、例えば、角度情報として、選択されているフィルタの種類を示す情報を用いるようにしてもよい。この場合、成り済まし判定部31bは、各フィルタに対応する縞模様の角度を示すデータテーブルを備える構成とし、選択されているフィルタの種類に対応付けされている縞模様の角度をデータテーブルから抽出するようにすればよい。
図16は、本発明の成り済まし検出装置の第4の実施例を含む顔認証装置1cの構成の例を示すブロック図である。以下の説明において、上述した各実施例における顔認証装置と同一の構成および処理を行う部分については、同一の符号を付与してその詳細な説明を省略する。
図16に示すように、顔認証装置1cは、人物計測部2cと、データ処理装置3cと、記憶装置4とを備える。人物計測部2cは、照明制御部21cと、色フィルタ付照明22cと、画像入力部23とを含む。データ処理装置3cは、成り済まし判定部31cと、顔検出部32とを含む。
照明制御部21cは、色フィルタ付照明22cを制御して、ランプを点灯/消灯させる機能と、色フィルタ付照明22cのフィルタの切り替えを制御する機能と、使用するフィルタとして設定したフィルタに描かれている模様の色を示す色情報を成り済まし判定部31cに向けて送信する機能を有する。色フィルタ付照明22cは、照明としての光源と、直線を並べた縞模様が各フィルタ毎にそれぞれ異なる色で描かれた複数のフィルタとを備える。色フィルタ付照明22cに取り付けられている各フィルタのうち模様の投影に用いられるフィルタは、照明制御部21cの制御によって、照明を点灯することで撮影対象物に模様が投影される位置に配置される。この各フィルタには、光源としてのハロゲンランプの光を各フィルタ毎に1つ1つ異なる所定の色だけ透過させるインクで、直線を平行に並べた縞模様が描かれている。従って、色フィルタ付照明22cは、画像入力部23による撮影が実行される毎に、照明制御部21cの制御によって撮影対象物に模様が投影される位置に配置されたフィルタによって、異なる色の縞模様を認証対象者(被撮影者)に投影することができる。
すなわち、上述した第3の実施例では複数フィルタ付照明22bが備える複数のフィルタを切り替えることによって投影する模様の角度をランダムに決定するようにしているが、この実施例では、色フィルタ付照明22cが備える複数のフィルタを切り替えることによって投影する模様の色をランダムに決定するようにしている。
成り済まし判定部31cは、画像記憶部41に格納されている画像データを読み込むとともに、照明制御部21cからの色情報を取得する機能を有する。また、成り済まし判定部31cは、顔検出部32で特定された顔領域の画像と、取得した色情報が示す色とにもとづいて、認証対象物が、成り済ましのために用いられているものであるか、成り済ましのために用いられているものでない可能性があるかを判定する機能を有する。
図17は、第4の実施例における顔認証装置1cが実行する顔認証処理の例を示すフローチャートである。顔認証処理において、照明制御部21cは、色フィルタ付照明22cに備えられている複数のフィルタのうち何れのフィルタを使用するかを認証を受けようとしている者が予測不能なようにランダムに決定し、撮影対象物に模様が投影される位置に配置されているフィルタを決定したフィルタに切り替える(ステップS141)。すなわち、照明制御部21cの制御によって、色フィルタ付照明22cのフィルタを交換し、フィルタの模様の色を交換する。
なお、この実施例では、照明制御部21cは、模様の色が異なっている1枚1枚の複数のフィルタの中から1枚のフィルタを選択し、模様が投影される位置に配されるフィルタを選択したフィルタに切り替える機能を有するものとする。なお、各フィルタの模様に使用される色は、例えば、画像処理で判別しやすいよう彩度が高い色を使うようにすればよい。具体的には、例えば赤、青、緑の3色を使用するようにすればよい。なお、各フィルタに描かれている縞模様における直線の角度は任意である。
フィルタが切り替えられると、人物計測部2cは、色フィルタ付照明22cを点灯してフィルタに描かれている色が付いた模様を認証対象物(撮影対象物)に投影し、色付きの模様が投影されている撮影対象物を例えばCCDカメラで構成される画像入力部23で撮影し、撮影によって取得した画像データを記憶装置4に出力して画像記憶部41に格納する(ステップS142)。なお、撮影時にはフィルタはランダムに設定されているため、設定されているフィルタに描かれている模様の色もランダムに設定された状態となっている。
具体的には、ステップS142にて、フィルタの付いたハロゲンランプ(色フィルタ付照明22c)を点灯して撮影対象物にランダムに設定された色で描かれた模様を投影し、その色付きの模様が投影されている認証対象物をCCDカメラ(画像入力部23)で撮影し、撮影によって取得された画像データを画像記憶部41に記憶する処理が実行される。
次いで、顔検出部32は、画像記憶部41から画像データを読み込み、画像データが示す画像の顔領域を検出して検出結果を成り済まし判定部31cに出力する。成り済まし判定部31cは、画像記憶部41から画像データを読み込み、顔検出部32の検出結果を用いて、認証対象物が成り済まし行為に用いられているものであるか否か判定する(ステップS143)。すなわち、ステップS143では、画像入力部23によって撮影された画像を用いて成り済まし判定処理が実行される。
そして、顔認証装置1cは、顔認証のためのその他の処理を実行する(ステップS144)。ステップS144では、上述したステップS23と同一の処理が実行される。
図18は、第4の実施例における成り済まし判定処理(ステップS143)の例を示すフローチャートである。成り済まし判定処理において、成り済まし判定部31cは、色付きの模様が投影された認証対象物の画像を示す画像データを画像記憶部41から読み込み(ステップS151)、読み込んだ画像データが示す画像の顔領域に表れている縞模様を抽出する(ステップS152)。
顔領域に表れている縞模様を抽出すると、成り済まし判定部31cは、画像中の顔領域にある模様の色と、模様の投影に使用したフィルタに描かれている模様の色とを比較し、画像中の顔領域にある模様の色が、模様の投影に使用したフィルタに描かれている模様の色成分に近いか否か判定する(ステップS153)。画像中の顔領域にある模様の色は、例えば、画像中の模様領域に多い色成分を求めることによって特定される。
色成分が近くなければ(ステップS154のN)、別の色の縞模様があることになることから、成り済ましを意図して人工的に作成された成り済まし画像であるとみなし、少なくとも人物自体ではないと判断することができるため、成り済ましであると判定する(ステップS155)。
色成分が近ければ(ステップS154のY)、成り済まし判定部31cは、画像中の顔領域にある縞が直線であるかどうか判定する(ステップS156)。縞が直線であれば(ステップS157のN)、認証対象物が写真や画像表示装置のような平面形状の物体であり、少なくとも人物自体ではないと判断することができるため、成り済ましであると判定する(ステップS155)。
縞が直線でなければ(ステップS157のY)、成り済まし判定部31cは、認証対象物が3次元の凹凸形状がある立体形状であり、人物自体である可能性があるため、成り済ましでない可能性があると判定する(ステップS158)。
図19は、第4の実施例での成り済まし判定処理(ステップS143、図18の処理)における投影された模様の色とフィルタの色との色成分が近いか否かを判定する部分の処理(ステップS152〜ステップS154)の具体例を示すフローチャートである。なお、図19におけるステップS156a〜ステップS157aは、上述した図6におけるステップS33a〜ステップS34aと同一の処理であるため、その詳細な説明は省略する。
成り済まし判定部31cは、色付きの模様が投影された認証対象物を示す画像データを画像記憶部41から読み込み(ステップS151)、画像データが示す画像を輝度値に応じて2値化することで投影された縞模様の領域を抽出する(ステップS152a)。次に、成り済まし判定部31cは、縞模様の領域の色とそうでない領域の色とをRGB色空間(赤、緑、青成分による色記述法)で比較して画像中の縞模様の領域に多い色成分を求め、画像中の顔領域にある模様の色と、模様の投影に使用したフィルタに描かれている模様の色とを比較し、使用したフィルタに描かれている模様の色成分に近いか判断する(ステップS153a)。フィルタに描かれている模様の色成分に近くない場合は(ステップS154aのN)、別の色の縞模様があることになることから、成り済ましを意図して人工的に作成された成り済まし画像であるとみなし、少なくとも人物自体ではないと判断することができるため、成り済ましであると判定する(ステップS155)。
上述した第4の実施例のように、色フィルタ付き照明22cのフィルタを切り替えることによって、投影する縞模様の色を切り替える構成としても、上述した第3の実施例と同様の効果を得ることができる。すなわち、上述した第4の実施例においても、認証対象物に投影した模様の色と、撮影した画像に表れている模様の色との色成分が近いか否かによって、認証対象物が成り済まし画像であるか否かを確認し、その確認結果に応じて成り済まし判定を行う構成となるので、画像表示装置などを使った成り済まし画像により顔認証を受けようとしている場合であっても、成り済ましであると判定することができる。
また、上述した第4の実施例において、認証対象物に投影する模様の色をランダムに決定する構成としているので、認証対象物に投影される模様の色を予測することができなくなるようにすることができる。従って、たとえ認証装置1cによる成り済まし検出の動作が成り済ましをしようとしている者に知られた場合であっても、成り済まし検出を逃れることのできる成り済まし画像を作成することは困難であり、確実に成り済まし検出を回避することのできる成り済まし画像を作成することは不可能なものとすることができる。すなわち、例えば、成り済ましをしようとしている者によって、色フィルタ付照明22cが覆い隠されて色フィルタ付照明22cからの光が遮断され、画像表示装置などを使った成り済まし画像が用いられ、成り済まし検出を逃れようとする行為がなされても、高精度で成り済ましを検出することができる。
また、上述した第4の実施例では、顔認証装置1cが色フィルタ付照明22cを用いて認証対象物に対して模様を能動的に投影する構成とされているため、画像入力部23の撮影環境が変化することによる影響を受けにくい。すなわち、色フィルタ付照明22cによって能動的に模様を照射するので、画像入力部23の周辺に設置されている他の照明(例えば室内照明などの色フィルタ付照明22c以外の署名)の光による影響を受けることなく、認証対象物に確実に模様を投影することができる。
なお、上述した第4の実施例では、画像中の顔領域を得るために顔検出部32で顔を検出して顔領域を求めているが、被撮影者に画像中の特定の位置に顔が写るよう教示できる場合は、かかる特定の位置を顔領域として処理するようにしてもよい。この場合、顔検出部32を必要としないで、成り済まし判定部31cによる成り済まし判定処理を実行することができる。
また、上述した第4の実施例では、色フィルタ付照明22cが、それぞれ異なるの色の模様が描かれた複数のフィルタを有する構成としていたが、それぞれ異なる色をベースとする複数のフィルタを有する構成としてもよい。すなわち、上述した第4の実施例では、透明色のフィルタに半透明の色付き模様が描かれているとしていたが、半透明の色付きフィルタに例えば光を透過させない黒インクによって模様が描かれているとしてもよい。この場合、色付きの模様が認証対象物に投影されるのではなく、模様が投影される部分以外の部分に色が投影されることになる。そして、上述したステップS153aでは、認証対象物を示す画像における模様が投影された部分以外の部分の色と、フィルタの色とを比較するようにすればよい。
また、上述した第4の実施例では、照明制御部21cが、選択されているフィルタに描かれている縞模様の色を示す色情報を成り済まし判定部31cに送信する構成としていたが、色情報は、選択されているフィルタに描かれている縞模様の色を特定できる情報であればどのような情報であってもよく、例えば、色情報として、選択されているフィルタの種類を示す情報を用いるようにしてもよい。この場合、成り済まし判定部31cは、各フィルタに対応する縞模様の色を示すデータテーブルを備える構成とし、選択されているフィルタの種類に対応付けされている縞模様の色をデータテーブルから抽出するようにすればよい。
図20は、本発明の成り済まし検出装置の第5の実施形態を含む顔認証装置1dの構成の例を示すブロック図である。以下の説明において、上述した各実施例における顔認証装置と同一の構成および処理を行う部分については、同一の符号を付与してその詳細な説明を省略する。
図20に示すように、顔認証装置1dは、人物計測部2dと、データ処理装置3dと、記憶装置4dとを備える。人物計測部2dは、画像入力部23と、距離センサ24とを含む。データ処理装置3dは、成り済まし判定部31dを含む。記憶装置4dは、画像記憶部41と、特徴記憶部42とを含む。
記憶装置4dは、RAMなどの記憶媒体によって構成される画像記憶部41と特徴記憶部42とを含む。画像記憶部41および特徴記憶部42は、例えば、磁気ディスク記憶装置により構成される。データ処理装置3dには、例えばパーソナルコンピュータが用いられる。このパーソナルコンピュータは、成り済まし判定部31dとして機能するCPU(中央演算装置)を有している。
距離センサ24は、センサと対象物体との距離を測定する装置であり、例えば超音波距離計測センサが用いられる。距離センサ24は、計測した距離を示す実測距離データを記憶装置4dに送信する。距離センサ24は、画像入力部23と撮影対象物体との距離を測れるような位置、例えば画像入力部23であるカメラに隣接した位置に配置される。
特徴記憶部42は、距離センサ24によって計測された距離を示す実測距離データと、あらかじめ想定されている画像入力部23と認証対象者との適切な距離を示す適正距離データとを記憶する。
成り済まし判定部31dは、特徴記憶部42に格納されている実測距離データと適正距離データとを読み込み、各距離データにもとづいて、認証対象物が、成り済ましのために用いられているものであるか、成り済ましのために用いられているものでない可能性があるかを判定する機能を有する。
図21は、第5の実施例における顔認証装置1dが実行する顔認証処理の例を示すフローチャートである。ここでは、画像入力部23と認証対象者との適切な距離がLミリメートルとあらかじめ定められ、その距離を示す適正距離データがあらかじめ特徴記憶部42に記憶されているものとする。
顔認証処理において、人物計測部2dは、撮影対象物を画像入力部23で撮影すると同時に、距離センサ24で撮影対象物と画像入力部23との距離を計測し、計測によって得た実測距離データを記憶装置4dに出力して特徴記憶部42に格納する(ステップS181)。
成り済まし判定部31dは、特徴記憶部42から実測距離データと適正距離データとを読み込み、成り済ましであるか否か判定する(ステップS182)。すなわち、ステップS182では、実測距離データと適正距離データとを用いて成り済まし判定処理が実行される。
そして、顔認証装置1dは、顔認証のためのその他の処理を実行する(ステップS183)。ステップS183では、上述したステップS23と同一の処理が実行される。
図22は、第5の実施例における成り済まし判定処理(ステップS182)の例を示すフローチャートである。成り済まし判定処理において、成り済まし判定部31dは、距離センサ24によって計測された距離を示す実測距離データと、あらかじめ定められ設定されている適正距離データとを特徴記憶部42から読み込む(ステップS191)。
次いで、成り済まし判定部31dは、読み込んだ実測距離データが示す距離と、適正距離データが示す距離(Lミリメートル)にもとづいてあらかじめ設定される閾値(例えば(L/2)ミリメートル)とを比較し、実測距離データが示す距離が閾値以下か否か判定する(ステップS192)。閾値は、画像入力部23から、本来の撮影位置よりも撮影対象物が画像入力部23に近過ぎ過ぎているとみなせる所定位置までの距離を示す値とされる。よって、閾値は、適正距離データが示す距離よりも十分短い距離を示す値とされる。
ステップS192にて閾値以下であれば、成り済まし判定部31dは、適切な距離より極端に近い位置に認証対象物があると判断し、特定人物である本人よりも小さい偽顔で成り済まし(例えば本人の顔を撮影した画像を表示した表示装置を画像入力部23に近づけた状態で画像入力部23に撮影させることによる成り済まし行為)をしていると判定する(ステップS193)。一方、閾値以下でなければ、成り済ましでない可能性があると判定する(ステップS194)。
このように、上述した第5の実施例では、認証対象物が本来の撮影位置よりも近い位置にあることを確認した場合に、成り済まししていると判定する構成としたので、本人の顔よりも小さい偽顔を画像入力部23に近づけることによる成り済まし行為を検出することができる。なお、本人の顔よりも小さい偽顔とは、例えば、顔写真に写っている実際の顔よりも小さい顔、画像表示装置に表示されている実際の顔よりも小さい顔、顔形状をした立体模型によって形成された本人の顔よりも小さい顔などが考えられる。上述した第5の実施例では、上記のような偽顔を画像入力部23であるカメラに近づけて、認証時に適切な大きさの顔にみせかける成り済まし行為を検出することができる。
しかも、上述した第5の実施例では、認証対象物と画像入力部23との実測距離によって成り済まし判定を行う構成とし、画像処理を行うことなく成り済まし検出を行うことができるため、上述した第1の実施例などにおける画像データを用いて成り済まし判定を行う場合と比較して、少ない計算量で上記のような本人の顔よりも小さい偽顔を用いた成り済まし行為を検出することができる。よって、成り済まし検出装置の制御負担を軽減することができるとともに、成り済まし行為を迅速に検出することができる。
なお、上述した第5の実施例では、認証対象物が本来の撮影位置よりも近い位置にあることを確認した場合に、成り済まししていると判定する構成としていたが、逆に、認証対象物が本来の撮影位置よりも遠い位置にあることを確認した場合に、成り済まししていると判定する構成としてもよい。この場合、適正距離データが示す距離(Lミリメートル)にもとづいてあらかじめ設定される閾値を、長い距離(例えば(3L/2)ミリメートル)とし、ステップS192にて実測距離データが示す距離が閾値以上か否か判定するようにすればよい。ここでの閾値は、画像入力部23から、本来の撮影位置よりも撮影対象物が画像入力部23から遠過ぎるとみなせる所定位置までの距離を示す値とされる。よって、この例における閾値は、適正距離データが示す距離よりも十分長い距離を示す値とされる。上記のように構成すれば、本人の顔よりも大きい偽顔を画像入力部23に近づけることによる成り済まし行為を検出することができる。なお、本人の顔よりも大きい偽顔とは、例えば、顔形状をした立体模型によって形成された本人の顔よりも大きい顔などが考えられる。上述した例では、上記のような偽顔を画像入力部23であるカメラから遠ざけて、認証時に適切な大きさの顔にみせかける成り済まし行為を検出することができる。
ステップS192にて閾値以下であれば、成り済まし判定部31dは、適切な距離より極端に近い位置に認証対象物があると判断し、特定人物である本人よりも小さい偽顔で成り済まし(例えば本人の顔を撮影した画像を表示した表示装置を画像入力部23に近づけた状態で画像入力部23に撮影させることによる成り済まし行為)をしていると判定する(ステップS193)。一方、閾値以下でなければ、成り済ましでない可能性があると判定する(ステップS194)。
図23は、本発明の成り済まし検出装置の第6の実施例を含む顔認証装置1eの構成の例を示すブロック図である。以下の説明において、上述した各実施例における顔認証装置と同一の構成および処理を行う部分については、同一の符号を付与してその詳細な説明を省略する。
図23に示すように、顔認証装置1eは、人物計測部2eと、データ処理装置3eと、記憶装置4eとを備える。人物計測部2eは、画像入力部23と、物体検知センサ25とを含む。データ処理装置3eは、成り済まし判定部31eを含む。記憶装置4eは、画像記憶部41と、特徴記憶部42とを含む。
記憶装置4eは、RAMなどの記憶媒体によって構成される画像記憶部41と特徴記憶部42とを含む。画像記憶部41および特徴記憶部42は、例えば、磁気ディスク記憶装置により構成される。データ処理装置3eには、例えばパーソナルコンピュータが用いられる。このパーソナルコンピュータは、成り済まし判定部31eとして機能するCPU(中央演算装置)を有している。
物体検知センサ25は、自己の設置地点から一定距離内の物体の存在を検知する装置であり、例えば赤外線物体検知センサが用いられる。赤外線物体検知センサとは、赤外線を発し、その反射光を受光することによってある一定の距離以内にある物体を検知するセンサである。物体検知センサ25は、物体を検知するための処理を実行した場合には、その検知結果を示す検知結果データを記憶装置4eに送信する。特徴記憶部42は、物体検知センサ25によって送信された検知結果データを記憶する。物体検知センサ25は、例えば画像入力部23であるカメラに隣接した位置に、撮影対象物方向に向けて配置される。すなわち、物体検知センサ25は、画像入力部23から一定距離内の何らかの物体があるか否かを検知するために用いられる。なお、物体検知センサ15の感度は、あらかじめ想定されている画像入力部23と認証対象物との適切な距離より近い一定距離以内の物体のみを検知するように設定される。
成り済まし判定部31eは、特徴記憶部42に格納されている検知結果データを読み込み、認証対象物が、成り済ましのために用いられているものであるか、成り済ましのために用いられているものでない可能性があるかを判定する機能を有する。
次に、本発明の第6の実施例における認証装置1eの動作について説明する。ここでは、被撮影者とカメラとの適切な距離(適正距離)がLミリメートルとあらかじめ定められているものとする。そして、画像入力部23からの距離が適切な距離より極端に近い距離(認証対象物が認証時に位置する本来の位置よりも成り済まし行為であるとみなせるほど近い距離)として、あらかじめL/2ミリメートルであると定められているものとする。よって、物体検知センサ25は、L/2ミリメートル以内の物体を検知するように感度が設定されている。
この例では、顔認証処理において、人物計測部2dは、撮影対象物を画像入力部23で撮影すると同時に、物体検知センサ25で検知範囲内に物体が存在するか検知し、物体がある場合は適切な距離より極端に近いと判断し、本人よりも小さい偽顔を画像表示部23に撮影させようとしているとみなして成り済ましをしていると判定する。
このように、上述した第6の実施例では、物体検知センサ25の検知結果にもとづいて認証対象物が本来の撮影位置よりも近い位置にあることを確認した場合に、成り済まししていると判定する構成としたので、上述した第5の実施例と同様に、本人の顔よりも小さい偽顔を画像入力部23に近づけることによる成り済まし行為を検出することができる。なお、本人の顔よりも小さい偽顔とは、例えば、顔写真に写っている実際の顔よりも小さい顔、画像表示装置に表示されている実際の顔よりも小さい顔、顔形状をした立体模型によって形成された本人の顔よりも小さい顔などが考えられる。上述した第6の実施例では、上記のような偽顔を画像入力部23であるカメラに近づけて、認証時に適切な大きさの顔にみせかける成り済まし行為を検出することができる。
しかも、上述した第6の実施例では、画像入力部23からの所定距離範囲内に認証対象物が存在しているか否かを確認し、その確認結果にもとづいて成り済まし判定を行う構成とし、画像処理を行うことなく成り済まし検出を行うことができるため、上述した第1の実施例などにおける画像データを用いて成り済まし判定を行う場合と比較して、少ない計算量で上記のような本人の顔よりも小さい偽顔を用いた成り済まし行為を検出することができる。よって、成り済まし検出装置の制御負担を軽減することができるとともに、成り済まし行為を迅速に検出することができる。
図24は、本発明の成り済まし検出装置の第7の実施例を含む顔認証装置1fの構成の例を示すブロック図である。以下の説明において、上述した各実施例における顔認証装置と同一の構成および処理を行う部分については、同一の符号を付与してその詳細な説明を省略する。
図24に示すように、顔認証装置1fは、人物計測部2fと、データ処理装置3fと、記憶装置4fとを備える。人物計測部2fは、画像入力部23と、体重計26とを含む。データ処理装置3fは、成り済まし判定部31fを含む。記憶装置4fは、画像記憶部41と、特徴記憶部42とを含む。
記憶装置4fは、RAMなどの記憶媒体によって構成される画像記憶部41と特徴記憶部42とを含む。画像記憶部41および特徴記憶部42は、例えば、磁気ディスク記憶装置により構成される。データ処理装置3fには、例えばパーソナルコンピュータが用いられる。このパーソナルコンピュータは、成り済まし判定部31fとして機能するCPU(中央演算装置)を有している。
体重計26は、例えば床据え置き型の体重計センサが用いられ、あらかじめ定められている認証対象者の撮影時の適切な配置場所の床面に配置される。すなわち、認証時に対象人物が居るべき場所が顔認証装置1fの画像入力部23であるカメラの前方Mメートル付近である場合、かかる位置の床面に体重計26を設置する。従って、認証対象者は、認証のための画像入力部23による撮影を行うときは、体重計26にのった状態となる。体重計26は、画像入力部23で撮影を行うときの撮影対象物の重量を計測し、その計測値を示す実測体重データを記憶装置4fに向けて送信する。
特徴記憶部42は、体重計26からの実測体重データを記憶する。なお、特徴記憶部42には、認証装置1fに登録されている人物全員の体重を示す既測体重データがあらかじめ記憶されている。
成り済まし判定部31fは、特徴記憶部42に格納されている実測体重データと既測体重データとを読み込み、認証対象物が、成り済ましのために用いられているものであるか、成り済ましのために用いられているものでない可能性があるかを判定する機能を有する。
図25は、第7の実施例における顔認証装置1fが実行する顔認証処理の例を示すフローチャートである。ここでは、顔認証装置1fに登録されている人物全員の体重を示す既測体重データがあらかじめ特徴記憶部42に記憶されているものとする。
顔認証処理において、人物計測部2fは、認証対象物を画像入力部23で撮影すると同時に、体重計26で認証対象物の体重を計測し、計測によって得た実測体重データを記憶装置4fに出力して特徴記憶部42に格納する(ステップS221)。
成り済まし判定部31fは、特徴記憶部42から実測体重データと既測体重データとを読み込み、成り済ましであるか否か判定する(ステップS222)。すなわち、ステップS222では、実測体重データと既測体重データとを用いて成り済まし判定処理が実行される。
そして、顔認証装置1fは、顔認証のためのその他の処理を実行する(ステップS223)。ステップS223では、上述したステップS23と同一の処理が実行される。
上記のように、撮影するときに同時に体重を計測する構成としているので、体重計測時と、撮影時とで認証対象物が入れ替わることに対処できる。なお、体重計26による重量計測は画像入力部23で撮影するのと同時でなくてもよく、認証対象物が入れ替わることができない短い時間だけ処理の実行時がずれていてもよい。例えば、撮影の直前に体重を計測する構成としても、上記と同様の効果を得られる。
図26は、第7の実施例における成り済まし判定処理(ステップS222)の例を示すフローチャートである。成り済まし判定処理において、成り済まし判定部31fは、体重計26によって計測された体重を示す実測体重データと、あらかじめ登録されている既測体重データとを特徴記憶部42から読み込む(ステップS231)。
次いで、成り済まし判定部31fは、認証対象として顔認証装置1fに登録されている人物の体重の最大値と最小値の範囲を基準として、その範囲(基準範囲)から一定のマージンをもたせた範囲(許容範囲)に、実測体重データが示す体重の値(撮影対象物の重量)があるか否かを判定する(ステップS232)。
例えば、顔認証装置1fに登録されている人物の体重の最大値が87.5kgであり、最小値が62.5kgであるとする。この場合、基準範囲は、62.5kg〜87.5kgとなる。そして、マージンの値が5kgと定められていたとすると、許容範囲は、60kg〜90kgとなる。この例では、許容範囲は、ステップS232にて導出される。すなわち、成り済まし判定を行う毎に、そのときの許容範囲を導出する。よって、
ステップS232にて、実測体重データが示す体重の値が許容範囲内でなければ(ステップS233のN)、成り済ましをしていると判定する(ステップS234)。一方、許容範囲内であれば(ステップS233のY)、成り済ましでない可能性があると判定する(ステップS235)。認証対象として顔認証装置1fに登録されている人物の増減があっても、その増減に対応した適切な許容範囲を導出することができる。
このように、上述した第7の実施例では、認証対象物の重量が、顔認証装置1fに登録されている各人物それぞれの体重の範囲にもとづいて定められている許容範囲内にないことを確認した場合に、成り済まししていると判定する構成としたので、例えば成り済まし画像が表示された重い画像表示装置を他人が持って認証時に撮影場所に立つなどして画像入力部23に成り済まし画像を撮影させることによる成り済まし行為を検出することができる。また、顔形状をした重い立体模型を用いた成り済まし行為など、重いものを使用した他の成り済まし行為を検出することもできる。
しかも、上述した第7の実施例では、認証対象物の重量が許容範囲内であるか否かを確認し、その確認結果にもとづいて成り済まし判定を行う構成とし、画像処理を行うことなく成り済まし検出を行うことができるため、上述した第1の実施例などにおける画像データを用いて成り済まし判定を行う場合と比較して、少ない計算量で上記のような重い画像表示装置などを用いた成り済まし行為を検出することができる。よって、成り済まし検出装置の制御負担を軽減することができるとともに、成り済まし行為を迅速に検出することができる。
図27は、本発明の成り済まし検出装置の第8の実施例を含む顔認証装置1gの構成の例を示すブロック図である。以下の説明において、上述した各実施例における顔認証装置と同一の構成および処理を行う部分については、同一の符号を付与してその詳細な説明を省略する。
図27に示すように、顔認証装置1gは、人物計測部2gと、データ処理装置3gと、記憶装置4とを備える。人物計測部2gは、照明制御部21と、後方照明27と、画像入力部23とを含む。データ処理装置3gは、成り済まし判定部31gを含む。
後方照明27は、例えば図28に示すように、画像入力部23から見た撮影対象物の後方に配置される。後方照明27が備える照明を点灯することで、画像入力部23で撮影される画像が逆光状態になる。照明制御部21は、後方照明27の照明の点灯・消灯を制御する。画像入力部23は、後方照明27が点灯されているときに撮影対象物を撮影し、撮影によって得た画像データを記憶装置4に向けて送信し、画像記憶部41に記憶させる。
成り済まし判定部31gは、画像記憶部41に格納されている画像データを読み込み、例えば図27において図示しない顔検出部で検出された顔の領域について処理を行い、認証対象物が、成り済ましのために用いられているものであるか、成り済ましのために用いられているものでない可能性があるかを判定する機能を有する。
図29は、第8の実施例における顔認証装置1gが実行する顔認証処理の例を示すフローチャートである。顔認証処理において、人物計測部2gは、後方照明27を点灯し(ステップS261)、後方照明27の点灯中に認証対象物(被撮影者)を画像入力部23で撮影する(ステップS262)。これによって認証対象物領域の輝度が低い逆光の画像が得られる。次いで、人物計測部2gは、撮影によって得た画像データを記憶装置4に出力して画像記憶部41に記憶させる。
成り済まし判定部31gは、画像記憶部41から画像データを読み込み、成り済ましであるか否か判定する(ステップS263)。すなわち、ステップS263では、後方照明27の点灯中に撮影された認証対象物を示す画像データを用いて成り済まし判定処理が実行される。
そして、顔認証装置1gは、顔認証のためのその他の処理を実行する(ステップS264)。ステップS264では、上述したステップS23と同一の処理が実行される。
図30は、第8の実施例における成り済まし判定処理(ステップS263)の例を示すフローチャートである。成り済まし判定処理において、成り済まし判定部31gは、後方照明27の点灯中に撮影された画像を示す画像データを画像記憶部41から読み込む(ステップS271)。この画像データが示す画像は、逆光のため、撮影対象の領域が背景より暗くなっている。
次いで、成り済まし判定部31gは、輝度値の2値化によって画像中の暗い領域を抽出する(ステップS272)。また、抽出された認証対象物の領域から画像中での顔幅を求める(ステップS273)。そして、認証対象物領域と背景との境界線について、顔幅を短径とする楕円形状の図形(本例では、完全な楕円形だけでなく、楕円形に近い形をも含む図形を意味する。)を検出する(ステップS274)。楕円形状の図形が検出されない場合は(ステップS275のN)、被撮影者の輪郭が顔らしくなく、顔以外の他のものであるとみなして、成り済ましをしていると判定する(ステップS276のY)。なお、一方、楕円が検出された場合は、成り済ましでない可能性があると判定する(ステップS277)。
上述した顔認証装置1gでは、具体的には、例えば、画像入力部23としてCCDカメラが用いられ、後方照明27として認証対象物を後方から照らすよう配置したハロゲンランプが用いられる。特に、認証対象物を後方から照らすハロゲンランプは認証対象物がCCDカメラにより逆光状態で撮影されるよう配置される。
そして、顔認証装置1gでは、まず認証対象物を後方から照らすハロゲンランプ(後方照明27)を点灯し、CCDカメラ(画像入力部23)で逆光状態の認証対象物を撮影し、この撮影した画像より成り済まし判定を行う。ここで成り済ましと判定されなければ、後方から照らすハロゲンランプを消灯して、CCDカメラで画像撮影し、顔検出処理と顔照合処理を行う。
図31は、第8の実施例での成り済まし判定処理(ステップS263、図30の処理)における楕円形状の図形が検出されたか否かを判定する部分の処理(ステップS273〜ステップS275)の具体例を示すフローチャートである。図31に示すように、成り済まし判定部31gは、画像記憶部41から画像データを読み込む(ステップS271)。読み込んだ画像データが示す画像中の認証対象物の領域は、逆光のため、背景より暗くなっている。
次いで、成り済まし判定部31gは、輝度値の2値化によって画像中の暗い領域を抽出することで撮影対象を抽出する(ステップS272)。画像を上から順に、横方向に走査し抽出された領域の幅を求め、初めて極大になる値(図32に示す領域の幅の極大値D)を顔幅とみなす(ステップS273a)。画像をエッジ抽出処理して撮影対象物と背景の境界線を強調した後、ハフ変換により顔幅を短径とする楕円を検出する(ステップS274a)。このハフ変換の投票値が閾値以下の場合は、被撮影者の輪郭が楕円に近くなく、顔でないとみなすことができるため、成り済まししていると判定する(ステップS275a)。
このように、上述した第8の実施例では、認証対象物の輪郭が楕円形状の図形であるか否かを確認し、その確認結果に応じて成り済まし判定を行う構成としているので、人間の頭部形状とは異なる他の物体を用いた成り済ましを検出することができる。すなわち、輪郭の形が人間の頭部形状に近くない物体を用いた偽顔による成り済まし、例えば、長方形形状をした写真や画像表示装置を使った成り済ましを検出することができる。
上述した第8の実施例では、認証対象物を撮影するときに、認証対象物の後方から能動的に照明を当てる構成としているので、認証対象物の輪郭形状を的確に取得し、認証対象物の輪郭を正確に認識することができる。しかも、照明を認証対象物の後方から照射する構成としているので、被撮影者の視野に照明が入らないようにすることができる。よって、被撮影者がまぶしくならないようにすることができ、被撮影者に負荷がかからないようにすることができる。
図33は、本発明の成り済まし検出装置の第9の実施例を含む顔認証装置1hの構成の例を示すブロック図である。以下の説明において、上述した各実施例における顔認証装置と同一の構成および処理を行う部分については、同一の符号を付与してその詳細な説明を省略する。
図33に示すように、顔認証装置1hは、人物計測部2hと、データ処理装置3hと、記憶装置4とを備える。人物計測部2hは、2つの画像入力部23A,23Bとを含む。データ処理装置3hは、成り済まし判定部31hと、顔検出部32とを含む。
画像入力部23Aと画像入力部23Bとは、例えば、それぞれが同じ高さになるように水平に並べて配置される。画像入力部23Aと画像入力部23Bとは、それぞれ、同時に認証対象物を撮影し、撮影により得た画像を示す画像データを記憶装置4に向けて送信し、画像データを画像記憶部41に記憶させる。すなわち、画像記憶部41には、画像入力部23Aと画像入力部23Bによって同時に撮影された2つの画像データが格納される。
成り済まし判定部31hは、画像記憶部41に格納されている2つの画像データを読み込み、顔検出部32で検出された顔の領域について処理を行い、認証対象物が、成り済ましのために用いられているものであるか、成り済ましのために用いられているものでない可能性があるかを判定する機能を有する。
図34は、第9の実施例における顔認証装置1hが実行する顔認証処理の例を示すフローチャートである。顔認証処理において、人物計測部2hは、撮影対象物を画像入力部23Aおよび画像入力装置23Bで同時に撮影する(ステップS311)。次いで、人物計測部2hは、撮影によって得た2つの画像データを記憶装置4に出力し、その2つの画像データを画像記憶部41に記憶させる。
成り済まし判定部31hは、画像記憶部41から2つの画像入力部23A,23Bより得られた2つの画像データを読み込み、2枚の画像を用いて成り済ましであるか否か判定する(ステップS312)。
そして、顔認証装置1hは、顔認証のためのその他の処理を実行する(ステップS313)。ステップS313では、上述したステップS23と同一の処理が実行される。
図35は、第9の実施例における成り済まし判定処理(ステップS312)の例を示すフローチャートである。成り済まし判定処理において、成り済まし判定部31hは、2つの画像入力部23A,23Bでそれぞれ撮影された2枚の画像を示す2つの画像データを画像記憶部41から読み込むとともに(ステップS321)、顔検出部32で検出した顔領域を取得する(ステップS322)。
次いで、成り済まし判定部31hは、2つの画像入力部23A,23Bの視差を利用したステレオ視の計算により距離情報を取得する(ステップS323)。ここでの距離情報は、各画像入力部23A,23Bそれぞれから認証対象物の顔領域における複数の所定箇所までの各距離を示す情報である。距離情報から、ステップS322で取得した撮影対象の顔領域が、平面状であるか曲面状であるかを判定する(ステップS324)。平面であると判定した場合(ステップS325のN)、成り済ましをしていると判定する(ステップS326)。一方、曲面であると判定した場合(ステップS325のY)、成り済ましでない可能性があると判定する(ステップS327)。
上述した顔認証装置1hでは、具体的には、例えば、画像入力部23A,23Bとして2台のCCDカメラが用いられる。特に、CCDカメラ2台は同じ高さに水平に並べて配置される。そして、この例では、CCDカメラのうち1台(例えば画像入力部23A)は顔認証装置1hによる顔認証のための顔撮影にも兼用できるように、認証対象物の正面に配置される。
そして、顔認証装置1hでは、2台のCCDカメラ(画像入力部23A,23B)で同時に認証対象物を撮影し、撮影した2枚の画像を用いて認証対象物が平面形状のものであるか立体形状のものであるかを判定し、その判定結果にもとづいて成り済まし判定を行う。
図36は、第9の実施例での成り済まし判定処理(ステップS312、図35の処理)の具体例を示すフローチャートである。図36に示すように、成り済まし判定部31hは、画像記憶部41から同時に撮影された2枚の画像をそれぞれ示す2つの画像データを読み込む(ステップS321)。また、2枚の画像それぞれについて顔検出部32によって検出された顔領域を示す情報を取得する(ステップS322)。
次いで、成り済まし判定部31hは、左右のCCDカメラの視差を利用したステレオ視の計算により距離情報を取得する(ステップS323)。距離情報から、ステップS322で取得した情報が示す撮影対象の顔領域について、最小二乗法により撮影対象の平面近似を行う(ステップS324a)。そして、平面近似により求められた近似平面と実際の距離情報の2乗誤差があらかじめ設定した閾値以下ならば、撮影対象が平面に近い形状であることを意味するため、成り済ましをしていると判定する(ステップS325a)。
なお、この例では、ステップS323にて距離情報を取得することによって、距離画像(距離情報が示す認証対象物上の各点によって構成される画像)を作成したことになる。すなわち、取得した距離情報によって距離画像が示されることとなる。
このように、上述した第9の実施例では、2つの画像入力部23A,23Bによって同時に撮影した2つの画像を用いて認証対象物が平面形状であるか立体形状であるか否か確認し、その確認結果に従って成り済まし判定を行う構成としたので、他人の顔が表示された写真や画像表示装置などの平面形状の物体を用いた成り済ましを検出することができる。
なお、上述した第9の実施例では、2個の画像入力部23A,23Bを用いる構成としていたが、3個以上の画像入力部を備えて同じ高さに水平に配置し、そのうち任意の2つの画像入力部の撮影による画像データを使用する構成としても、同様の効果を得ることができる。この場合、3個以上の画像入力部によって撮影を行い、その中から画像処理に適している画像データを使用するようにすればよい。具体的には、例えば、各画像入力部での撮影によって得られた各画像データのうち、被撮影者の顔の向きが正面に近い向きとなっている2つの画像データを使用するようにすればよい。また、ステップS322とステップS323の処理の順番を入れ替えても、同様の効果を得ることができる。
図37は、本発明の成り済まし検出装置の第10の実施例を含む顔認証装置1iの構成の例を示すブロック図である。以下の説明において、上述した各実施例における顔認証装置と同一の構成および処理を行う部分については、同一の符号を付与してその詳細な説明を省略する。
図37に示すように、顔認証装置1iは、人物計測部2iと、データ処理装置3iと、記憶装置4とを備える。人物計測部2iは、照明制御部21iと、フィルタ付近赤外照明22iと、近赤外画像入力部23iとを含む。データ処理装置3iは、成り済まし判定部31iと、顔検出部32とを含む。
フィルタ付近赤外照明22iは、近赤外線光源と、直線を並べた縞模様を描いたフィルタとを備え、照明を点灯することで、撮影対象物に人間の目には見えない近赤外線波長の模様を投影できる。なお、縞模様の部分のみを近赤外波長の光が透過するようにしても、縞摸様以外の部分のみを近赤外波長の光が透過するようにしてもよい。照明制御部21iは、フィルタ付近赤外照明22iの照明の点灯・消灯を制御する。近赤外画像入力部23iは、フィルタ付近赤外照明22iが点灯されているときに撮影対象物を撮影し、撮影によって取得した画像データを記憶装置4が備える画像記憶部41に記憶する。
顔認証装置1iの動作は、第1の実施例における顔認証装置1の動作と同じであり、第1の実施例において、フィルタ付照明22をフィルタ付近赤外照明22iに読み替え、画像入力部23を近赤外画像入力部23iに読み替えたものと同じである。
図37に示す顔認証装置1iは、具体的には、例えば、近赤外画像入力部23iとして近赤外CCDカメラが用いられ、フィルタ付近赤外照明22iとしてフィルタを取り付けた近赤外線照明が用いられる。近赤外線照明は、例えば波長が880ナノメートルの発光ダイオード方式の照明によって構成され、近赤外CCDカメラは、例えば波長が880ナノメートルの光(具体的には近赤外照明が照射する波長の光)を撮影できるカメラでによって構成される。
このように、上述した第10の実施例では、人間の目に見えない近赤外線照明で模様を投影することで、第1の実施例の効果に加えて、たとえ被撮影者の視野に入る位置にフィルタ付き照明(例えばフィルタ付近赤外照明22i)を配置しても被撮影者が眩しくないようにすることができ、被撮影者に負担をかけずに成り済ましを検出することができるという効果を奏する。さらに、投影する模様を人間が視認することができないため、顔認識装置1iの成り済まし検出方法を見破られにくいという効果もある。
以上説明したように、上述した各実施例に示した成り済まし検出装置によれば、成り済まし行為を高い精度かつ安定して検出することができるようになる。すなわち、上述した各実施例に示した成り済まし検出装置によれば、成り済まし行為に使用される偽顔として、平面形状の偽顔、大きさが異なる偽顔、頭部の輪郭が人物らしくない偽顔、重量が大きな物体による偽顔といった多種類の偽顔のどれが認証時に使用されても、いずれも成り済まししていると判定することができるため、高精度で安定して成り済まし検出することができる。また、上述した各実施例に示した成り済まし検出装置によれば、人物計測部によって認証対象物が照射されるので、認証対象物を的確に撮影する環境を能動的に整えることができ、安定した画像処理を行うための画像データを取得することができるため、成り済まし行為を安定して検出することができる。
また、上述した各実施例に示した成り済まし検出装置によれば、認証対象者に大きな負担を強いることなく、成り済まし検出を行うことができる。すなわち、認証対象者に向けて強く眩しい照明を照射することなく成り済まし検出を行うことができるため、認証対象者の目に大きな負担を与えてしまうことが回避される。また、上述した各実施例に示した成り済まし検出装置によれば、認証対象者に特別な動作の指示を与えることがないので、認証対象者に負担を強いることなく成り済まし検出を行うことができる。
また、上述した各実施例に示した成り済まし検出装置によれば、大きな制御負担を必要とすることなく高精度で成り済まし検出を行うことができる。すなわち、認証対象者の顔の立体形状を計測することなく、認証対象物が平面形状であるか立体形状であるかなどを判別することで成り済まし行為を検出する構成としているので、成り済まし検出のための制御負担を軽減させることができる。
さらに、上述した各実施例に示した成り済まし検出装置によれば、顔認証装置が高コストとなってしまうことなく、上記の各効果を得ることができる。すなわち、複雑な制御を行う高価な装置やセンサを必要とせず、安価なセンサを用いて成り済まし検出装置を構成しており、さらに、人物計測部に使用する装置(例えば画像入力部や照明)を、顔認証装置における認証処理を行うための装置と兼用することができることから、低コストで顔認証装置を構成することができる。
なお、上述した第1の実施例〜第10の実施例の一部または全部を任意に組合せるようにしてもよい。この場合、組合せた各実施例の動作を順次実行するようにすればよい。上記のように複数の実施例を組合せて成り済まし検出装置を構成するようにすれば、組合せた各実施例でおける各効果を得ることができ、より高精度で安定した成り済まし検出を行うことができるようになる。
具体的には、例えば、第1、第2、第3、第4、第9または第10の実施例と、第5または第6の実施例と、第7の実施例と、第8の実施例とを、少なくとも2つ以上任意に組み合わせた構成とすればよい。例えば、このうち、第1の実施例と、第5の実施例と、第7の実施例と、第8の実施例を組合せて成り済まし検出装置を構成した場合には、認証対象物に照射した縞模様が直線であるか否かと、認証対象物と画像入力部との距離が近過ぎるか否かと、認証対象物の重量が許容範囲内であるか否かと、認証対象物の輪郭が頭部形状であるか否かとの全ての判別結果にもとづいて、成り済まししているか否かを判定することになる。よって、組み合わせた各実施例で得られる複数の効果が得られ、より精度が高くかつ安定した成り済まし判定ができるようになる。
また、上述した各実施例では、認証対象物に投影する模様は、直線が平行に並べられた縞模様であるとしていた。これは、立体形状に投影されたときに、投影元の模様と、投影先での模様との差異が明確に表れるからである。よって、認証対象物に投影される模様は、投影元と投影先でも形状の差異が明確に表れる模様であれば、どのような模様であってもよい。
また、上述した各実施例においては特に言及していないが、成り済まし検出装置には、対象物が特定の人物であるか否かの判定に利用するために当該対象物が特定の人物に成り済ました非特定人物であることを検出するための成り済まし検出を行うための制御プログラム(成り済まし検出プログラム)が搭載されている。成り済まし検出装置を構成する各部(例えばデータ処理装置)は、成り済まし検出プログラムに従って各種の制御を実行する。すなわち、成り済まし検出プログラムは、例えば、成り済まし検出装置に、所定の模様が描かれたフィルタを透過した光を対象物に照射し、当該対象物に模様を投影するステップと、所定の模様が投影されている対象物を撮影して対象物を示す対象物画像データを取得するステップと、対象物画像データが示す対象物画像の顔領域に表れている模様と所定の模様とを比較することで対象物が平面形状であるか否かを判定し、平面形状であれば非特定人物であると判定するステップとを実行させる制御プログラムである。
以上のように、本発明の成り済まし検出装置によれば、対象物に光を照射するとともに当該対象物に所定の模様を投影するための発光体と、発光体の光源の近傍に配置され当該発光体によって照射された光が透過されるフィルタと、発光体の発光により所定の模様が投影されている対象物を撮影して対象物を示す対象物画像データを取得する対象物画像取得手段とを含む対象物情報取得手段と、対象物画像データを格納する画像記憶手段を有する記憶手段と、対象物が非特定人物であるか否か判定する成り済まし判定手段を有するデータ処理手段とを備え、成り済まし判定手段が、対象物画像データが示す対象物画像の顔領域に表れている模様と所定の模様とを比較することで対象物が平面形状であるか否かを判定し、平面形状であれば非特定人物であると判定することを特徴とするので、写真や画像表示装置のような偽顔を表示した平面形状の物体が用いられている場合に、成り済ましであると判定することができる。
対象物情報取得手段は、対象物に投影される模様を変化させるためにフィルタを回転させるフィルタ回転制御手段を有し、フィルタ回転制御手段は、フィルタの回転角度をランダムに選択し回転させ、成り済まし判定手段は、顔検出手段が検出した顔領域に表れている模様の回転角が正当であるか否かを判定し、正当でなければ非特定人物であると判定する構成とした場合には、成り済まし画像の生成を困難なものとすることができ、成り済まし検出の精度を高めることができる。
対象物情報取得手段は、異なる模様が描かれた複数のフィルタと、対象物に模様を投影するために使用するフィルタの切替処理を実行するフィルタ切替制御手段とを有し、フィルタ切替制御手段は、複数のフィルタのいずれかをランダムに選択して切替処理を実行し、成り済まし判定手段は、対象物の顔領域に表れている模様が、フィルタ切替制御手段によって選択され切り替えられたフィルタに描かれた模様であるか否かを判定し、当該フィルタに描かれた模様でなければ非特定人物であると判定する構成とした場合には、成り済まし画像の生成を困難なものとすることができ、成り済まし検出の精度を高めることができる。
対象物情報取得手段は、異なる色で模様が描かれた複数のフィルタと、対象物に模様を投影するために使用するフィルタの切替処理を実行するフィルタ切替制御手段とを有し、フィルタ切替制御手段は、複数のフィルタのいずれかをランダムに選択して切替処理を実行し、成り済まし判定手段は、対象物の顔領域に表れている模様が、フィルタ切替制御手段によって選択され切り替えられたフィルタに描かれた模様の色であるか否かを判定し、当該フィルタに描かれた模様の色でなければ非特定人物であると判定する構成とした場合には、成り済まし画像の生成を困難なものとすることができ、成り済まし検出の精度を高めることができる。
対象物情報取得手段は、対象物画像取得手段に隣接して配置される距離センサを有し、記憶手段は、対象物画像取得手段と特定の人物との適正な距離を示す距離情報があらかじめ格納される特徴記憶手段を有し、距離センサは、対象物画像取得手段と対象物との距離を計測し、成り済まし判定手段は、距離センサによって計測された距離と距離情報が示す距離とを比較することで、対象物画像取得手段と対象物との距離が適正範囲内であるか否かを判定し、適正範囲外であれば非特定人物であると判定する構成とした場合には、画像処理を行うことなく、効率的に成り済まし判定を行うことができる。
対象物情報取得手段は、対象物画像取得手段に隣接して配置される物体検知センサを有し、物体検知センサは、対象物画像取得手段と特定の人物との適正な距離よりも近くに位置する対象物を検知し、記憶手段は、物体検知センサの検知結果が格納される特徴記憶手段を有し、成り済まし判定手段は、物体検知センサによって対象物が検知されたか否かを判定し、検知された場合には非特定人物であると判定する構成とした場合には、対象画像取得手段に近過ぎる位置に対象物がある場合に成り済まししていると判定することができる。
対象物情報取得手段は、対象物が特定の人物であるか否かの判定を行うときに当該対象物が位置するあらかじめ定められた所定位置に設置される重量測定器を有し、記憶手段は、特定の人物であるか否かの判定のためにあらかじめ登録されている人物それぞれの体重情報が格納される特徴記憶手段を有し、重量測定器は、所定位置に位置している対象物の重量を計測し、成り済まし判定手段は、重量測定器によって計測された対象物の重量と特徴記憶手段に格納されている体重情報とを比較することで、対象物の重量が許容重量範囲内であるか否かを判定し、許容重量範囲外であれば非特定人物であると判定する構成とした場合には、画像処理を行うことなく、効率的に成り済まし判定を行うことができる。
対象物情報取得手段は、対象物に後方から光を照射する後方発光体を有し、対象物画像取得手段は、後方発光体の発光により後方から光が照射されている対象物を撮影して逆光状態の対象物を示す逆光画像データを取得し、成り済まし判定手段は、対象物画像取得手段によって取得された逆光画像データが示す逆光画像における輝度値が所定値以下の領域を抽出することによって当該逆光画像における対象物領域を背景領域から分離し、対象物領域と背景領域との境界線の形状が人間の頭部形状であるか否かを判定し、人間の頭部形状でなければ非特定人物であると判定する構成とした場合には、対象物が特定の人物であった場合に、その特定の人物の視界に入る強い光を照射することなく成り済まし検出することができるため、人物に負担を強いることなく成り済まし判定を行うことができる。
対象物情報取得手段は、2つの対象物画像取得手段を備え、成り済まし判定手段は、2つの対象物画像取得手段の視差を利用して対象物の距離画像を作成し、距離画像における既知の顔領域の形状が平面形状であるか否かを判定し、平面形状であれば非特定人物であると判定する構成とした場合には、平面形状の物体を用いた成り済まし行為を確実に検出することができる。
対象物画像取得手段には、近赤外領域の波長を撮影する画像入力手段が用いられ、発光体の光源は、近赤外領域波長の光を照射するように構成した場合には、人間の目に模様が見えないようになるため、成り済まし検出の方法を知られにくくすることができる。

Claims (22)

  1. 対象物が特定の人物であるか否かの判定に利用するために当該対象物が前記特定の人物に成り済ました非特定人物であることを検出する成り済まし検出装置であって、
    前記対象物に光を照射するとともに当該対象物に所定の模様を投影するための発光体と、前記発光体の光源の近傍に配置され当該発光体によって照射された光が透過されるフィルタと、前記発光体の発光により所定の模様が投影されている対象物を撮影して対象物を示す対象物画像データを取得する対象物画像取得手段とを含む対象物情報取得手段と、
    前記対象物画像データを格納する画像記憶手段と、
    前記対象物が前記非特定人物であるか否か判定する成り済まし判定手段を有するデータ処理手段とを備え、
    前記成り済まし判定手段は、前記対象物画像データが示す対象物画像の顔領域に表れている模様と前記所定の模様とを比較することで前記対象物が平面形状であるか否かを判定し、平面形状であれば非特定人物であると判定する
    ことを特徴とする成り済まし検出装置。
  2. データ処理手段は、対象物画像データが示す対象物画像の顔領域を検出する顔検出手段を有し、
    成り済まし判定手段は、前記顔検出手段が検出した顔領域に表れている模様を用いて対象物が平面形状であるか否かを判定する
    請求項1に記載の成り済まし検出装置。
  3. フィルタには、光の透過を遮断する複数の直線を平行に並べた縞模様が描かれており、
    前記成り済まし判定手段は、対象物画像データが示す対象物画像の顔領域に表れている模様と前記直線を平行に並べた縞模様とを比較することで前記対象物が平面形状であるか否かを判定する
    請求項1または請求項2に記載の成り済まし検出装置。
  4. 対象物情報取得手段は、対象物に投影される模様を変化させるためにフィルタを回転させるフィルタ回転制御手段を有し、
    前記フィルタ回転制御手段は、前記フィルタの回転角度をランダムに選択し回転させ、
    成り済まし判定手段は、前記顔検出手段が検出した顔領域に表れている模様の回転角が正当であるか否かを判定し、正当でなければ非特定人物であると判定する
    請求項1から請求項3のうちいずれか1項に記載の成り済まし検出装置。
  5. 対象物情報取得手段は、異なる模様が描かれた複数のフィルタと、対象物に模様を投影するために使用するフィルタの切替処理を実行するフィルタ切替制御手段とを有し、
    前記フィルタ切替制御手段は、複数のフィルタのいずれかをランダムに選択して切替処理を実行し、
    成り済まし判定手段は、前記対象物の顔領域に表れている模様が、前記フィルタ切替制御手段によって選択され切り替えられたフィルタに描かれた模様であるか否かを判定し、当該フィルタに描かれた模様でなければ非特定人物であると判定する
    請求項1から請求項3のうちいずれか1項に記載の成り済まし検出装置。
  6. 対象物情報取得手段は、異なる色で模様が描かれた複数のフィルタと、対象物に模様を投影するために使用するフィルタの切替処理を実行するフィルタ切替制御手段とを有し、
    前記フィルタ切替制御手段は、複数のフィルタのいずれかをランダムに選択して切替処理を実行し、
    成り済まし判定手段は、前記対象物の顔領域に表れている模様が、前記フィルタ切替制御手段によって選択され切り替えられたフィルタに描かれた模様の色であるか否かを判定し、当該フィルタに描かれた模様の色でなければ非特定人物であると判定する
    請求項1から請求項3のうちいずれか1項に記載の成り済まし検出装置。
  7. 対象物情報取得手段は、対象物画像取得手段に隣接して配置される距離センサを有し、
    前記対象物画像取得手段と特定の人物との適正な距離を示す距離情報があらかじめ格納される特徴記憶手段を有し、
    前記距離センサは、前記対象物画像取得手段と対象物との距離を計測し、
    成り済まし判定手段は、前記距離センサによって計測された距離と前記距離情報が示す距離とを比較することで、前記対象物画像取得手段と前記対象物との距離が適正範囲内であるか否かを判定し、適正範囲外であれば非特定人物であると判定する
    請求項1から請求項6のうちいずれか1項に記載の成り済まし検出装置。
  8. 適正範囲には、あらかじめ下限距離が定められており、
    成り済まし判定手段は、対象物画像取得手段と対象物との距離が前記下限距離以上でなければ非特定人物であると判定する
    請求項7に記載の成り済まし検出装置。
  9. 適正範囲には、あらかじめ上限距離が定められており、
    成り済まし判定手段は、対象物画像取得手段と対象物との距離が前記上限距離以下でなければ非特定人物であると判定する
    請求項7または請求項8に記載の成り済まし検出装置。
  10. 対象物情報取得手段は、対象物画像取得手段に隣接して配置される物体検知センサを有し、
    前記物体検知センサは、前記対象物画像取得手段と特定の人物との適正な距離よりも近くに位置する対象物を検知し、
    前記物体検知センサの検知結果が格納される特徴記憶手段を有し、
    成り済まし判定手段は、前記物体検知センサによって対象物が検知されたか否かを判定し、検知された場合には非特定人物であると判定する
    請求項1から請求項6のうちいずれか1項に記載の成り済まし検出装置。
  11. 対象物情報取得手段は、対象物が特定の人物であるか否かの判定を行うときに当該対象物が位置するあらかじめ定められた所定位置に設置される重量測定器を有し、
    記憶手段は、特定の人物であるか否かの判定のためにあらかじめ登録されている人物それぞれの体重情報が格納される特徴記憶手段を有し、
    前記重量測定器は、前記所定位置に位置している対象物の重量を計測し、
    成り済まし判定手段は、前記重量測定器によって計測された対象物の重量と前記特徴記憶手段に格納されている前記体重情報とを比較することで、前記対象物の重量が許容重量範囲内であるか否かを判定し、許容重量範囲外であれば非特定人物であると判定する
    請求項1から請求項10のうちいずれか1項に記載の成り済まし検出装置。
  12. 成り済まし判定手段は、特徴記憶手段に格納されている体重情報のうちの最高重量から最低重量までの範囲を含む許容重量範囲を決定したあと、対象物の重量が許容重量範囲内であるか否かを判定する
    請求項11に記載の成り済まし検出装置。
  13. 対象物情報取得手段は、対象物に後方から光を照射する後方発光体を有し、
    対象物画像取得手段は、前記後方発光体の発光により後方から光が照射されている対象物を撮影して逆光状態の対象物を示す逆光画像データを取得し、
    成り済まし判定手段は、前記対象物画像取得手段によって取得された逆光画像データが示す逆光画像における輝度値が所定値以下の領域を抽出することによって当該逆光画像における対象物領域を背景領域から分離し、対象物領域と背景領域との境界線の形状が人間の頭部形状であるか否かを判定し、人間の頭部形状でなければ非特定人物であると判定する
    請求項1から請求項12のうちいずれか1項に記載の成り済まし検出装置。
  14. 成り済まし判定手段は、対象物領域と背景領域との境界線の形状が楕円に近い形状となったか否かによって人間の頭部形状であるか否かを判定する
    請求項13に記載の成り済まし検出装置。
  15. 成り済まし判定手段は、対象物領域の幅を求め、当該対象物領域と背景領域との境界線の形状が前記対象物領域の幅を短経とする楕円に近い形状となったか否かによって人間の頭部形状であるか否かを判定する
    請求項13に記載の成り済まし検出装置。
  16. 対象物情報取得手段は、2つの対象物画像取得手段を備え、
    成り済まし判定手段は、前記2つの対象物画像取得手段の視差を利用して対象物の距離画像を作成し、前記距離画像における既知の顔領域の形状が平面形状であるか否かを判定し、平面形状であれば非特定人物であると判定する
    請求項1から請求項15のうちいずれか1項に記載の成り済まし検出装置。
  17. 対象物情報取得手段は、2つの対象物画像取得手段を備え、
    データ処理手段は、成り済まし判定手段によって作成される距離画像の顔領域を検出する顔検出手段を有し、
    前記成り済まし判定手段は、前記2つの対象物画像取得手段の視差を利用して対象物の距離画像を作成し、前記顔検出手段が検出した前記距離画像における顔領域の形状が平面形状であるか否かを判定し、平面形状であれば非特定人物であると判定する
    請求項1から請求項15のうちいずれか1項に記載の成り済まし検出装置。
  18. 2つの対象物画像取得手段は、それぞれ水平に設置され、
    2つの対象物画像取得手段のうちの一方は、対象物の正面に配置される
    請求項16または請求項17に記載の成り済まし検出装置。
  19. 対象物情報取得手段は、3つ以上の対象物画像取得手段を備え、
    成り済まし判定手段は、前記3つ以上の対象物画像取得手段の中から2つの対象物画像取得手段を選択し、当該選択した2つの対象物画像取得手段の視差を利用して対象物の距離画像を作成し、前記距離画像における既知の顔領域の形状が平面形状であるか否かを判定し、平面形状であれば非特定人物であると判定する
    請求項1から請求項15のうちいずれか1項に記載の成り済まし検出装置。
  20. 対象物情報取得手段は、3つ以上の対象物画像取得手段を備え、
    データ処理手段は、成り済まし判定手段によって作成される距離画像の顔領域を検出する顔検出手段を有し、
    前記成り済まし判定手段は、前記3つ以上の対象物画像取得手段の中から2つの対象物画像取得手段を選択し、当該選択した2つの対象物画像取得手段の視差を利用して対象物の距離画像を作成し、前記顔検出手段が検出した前記距離画像における顔領域の形状が平面形状であるか否かを判定し、平面形状であれば非特定人物であると判定する
    請求項1から請求項15のうちいずれか1項に記載の成り済まし検出装置。
  21. 対象物画像取得手段には、近赤外領域の波長を撮影する画像入力手段が用いられ、
    発光体の光源は、近赤外領域波長の光を照射する
    請求項1から請求項15のうちいずれか1項に記載の成り済まし検出装置。
  22. 対象物が特定の人物であるか否かの判定に利用するために当該対象物が前記特定の人物に成り済ました非特定人物であることを検出するための成り済まし検出方法であって、
    所定の模様が描かれたフィルタを透過した光を前記対象物に照射し、当該対象物に前記模様を投影するステップと、
    所定の模様が投影されている対象物を撮影して対象物を示す対象物画像データを取得するステップと、
    前記対象物画像データが示す対象物画像の顔領域に表れている模様と前記所定の模様とを比較することで前記対象物が平面形状であるか否かを判定し、平面形状であれば非特定人物であると判定するステップとを含む
    ことを特徴とする成り済まし検出方法
JP2005504985A 2003-02-13 2004-02-12 成り済まし検出装置、および成り済まし検出方法 Expired - Lifetime JP4465719B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2003035511 2003-02-13
JP2003035511 2003-02-13
PCT/JP2004/001497 WO2004072899A1 (ja) 2003-02-13 2004-02-12 成り済まし検出装置、および成り済まし検出方法

Publications (2)

Publication Number Publication Date
JPWO2004072899A1 JPWO2004072899A1 (ja) 2006-06-01
JP4465719B2 true JP4465719B2 (ja) 2010-05-19

Family

ID=32866297

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2005504985A Expired - Lifetime JP4465719B2 (ja) 2003-02-13 2004-02-12 成り済まし検出装置、および成り済まし検出方法

Country Status (7)

Country Link
US (1) US7680299B2 (ja)
EP (1) EP1594085A4 (ja)
JP (1) JP4465719B2 (ja)
KR (1) KR100816602B1 (ja)
CN (3) CN101064005A (ja)
HK (1) HK1089273A1 (ja)
WO (1) WO2004072899A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012113687A (ja) * 2010-11-26 2012-06-14 Hyundai Motor Co Ltd 車両内運転者の顔認証方法
US10878657B2 (en) 2018-07-25 2020-12-29 Konami Gaming, Inc. Casino management system with a patron facial recognition system and methods of operating same
US11521460B2 (en) 2018-07-25 2022-12-06 Konami Gaming, Inc. Casino management system with a patron facial recognition system and methods of operating same

Families Citing this family (56)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE60316690T2 (de) * 2002-07-10 2008-07-17 Nec Corp. System zur bildvergleichung mit verwendung eines dreidimensionalen objectmodelles, bildvergleichverfahren und bildvergleichprogramm
EP1766555B1 (en) * 2004-06-21 2010-08-04 Google Inc. Single image based multi-biometric system and method
FR2880158B1 (fr) * 2004-12-23 2007-02-23 Sagem Procede d'identification d'un individu a partir de caracteristiques de l'individu, avec detection de fraude
CN101198964A (zh) * 2005-01-07 2008-06-11 格斯图尔泰克股份有限公司 使用红外图案照射创建对象的三维图像
JP4734980B2 (ja) * 2005-03-15 2011-07-27 オムロン株式会社 顔認証装置およびその制御方法、顔認証装置を備えた電子機器、顔認証装置制御プログラム、ならびに該プログラムを記録した記録媒体
CN100375977C (zh) * 2005-04-01 2008-03-19 上海银晨智能识别科技有限公司 三维人脸的判别方法
JP4830390B2 (ja) * 2005-07-29 2011-12-07 富士ゼロックス株式会社 物品確認システム、読取装置、及び物品確認方法
JP4793179B2 (ja) * 2005-11-14 2011-10-12 オムロン株式会社 認証装置及び携帯端末
CN100440937C (zh) * 2005-11-14 2008-12-03 欧姆龙株式会社 认证装置和认证方法
JP4747894B2 (ja) * 2006-03-15 2011-08-17 オムロン株式会社 認証装置、認証方法、認証プログラムおよびコンピュータ読み取り可能な記録媒体
KR100851981B1 (ko) * 2007-02-14 2008-08-12 삼성전자주식회사 비디오 영상에서 실 객체 판별 방법 및 장치
JP5170094B2 (ja) * 2007-06-29 2013-03-27 日本電気株式会社 なりすまし検知システム、なりすまし検知方法およびなりすまし検知用プログラム
KR101961052B1 (ko) 2007-09-24 2019-03-21 애플 인크. 전자 장치 내의 내장형 인증 시스템들
JP5273998B2 (ja) * 2007-12-07 2013-08-28 キヤノン株式会社 撮像装置、その制御方法及びプログラム
US8600120B2 (en) 2008-01-03 2013-12-03 Apple Inc. Personal computing device control using face detection and recognition
KR20100073191A (ko) * 2008-12-22 2010-07-01 한국전자통신연구원 거리 정보를 이용한 위조 얼굴 검출 방법 및 장치
US8675926B2 (en) * 2010-06-08 2014-03-18 Microsoft Corporation Distinguishing live faces from flat surfaces
US8704890B2 (en) * 2010-08-19 2014-04-22 Olympus Corporation Inspection apparatus and measuring method
JP5631125B2 (ja) * 2010-09-01 2014-11-26 キヤノン株式会社 画像処理装置、その制御方法及びプログラム
US8655027B1 (en) * 2011-03-25 2014-02-18 The United States of America, as represented by the Director, National Security Agency Method of image-based user authentication
US8773263B2 (en) * 2011-09-01 2014-07-08 Ecolink Intelligent Technology, Inc. Security apparatus and method
US9142108B2 (en) 2011-09-01 2015-09-22 Ecolink Intelligent Technology, Inc. Security apparatus and method
WO2013038877A1 (ja) * 2011-09-13 2013-03-21 富士フイルム株式会社 人物認識装置およびその動作制御方法
US9002322B2 (en) 2011-09-29 2015-04-07 Apple Inc. Authentication with secondary approver
US8769624B2 (en) 2011-09-29 2014-07-01 Apple Inc. Access control utilizing indirect authentication
JP5121999B1 (ja) * 2011-12-26 2013-01-16 株式会社東芝 位置座標検出装置、位置座標検出方法および電子機器
US8831295B2 (en) * 2012-03-21 2014-09-09 Authentec, Inc. Electronic device configured to apply facial recognition based upon reflected infrared illumination and related methods
CN106133748B (zh) 2012-05-18 2020-01-31 苹果公司 用于基于指纹传感器输入来操纵用户界面的设备、方法和图形用户界面
US9135273B2 (en) * 2012-05-24 2015-09-15 Hitachi Kokusai Electric Inc. Similar image search system
CN102779326B (zh) * 2012-06-12 2014-08-06 浙江大学 一种数字伪装图像生成方法
KR101899978B1 (ko) * 2012-07-11 2018-09-19 엘지전자 주식회사 이동 단말기 및 그것의 제어 방법
CN103034846A (zh) * 2012-12-12 2013-04-10 紫光股份有限公司 一种活体人脸鉴别装置
CN104008362B (zh) * 2013-02-27 2018-03-23 联想(北京)有限公司 一种信息处理的方法、识别的方法及电子设备
US9898642B2 (en) 2013-09-09 2018-02-20 Apple Inc. Device, method, and graphical user interface for manipulating user interfaces based on fingerprint sensor inputs
JP5818857B2 (ja) * 2013-10-24 2015-11-18 キヤノン株式会社 情報処理装置およびその制御方法
FR3019311B1 (fr) * 2014-03-31 2017-08-04 Morpho Ensemble d'acquisition d'images biometriques a filtre de compensation
US10482461B2 (en) 2014-05-29 2019-11-19 Apple Inc. User interface for payments
US10109126B2 (en) * 2016-01-12 2018-10-23 Chi-Wei Chiu Biological recognition lock system
DK179186B1 (en) 2016-05-19 2018-01-15 Apple Inc REMOTE AUTHORIZATION TO CONTINUE WITH AN ACTION
FR3070086B1 (fr) * 2017-08-08 2019-08-30 Safran Identity & Security Detection de fraude pour controle d'acces par reconnaissance faciale
KR102185854B1 (ko) 2017-09-09 2020-12-02 애플 인크. 생체측정 인증의 구현
KR102301599B1 (ko) 2017-09-09 2021-09-10 애플 인크. 생체측정 인증의 구현
WO2019056004A1 (en) 2017-09-18 2019-03-21 Element, Inc. METHODS, SYSTEMS AND MEDIA FOR DETECTING MYSTIFICATION DURING MOBILE AUTHENTICATION
CN108171205A (zh) * 2018-01-17 2018-06-15 百度在线网络技术(北京)有限公司 用于识别人脸的方法和装置
US11170085B2 (en) 2018-06-03 2021-11-09 Apple Inc. Implementation of biometric authentication
CN109299677A (zh) * 2018-09-07 2019-02-01 西安知微传感技术有限公司 一种人脸识别活体判断方法及***
US11100349B2 (en) 2018-09-28 2021-08-24 Apple Inc. Audio assisted enrollment
US10860096B2 (en) 2018-09-28 2020-12-08 Apple Inc. Device control using gaze information
CN110532913A (zh) * 2018-11-30 2019-12-03 神盾股份有限公司 电子装置以及生物特征感测方法
US11343277B2 (en) 2019-03-12 2022-05-24 Element Inc. Methods and systems for detecting spoofing of facial recognition in connection with mobile devices
SG10201906721SA (en) 2019-07-19 2021-02-25 Nec Corp Method and system for chrominance-based face liveness detection
US11507248B2 (en) 2019-12-16 2022-11-22 Element Inc. Methods, systems, and media for anti-spoofing using eye-tracking
WO2021124395A1 (ja) * 2019-12-16 2021-06-24 日本電気株式会社 判定システム、判定方法、コンピュータプログラム、及び認証システム
US11163985B2 (en) * 2020-01-24 2021-11-02 Visa International Service Association Evaluating the security of a facial recognition system using light projections
CN112069917B (zh) * 2020-08-14 2024-02-02 武汉轻工大学 一种用于固定场景的人脸识别***
CN112907530B (zh) * 2021-02-08 2022-05-17 南开大学 基于分组反向注意力的伪装物体检测方法及***

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6856873B2 (en) * 1995-06-07 2005-02-15 Automotive Technologies International, Inc. Vehicular monitoring systems using image processing
JPH04242106A (ja) 1991-01-16 1992-08-28 Nippondenso Co Ltd 顔の認識装置
JPH0650752A (ja) 1992-07-31 1994-02-25 Ricoh Co Ltd 画像形成装置
JPH06189048A (ja) * 1992-09-14 1994-07-08 Ricoh Co Ltd 操作表示用制御装置、画像形成装置及び電源投入用制御装置
US5838428A (en) * 1997-02-28 1998-11-17 United States Of America As Represented By The Secretary Of The Navy System and method for high resolution range imaging with split light source and pattern mask
DE19712844A1 (de) * 1997-03-26 1998-10-08 Siemens Ag Verfahren zur dreidimensionalen Identifizierung von Objekten
US6108437A (en) 1997-11-14 2000-08-22 Seiko Epson Corporation Face recognition apparatus, method, system and computer readable medium thereof
US6301370B1 (en) * 1998-04-13 2001-10-09 Eyematic Interfaces, Inc. Face recognition from video images
JP3950226B2 (ja) 1998-05-08 2007-07-25 富士フイルム株式会社 画像処理方法および装置
US6377700B1 (en) * 1998-06-30 2002-04-23 Intel Corporation Method and apparatus for capturing stereoscopic images using image sensors
CN1254904A (zh) * 1998-11-18 2000-05-31 株式会社新太吉 用于拍摄/识别脸孔的方法和装置
JP2002117377A (ja) 2000-10-04 2002-04-19 Nec Corp 位置情報を用いた、個人認証システム、カードによる認証システム及び暗証番号によるドアロックシステム
JP2002236666A (ja) 2001-02-09 2002-08-23 Matsushita Electric Ind Co Ltd 個人認証装置
US20040037450A1 (en) * 2002-08-22 2004-02-26 Bradski Gary R. Method, apparatus and system for using computer vision to identify facial characteristics

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012113687A (ja) * 2010-11-26 2012-06-14 Hyundai Motor Co Ltd 車両内運転者の顔認証方法
US10878657B2 (en) 2018-07-25 2020-12-29 Konami Gaming, Inc. Casino management system with a patron facial recognition system and methods of operating same
US11455864B2 (en) 2018-07-25 2022-09-27 Konami Gaming, Inc. Casino management system with a patron facial recognition system and methods of operating same
US11521460B2 (en) 2018-07-25 2022-12-06 Konami Gaming, Inc. Casino management system with a patron facial recognition system and methods of operating same

Also Published As

Publication number Publication date
EP1594085A1 (en) 2005-11-09
EP1594085A4 (en) 2008-02-27
US7680299B2 (en) 2010-03-16
JPWO2004072899A1 (ja) 2006-06-01
US20060093183A1 (en) 2006-05-04
KR20050096187A (ko) 2005-10-05
CN101064004A (zh) 2007-10-31
CN101064004B (zh) 2010-05-26
WO2004072899A1 (ja) 2004-08-26
HK1089273A1 (en) 2006-11-24
CN1748227A (zh) 2006-03-15
CN101064005A (zh) 2007-10-31
CN100576245C (zh) 2009-12-30
KR100816602B1 (ko) 2008-03-24

Similar Documents

Publication Publication Date Title
JP4465719B2 (ja) 成り済まし検出装置、および成り済まし検出方法
US10943138B2 (en) Systems and methods of biometric analysis to determine lack of three-dimensionality
US7801335B2 (en) Apparatus and methods for detecting the presence of a human eye
KR101286454B1 (ko) 눈 영상의 특성을 이용한 모조얼굴 식별장치 및 방법
CN105488782B (zh) 光泽判定装置以及光泽判定方法
KR100743780B1 (ko) 생체 판별 장치와 그것을 사용한 인증 장치 및 생체 판별방법
JP6607755B2 (ja) 生体撮影装置および生体撮影方法
CN107479801A (zh) 基于用户表情的终端显示方法、装置及终端
US11710289B2 (en) Information processing apparatus, information processing system, and material identification method
JP2013522754A (ja) 複数の虹彩テンプレートを用いた虹彩認識装置及び方法
CN104598882A (zh) 用于生物特征验证的电子欺骗检测的方法和***
JP7241063B2 (ja) 生体認証のためのレーザスペックル分析
JP2010092121A (ja) 撮像装置、撮像プログラム、撮像方法、認証装置、認証プログラム及び認証方法
JP2009187130A (ja) 顔認証装置
WO2019163066A1 (ja) なりすまし検知装置、なりすまし検知方法、及びコンピュータ読み取り可能な記録媒体
CN109661668A (zh) 用于虹膜识别的图像处理方法和***
JP2017161965A (ja) 顔画像処理装置
JP6904624B1 (ja) クラブヘッド計測用マークおよび画像処理装置
CN110274911B (zh) 图像处理***、图像处理装置、存储介质
JP4694352B2 (ja) 指紋照合装置
KR102679397B1 (ko) 생체 인증 장치 및 생체 인증 방법
KR20220052828A (ko) 생체 인증 장치 및 생체 인증 방법
JP2022098939A (ja) 照合装置及び照合プログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20070115

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20091021

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20091218

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20100201

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20100214

R150 Certificate of patent or registration of utility model

Ref document number: 4465719

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130305

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130305

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140305

Year of fee payment: 4

EXPY Cancellation because of completion of term