JP6485655B2 - 顔認証装置、顔認証方法、および顔認証プログラム - Google Patents

顔認証装置、顔認証方法、および顔認証プログラム Download PDF

Info

Publication number
JP6485655B2
JP6485655B2 JP2017060863A JP2017060863A JP6485655B2 JP 6485655 B2 JP6485655 B2 JP 6485655B2 JP 2017060863 A JP2017060863 A JP 2017060863A JP 2017060863 A JP2017060863 A JP 2017060863A JP 6485655 B2 JP6485655 B2 JP 6485655B2
Authority
JP
Japan
Prior art keywords
image
mirror
face
face authentication
mirror region
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017060863A
Other languages
English (en)
Other versions
JP2018163552A (ja
Inventor
貴之 加瀬
貴之 加瀬
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Priority to JP2017060863A priority Critical patent/JP6485655B2/ja
Priority to US15/933,723 priority patent/US11321552B2/en
Priority to US16/127,737 priority patent/US10878222B2/en
Priority to US16/128,688 priority patent/US11380130B2/en
Priority to US16/128,712 priority patent/US11176356B2/en
Publication of JP2018163552A publication Critical patent/JP2018163552A/ja
Application granted granted Critical
Publication of JP6485655B2 publication Critical patent/JP6485655B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161Detection; Localisation; Normalisation
    • G06V40/166Detection; Localisation; Normalisation using acquisition arrangements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168Feature extraction; Face representation
    • G06V40/171Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172Classification, e.g. identification

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Collating Specific Patterns (AREA)
  • Image Processing (AREA)

Description

本発明は、顔認証装置、顔認証方法、および顔認証プログラムに関する。
顔認証技術において高い認証精度を得るためには、顔をできるだけ真正面から撮影することが必要である。特に、監視用途のカメラでは天井付近にカメラが設置されることが多いため、真正面から顔をとらえることは困難である。
カメラの被写体に対する角度、距離、高さなどを推奨設定にすることで認証精度向上が見込める。しかしながら、狭いフロアや通路などにカメラを設置する場合には、環境により推奨設定にできず、顔認証が困難となるケースが存在する。
一方、このような困難を解決するために、鏡を利用した顔認証技術が種々提案されている。例えば、そのような鏡を利用した顔認証技術としては、あらかじめ正面顔画像、反射顔画像、および反射側面像をデータベースに登録しておく必要があるものや、実像と反射像とを区別せずに認証処理をするものが知られている。しかしながら、このような鏡を利用した顔認証技術では、左右反転時の顔画像と似た人物とが誤検出されてしまう懸念がある。
例えば、特許文献1は、正面鏡と少し傾けた鏡を設置し、反射正面像と反射側面像とをカメラで撮影することで入退室用途の顔認証精度を向上させる技術を開示している。
また、特許文献2は、顔の正面像と、2枚の鏡によって反射させた右側面像および左側面像を広角カメラによって撮像し、それら撮像した像を用いて認証許否の判定を行うようにした技術を開示している。特許文献2でも、特許文献1と同様に、登録情報として、認証対象者の顔の正面像、右側画像および左側画像を記憶部に登録している。
さらに、特許文献3は、鏡に反射した顔画像のみを照合する技術を開示している。
また、特許文献4は、複数のミラーの反射から得られる認証対象者の顔画像から顔が正面となる顔画像を抽出して当該認証対象者の顔認証を行なう技術を開示している。
一方、特許文献5は、撮影カメラで生成された人物像の画像データ(反射鏡により人物の左右が反転している人物像の画像データ)を、画像反転処理部によって左右を反転して正規の画像に変換する技術を開示している。
特開2014−106816号公報 特開2007−011456号公報 特開2006−099615号公報 特開2007−206834号公報 特開2000−250116号公報
しかしながら、上述した特許文献1〜5に開示された技術には、それぞれ、次に述べるような問題がある。
特許文献1に開示された技術では、顔認証用のデータベースに実正面像だけでなく、反射正面像および反射側面像を登録するため、3つの顔画像登録が必要となる。これではデータベースの容量が3倍になってしまう。また、特許文献1では、鏡の検出方法も定義されておらず、鏡の角度や歪みに応じた画像補正も実施されない。さらに、特許文献1に開示された技術では、認証対象が静止しない場合に反射正面像と反射側面像との判別がつかない恐れがある。
特許文献2に開示された技術でも、登録情報として、認証対象者の顔の正面像、右側画像および左側画像を記憶部に登録しているので、データベースの容量が3倍になってしまう。
特許文献3および4に開示された技術では、左右反転時の顔画像と似た人物を誤検出してしまうという恐れがある。
特許文献5は、単に、反射鏡により人物の左右が反転している撮影画像を再度反転して、正規の画像に変換する技術を開示しているに過ぎない。
本発明の目的は、上記問題を解決する顔認証装置、顔認証方法、および顔認証プログラムを提供することにある。
上記課題を解決するための本発明の一実施形態は、回転することなく固定設置された撮像装置によって撮像された、鏡で反射された鏡領域を含む入力画像から顔認証を行なう顔認証装置であって、認証すべき人物の顔ごとに1つの実正面像のみを参照顔画像として登録するデータベースと、前記入力画像のうち前記鏡領域を検出し、該検出した鏡領域を左右反転処理して、処理した画像を出力する鏡像処理部と、前記処理した画像から顔画像を検出して、該検出した顔画像を生成する顔検出処理部と、前記検出した顔画像と前記参照顔画像とを照合して、顔認証を行なう顔認証処理部と、を備える顔認証装置である。
また、本発明の他の一実施形態は、回転することなく固定設置された撮像装置によって撮像された、鏡で反射された鏡領域を含む入力画像から顔認証を行なう顔認証方法であって、認証すべき人物の顔ごとに1つの実正面像のみを参照顔画像としてデータベースに登録する登録工程と、前記入力画像のうち前記鏡領域を左右反転処理して、処理した画像を出力する鏡像処理工程と、前記処理した画像から顔領域を検出して、検出した顔画像を生成する顔検出処理工程と、前記検出した顔画像と前記参照顔画像とを照合して、顔認証を行なう顔認証処理工程と、を含む顔認証方法である。
さらに、本発明の他の一実施形態は、回転することなく固定設置された撮像装置によって撮像された、鏡で反射された鏡領域を含む入力画像から顔認証を、コンピュータに実行させるための顔認証プログラムであって、前記コンピュータに、認証すべき人物の顔ごとに1つの実正面像のみを参照顔画像としてデータベースに登録する登録手順と、前記入力画像のうち前記鏡領域を左右反転処理して、処理した画像を出力する鏡像処理手順と、前記処理した画像から顔領域を検出して、検出した顔画像を生成する顔検出処理手順と、前記検出した顔画像と前記参照顔画像とを照合して、顔認証を行なう顔認証処理手順と、を実行させるための顔認証プログラムである。
本発明によれば、データベースの容量を増やすことなく、鏡で反射された鏡領域を含む入力画像から顔認証を容易に行うことができる。
顔認証におけるカメラ配置の説明図である。 本発明の実施形態に係る顔認証装置を含む顔認証システムのブロック図である。 図2に示した顔認証装置の動作を説明するためのフローチャートである。 鏡を利用したカメラ配置の説明図である。 鏡を利用した複数方向からの顔認証可能なカメラ配置の説明図である。 鏡を利用したカメラ配置の応用例の説明図である。 本発明の一実施例による顔認証システムのブロック図である。 図7に示した顔認証システムに使用される顔領域判定部のブロック図である。 本発明を適用した図7に示した顔認証システムの顔認証のフローチャートである。 鏡領域検出のフローチャートである。 補正用画像の一例を示す図である。
[関連技術]
本発明の理解を容易にするために、最初に関連技術について説明する。
顔認証技術において高い認証精度を得るためには、顔をできるだけ真正面から撮影することが必要である。特に、監視用途のカメラでは天井付近にカメラが設置されることが多いため、真正面から顔をとらえることは困難である。
カメラの被写体に対する角度、距離、高さなどを推奨設定にすることで、認証精度向上が見込める。しかしながら、狭いフロアや通路などにカメラを設置する場合には、環境により推奨設定にできず、顔認証が困難となるケースが存在する。
例えば、図1に示すような、顔認証におけるカメラ配置を考える。図1において、(A)は俯瞰図であり、(B)は側面図である。
図1(A)の俯瞰図のような狭いフロアでの監視において、人物の動線方向に合わせるようにカメラ11aを設置するときを考える。カメラ11aの場所から対象人物12を撮影しようとしたときに撮影距離が足りず、カメラ11aの被写体に対する推奨の角度で撮影することが出来ない。
つまり、図1(B)の側面図のカメラ11aに対し、推奨設定にするためにはカメラ11bのようなある程度の距離が必要となる。
以下、本発明の実施形態を、図面を参照して説明する。但し、本発明の技術的範囲は、実施形態によって限定されるものではなく、特許請求の範囲の記載に基づき解釈されるべきものである。
[実施の形態]
次に、本発明の実施の形態について説明する。
図1のような狭いフロアで顔認証の精度を向上させるためには、カメラ11aと対象人物12との間の距離(以下、「撮影距離」と呼ぶ)を伸ばす必要がある。そこで、本実施の形態では、鏡に向かってカメラを配置し、鏡に反射した対象人物を撮影することによって撮影距離を伸ばす方法をとる。
また、本実施の形態では、監視用途の顔認証システムを想定しているため、鏡上の複数人の顔を検出した場合にも適用可能である。
また、実像と反射像とが同時に取得される場合は、本実施の形態では、鏡の領域を自動的に検出し、顔画像の補正、反転処理の必要可否を判別する。これにより、反射正面像と反射側面像といった複数の角度を指定した画像が必要ないため、顔認証用のデータベースには各対象人物の顔ごとに1つの正面顔画像を用意すればよい。
次に、本発明の実施の形態の特徴について説明する。
本実施の形態では、鏡の反射を利用することにより、顔認証精度の向上やカメラ設置場所の自由度の増大を可能とする。特に、本実施の形態は、実像と反射像とが同時に取得される場合に、顔画像反転処理の必要可否を判別するロジックを導入している点を特徴としている。
図2を参照して、本発明の実施形態に係る顔認証装置を含む顔認証システムについて説明する。
顔認証システムは、撮影装置100と、顔認証装置200と、結果出力部300とから成る。
撮像装置100は、鏡で反射された鏡領域を含む入力画像を撮像する。顔認証装置200は、この撮影装置100で撮影された入力画像を受け取り、認証結果を結果出力部300へ出力する。
顔認証装置200は、処理部210と記憶部220とを有する。
記憶部220は、ハードディスク装置や不揮発性メモリ等からなる記憶デバイスである。記憶部220は、認証すべき人物の顔ごとに1つの実正面像のみを参照顔画像として登録するデータベースとして働く。
処理部210は、鏡像処理部212と、顔検出処理部214と、顔認証処理部216とを備える。
鏡像処理部212は、入力画像のうち鏡領域を検出し、検出した鏡領域を左右反転処理して、処理した画像を出力する。
顔検出処理部214は、処理した画像から顔画像を検出して、検出した顔画像を生成する。
顔認証処理部216は、検出した顔画像と記憶部200に登録されている参照顔画像とを照合して、顔認証を行なう。
次に、図3を参照して、図2に示した顔認証装置200の動作について説明する。
まず、顔認証装置200では、記憶部220に、認証すべき人物の顔ごとに1つの実正面像のみを参照顔画像として予め登録しておく(ステップS101)。
次に、鏡像処理部212は、撮影装置100で撮影された入力画像のうち鏡領域を検出し、検出した鏡領域を左右反転処理して、処理した画像を出力する(ステップS102)。
顔検出処理部214は、処理した画像から顔画像を検出して、検出した顔画像を生成する(ステップS103)。
そして、顔認証処理部216は、検出した顔画像と記憶部200に登録されている参照顔画像とを照合して、顔認証を行なう(ステップS104)。
このような構成の顔認証装置200には次に述べるような効果がある。
すなわち、本実施形態の効果は、データベースの容量を増やすことなく、鏡領域を含む入力画像から顔認証を容易に行なうことができることである。その理由は、鏡領域では左右反転処理を行うので、データベースには左右反転した顔画像を登録するのが不要となるからである。
尚、顔認証装置200の各部は、ハードウェアとソフトウェアとの組み合わせを用いて実現可能である。ハードウェアとソフトウェアとを組み合わせた形態では、RAM(random access memory)に顔認証プログラムが展開され、該顔認証プログラムに基づいて制御部(CPU(central processing unit))等のハードウェアを動作させることによって、各部を各種手段として実現する。また、該顔認証プログラムは、記録媒体に記録されて頒布されても良い。当該記録媒体に記録された顔認証プログラムは、有線、無線、又は記録媒体そのものを介して、メモリに読込まれ、制御部等を動作させる。尚、記録媒体を例示すれば、オプティカルディスクや磁気ディスク、半導体メモリ装置、ハードディスクなどが挙げられる。
上記実施の形態を別の表現で説明すれば、顔認証装置200として動作させるコンピュータを、RAMに展開された顔認証プログラムに基づき、鏡像処理部212、顔検出処理部214、および顔認証処理部216として動作させることで実現することが可能である。
以下、図面を参照して、本発明の第1の実施例について説明する。
図4乃至図6は、鏡を利用したカメラ配置を説明するための図である。
図4は、カメラ21の撮影範囲を鏡23に限定して反射させ、対象人物22を撮影する例を示す図である。
図5は、カメラ31から鏡33を含む広範囲を撮影する例を示す図である。すなわち、図5は、鏡33を利用した複数方向からの顔認証可能なカメラ配置を示す説明図である。
図6は、三角鏡43を使用して、カメラ41から両側の対象人物42を撮影可能とする例を示す図である。すなわち、図6は、鏡43を利用したカメラ配置の応用例の説明図である。
図7は、本発明の第1の実施例に係る顔認証システム500の構成を示すブロック図である。図示の顔認証システム500は、撮像装置501と、顔認証装置502と、結果出力部512とから成る。
顔認証装置502は、一般的な顔認証装置に、鏡像処理モジュール504を追加した構成で実現される。
詳述すると、顔認証装置502は、映像入力部503と、鏡像処理モジュール504と、顔検出処理部508と、顔特徴点検出処理部509と、照合処理部510と、特徴点データベース511とを備える。
顔認証装置502において、まず、映像入力部503は、撮影装置501で撮像された映像を入力する。鏡像処理モジュール504は、映像入力部503で入力された映像を読み込む。鏡像処理モジュール504による処理後、顔検出処理部508は、顔画像を切り出す。顔特徴点検出処理部509は、切り出した顔画像の特徴点を抽出する。照合処理部510は、抽出した特徴点と特徴点データベース511に登録されている参照特徴点との比較処理を行う。そして、照合処理部510は、結果出力部512に顔認証結果を出力する。
鏡像処理モジュール504は、鏡領域判定部505と、歪み補正部506と、画像反転処理部507とから成る。
図8に示されるように、鏡領域判定部505は、鏡枠検出部513と波長検出部514との何れかを備えている。鏡領域判定部505は、記憶部515を更に含む。記憶部515は、検出用の設定や鏡領域を保存する。
次に、図9および図10を参照して、図7および図8に示した顔認証システム500の動作について説明する。図9は顔認証のフローチャートであり、図10は鏡領域検出のフローチャートである。
まず、映像入力部503は、撮影装置501から画像(静止画)または動画の画像信号を取得する(ステップS61)。鏡領域判定部505は、取得した画像(静止画)または動画の画像信号から鏡領域を検出する(ステップS62)。
図10を参照して、鏡領域判定(鏡領域検出)について説明する。鏡領域判定部505での鏡領域判定(鏡領域検出)は、鏡枠検出部513、波長検出部514の何れかで実施される。
鏡領域判定部505は、どの検出法を用いるかを事前に指定する(ステップS71)。
鏡枠検出部513を使用する場合は、事前に鏡に枠を付けておく必要がある。
ステップS71において、鏡領域判定部505が鏡枠検出部513を使用すると判断したとする。この場合、鏡枠検出部513は、記憶部516から鏡枠の色や特徴などを読み込み(ステップS72)、枠の内部を鏡領域として検出する(ステップS73)。鏡枠検出部513は、検出した鏡領域を記憶部515に保存し(ステップS74)、その領域を歪み補正部506に渡す。
波長検出部514を使用する場合、赤外線カットフィルムなど特定の波長を反射しないフィルタを鏡に貼付し、可視光+赤外線カメラなどの特定波長をとらえることが可能なカメラを使用する。カットフィルムを貼っている部分は特定波長が放射されない。
ステップS71において、鏡領域判定部505が波長検出部514を使用すると判断したとする。この場合、波長検出部514は、撮影映像から特定波長が放射されていない部分を検出し(ステップS75)、その検出した部分を鏡領域として記憶部515に保存する(ステップS74)。その後、波長検出部514は、可視光カメラの同領域を切り出し、歪み補正部506に渡す。
図9に戻って、鏡領域判定部505は、鏡領域であるか否かを判定する(ステップS63)。
鏡領域判定部505で鏡領域であると判定された場合(ステップS63のYes)、鏡像処理モジュール504は、鏡領域で検出された領域に対して歪みや伸長の補正が必要か否かを判断する(ステップS64)。補正が必要であると判断された場合(ステップS64のYes)、歪み補正部506は、鏡画像補正を行う(ステップS65)。尚、補正を行うかどうかは、事前に歪み補正値が記憶部515に設定されているかどうかで判断を行う。通常は歪み補正を実施しないが、主に角度が急な場合や凸面鏡などの特殊な鏡を使用した場合に、歪み補正を実施する。
歪み補正値の決定は、図9の顔認証フロ―前に実施する。次に、歪み補正値の決定について説明する。
事前に図11のような補正用画像を拡大し、鏡全体に反射する。カメラでその反射像を撮影し、図示しない処理装置が、反射像と元画像とを比較し、逆計算し、元画像からの変形差分を表す補正パラメータを算出する。処理装置は、その補正パラメータを記憶部515に保存し、歪み補正時に補正パラメータに応じて画像を変形させる。
図9に戻って、歪み補正部506での処理後、画像反転処理部507は、左右反転処理を行う(ステップS66)。その後、鏡領域判定部505で鏡以外と判断された領域と鏡像処理モジュール504で処理された領域に対し、顔検出処理部508、顔特徴点検出処理部509、および照合処理部510の組み合わせは、顔認証処理を実施する(ステップS67)。最後に、照合処理部510は、認証結果を結果出力部512に出力する。
したがって、顔検出処理部508、顔特徴点検出処理部509、および照合処理部510の組み合わせは、顔認証処理を実施する顔認証処理部216(図2参照)として働く。
次に、本第1の実施例の効果について説明する。
通常の顔認証の場合は、鏡23(図4)の位置にカメラが設置されるため、対象人物22とカメラとの間で垂直方向の角度差が大きくなってしまう。
これに対して、本第1の実施例では、対象人物22と鏡23との間の距離に、カメラ21と鏡23との間の距離がプラスされる。その結果、カメラ21と対象人物22との間の距離(撮影距離)が延び、垂直方向の角度差を減少させることが可能となる。
また、図5のようなカメラ31の撮影映像に鏡が含まれる設置の場合、通常のカメラ映像に対しては通常の顔認証プロセスを踏むのに対し、自動的に検出された鏡領域に対しては歪み補正、左右反転処理後に顔認証を行う。この結果、複数地点からの顔認証処理が疑似的に可能となるため、顔の正面映像をとらえる確率が増える。それにより、不審者検知などの監視用途の顔認証において検出率向上が見込まれる。また、鏡領域では左右反転処理を行うため、顔画像の特徴点データベース511には左右反転した顔画像を登録することが不要になり、データベースの容量の削減が可能となる。
図6のように、三角鏡43や凸面鏡のような特殊な鏡を設置することによって、カメラ41から複数方向へ撮影が可能となるため、設置が不可能な狭いフロアや通路などの顔認証監視を実現できる。
尚、顔認証装置502の各部は、ハードウェアとソフトウェアとの組み合わせを用いて実現可能である。ハードウェアとソフトウェアとを組み合わせた形態では、RAM(random access memory)に顔認証プログラムが展開され、該顔認証プログラムに基づいて制御部(CPU(central processing unit))等のハードウェアを動作させることによって、各部を各種手段として実現する。また、該顔認証プログラムは、記録媒体に記録されて頒布されても良い。当該記録媒体に記録された顔認証プログラムは、有線、無線、又は記録媒体そのものを介して、メモリに読込まれ、制御部等を動作させる。尚、記録媒体を例示すれば、オプティカルディスクや磁気ディスク、半導体メモリ装置、ハードディスクなどが挙げられる。
上記実施の形態を別の表現で説明すれば、顔認証装置502として動作させるコンピュータを、RAMに展開された顔認証プログラムに基づき、映像入力部503、鏡像処理モジュール504、顔検出処理部508、顔特徴点検出処理部509、および照合処理部510として動作させることで実現することが可能である。
次に、本発明の他の実施例について説明する。
図4のようなケースにおいて、赤外線透過フィルタなどの特定波長のみを透過するフィルタを鏡23に張り付け、特定波長を撮影するカメラ21を使用してもよい。これにより、可視光が遮断されるため対象人物22から鏡23に反射したカメラ21を認識できなくなり、心理的圧迫を軽減することができる。
鏡領域検出において、鏡に魔境のような表面加工を行い、その範囲を鏡領域として検出してもよい。
鏡領域検出において、鏡に偏光フィルタを貼付し反射光を偏光させることで偏光した範囲を鏡領域として検出してもよい。
鏡領域検出、歪み補正は自動だけでなく、手動設定も可能としてもよい。
鏡領域検出や歪み補正は機械学習を用いて自動設定しても良い。
図5のようなカメラ配置において、カメラ31の実映像と鏡反射映像との距離が離れすぎる場合、片側のピントがずれることが考えられる。この場合、ピント調節のために鏡側にピント調節する機能を追加することや、ライトフィールドカメラやレンズレスカメラのような撮影後ピント調節可能なカメラを使用して映像を取得してもよい。
カメラの映像の中で、鏡領域のみを顔認証するようにしてもよい。
以上、本発明の実施の形態および実施例を、図面を参照しつつ説明してきたが、当業者であれば、他の類似する実施形態および実施例を使用することができること、また、本発明から逸脱することなく適宜形態の変更又は追加を行うことができることに留意すべきである。
上記の実施形態および実施例は、以下の付記のようにも記載されうるが、以下には限られない。
(付記1)撮像装置によって撮像された、鏡で反射された鏡領域を含む入力画像から顔認証を行なう顔認証装置であって、
認証すべき人物の顔ごとに1つの実正面像のみを参照顔画像として登録するデータベースと、
前記入力画像のうち前記鏡領域を検出し、該検出した鏡領域を左右反転処理して、処理した画像を出力する鏡像処理部と、
前記処理した画像から顔画像を検出して、該検出した顔画像を生成する顔検出処理部と、
前記検出した顔画像と前記参照顔画像とを照合して、顔認証を行なう顔認証処理部と、
を備える顔認証装置。
(付記2)前記鏡像処理部は、前記入力画像から前記鏡領域を判定する鏡領域判定部を含む、付記1に記載の顔認証装置。
(付記3)前記鏡には事前に鏡枠が付けられており、
前記鏡領域判定部は、
前記鏡枠の特徴を記憶する記憶部と、
前記入力画像と該記憶した鏡枠の特徴から、前記鏡領域を検出する鏡枠検出部と
から成る、付記2に記載の顔認証装置。
(付記4)前記鏡には特定波長を反射しないカットフィルムが貼られており、
前記鏡領域判定部は、前記入力画像から前記特定波長が反射されていない部分を、前記鏡領域として検出する波長検出部から成る、付記2に記載の顔認証装置。
(付記5)前記鏡像処理部は、前記鏡領域に対して歪み補正を行う歪み補正部を更に有する、付記1乃至4のいずれか1つに記載の顔認証装置。
(付記6)鏡で反射された鏡領域を含む入力画像から顔認証を行なう顔認証方法であって、
認証すべき人物の顔ごとに1つの実正面像のみを参照顔画像としてデータベースに登録する登録工程と、
前記入力画像のうち前記鏡領域を左右反転処理して、処理した画像を出力する鏡像処理工程と、
前記処理した画像から顔領域を検出して、検出した顔画像を生成する顔検出処理工程と、
前記検出した顔画像と前記参照顔画像とを照合して、顔認証を行なう顔認証処理工程と、
を含む顔認証方法。
(付記7)前記鏡像処理工程は、前記入力画像から前記鏡領域を判定する鏡領域判定工程を含む、付記6に記載の顔認証方法。
(付記8)前記鏡には事前に鏡枠が付けられており、
前記鏡領域判定工程は、
記憶部に、前記鏡枠の特徴を記憶する工程と、
前記入力画像と該記憶した鏡枠の特徴から、前記鏡領域を検出する鏡枠検出工程と
を含む、付記7に記載の顔認証方法。
(付記9)前記鏡には特定波長を反射しないカットフィルムが貼られており、
前記鏡領域判定工程は、前記入力画像から前記特定波長が反射されていない部分を、前記鏡領域として検出する波長検出工程から成る、付記7に記載の顔認証方法。
(付記10)前記鏡像処理工程は、前記鏡領域に対して歪み補正を行う歪み補正工程を更に含む、付記6乃至9のいずれか1つに記載の顔認証方法。
(付記11)鏡で反射された鏡領域を含む入力画像から顔認証を、コンピュータに実行させるための顔認証プログラムであって、前記コンピュータに、
認証すべき人物の顔ごとに1つの実正面像のみを参照顔画像としてデータベースに登録する登録手順と、
前記入力画像のうち前記鏡領域を左右反転処理して、処理した画像を出力する鏡像処理手順と、
前記処理した画像から顔領域を検出して、検出した顔画像を生成する顔検出処理手順と、
前記検出した顔画像と前記参照顔画像とを照合して、顔認証を行なう顔認証処理手順と、
を実行させるための顔認証プログラム。
(付記12)前記鏡像処理手順は、前記コンピュータに、前記入力画像から前記鏡領域を判定させる鏡領域判定手順を含む、付記11に記載の顔認証プログラム。
(付記13)前記鏡には事前に鏡枠が付けられており、
前記鏡領域判定手順は、前記コンピュータに、
記憶部に、前記鏡枠の特徴を記憶させる手順と、
前記入力画像と該記憶した鏡枠の特徴から、前記鏡領域を検出させる鏡枠検出手順と
を含む、付記12に記載の顔認証プログラム。
(付記14)前記鏡には特定波長を反射しないカットフィルムが貼られており、
前記鏡領域判定手順は、前記コンピュータに、前記入力画像から前記特定波長が反射されていない部分を、前記鏡領域として検出させる波長検出手順から成る、付記12に記載の顔認証プログラム。
(付記15)前記鏡像処理手順は、前記コンピュータに、前記鏡領域に対して歪み補正を行わせる歪み補正手順を更に含む、付記11乃至14のいずれか1つに記載の顔認証プログラム。
100 撮影装置
200 顔認証装置
210 処理部
212 鏡像処理部
214 顔検出処理部
216 顔認証処理部
220 記憶部
300 結果出力部
500 顔認証システム
501 撮影装置
502 顔認証装置
503 映像入力部
504 鏡像処理モジュール
505 鏡領域判定部
506 歪み補正部
507 画像反転処理部
508 顔検出処理部
509 顔特徴点検出処理部
510 照合処理部
511 特徴点データベース
512 結果出力部
513 鏡枠検出部
514 波長検出部
515 記憶部

Claims (5)

  1. 回転することなく固定設置された撮像装置によって撮像された、特定波長を反射しないカットフィルムが貼られた鏡で反射された鏡領域を含む入力画像から顔認証を行なう顔認証装置であって、
    認証すべき人物の顔ごとに1つの実正面像のみを参照顔画像として登録するデータベースと、
    前記入力画像のうち前記鏡領域を検出し、該検出した鏡領域を左右反転処理して、処理した画像を出力する鏡像処理部と、
    前記処理した画像から顔画像を検出して、該検出した顔画像を生成する顔検出処理部と、
    前記検出した顔画像と前記参照顔画像とを照合して、顔認証を行なう顔認証処理部と、
    を備え
    前記鏡像処理部は、前記入力画像から前記鏡領域を判定する鏡領域判定部を含み、
    前記鏡領域判定部は、前記入力画像から前記特定波長が反射されていない部分を、前記鏡領域として検出する波長検出部から成る顔認証装置。
  2. 前記鏡像処理部は、前記鏡領域に対して歪み補正を行う歪み補正部を更に有する、請求項に記載の顔認証装置。
  3. 回転することなく固定設置された撮像装置によって撮像された、特定波長を反射しないカットフィルムが貼られた鏡で反射された鏡領域を含む入力画像から顔認証を行なう顔認証方法であって、
    認証すべき人物の顔ごとに1つの実正面像のみを参照顔画像としてデータベースに登録する登録工程と、
    前記入力画像のうち前記鏡領域を左右反転処理して、処理した画像を出力する鏡像処理工程と、
    前記処理した画像から顔領域を検出して、検出した顔画像を生成する顔検出処理工程と、
    前記検出した顔画像と前記参照顔画像とを照合して、顔認証を行なう顔認証処理工程と、
    を含み、
    前記鏡像処理工程は、前記入力画像から前記鏡領域を判定する鏡領域判定工程を含み、
    前記鏡領域判定工程は、前記入力画像から前記特定波長が反射されていない部分を、前記鏡領域として検出する波長検出工程から成る顔認証方法。
  4. 前記鏡像処理工程は、前記鏡領域に対して歪み補正を行う歪み補正工程を更に含む、請求項に記載の顔認証方法。
  5. 回転することなく固定設置された撮像装置によって撮像された、特定波長を反射しないカットフィルムが貼られた鏡で反射された鏡領域を含む入力画像から顔認証を、コンピュータに実行させるための顔認証プログラムであって、前記コンピュータに、
    認証すべき人物の顔ごとに1つの実正面像のみを参照顔画像としてデータベースに登録する登録手順と、
    前記入力画像のうち前記鏡領域を左右反転処理して、処理した画像を出力する鏡像処理手順と、
    前記処理した画像から顔領域を検出して、検出した顔画像を生成する顔検出処理手順と、
    前記検出した顔画像と前記参照顔画像とを照合して、顔認証を行なう顔認証処理手順と、
    を実行させるための顔認証プログラムであり、
    前記鏡像処理手順は、前記コンピュータに、前記入力画像から前記鏡領域を判定させる鏡領域判定手順を含み、
    前記鏡領域判定手順は、前記入力画像から前記特定波長が反射されていない部分を、前記鏡領域として検出する波長検出手順から成る顔認証プログラム
JP2017060863A 2017-03-27 2017-03-27 顔認証装置、顔認証方法、および顔認証プログラム Active JP6485655B2 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2017060863A JP6485655B2 (ja) 2017-03-27 2017-03-27 顔認証装置、顔認証方法、および顔認証プログラム
US15/933,723 US11321552B2 (en) 2017-03-27 2018-03-23 Face authentication device having database with small storage capacity
US16/127,737 US10878222B2 (en) 2017-03-27 2018-09-11 Face authentication device having database with small storage capacity
US16/128,688 US11380130B2 (en) 2017-03-27 2018-09-12 Face authentication device having database with small storage capacity
US16/128,712 US11176356B2 (en) 2017-03-27 2018-09-12 Face authentication device having database with small storage capacity

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017060863A JP6485655B2 (ja) 2017-03-27 2017-03-27 顔認証装置、顔認証方法、および顔認証プログラム

Publications (2)

Publication Number Publication Date
JP2018163552A JP2018163552A (ja) 2018-10-18
JP6485655B2 true JP6485655B2 (ja) 2019-03-20

Family

ID=63582771

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017060863A Active JP6485655B2 (ja) 2017-03-27 2017-03-27 顔認証装置、顔認証方法、および顔認証プログラム

Country Status (2)

Country Link
US (4) US11321552B2 (ja)
JP (1) JP6485655B2 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10878657B2 (en) 2018-07-25 2020-12-29 Konami Gaming, Inc. Casino management system with a patron facial recognition system and methods of operating same
US11521460B2 (en) 2018-07-25 2022-12-06 Konami Gaming, Inc. Casino management system with a patron facial recognition system and methods of operating same

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109344732B (zh) * 2018-09-10 2020-01-21 阿里巴巴集团控股有限公司 一种鉴权以及确定鉴权方式的方法、装置及电子设备
WO2021215236A1 (ja) * 2020-04-21 2021-10-28 ソニーグループ株式会社 情報処理装置、情報処理方法および記録媒体
US11582425B2 (en) 2020-06-10 2023-02-14 Magna Electronics Inc. Driver monitoring system using camera with adjustable mirror

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6400835B1 (en) * 1996-05-15 2002-06-04 Jerome H. Lemelson Taillight mounted vehicle security system employing facial recognition using a reflected image
JPH1132178A (ja) * 1997-07-08 1999-02-02 Minolta Co Ltd 画像読み取り装置
JP2000250116A (ja) 1999-03-03 2000-09-14 Toshiba Corp 撮影装置
US7782357B2 (en) 2002-06-21 2010-08-24 Microsoft Corporation Minimizing dead zones in panoramic images
JP4200718B2 (ja) * 2002-09-06 2008-12-24 ソニー株式会社 画像処理装置および方法、記録媒体、並びにプログラム
JP4394476B2 (ja) * 2004-02-20 2010-01-06 富士重工業株式会社 車両用運転支援装置
JP2006099615A (ja) * 2004-09-30 2006-04-13 Toshiba Corp 顔認証装置および入退場管理装置
JP2007011456A (ja) 2005-06-28 2007-01-18 Glory Ltd 顔認証装置および顔認証方法
JP2007172509A (ja) * 2005-12-26 2007-07-05 Matsushita Electric Ind Co Ltd 顔検出照合装置
JP2007206834A (ja) * 2006-01-31 2007-08-16 Toshiba Corp 顔認証装置および入退場管理装置
DE102006029892B4 (de) 2006-06-28 2018-10-18 Bayerische Motoren Werke Aktiengesellschaft Kamerasystem für ein Kraftfahrzeug
US20080158357A1 (en) * 2007-01-03 2008-07-03 International Business Machines Corporation Apparatus for driver analysis using rearview mirror
JP5137981B2 (ja) 2010-02-01 2013-02-06 株式会社ビートソニック 車載用監視カメラ
GB2486445B (en) * 2010-12-14 2013-08-14 Epson Norway Res And Dev As Camera-based multi-touch interaction apparatus system and method
EP2490151A1 (en) * 2011-02-17 2012-08-22 Nagravision S.A. Method and device to speed up face recognition
JP2013150171A (ja) * 2012-01-19 2013-08-01 Canon Inc 記録装置、記録システム及び記録方法
WO2013181695A1 (en) * 2012-06-04 2013-12-12 National Ict Australia Limited Biometric verification
US10044985B1 (en) 2012-10-19 2018-08-07 Amazon Technologies, Inc. Video monitoring using plenoptic cameras and mirrors
JP2014106816A (ja) 2012-11-28 2014-06-09 Glory Ltd 入退管理装置及び入退管理方法
US9128354B2 (en) * 2012-11-29 2015-09-08 Bendix Commercial Vehicle Systems Llc Driver view adapter for forward looking camera
US9672649B2 (en) * 2013-11-04 2017-06-06 At&T Intellectual Property I, Lp System and method for enabling mirror video chat using a wearable display device
US20150189158A1 (en) 2013-12-28 2015-07-02 Connor Hailey Systems, methods, and media for presenting a field of view from a camera of a device on a display of the device in the background of non-camera functionality
US10430985B2 (en) 2014-03-14 2019-10-01 Magic Leap, Inc. Augmented reality systems and methods utilizing reflections
US10178374B2 (en) 2015-04-03 2019-01-08 Microsoft Technology Licensing, Llc Depth imaging of a surrounding environment
US10572971B2 (en) 2015-09-01 2020-02-25 Nec Platforms, Ltd. Projection device, projection method and program storage medium

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10878657B2 (en) 2018-07-25 2020-12-29 Konami Gaming, Inc. Casino management system with a patron facial recognition system and methods of operating same
US11455864B2 (en) 2018-07-25 2022-09-27 Konami Gaming, Inc. Casino management system with a patron facial recognition system and methods of operating same
US11521460B2 (en) 2018-07-25 2022-12-06 Konami Gaming, Inc. Casino management system with a patron facial recognition system and methods of operating same

Also Published As

Publication number Publication date
US20190012523A1 (en) 2019-01-10
US20190012522A1 (en) 2019-01-10
US20180276452A1 (en) 2018-09-27
US11380130B2 (en) 2022-07-05
JP2018163552A (ja) 2018-10-18
US11176356B2 (en) 2021-11-16
US20190005308A1 (en) 2019-01-03
US11321552B2 (en) 2022-05-03
US10878222B2 (en) 2020-12-29

Similar Documents

Publication Publication Date Title
JP6485655B2 (ja) 顔認証装置、顔認証方法、および顔認証プログラム
US11023757B2 (en) Method and apparatus with liveness verification
JP3801137B2 (ja) 侵入物体検出装置
JP5739722B2 (ja) 物体認識方法及び認識装置
JP5445460B2 (ja) なりすまし検知システム、なりすまし検知方法及びなりすまし検知プログラム
KR101530255B1 (ko) 객체 자동 추적 장치가 구비된 cctv 시스템
KR100879623B1 (ko) Ptz 카메라를 이용한 자동화된 광역 감시 시스템 및 그방법
JP2007241402A (ja) 顔認証におけるなりすまし判定装置およびそれを用いた顔認証装置
JP2007328572A (ja) 顔認証装置および顔認証方法
JP7255173B2 (ja) 人検出装置および人検出方法
JP2019149006A (ja) 画像選択プログラム、情報処理装置、システム、および画像選択方法
JP7448043B2 (ja) 撮影制御システム
JP2010045501A (ja) 画像監視装置
JP5911227B2 (ja) 判定装置、判定方法及びプログラム
JP4807170B2 (ja) パターン検出方法、パターン検出プログラム、パターン検出装置、及び撮像装置
JP2018201146A (ja) 画像補正装置、画像補正方法、注目点認識装置、注目点認識方法及び異常検知システム
JP2004228770A (ja) 画像処理システム
JP6448457B2 (ja) 撮影方向変動検出装置および撮影方向変動検出方法
JP2008211534A (ja) 顔検知装置
JP6460510B2 (ja) 画像処理装置、画像処理方法及びプログラム
KR101470939B1 (ko) 감시카메라와 이를 이용한 얼굴 검출 시스템 및 얼굴 검출 방법
JP2008146132A (ja) 画像検出装置、プログラム及び画像検出方法
US11669992B2 (en) Data processing
WO2023281559A1 (ja) 人物同定装置、及び人物同定方法
JP6705486B2 (ja) 被写体検知装置、システム、方法およびプログラム

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180905

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180928

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190123

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190205

R150 Certificate of patent or registration of utility model

Ref document number: 6485655

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150