JP5935308B2 - 利用者検知装置、方法及びプログラム - Google Patents

利用者検知装置、方法及びプログラム Download PDF

Info

Publication number
JP5935308B2
JP5935308B2 JP2011272519A JP2011272519A JP5935308B2 JP 5935308 B2 JP5935308 B2 JP 5935308B2 JP 2011272519 A JP2011272519 A JP 2011272519A JP 2011272519 A JP2011272519 A JP 2011272519A JP 5935308 B2 JP5935308 B2 JP 5935308B2
Authority
JP
Japan
Prior art keywords
detection
unit
user
corresponding area
authentication
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2011272519A
Other languages
English (en)
Other versions
JP2013125341A (ja
Inventor
厚一郎 新沼
厚一郎 新沼
松田　高弘
高弘 松田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Priority to JP2011272519A priority Critical patent/JP5935308B2/ja
Priority to EP20120190774 priority patent/EP2605180A3/en
Priority to US13/668,583 priority patent/US9223954B2/en
Publication of JP2013125341A publication Critical patent/JP2013125341A/ja
Application granted granted Critical
Publication of JP5935308B2 publication Critical patent/JP5935308B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31—User authentication
    • G06F21/32—User authentication using biometric data, e.g. fingerprints, iris scans or voiceprints
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/98—Detection or correction of errors, e.g. by rescanning the pattern or by human intervention; Evaluation of the quality of the acquired patterns
    • G06V10/993—Evaluation of the quality of the acquired pattern
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/162—Detection; Localisation; Normalisation using pixel segmentation or colour matching
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/08—Network architectures or network communication protocols for network security for authentication of entities
    • H04L63/0861—Network architectures or network communication protocols for network security for authentication of entities using biometrical features, e.g. fingerprint, retina-scan

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Security & Cryptography (AREA)
  • Quality & Reliability (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Collating Specific Patterns (AREA)

Description

開示の技術は利用者検知装置、利用者検知方法及び利用者検知プログラムに関する。
近年、情報機器の急速な普及に伴い、情報機器内に多種多様な情報が保持されるようになっている。このため、情報機器内に保持されている情報の漏洩等を抑制するセキュリティ技術の確立は極めて重要な課題になってきており、様々な認証技術(例えばパスワード認証や生体認証、カード認証等)が提案されて実用化されている。しかし、既存の認証技術の多くは、ログイン時にのみ認証処理を実施するものであり、例えば、正規の利用者が情報機器の設置位置から離席している間に第三者が情報機器を不正に使用した場合、これを検知できないという共通の課題がある。
上記の課題を解決するため、ログイン後も利用者に対して継続的に認証処理を行う継続認証技術が従来より提案されている。継続認証技術の中でも、利用者を撮影した画像の色ヒストグラムを用いる色ヒストグラム認証は、顔認証やキーストローク等を用いる他の方式と比較して、利用者の姿勢変化に対して頑健な継続認証が可能という特長を有している。色ヒストグラム認証では、例えば、画像中の利用者に対応する領域の色ヒストグラムを登録しておき、登録した色ヒストグラムとの色ヒストグラムの類似度に基づいて、画像中の利用者対応領域を検知し、その移動を追跡することで継続認証が実現される。
K.Niinuma,U.Park,A.K.Jain,"Soft Biometric Traits For Continuous User Authentication",IEEE Transactions on Information Forensics and Security, Vol.5,No.4,pp.771-780,2010 P.Viola and M.Jones,"Rapid object detection using a boosted cascade of simple features,"in Proc.IEEE Computer Vision and Pattern Recognition,pp.I_511-I_518,2001 B.D.Lucas and T.Kanade,An iterative image registration technique with an application to stereo vision,in Proc.7th IJCAI,Vancouver,B.C.,Canada,pp.674-679,1981
しかしながら、色ヒストグラムを用いた利用者対応領域の検知では、例えば、照明条件の急激な変化等によって認証に用いる画像の輝度が急激に変化した場合、色ヒストグラムが変化し、利用者が存在しているにも拘わらず利用者対応領域を特定できないことが生じ得る。この場合、認証が途切れてしまったり、利用者が情報機器から離れたと誤判定されることになる、という課題があった。
画像の輝度の急激な変化は、例えば、情報機器を室内で使用している状況で室内の照明がオンオフされた場合や、情報機器を移動体の室内で使用している状況で移動体の室内に入射される外光の光量が急激に変化した場合に生ずる。また、例えば、利用者を撮影する撮影部に画像全体の輝度をおよそ一定に維持する露出制御機能が設けられている場合には、利用者の背後を人が通った等のような撮影範囲内の輝度変化に応じて露出が変更されたときにも利用者対応領域の輝度の急激な変化が生じる。なお、撮影部がＰＣ(Personal Computer)等の情報機器に内蔵されたカメラであり、当該カメラが他のアプリケーションでも使用されている場合には、上記の露出制御機能をオフして利用者対応領域の輝度の急激な変化を抑制することは困難である。
開示の技術は、利用者対応領域の検知に用いる画像の輝度が急激に変化した場合に、利用者対応領域の継続的な検知が途切れることを抑制することが目的である。
開示の技術は、撮影部によって撮影された画像を順次取得する画像取得部を含んでいる。また開示の技術は、前記画像取得部によって順次取得された画像について、色ヒストグラムの類似度に基づいて、個々の前記画像中の利用者に対応する利用者対応領域を検知することを繰り返す第１検知部を含んでいる。また開示の技術は、前記画像取得部によって順次取得された画像について、個々の前記画像内に存在する特徴点を順次比較することで、個々の前記画像中の利用者対応領域を検知することを繰り返す第２検知部を含んでいる。また開示の技術は、前記画像取得部によって順次取得された画像の輝度が所定値以上変化している間は前記第２検知部によって利用者対応領域の検知を行わせ、それ以外の期間は前記第１検知部によって利用者対応領域の検知を行わせる切替判定部を含んでいる。そして前記切替判定部は、前記第２検知部によって利用者対応領域の検知が行われている期間に、前記画像中の利用者対応領域の色ヒストグラムの類似度が閾値以上の状態が一定期間以上継続した場合に、以下の切替えを行う。すなわち、前記第２検知部による利用者対応領域の検知から前記第１検知部による利用者対応領域の検知に切替える。
また、開示の技術は、撮影部によって撮影された画像を順次取得する画像取得部を含んでいる。また開示の技術は、前記画像取得部によって順次取得された画像について、色ヒストグラムの類似度に基づいて、個々の前記画像中の利用者に対応する利用者対応領域を検知することを繰り返す第１検知部を含んでいる。また開示の技術は、前記画像取得部によって順次取得された画像について、個々の前記画像内に存在する特徴点を順次比較することで、個々の前記画像中の利用者対応領域を検知することを繰り返す第２検知部を含んでいる。また開示の技術は、前記画像取得部によって順次取得された画像の輝度が所定値以上変化している間は前記第２検知部によって利用者対応領域の検知を行わせ、それ以外の期間は前記第１検知部によって利用者対応領域の検知を行わせる切替判定部を含んでいる。そして、前記切替判定部は、前記画像取得部によって順次取得された画像の輝度の差分値を算出し、画像全体または一部分の輝度の差分値が所定値未満になった場合に、以下の切替えを行う。すなわち、前記第２検知部による利用者対応領域の検知から前記第１検知部による利用者対応領域の検知に切替える。
開示の技術は、利用者対応領域の検知に用いる画像の輝度が急激に変化した場合に、利用者対応領域の継続的な検知が途切れることを抑制できる、という効果を有する。
第１実施形態で説明した認証装置の機能ブロック図である。 認証装置として機能するコンピュータの概略ブロック図である。 認証処理のフローチャートである。 第１実施形態で説明した継続認証処理のフローチャートである。 初期登録処理のフローチャートである。 (Ａ)は色ヒストグラム情報、(Ｂ)は特徴点情報の一例を各々示す概略図である。 色ヒストグラム認証処理のフローチャートである。 オプティカルフロー認証処理のフローチャートである。 オプティカルフロー認証処理における特徴点の対応関係の判別を説明するための説明図である。 オプティカルフロー認証処理における顔領域の演算を説明するための説明図である。 第２及び第３実施形態で説明した認証装置の機能ブロック図である。 第２実施形態で説明した継続認証処理のフローチャートである。 (Ａ)は第１実施形態、(Ｂ)は第２実施形態における認証方式の切替えを示すタイミングチャートである。 第２実施形態における認証方式の切替えの他の例を示すタイミングチャートである。 第３実施形態で説明した継続認証処理のフローチャートである。 併用認証モード処理のフローチャートである。 併用認証モードでのオプティカルフロー認証の停止条件を説明するためのタイミングチャートである。 併用認証モードでの基準色ヒストグラムの更新等を説明するためのタイミングチャートである。
以下、図面を参照して開示の技術の実施形態の一例を詳細に説明する。なお、以下では開示の技術を継続認証に適用した態様を主に説明する。
〔第１実施形態〕
図１には、本第１実施形態に係る認証装置１０が示されている。認証装置１０はＰＣや携帯端末等の情報機器を使用する利用者の認証を行う装置であり、情報機器の使用を開始する利用者の認証(ログイン認証)を行うログイン認証装置１２と、情報機器を使用中の利用者の認証(継続認証)を行う継続認証装置１４を備えている。認証装置１０は、例えば、利用者によって使用される情報機器に内蔵する(情報機器を認証装置１０としても機能させる)ことができるが、これに代えて、情報機器と通信回線を介して接続されたコンピュータを認証装置１０として機能させることでも実現できる。また、ログイン認証装置１２は、利用者の認証方式として、公知の各種の認証方式(例えば、パスワード認証や生体認証、カード認証等)の何れを適用した構成でもよい。
継続認証装置１４は開示の技術における利用者検知装置の一例であり、画像取得部１６、色ヒストグラム認証部１８、オプティカルフロー認証部２０、認証切替判定部２２、通知部２４、顔検出部２６を備えている。また、継続認証装置１４は色ヒストグラム情報２８を記憶する第１記憶部３０、特徴点情報３２を記憶する第２記憶部３４を備えている。なお、色ヒストグラム認証部１８は開示の技術における第１検知部の一例であり、オプティカルフロー認証部２０は開示の技術における第２検知部の一例であり、認証切替判定部２２は開示の技術における切替判定部の一例である。
画像取得部１６は、ログイン認証装置１２によるログイン認証を経て前記情報機器を使用している利用者(認証対象者)の顔や体の一部及び利用者の背景を被写体として撮影部が定期的に撮影を行うことで得られた画像の画像データを定期的に取得する。なお、例えば認証装置１０が前記情報機器に内蔵されている場合、画像取得部１６は、上記の撮影部を含んだ構成であってもよい。また、例えば情報機器と通信回線を介して接続されたコンピュータが認証装置１０として機能する場合、画像取得部１６は、情報機器に設けられた撮影部で撮影された画像の画像データを情報機器から受信することで取得する通信ユニットであってもよい。
色ヒストグラム認証部１８は、利用者がログイン認証装置１２によるログイン認証に成功した直後のタイミングで、画像取得部１６によって取得された画像中に存在する利用者の顔に対応する顔領域及び体に対応する体領域の色ヒストグラムを算出する。ここで算出した顔領域及び体領域の色ヒストグラムは、基準色ヒストグラムの色ヒストグラム情報２８として第１記憶部３０に記憶される。また色ヒストグラム認証部１８は、以降に画像取得部１６によって取得された画像に対し、基準色ヒストグラムを用いて色ヒストグラム認証(色ヒストグラムの類似度に基づく利用者対応領域の検知)を行う。すなわち、画像取得部１６によって取得された画像に対し、基準色ヒストグラムとの色ヒストグラムの類似度が最大となる領域を顔領域及び体領域について各々探索する。そして、当該探索で抽出した領域における色ヒストグラムの類似度が閾値以上であれば抽出した領域に利用者が存在していると判定し、色ヒストグラムの類似度が閾値未満であれば利用者が情報機器から離席したと判定する。
オプティカルフロー認証部２０は、認証開始当初は、画像取得部１６によって取得された画像中の顔領域から特徴点(例えばエッジ、望ましくは複数方向の輝度変化を有するエッジ)を抽出し、抽出した特徴点を特徴点情報３２として第２記憶部３４に記憶させる。またオプティカルフロー認証部２０は、以降に画像取得部１６によって取得された画像に対し、特徴点情報３２を用いてオプティカルフロー認証(特徴点を比較することによる利用者対応領域の検知)を行う。すなわち、画像取得部１６によって取得された画像のうち、過去の顔領域及びその周辺を含む領域から特徴点を抽出し、抽出した特徴点に対し、特徴点情報３２として情報が記憶されている過去の特徴点との対応関係を判別する処理を行う。そして、当該処理で過去の特徴点との対応関係が判別できた特徴点の数が所定数以上であれば、所定数以上の数の特徴点から特定される顔領域に利用者(の顔)が存在していると判定する。また、過去の特徴点との対応関係が判別できた特徴点の数が所定数未満の場合(例えば特徴点の減少数が所定値以上)であれば、利用者が情報機器から離席したと判定する。
認証切替判定部２２は、利用者に対する継続認証(利用者対応領域の検知)に、色ヒストグラム認証部１８による色ヒストグラム認証を適用するか、オプティカルフロー認証部２０によるオプティカルフロー認証を適用するかを判定する。認証切替判定部２２による認証方式の判定には、画像取得部１６によって取得された画像の輝度変化、及び、色ヒストグラムの類似度の少なくとも一方が用いられる。
通知部２４は、利用者に対する継続認証が色ヒストグラム認証からオプティカルフロー認証に切替えされる際に、それ迄の色ヒストグラム認証部１８による色ヒストグラム認証で認識されていた顔領域の情報をオプティカルフロー認証部２０へ通知する。また通知部２４は、利用者に対する継続認証が、オプティカルフロー認証から色ヒストグラム認証に切替えされる際に、それ迄のオプティカルフロー認証で認識されていた顔領域の情報を色ヒストグラム認証部１８へ通知する。
顔検出部２６は、利用者がログイン認証装置１２によるログイン認証に成功した直後のタイミングで、画像取得部１６によって取得された画像中に存在する利用者の顔に対応する顔領域を検出し、検出した顔領域を抽出する処理を行う。顔検出部２６は、顔領域の検出結果を色ヒストグラム認証部１８へ出力する。顔検出部２６から色ヒストグラム認証部１８へ出力された顔領域の検出結果は、色ヒストグラム認証部１８による、画像中の顔領域及び体領域の特定に用いられる。
認証装置１０は、例えば図２に示すコンピュータ４２で実現することができる。なお、以下では、コンピュータ４２が利用者によって使用される情報機器に含まれる態様を説明するが、コンピュータ４２は情報機器と通信回線を介して接続されたコンピュータであってもよい。コンピュータ４２はＣＰＵ４４、メモリ４６、不揮発性の記憶部４８、キーボード５０、マウス５２、ディスプレイ５４、カメラ５６を備え、これらはバス５８を介して互いに接続されている。なお、カメラ５６は撮影部の一例であり、情報機器(コンピュータ４２)を使用している利用者の顔や体の一部及び利用者の背景を被写体として撮影可能に配置されている。
また、記憶部４８はＨＤＤ(Hard Disk Drive)やフラッシュメモリ等によって実現できる。記録媒体としての記憶部４８には、コンピュータ４２を認証装置１０として機能させるためのログイン認証プログラム６０及び継続認証プログラム６２、色ヒストグラム情報２８及び特徴点情報３２が各々記憶されている。ＣＰＵ４４は、ログイン認証プログラム６０及び継続認証プログラム６２を記憶部４８から読み出してメモリ４６に展開し、各プログラム６０,６２が有するプロセスを順次実行する。
ＣＰＵ４４は、ログイン認証プログラム６０が有するプロセスを実行することで、図１に示すログイン認証装置１２として動作する。また継続認証プログラム６２は、画像取得プロセス６４、色ヒストグラム認証プロセス６６、オプティカルフロー認証プロセス６８、認証切替判定プロセス７０、通知プロセス７２及び顔検知プロセス７４を有する。ＣＰＵ４４は、画像取得プロセス６４を実行することで、図１に示す画像取得部１６として動作する。またＣＰＵ４４は、色ヒストグラム認証プロセス６６を実行することで、図１に示す色ヒストグラム認証部１８として動作する。またＣＰＵ４４は、オプティカルフロー認証プロセス６８を実行することで、図１に示すオプティカルフロー認証部２０として動作する。またＣＰＵ４４は、認証切替判定プロセス７０を実行することで、図１に示す認証切替判定部２２として動作する。またＣＰＵ４４は、通知プロセス７２を実行することで、図１に示す通知部２４として動作する。またＣＰＵ４４は、顔検知プロセス７４を実行することで、図１に示す顔検出部２６として動作する。なお、継続認証プログラム６２は開示の技術における利用者検知プログラムの一例である。
認証装置１０がコンピュータ４２で実現される場合、色ヒストグラム情報２８を記憶する記憶部４８は第１記憶部３０として用いられ、メモリ４６の一部領域は色ヒストグラム情報２８の記憶領域として用いられる。また、特徴点情報３２を記憶する記憶部４８は第２記憶部３４としても用いられ、メモリ４６の一部領域は特徴点情報３２の記憶領域として用いられる。これにより、ログイン認証プログラム６０及び継続認証プログラム６２を実行したコンピュータ４２が、認証装置１０として機能することになる。
なお、認証装置１０は、例えば半導体集積回路、より詳しくはＡＳＩＣ(Application Specific Integrated Circuit)等で実現することも可能である。
次に本第１実施形態の作用を説明する。先に説明したように、色ヒストグラム認証は、認識対象の姿勢変化に対して頑健な継続認証が可能であるものの、照明条件の急激な変化等によって認証に用いる画像の輝度が急激に変化した場合に、継続認証が途切れてしまうことが生じ得る。一方、オプティカルフロー認証は、照明変化等に起因する画像の輝度の急激な変化に対しては頑健であるものの、例えば利用者の顔が横を向いた等のように、特徴点の数や対応関係の変化を引き起こす姿勢変化が生じると、認証の継続が困難になる。また、オプティカルフロー認証は処理負荷が大きく、長時間の認証には適さないという欠点も有している。このように、色ヒストグラム認証とオプティカルフロー認証が互いに異なる特徴を有していることに鑑み、本実施形態では、画像の輝度が変化している期間はオプティカルフロー認証を適用し、それ以外の期間は色ヒストグラム認証を適用して継続認証を行う。
以下、まず図３のフローチャートを参照し、本実施形態に係る認証装置１０による認証処理を説明する。図３に示す認証処理は、利用者によって情報機器の使用が開始される際に実行され、まずステップ８０において、ログイン認証装置１２は、ログイン認証処理を行う。このログイン認証処理における認証方式は、前述のように、公知の各種の認証方式(例えばパスワード認証や生体認証、カード認証等)の何れでもよい。次のステップ８２において、ログイン認証装置１２は、ログイン認証によって利用者が正規の利用者であることを確認できたか否か判定する。
ステップ８２の判定が否定された場合は認証処理を終了する。これにより、正規の利用者以外の他者が情報機器を使用することが阻止される。一方、ステップ８２の判定が肯定された場合、ログイン認証装置１２は継続認証装置１４を起動してステップ８４へ移行し、ステップ８４において、継続認証装置１４は継続認証処理を行う。これにより、ログイン認証によって正規の利用者であることが確認された利用者は、継続認証装置１４によって継続認証処理が行われている間、情報機器を使用することが可能となる。
次に、図３に示す認証処理のステップ８４で継続認証装置１４によって行われる継続認証処理の詳細を、図４を参照して説明する。図４に示す継続認証処理では、まずステップ９０で初期登録処理が行われる。
この初期登録処理について、図５を参照して説明すると、まずステップ１３０において、画像取得部１６は、撮像部(カメラ５６)によって撮影された最新の画像の画像データを取得する。次のステップ１３２において、顔検出部２６は、画像取得部１６によって取得された画像データが表す画像中に存在する利用者の顔領域を検出する。なお、顔検出部２６による顔領域の検出には、例えばHaar classifierを用いる手法(非特許文献２参照)等の任意の手法を適用することができる。次のステップ１３４において、顔検出部２６は、ステップ１３２の顔領域の検出により、利用者の顔に対応する顔領域を抽出できたか否か判定する。例えば、撮影時に利用者の顔が撮像部(カメラ５６)の正面を向いていなかった等の場合には、ステップ１３４の判定が否定されてステップ１３０に戻り、ステップ１３４の判定が肯定される迄、ステップ１３０〜ステップ１３４を繰り返す。
一方、ステップ１３４の判定が肯定された場合はステップ１３６へ移行し、ステップ１３６において、色ヒストグラム認証部１８は、顔検出部２６による顔領域の抽出結果に基づき、利用者の顔におよそ対応する一定形状(例えば楕円形状や他の形状)の顔領域を設定する。また、設定した顔領域の下方に、利用者の体の一部におよそ対応する一定形状(例えば矩形状)の体領域を設定する。なお、体領域の設定には他の手法を用いることも可能である。図６(Ａ)には、色ヒストグラム認証部１８によって設定された顔領域の一例を実線で、体領域の一例を破線で各々示す。
次のステップ１３８において、色ヒストグラム認証部１８は、ステップ１３６で設定した利用者の顔領域及び体領域の色ヒストグラムを各々生成する。なお、例えば、画像の各画素毎の色をＲ,Ｇ,Ｂ３色の組み合わせで表す画像データが画像取得部１６によって取得される場合、上記で生成される色ヒストグラムは、図６(Ａ)に示すように、Ｒ,Ｇ,Ｂ３色の各組み合わせ毎の頻度を表す色ヒストグラムとなる。なお、ＲＧＢ色空間以外の他の色空間を用いてもよい。
ステップ１４０において、色ヒストグラム認証部１８は、ステップ１３８で生成した利用者の顔領域及び体領域の色ヒストグラムを基準色ヒストグラム(色ヒストグラム情報２８の一部)として第１記憶部３０に記憶させる。またステップ１４２において、色ヒストグラム認証部１８は、ステップ１３６で設定した利用者の顔領域の位置やサイズを表す情報を、色ヒストグラム情報２８の一部として第１記憶部３０に記憶させる。これにより、第１記憶部３０には、色ヒストグラム情報２８として、図６(Ａ)に示すような情報が記憶される。そしてステップ１４４において、認証切替判定部２２は、継続認証の動作モードとして色ヒストグラム認証モードを設定し、初期登録処理を終了する。
なお、図６(Ａ)に示す色ヒストグラム情報２８のうちの「対象領域」は、顔領域の中心が画像中の座標(200,100)に位置しており、幅が100画素分、高さが150画素分のサイズであることを表している。また、図６(Ａ)に示す色ヒストグラム情報２８のうちの「ヒストグラム(R,G,B)」は、Ｒ,Ｇ,Ｂそれぞれ０〜255の数値範囲を16個の数値範囲に分割し、各々の数値範囲内に入る色の割合によって色ヒストグラムを表している。例えば図６(Ａ)に示すヒストグラム(15,15,15)は、(Ｒ,Ｇ,Ｂ)＝(0,0,0)〜(15,15,15)の数値範囲の色の画素数の全体に占める割合が0.01＝１％であることを表している。
上述した初期登録処理が終了すると、図４の継続認証処理のステップ９２へ移行する。ステップ９２において、画像取得部１６は、撮像部(カメラ５６)によって撮影された最新の画像の画像データを取得する。次のステップ９４において、認証切替判定部２２は、継続認証の現在の動作モードが色ヒストグラム認証モードか否か判定する。ステップ９４の判定が肯定された場合、認証切替判定部２２は色ヒストグラム認証部１８を呼び出してステップ９６へ移行する。これにより、ステップ９６では、色ヒストグラム認証部１８によって色ヒストグラム認証処理が行われる。
この色ヒストグラム認証処理について、図７を参照して説明すると、まずステップ１５０において、色ヒストグラム認証部１８は、第１記憶部３０に記憶されている色ヒストグラム情報２８から、利用者の顔領域の情報(位置及びサイズ)を取得する。次のステップ１５２において、色ヒストグラム認証部１８は、ステップ１５０で情報を取得した顔領域を基準として、先のステップ９２で取得された画像のうち、顔領域の基準色ヒストグラムに対する色ヒストグラムの類似度が最大となる領域(現在の顔領域)を探索する。この探索は、ステップ１５０で取得した顔領域の位置を基準として、基準位置及びその周辺の複数位置に存在する複数の候補領域について色ヒストグラムの類似度を各々演算し、複数の候補領域の中から類似度が最大の候補領域を選択することで行うことができる。
次のステップ１５４において、色ヒストグラム認証部１８は、まずステップ１５０で情報を取得した顔領域の下方に、顔領域のサイズに応じた大きさの対応する体領域を設定する。そして、設定した体領域を基準として、先のステップ９２で取得された画像のうち、体領域の基準色ヒストグラムに対する色ヒストグラムの類似度が最大となる領域(現在の体領域)を探索する。この探索も、先に設定した体領域の位置を基準として、基準位置及びその周辺の複数位置に存在する複数の候補領域について色ヒストグラムの類似度を各々演算し、複数の候補領域の中から類似度が最大の候補領域を選択することで行うことができる。
次のステップ１５６において、色ヒストグラム認証部１８は、ステップ１５２の探索で抽出した顔領域の色ヒストグラムの類似度と、ステップ１５４の探索で抽出した体領域の色ヒストグラムの類似度と、から最終類似度を算出する。顔領域の色ヒストグラムの類似度をＳface、体領域の色ヒストグラムの類似度をＳbodyとした場合、最終類似度Ｓfinalは次の(１)式で算出することができる。
Ｓfinal＝ｔ×Ｓface＋(１−ｔ)×Ｓbody …(１)
但し、ｔは顔領域の色ヒストグラムの類似度Ｓfaceに対する重み係数で、０≦ｔ≦１である。
そしてステップ１５８において、色ヒストグラム認証部１８は、抽出した利用者の顔領域の情報(位置及びサイズ)と、顔領域及び体領域の色ヒストグラムと、を色ヒストグラム情報２８として第１記憶部３０に記憶させ、色ヒストグラム認証処理を終了する。
上述した色ヒストグラム認証処理が終了すると、図４の継続認証処理のステップ９８へ移行する。ステップ９８において、認証切替判定部２２は、色ヒストグラム認証部１８による色ヒストグラム認証処理(ステップ９６)で得られた色ヒストグラムの類似度(最終類似度Ｓfinal)が閾値以上か否かを判定することで、色ヒストグラム認証を継続するか否か判定する。色ヒストグラムの類似度が閾値以上の場合には、ステップ９８の判定が肯定されてステップ１００へ移行し、認証切替判定部２２は、継続認証の動作モードとして色ヒストグラム認証モードを設定し、ステップ９２に戻る。
これにより、色ヒストグラム認証処理で得られた色ヒストグラムの類似度が閾値以上の間は、ステップ９２〜ステップ１００が繰り返され、色ヒストグラム認証によって継続認証が行われる。
一方、色ヒストグラムの類似度が閾値未満になると、ステップ９８の判定が否定されてステップ１０２へ移行する。ステップ１０２において、認証切替判定部２２は、色ヒストグラムの類似度が閾値未満になった原因が画像全体に急激な輝度変化が生じたためか否かを判定することで、継続認証の認証方式をオプティカルフロー認証に切替えるか否かを判定する認証方式切替判定を行う。具体的には、画像取得部１６によって連続して取得された画像Ｉ１と画像Ｉ２について対応する画素同士の輝度値の差分Ｉ１(ｘ,ｙ)−Ｉ２(ｘ,ｙ)を算出し、この差分が閾値Th以上の画素数Ｎを計数する。画素数Ｎが一定値以上の場合には、大きな照明のオンオフ等に起因する急激な輝度変化が画像に生じていると判定することができる。なお、輝度変化の算出対象は画像全体に限られるものではなく、例えば顔領域と体領域を除外した領域等のように、画像の一部の領域を輝度変化の算出対象としてもよい。
次のステップ１０４において、認証切替判定部２２は、ステップ１０２の認証方式切替判定で画像の急激な輝度変化が検出されたか否かに基づいて、認証方式をオプティカルフロー認証に切替えて継続認証を続行するか否か判定する。ステップ１０２の認証方式切替判定で画像の急激な輝度変化が検出されなかった場合、色ヒストグラムの類似度が閾値未満になった原因は画像に急激な輝度変化が生じたためではないと判断できるので、ステップ１０４の判定が否定されてステップ１２４へ移行する。そしてステップ１２４において、認証切替判定部２２は、利用者が離席したとの判定結果を出力し、継続認証処理を終了する。
また、ステップ１０２の認証方式切替判定で急激な輝度変化が検出された場合、画像に急激な輝度変化が生じたことを原因として色ヒストグラムの類似度が閾値未満になった可能性があるので、ステップ１０４の判定が肯定されてステップ１０６へ移行する。ステップ１０６において、認証切替判定部２２は、継続認証の動作モードを色ヒストグラム認証モードからオプティカルフロー認証モードへ切替える。次のステップ１０８において、通知部２４は、第１記憶部３０に記憶されている色ヒストグラム情報２８から顔領域の情報(位置及びサイズ)を抽出し、抽出した顔領域の情報をオプティカルフロー認証部２０へ通知する。次のステップ１１０では、オプティカルフロー認証部２０によってオプティカルフロー認証処理が行われる。
このように、色ヒストグラム認証で色ヒストグラムの類似度が閾値未満となり、画像の急激な輝度変化を検出した場合に、継続認証の認証方式をオプティカルフロー認証に切替えることで、画像の急激な輝度変化を原因として継続認証が途切れることを抑制できる。
ステップ１１０のオプティカルフロー認証処理について、図８を参照して説明すると、まずステップ１６０において、オプティカルフロー認証部２０は、第２記憶部３４に特徴点情報３２が未登録(前周期ではオプティカルフロー認証を行っていなかった)か否か判定する。ステップ１６０の判定が肯定された場合はステップ１６２へ移行し、ステップ１６２において、オプティカルフロー認証部２０は、先の図４のステップ１０８で通知部２４から通知された利用者の顔領域の情報(位置及びサイズ)を取得する。
次のステップ１６４において、オプティカルフロー認証部２０は、画像取得部１６によって取得された画像のうち、ステップ１６２で情報を取得した顔領域内から特徴点(例えばエッジ等)を抽出する。そして次のステップ１７２において、オプティカルフロー認証部２０は、例として図６(Ｂ)に示すように、利用者の顔領域の情報(位置及びサイズ)及び特徴点の情報(位置)を特徴点情報３２として第２記憶部３４に記憶させる。ステップ１７２の処理を行うと、オプティカルフロー認証処理を終了する。
なお、図６(Ｂ)に示す特徴点情報３２のうちの「対象領域」は、顔領域の中心が画像中の座標(200,100)に位置しており、幅が100画素分、高さが150画素分のサイズであることを表している。また、図６(Ｂ)に示す特徴点情報３２のうちの「特徴点群」は、個々の特徴点の位置を表しており、例えば特徴点１は画像中の座標(130,70)に位置していることを表している。
また、上記のように、第２記憶部３４に特徴点情報３２を記憶させると、次の周期では先のステップ１６０の判定が否定されてステップ１６６へ移行する。ステップ１６６において、オプティカルフロー認証部２０は、第２記憶部３４に記憶されている特徴点情報３２から顔領域の情報(位置及びサイズ)を抽出する。そして、オプティカルフロー認証部２０は、情報を抽出した顔領域の位置を基準として、基準位置及びその周辺領域を含む抽出対象領域から特徴点を抽出する。
次のステップ１６８において、オプティカルフロー認証部２０は、オプティカルフロー(移動ベクトル)を算出することで、ステップ１６６で抽出した特徴点と、第２記憶部３４に特徴点情報３２として記憶されている特徴点と、の対応関係を判別する(図９も参照)。なお、オプティカルフローの算出には、例えば非特許文献３に記載の方式など、任意の方式を適用することができる。
なお、本実施形態では、オプティカルフロー認証処理として、顔領域についてのみ特徴点の抽出、対応関係の判別を行う例を説明しているが(図９も同様)、体領域に対しても同様の処理を行うようにしてもよい。
次のステップ１７０において、オプティカルフロー認証部２０は、対応関係が判別できた特徴点群の分布に基づいて利用者の顔領域を判定する。顔領域の判定は、例えば、対応関係が判別できた特徴点群の平均位置(重心位置)を算出し、算出した重心位置を中心とし、対応関係が判別できた全ての特徴点群が含まれる一定形状の領域を設定することで実現できる。
また、顔領域の判定は上記に限られるものではなく、例えばオプティカルフロー認証処理を最初に実行した際の、顔領域の重心(中心)位置から特徴点迄の距離と、特徴点から顔領域の境界迄の距離と、の比を用いて判定することも可能である。すなわち、図１０に示すように、オプティカルフロー認証処理を最初に実行した際に、顔領域の重心位置と各特徴点との距離ｄ1と、各特徴点と顔領域の境界との距離ｄ2を記憶しておけば、顔領域の重心位置から顔領域の境界迄の距離Ｄは次の(２)式で算出できる。
Ｄ＝ｅ1×(ｄ1＋ｄ2)／d1 …(２)
なお、(２)式において、ｅ1は顔領域を判定する際に求めた顔領域の重心位置から特徴点までの距離である。図１０では、単一の特徴点のみ示しているが、上記処理を全ての特徴点に対して行い、顔領域の境界の平均位置を求めた後に、一定形状の領域をフィッティングさせることで顔領域を判定することができる。
また、特徴点を抽出した際の利用者の実際の顔位置によっては、抽出した特徴点の中に背景領域に対応する特徴点が一部含まれていることも考えられる。これを考慮すると、抽出した個々の特徴点に個別に信頼度を付与して顔領域を判定するようにしてもよい。信頼度は、例えば、特徴点群の重心からの距離に基づき、この距離が小さくなるに従って信頼度が高くなるように付与することができる。顔領域を判定する際には、信頼度の高い特徴点のみを使用するか、或いは、信頼度に応じて個々の特徴点を重み付けすることで、顔領域の判定精度を向上させることができる。
そして次のステップ１７２において、オプティカルフロー認証部２０は、上記処理で得られた利用者の顔領域の情報(位置及びサイズ)及び特徴点の情報(位置)を特徴点情報３２として第２記憶部３４に記憶させ、オプティカルフロー認証処理を終了する。
上述したオプティカルフロー認証処理が終了すると、図４の継続認証処理のステップ１１２へ移行する。ステップ１１２において、認証切替判定部２２は、オプティカルフロー認証処理の結果に基づき、継続認証を続けるか否か判定する。すなわち、オプティカルフロー認証処理において、対応関係が判別できた特徴点の数が所定値未満の場合には、利用者が離席した可能性が高いので、ステップ１１２の判定が否定されてステップ１２４へ移行する。そしてステップ１２４において、認証切替判定部２２は、利用者が離席したとの判定結果を出力し、継続認証処理を終了する。
また、ステップ１１２の判定が肯定された場合はステップ１１４へ移行する。ステップ１１４において、認証切替判定部２２は、画像の急激な輝度変化が収まったか否かを判定することで、継続認証の認証方式を色ヒストグラム認証に切替えるか否かを判定する認証方式切替判定を行う。具体的には、画像取得部１６によって連続して取得された画像Ｉ１と画像Ｉ２について対応する画素同士の輝度値の差分Ｉ１(ｘ,ｙ)−Ｉ２(ｘ,ｙ)を算出し、この差分が閾値Th以上の画素数Ｎを計数する。画素数Ｎが一定値未満の場合には、大きな照明のオンオフ等に起因して生じた画像の急激な輝度変化が収まったと判定することができる。なお、輝度変化の算出対象は画像全体に限られるものではなく、例えば顔領域と体領域を除外した領域等のように、画像の一部の領域を輝度変化の算出対象としてもよい。
なお、ステップ１１４の認証方式切替判定は、色ヒストグラムの類似度を用いて行ってもよい。すなわち、画像取得部１６によって連続して取得された画像Ｉ１,Ｉ２から顔領域の色ヒストグラムＣ１,Ｃ２を各々求め、これら色ヒストグラムの類似度が十分に高い場合には、画像の急激な輝度変化が収まったと判定するようにしてもよい。
次のステップ１１６において、認証切替判定部２２は、ステップ１１４の認証方式切替判定で画像の急激な輝度変化が収まったか否かに基づいて、オプティカルフロー認証による継続認証を終了するか否か判定する。ステップ１１４の認証方式切替判定で画像の急激な輝度変化が収まっていないと判定された場合、継続認証の認証方式を色ヒストグラム認証に切替えると、画像の急激な輝度変化を原因として継続認証が途切れる可能性がある。このため、ステップ１１６の判定が否定された場合はステップ１１８へ移行し、認証切替判定部２２は、継続認証の動作モードとしてオプティカルフロー認証モードを設定し、ステップ９２に戻る。
これにより、画像に急激な輝度変化が生じている間は、ステップ９４及びステップ１１６の判定が各々否定されることで、ステップ９２、ステップ９４、ステップ１１０〜ステップ１１８が繰り返され、オプティカルフロー認証によって継続認証が行われる。
一方、前述のように、オプティカルフロー認証は、処理負荷が大きく、利用者の姿勢変化に対する頑健さも色ヒストグラム認証より低いので長時間の認証には適さない。また、画像の急激な輝度変化が収まっていれば、色ヒストグラム認証による継続認証で継続認証が途切れる可能性も低下している。このため、ステップ１１６の判定が肯定された場合はステップ１２０へ移行し、認証切替判定部２２は、継続認証の動作モードをオプティカルフロー認証モードから色ヒストグラム認証モードへ切替える。次のステップ１２２において、通知部２４は、第２記憶部３４に記憶されている特徴点情報３２から顔領域の情報(位置及びサイズ)を抽出し、抽出した顔領域の情報を色ヒストグラム認証部１８へ通知し、ステップ９２に戻る。
これにより、以降の処理では、ステップ９４及びステップ９８の判定が各々肯定されることで、ステップ９２〜ステップ１００が繰り返され、色ヒストグラム認証による継続認証が再開されることになる。
〔第２実施形態〕
次に開示の技術の第２実施形態について説明する。なお、第１実施形態と同一の部分には同一の符号を付して説明を省略し、以下、第１実施形態と異なる部分のみ説明する。
図１１には、本第２実施形態に係る認証装置１０が示されている。本第２実施形態は、継続認証装置１４が、過去画像保存部３６と、過去画像情報３８を記憶するための第３記憶部４０を更に備えている点で第１実施形態と相違している。過去画像保存部３６は、画像取得部１６によって画像が取得される度に、取得された画像の画像データを、過去画像情報３８として第３記憶部４０に記憶させる。また、本第２実施形態では、第３記憶部４０に過去画像情報３８として記憶可能な画像の数には上限値が設定されている。過去画像保存部３６は、第３記憶部４０に記憶されている画像の数が上限値に達すると、新たな画像の画像データを第３記憶部４０に記憶させるにあたり、記憶されている画像のうち、記憶時期が最も古い画像の画像データを第３記憶部４０から削除する。
また、本第２実施形態に係る認証装置１０が、図２に示すコンピュータ４２で実現される場合、本第２実施形態に係る継続認証プログラム６２は、図２に破線で示すように、過去画像保存プロセス７６を更に有する。この場合、ＣＰＵ４４は、過去画像保存プロセス７６を実行することで、図１１に示す過去画像保存部３６として動作する。また、本第２実施形態に係る認証装置１０が、図２に示すコンピュータ４２で実現される場合、記憶部４８には、過去画像情報３８が更に記憶される。この場合、過去画像情報３８を記憶する記憶部４８は第３記憶部４０としても用いられ、メモリ４６の一部領域は過去画像情報３８の記憶領域として用いられる。
次に本第２実施形態の作用を説明する。第１実施形態で説明した継続認証処理(図４)では、色ヒストグラム認証による継続認証を行っている期間に画像の輝度の急激な変化が生じた場合、認証方式に切替にあたって最新の顔領域の情報をオプティカルフロー認証部２０へ通知していた(ステップ１０８)。しかし、画像の輝度変化が生じ始めてから、色ヒストグラムの類似度が閾値未満になり、画像の輝度の急激な変化が生じたことが検出される迄には若干のタイムラグがある。このため、オプティカルフロー認証部２０に対しても、画像の輝度変化が生じ始めることで色ヒストグラム認証部１８の処理精度が低下し始めた後に検出された低精度の顔領域の情報が通知される可能性がある(図１３(Ａ)も参照)。この場合、オプティカルフロー認証も影響を受けて処理精度が低下することが生じ得る。
本第２実施形態は上記を考慮したものであり、以下、本第２実施形態に係る継続認証処理について、図１２を参照し、第１実施形態で説明した継続認証処理(図４)と異なる部分についてのみ説明する。
本第２実施形態に係る継続認証処理では、ステップ９２で画像取得部１６が画像を取得した後、ステップ１８０において、過去画像保存部３６により、画像取得部１６によって取得された画像の画像データが過去画像情報３８として第３記憶部４０に記憶される。また、継続認証の認証方式を色ヒストグラム認証からオプティカルフロー認証へ切替える場合(ステップ１０４の判定が肯定された場合)、ステップ１０６で認証切替判定部２２が継続認証の動作モードを切替えた後、ステップ１８２へ移行する。
本第２実施形態では、色ヒストグラム認証部１８がｘ＋１フレーム(但しｘ≧１)分の画像の色ヒストグラム情報２８を第１記憶部３０に記憶させている。ステップ１８２において、通知部２４は、輝度変化が検出された時点の最新の画像よりもｘフレーム前の画像の色ヒストグラム情報２８に含まれる顔領域の情報を第１記憶部３０から抽出し、抽出した顔領域の情報をオプティカルフロー認証部２０に通知する。
これにより、オプティカルフロー認証部２０では、最新の画像よりｘフレーム前の画像の顔領域の情報と、第３記憶部４０に記憶された過去画像情報３８のうち最新の画像よりｘフレーム前の画像の画像データと、に基づいてオプティカルフロー認証を行う。このように、色ヒストグラム認証からオプティカルフロー認証への認証方式の切替えにあたり、図１３(Ｂ)に(1)として示すように、色ヒストグラム認証部１８の処理精度が低下する前の情報を用いてオプティカルフロー認証が開始される。従って、前述したタイムラグの影響でオプティカルフロー認証の処理精度が低下することを回避することができる。
なお、上記では色ヒストグラム認証からオプティカルフロー認証への切替えにあたり、最新の画像よりｘフレーム前の画像の情報(顔領域の情報及び画像データ)を用いてオプティカルフロー認証を開始しているが、これに限られるものではない。例えば図１４に示すように、輝度変化が検出された時点で、その時点までの色ヒストグラムの類似度の推移を参照し、輝度変化の影響で色ヒストグラムの類似度が低下し始めるよりも前の画像の情報を用いてオプティカルフロー認証を開始してもよい。すなわち、輝度変化が色ヒストグラムの類似度に影響を及ぼし始めるタイミングに応じて、フレーム数ｘを動的に変更するようにしてもよい。これにより、オプティカルフロー認証の処理精度の低下を、より確実に回避することができる。
〔第３実施形態〕
次に開示の技術の第３実施形態について説明する。なお、本第３実施形態は、第２実施形態と同一の構成であるので、各部分に同一の符号を付して構成の説明を省略し、以下、本第３実施形態の作用を説明する。
図１３(Ａ),(Ｂ)に示すように、先に説明した第１及び第２実施形態では、オプティカルフロー認証の実行中に画像の急激な輝度変化が収まったことを検知すると、オプティカルフロー認証を停止させると同時に色ヒストグラム認証を再開させていた。しかし、色ヒストグラム認証を再開した直後に画像の急激な輝度変化が再び発生したとすると、継続認証が途切れてしまう懸念があった。上記のように画像の急激な輝度変化が頻繁に生ずる状態としては、例えば、携帯型の情報機器を電車や自動車等の移動体の車内で利用しているために、照明条件が刻々と変わる状況等が挙げられる。
本第３実施形態は上記を考慮したものであり、以下、本第３実施形態に係る継続認証処理について、図１５を参照し、第２実施形態で説明した継続認証処理(図１２)と異なる部分についてのみ説明する。
本第３実施形態に係る継続認証処理では、ステップ１８０で画像データが第３記憶部４０に記憶された後、次のステップ１８４において、認証切替判定部２２は、継続認証の動作モードが色ヒストグラム・オプティカルフロー併用認証モードか否か判定される。ステップ１８４の判定が否定された場合はステップ９４へ移行し、第２実施形態と同様にステップ９４以降の処理が行われる。
また本第３実施形態に係る継続認証処理では、オプティカルフロー認証による継続認証を行っている状態でステップ１１６の判定が肯定されると(画像の急激な輝度変化が収まったことでオプティカルフロー認証を終了する場合)、ステップ１１８へ移行する。ステップ１８８において、認証切替判定部２２は、継続認証の動作モードをオプティカルフロー認証モードから色ヒストグラム・オプティカルフロー併用認証モードへ切替える。これにより、前述のステップ１８４の判定が肯定されてステップ１８６へ移行し、併用認証モード処理が行われた後にステップ９２に戻る。
この併用認証モード処理について、図１６を参照して説明すると、まずステップ１９０において、色ヒストグラム認証部１８は色ヒストグラム認証処理(図７も参照)を行う。次のステップ１９２において、認証切替判定部２２は、色ヒストグラム認証部１８による色ヒストグラム認証処理(ステップ１９０)で得られた色ヒストグラムの類似度が閾値以上か否かを判定することで、色ヒストグラム認証を継続するか否か判定する。色ヒストグラムの類似度が閾値以上の場合には、ステップ１９２の判定が肯定されてステップ１９４へ移行し、認証切替判定部２２は、色ヒストグラムの類似度が閾値以上の状態が一定期間以上継続しているか否か判定する。
ステップ１９４の判定が否定された場合はステップ１９６へ移行し、ステップ１９６において、オプティカルフロー認証部２０はオプティカルフロー認証処理(図８も参照)を行う。次のステップ１９８において、認証切替判定部２２は、継続認証の動作モードとして色ヒストグラム・オプティカルフロー併用認証モードを設定することで、当該モードを継続させ、併用認証モード処理を一旦終了する。これにより、例として図１７に示すように、色ヒストグラム認証で得られた色ヒストグラムの類似度が閾値以上の状態が一定期間以上継続する迄の間は、色ヒストグラム認証とオプティカルフロー認証が並列に各々実行される。
色ヒストグラムの類似度が閾値以上の状態が一定期間以上維持されると、ステップ１９４の判定が肯定されてステップ２００へ移行する。ステップ２００において、認証切替判定部２２は、オプティカルフロー認証部２０によるオプティカルフロー認証を停止させると共に、継続認証の動作モードを色ヒストグラム・オプティカルフロー併用認証モードから色ヒストグラム認証モードへ切替える。このように、画像の急激な輝度変化が収まったと判定した場合、色ヒストグラムの類似度が閾値以上の状態が一定期間以上継続した後にオプティカルフロー認証を終了するので、処理負荷が過大となったり継続認証の安定性が低下することを回避することができる。
また、色ヒストグラムの類似度が閾値以上の状態が一定期間以上継続する前に、色ヒストグラムの類似度が閾値未満になった場合は、ステップ１９４の判定が肯定される前にステップ１９２の判定が否定されることでステップ２０２へ移行する。ステップ２０２において、通知部２４は、第２記憶部３４に記憶されている特徴点情報３２から顔領域の情報(位置及びサイズ)を抽出し、抽出した顔領域の情報を色ヒストグラム認証部１８へ通知する。次のステップ２０４において、色ヒストグラム認証部１８は、通知部２４から通知された顔領域の情報に基づき、利用者の顔領域及び体領域の色ヒストグラムを各々生成する。
またステップ２０６において、色ヒストグラム認証部１８は、ステップ２０４で生成した利用者の顔領域及び体領域の色ヒストグラムを基準色ヒストグラムとして第１記憶部３０に記憶させる。これにより、色ヒストグラム情報２８の一部として第１記憶部３０に記憶されている基準色ヒストグラムが更新される。そしてステップ２０８において、認証切替判定部２２は、継続認証の動作モードとして色ヒストグラム・オプティカルフロー併用認証モードを設定することで、当該モードを継続させる。
このように、色ヒストグラム認証とオプティカルフロー認証が並列に各々実行されている期間に、照明条件の変化等によって画像に急激な輝度の変化が生じ、これに伴って色ヒストグラムの類似度が低下した場合には、基準色ヒストグラムが更新される。これにより、図１８に示すように、色ヒストグラムの類似度が回復し、これに伴い色ヒストグラム認証の精度も回復される。そして、その後、色ヒストグラムの類似度が閾値以上の状態が一定期間以上継続すると、前述のように、オプティカルフロー認証が停止され、継続認証の動作モードが色ヒストグラム認証モードへ切替えされる。これにより、オプティカルフロー認証の頻繁な停止・再開が抑制されるので、画像の急激な輝度変化が頻繁に発生した場合に継続認証が途切れてしまうことを回避することができる。
なお、上記では継続認証処理を開始する際に、顔検出部２６によって抽出された顔領域と、当該顔領域から特定される体領域の色ヒストグラムを基準ヒストグラムとして登録する態様を説明したが、これに限定されるものではない。例えばログイン認証装置１２が、ログイン認証として、利用者の顔が予め登録された正規の利用者の顔に対応しているか否かを判定する顔認証を行う構成であれば、当該顔認証での顔領域の抽出結果に基づいて基準色ヒストグラムの登録を行うようにしてもよい。この場合、顔検出部２６を省略することで継続認証装置１４の構成を簡単にすることが可能となる。
また、上記では、ログイン認証完了後に顔検出を行って顔領域が検出された直後に基準色ヒストグラムの登録を行っているが、これに限定されるものではない。例えば、色ヒストグラム認証による継続認証を行っている途中で、定期的に、或いは、日射角度の変化等に起因する画像の緩やかな輝度変化が検出された等のタイミングで、顔領域の検出及び基準色ヒストグラムの更新を行うようにしてもよい。また、基準色ヒストグラムを登録する部位についても、利用者の顔領域及び体領域に限定されるものではなく、例えば顔領域及び体領域の一方のみを登録してもよいし、顔や体の一部分の色ヒストグラムのみ登録するようにしてもよい。
また、上記ではログイン認証の後、ログイン認証を経た同一の利用者が情報機器を継続的に使用しているか否かを認証する継続認証に開示の技術を適用した態様を説明したが、開示の技術は上記の態様に限定されるものではない。例えば、利用者が情報機器を利用している間のみ映像(動画像)や音声の再生やアプリケーション・プログラムの実行を行い、利用者が情報機器の設置場所から離れている間は映像等の再生等を停止させる態様において、利用者の在／不在の検知に適用してもよい。
また、上記では継続認証プログラム６２が記憶部４８に予め記憶（インストール）されている態様を説明したが、継続認証プログラム６２は、ＣＤ−ＲＯＭやＤＶＤ−ＲＯＭ等の記録媒体に記録されている形態で提供することも可能である。
本明細書に記載された全ての文献、特許出願及び技術規格は、個々の文献、特許出願及び技術規格が参照により取り込まれることが具体的かつ個々に記された場合と同程度に、本明細書中に参照により取り込まれる。
１０ 認証装置
１４ 継続認証装置
１６ 画像取得部
１８ 色ヒストグラム認証部
２０ オプティカルフロー認証部
２２ 認証切替判定部
２４ 通知部
２６ 顔検出部
３０ 第１記憶部
３４ 第２記憶部
３６ 過去画像保存部
４０ 第３記憶部
４２ コンピュータ
４４ ＣＰＵ
４８ 記憶部
５６ カメラ

Claims (17)

  1. 撮影部によって撮影された画像を順次取得する画像取得部と、
    前記画像取得部によって順次取得された画像について、色ヒストグラムの類似度に基づいて、個々の前記画像中の利用者に対応する利用者対応領域を検知することを繰り返す第１検知部と、
    前記画像取得部によって順次取得された画像について、個々の前記画像内に存在する特徴点を順次比較することで、個々の前記画像中の利用者対応領域を検知することを繰り返す第２検知部と、
    前記画像取得部によって順次取得された画像の輝度が所定値以上変化している間は前記第２検知部によって利用者対応領域の検知を行わせ、それ以外の期間は前記第１検知部によって利用者対応領域の検知を行わせる切替判定部と、
    を含み、
    前記切替判定部は、前記第２検知部によって利用者対応領域の検知が行われている期間に、前記画像中の利用者対応領域の色ヒストグラムの類似度が閾値以上の状態が一定期間以上継続した場合に、前記第２検知部による利用者対応領域の検知から前記第１検知部による利用者対応領域の検知に切替える利用者検知装置。
  2. 撮影部によって撮影された画像を順次取得する画像取得部と、
    前記画像取得部によって順次取得された画像について、色ヒストグラムの類似度に基づいて、個々の前記画像中の利用者に対応する利用者対応領域を検知することを繰り返す第１検知部と、
    前記画像取得部によって順次取得された画像について、個々の前記画像内に存在する特徴点を順次比較することで、個々の前記画像中の利用者対応領域を検知することを繰り返す第２検知部と、
    前記画像取得部によって順次取得された画像の輝度が所定値以上変化している間は前記第２検知部によって利用者対応領域の検知を行わせ、それ以外の期間は前記第１検知部によって利用者対応領域の検知を行わせる切替判定部と、
    を含み、
    前記切替判定部は、前記画像取得部によって順次取得された画像の輝度の差分値を算出し、画像全体または一部分の輝度の差分値が所定値未満になった場合に、前記第２検知部による利用者対応領域の検知から前記第１検知部による利用者対応領域の検知に切替える利用者検知装置。
  3. 前記切替判定部は、前記画像取得部によって順次取得された画像の輝度の差分値を算出し、画像全体または一部分の輝度の差分値が所定値以上になった場合に、前記第１検知部による利用者対応領域の検知から前記第２検知部による利用者対応領域の検知に切替える請求項１または請求項２記載の利用者検知装置。
  4. 前記切替判定部は、前記第１検知部によって前記色ヒストグラムの類似度が閾値未満と判定された場合に、前記画像取得部によって順次取得された画像の輝度が所定値以上変化しているか否かを判定する請求項３記載の利用者検知装置。
  5. 前記画像取得部によって取得された前記画像中の利用者対応領域の色ヒストグラムを基準色ヒストグラムとして記憶する第１記憶部を更に備え、
    前記第１検知部は、前記基準色ヒストグラムに対する、前記画像取得部によって取得された画像中の複数の領域の色ヒストグラムの類似度を各々演算し、前記複数の領域のうち前記類似度が閾値以上の領域を前記画像中の利用者対応領域と判断する請求項１〜請求項４の何れか１項記載の利用者検知装置。
  6. 前記第１検知部によって利用者対応領域の検知が行われていた状態から前記第２検知部による利用者対応領域の検知が開始される際に、前記第１検知部によって検知されている利用者対応領域の位置情報を前記第２検知部に通知する通知部を更に備え、
    前記第２検知部は、前記通知部から通知された位置情報で特定される領域内に存在する特徴点に基づいて利用者対応領域の検知を行う請求項５記載の利用者検知装置。
  7. 前記画像取得部によって取得された前記画像中の利用者対応領域内から前記第２検知部によって抽出された特徴点の情報を記憶する第２記憶部を更に備え、
    前記第２検知部は、前記画像取得部によって新たに取得された前記画像から特徴点を抽出し、抽出した特徴点と前記第２記憶部に情報が記憶された特徴点との対応関係を判断し、前記第２記憶部に情報が記憶された特徴点と対応していると判断した特徴点から特定される領域を前記画像中の利用者対応領域と判断する請求項１〜請求項６の何れか１項記載の利用者検知装置。
  8. 前記第２検知部によって利用者対応領域の検知が行われていた状態から前記第１検知部による利用者対応領域の検知が開始される際に、前記第２検知部によって検知されている利用者対応領域の位置情報を前記第１検知部に通知する通知部を更に備え、
    前記第１検知部は、前記通知部から通知された位置情報で特定される領域内の色ヒストグラムに基づいて利用者対応領域の検知を行う請求項７記載の利用者検知装置。
  9. 前記画像取得部によって過去に取得された画像を第３記憶部に記憶させる過去画像保存部を更に備え、
    前記第１検知部によって利用者対応領域の検知が行われていた状態から前記第２検知部による利用者対応領域の検知が開始される際に、前記第２検知部は、前記第３記憶部に記憶された画像を用いて利用者対応領域の検知を開始する請求項１〜請求項８の何れか１項記載の利用者検知装置。
  10. 前記画像取得部によって取得された前記画像中の利用者対応領域の色ヒストグラムを基準色ヒストグラムとして記憶する第１記憶部を更に備え、
    前記第１検知部は、前記基準色ヒストグラムに対する、前記画像取得部によって取得された画像中の複数の領域の色ヒストグラムの類似度を各々演算し、前記複数の領域のうち前記類似度が閾値以上の領域を前記画像中の利用者対応領域と判断し、
    前記第１検知部によって利用者対応領域の検知が行われていた状態から前記第２検知部による利用者対応領域の検知が開始される際に、前記第１検知部による利用者対応領域の検知で前記類似度が閾値以上の領域が存在していたときの前記領域の位置情報を前記第２検知部に通知する通知部を更に備え、
    前記第１検知部によって利用者対応領域の検知が行われていた状態から前記第２検知部による利用者対応領域の検知が開始される際に、前記第２検知部は、前記第３記憶部に記憶された画像のうち、前記第１検知部による利用者対応領域の検知で前記類似度が閾値以上の領域が存在していたときの画像を用いて利用者対応領域の検知を開始する請求項９記載の利用者検知装置。
  11. 前記切替判定部は、前記第２検知部によって利用者対応領域の検知が行われていた状態で、前記画像の利用者対応領域内の色ヒストグラムの類似度が閾値以上の状態が一定期間以上継続するか、または、前記画像取得部によって順次取得された画像の輝度の差分値が所定値未満になった場合に、前記第１検知部による利用者対応領域の検知を開始させると共に、前記第１検知部による利用者対応領域の検知を開始させてから所定期間が経過する迄の間は前記第２検知部による利用者対応領域の検知も継続させる請求項１〜請求項１０の何れか１項記載の利用者検知装置。
  12. 前記切替判定部は、前記第１検知部および前記第２検知部が各々利用者対応領域の検知を行っている期間内に、前記第１検知部によって前記色ヒストグラムの類似度が閾値以上と判定されている状態が一定期間以上継続した場合には、前記第２検知部による利用者対応領域の検知を停止させる請求項１１記載の利用者検知装置。
  13. 前記画像取得部によって取得された前記画像中の利用者対応領域の色ヒストグラムを基準色ヒストグラムとして記憶する第１記憶部を更に備え、
    前記第１検知部および前記第２検知部が各々利用者対応領域の検知を行っている期間内に、前記第１検知部によって前記色ヒストグラムの類似度が閾値未満と判定された場合に、前記第２検知部によって検知されている利用者対応領域の位置情報を前記第１検知部に通知する通知部を更に備え、
    前記第１検知部は、前記基準色ヒストグラムを用いて前記色ヒストグラムの類似度を演算すると共に、前記第１検知部および前記第２検知部が利用者対応領域の検知を各々行っている期間内に、前記通知部によって前記位置情報が通知された場合に、通知された前記位置情報で特定される領域内の色ヒストグラムを前記基準色ヒストグラムとして前記第１記憶部に記憶させる請求項１１または請求項１２記載の利用者検知装置。
  14. 撮影部によって撮影された画像を順次取得する画像取得ステップと、
    前記画像取得ステップによって順次取得された画像について、色ヒストグラムの類似度に基づいて、個々の前記画像中の利用者に対応する利用者対応領域を検知することを繰り返す第１検知ステップと、
    前記画像取得ステップによって順次取得された画像について、個々の前記画像内に存在する特徴点を順次比較することで、個々の前記画像中の利用者対応領域を検知することを繰り返す第２検知ステップと、
    前記画像取得ステップによって順次取得された画像の輝度が所定値以上変化している間は前記第２検知ステップによって利用者対応領域の検知を行わせ、それ以外の期間は前記第１検知ステップによって利用者対応領域の検知を行わせる切替判定ステップと、
    を含み、
    前記切替判定ステップは、前記第２検知ステップによって利用者対応領域の検知を行っている期間に、前記画像中の利用者対応領域の色ヒストグラムの類似度が閾値以上の状態が一定期間以上継続した場合に、前記第２検知ステップによる利用者対応領域の検知から前記第１検知ステップによる利用者対応領域の検知に切替える利用者検知方法。
  15. 撮影部によって撮影された画像を順次取得する画像取得ステップと、
    前記画像取得ステップによって順次取得された画像について、色ヒストグラムの類似度に基づいて、個々の前記画像中の利用者に対応する利用者対応領域を検知することを繰り返す第１検知ステップと、
    前記画像取得ステップによって順次取得された画像について、個々の前記画像内に存在する特徴点を順次比較することで、個々の前記画像中の利用者対応領域を検知することを繰り返す第２検知ステップと、
    前記画像取得ステップによって順次取得された画像の輝度が所定値以上変化している間は前記第２検知ステップによって利用者対応領域の検知を行わせ、それ以外の期間は前記第１検知ステップによって利用者対応領域の検知を行わせる切替判定ステップと、
    を含み、
    前記切替判定ステップは、前記画像取得ステップで順次取得した画像の輝度の差分値を算出し、画像全体または一部分の輝度の差分値が所定値未満になった場合に、前記第２検知ステップによる利用者対応領域の検知から前記第１検知ステップによる利用者対応領域の検知に切替える利用者検知方法。
  16. コンピュータに、
    撮影部によって撮影された画像を順次取得する画像取得ステップと、
    前記画像取得ステップによって順次取得された画像について、色ヒストグラムの類似度に基づいて、個々の前記画像中の利用者に対応する利用者対応領域を検知することを繰り返す第１検知ステップと、
    前記画像取得ステップによって順次取得された画像について、個々の前記画像内に存在する特徴点を順次比較することで、個々の前記画像中の利用者対応領域を検知することを繰り返す第２検知ステップと、
    前記画像取得ステップによって順次取得された画像の輝度が所定値以上変化している間は前記第２検知ステップによって利用者対応領域の検知を行わせ、それ以外の期間は前記第１検知ステップによって利用者対応領域の検知を行わせる切替判定ステップと、
    を実行させる利用者検知プログラムであって、
    前記切替判定ステップは、前記第２検知ステップによって利用者対応領域の検知を行っている期間に、前記画像中の利用者対応領域の色ヒストグラムの類似度が閾値以上の状態が一定期間以上継続した場合に、前記第２検知ステップによる利用者対応領域の検知から前記第１検知ステップによる利用者対応領域の検知に切替える利用者検知プログラム。
  17. コンピュータに、
    撮影部によって撮影された画像を順次取得する画像取得ステップと、
    前記画像取得ステップによって順次取得された画像について、色ヒストグラムの類似度に基づいて、個々の前記画像中の利用者に対応する利用者対応領域を検知することを繰り返す第１検知ステップと、
    前記画像取得ステップによって順次取得された画像について、個々の前記画像内に存在する特徴点を順次比較することで、個々の前記画像中の利用者対応領域を検知することを繰り返す第２検知ステップと、
    前記画像取得ステップによって順次取得された画像の輝度が所定値以上変化している間は前記第２検知ステップによって利用者対応領域の検知を行わせ、それ以外の期間は前記第１検知ステップによって利用者対応領域の検知を行わせる切替判定ステップと、
    を実行させる利用者検知プログラムであって、
    前記切替判定ステップは、前記画像取得ステップで順次取得した画像の輝度の差分値を算出し、画像全体または一部分の輝度の差分値が所定値未満になった場合に、前記第２検知ステップによる利用者対応領域の検知から前記第１検知ステップによる利用者対応領域の検知に切替える利用者検知プログラム。
JP2011272519A 2011-12-13 2011-12-13 利用者検知装置、方法及びプログラム Expired - Fee Related JP5935308B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2011272519A JP5935308B2 (ja) 2011-12-13 2011-12-13 利用者検知装置、方法及びプログラム
EP20120190774 EP2605180A3 (en) 2011-12-13 2012-10-31 User detecting apparatus, user detecting method and a user detecting program
US13/668,583 US9223954B2 (en) 2011-12-13 2012-11-05 User detecting apparatus, user detecting method and computer-readable recording medium storing a user detecting program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2011272519A JP5935308B2 (ja) 2011-12-13 2011-12-13 利用者検知装置、方法及びプログラム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2016000455A Division JP2016105293A (ja) 2016-01-05 2016-01-05 利用者検知装置、方法及びプログラム

Publications (2)

Publication Number Publication Date
JP2013125341A JP2013125341A (ja) 2013-06-24
JP5935308B2 true JP5935308B2 (ja) 2016-06-15

Family

ID=47605288

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011272519A Expired - Fee Related JP5935308B2 (ja) 2011-12-13 2011-12-13 利用者検知装置、方法及びプログラム

Country Status (3)

Country Link
US (1) US9223954B2 (ja)
EP (1) EP2605180A3 (ja)
JP (1) JP5935308B2 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016105293A (ja) * 2016-01-05 2016-06-09 富士通株式会社 利用者検知装置、方法及びプログラム

Families Citing this family (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9047464B2 (en) 2011-04-11 2015-06-02 NSS Lab Works LLC Continuous monitoring of computer user and computer activities
US9092605B2 (en) * 2011-04-11 2015-07-28 NSS Lab Works LLC Ongoing authentication and access control with network access device
JP6028453B2 (ja) * 2012-08-24 2016-11-16 富士通株式会社 画像処理装置、画像処理方法および画像処理プログラム
US20140282868A1 (en) * 2013-03-15 2014-09-18 Micah Sheller Method And Apparatus To Effect Re-Authentication
US9590966B2 (en) 2013-03-15 2017-03-07 Intel Corporation Reducing authentication confidence over time based on user history
US9852275B2 (en) 2013-03-15 2017-12-26 NSS Lab Works LLC Security device, methods, and systems for continuous authentication
WO2014209273A1 (en) * 2013-06-25 2014-12-31 Thomson Licensing Secure, uninterrupted operation of mobile devices
JP6287047B2 (ja) * 2013-10-22 2018-03-07 富士通株式会社 画像処理装置、画像処理方法および画像処理プログラム
JP6326847B2 (ja) * 2014-02-14 2018-05-23 富士通株式会社 画像処理装置、画像処理方法および画像処理プログラム
CN105096347B (zh) * 2014-04-24 2017-09-08 富士通株式会社 图像处理装置和方法
CN104732581A (zh) * 2014-12-26 2015-06-24 东华大学 基于点特征直方图的移动场景点云精简算法
KR101717079B1 (ko) * 2015-10-07 2017-03-16 민운기 색 히스토그램 정보 중복성에 관한 영상 키 인증 방법 및 시스템
KR101603201B1 (ko) * 2015-09-18 2016-03-15 민운기 영상의 색 히스토그램 및 질감 정보를 이용한 영상 키 인증 방법 및 시스템
WO2017047862A1 (ko) * 2015-09-18 2017-03-23 민운기 영상의 색 히스토그램 및 질감 정보를 이용한 영상 키 인증 방법 및 시스템
KR101715655B1 (ko) * 2016-03-04 2017-03-14 민운기 영상의 색 히스토그램 및 질감 정보를 이용한 영상 키 인증 방법 및 시스템
US20190087636A1 (en) * 2016-03-25 2019-03-21 Microsoft Technology Licensing, Llc Communication of fingerprint data
CN107610108B (zh) * 2017-09-04 2019-04-26 腾讯科技（深圳）有限公司 图像处理方法和装置
US11095641B1 (en) 2018-12-20 2021-08-17 Wells Fargo Bank, N.A. Systems and methods for passive continuous session authentication
US11159520B1 (en) 2018-12-20 2021-10-26 Wells Fargo Bank, N.A. Systems and methods for passive continuous session authentication
CN110909183B (zh) * 2019-10-29 2023-01-17 联想(北京)有限公司 一种多媒体数据处理方法、装置和存储介质
WO2021140588A1 (ja) 2020-01-08 2021-07-15 三菱電機株式会社 生体認証装置、生体認証方法、および、生体認証プログラム
WO2021215015A1 (ja) * 2020-04-24 2021-10-28 富士通株式会社 認証装置、認証方法及び認証プログラム
CN114360036A (zh) * 2022-03-21 2022-04-15 深圳市海清视讯科技有限公司 图像识别方法、装置、服务器和存储介质

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0740722B2 (ja) * 1986-03-06 1995-05-01 株式会社東芝 デジタル信号処理回路
JP3111760B2 (ja) 1993-07-27 2000-11-27 日産自動車株式会社 アクスルビーム式サスペンション搭載車の車体部材補強構造
JP4328259B2 (ja) * 2004-04-21 2009-09-09 日本電信電話株式会社 動物体追跡方法、動物体追跡プログラムおよびその記録媒体、ならびに、動物体追跡装置
JP4373840B2 (ja) * 2004-04-21 2009-11-25 日本電信電話株式会社 動物体追跡方法、動物体追跡プログラムおよびその記録媒体、ならびに、動物体追跡装置
JP2007052770A (ja) * 2005-07-21 2007-03-01 Omron Corp 監視装置
JP4367424B2 (ja) * 2006-02-21 2009-11-18 沖電気工業株式会社 個人識別装置，個人識別方法
JP2007241477A (ja) * 2006-03-06 2007-09-20 Fuji Xerox Co Ltd 画像処理装置
JP2008146449A (ja) * 2006-12-12 2008-06-26 Konica Minolta Holdings Inc 認証システム、認証方法およびプログラム
US8873798B2 (en) * 2010-02-05 2014-10-28 Rochester Institue Of Technology Methods for tracking objects using random projections, distance learning and a hybrid template library and apparatuses thereof

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016105293A (ja) * 2016-01-05 2016-06-09 富士通株式会社 利用者検知装置、方法及びプログラム

Also Published As

Publication number Publication date
EP2605180A3 (en) 2015-04-08
US20130147972A1 (en) 2013-06-13
US9223954B2 (en) 2015-12-29
JP2013125341A (ja) 2013-06-24
EP2605180A2 (en) 2013-06-19

Similar Documents

Publication Publication Date Title
JP5935308B2 (ja) 利用者検知装置、方法及びプログラム
JP5831193B2 (ja) 利用者検知装置、方法及びプログラム
JP6287047B2 (ja) 画像処理装置、画像処理方法および画像処理プログラム
JP5888034B2 (ja) 利用者検知装置、方法及びプログラム
US9864756B2 (en) Method, apparatus for providing a notification on a face recognition environment, and computer-readable recording medium for executing the method
US10163027B2 (en) Apparatus for and method of processing image based on object region
JP6089577B2 (ja) 画像処理装置、画像処理方法および画像処理プログラム
US20160260226A1 (en) Method and apparatus for detecting object in moving image and storage medium storing program thereof
KR20170109007A (ko) 얼굴 생체 내 검출 방법 및 장치
JP2007226327A (ja) 個人識別装置，個人識別方法
EP2591460A1 (en) Method, apparatus and computer program product for providing object tracking using template switching and feature adaptation
WO2019163066A1 (ja) なりすまし検知装置、なりすまし検知方法、及びコンピュータ読み取り可能な記録媒体
JP6157165B2 (ja) 視線検出装置及び撮像装置
WO2019163065A1 (ja) なりすまし検知装置、なりすまし検知方法、及びコンピュータ読み取り可能な記録媒体
JP2007233871A (ja) 画像処理装置、コンピュータの制御方法及びプログラム
US9154682B2 (en) Method of detecting predetermined object from image and apparatus therefor
JP5861530B2 (ja) 利用者検知装置、方法、及びプログラム
JP2016105293A (ja) 利用者検知装置、方法及びプログラム
CN108334811B (zh) 一种人脸图像处理方法及装置
JP2013029996A (ja) 画像処理装置
JP2012221002A (ja) ユーザ検知装置、ユーザ検知方法、およびユーザ検知プログラム
KR101785191B1 (ko) 피부색 모델과 모션정보를 융합한 관심영역을 이용한 얼굴 검출 방법 및 장치
JP2016024646A (ja) 画像処理装置、情報処理装置、画像処理方法およびコンピュータプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20140805

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20150424

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20150519

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150721

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20151117

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160105

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20160209

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160310

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20160412

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20160425

R150 Certificate of patent or registration of utility model

Ref document number: 5935308

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees