JP5704905B2 - 画像処理装置及び画像処理方法、プログラム、並びに記憶媒体 - Google Patents

画像処理装置及び画像処理方法、プログラム、並びに記憶媒体 Download PDF

Info

Publication number
JP5704905B2
JP5704905B2 JP2010268719A JP2010268719A JP5704905B2 JP 5704905 B2 JP5704905 B2 JP 5704905B2 JP 2010268719 A JP2010268719 A JP 2010268719A JP 2010268719 A JP2010268719 A JP 2010268719A JP 5704905 B2 JP5704905 B2 JP 5704905B2
Authority
JP
Japan
Prior art keywords
face
personal authentication
detected
image processing
face detection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2010268719A
Other languages
English (en)
Other versions
JP2012118817A (ja
Inventor
山田 恵司
恵司 山田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2010268719A priority Critical patent/JP5704905B2/ja
Priority to US13/293,863 priority patent/US8879802B2/en
Priority to CN201110396341.1A priority patent/CN102542254B/zh
Publication of JP2012118817A publication Critical patent/JP2012118817A/ja
Application granted granted Critical
Publication of JP5704905B2 publication Critical patent/JP5704905B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31User authentication
    • G06F21/32User authentication using biometric data, e.g. fingerprints, iris scans or voiceprints
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/98Detection or correction of errors, e.g. by rescanning the pattern or by human intervention; Evaluation of the quality of the acquired patterns
    • G06V10/993Evaluation of the quality of the acquired pattern
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161Detection; Localisation; Normalisation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/61Control of cameras or camera modules based on recognised objects
    • H04N23/611Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Security & Cryptography (AREA)
  • Quality & Reliability (AREA)
  • Software Systems (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Signal Processing (AREA)
  • General Health & Medical Sciences (AREA)
  • Collating Specific Patterns (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Description

本発明は、画像から人物の顔を検出して、検出した顔に対して個人認証を行う画像処理技術に関する。
近年では、撮影中に周期的に顔を検出し、予め保持している個人情報と比較を行い、その顔が誰であるか特定する個人認証が可能なスチルカメラが登場している。こうしたカメラでは、1秒間に複数回顔検出が行われている。そして顔検出が終わると、その検出結果を用いて個人認証を行う。個人認証の処理を実施するには顔検出より長い時間を要するため、その間に複数回顔検出が行われる。
しかしながら、検出された顔が個人認証をする上で最適な顔とは限らない。例えば、顔が傾いていたり、目を瞑っていたりする場合がある。そのような場合、信頼度の高い個人認証結果が得られない。
この課題を解決するための最適な顔を抽出する方法として、特許文献1には、顔検出を行いながらその検出結果を都度判定し、条件を満たした顔のみを表情認識に使用する画像処理装置について記述されている。このように、条件を満たした顔のみを表情認識に使用することで、最適な顔を抽出することができる。
特開2008−310775号公報
しかしながら、上記従来技術により個人認証を行う場合、顔検出結果が所定の条件を満たすのを待つことになり、個人認証の開始が遅くなる。よって、個人認証結果が出るまでの時間が長くなる可能性がある。
本発明は、上記課題に鑑みてなされ、その目的は、個人認証を行う一周期の期間内に取り込まれた複数の画像から検出された顔の中から、好適な条件の顔を選択することで、個人認証を行う期間毎に高い認証精度が得られる画像処理技術を実現することである。
上記課題を解決し、目的を達成するために、本発明の画像処理装置は、画像から人物の顔領域を検出する顔検出処理を繰り返し行う顔検出手段と、前記顔検出手段により検出された顔領域に対する個人認証処理を繰り返し行う認証手段とを有し、前記認証手段は、前記顔検出手段による前記顔検出処理の周期よりも長く、かつ、一定の周期で前記個人認証処理を行うものであり、前記個人認証処理を行う前記一定の周期の間に、複数のフレームの画像から前記顔検出処理によって複数の顔領域が検出された場合には、それぞれの顔領域を比較した結果に基づいて選択したいずれかの顔領域を前記個人認証処理の対象とする。
本発明によれば、個人認証を行う一周期の期間内に取り込まれた複数の画像から検出された顔の中から、好適な条件の顔を選択することで、個人認証を行う期間毎に高い認証精度が得られる。
本発明に係る実施形態の画像処理装置のブロック図。 顔検出処理と個人認証処理の各処理周期を説明する図。 実施形態1による個人認証を行う一周期の期間に顔検出された画像と検出結果を例示する図。 実施形態1による個人認証の対象とする顔を判定方法を例示する図。 実施形態2による個人認証の対象とする顔の判定方法を例示する図。 実施形態2による個人認証を行う一周期の期間に顔検出された画像と検出結果を例示する図。
以下に、本発明を実施するための形態について詳細に説明する。尚、以下に説明する実施の形態は、本発明を実現するための一例であり、本発明が適用される装置の構成や各種条件によって適宜修正又は変更されるべきものであり、本発明は以下の実施の形態に限定されるものではない。また、後述する各実施形態の一部を適宜組み合わせて構成してもよい。
[実施形態1]先ず、実施形態1について説明する。以下では、本発明の画像処理装置を、撮影画像(動画や静止画)から顔検出/個人認証を行うデジタルビデオカメラとして説明する。
<ビデオカメラの構成>先ず、図1を参照して、ビデオカメラ100の構成について説明する。図1において、ビデオカメラ100は制御系101〜104を備える。101はプログラムに従い各種演算処理を実行するCPUである。102はプログラムやデータ等を一時的に保持する揮発性メモリを構成するRAMである。103は、ハードディスク等の補助記憶装置やフラッシュメモリ等の不揮発性メモリを構成するROMである。104はユーザ操作を受け付ける操作部である。
CPU101は内部バス105を介して、RAM102、ROM103、操作部104その他各ブロックに接続され、ROM103に格納された制御プログラムに従って、各ブロックの制御を行う。RAM102は、CPU101による演算処理時にデータの一時的な格納場所として用いられる。操作部104は、ユーザが操作可能なボタンやキー、レバー等の操作部材からなり、ユーザによる入力操作をCPU101に出力し、CPU101はユーザの操作指示に応じて各種演算処理を実行する。
また、ビデオカメラ100は撮像光学系110〜114を備える。110はズームレンズ、111はフォーカシングレンズ、112は絞り、113は、これらレンズ110、111や絞り112を駆動するレンズ駆動部である。114は被写体の画像を電気信号化するCCDやCMOSからなるイメージセンサを構成する撮像素子である。ズームレンズ110及びフォーカシングレンズ111を通過した光は、撮像素子114の撮像面上に結像され、撮像面の光学像が光電変換されて画像信号として出力される。レンズ駆動部113はCPU101の制御指令に従い、ズームレンズ110やフォーカシングレンズ111、絞り112を駆動して、光学ズーム倍率、フォーカス及び絞り量の調整を行う。AFE115はCPU101の制御指令に応じた電子シャッター速度で、撮像素子114を駆動し、1/60秒毎に1フレーム分の画像信号を読み出し、画像信号のサンプル・ホールドと増幅、デジタル信号への変換を行う。
更に、ビデオカメラ100は画像処理系として、画像処理部120、露出評価部121、フォーカス評価部122、バッファメモリ123、顔検出部124、個人認証部125を備える。画像処理部120はCPU101の制御指令に従い、撮像素子114からAFE115を介して画像信号を入力して色変換等の信号処理を行い、バッファメモリ123に出力する。露出評価部121及びフォーカス評価部122は、画像処理部120から取得した画像信号に含まれる複数の画像領域に対して、露出状態及びフォーカス状態それぞれについて良否を評価する。顔検出部124は1フレーム毎にバッファメモリ123から画像信号を読み出し、画像に含まれる人物の顔の数や大きさ、位置等を周期的に検出する。
CPU101は、顔検出部124が検出に用いた画像データをバッファメモリ123に一時的に格納する。更に、バッファメモリ123に格納されている画像データについて、顔検出部124で検出された顔の大きさや位置等の顔検出結果と検出対象の画像データとを関連付けてRAM102に格納する。
個人認証部125はCPU101の制御指令に従い、個人認証処理を顔検出処理よりも遅い一定の周期で実行する。個人認証処理は、顔検出部124で検出された顔の中から後述する判定基準にて選択された顔と、ROM103に格納された個人情報リストに登録されている人物毎の顔とを比較し、検出された顔と類似する顔の人物がいるか否を判定する。すなわち、個人認証部125は、顔検出部124によって検出された顔の中から後述する判定基準にて選択された顔(画像データ)と、個人情報リストに登録されている顔(画像データ)との類似度を算出する。この類似度を算出する方法としては、例えば、特開2000−030065号公報に開示されたように、顔画像データの大きさ、角度、輝度などを正規化した後、フーリエスペクトルのKL展開法を用いる方法がある。あるいは、特開2004−038531号公報に開示されているように、検出した顔画像データを顔までの距離に応じて正規化し、マッチングを行う手法などがある。なお、予め登録されている顔画像データとは、圧縮されて保存されている顔画像データそのもの、若しくは目、鼻、口、眉毛など、顔に関する特徴量を示す情報である。
また、ビデオカメラ100はUSB等のインタフェースを構成する出力部130を備え、バッファメモリ123から読み出した画像信号を、パーソナルコンピュータ(PC)やプリンタ等の外部機器に出力する。
<顔検出処理及び個人認証処理>次に、図2を参照して顔検出処理と個人認証処理について説明する。
図2は個人認証を行う一周期の期間毎に、顔検出に利用された画像データを例示している。図中の「検出画像」とは、顔検出部124がバッファメモリ123から読み出し、顔検出処理を行った画像である。画像201〜209を検出画像とすると、先ず、画像201をバッファメモリ123から読み出し、顔検出処理を行う。同様にして、画像202、203、204の順で顔検出処理を行う。これら検出画像201〜204から検出された顔の中から、CPU101は、所定の判定条件を満たしている好適な条件の顔を選択し、選択された顔について、個人認証部125が個人認証処理を行う。
図中の「個人認証処理」とは、個人認証部125での処理期間を示したものである。211、212で示した期間が個人認証を行う一周期の期間を示す。検出画像201〜204は、次回の個人認証処理期間212で処理される。同様に、検出画像205〜208は、次回の個人認証処理期間213で処理される。本実施形態においては、図示のように、一回の個人認証処理に対して顔検出が4回行われる。
ここで、バッファメモリ123の動作について説明する。図中の個人認証処理期間211で行われた顔検出結果に対応する検出画像201〜204は、バッファメモリ123とRAM102にそれぞれ格納される。ここで、CPU101は、検出画像202から検出された顔を好適な条件の顔として、次回の個人認証処理期間212における個人認証処理で利用する。個人認証部125が個人認証処理期間212での個人認証処理を開始すると、CPU101は検出画像202とその顔検出結果をバッファメモリ123に残しつつ、それ以外の検出画像201、203、204と顔検出結果を削除する。そして次の検出画像205〜208を順次格納する。
このようにして、本実施形態によれば、CPU101が、個人認証処理期間211の間に顔検出された検出画像201〜204の中で、好適な条件の顔を選択し、選択された顔に対して個人認証処理を行う。
なお、顔検出方法としては、画像データから肌色データを抽出し肌色範囲と判定された領域を顔領域として抽出するが、例えば、目、鼻、口など顔の部品に注目する方法や、顔の輪郭に注目した楕円形状情報を利用する方法など他の方法を用いても構わない。
<顔選択方法>次に、図3を参照して、個人認証処理の対象とするためにCPU101が検出画像から好適な条件の顔を選択する方法について説明する。本実施形態では、CPU101は、検出された顔の大きさ(顔領域を構成する画素数)を判定基準として算出し、個人認証を行う一周期の期間に検出された顔の中で、顔領域が最も大きい顔を個人認証の対象とする顔として選択する。これは、顔領域が大きい方が画素数が多くなり、個人認証精度が高くなるからである。
図3(A)は個人認証を行う一周期の期間に取り込まれた検出画像を例示している。図3(A)において、顔検出部124は、検出画像301(フレーム1)、検出画像302(フレーム2)、検出画像303(フレーム3)、検出画像304(フレーム4)の順で検出処理を行う。
各検出画像301〜304における領域311〜314は、顔検出部124により検出された人物Aの顔領域を模式的に表したものである。CPU101は、この4枚の検出画像301〜304から検出された各顔から、個人認証に好適な条件の顔を決定する。
図3(B)は、顔検出部124が検出した各検出画像の顔の大きさを数値化した検出結果を例示している。顔検出部124は顔の大きさを演算し、検出画像の中で顔の大きいものほど数値を大きくする。図3(B)のフレーム2で検出された人物Aの顔の大きさの値は60であり、これら4つの値の中で最大である。この検出結果から、CPU101はフレーム2の人物Aの顔312を、個人認証の対象とする好適な条件の顔として決定する。
<判定基準の例示>
本実施形態では、個人認証の対象とする顔の判定基準を顔の大きさとしているが、他の判定基準を適用してもよい。例えば、顔検出部124が顔の傾き(例えば、両目の中心、鼻、口を結ぶ直線の鉛直方向に対する傾き)を検出できるものとし、顔の傾きを判定基準にして、傾きがより小さい顔を選択するようにしてもよい。具体的には、図4(A)に示すように、顔検出部124が検出画像401〜404から各顔の傾きを検出し、CPU101は検出された各顔の傾きを判定基準として算出し、個人認証の対象とする好適な条件の顔を決定する。この場合には、CPU101は、各検出画像401〜404から検出された顔411〜414の中から、最も傾きが小さい顔412を選択する。
また、顔検出部124が顔の(正面に対する)向きを検出できるのとし、顔の向きを判定基準として、最も正面を向いている顔を選択するようにしてもよい。具体的には、図4(B)に示すように、顔検出部124が検出画像421〜424から各顔の向きを検出し、CPU101は検出された各顔の向きを判定基準として算出し、個人認証の対象とする好適な条件の顔を決定する。この場合には、CPU101は、各検出画像421〜424から検出された顔431〜434の中から、正面を向いている顔432を選択する。
更には、顔の表情(例えば、笑顔や目瞑り等)を検出する表情検出部を追加し、顔の表情を判定基準として、例えば目瞑りしてない顔を選択するようにしてもよい。具体的には、図4(C)に示すように、顔検出部124が検出画像441〜444から顔451〜454を検出し、表情検出部が各顔451〜454の目瞑りの状態を検出する。そして、CPU101は検出された各顔の目瞑りの状態を判定基準として算出し、個人認証の対象とする好適な条件の顔を判定する。この場合には、CPU101は、各検出画像441〜444から検出された顔451〜454の中から、目瞑りしていない顔452を選択する。
なお、笑顔等の表情の判定は、特開2004−294498号公報に記載のように、顔の輪郭の形状、目の形状、口の形状等を抽出し、それらの相対位置や形状と予め規格化された形状とのパターンマッチングにより、笑顔であるか判定する方法を適用できる。一般に、表情が笑顔になると、口の両端部は顔の上方に移動し、目は細くなる。従って、例えば、パターンマッチングによって、口の形状において両端部が上がっていることを検知し、かつ、目の開閉度がある閾値以下であることを検知した場合に、表情が笑顔であると判定することが可能である。なお、目の開閉度は目が開いているほど、その値が大きくなるものとする。
また、目瞑りの判定は、特開平06−032154号公報に記載のように、顔の輪郭の内側での黒色領域より目を抽出し、抽出した目領域での連続領域である黒色画素の最大数を用いて目の開閉を判定する方法を適用することができる。連続領域である黒色画素の最大数は、完全に目が閉じている状態ではゼロとなり、目が開いている状態では正の値となる。従って、例えば、連続領域である黒色画素の最大数を目の開閉度として利用し、この値がある閾値以下である場合には、目瞑りであると判定することが可能である。
更にまた、顔の動きを検出する動きベクトル検出部を追加し、顔の動きを判定基準として、顔の動きが小さい顔を選択するようにしてもよい。これは、動きベクトルが大きいと、画像上の顔がぶれたり、ボケている可能性があるためである。
その他、検出画像中で最も中央寄りにある顔や最も明るい顔を判定基準としたり、上記顔の大きさや傾き、向き、目の状態、顔の動きベクトル等の複数の判定基準を適宜組み合わせてもよい。その際に、判定基準毎に優先度(重み付け)を付加して、特定の判定基準を優先するようにしてもよい。
上述した実施形態によれば、個人認証を行う一周期の期間に検出された顔の中から、個人認証に好適な条件の顔を選択することで、一定周期で実行される個人認証処理の認証精度を高めることができる。
[実施形態2]次に、実施形態2について説明する。実施形態2は、実施形態1に対して、CPU101が個人認証の対象とする顔の判定方法が異なっている。なお、実施形態2においても、CPU101は検出された顔の大きさを判定基準として算出し、個人認証の対象とする好適な条件の顔を判定する。ここで、個人認証を行う一周期の期間の複数の検出画像の中で、最新の検出画像から検出されなかった人物の顔は判定対象から除外する。これは、最新の検出画像で検出されなかった顔は既に画像から消滅している可能性が高いためである。
実施形態2において、CPU101は、一周期の期間に検出された各顔に対して、検出結果の位置と大きさの相関関係より、同一人物か否かを判定する(同一人物判定処理)。図5は一周期の期間に検出された検出画像を例示している。顔検出部124は検出画像501〜504の順で顔検出処理を行う。先ず、顔検出部124は、検出画像501に写る人物Aの顔511を検出する。次に顔検出部124は、検出画像502に写る顔512が人物Aのものではなかったものとし、図中の522の×印はそれを示したものである。引き続き、顔検出部124は、検出画像503で再度人物Aの顔513を検出し、同様に検出画像504でも人物Aの顔514を検出する。
このときCPU101は、各画像間での検出結果の位置と大きさの相関関係より、顔511、513、514が同一人物であると判定する。
次に、図6を参照して、本実施形態による個人認証の対象とする顔の判定方法について説明する。図6(A)は個人認証を行う一周期の期間に検出された検出画像を例示している。図6(A)で顔検出部124は検出画像601(フレーム1)、検出画像602(フレーム2)、検出画像603(フレーム3)、検出画像604(フレーム4)の順に顔検出処理を行う。検出画像601における611、621、631は人物A、人物B、人物Cの各顔を模式的に表したものである。また641の×印は顔検出部124が下を向いていた人物Bを検出できなかったことを示している。同様に検出画像602の612、622、632と、検出画像603の613、623、633もそれぞれ人物A、人物B、人物Cの顔を模式的に表している。このとき、検出画像603で人物Cは一部フレームアウトしており、顔検出部124が人物Cを検出できなくなったことを643の×印で示している。検出画像604では、人物Cが完全にフレームアウトしており、614、624で示した人物Aと人物Bの顔のみが検出されている。
CPU101は、この4枚の検出画像601〜604から検出された各顔から、個人認証の対象とする顔を判定する。ここで、上記同一人物判定処理によって、図6(A)の611、612、613、614を人物Aの顔として判定している。同様に、622、623、624を人物Bの顔として、631、632を人物Cの顔としてそれぞれ判定している。CPU101は、同一人物判定処理結果に基づき、顔検出部124が検出した各検出画像601〜604の中の顔の大きさの検出結果を、同一人物毎にまとめた図6(B)に示すようなテーブルを生成する。顔検出部124は検出画像の中で顔の大きいものほど数値を大きくする。このとき、最新の検出画像604に検出されていない人物Cの顔は判定対象としない。
図6(B)のフレーム1で検出された人物Cの顔の大きさの値が55で最大となるが、人物Cは判定対象外である。このため、判定対象である人物Aと人物Bの顔のうち、最も大きいのはフレーム3で検出された人物Aの顔613の値50である。よって、CPU101はフレーム3の人物Aの顔613を個人認証の対象とする顔と判定する。あるいは、人物Aと人物Bのそれぞれにおいて、最も大きい顔を個人認証の対象としてもよい。すなわち、人物Aであればフレーム3で検出された顔613を、人物Bであればフレーム2で検出された顔622を個人認証の対象としてもよい。
ここで、CPU101は、個人認証の対象とする顔を判定する際に閾値を設定し、いずれの顔も判定基準の評価値が閾値を超えない場合には、個人認証処理を行わないようにしてもよい。具体的には、図6(C)に、顔検出部124で検出した各検出画像での人物それぞれの顔の大きさを数値化した検出結果を例示しているように、顔の大きさを判定基準として、閾値を20に設定する。すると、図6(C)の検出結果ではいずれの顔も大きさが20を超えないため、CPU101は個人認証処理を行わない。
上述した実施形態によれば、個人認証を行う一周期の期間に検出された顔の中から、不必要な顔を除外しつつ個人認証に好適な条件の顔を選択することで、一定周期で実行される個人認証処理の認証精度を高めることができる。
なお、上述した各実施形態においては、本発明をビデオカメラに適用した例を説明したが、本発明はこれに限定される趣旨ではない。すなわち、本発明は動画撮影機能付きのデジタルスチルカメラや携帯電話等、複数の画像を撮影可能な撮像装置にも適用可能である。
[他の実施形態]本発明は、以下の処理を実行することによっても実現される。即ち、上記実施形態の機能を実現するソフトウェア(プログラム)をネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ(又はCPUやMPU等)がプログラムコードを読み出して実行する処理である。この場合、そのプログラム、及び該プログラムを記憶した記憶媒体は本発明を構成することになる。

Claims (9)

  1. 画像から人物の顔領域を検出する顔検出処理を繰り返し行う顔検出手段と、
    前記顔検出手段により検出された顔領域に対する個人認証処理を繰り返し行う認証手段とを有し、
    前記認証手段は、前記顔検出手段による前記顔検出処理の周期よりも長く、かつ、一定の周期で前記個人認証処理を行うものであり、前記個人認証処理を行う前記一定の周期の間に、複数のフレームの画像から前記顔検出処理によって複数の顔領域が検出された場合には、それぞれの顔領域を比較した結果に基づいて選択したいずれかの顔領域を前記個人認証処理の対象とすることを特徴とする画像処理装置。
  2. 記認証手段は、前記個人認証処理を行う前記一定の周期の間に、前記顔検出手段にて複数のフレームの画像から複数の顔領域が検出された場合には、前記複数の顔領域の中から前記顔領域の大きさが最も大きい顔領域、前記顔領域の傾きが最も小さい顔領域、最も正面を向いている顔領域、目瞑りしていない顔領域、最も動きの少ない顔領域の少なくともいずれかを、前記個人認証処理の対象とすることを特徴とする請求項1に記載の画像処理装置。
  3. 前記顔検出手段は、前記複数の顔領域の間の相関から、同一の人物を示す顔領域を特定することを特徴とする請求項1又は2に記載の画像処理装置。
  4. 前記認証手段は、同一の人物を示すそれぞれの顔領域を比較した結果に基づいて、同一の人物を示す顔領域の中からいずれかの顔領域を前記個人認証処理の対象とすることを特徴とする請求項3に記載の画像処理装置。
  5. 前記認証手段は、前記個人認証処理を行う前記一定の周期の間に、前記顔検出手段により複数のフレームの画像から複数の顔領域が検出された場合には、前記複数のフレームの画像のうちの最も新しい画像において検出された顔領域と同一の人物を示す顔領域の中からいずれかの顔領域を前記個人認証処理の対象とすることを特徴とする請求項に記載の画像処理装置。
  6. 前記顔検出手段により検出された顔領域のそれぞれに対し、前記個人認証処理の対象とする顔領域を選択するための値を算出する算出手段をさらに有し、
    前記認証手段は、前記算出手段によって算出された前記値が所定の閾値以下であった顔領域は、前記個人認証処理の対象としないことを特徴とする請求項1乃至のいずれか1項に記載の画像処理装置。
  7. 顔検出手段、認証手段、及び算出手段を備える画像処理装置における画像処理方法であって、
    顔検出手段が、画像から人物の顔領域を検出する顔検出処理を繰り返し行う顔検出工程と、
    認証手段が、前記顔検出工程により検出された顔領域に対する個人認証処理を繰り返し行う認証工程とを有し、
    前記認証工程では、前記顔検出処理の周期よりも長く、かつ、一定の周期で前記個人認証処理を行うものであり、前記個人認証処理を行う前記一定の周期の間に、複数のフレームの画像から前記顔検出処理によって複数の顔領域が検出された場合には、それぞれの顔領域を比較した結果に基づいて選択したいずれかの顔領域を前記個人認証処理の対象とすることを特徴とする画像処理方法。
  8. コンピュータを、請求項1乃至のいずれか1項に記載の画像処理装置の各手段として機能させるためのプログラム。
  9. コンピュータを、請求項1乃至のいずれか1項に記載の画像処理装置の各手段として機能させるためのプログラムを記憶したコンピュータによる読み取りが可能な記憶媒体。
JP2010268719A 2010-12-01 2010-12-01 画像処理装置及び画像処理方法、プログラム、並びに記憶媒体 Expired - Fee Related JP5704905B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2010268719A JP5704905B2 (ja) 2010-12-01 2010-12-01 画像処理装置及び画像処理方法、プログラム、並びに記憶媒体
US13/293,863 US8879802B2 (en) 2010-12-01 2011-11-10 Image processing apparatus and image processing method
CN201110396341.1A CN102542254B (zh) 2010-12-01 2011-11-28 图像处理装置及图像处理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2010268719A JP5704905B2 (ja) 2010-12-01 2010-12-01 画像処理装置及び画像処理方法、プログラム、並びに記憶媒体

Publications (2)

Publication Number Publication Date
JP2012118817A JP2012118817A (ja) 2012-06-21
JP5704905B2 true JP5704905B2 (ja) 2015-04-22

Family

ID=46162279

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010268719A Expired - Fee Related JP5704905B2 (ja) 2010-12-01 2010-12-01 画像処理装置及び画像処理方法、プログラム、並びに記憶媒体

Country Status (3)

Country Link
US (1) US8879802B2 (ja)
JP (1) JP5704905B2 (ja)
CN (1) CN102542254B (ja)

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9008436B2 (en) * 2011-10-28 2015-04-14 Intellectual Ventures Fund 83 Llc Image recomposition from face detection and facial features
US8938100B2 (en) 2011-10-28 2015-01-20 Intellectual Ventures Fund 83 Llc Image recomposition from face detection and facial features
US8811747B2 (en) 2011-10-28 2014-08-19 Intellectual Ventures Fund 83 Llc Image recomposition from face detection and facial features
US9025836B2 (en) 2011-10-28 2015-05-05 Intellectual Ventures Fund 83 Llc Image recomposition from face detection and facial features
US9025835B2 (en) 2011-10-28 2015-05-05 Intellectual Ventures Fund 83 Llc Image recomposition from face detection and facial features
JP5959923B2 (ja) * 2012-04-26 2016-08-02 キヤノン株式会社 検出装置、その制御方法、および制御プログラム、並びに撮像装置および表示装置
JP5963525B2 (ja) * 2012-04-27 2016-08-03 キヤノン株式会社 認識装置、その制御方法、および制御プログラム、並びに撮像装置および表示装置
JP6211473B2 (ja) * 2014-06-27 2017-10-11 本田技研工業株式会社 対象物認識装置
JP2016071591A (ja) * 2014-09-30 2016-05-09 アズビル株式会社 照合装置および照合方法
GB2599608B (en) * 2015-07-22 2022-08-24 Worldpay Uk Ltd Secure Data Entry Device
US20170046507A1 (en) * 2015-08-10 2017-02-16 International Business Machines Corporation Continuous facial recognition for adaptive data restriction
JP6544404B2 (ja) 2017-09-19 2019-07-17 日本電気株式会社 照合システム
JP6992376B2 (ja) * 2017-09-29 2022-01-13 株式会社セガ 生体認証装置
US10671887B2 (en) 2017-12-05 2020-06-02 Axis Ab Best image crop selection
EP4055523A4 (en) * 2019-11-06 2023-12-20 Fashionphile Group, LLC AUTOMATIC HANDBAG DETECTION USING VISION-DEPENDENT CNNS
CN111967425B (zh) * 2020-08-27 2024-04-26 福建医联康护信息技术有限公司 自助式人脸识别服务装置
CN111967422B (zh) * 2020-08-27 2024-06-14 福建医联康护信息技术有限公司 自助式人脸识别服务方法

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2822799B2 (ja) 1992-07-18 1998-11-11 日産自動車株式会社 運転者の状態検出装置
US5802220A (en) * 1995-12-15 1998-09-01 Xerox Corporation Apparatus and method for tracking facial motion through a sequence of images
JP4087953B2 (ja) 1998-07-14 2008-05-21 株式会社東芝 パターン認識装置及びその方法
JP4374759B2 (ja) * 2000-10-13 2009-12-02 オムロン株式会社 画像比較システムおよび画像比較装置
JP2004038531A (ja) 2002-07-03 2004-02-05 Matsushita Electric Ind Co Ltd 物体の位置検出方法および物体の位置検出装置
JP2004294498A (ja) 2003-03-25 2004-10-21 Fuji Photo Film Co Ltd 自動撮影システム
JP2005227957A (ja) * 2004-02-12 2005-08-25 Mitsubishi Electric Corp 最適顔画像記録装置及び最適顔画像記録方法
JP2006178651A (ja) * 2004-12-21 2006-07-06 Toshiba Corp 人物認識装置、人物認識方法および通行制御装置
CN100440937C (zh) 2005-11-14 2008-12-03 欧姆龙株式会社 认证装置和认证方法
JP4826234B2 (ja) * 2005-11-30 2011-11-30 オムロン株式会社 顔認証装置、セキュリティ強度変更方法およびプログラム
JP4984728B2 (ja) * 2006-08-07 2012-07-25 パナソニック株式会社 被写体照合装置および被写体照合方法
JP4999570B2 (ja) 2007-06-18 2012-08-15 キヤノン株式会社 表情認識装置及び方法、並びに撮像装置
CN101140620A (zh) 2007-10-16 2008-03-12 上海博航信息科技有限公司 一种人脸识别***
JP5121506B2 (ja) 2008-02-29 2013-01-16 キヤノン株式会社 画像処理装置、画像処理方法、プログラム及び記憶媒体
JP5072757B2 (ja) * 2008-07-24 2012-11-14 キヤノン株式会社 画像処理装置、画像処理方法及びプログラム
US8538072B2 (en) * 2008-08-27 2013-09-17 Imprivata, Inc. Systems and methods for operator detection
JP5230501B2 (ja) 2009-03-26 2013-07-10 富士フイルム株式会社 認証装置及び認証方法

Also Published As

Publication number Publication date
CN102542254B (zh) 2015-06-24
JP2012118817A (ja) 2012-06-21
US8879802B2 (en) 2014-11-04
US20120140994A1 (en) 2012-06-07
CN102542254A (zh) 2012-07-04

Similar Documents

Publication Publication Date Title
JP5704905B2 (ja) 画像処理装置及び画像処理方法、プログラム、並びに記憶媒体
US8861806B2 (en) Real-time face tracking with reference images
US9398209B2 (en) Face tracking for controlling imaging parameters
US8786760B2 (en) Digital photographing apparatus and method using face recognition function
JP5757063B2 (ja) 情報処理装置および方法、並びにプログラム
JP5567853B2 (ja) 画像認識装置および方法
KR101130775B1 (ko) 촬영 장치, 화상 영역의 존재 여부 판정 방법, 및 기록 매체
JP6049448B2 (ja) 被写体領域追跡装置、その制御方法及びプログラム
KR20100055946A (ko) 동영상 썸네일 생성 방법 및 장치
JP6025557B2 (ja) 画像認識装置、その制御方法及びプログラム
JP2008299784A (ja) 被写体判定装置及びそのプログラム
JP2005149370A (ja) 画像撮影装置、個人認証装置及び画像撮影方法
JP2009123081A (ja) 顔検出方法及び撮影装置
CN108259769B (zh) 图像处理方法、装置、存储介质及电子设备
JP6098133B2 (ja) 顔構成部抽出装置、顔構成部抽出方法及びプログラム
JP6087615B2 (ja) 画像処理装置およびその制御方法、撮像装置、および表示装置
JP2017157043A (ja) 画像処理装置、撮像装置、及び、画像処理方法
JP5995610B2 (ja) 被写体認識装置及びその制御方法、撮像装置、表示装置、並びにプログラム
JP2009267733A (ja) 撮像装置および撮像制御方法
JP2013157675A (ja) 撮像装置及びその制御方法、プログラム、並びに記憶媒体
JP2013141104A (ja) 撮像装置
JP2012226598A (ja) 個人認証装置、個人認証方法及びプログラム
JP2009130840A (ja) 撮像装置及びその制御方法及びプログラム
JP2014013986A (ja) 撮像装置
JP2022045532A (ja) 撮像制御装置、撮像制御方法、及びプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20131127

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20140718

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140725

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140922

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20150126

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20150224

R151 Written notification of patent or utility model registration

Ref document number: 5704905

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

LAPS Cancellation because of no payment of annual fees