JP4476744B2 - 撮像システム、及びプログラム - Google Patents

撮像システム、及びプログラム Download PDF

Info

Publication number
JP4476744B2
JP4476744B2 JP2004241543A JP2004241543A JP4476744B2 JP 4476744 B2 JP4476744 B2 JP 4476744B2 JP 2004241543 A JP2004241543 A JP 2004241543A JP 2004241543 A JP2004241543 A JP 2004241543A JP 4476744 B2 JP4476744 B2 JP 4476744B2
Authority
JP
Japan
Prior art keywords
subject
authentication
image
unit
imaging device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2004241543A
Other languages
English (en)
Other versions
JP2005100372A (ja
Inventor
修司 小野
俊彦 加來
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Priority to JP2004241543A priority Critical patent/JP4476744B2/ja
Priority to US10/932,343 priority patent/US7599526B2/en
Publication of JP2005100372A publication Critical patent/JP2005100372A/ja
Application granted granted Critical
Publication of JP4476744B2 publication Critical patent/JP4476744B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/141—Control of illumination
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/166—Detection; Localisation; Normalisation using acquisition arrangements
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C9/00—Individual registration on entry or exit
    • G07C9/30—Individual registration on entry or exit not involving the use of a pass
    • G07C9/32—Individual registration on entry or exit not involving the use of a pass in combination with an identity check
    • G07C9/37—Individual registration on entry or exit not involving the use of a pass in combination with an identity check using biometric data, e.g. fingerprints, iris scans or voice recognition
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19602—Image analysis to detect motion of the intruder, e.g. by frame subtraction
    • G08B13/19608—Tracking movement of a target, e.g. by detecting an object predefined as a target, using target direction and or velocity to predict its new position
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19639—Details of the system layout
    • G08B13/19641—Multiple cameras having overlapping views on a single scene
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C9/00—Individual registration on entry or exit
    • G07C9/20—Individual registration on entry or exit involving the use of a pass
    • G07C9/22—Individual registration on entry or exit involving the use of a pass in combination with an identity check of the pass holder
    • G07C9/25—Individual registration on entry or exit involving the use of a pass in combination with an identity check of the pass holder using biometric data, e.g. fingerprints, iris scans or voice recognition
    • G07C9/257—Individual registration on entry or exit involving the use of a pass in combination with an identity check of the pass holder using biometric data, e.g. fingerprints, iris scans or voice recognition electronically

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Studio Devices (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Input (AREA)

Description

本発明は、被写体を撮像する撮像システムに関する。特に本発明は、被写体の認証に用いる画像を撮像する撮像システムに関する。
従来、人物を認証する手段として、人物の画像を撮像して、予め登録された人物の画像と比較することにより認証を行うシステムが知られている。例えば居室等の入口において入場者を撮像し、入場者が登録されているか否かを認証して入場の可否を決定する場合がある。また、防犯カメラ等のように、不特定の人物を撮像して、当該人物が登録されているか否かを認証するような場合もある。
関連する特許文献等は、現在認識していないためその記載を省略する。
しかし、従来のシステムでは、入場者の撮像及び認証を、入場者が通過したい入口等で全て行うため、入場者の撮像から入場者の認証が終わるまで、入場者は待機していなければならない。また、登録された人物が増大した場合に、認証が終わるまでに時間がかかってしまい、効率的に入場者の認証を行うことができない。従来のシステムでは、認証の時間を短縮するためには、認証を簡易にする必要があり、認証の精度と認証の効率とを両立することが困難であった。また、防犯カメラ等のように、撮像される人物が、認証されることを意識していない場合、例えば正面画像等の認証に適した画像を撮像することが困難であった。
上記課題を解決するために、本発明の第１の形態においては、被写体を撮像する撮像システムであって、それぞれ異なる位置に設けられ、被写体を撮像する複数の撮像装置と、複数の撮像装置の内の一の撮像装置が、異なるタイミングで撮像した被写体の２以上の画像に基づいて、被写体の移動方向を検出する方向検出部と、方向検出部が検出した移動方向、及びそれぞれの撮像装置が設けられた位置に基づいて、複数の撮像装置から、被写体の認証用画像を撮像する撮像装置を選択する選択部と、選択部が選択した撮像装置が撮像した認証用画像を格納する格納部とを備える撮像システムを提供する。
撮像システムは、格納部が格納した認証用画像に基づいて、被写体を認証する認証部を更に備えてよい。また、選択部が選択した撮像装置は、認証用画像として、被写体の静止画を撮像してよい。
複数の撮像装置は、撮像方向が略直下方向である複数の移動検出用撮像装置と、撮像方向が直下方向に対して傾きを有する方向である複数の認証用撮像装置とを含み、方向検出部は、複数の移動検出用撮像装置が撮像した動画に基づいて、被写体の移動方向を検出し、選択部は、複数の認証用撮像装置から、被写体の認証用画像を撮像する撮像装置を選択してよい。
方向検出部は、撮像装置が撮像した被写体が、予め登録された被写体であるか否かに基づいて、当該被写体の移動方向を検出するか否かを選択してよい。また、選択部は、移動方向に基づいて、複数の撮像装置から、被写体の第１認証画像を撮像する第１撮像装置と、移動方向において第１撮像装置より奥に設けられ、被写体の第２認証画像を撮像する第２撮像装置とを選択してよい。
第２撮像装置は、第１撮像装置より、被写体を高い情報量で撮像してよい。また認証部は、第１撮像装置が撮像した認証用画像に基づいて、被写体の１次認証を行い、第２撮像装置が撮像した認証用画像に基づいて、１次認証より精度の高い２次認証を被写体に対して行ってよい。
方向検出部は、いずれかの撮像装置が撮像した動画における、被写体の位置の変化に基づいて、被写体の移動方向を検出してよい。方向検出部は、いずれかの撮像装置が撮像した動画における、被写体の大きさの変化に基づいて、被写体の移動方向を検出してよい。
選択部は、方向検出部が検出した移動方向に基づいて被写体の正面方向を検出し、検出した被写体の正面方向を撮像できる撮像装置を、それぞれの撮像装置が設けられた位置に基づいて選択してよい。
選択部は、それぞれの撮像装置の撮像方向に更に基づいて、被写体の正面方向を撮像できる撮像装置を選択してよい。選択部は、選択した撮像装置の撮像方向を制御して被写体の正面方向の画像を撮像させてよい。
認証用画像が、被写体の顔の正面画像を含んでいるか否かを判定する判定部を更に備え、認証部は、判定部が、顔の正面画像を含んでいると判定した場合に、当該認証用画像に基づいて被写体の認証を行ってよい。また、判定部は、被写体の顔の正面画像を含んでいないと判定した場合に、格納部が格納した当該認証用画像を削除してよい。
第１認証画像と第２認証画像とを比較し、同一の被写体が撮像されている場合に、第１認証画像と第２認証画像とを対応づける比較部を更に備え、第２認証部は、第２認証画像に対応する第１認証画像に基づいて第１認証部が抽出した候補から、第２認証画像に基づいて被写体を決定してよい。
第１撮像装置は、第２認証画像より広い領域で被写体を撮像した第１比較画像を、第１認証画像に対応づけて更に撮像し、第２撮像装置は、第２認証画像より広い領域で被写体を撮像した第２比較画像を、第２認証画像に対応づけて更に撮像し、撮像システムは、第１比較画像と第２比較画像とを比較し、同一の被写体が撮像されている場合に、第１比較画像と対応する第１認証画像と、第２比較画像に対応する第２認証画像とを対応づける比較部を更に備え、第２認証部は、第２認証画像に対応する第１認証画像に基づいて第１認証部が抽出した候補から、第２認証画像に基づいて被写体を決定してよい。
第１認証画像に複数の被写体が撮像された場合に、第１認証部は、それぞれの被写体に対して候補を抽出し、撮像システムは、第１認証画像に撮像されたそれぞれの被写体と、第２認証画像に撮像された被写体とを、第１認証画像及び第２認証画像とに基づいて対応付ける比較部を更に備え、第２認証部は、第２認証画像に撮像された被写体に対応づけられた、第１認証画像に撮像された被写体に対して第１認証部が抽出した候補から、第２認証画像に基づいて被写体を決定してよい。
第２撮像装置は、複数の位置から前記被写体に対して光を射出できるフラッシュ部と、第１認証部の認証結果に基づいて、フラッシュ部が光を射出する位置を制御するフラッシュ制御部とを有してよい。フラッシュ制御部は、第１認証部の認証結果に基づいて、フラッシュ部が射出する光の強度を更に制御してよい。
第２撮像装置は、それぞれの被写体に対して第２認証画像を撮像してよい。第１認証部は、第１認証画像の明度を検出し、フラッシュ制御部は、第１認証画像の明度に基づいて、フラッシュ部が光を射出する位置を制御してよい。第１認証部は、第１認証画像の明度を検出し、フラッシュ制御部は、第１認証画像の明度に基づいて、フラッシュ部が射出する光の強度を制御してよい。
第１認証部は、第２認証部において認証に用いる被写体の部分に対応する、第１認証画像の部分の明度を検出し、フラッシュ制御部は、第１認証画像の当該部分の明度に基づいて、フラッシュ部が光を射出する位置を制御してよい。第１認証部は、第２認証部において認証に用いる被写体の部分に対応する、第１認証画像の部分の明度を検出し、フラッシュ制御部は、第１認証画像の当該部分の明度に基づいて、フラッシュ部が射出する光の強度を制御してよい。
第１認証部は、第２認証部において認証に用いる被写体の部分に対応する、第１認証画像の部分のコントラストを検出し、フラッシュ制御部は、第１認証画像の当該部分のコントラストに基づいて、フラッシュ部が光りを射出する位置を制御してよい。第１認証部は、第２認証部において認証に用いる被写体の部分に対応する、第１認証画像の部分のコントラストを検出し、フラッシュ制御部は、第１認証画像の当該部分のコントラストに基づいて、フラッシュ部が射出する光の強度を制御してよい。
第２撮像装置は複数の高さから被写体を撮像可能であって、第１認証部は、第１認証画像における被写体の位置を検出し、第２撮像装置は、第１認証部が検出した被写体の位置に基づいて、被写体を撮像するべき高さを算出し、算出した高さから被写体の第２認証画像を撮像してよい。
第１認証部は、第１認証画像に基づいて、第１撮像装置が被写体を撮像した角度を検出し、第２撮像装置は、第１認証部が検出した角度に基づいて、被写体を撮像するべき角度を算出し、算出した角度で被写体の第２認証画像を撮像してよい。
第２認証部は、それぞれの被写体に対して、異なる照明条件で予め撮像した複数の登録画像を格納する登録画像データベースと、第１認証画像に基づいて、第２撮像装置が被写体を撮像するときの被写体の位置を算出する位置算出部と、位置算出部が算出した被写体の位置に基づいて、第２撮像装置が被写体を撮像するときの照明条件を算出する照明条件算出部と、登録画像データベースから、照明条件算出部が算出した照明条件に応じた登録画像を予め選択する登録画像選択部と、登録画像選択部が選択した登録画像を用いて被写体の第２認証を行う決定部とを有してよい。
第１撮像装置は、被写体の正面の第１認証画像を撮像し、第２撮像装置は、第１撮像装置とは異なる角度から被写体の第２認証画像を撮像してよい。第１撮像装置は、被写体が通過する経路と略平行な方向で被写体の第１認証画像を撮像し、第２撮像装置は、第１撮像装置とは異なる角度から被写体の第２認証画像を撮像してよい。
第1撮像装置は、隣接する画素に異なる色のカラーフィルターを設けたことにより、カラーの第１認証画像を撮像する装置であり、第２撮像装置は、画素にカラーフィルターが設けられておらず、モノクロの第２認証画像を撮像する装置であってよい。撮像システムは、異なる角度から被写体の第２認証画像を撮像する複数の第２撮像装置を備え、第２認証部は、それぞれの第２撮像装置が撮像した第２認証画像に基づいて、被写体の第２認証を行ってよい。
第２認証部は、第２認証画像に基づいて、被写体とそれぞれの候補との一致度を算出する一致度算出部と、一致度算出部が算出した一致度が予め定められた値以上である候補が複数ある場合に、第２認証画像とは異なる被写体の特徴を更に取得する特徴取得部と、特徴取得部が取得した被写体の特徴に基づいて、一致度が予め定められた値以上である複数の候補から被写体を決定する決定部とを有してよい。
第２認証部は、被写体のそれぞれの候補について、複数の認証用特徴と、それぞれの認証用特徴の特徴量とを対応づけて予め格納する特徴格納部と、一致度が予め定められた値以上である複数の候補の特徴量の分散が最も大きい認証用特徴を、特徴格納部が格納した複数の認証用特徴から選択する特徴選択部とを更に有し、特徴取得部は、特徴選択部が選択した認証用特徴に応じて、被写体の特徴を取得してよい。
本発明の第２の形態においては、被写体を撮像する撮像システムを機能させるプログラムであって、撮像システムを、それぞれ異なる位置に設けられ、動画を撮像する複数の撮像装置と、複数の撮像装置が撮像した動画のうち、被写体が撮像された動画に基づいて、被写体の移動方向を検出する方向検出部と、方向検出部が検出した移動方向、及びそれぞれの撮像装置が設けられた位置に基づいて、複数の撮像装置から、被写体の認証用画像を撮像する前記撮像装置を選択する選択部と、選択部が選択した撮像装置が撮像した認証用画像を格納する格納部として機能させるプログラムを提供する。
なお、上記の発明の概要は、本発明の必要な特徴の全てを列挙したものではなく、これらの特徴群のサブコンビネーションもまた、発明となりうる。
本発明によれば、被写体の移動先の撮像装置によって効率的に認証用画像を撮像することができる。また、被写体の正面方向を容易に撮像することができ、被写体の正面方向の画像により認証を行うため、被写体の認証を精度よく行うことができる。
以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は特許請求の範囲にかかる発明を限定するものではなく、また実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。
図１は、本発明に係る撮像システムの概要を説明する図である。撮像システムは、被写体２００を撮像する複数の撮像装置１０を備え、撮像装置１０が撮像した画像に基づいて被写体を認証する。複数の撮像装置１０は、それぞれ異なる位置から、それぞれ予め定められた撮像方向を撮像する。撮像装置１０は、動画及び静止画を撮像する装置であってよい。撮像システムは、被写体が撮像された動画に基づいて、被写体の移動方向を検出し、移動方向に応じた撮像装置１０に認証用画像として被写体２００の静止画を撮像させる。例えば、撮像システムは、被写体の正面画像を撮像できる位置に設けられた撮像装置１０を選択して撮像させる。
図２は、本発明の実施形態に係る撮像システム１００の構成の一例を示す図である。撮像システム１００は、複数の撮像装置（１０−１〜１０−ｎ、以下１０と総称する）、及び制御部２０を備える。複数の撮像装置１０は、前述したように、それぞれ異なる位置から、それぞれ予め定められた撮像方向を撮像する。
制御部２０は、それぞれの撮像装置１０と接続され、方向検出部３０、選択部４０、格納部５０、判定部６０、及び認証部７０を備える。方向検出部３０は、複数の撮像装置１０が撮像した動画を受け取り、複数の撮像装置１０が撮像した動画のうち、被写体２００が撮像された動画に基づいて、被写体２００の移動方向を検出する。例えば、方向検出部３０は、複数の撮像装置１０が撮像した動画のうち、位置が変化する物体が撮像されている動画を、被写体２００が撮像された動画として処理してよい。この場合、方向検出部３０は、位置が変化する物体を被写体２００として処理してよい。
また、方向検出部３０は、当該撮像装置１０が撮像した動画における被写体２００の位置の変化により、被写体２００の移動方向を検出してよく、当該撮像装置１０が撮像した動画における、被写体２００の大きさの変化に基づいて、被写体２００の移動方向を検出してもよい。例えば、被写体２００の大きさが徐々に大きくなる場合、被写体２００は、当該撮像装置１０に向かって移動していると判定することができる。
また、複数の撮像装置１０が、同時に同一の被写体２００を撮像した場合、方向検出部３０は、これらの撮像装置１０が撮像した複数の動画に基づいて、被写体２００の移動方向を検出することが好ましい。それぞれの撮像装置１０の位置及び撮像方向が既知であるため、複数の撮像装置１０が同時に撮像した被写体が同一であるか否かは、それぞれの撮像装置１０の位置及び撮像方向に基づいて、それぞれの被写体の位置を算出することにより判定することができる。複数の撮像装置１０が撮像した複数の動画を用いることにより、被写体２００の移動方向をより精度よく検出することができる。
選択部４０は、方向検出部３０が検出した被写体２００の移動方向、それぞれの撮像装置１０が設けられた位置に基づいて、複数の撮像装置１０から、被写体２００の認証用画像を撮像する撮像装置１０を選択する。例えば、選択部４０は、被写体２００を撮像した撮像装置１０の位置と、被写体２００の移動方向とに基づいて、被写体２００が移動する位置を算出し、算出した位置の近傍に設けられた撮像装置１０を選択する。
また、選択部４０は、それぞれの撮像装置１０の撮像方向に更に基づいて、認証用画像を撮像する撮像装置１０を選択してよい。例えば、選択部４０は、被写体２００の移動方向から、被写体２００の正面方向を検出し、撮像方向が被写体２００の正面方向を向いている撮像装置１０を選択する。選択部４０は、それぞれの撮像装置１０が設けられた位置、及びそれぞれの撮像装置１０の撮像方向を予め格納するデータベースを有することが好ましい。また、選択部４０は、選択した撮像装置の撮像方向を制御して被写体２００の正面方向の画像を撮像させてもよい。
そして、選択部４０により選択された撮像装置１０は、被写体２００の認証用画像を撮像する。当該撮像装置１０は、被写体２００の一部を拡大した認証用画像を撮像することが好ましい。例えば、撮像装置１０は、被写体２００の顔、目、鼻、耳、口等を拡大して撮像してよい。
格納部５０は、選択部４０により選択された撮像装置１０が撮像した認証用画像を受け取り、格納する。また、格納部５０は、当該認証用画像を撮像した撮像装置１０を識別する撮像装置識別情報を、当該認証用画像に対応付けて格納してよい。この場合、選択部４０は、いずれの撮像装置１０を選択したかを示す情報を格納部５０に通知する。また、格納部５０は、当該認証用画像を撮像した日時を、当該認証用画像に対応付けて格納してもよい。この場合、認証用画像を撮像した撮像装置１０は、撮像した日時を格納部５０に通知する。
そして、認証部７０は、格納部５０が格納した認証用画像に基づいて、被写体２００を認証する。認証部７０は、認証するべき複数の人物の登録画像が予め与えられ、登録画像と、認証用画像とを比較することにより、被写体２００がいずれの人物であるかを認証する。
また、判定部６０は、格納部５０が格納した認証用画像が、被写体２００の顔の正面画像を含んでいるか否かを判定する。認証部７０は、判定部６０が、顔の正面画像を含んでいると判定した場合に、当該認証用画像に基づいて被写体２００の認証を行ってよい。また、判定部６０は、認証用画像が被写体２００の顔の正面画像を含んでいないと判定した場合に、格納部５０が格納した当該認証用画像を削除し、認証部７０に認証を行わせないように制御してもよい。この場合、判定部６０は、選択部４０に当該認証用画像に基づいて認証を行わなかった旨を通知し、新たな認証用画像を撮像する撮像装置１０を選択させてよい。
また、方向検出部３０は、撮像装置１０が撮像した被写体２００が、予め登録された被写体であるか否かに基づいて、当該被写体の移動方向を検出するか否かを選択してよい。例えば、方向検出部３０は、撮像された被写体２００が、予め登録された被写体である場合に、被写体２００の移動方向を検出してよい。
本例における撮像システム１００によれば、被写体２００の移動先の撮像装置によって効率的に認証用画像を撮像することができる。また、被写体２００の正面方向を容易に撮像することができる。また、被写体２００の正面方向の画像により認証を行うため、被写体２００の認証を精度よく行うことができる。また、認証用画像が正面方向の画像でない場合には認証を行わないため、認証の効率を向上させることができる。
また、本例においては制御部２０が方向検出部３０及び選択部４０を有しているが、他の例においては、それぞれの撮像装置１０が、方向検出部３０及び選択部４０を備えていてもよい。この場合、それぞれの撮像装置１０が、撮像した被写体２００の移動方向を検出し、移動方向に応じた他の撮像装置１０に、認証用画像を撮像する旨を通知する。
図３は、複数の撮像装置１０の一例を説明する図である。本例において、複数の撮像装置１０は、例えば撮像装置１０−１のように、撮像方向が略直下方向である複数の移動検出用撮像装置と、例えば撮像装置１０−３のように、撮像方向が直下方向に対して傾きを有する方向である複数の認証用撮像装置とを含む。移動検出用撮像装置は、被写体２００の頭より高い位置から、略直下方向を撮像する。ここで、直下方向とは例えば、被写体２００が移動する面に対して垂直であって、被写体２００が移動する面の上方から、被写体２００が移動する面に向かう方向である。また、認証用撮像装置は、移動検出用撮像装置より低い位置から、移動検出用撮像装置の撮像方向より水平方向に近い撮像方向を撮像する。ここで、水平方向とは例えば、被写体２００が移動する面と平行な方向である。
方向検出部３０は、複数の移動検出用撮像装置が撮像した画像に基づいて、被写体２００の移動方向を検出する。本例においては、移動検出用撮像装置が略直下方向を撮像しているため、移動検出用撮像装置が撮像した動画における被写体２００の位置の変化に基づいて、容易且つ精度よく移動方向を検出することができる。
そして前述したように、選択部４０は、方向検出部３０が検出した移動方向に基づいて、複数の認証用撮像装置から、被写体２００の認証用画像を撮像する撮像装置１０を選択する。
また、選択部４０は、方向検出部３０が検出した移動方向に基づいて、認証用撮像装置である複数の撮像装置１０から、被写体２００の第１認証画像を撮像する第１撮像装置と、被写体２００の移動方向において第１撮像装置より奥に設けられ、被写体２００の第２認証画像を撮像する第２撮像装置とを選択してよい。第１撮像装置は、通行者である被写体２００が通過する経路に設けられた撮像装置１０であり、第２撮像装置は、被写体２００が通過する経路において、第１撮像装置が設けられた位置より後に通行者が通過する位置に設けられた撮像装置１０である。また、選択部４０は、第１撮像装置として選択した撮像装置１０が撮像する動画に基づいて、第２撮像装置を選択してもよい。
この場合、第２撮像装置として選択された撮像装置１０は、第１撮像装置として選択された撮像装置１０より、被写体２００を高い情報量で撮像することが好ましい。ここで、高い情報量とは、認証を行うための情報量が高いことを指し、例えば、画像の解像度が高い、画像の拡大率が大きい、撮像方向が被写体の正面方向により近い、認証を行うのに適した被写体の部位を含んでいる等を指す。例えば、第１撮像装置は、被写体２００の顔全体を撮像し、第２撮像装置は、被写体２００の目を拡大して撮像してよく、第１撮像装置は、被写体２００の正面の第１認証画像を撮像し、第２撮像装置は、第１撮像装置とは異なる角度から被写体２００の第２認証画像を撮像してもよい。
また、第１撮像装置は、被写体２００が通過する経路と略平行な方向で被写体２００の第１認証画像を撮像し、第２撮像装置は、第１撮像装置とは異なる角度から通行者の第２認証画像を撮像してよい。ここで、経路と略平行な方向とは、経路における通行者の進行方向と略平行な方向である。
また、第1撮像装置は、隣接する画素に異なる色のカラーフィルターを設けたことにより、カラーの第１認証画像を撮像する装置であり、第２撮像装置は、画素にカラーフィルターが設けられておらず、モノクロの第２認証画像を撮像する装置であってもよい。このような構成により、第２撮像装置は、より高解像度の画像を撮像することができる。例えば、第１撮像装置は、ＲＧＢのそれぞれの撮像素子をスプライト状に配置したものであり、第２撮像装置は、モノクロの撮像素子を配置したものである。このような場合、第１撮像装置と第２撮像装置における撮像素子のピッチが同一であっても、第２撮像装置は第１撮像装置に比べ略３倍の解像度を得ることができる。
また、認証部７０は、第１撮像装置が撮像した第１認証画像に基づいて被写体２００の１次認証を行い、第２撮像装置が撮像した第２認証画像に基づいて被写体２００の２次認証を行う。
また、認証部７０は、移動検出用撮像装置が撮像した画像に基づいて１次認証を行い、認証用撮像装置が撮像した画像に基づいて２次認証を行ってもよい。つまり、移動検出用撮像装置を第１撮像装置として更に機能させ、認証用撮像装置を第２撮像装置として機能させてもよい。この場合、方向検出部３０と認証部７０とは、移動検出用撮像装置及び第１撮像装置として機能する一の撮像装置１０が撮像した画像に基づいて、被写体２００の方向検出と１次認証とを平行して行う。このような動作により、より効率よく被写体２００の認証を行うことができる。
図４は、認証部７０の構成の一例を説明する図である。認証部７０は、第１認証部７２、第２認証部７４、第１認証データベース７６、及び第２認証データベース７８を有する。
第１認証部７２は、第１認証画像に基づいて、被写体２００の１次認証を行う。第１認証データベース７６は、予め複数の被写体２００の第１登録画像を格納する。第１認証部７２は、第１認証データベース７６が格納した第１登録画像と、第１認証画像とを比較することにより、被写体２００の１次認証を行う。
第２認証部７４は、第１認証部７２の認証結果及び第２認証画像に基づいて、１次認証より精度の高い２次認証を被写体２００に対して行う。例えば、第２認証データベース７８は、第１登録画像より情報量の高い第２登録画像を格納し、第２認証部７４は、第１認証画像より情報量の高い第２認証画像と、第２認証データベース７８が格納した第２登録画像とを比較することにより、被写体２００の２次認証を行う。
また、第１認証部７２は、第１認証画像に基づいて、被写体２００の複数の候補を抽出してよい。例えば、第１認証部７２は、第１認証画像と、第１認証データベース７６が格納した第１登録画像とを比較し、複数の第１登録画像から、第１認証画像と類似する複数の候補画像を抽出し、抽出した候補画像に関する情報を第２認証部７４に通知する。そして、第２認証部７４は、第２認証画像に基づいて、第１認証部７２が抽出した複数の候補から被写体２００を決定する。例えば、第２認証データベース７８は、第１認証データベース７６が格納した第１登録画像に対応付けられた第２登録画像を格納しており、第２認証部７４は、第２認証画像と、第１認証部７２が抽出した複数の候補画像に対応する第２登録画像とを比較し、複数の第２登録画像から、被写体２００を示す抽出画像を抽出し、被写体２００がどの人物であるかを決定する。
このような動作により、被写体２００が、第１撮像装置に撮像されてから、第２撮像装置に撮像されるまでの間に、予備的な第１認証を行うことができる。このため、第２認証の時間を短縮することができる。つまり、最終的な認証を行うべき場所に被写体２００が移動するまでの時間を利用して、予備的な第１認証を行い、第１認証の認証結果を用いて第２認証を行うことにより、効率よく且つ精度の高い認証を行うことができる。
また、第２認証部７４は、第１認証部７２における１次認証結果に応じて、２次認証の基準を変化させてよい。例えば、第１認証部７２は、第１登録画像と、第１認証画像との一致度を算出して第２認証部７４に通知し、第２認証部７４は、第１認証部７２が算出した一致度に更に基づいて、被写体２００の２次認証を行う。この場合、第２認証部７４は、第１認証部７２が算出した一致度に基づいて、２次認証における認証の基準を変化させる。
例えば、第２認証部７４は、第２登録画像と第２認証画像との一致度を算出し、算出した一致度が予め与えられる基準値より高い場合に、被写体２００が、第２登録画像に対応する人物であると認証する。第２認証部７４は、第１認証部７２が算出した一致度に応じて、当該基準値を変化させる。例えば、当該基準値を、第１認証部７２が算出した一致度に反比例させて変化させてよい。このような動作により、更に効率よく２次認証を行うことができる。
また、第２認証部７４は、第１認証部７２における一致度が予め定められた値より低い場合に、被写体２００の複数の部位の画像に基づいて、被写体２００の認証を行ってよい。例えば、第１認証部７２における一致度が予め定められた値以上である場合には、第２撮像装置は、被写体２００の目を含む画像のみを撮像し、第２認証部７４は当該画像に基づいて被写体２００を認証する。第１認証部７２における一致度が予め定められた値より低い場合には、第２撮像装置は、被写体２００の複数の部位をそれぞれ撮像し、第２認証部７４は、当該複数の画像に基づいて被写体２００を認証する。
また、第２認証部７４は、第２認証画像と第２登録画像とを比較することにより、第２認証画像における被写体２００と、それぞれの第２登録画像における候補との一致度を算出し、算出した一致度が予め定められた値以上である候補が複数ある場合に、第２認証画像とは異なる被写体２００の特徴を更に取得し、取得した被写体２００の特徴に基づいて、一致度が予め定められた値以上である複数の候補から被写体２００を決定してもよい。このような場合における第２認証部７４の構成は、図８において後述する。
また、図２において説明した判定部６０は、第２認証画像における被写体が、第１認証画像における被写体と一致するかを判定し、判定結果を第２認証部７４に通知してよい。この場合、第２認証部７４は、判定部６０が一致したと判定した場合に、２次認証を行う。判定部６０は、例えば第１認証画像の被写体画像と、第２認証画像の被写体画像とを比較することにより、一致するか否かを判定してよい。
また、第１撮像装置及び第２撮像装置は、被写体２００を撮像した場合に、被写体２００を識別する被写体識別情報を受け取ってよい。例えば、被写体２００は、被写体識別情報を外部に発信するＩＣチップを有しており、第１撮像装置及び第２撮像装置は、ＩＣチップが発信する被写体識別情報を受信してよい。第１撮像装置及び第２撮像装置は、撮像した画像と被写体識別情報とを対応付けて格納部５０に格納し、判定部６０は、被写体識別情報に基づいて、被写体が一致するか否かを判定する。このような動作により、無駄な認証を省き、更に効率よく２次認証を行うことができる。
また、第２認証部７４は、第１撮像装置が被写体２００を撮像してから、第２撮像装置が被写体２００を撮像するまでの時間に更に基づいて、被写体２００を認証してよい。例えば、第２認証部７４は、当該時間が予め定められた時間より小さい場合に、被写体２００の認証を行ってよい。つまり、被写体２００が第１撮像装置から第２撮像装置まで移動する時間が不当に長い場合には、第２認証部７４は、被写体２００の認証を行わなくてもよい。また、第２認証部７４は、第１撮像装置が設けられた位置と、第２撮像装置が設けられた位置とに基づいて、第１撮像装置から第２撮像装置までの距離を算出し、当該距離と当該時間とに基づいて、被写体２００を認証するか否かを選択してもよい。
また、第２認証部７４は、第２撮像装置を識別する撮像装置識別情報に基づいて、被写体２００の２次認証を行ってもよい。例えば、第２撮像装置が、第２認証部７４における認証結果に基づいて、被写体２００の入場の可否が定まる入口に設けられており、それぞれの入口毎に入場可能な人物が登録されている場合、第２認証部７４は、第２撮像装置の撮像装置識別情報に基づいて、第２撮像装置が設けられている入口を識別する。そして、被写体２００が、当該入口に入場可能な人物であるか否かを認証する。
また、複数の第２撮像装置が、異なる角度から被写体２００の第２認証画像を撮像してもよい。この場合、被写体２００を異なる角度から撮像する複数の第２撮像装置からなる撮像装置群が、それぞれ第２認証を行うべき地点に設けられていることが好ましい。また選択部４０は、いずれかの撮像装置群を選択して撮像させる。第２認証部７４は、異なる角度で撮像された被写体２００の第２認証画像に基づいて、被写体２００の第２認証を行う。例えば、それぞれの角度で撮像された登録画像が第２認証部７４に予め与えられており、複数の第２撮像装置は、当該それぞれの角度から被写体２００を撮像する。このような制御により、被写体２００の認証をより精度よく行うことができる。
図５は、第１認証画像及び第２認証画像の一例を示す図である。図５（ａ）は、第１認証画像の一例を示し、図５（ｂ）は、第２認証画像の一例を示す図である。第１撮像装置は、第１認証データベース７６が格納した第１登録画像に対応する、被写体２００の部分を撮像する。本例において、第１撮像装置は、図５（ａ）に示すように、被写体２００の顔全体を撮像する。
また、第２撮像装置は、第２認証データベース７８が格納した第２登録画像に対応する、被写体２００の部分を撮像する。第２撮像装置は、第２登録画像に対応する前記通行者の部分を、前記第１撮像装置より拡大して撮像することが好ましい。本例において、第２撮像装置は、図５（ｂ）に示すように、被写体２００の目を含む部分を拡大して撮像する。また、第２撮像装置は、被写体２００の目を撮像するのに適した位置に設けられることが好ましい。例えば、第２撮像装置は、被写体２００の目の位置と略同一の高さに設けられた撮像装置１０であってよい。
また、第２認証部７４は、複数の被写体の目を撮像した第２登録画像に示される虹彩と、第２認証画像に示される虹彩とを比較することにより、被写体２００がいずれの人物であるかを決定する。
また、第１認証部７２は、第１認証画像に基づいて、被写体２００の２次認証に用いるべき被写体２００の部分を抽出してよい。例えば、被写体２００が、サングラス、マスク等を装着しており、被写体２００の目、口等が検出できない場合、第１認証部７２は、被写体２００の他の部分を、２次認証に用いるべき旨を第２撮像装置及び第２認証部７４に通知する。そして、第２撮像装置は、第１認証部が抽出した被写体２００の部分を第２認証画像として撮像し、第２認証部７４は、当該第２認証画像に基づいて、被写体２００を認証する。このような動作により、被写体２００の認証を効率よく行うことができる。
図６は、認証部７０の構成の他の例を示す図である。本例における認証部７０は、前述したように、第２認証画像における被写体２００が、第１認証画像における被写体２００と一致するかを判定し、判定結果に応じて第２認証画像による第２認証を行う。本例の認証部７０は、図４において説明した認証部７０の構成に加え、比較部８０を更に備える。比較部８０以外の構成要素については、図４において同一の符号を付して説明した構成要素と同一又は同様の機能及び構成を有する。
比較部８０は、第２認証画像における被写体２００が、第１認証画像における被写体２００と一致するかを判定する。前述したように、ＩＣチップが発信する被写体識別情報に基づいて、第１認証画像と第２認証画像における被写体が一致するかを判定してよく、また第１認証画像に撮像された被写体の画像と、第２認証画像に撮像された被写体の画像とを比較することにより、被写体が一致するかを判定してもよい。比較部８０は、同一の被写体が撮像されていると判定した場合に、当該第１認証画像と第２認証画像とを対応付けて格納する。
そして、第２認証部７４は、与えられるそれぞれの第２認証画像に対応する第１認証画像を、比較部８０が格納した第１認証画像から抽出し、当該第１認証画像に対して第１認証部７２が抽出した候補から、当該第２認証画像を用いて被写体２００を決定する。このような制御により、例えば複数の通行者が被写体２００として順次撮像された場合であっても、それぞれの被写体２００の認証を効率よく行うことができる。また、それぞれの被写体２００が第１撮像装置を通過する順序と、第２撮像装置を通過する順序とが異なる場合であっても、それぞれの被写体２００の認証を効率よく行うことができる。
また、第１撮像装置は、第２認証画像より広い領域でそれぞれの被写体２００を撮像した第１比較画像を、第１認証画像に対応付けて更に撮像してよい。つまり、それぞれの被写体２００に対し、第１認証画像と第１比較画像とを対応付けて撮像してよい。また、第２撮像装置は、第２認証画像より広い領域でそれぞれの被写体２００を撮像した第２比較画像を、第２認証画像に対応付けて更に撮像してよい。つまり、それぞれの被写体２００に対し、第２認証画像と第２比較画像とを対応付けて撮像してよい。
この場合、比較部８０は、第１比較画像に撮像された被写体２００と、第２比較画像に撮像された被写体２００とを比較し、被写体２００が同一である場合に、対応する第１認証画像に撮像された被写体２００と、対応する第２認証画像に撮像された被写体２００とが同一であると判定する。
図７は、認証画像及び比較画像の一例を示す図である。図７（ａ）は、第２認証画像の一例を示し、図７（ｂ）は、第１比較画像又は第２比較画像の一例を示す。前述したように、第１撮像装置及び第２撮像装置は、第２認証画像より広い領域でそれぞれの被写体を撮像した第１比較画像及び第２比較画像を撮像する。ここで、広い領域とは、例えば比較画像における被写体２００の撮像倍率が、第２認証画像における被写体２００の撮像倍率より小さいことをいう。例えば、第２認証画像は、被写体２００の顔の領域が撮像された画像であって、それぞれの比較画像は、被写体２００の顔と上半身の領域が撮像された画像である。また、第１比較画像及び第２比較画像においては、被写体２００の略同一の領域が撮像されていることが好ましい。
このように、より広い領域の比較画像を用いて被写体２００の比較を行うことにより、容易に被写体２００の比較を行うことができる。例えば、比較部８０は、それぞれの比較画像に撮像された被写体２００の被服を比較することにより、被写体２００同士を比較してよい。第１比較画像及び第２比較画像は通常、同一の日に撮像されるため、同一の被写体２００に対する第１比較画像及び第２比較画像においては、同一の被服が撮像される。被服の柄等を比較することにより、極めて容易に同一の被写体２００が撮像されている第１比較画像及び第２比較画像を抽出することができ、効率よくそれぞれの被写体２００の認証を行うことができる。
また、ひとつの第１認証画像に複数の被写体２００が撮像された場合、第１認証部７２は、それぞれの被写体２００に対して候補を抽出する。そして比較部８０は、第１認証画像のそれぞれの被写体２００と、それぞれの第２認証画像に撮像された被写体２００とを、上述した方法で比較してよい。この場合、第２撮像装置は、第１認証画像のそれぞれの被写体２００に対して第２認証画像を撮像することが好ましい。
また、第１認証部７２は、それぞれの被写体２００に対して候補を抽出する。そして第２認証部７４は、それぞれの第２認証画像に対応する被写体２００に対して第１認証部７２が抽出した候補から、被写体２００を決定する。
図８は、第２認証部７４の構成の一例を示す図である。前述したように、本例における第２認証部７４は、第２認証画像の被写体２００と候補との一致度を算出し、一致度に応じて２次認証を行う。第２認証部７４は、一致度算出部９０、特徴取得部９２、特徴選択部９４、特徴格納部９６、及び決定部９８を有する。
一致度算出部９０は、それぞれの第２認証画像の被写体２００と、当該被写体２００に対応して与えられる候補群のそれぞれの候補との一致度を算出する。これらの候補群は、前述したように第１認証部７２によってそれぞれの被写体２００に対して予め絞り込まれている。また絞り込まれたいずれの候補群を用いるかは、図６に関連して説明したように、比較部８０から与えられる。また、一致度算出部９０は、それぞれの候補に対して予め与えられる第２認証用の登録画像と、第２認証画像とを比較して、当該一致度を算出する。
特徴取得部９２は、一致度算出部９０が算出した一致度が予め定められた値以上である候補が、ひとつの被写体２００に対して複数ある場合に、第２認証画像とは異なる被写体２００の特徴を更に取得する。例えば、特徴取得部９２は、第２認証画像とは異なる被写体２００の部位を第２撮像装置に撮像させてよく、被写体２００の音声情報を更に取得してもよい。
特徴格納部９６は、被写体２００のそれぞれの候補について、複数の認証用特徴と、それぞれの認証用特徴の特徴量とを対応付けて予め格納する。また、認証用特徴及び特徴量は、それぞれの候補に対応付けて格納される。前述したように、特徴格納部９６は、第２認証画像と比較されるべき第２登録画像とは異なる被写体２００の部位を予め撮像した認証用画像を格納してよく、また被写体２００の認証用音声情報を格納してもよい。また、認証用特徴としては、撮像角度の異なる被写体２００の画像や、カラー／モノクロの被写体２００の画像を格納してもよい。
また、認証用特徴の特徴量とは、他の認証用特徴と比べた場合に、当該認証用特徴と他の認証用特徴との識別のし易さを示す値であり、当該認証用特徴と他の認証用特徴とを識別し得る特徴の多さを示す値であってよい。例えば、認証用特徴が音声情報である場合に、当該認証用特徴において特徴的な発音等の個数を示す値であってよく、また当該特徴的な発音が他者の発音と比べてどれだけ特徴的であるかを示す値であってもよい。
特徴選択部９４は、一致度が予め定められた値以上である複数の候補の特徴量の分散が最も大きい認証用特徴を、特徴格納部９６が格納した複数の認証用特徴から選択する。つまり、特徴選択部９４は、特徴格納部９６が格納した複数の認証用特徴から、当該複数の候補の全てに対して予め格納されている認証用特徴を抽出し、抽出したそれぞれの認証用特徴について、複数の候補者間の特徴量の分散を算出する。それぞれの認証用特徴の特徴量の分散は、例えば統計学の数式により与えられる。また、特徴選択部９４は、選択した認証用特徴に応じた特徴を、特徴取得部９２に取得させる。
そして、決定部９８は、特徴取得部９２が取得した被写体の特徴と、複数の候補に対して特徴選択部９４が選択した認証用特徴との比較結果に基づいて、一致度が予め定められた値以上である複数の候補から被写体２００を決定する。このような制御により、被写体２００の認証をより精度よく行うことができる。
図９は、撮像装置１０の構成の一例を示す図である。本例において、撮像装置１０のうち第２撮像装置が、本例において説明する構成を有する。撮像装置１０は、撮像部１２、フラッシュ部１４、及びフラッシュ制御部１８を備える。本例において、撮像部１２は、被写体２００の静止画を撮像する装置である。また、フラッシュ部１４は、撮像部１２が被写体２００を撮像する動作と同期して、複数の位置（１６−１〜１６−ｎ）から被写体２００に対して光を射出する。また、フラッシュ制御部１８は、フラッシュ部１４が光を射出する位置を制御する。
撮像装置１０が第２撮像装置である場合、フラッシュ制御部１８は、図４において説明した第１認証部７２の認証結果に基づいて、フラッシュ部１４が射出する光の位置を制御してよい。この場合、第１認証部７２は、第１認証画像における被写体２００の位置、正面方向等に基づいて、フラッシュ部１４が光を射出するべき位置を算出し、選択部４０を介してフラッシュ制御部１８に通知する。
例えば、第１認証部７２は、第１認証画像における被写体２００の位置に基づいて、被写体２００の身長を算出し、当該身長に基づいて、高さ方向においてフラッシュ部１４が射出するべき光の位置を算出する。つまり、第１認証部７２は、被写体２００の身長に基づいて、第２認証画像として撮像するべき被写体２００の部位の高さを算出し、算出した高さに基づいて、フラッシュ部１４が射出するべき光の位置を算出する。
また、第１認証部７２は、第１認証画像における被写体２００の正面方向に基づいて、高さ方向と直交する横方向においてフラッシュ部１４が光を射出するべき位置を算出する。このような動作により、被写体２００の第２認証画像を撮像する場合に、最も適した位置でフラッシュ光を射出することができる。
また、制御部２０は、第１認証部７２の認証結果に基づいて、フラッシュ部１４が射出する光の強度を更に制御してもよい。例えば、第２認証部７４が、被写体２００の目の画像に基づいて第２認証を行う場合であって、第１認証部７２が第１認証画像の被写体２００がサングラス等を着用していると判定した場合に、制御部２０は、フラッシュ部１４が射出する光の強度を増加させる。
また、第１認証部７２は、第１認証用画像の明度を検出し、フラッシュ制御部１８は、第１認証用画像の明度に基づいて、フラッシュ部１４が光を射出する位置、フラッシュ部１４が射出する光の強度を制御してもよい。例えば、第１認証用画像の明度が小さい場合、フラッシュ部１４が射出する光の強度を強くする。また、例えば第１認証用画像の上部の明度が小さい場合、フラッシュ部１４が光を射出する位置を高くしてよい。
また、第１認証部７２は、第２認証部７４において認証に用いる被写体２００の部分や、特徴取得部９２が画像を取得する被写体２００の部分の明度やコントラストを検出し、フラッシュ制御部１８は、当該明度に基づいてフラッシュ部１４が光を射出する位置、フラッシュ部１４が射出する光の強度を制御してもよい。つまり、当該部分に適切な光が照射されるように、フラッシュ部１４の位置、強度を制御してよい。例えば、第１認証用画像の被写体２００の頭部の明度が小さい場合、フラッシュ部１４が光を射出する位置を高くし、又はフラッシュ部１４が射出する光の強度を強くしてよい。このような動作によって、被写体２００の第２認証画像を撮像する場合に、適した位置から適した強度のフラッシュ光を射出することができる。
また、撮像部１２は、フラッシュ部１４と同様に、複数の高さから被写体２００を撮像可能であることが好ましい。この場合、第１認証部７２は、第１認証画像における被写体２００の位置を検出し、第２撮像装置は、当該被写体２００の位置に基づいて、被写体２００を撮像するべき高さを算出し、第２撮像装置の撮像部１２は、算出した高さから被写体２００の第２認証画像を撮像する。
図１０は、第１認証画像の一例を示す図である。このように、第１認証画像において、被写体２００の頭部の一部が撮像されていない場合、第２撮像装置は、被写体２００の頭部全体が撮像できるように、撮像部１２の位置を制御する。例えば、被写体２００の背の高さを、第１認証画像における被写体２００の位置に基づいて判定し、当該背の高さに応じて撮像部１２の撮像位置を制御してよく、また、第２認証部７４において認証に用いられる被写体２００の部分の位置を第１認証画像に基づいて判定し、当該部分が適切な位置で撮像されるように、第２撮像装置における撮像部１２の高さを制御してもよい。
また、第１認証部７２は、第１認証画像に基づいて、第１撮像装置が通行者を撮像した角度を検出してもよい。この場合、第２撮像装置は、第１認証部７２が検出した角度に基づいて、被写体２００を撮像するべき角度を算出し、算出した角度で被写体の第２認証画像を撮像する。例えば、第１撮像装置及び第２撮像装置が、被写体２００の正面を撮像するべき位置に設けられているような場合において、第１認証画像に被写体２００の正面が撮像されていない場合、第１認証部７２は、被写体２００を撮像した角度を検出し、第２撮像装置は、検出した撮像角度に基づいて、被写体２００を撮像する角度を決定する。第２撮像装置の撮像部１２は、所望の位置から所望の角度で被写体２００を撮像できることが好ましい。
図１１は、第２認証部７４の構成の他の例を示す図である。本例における第２認証部７４は、第２認証画像の照明条件に応じた登録画像に基づいて、第２認証を行う。例えば、第２撮像装置のフラッシュ部１４の位置や、被写体２００の位置等に基づいて照明条件を算出してよい。また、照明条件とは、被写体２００に照射される光の強度や角度を指す。
第２認証部７４は、位置算出部８２、照明条件算出部８４、決定部８６、及び登録画像選択部８８を有する。また、第２認証部７４は、第２認証データベース７８を、登録画像データベースとして更に有してよい。第２認証データベース７８は、それぞれの被写体２００に対して、異なる照明条件で予め撮像した複数の登録画像を格納する。
位置算出部８２は、第１認証画像に基づいて、第２撮像装置が被写体２００を撮像するときの被写体２００の位置を算出する。例えば、第１撮像装置と第２撮像装置は、直線通路の手前側と奥側に、横方向及び高さ方向の位置が同一となるように設けられており、位置算出部８２は、第１認証画像に基づいて、第１撮像装置が被写体２００を撮像したときの、第１撮像装置と被写体２００との相対位置を算出する。そして、位置算出部８２は、当該相対位置を、第２撮像装置が被写体２００を撮像するときの被写体２００の相対位置として算出する。
そして、照明条件算出部８４は、位置算出部８２が算出した被写体２００の位置に基づいて、第２撮像装置が被写体２００を撮像するときの照明条件を算出する。例えば、第１認証画像に基づいて、被写体２００が通路のどちら側を歩いているかを検出し、第２認証画像を撮像するときの照明条件を算出してもよい。この場合、第２認証画像を撮像するときに、被写体２００に照射される光の向き及び強度は予め与えられることが好ましい。被写体２００の歩行位置、光の向き、及び光の強度から、第２認証画像を撮像するときの照明条件は算出することができる。そして、登録画像選択部８８は、照明条件算出部８４が算出した照明条件に応じた登録画像を選択する。決定部８６は、格納部５０が格納した第２認証画像と、登録画像選択部８８が選択した登録画像とを比較することにより、第２認証画像の被写体２００を認証する。
例えば、被写体２００が通路の左側を歩くか、右側を歩くかによって、認証画像撮像時に被写体２００に対して照射される光の角度が異なってくるが、本例における第２認証部７４によれば、被写体２００に対する照明条件に応じた登録画像を選択することができるため、精度よく被写体２００の認証を行うことができる。また、第１認証画像が撮像されてから、第２認証画像が撮像されるまでの間に、第１認証画像に基づいて予め照明条件を判定することにより、照明条件に応じた登録画像を予め選択することができ、効率よく認証を行うことができる。
図１２は、撮像システム１００を制御するコンピュータ３００の構成の一例を示す図である。本例において、コンピュータ３００は、撮像システム１００を図１から図１１において説明した撮像システム１００として機能させるプログラムを格納する。また、コンピュータ３００は、撮像システム１００の制御部２０として更に機能してもよい。
コンピュータ３００は、ＣＰＵ７００と、ＲＯＭ７０２と、ＲＡＭ７０４と、通信インターフェース７０６と、ハードディスクドライブ７１０と、フレキシブルディスクドライブ７１２と、ＣＤ−ＲＯＭドライブ７１４とを備える。ＣＰＵ７００は、ＲＯＭ７０２、ＲＡＭ７０４、ハードディスクドライブ７１０、フレキシブルディスク７２０、及び／又はＣＤ−ＲＯＭ７２２に格納されたプログラムに基づいて動作する。
例えば、撮像システム１００を機能させるプログラムは、撮像システム１００を、図１から図１１において説明した、複数の撮像装置１０、制御部２０、方向検出部３０、選択部４０、格納部５０、判定部６０、及び認証部７０として機能させる。また、当該プログラムは、ハードディスクドライブ７１０を格納部５０として、ＣＰＵ７００を方向検出部３０、選択部４０、判定部６０、及び認証部７０として機能させてもよい。
通信インターフェース７０６は、例えばそれぞれの撮像装置１０と通信し、それぞれの状態等に関する情報、撮像した画像等を受信し、またそれぞれを制御する制御信号を送信する。格納装置の一例としてのハードディスクドライブ７１０、ＲＯＭ７０２、又はＲＡＭ７０４は、設定情報、及びＣＰＵ７００を動作させるためのプログラム等を格納する。また、当該プログラムは、フレキシブルディスク７２０、ＣＤ−ＲＯＭ７２２等の記録媒体に格納されていてもよい。
フレキシブルディスクドライブ７１２は、フレキシブルディスク７２０がプログラムを格納している場合、フレキシブルディスク７２０からプログラムを読み取りＣＰＵ７００に提供する。ＣＤ−ＲＯＭドライブ７１４は、ＣＤ−ＲＯＭ７２２がプログラムを格納している場合、ＣＤ−ＲＯＭ７２２からプログラムを読み取りＣＰＵ７００に提供する。
また、プログラムは記録媒体から直接ＲＡＭに読み出されて実行されても、一旦ハードディスクドライブ７１０にインストールされた後にＲＡＭ７０４に読み出されて実行されてもよい。更に、上記プログラムは単一の記録媒体に格納されても複数の記録媒体に格納されても良い。また記録媒体に格納されるプログラムは、オペレーティングシステムとの共同によってそれぞれの機能を提供してもよい。例えば、プログラムは、機能の一部または全部を行うことをオペレーティングシステムに依頼し、オペレーティングシステムからの応答に基づいて機能を提供するものであってもよい。
プログラムを格納する記録媒体としては、フレキシブルディスク、ＣＤ−ＲＯＭの他にも、ＤＶＤ、ＰＤ等の光学記録媒体、ＭＤ等の光磁気記録媒体、テープ媒体、磁気記録媒体、ＩＣカードやミニチュアーカードなどの半導体メモリー等を用いることができる。又、専用通信ネットワークやインターネットに接続されたサーバシステムに設けたハードディスクまたはＲＡＭ等の格納装置を記録媒体として使用してもよい。
以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更または改良を加えることが可能であることが当業者に明らかである。その様な変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。
本発明に係る撮像システムの概要を説明する図である。 本発明の実施形態に係る撮像システム１００の構成の一例を示す図である。 複数の撮像装置１０の一例を説明する図である。 認証部７０の構成の一例を説明する図である。 第１認証画像及び第２認証画像の一例を示す図である。図５（ａ）は、第１認証画像の一例を示し、図５（ｂ）は、第２認証画像の一例を示す。 認証部７０の構成の他の例を示す図である。 認証画像及び比較画像の一例を示す図である。図７（ａ）は、第２認証画像の一例を示し、図７（ｂ）は、第１比較画像又は第２比較画像の一例を示す。 第２認証部７４の構成の一例を示す図である。 撮像装置１０の構成の一例を示す図である。 第１認証画像の一例を示す図である。 第２認証部７４の構成の他の例を示す図である。 撮像システム１００を制御するコンピュータ３００の構成の一例を示す図である。
符号の説明
１０・・・撮像装置、１２・・・撮像部、１４・・・フラッシュ部、１８・・・フラッシュ制御部、２０・・・制御部、３０・・・方向検出部、４０・・・選択部、５０・・・格納部、６０・・・判定部、７０・・・認証部、７２・・・第１認証部、７４・・・第２認証部、７６・・・第１認証データベース、７８・・・第２認証データベース、８２・・・位置算出部、８４・・・照明条件算出部、８６・・・決定部、８８・・・登録画像選択部、９０・・・一致度算出部、９２・・・特徴取得部、９４・・・特徴選択部、９６・・・特徴格納部、９８・・・決定部、１００・・・撮像システム、２００・・・被写体

Claims (7)

  1. 被写体を撮像する撮像システムであって、
    それぞれ異なる位置に設けられ、前記被写体を撮像する複数の撮像装置と、
    前記複数の撮像装置の内の一の撮像装置が、異なるタイミングで撮像した前記被写体の２以上の画像に基づいて、前記被写体の移動方向を検出する方向検出部と、
    前記方向検出部が検出した前記移動方向に基づいて前記被写体の正面方向を検出し、検出した正面方向と、それぞれの前記撮像装置が設けられた位置とに基づいて、前記被写体が移動する位置の近傍、かつ、前記被写体の正面方向で前記被写体の認証用画像を撮像することができる前記撮像装置を選択する選択部と、
    前記選択部が選択した前記撮像装置が撮像した前記認証用画像を格納する格納部と、
    前記認証用画像が、前記被写体の顔の正面画像を含んでいるか否かを判定し、前記被写体の顔の正面画像を含んでいないと判定した場合に、前記格納部が格納した当該認証用画像を削除する判定部と、
    前記判定部により削除されずに残った前記認証用画像に基づいて、前記被写体を認証する認証部と
    を備える撮像システム。
  2. 前記選択部が選択した前記撮像装置は、前記認証用画像として、前記被写体の静止画を撮像する
    請求項１に記載の撮像システム。
  3. 前記複数の撮像装置は、撮像方向が略直下方向である複数の移動検出用撮像装置と、撮像方向が直下方向に対して傾きを有する方向である複数の認証用撮像装置とを含み、
    前記方向検出部は、前記複数の移動検出用撮像装置が撮像した前記被写体の画像に基づいて、前記被写体の移動方向を検出し、
    前記選択部は、前記複数の認証用撮像装置から、前記被写体の前記認証用画像を撮像する前記撮像装置を選択する
    請求項１または２に記載の撮像システム。
  4. 前記方向検出部は、前記撮像装置が撮像した前記被写体が、予め登録された被写体であるか否かに基づいて、当該被写体の移動方向を検出するか否かを選択する
    請求項１から３のいずれか１項に記載の撮像システム。
  5. 前記方向検出部は、いずれかの前記撮像装置が撮像した前記複数の画像における、前記被写体の大きさの変化に基づいて、前記被写体の前記移動方向を検出する
    請求項１から４のいずれか１項に記載の撮像システム。
  6. 前記判定部は、認証を行わなかった場合に、新たな認証用画像を撮像する撮像装置を選択する
    請求項１から５のいずれか１項に記載の撮像システム。
  7. 被写体を撮像する撮像システムを機能させるプログラムであって、
    前記撮像システムを、
    それぞれ異なる位置に設けられ、前記被写体を撮像する複数の撮像装置と、
    前記複数の撮像装置の内の一の撮像装置が、異なるタイミングで撮像した前記被写体の２以上の画像に基づいて、前記被写体の移動方向を検出する方向検出部と、
    前記方向検出部が検出した前記移動方向に基づいて前記被写体の正面方向を検出し、検出した正面方向と、それぞれの前記撮像装置が設けられた位置とに基づいて、前記被写体が移動する位置の近傍、かつ、前記被写体の正面方向で前記被写体の認証用画像を撮像することができる前記撮像装置を選択する選択部と、
    前記選択部が選択した前記撮像装置が撮像した前記認証用画像を格納する格納部と、
    前記認証用画像が、前記被写体の顔の正面画像を含んでいるか否かを判定し、前記被写体の顔の正面画像を含んでいないと判定した場合に、前記格納部が格納した当該認証用画像を削除する判定部と、
    前記判定部により削除されずに残った前記認証用画像に基づいて、前記被写体を認証する認証部と
    して機能させるプログラム。
JP2004241543A 2003-09-02 2004-08-20 撮像システム、及びプログラム Expired - Fee Related JP4476744B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2004241543A JP4476744B2 (ja) 2003-09-02 2004-08-20 撮像システム、及びプログラム
US10/932,343 US7599526B2 (en) 2003-09-02 2004-09-02 Imaging system and program for detecting a movement of a subject and initializing imaging devices to perform subject authentication based on the movement

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2003309957 2003-09-02
JP2004241543A JP4476744B2 (ja) 2003-09-02 2004-08-20 撮像システム、及びプログラム

Publications (2)

Publication Number Publication Date
JP2005100372A JP2005100372A (ja) 2005-04-14
JP4476744B2 true JP4476744B2 (ja) 2010-06-09

Family

ID=34467507

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2004241543A Expired - Fee Related JP4476744B2 (ja) 2003-09-02 2004-08-20 撮像システム、及びプログラム

Country Status (2)

Country Link
US (1) US7599526B2 (ja)
JP (1) JP4476744B2 (ja)

Families Citing this family (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006236244A (ja) * 2005-02-28 2006-09-07 Toshiba Corp 顔認証装置および入退場管理装置
JP4738914B2 (ja) * 2005-06-29 2011-08-03 富士フイルム株式会社 監視システム、監視方法、及び監視プログラム
JP2007011667A (ja) * 2005-06-30 2007-01-18 Matsushita Electric Ind Co Ltd 虹彩認証装置および虹彩認証方法
WO2008036897A1 (en) 2006-09-22 2008-03-27 Global Rainmakers, Inc. Compact biometric acquisition system and method
WO2008108458A1 (ja) * 2007-03-07 2008-09-12 Omron Corporation 顔画像取得システム、顔照合システム、顔画像取得方法、顔照合方法、顔画像取得プログラムおよび顔照合プログラム
CN101639891B (zh) * 2008-07-28 2012-05-02 汉王科技股份有限公司 一种双摄像头人脸识别装置和方法
JP2010062942A (ja) * 2008-09-04 2010-03-18 Sanyo Electric Co Ltd 異常検知装置
DE102008041933A1 (de) * 2008-09-10 2010-03-11 Robert Bosch Gmbh Überwachungssystem, Verfahren zur Detektion und/oder Verfolgung eines Überwachungsobjektes und Computerprogrammen
JP5521304B2 (ja) * 2008-10-03 2014-06-11 富士通株式会社 撮像装置、撮像プログラム、撮像方法、認証装置、認証プログラム及び認証方法
US8502644B1 (en) 2009-01-29 2013-08-06 Bank Of American Corporation Physical item security: tracking device activation
US8749347B1 (en) * 2009-01-29 2014-06-10 Bank Of America Corporation Authorized custodian verification
JP5544223B2 (ja) * 2010-06-03 2014-07-09 株式会社日立製作所 撮像装置
JP5786495B2 (ja) * 2011-06-30 2015-09-30 富士通株式会社 画像認識装置、画像認識方法及び画像認識用コンピュータプログラム
EP3335662B1 (en) * 2011-10-13 2020-08-19 Brainlab AG Medical tracking system comprising two or more communicating sensor devices
EP2765946B1 (en) 2011-10-13 2015-08-12 Brainlab AG Medical tracking system comprising multi-functional sensor device
US9498885B2 (en) 2013-02-27 2016-11-22 Rockwell Automation Technologies, Inc. Recognition-based industrial automation control with confidence-based decision support
US9393695B2 (en) * 2013-02-27 2016-07-19 Rockwell Automation Technologies, Inc. Recognition-based industrial automation control with person and object discrimination
US9804576B2 (en) 2013-02-27 2017-10-31 Rockwell Automation Technologies, Inc. Recognition-based industrial automation control with position and derivative decision reference
US9798302B2 (en) 2013-02-27 2017-10-24 Rockwell Automation Technologies, Inc. Recognition-based industrial automation control with redundant system input support
WO2014148395A1 (ja) * 2013-03-21 2014-09-25 株式会社日立国際電気 映像監視システム、映像監視方法、および映像監視装置
KR101823208B1 (ko) * 2015-12-04 2018-01-29 엘지전자 주식회사 공기 조화기 및 그 제어방법
US10605609B2 (en) * 2017-05-03 2020-03-31 Microsoft Technology Licensing, Llc Coupled interactive devices
JP2020057201A (ja) * 2018-10-02 2020-04-09 日本電気株式会社 情報処理装置、情報処理システム、情報処理方法及びプログラム
US11356723B2 (en) 2019-09-06 2022-06-07 Tencent America LLC In-manifest update event
CN113569595B (zh) * 2020-04-28 2024-03-22 富泰华工业（深圳）有限公司 身份辨识装置以及身份辨识方法
JP7036153B2 (ja) * 2020-06-15 2022-03-15 日本電気株式会社 情報処理システム、情報処理方法及びプログラム

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS62247410A (ja) * 1985-12-04 1987-10-28 Aisin Seiki Co Ltd 電気装置の付勢制御装置
JPH11502344A (ja) * 1995-03-20 1999-02-23 ロー テクノロジーズ 画像を識別するための装置及び方法
JP3452685B2 (ja) * 1995-05-10 2003-09-29 三菱電機株式会社 顔画像の処理装置
US5991429A (en) * 1996-12-06 1999-11-23 Coffin; Jeffrey S. Facial recognition system for security access and identification
JP3549725B2 (ja) * 1998-04-13 2004-08-04 シャープ株式会社 画像処理装置
US6404987B1 (en) * 1998-09-07 2002-06-11 Canon Kabushiki Kaisha Flash system
US6754389B1 (en) * 1999-12-01 2004-06-22 Koninklijke Philips Electronics N.V. Program classification using object tracking
JP4321944B2 (ja) * 2000-04-27 2009-08-26 富士通株式会社 生体情報を用いた個人認証システム
JP4177598B2 (ja) * 2001-05-25 2008-11-05 株式会社東芝 顔画像記録装置、情報管理システム、顔画像記録方法、及び情報管理方法
CA2359269A1 (en) * 2001-10-17 2003-04-17 Biodentity Systems Corporation Face imaging system for recordal and automated identity confirmation
JP3999561B2 (ja) * 2002-05-07 2007-10-31 松下電器産業株式会社 監視システムと監視カメラ

Also Published As

Publication number Publication date
US7599526B2 (en) 2009-10-06
JP2005100372A (ja) 2005-04-14
US20050089198A1 (en) 2005-04-28

Similar Documents

Publication Publication Date Title
JP4476744B2 (ja) 撮像システム、及びプログラム
JP4339762B2 (ja) 認証システム、及びプログラム
US7693308B2 (en) Authentication system, authentication method, machine readable medium storing thereon authentication program, certificate photograph taking apparatus, and certificate photograph taking method
JP3271750B2 (ja) アイリス識別コード抽出方法及び装置、アイリス認識方法及び装置、データ暗号化装置
JP2008243093A (ja) 辞書データの登録装置及び辞書データの登録方法
US20080069411A1 (en) Long distance multimodal biometric system and method
JP2007334623A (ja) 顔認証装置、顔認証方法、および入退場管理装置
JP2001331799A (ja) 画像処理装置および画像処理方法
US20100134250A1 (en) Forged face detecting method and apparatus thereof
KR20110093659A (ko) 화상인식장치 및 방법
JP2007241500A (ja) 顔認証装置および顔認証方法
WO2007105768A1 (ja) 顔画像登録装置、顔画像登録方法、顔画像登録プログラム、および記録媒体
JP2003141541A (ja) 人物認識装置および通行制御装置
JP5170094B2 (ja) なりすまし検知システム、なりすまし検知方法およびなりすまし検知用プログラム
JP7484985B2 (ja) 認証システム、認証方法、及び、プログラム
CN108337429A (zh) 图像处理设备和图像处理方法
JPWO2018038158A1 (ja) 虹彩撮像装置、虹彩撮像方法および記録媒体
US20090016577A1 (en) Collation sytem and computer readable medium storing thereon program
WO2019163066A1 (ja) なりすまし検知装置、なりすまし検知方法、及びコンピュータ読み取り可能な記録媒体
JP2006236260A (ja) 顔認証装置、顔認証方法および入退場管理装置
JP2005258860A (ja) 複数認証方法及びその装置
US11729501B2 (en) Imaging control system, imaging control method, control device, control method, and storage medium
JP2004038305A (ja) 個人識別装置
TW202040426A (zh) 資訊處理裝置、資訊處理系統、資訊處理方法以及非暫時性儲存媒體
JP2013101551A (ja) 顔画像認証装置

Legal Events

Date Code Title Description
A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A712

Effective date: 20061206

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20070221

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20091027

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20091218

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20100309

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20100310

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130319

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130319

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140319

Year of fee payment: 4

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees