JP2007257221A - 顔認識システム - Google Patents

顔認識システム Download PDF

Info

Publication number
JP2007257221A
JP2007257221A JP2006079844A JP2006079844A JP2007257221A JP 2007257221 A JP2007257221 A JP 2007257221A JP 2006079844 A JP2006079844 A JP 2006079844A JP 2006079844 A JP2006079844 A JP 2006079844A JP 2007257221 A JP2007257221 A JP 2007257221A
Authority
JP
Japan
Prior art keywords
face
user
feature
feature amount
feature quantity
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2006079844A
Other languages
English (en)
Other versions
JP4862447B2 (ja
Inventor
Makoto Masuda
誠 増田
Kagehiro Nagao
景洋 長尾
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Oki Electric Industry Co Ltd
Original Assignee
Oki Electric Industry Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Oki Electric Industry Co Ltd filed Critical Oki Electric Industry Co Ltd
Priority to JP2006079844A priority Critical patent/JP4862447B2/ja
Priority to TW096101788A priority patent/TW200741562A/zh
Priority to KR1020087025723A priority patent/KR20090008256A/ko
Priority to EP07707090A priority patent/EP2026233A4/en
Priority to CNA2007800098648A priority patent/CN101405744A/zh
Priority to US12/225,423 priority patent/US8340366B2/en
Priority to PCT/JP2007/050802 priority patent/WO2007108225A1/ja
Publication of JP2007257221A publication Critical patent/JP2007257221A/ja
Application granted granted Critical
Publication of JP4862447B2 publication Critical patent/JP4862447B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31—User authentication
    • G06F21/32—User authentication using biometric data, e.g. fingerprints, iris scans or voiceprints
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
    • G06V10/235—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition based on user input or interaction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C9/00—Individual registration on entry or exit
    • G07C9/30—Individual registration on entry or exit not involving the use of a pass
    • G07C9/32—Individual registration on entry or exit not involving the use of a pass in combination with an identity check
    • G07C9/37—Individual registration on entry or exit not involving the use of a pass in combination with an identity check using biometric data, e.g. fingerprints, iris scans or voice recognition
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L9/00—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols
    • H04L9/32—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols including means for verifying the identity or authority of a user of the system or for message authentication, e.g. authorization, entity authentication, data integrity or data verification, non-repudiation, key authentication or verification of credentials

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Security & Cryptography (AREA)
  • Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Collating Specific Patterns (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

【課題】顔認識を行う利用者が特徴量を抽出する対象となる顔の部位を自分で選択することができ、マスクや眼帯を着けていたり、髪型が変わったりした場合であっても、選択した部位の特徴量を重視して他の部位の特徴量を軽減することによって、適切に顔認識を行うことができるようにする。
【解決手段】利用者の顔画像を取得する画像入力部と、登録人物の顔の部位の特徴量を保存したデータベースと、前記利用者の顔画像から顔の部位の位置を検出する顔位置検出部と、顔の部位の特徴量を抽出する特徴量抽出部と、該特徴量抽出部が抽出した顔の部位の特徴量と、前記データベースに保存された登録人物の顔の部位の特徴量とを比較して、前記利用者を認識する認識部とを有する顔認識システムであって、特徴量を抽出する顔の部位を前記利用者が選択する。
【選択図】図１

Description

本発明は、顔認識システムに関するものである。
従来、建物や該建物内の特定の場所に無資格者が進入することを防止するための個人認証装置、情報処理装置等の装置を無資格者が操作することを防止するための個人認証装置、インターネットを利用した電子商取引において本人確認を行うための個人認証装置等においては、鍵（かぎ）や暗証番号を使用することなく、本人の生物学的な特徴を利用して本人を確認するバイオメトリクス認証システムを利用した個人認証装置が提供されている（例えば、特許文献１参照。）。
そして、該バイオメトリクス認証システムを利用した個人認証装置においては、指紋によって認証するシステム、声紋によって認証するシステム、顔貌（ぼう）によって認証するシステム等が利用されている。
顔貌によって認証するシステム、すなわち、顔認識システムにおいては、顔認識を行う際に、顔画像から顔の特徴量を抽出し、事前に登録した特徴量との類似度を比較して認識するようになっている。この場合、両目及び口の位置を検出し、それにより、修正されたテンプレートを顔の特徴量とするテンプレートマッチング処理によって顔認識を行う。この際、顔画像としては、両目及び口が含まれていることが前提条件であり、両目の検出又は口の検出のいずれかに失敗した場合には、画像中に顔が存在しないと判断して警告を出すようになっている。
特開２０００−１６３６００号公報
しかしながら、前記従来の顔認識システムにおいては、利用者がマスクを掛けていると、口を検出することができないので、適切に顔認識を行うことができなくなってしまう。例えば、冬季のように感冒が流行する時季や、春先のように花粉症が流行する時季には、利用者がマスクを掛けている場合が多い。このような場合、従来の顔認識システムを利用した個人認証装置では、口の特徴量がマスクの影響で大きく変わってしまうので、顔認識システムがマスクを掛けている顔を適切に認識をすることができず、利用者の本人確認に失敗してしまう。そのため、利用者は、認証時にマスクを外したりしなければならず、手間がかかり、煩わしく感じてしまう。
本発明は、前記従来の顔認識システムの問題点を解決して、特徴量を抽出する対象となる顔の部位を選択する特徴量選択部を有することによって、顔認識を行う利用者が特徴量を抽出する対象となる顔の部位を自分で選択することができ、マスクや眼帯を着けていたり、髪型が変わったりした場合であっても、選択した部位の特徴量を重視して他の部位の特徴量を軽減することによって、適切に顔認識を行うことができる顔認識システムを提供することを目的とする。
そのために、本発明の顔認識システムにおいては、利用者の顔画像を取得する画像入力部と、登録人物の顔の部位の特徴量を保存したデータベースと、前記利用者の顔画像から顔の部位の位置を検出する顔位置検出部と、顔の部位の特徴量を抽出する特徴量抽出部と、該特徴量抽出部が抽出した顔の部位の特徴量と、前記データベースに保存された登録人物の顔の部位の特徴量とを比較して、前記利用者を認識する認識部とを有する顔認識システムであって、特徴量を抽出する顔の部位を前記利用者が選択する。
本発明の他の顔認識システムにおいては、さらに、前記顔位置検出部は、前記利用者が選択した顔の部位の位置のみを検出する。
本発明の更に他の顔認識システムにおいては、さらに、前記利用者が操作して特徴量を抽出する顔の部位を選択する特徴量選択部を有する。
本発明の更に他の顔認識システムにおいては、利用者の顔画像を取得する画像入力部と、登録人物の顔の部位の特徴量を保存したデータベースと、前記利用者の顔画像から顔の部位の位置を検出する顔位置検出部と、顔の部位の特徴量を抽出する特徴量抽出部と、該特徴量抽出部が抽出した顔の部位の特徴量と、前記データベースに保存された登録人物の顔の部位の特徴量とを比較して、前記利用者を認識する認識部とを有する顔認識システムであって、特徴量を抽出する顔の部位を前記利用者の状態に合わせて自動的に選択する。
本発明の更に他の顔認識システムにおいては、さらに、前記利用者の顔画像を登録されたテンプレートとマッチングさせることによって、特徴量を抽出する顔の部位を選択する利用者状態検出部を有する。
本発明によれば、顔認識システムにおいては、特徴量を抽出する対象となる顔の部位を選択する特徴量選択部を有する。そのため、顔認識を行う利用者が特徴量を抽出する対象となる顔の部位を自分で選択することができ、マスクや眼帯を着けていたり、髪型が変わったりした場合であっても、選択した部位の特徴量を重視して他の部位の特徴量を軽減することによって、適切に顔認識を行うことができる。
以下、本発明の実施の形態について図面を参照しながら詳細に説明する。
図１は本発明の第１の実施の形態における顔認識システムの構成を示す図である。
図において、１０はカメラ２１によって撮影した利用者１９の顔画像を取得して顔認識を行う顔認識システムであり、プログラムに従って動作を行う一種のコンピュータシステムである。前記顔認識システム１０は、利用者１９の生物学的な特徴の一つである顔貌によって、前記利用者１９の個人認証を行うために使用されるシステムであり、いかなる用途において使用されてもよい。例えば、マンション、工場、事務所等の特定の該建物や該建物内の特定の場所に入る際に本人確認を行うために利用される。また、飛行場におけるチェックイン等の際に航空券を所持する者の本人確認を行うために使用することもできる。さらに、銀行、郵便局、信用金庫等の金融機関の営業店の窓口において金融取引を依頼したり、ＡＴＭ（Ａｕｔｏｍａｔｉｃ Ｔｅｌｌｅｒ Ｍａｃｈｉｎｅ：現金自動預払機）等の自動取引装置を操作して金融取引を行ったりする際の本人確認を行うために使用することもできる。さらに、インターネットを利用した電子商取引において本人確認を行うために使用することもできる。
そして、前記利用者１９は、マンション、工場、事務所等の特定の建物や該建物内の特定の場所の住人、従業者等であってもよいし、飛行場においてチェックイン等を行う旅行者であってもよいし、金融機関の営業店の窓口において金融取引を依頼したり、自動取引装置を操作して金融取引を行ったりする顧客であってもよいし、インターネットを利用した電子商取引を行う者であってもよいし、前記顔認識システム１０を使用して本人確認を行う者であれば、いかなる者であってもよい。
また、前記カメラ２１は、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ：電荷結合素子）、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）等の撮像素子、光学レンズ、通信インターフェイス等を備え、前記顔認識システム１０に接続可能で、撮影した画像を電子データの形態で出力することができるものであれば、静止画を撮影するデジタルスチルカメラであってもよいし、動画を撮影するデジタルビデオカメラであってもよいし、いかなる形態のものであってもよい。前記カメラ２１は、例えば、特定の建物や該建物内の特定の場所の入口に配設された監視カメラであってもよいし、自動取引装置に内蔵された内蔵型カメラであってもよいし、パーソナルコンピュータ等に接続されたカメラであってもよいし、ノートブック型パーソナルコンピュータ、ＰＤＡ（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔ）、電子手帳、携帯電話機、ＰＨＳ（Ｐｅｒｓｏｎａｌ Ｈａｎｄｙ−Ｐｈｏｎｅ Ｓｙｓｔｅｍ）電話機等に内蔵されたカメラであってもよい。
そして、前記顔認識システム１０は、顔認識に用いる顔の特徴量を抽出する対象となる顔の部位を選択する特徴量選択部１１、カメラ２１から１フレーム毎の顔画像を取得する画像入力部１２、該画像入力部１２によって取得された画像中から利用者１９の顔の部位、例えば、目、口等の位置を検出する顔位置検出部１３、顔認識に用いる顔の特徴量として、目、口等の部位の特徴量を抽出する特徴量抽出部１４、あらかじめ登録された登録人物の顔の特徴量が保存されているデータベース１５、該データベース１５に保存されている各登録人物の特徴量と、前記特徴量抽出部１４で抽出された特徴量とを比較し、前記画像中の人物を認識する認識部１６、及び、該認識部１６の認識結果を出力する認識結果出力部１７を有する。なお、顔認識に用いる特徴量を抽出する対象となる顔の部位は、目、口、耳、鼻等であるが、生物学的な特徴を利用して本人を確認することができるものであれば、顔のいかなる部位であってもよい。ここでは、前記部位が目及び口であるものとして説明する。
ここで、前記特徴量選択部１１は、特徴量を抽出する対象となる顔の部位を利用者１９が状況に応じて選択する手段であり、例えば、利用者１９がマスクを掛けている場合には目の特徴量を重視し、そうではない場合、すなわち、マスクを掛けていない場合には目及び口の特徴量を利用するように選択することができる。
また、前記画像入力部１２は、利用者１９の顔画像を撮影するための撮影手段としてのカメラ２１と、有線又は無線のネットワークを介して通信可能に接続され、前記カメラ２１から利用者１９の顔画像を取得する。なお、該顔画像はデジタルの画像データであることが望ましい。また、前記ネットワークは、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）ケーブル等の通信ケーブルであってもよいし、電話回線網、インターネット、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、ＷＡＮ（Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋ）等の通信回線網であってもよい。
さらに、前記認識結果出力部１７は、スピーカ２２及びモニタ２３と有線又は無線のネットワークを介して通信可能に接続され、認識結果を前記スピーカ２２又はモニタ２３に出力するためのメッセージや画像を作成する。ここで、前記スピーカ２２は、いかなる形態のものであってもよいし、いかなる場所に配設されたものであってもよい。例えば、特定の建物や該建物内の特定の場所の入口に配設されたインターホン等のスピーカであってもよいし、自動取引装置に内蔵された内蔵型スピーカであってもよいし、パーソナルコンピュータ等に接続されたスピーカであってもよいし、ノートブック型パーソナルコンピュータ、ＰＤＡ、電子手帳、携帯電話機、ＰＨＳ電話機等に内蔵されたスピーカであってもよい。
また、前記モニタ２３は、ＣＲＴ、液晶ディスプレイ、ＬＥＤ（Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）ディスプレイ等の表示手段を備えるものであり、いかなる形態のものであってもよいし、いかなる場所に配設されたものであってもよい。例えば、特定の建物や該建物内の特定の場所の入口に配設されたモニタであってもよいし、自動取引装置の表示手段であってもよいし、パーソナルコンピュータ等に接続されたモニタであってもよいし、ノートブック型パーソナルコンピュータ、ＰＤＡ、電子手帳、携帯電話機、ＰＨＳ電話機等が備えるモニタであってもよい。
さらに、前記ネットワークは、ＵＳＢケーブル等の通信ケーブルであってもよいし、電話回線網、インターネット、ＬＡＮ、ＷＡＮ等の通信回線網であってもよい。
また、前記顔認識システム１０は、ＣＰＵ、ＭＰＵ等の演算手段、磁気ディスク、半導体メモリ等の記憶手段、入出力インターフェイス等を備えるものであれば、いかなる種類のコンピュータに組み込まれたものであってもよく、例えば、パーソナルコンピュータに組み込まれたものであってよいし、サーバに組み込まれたものであってもよいし、複数台のコンピュータをネットワークによって接続したコンピュータネットワークに組み込まれたものであってもよい。
次に、前記構成の顔認識システム１０の動作について説明する。
図２は本発明の第１の実施の形態における特徴量選択画面の例を示す図、図３は本発明の第１の実施の形態における顔位置検出処理の動作を示すフローチャート、図４は本発明の第１の実施の形態における特徴量抽出処理の動作を示すフローチャートである。
まず、利用者１９は、特徴量選択部１１によって、特徴量を抽出する対象となる顔の部位をどこにするか、すなわち、顔の特徴量として顔のどの部位を重視するかを選択する。この場合、顔認識システム１０は、例えば、図２に示されるような特徴量選択画面をモニタ２３に表示させ、マスクを掛けているか否かを利用者１９に選択させる。そして、マスクを掛けていることが選択された場合には、顔の特徴量として目の特徴量を利用することが選択されたものとする。また、マスクを掛けていないことが選択された場合には、目と口の特徴量を利用することが選択されたものとする。
なお、同様にして、眼帯を着けているか否かを利用者１９に選択させることもできる。そして、眼帯を着けていることが選択された場合には、顔の特徴量として口の特徴量を利用することが選択されたものとする。また、眼帯を着けていないことが選択された場合には、目と口の特徴量を利用することが選択されたものとする。さらに、同様にして、髪型が大きく変化したか否かを利用者１９に選択させることもできる。
続いて、画像入力部１２は、カメラ２１が撮影した利用者１９の顔画像を１フレーム毎に取得する。
続いて、顔位置検出部１３は、前記画像入力部１２が取得した顔画像から、顔の各部位の位置を検出する。この場合、特徴量選択部１１によって選択された部位の位置のみを検出する。例えば、目及び口のそれぞれに対して、特徴量を利用する場合にはそれぞれの位置を順に検出する。まず、目の特徴量を利用することが選択されたか否かを判断し、選択された場合には目の位置を検出する。また、選択されていない場合には目の位置を検出しない。続いて、口の特徴量を利用することが選択されたか否かを判断し、選択された場合には口の位置を検出する。また、選択されていない場合には口の位置を検出しない。
なお、顔の各部位を検出する方法としては、例えば、肌色で顔の大まかな位置を求めた後、低周波フィルタによるフィルタリング結果の射影ヒストグラム及びテンプレートマッチングによって各部位の位置を求める方法が、顔部品探索方法として知られている（例えば、特許文献２参照。）ので、ここでは、説明を省略する。
［特許文献２］特開２００３−２８１５３９号公報
続いて、特徴量抽出部１４は、顔認識に用いる特徴量を抽出する。この際、特徴量選択部１１によって選択された部位のみを対象として特徴量を抽出する。例えば、選択された目又は口を対象として、特徴量を抽出する。顔認識に用いる特徴量としては、例えば、目、鼻、口に対して数種類のガボールフィルタを使用してフィルタリングする方法が知られている（例えば、非特許文献１参照。）ので、ここでは、説明を省略する。
［非特許文献１］「特徴点自動抽出を用いたガボール変換による顔認識」吉田、呉、塩山、電子情報通信学会技術研究報告ＰＲＭＵ２００１−２０２
なお、データベース１５には、１人以上の登録人物の顔の特徴量が保存されており、各登録人物の顔画像から抽出した顔のすべての部位（例えば、目、口、耳、鼻等）の特徴量が保存されている。
続いて、認識部１６は、前記特徴量抽出部１４が利用者１９の顔画像から抽出した特徴量と、データベース１５に保存されている登録人物の顔の特徴量とを比較して、顔認識を行う。この場合、前記認識部１６は、特徴量選択部１１によって選択された部位（例えば、目又は口）に関して、利用者１９の顔画像から抽出した特徴量と、登録人物の特徴量とを比較し、認識スコアを算出する。なお、該認識スコアを算出する場合のパターンマッチング方法としては、例えば、正規化した相互相関（例えば、非特許文献２参照。）を使用する方法が知られているので、ここでは、説明を省略する。
［非特許文献２］「画像の処理と認識」安居院、長尾
ここで、前記認識スコアは各登録人物の特徴量に対して算出される。そして、前記認識スコアが最大で、かつ、所定閾（しきい）値を超える場合、前記認識部１６は、該当する登録人物が前記利用者１９であると判断する。すなわち、該利用者１９は、前記登録人物と同一人物であり、顔認識に成功したと判断する。また、それ以外の場合、前記認識部１６は、顔認識に失敗したと判断する。
そして、認識結果出力部１７は、前記認識部１６の認識結果、すなわち、利用者１９の顔認識に成功したか又は失敗したかを、スピーカ２２及びモニタ２３から、音声又は画像によって出力する。これにより、認識結果が利用者１９に伝えられる。
次に、図３に示されるフローチャートについて説明する。
ステップＳ１ 目の特徴量を利用することが選択されたか否かを判断する。目の特徴量を利用することが選択された場合はステップＳ２に進み、目の特徴量を利用することが選択されていない場合はステップＳ３に進む。
ステップＳ２ 目の位置を検出する。
ステップＳ３ 口の特徴量を利用することが選択されたか否かを判断する。口の特徴量を利用することが選択された場合はステップＳ４に進み、口の特徴量を利用することが選択されていない場合は処理を終了する。
ステップＳ４ 口の位置を検出して、処理を終了する。
次に、図４に示されるフローチャートについて説明する。
ステップＳ１１ 目の特徴量を利用することが選択されたか否かを判断する。目の特徴量を利用することが選択された場合はステップＳ１２に進み、目の特徴量を利用することが選択されていない場合はステップＳ１３に進む。
ステップＳ１２ 目の特徴量を抽出する。
ステップＳ１３ 口の特徴量を利用することが選択されたか否かを判断する。口の特徴量を利用することが選択された場合はステップＳ１４に進み、口の特徴量を利用することが選択されていない場合は処理を終了する。
ステップＳ１４ 口の特徴量を抽出して、処理を終了する。
このように、本実施の形態においては、利用者１９が自分の状態に合わせて、顔の特徴量として顔のどの部位を重視するかを選択して、特徴量の設定を意図的に行うことができる。これにより、マスクを掛けた状態、眼帯を着けている状態、髪型が登録時と大きく変化した状態等でも利用者１９の顔認識を適切に行うことができる。そのため、認証時にマスクや眼帯を取り外すことが不要となり、利用者１９の負担を軽減させることができる。
次に、本発明の第２の実施の形態について説明する。なお、第１の実施の形態と同じ構造を有するものについては、同じ符号を付与することによってその説明を省略する。また、前記第１の実施の形態と同じ動作及び同じ効果についても、その説明を省略する。
図５は本発明の第２の実施の形態における顔認識システムの構成を示す図である。
図に示されるように、本実施の形態における顔認識システム１０は、画像入力部１２、顔位置検出部１３、特徴量抽出部１４、データベース１５、認識部１６、認識結果出力部１７及び利用者状態検出部１８を有する。なお、特徴量選択部１１は省略されている。そして、前記利用者状態検出部１８は、顔位置検出部１３によって検出された結果に基づいて利用者１９の状態を検出するものであり、例えば、利用者１９がマスクを掛けているか否かを判断する。なお、その他の点の構成については、前記第１の実施の形態と同様であるので説明を省略する。
次に、本実施の形態における顔認識システム１０の動作について説明する。
まず、画像入力部１２は、カメラ２１が撮影した利用者１９の顔画像を１フレーム毎に取得する。
続いて、顔位置検出部１３は、前記画像入力部１２が取得した顔画像から、顔の各部位の位置を検出する。
続いて、利用者状態検出部１８は、前記顔位置検出部１３が検出した顔の各部位の位置情報を利用して、前記利用者１９の状態を検出する。例えば、目の位置から口の位置を推定し、推定した口の位置付近を、あらかじめ登録データとして登録されている口のテンプレートとマッチングさせる。そして、推定した口の位置付近と口のテンプレートとの相互相関値が所定閾値以下の場合、前記利用者状態検出部１８は、マスクの影響によって口が見えていないと判断し、口の特徴量を顔認識に利用しないように選択する。
また、前記利用者状態検出部１８は、同様に、例えば、推定した目の位置付近を、あらかじめ登録データとして登録されている目のテンプレートとマッチングさせる。そして、推定した目の位置付近と目のテンプレートとの相互相関値が所定閾値以下の場合、利用者状態検出部１８は、眼帯や髪型の影響によって目が見えていないと判断し、目の特徴量を顔認識に利用しないように選択する。
続いて、特徴量抽出部１４は、顔認識に用いる特徴量を抽出する。この際、前記利用者状態検出部１８によって選択された部位のみを対象として特徴量を抽出する。
続いて、認識部１６は、前記特徴量抽出部１４が利用者１９の顔画像から抽出した特徴量と、データベース１５に保存されている登録人物の顔の特徴量とを比較して、顔認識を行う。
そして、認識結果出力部１７は、前記認識部１６の認識結果、すなわち、利用者１９の顔認識に成功したか又は失敗したかを、スピーカ２２及びモニタ２３から、音声又は画像によって出力する。これにより、認識結果が利用者１９に伝えられる。
このように、本実施の形態においては、利用者１９の状態に合わせて、顔の特徴量として顔のどの部位を重視するかを自動的に選択するようになっている。これにより、マスクを掛けた状態、眼帯を着けている状態、髪型が登録時と大きく変化した状態等でも利用者１９の顔認識を適切に行うことができる。そのため、認証時にマスクや眼帯を取り外すことが不要となり、利用者１９の負担を軽減させることができる。
なお、本発明は前記実施の形態に限定されるものではなく、本発明の趣旨に基づいて種々変形させることが可能であり、それらを本発明の範囲から排除するものではない。
本発明の第１の実施の形態における顔認識システムの構成を示す図である。 本発明の第１の実施の形態における特徴量選択画面の例を示す図である。 本発明の第１の実施の形態における顔位置検出処理の動作を示すフローチャートである。 本発明の第１の実施の形態における特徴量抽出処理の動作を示すフローチャートである。 本発明の第２の実施の形態における顔認識システムの構成を示す図である。
符号の説明
１０ 顔認識システム
１１ 特徴量選択部
１２ 画像入力部
１３ 顔位置検出部
１４ 特徴量抽出部
１５ データベース
１６ 認識部
１８ 利用者状態検出部
１９ 利用者

Claims (5)

  1. （ａ）利用者の顔画像を取得する画像入力部と、
    （ｂ）登録人物の顔の部位の特徴量を保存したデータベースと、
    （ｃ）前記利用者の顔画像から顔の部位の位置を検出する顔位置検出部と、
    （ｄ）顔の部位の特徴量を抽出する特徴量抽出部と、
    （ｅ）該特徴量抽出部が抽出した顔の部位の特徴量と、前記データベースに保存された登録人物の顔の部位の特徴量とを比較して、前記利用者を認識する認識部とを有する顔認識システムであって、
    （ｆ）特徴量を抽出する顔の部位を前記利用者が選択することを特徴とする顔認識システム。
  2. 前記顔位置検出部は、前記利用者が選択した顔の部位の位置のみを検出する請求項１に記載の顔認識システム。
  3. 前記利用者が操作して特徴量を抽出する顔の部位を選択する特徴量選択部を有する請求項１に記載の顔認識システム。
  4. （ａ）利用者の顔画像を取得する画像入力部と、
    （ｂ）登録人物の顔の部位の特徴量を保存したデータベースと、
    （ｃ）前記利用者の顔画像から顔の部位の位置を検出する顔位置検出部と、
    （ｄ）顔の部位の特徴量を抽出する特徴量抽出部と、
    （ｅ）該特徴量抽出部が抽出した顔の部位の特徴量と、前記データベースに保存された登録人物の顔の部位の特徴量とを比較して、前記利用者を認識する認識部とを有する顔認識システムであって、
    （ｆ）特徴量を抽出する顔の部位を前記利用者の状態に合わせて自動的に選択することを特徴とする顔認識システム。
  5. 前記利用者の顔画像を登録されたテンプレートとマッチングさせることによって、特徴量を抽出する顔の部位を選択する利用者状態検出部を有する請求項４に記載の顔認識システム。
JP2006079844A 2006-03-23 2006-03-23 顔認識システム Expired - Fee Related JP4862447B2 (ja)

Priority Applications (7)

Application Number Priority Date Filing Date Title
JP2006079844A JP4862447B2 (ja) 2006-03-23 2006-03-23 顔認識システム
TW096101788A TW200741562A (en) 2006-03-23 2007-01-17 Face recognition system
EP07707090A EP2026233A4 (en) 2006-03-23 2007-01-19 FACE RECOGNITION SYSTEM
CNA2007800098648A CN101405744A (zh) 2006-03-23 2007-01-19 脸部识别***
KR1020087025723A KR20090008256A (ko) 2006-03-23 2007-01-19 얼굴 인식 시스템
US12/225,423 US8340366B2 (en) 2006-03-23 2007-01-19 Face recognition system
PCT/JP2007/050802 WO2007108225A1 (ja) 2006-03-23 2007-01-19 顔認識システム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2006079844A JP4862447B2 (ja) 2006-03-23 2006-03-23 顔認識システム

Publications (2)

Publication Number Publication Date
JP2007257221A true JP2007257221A (ja) 2007-10-04
JP4862447B2 JP4862447B2 (ja) 2012-01-25

Family

ID=38522261

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006079844A Expired - Fee Related JP4862447B2 (ja) 2006-03-23 2006-03-23 顔認識システム

Country Status (7)

Country Link
US (1) US8340366B2 (ja)
EP (1) EP2026233A4 (ja)
JP (1) JP4862447B2 (ja)
KR (1) KR20090008256A (ja)
CN (1) CN101405744A (ja)
TW (1) TW200741562A (ja)
WO (1) WO2007108225A1 (ja)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2010035524A1 (ja) * 2008-09-23 2010-04-01 ブラザー工業株式会社 インターホンシステム
JP2010262392A (ja) * 2009-04-30 2010-11-18 Glory Ltd 画像処理装置、画像処理方法、及び同方法をコンピュータに実行させるプログラム
JP2016129008A (ja) * 2014-12-19 2016-07-14 タタ コンサルタンシー サービシズ リミテッドＴＡＴＡ Ｃｏｎｓｕｌｔａｎｃｙ Ｓｅｒｖｉｃｅｓ Ｌｉｍｉｔｅｄ 不正を検出するためのビデオ監視システムおよび方法
JPWO2014178241A1 (ja) * 2013-05-02 2017-02-23 コニカミノルタ株式会社 画像処理装置、画像処理方法および画像処理プログラム
CN108650408A (zh) * 2018-04-13 2018-10-12 维沃移动通信有限公司 一种屏幕解锁方法和移动终端
JP2021005197A (ja) * 2019-06-26 2021-01-14 日本電気株式会社 画像処理装置、判別方法、およびプログラム
US11250246B2 (en) 2017-11-27 2022-02-15 Mitsubishi Electric Corporation Expression recognition device

Families Citing this family (57)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100795160B1 (ko) * 2007-03-22 2008-01-16 주식회사 아트닉스 얼굴영역검출장치 및 검출방법
US8788977B2 (en) 2008-11-20 2014-07-22 Amazon Technologies, Inc. Movement recognition as input mechanism
US8401294B1 (en) * 2008-12-30 2013-03-19 Lucasfilm Entertainment Company Ltd. Pattern matching using convolution of mask image and search image
US20100278395A1 (en) * 2009-05-04 2010-11-04 Jonathan Yen Automatic backlit face detection
JP4844670B2 (ja) * 2009-11-13 2011-12-28 日本ビクター株式会社 映像処理装置および映像処理方法
US8725579B2 (en) * 2010-04-30 2014-05-13 Qualcomm Incorporated Device ID and financial information
US8522021B2 (en) 2010-04-30 2013-08-27 Hewlett-Packard Development Company, L.P. Communication channel of a device
US8878773B1 (en) * 2010-05-24 2014-11-04 Amazon Technologies, Inc. Determining relative motion as input
US8705813B2 (en) * 2010-06-21 2014-04-22 Canon Kabushiki Kaisha Identification device, identification method, and storage medium
TWI413004B (zh) * 2010-07-29 2013-10-21 Univ Nat Taiwan Science Tech 人臉特徵辨識方法及系統
CN102004899B (zh) * 2010-11-03 2012-09-26 无锡中星微电子有限公司 一种人脸认证***及方法
US8577092B2 (en) * 2010-11-11 2013-11-05 Lg Electronics Inc. Multimedia device, multiple image sensors having different types and method for controlling the same
JP2012169777A (ja) * 2011-02-10 2012-09-06 Sony Corp 情報処理装置、情報処理方法、およびプログラム
DE102011015730A1 (de) * 2011-03-31 2012-10-04 Land Rheinland-Pfalz, vertreten durch das Landeskriminalamt Rheinland-Pfalz Phantombilddatenbank (3D)
US9082235B2 (en) 2011-07-12 2015-07-14 Microsoft Technology Licensing, Llc Using facial data for device authentication or subject identification
US11914674B2 (en) 2011-09-24 2024-02-27 Z Advanced Computing, Inc. System and method for extremely efficient image and pattern recognition and artificial intelligence platform
US9916538B2 (en) 2012-09-15 2018-03-13 Z Advanced Computing, Inc. Method and system for feature detection
US8873813B2 (en) 2012-09-17 2014-10-28 Z Advanced Computing, Inc. Application of Z-webs and Z-factors to analytics, search engine, learning, recognition, natural language, and other utilities
US11074495B2 (en) 2013-02-28 2021-07-27 Z Advanced Computing, Inc. (Zac) System and method for extremely efficient image and pattern recognition and artificial intelligence platform
US11195057B2 (en) 2014-03-18 2021-12-07 Z Advanced Computing, Inc. System and method for extremely efficient image and pattern recognition and artificial intelligence platform
RU2543950C2 (ru) * 2011-12-28 2015-03-10 Кэнон Кабусики Кайся Устройство формирования изображения и способ управления указанным устройством
AU2013205535B2 (en) * 2012-05-02 2018-03-15 Samsung Electronics Co., Ltd. Apparatus and method of controlling mobile terminal based on analysis of user's face
JP5964190B2 (ja) * 2012-09-27 2016-08-03 京セラ株式会社 端末装置
TWI582708B (zh) * 2012-11-22 2017-05-11 緯創資通股份有限公司 臉部表情控制系統、表情控制之方法及其電腦系統
US9094576B1 (en) 2013-03-12 2015-07-28 Amazon Technologies, Inc. Rendered audiovisual communication
US9552421B2 (en) * 2013-03-15 2017-01-24 Microsoft Technology Licensing, Llc Simplified collaborative searching through pattern recognition
WO2014144408A2 (en) * 2013-03-15 2014-09-18 Nito, Inc. Systems, methods, and software for detecting an object in an image
KR102057947B1 (ko) * 2013-04-01 2019-12-20 삼성전자주식회사 사용자 인증을 수행하는 디스플레이 장치 및 그 사용자 인증 방법
US9405978B2 (en) 2013-06-10 2016-08-02 Globalfoundries Inc. Prioritization of facial recognition matches based on likely route
EP3016013A4 (en) * 2013-06-25 2016-10-26 Fujitsu Ltd INFORMATION PROCESSING DEVICE, TERMINAL DEVICE, INFORMATION PROCESSING PROGRAM, AND INFORMATION PROCESSING METHOD
US9892413B2 (en) 2013-09-05 2018-02-13 International Business Machines Corporation Multi factor authentication rule-based intelligent bank cards
US9829480B2 (en) 2013-09-26 2017-11-28 Alcohol Monitoring Systems, Inc. Remote breath alcohol monitor
EP3134847A1 (en) 2014-04-23 2017-03-01 Google, Inc. User interface control using gaze tracking
US10956493B2 (en) 2015-05-19 2021-03-23 Micro Focus Llc Database comparison operation to identify an object
CN109074484B (zh) * 2016-03-02 2022-03-01 蒂诺克股份有限公司 用于有效率的面部识别的***和方法
CN105631441A (zh) * 2016-03-03 2016-06-01 暨南大学 一种人脸识别方法
US10728694B2 (en) 2016-03-08 2020-07-28 Tinoq Inc. Systems and methods for a compound sensor system
CN112866575A (zh) 2016-03-30 2021-05-28 蒂诺克股份有限公司 用于用户检测和识别的***和方法
KR101760211B1 (ko) * 2016-04-04 2017-07-21 엔에이치엔엔터테인먼트 주식회사 안구 인식을 통해 보안이 강화된 인증 방법 및 시스템
US10282595B2 (en) 2016-06-24 2019-05-07 International Business Machines Corporation Facial recognition encode analysis
KR101810190B1 (ko) * 2016-07-14 2017-12-18 김용상 얼굴 인식을 이용한 사용자 인증 방법 및 그 장치
US20190034934A1 (en) 2017-07-28 2019-01-31 Alclear, Llc Biometric payment
JP6760318B2 (ja) * 2018-03-14 2020-09-23 オムロン株式会社 顔画像識別システム、識別器生成装置、識別装置、画像識別システム、及び識別システム
TWI687872B (zh) * 2018-03-31 2020-03-11 華南商業銀行股份有限公司 基於臉部辨識進行驗證的交易系統及其方法
TWI661398B (zh) * 2018-03-31 2019-06-01 華南商業銀行股份有限公司 基於臉部辨識進行驗證的交易系統及其方法
US11087121B2 (en) 2018-04-05 2021-08-10 West Virginia University High accuracy and volume facial recognition on mobile platforms
US11263418B2 (en) 2018-08-21 2022-03-01 Tinoq Inc. Systems and methods for member facial recognition based on context information
TWI676136B (zh) * 2018-08-31 2019-11-01 雲云科技股份有限公司 使用雙重分析之影像偵測方法以及影像偵測裝置
US10867460B1 (en) 2019-10-02 2020-12-15 Motorola Solutions, Inc. System and method to provide public safety access to an enterprise
KR102299080B1 (ko) 2019-12-24 2021-09-07 유한회사 하존솔루션 고객 이미지 인식 기반 샵앤샵 통합 운영 시스템
CN111462381A (zh) * 2020-04-01 2020-07-28 深圳深云智汇科技有限公司 基于人脸温度识别的门禁控制方法、电子装置及存储介质
US11328532B2 (en) * 2020-04-20 2022-05-10 Scott C Harris Mask aware biometric identification system
US11967173B1 (en) * 2020-05-19 2024-04-23 T Stamp Inc. Face cover-compatible biometrics and processes for generating and using same
CN111882692B (zh) * 2020-07-21 2023-04-18 苏州盖雅信息技术有限公司 一种智能移动考勤方法及装置
CN111986372A (zh) * 2020-08-21 2020-11-24 中南信息科技(深圳)有限公司 一种高精度人脸门禁识别装置
CN116457824A (zh) 2020-12-18 2023-07-18 富士通株式会社 认证方法、信息处理装置以及认证程序
WO2022213349A1 (zh) * 2021-04-09 2022-10-13 鸿富锦精密工业(武汉)有限公司 戴口罩人脸识别方法、装置、计算机存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003132339A (ja) * 2001-10-19 2003-05-09 Alpine Electronics Inc 顔画像認識装置および方法
JP2003331264A (ja) * 2002-05-13 2003-11-21 Nec Soft Ltd 顔画像照合システムおよび顔画像照合方法

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3279913B2 (ja) * 1996-03-18 2002-04-30 株式会社東芝 人物認証装置、特徴点抽出装置及び特徴点抽出方法
GB2343945B (en) 1998-11-18 2001-02-28 Sintec Company Ltd Method and apparatus for photographing/recognizing a face
JP2003050783A (ja) * 2001-05-30 2003-02-21 Fujitsu Ltd 複合認証システム
KR100456619B1 (ko) * 2001-12-05 2004-11-10 한국전자통신연구원 에스.브이.엠(ｓｖｍ)을 이용한 얼굴 등록/인증 시스템 및방법
JP2003281539A (ja) 2002-03-25 2003-10-03 Oki Electric Ind Co Ltd 顔部品探索装置および顔部品探索方法
KR100438841B1 (ko) * 2002-04-23 2004-07-05 삼성전자주식회사 이용자 검증 및 데이터 베이스 자동 갱신 방법, 및 이를이용한 얼굴 인식 시스템
JP2004118627A (ja) * 2002-09-27 2004-04-15 Toshiba Corp 人物認証装置および人物認証方法
US7440593B1 (en) * 2003-06-26 2008-10-21 Fotonation Vision Limited Method of improving orientation and color balance of digital images using face detection information
US20060146062A1 (en) * 2004-12-30 2006-07-06 Samsung Electronics Co., Ltd. Method and apparatus for constructing classifiers based on face texture information and method and apparatus for recognizing face using statistical features of face texture information
US20070052726A1 (en) * 2005-09-08 2007-03-08 David Wright Method and system for likeness reconstruction
JP4696857B2 (ja) * 2005-11-02 2011-06-08 オムロン株式会社 顔照合装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003132339A (ja) * 2001-10-19 2003-05-09 Alpine Electronics Inc 顔画像認識装置および方法
JP2003331264A (ja) * 2002-05-13 2003-11-21 Nec Soft Ltd 顔画像照合システムおよび顔画像照合方法

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2010035524A1 (ja) * 2008-09-23 2010-04-01 ブラザー工業株式会社 インターホンシステム
JP2010262392A (ja) * 2009-04-30 2010-11-18 Glory Ltd 画像処理装置、画像処理方法、及び同方法をコンピュータに実行させるプログラム
JPWO2014178241A1 (ja) * 2013-05-02 2017-02-23 コニカミノルタ株式会社 画像処理装置、画像処理方法および画像処理プログラム
JP2016129008A (ja) * 2014-12-19 2016-07-14 タタ コンサルタンシー サービシズ リミテッドＴＡＴＡ Ｃｏｎｓｕｌｔａｎｃｙ Ｓｅｒｖｉｃｅｓ Ｌｉｍｉｔｅｄ 不正を検出するためのビデオ監視システムおよび方法
US11250246B2 (en) 2017-11-27 2022-02-15 Mitsubishi Electric Corporation Expression recognition device
CN108650408A (zh) * 2018-04-13 2018-10-12 维沃移动通信有限公司 一种屏幕解锁方法和移动终端
JP2021005197A (ja) * 2019-06-26 2021-01-14 日本電気株式会社 画像処理装置、判別方法、およびプログラム
JP7302329B2 (ja) 2019-06-26 2023-07-04 日本電気株式会社 画像処理装置、人物判別方法、およびプログラム

Also Published As

Publication number Publication date
WO2007108225A1 (ja) 2007-09-27
EP2026233A4 (en) 2009-12-02
TW200741562A (en) 2007-11-01
EP2026233A1 (en) 2009-02-18
US8340366B2 (en) 2012-12-25
US20090110248A1 (en) 2009-04-30
CN101405744A (zh) 2009-04-08
KR20090008256A (ko) 2009-01-21
JP4862447B2 (ja) 2012-01-25

Similar Documents

Publication Publication Date Title
JP4862447B2 (ja) 顔認識システム
KR102299847B1 (ko) 얼굴 인증 방법 및 장치
JP6483485B2 (ja) 人物認証方法
US9922238B2 (en) Apparatuses, systems, and methods for confirming identity
US8810366B2 (en) Service providing device, service providing method, biometric information authentication server, biometric information authentication method, program, and service providing system
KR20200006987A (ko) 출입 제어 방법, 출입 제어 장치, 시스템 및 저장매체
US8422746B2 (en) Face authentication system and authentication method thereof
US11006864B2 (en) Face detection device, face detection system, and face detection method
US20120320181A1 (en) Apparatus and method for security using authentication of face
US20190286798A1 (en) User authentication method using face recognition and device therefor
JP2007135149A (ja) 移動携帯端末
KR20190136349A (ko) 3d 영상 기반의 얼굴 인증 방법 및 장치
JP5730044B2 (ja) 顔画像認証装置
JP2015138449A (ja) 個人認証装置、個人認証方法及びプログラム
WO2018061786A1 (ja) 生体認証装置
JP4899552B2 (ja) 認証装置、認証方法、認証プログラム、これを記録したコンピュータ読み取り可能な記録媒体
JP4992517B2 (ja) 顔照合装置
CN113177480A (zh) 基于人脸识别的金融业务处理方法、装置、设备及介质
US20220277311A1 (en) A transaction processing system and a transaction method based on facial recognition
WO2021166289A1 (ja) データ登録装置、生体認証装置、および記録媒体
JP2001005836A (ja) アイリス登録システム
KR20020032048A (ko) 얼굴 인식 보안방법
JP2018169943A (ja) 顔認証処理装置、顔認証処理方法及び顔認証処理システム
KR20210050649A (ko) 모바일 기기의 페이스 인증 방법
JP2022117025A (ja) 本人確認方法、プログラム、及び情報システム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20081118

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110726

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110915

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20111011

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20111024

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20141118

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 4862447

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees