JP2011203992A - 情報処理装置、情報処理方法、およびプログラム - Google Patents

情報処理装置、情報処理方法、およびプログラム Download PDF

Info

Publication number
JP2011203992A
JP2011203992A JP2010070495A JP2010070495A JP2011203992A JP 2011203992 A JP2011203992 A JP 2011203992A JP 2010070495 A JP2010070495 A JP 2010070495A JP 2010070495 A JP2010070495 A JP 2010070495A JP 2011203992 A JP2011203992 A JP 2011203992A
Authority
JP
Japan
Prior art keywords
feature amount
face
authentication
registrant
person
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
JP2010070495A
Other languages
English (en)
Inventor
Kiyoto Ichikawa
清人 市川
Kazumi Aoyama
一美 青山
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2010070495A priority Critical patent/JP2011203992A/ja
Priority to US13/019,524 priority patent/US8416998B2/en
Priority to CN2011100691294A priority patent/CN102201055A/zh
Publication of JP2011203992A publication Critical patent/JP2011203992A/ja
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31—User authentication
    • G06F21/32—User authentication using biometric data, e.g. fingerprints, iris scans or voiceprints
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/70—Protecting specific internal or peripheral components, in which the protection of a component leads to protection of the entire computer
    • G06F21/71—Protecting specific internal or peripheral components, in which the protection of a component leads to protection of the entire computer to assure secure computing or processing of information
    • G06F21/74—Protecting specific internal or peripheral components, in which the protection of a component leads to protection of the entire computer to assure secure computing or processing of information operating in dual or compartmented mode, i.e. at least one secure mode
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/70—Protecting specific internal or peripheral components, in which the protection of a component leads to protection of the entire computer
    • G06F21/82—Protecting input, output or interconnection devices
    • G06F21/83—Protecting input, output or interconnection devices input devices, e.g. keyboards, mice or controllers thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/70—Multimodal biometrics, e.g. combining information from different biometric modalities
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C9/00—Individual registration on entry or exit
    • G07C9/00174—Electronically operated locks; Circuits therefor; Nonmechanical keys therefor, e.g. passive or active electrical keys or other data carriers without mechanical keys
    • G07C9/00563—Electronically operated locks; Circuits therefor; Nonmechanical keys therefor, e.g. passive or active electrical keys or other data carriers without mechanical keys using personal physical data of the operator, e.g. finger prints, retinal images, voicepatterns
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C9/00—Individual registration on entry or exit
    • G07C9/30—Individual registration on entry or exit not involving the use of a pass
    • G07C9/32—Individual registration on entry or exit not involving the use of a pass in combination with an identity check
    • G07C9/37—Individual registration on entry or exit not involving the use of a pass in combination with an identity check using biometric data, e.g. fingerprints, iris scans or voice recognition
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L17/00—Speaker identification or verification techniques
    • G10L17/06—Decision making techniques; Pattern matching strategies
    • G10L17/10—Multimodal systems, i.e. based on the integration of multiple recognition engines or fusion of expert systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2221/00—Indexing scheme relating to security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F2221/21—Indexing scheme relating to G06F21/00 and subgroups addressing additional information or applications relating to security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F2221/2105—Dual mode as a secondary aspect
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2221/00—Indexing scheme relating to security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F2221/21—Indexing scheme relating to G06F21/00 and subgroups addressing additional information or applications relating to security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F2221/2147—Locking files
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/08—Network architectures or network communication protocols for network security for authentication of entities
    • H04L63/0861—Network architectures or network communication protocols for network security for authentication of entities using biometrical features, e.g. fingerprint, retina-scan

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • Human Computer Interaction (AREA)
  • Computer Security & Cryptography (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Game Theory and Decision Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Acoustics & Sound (AREA)
  • Business, Economics & Management (AREA)
  • Mathematical Physics (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Collating Specific Patterns (AREA)
  • Lock And Its Accessories (AREA)

Abstract

【課題】顔識別技術のみを利用した場合よりも高いセキュリティレベルを実現する。
【解決手段】この個人認証開錠装置１０は、認証対象者の顔を撮像して顔識別を行うとともに、認証対象者の唇の動きに基づいて発声されたパスワードを認識し、顔識別の結果とパスワードの認識結果に基づいて個人認証を行う。そして、個人認証開錠装置１０は、認証結果に従い、例えばセキュリティエリアに入場するためのドアを開錠したりする。なお、認証対象者は、実際に音声を発することなく無音の状態で、パスワードを発声しているときと同様に唇などを動かすようにするものとする。これにより、パスワードが聞かれてしまうことによって漏洩してしまう事態を抑止することができる。本発明は、例えば、個人認証装置に適用できる。
【選択図】図１

Description

本発明は、情報処理装置、情報処理方法、およびプログラムに関し、特に、顔識別とパスワード発話時の読唇による発話認識とを組み合わせることにより個人認証の精度を向上させるようにした情報処理装置、情報処理方法、およびプログラムに関する。
近年、画像認識技術が発達しており、その一分野である顔識別技術についても実用可能なレベルに到達しており、例えば、セキュリティエリアに入場するための鍵の開錠を制御するためなどの認証装置等に利用されている。
また、顔識別技術に加えて、例えば、暗証番号やパスワードなどを入力させたり、ＩＤカードによる認証を追加したり（例えば、特許文献１）、発声されたパスワードを音声認識しその真偽を判断する認証を追加したりする（例えば、特許文献２）ことによって、セキュリティレベルをより向上させる提案がなされている。
特開２００９−２５９２６９号公報 特開平９−１７９５８３号公報
上述したように、顔識別技術に加えて、他の認証技術（例えば、暗証番号やパスワードなどの入力、ＩＤカードの提示、パスワードの音声認識など）を利用することにより、セキュリティレベルを向上させることが可能である。
しかしながら、暗証番号やパスワードなどを入力させるためにはキーボード等の入力デバイスが必要になるし、ＩＤカードの提示を追加するには、そのために必要な読取装置などが必要となる。
また、発声されたパスワードを音声認識するには、マイクロホンなどの音声入力デバイスが必要となるだけでなく、その発話を聞かれてしまうことによるパスワードの漏洩が起こり得る。
本発明はこのような状況に鑑みてなされたものであり、撮像部以外の入力デバイスを必要とすることなく、顔識別技術のみを利用した場合よりも高いセキュリティレベルを実現できるようにするものである。
本発明の一側面である情報処理装置は、認証対象者を撮像して得られるビデオ信号に基づいて個人認証を行う情報処理装置において、前記認証対象者または登録者を撮像して前記ビデオ信号を生成する撮像手段と、登録モードにて、前記登録者を撮像して得られた前記ビデオ信号の画像上の前記登録者の顔の特徴量を算出する第１の特徴量算出手段と、登録モードにて、任意のパスワードを発声する前記登録者を撮像して得られた前記ビデオ信号の画像上の前記登録者の唇の時系列の特徴量を算出する第２の特徴量算出手段と、算出された前記登録者の前記顔の特徴量に、算出された前記任意のパスワードを発声したときの前記唇の時系列の特徴量を対応付けてデータベースに登録する登録手段と、認証モードにて、前記認証対象者を撮像して得られる前記ビデオ信号の画像上の顔の特徴量を算出し、前記データベースを参照して、前記認証対象者の顔を識別する識別手段と、認証モードにて、発声中の前記認証対象者を撮像して得られた前記ビデオ信号の画像上の前記認証対象者の唇の時系列の特徴量を算出し、前記データベースを参照して、前記認証対象者の発話内容を認識する認識手段と、前記認証対象者の顔の識別結果、および前記認証対象者の発話内容の認識結果に基づき、前記認証対象者の個人認証を行う認証手段とを含む。
前記認識手段は、算出した前記認証対象者の唇の時系列の特徴量が、前記データベースに登録済みの前記登録者が任意のパスワードを発声したときの前記唇の時系列の特徴量と一致するか否かに基づいて、前記認証対象者の発話内容を認識するようにすることができる。
前記認識手段は、さらに、認証モードにて、発声中の前記登録者を撮像して得られた前記ビデオ信号の画像上の前記登録者の唇の時系列の特徴量を算出し、前記データベースを参照して、前記登録者の発話内容を認識するようにすることができ、本発明の一側面である情報処理装置は、認識された前記登録者の発話内容に従い、前記認証モードから、前記登録モードに切り替えるモード切替手段をさらに含むことができる。
前記第１の特徴量算出手段は、登録モードにて、発声中の前記登録者を撮像して得られた前記ビデオ信号の画像上の前記登録者の顔の特徴量を算出し、前記識別手段は、認証モードにて、発声中の前記認証対象者を撮像して得られる前記ビデオ信号の画像上の顔の特徴量を算出し、前記データベースを参照して、前記認証対象者の顔を識別するようにすることができる。
本発明の一側面である情報処理方法は、認証対象者を撮像して得られるビデオ信号に基づいて個人認証を行う情報処理装置の情報処理方法において、前記情報処理装置による、登録モードにて、前記登録者を撮像して得られた前記ビデオ信号の画像上の前記登録者の顔の特徴量を算出する第１の特徴量算出ステップと、登録モードにて、任意のパスワードを発声する前記登録者を撮像して得られた前記ビデオ信号の画像上の前記登録者の唇の時系列の特徴量を算出する第２の特徴量算出ステップと、算出された前記登録者の前記顔の特徴量に、算出された前記任意のパスワードを発声したときの前記唇の時系列の特徴量を対応付けてデータベースに登録する登録ステップと、認証モードにて、前記認証対象者を撮像して得られる前記ビデオ信号の画像上の顔の特徴量を算出し、前記データベースを参照して、前記認証対象者の顔を識別する識別ステップと、認証モードにて、発声中の前記認証対象者を撮像して得られた前記ビデオ信号の画像上の前記認証対象者の唇の時系列の特徴量を算出し、前記データベースを参照して、前記認証対象者の発話内容を認識する認識ステップと、前記認証対象者の顔の識別結果、および前記認証対象者の発話内容の認識結果に基づき、前記認証対象者の個人認証を行う認証ステップとを含む。
本発明の一側面であるプログラムは、認証対象者を撮像して得られるビデオ信号に基づいて個人認証を行う情報処理装置の制御用のプログラムであって、登録モードにて、前記登録者を撮像して得られた前記ビデオ信号の画像上の前記登録者の顔の特徴量を算出する第１の特徴量算出ステップと、登録モードにて、任意のパスワードを発声する前記登録者を撮像して得られた前記ビデオ信号の画像上の前記登録者の唇の時系列の特徴量を算出する第２の特徴量算出ステップと、算出された前記登録者の前記顔の特徴量に、算出された前記任意のパスワードを発声したときの前記唇の時系列の特徴量を対応付けてデータベースに登録する登録ステップと、認証モードにて、前記認証対象者を撮像して得られる前記ビデオ信号の画像上の顔の特徴量を算出し、前記データベースを参照して、前記認証対象者の顔を識別する識別ステップと、認証モードにて、発声中の前記認証対象者を撮像して得られた前記ビデオ信号の画像上の前記認証対象者の唇の時系列の特徴量を算出し、前記データベースを参照して、前記認証対象者の発話内容を認識する認識ステップと、前記認証対象者の顔の識別結果、および前記認証対象者の発話内容の認識結果に基づき、前記認証対象者の個人認証を行う認証ステップとを含む処理を情報処理装置のコンピュータに実行させる。
本発明の一側面においては、登録モードにて、登録者を撮像して得られたビデオ信号の画像上の登録者の顔の特徴量が算出され、登録モードにて、任意のパスワードを発声する登録者を撮像して得られたビデオ信号の画像上の登録者の唇の時系列の特徴量が算出され、算出された登録者の顔の特徴量に、算出された任意のパスワードを発声したときの唇の時系列の特徴量が対応付けられてデータベースに登録される。また、認証モードにて、認証対象者を撮像して得られるビデオ信号の画像上の顔の特徴量が算出され、データベースが参照されて、認証対象者の顔が識別され、認証モードにて、発声中の認証対象者を撮像して得られたビデオ信号の画像上の認証対象者の唇の時系列の特徴量が算出され、データベースが参照されて、認証対象者の発話内容が認識される。そして、認証対象者の顔の識別結果、および認証対象者の発話内容の認識結果に基づき、認証対象者の個人認証が行われる。
本発明の一側面によれば、撮像部以外の入力デバイスを必要とすることなく、顔識別技術のみを利用した場合よりも高いセキュリティレベルを実現できる。
本発明を適用した個人認証開錠装置の構成例を示すブロック図である。 個人認証処理を説明するフローチャートである。 顔登録処理を説明するフローチャートである。 発話登録処理を説明するフローチャートである。 コンピュータの構成例を示すブロック図である。
以下、発明を実施するための最良の形態（以下、実施の形態と称する）について、図面を参照しながら詳細に説明する。
＜１．実施の形態＞
［個人認証開錠装置の構成例］
図１は、本発明の実施の形態である個人認証開錠装置の構成例を示している。この個人認証開錠装置１０は、認証対象者の顔を撮像して顔識別を行うとともに、認証対象者の唇の動きに基づいて発声されたパスワードを認識し、顔識別の結果とパスワードの認識結果に基づいて個人認証を行う。そして、個人認証開錠装置１０は、認証結果に従い、例えばセキュリティエリアに入場するためのドアを開錠したりする。
なお、認証対象者は、実際に音声を発することなく無音の状態で、パスワードを発声しているときと同様に唇などを動かすようにするものとする。これにより、パスワードが聞かれてしまうことによって漏洩してしまう事態を抑止することができる。
以下の説明において、発話とは、上述したように無音状態で唇を動かすことを指すものとする。なお、音声を発して発話した場合でもパスワードなどの認識は可能である。ただし、当然ながらその場合、発した音声を聞かれてしまうことによるパスワードの漏洩は抑止できない。
個人認証開錠装置１０は、制御部１１、撮像部１２、画像処理部１３、表示制御部１４、ディスプレイ１５、および開錠部１６から構成される。
制御部１１は、個人認証開錠装置１０の全体を制御する。特に、制御部１１は、画像処理部１３から入力される発話認識結果に基づいて、画像処理部１３の動作モード（登録モード、または認証モード）を設定する。また、制御部１１は、アラート表示のための画像信号を発生して表示制御部１４に出力し、ディスプレイ１５に表示させる。さらに、制御部１１は、画像処理部１３から入力される顔識別結果および発話内容に基づき、個人認証の成否を判断し、個人認証結果（成否）を開錠部１６に通知する。
なお、画像処理部１３の動作モード（登録モード、または認証モード）の切替をユーザが指示するためのスイッチなどを設け、当該スイッチに対するユーザの操作に従い、画像処理部１３の動作モードを設定するようにしてもよい。
撮像部１２は、動画像を撮像可能なデジタルビデオカメラなどからなり、パスワードを発声する認証対象者を撮像し、その結果得られるビデオ信号を画像処理部１３および表示制御部１４に出力する。
画像処理部１３は、顔領域検出部２１、顔登録部２２、発話登録部２３、特徴量データベース(DB)２４、および顔識別・発話認識部２５から構成される。画像処理部１３は、登録モード、または認証モードの状態で動作する。
顔領域検出部２１は、撮像部１２から入力されるビデオ信号の映像から認証対象者の顔を含む領域（顔領域）を検出する。そして、顔領域検出部２１は、登録モードにおいては、検出した顔領域を顔登録部２２および発話登録部２３に出力し、認証モードにおいては、顔識別・発話認識部２５に出力する。また、顔領域検出部２１は、撮像部１２から入力されるビデオ信号の映像から人の顔を検出できない場合、または複数の顔を検出した場合、その旨を制御部１１に通知する。
顔登録部２２は、登録モードにおいて、顔領域検出部２１から入力される顔領域に基づき、その特徴量を算出して特徴量ＤＢ２４に登録する。顔の特徴量を算出する方法としては、既存の任意の方法を適用することができる。その一例としては、例えば、本出願人が提案済みの方法（特開２００９−５３９１６公報として公開済み）を挙げることができる。具体的には、要するに、予めＸ人の顔画像を用意して所定の手法によりそれぞれの特徴量を算出しておき、登録者の顔に対しては、Ｘ人の顔それぞれに対してどの程度似ているかを示す値を算出することにより、Ｘ次元の特徴量を算出するようにしている。さらに、このＸ次元の特徴量を、より少ない次元に圧縮する手法も存在する。
発話登録部２３は、顔領域検出部２１から入力される顔領域に基づき、パスワードを発声しているときの唇を検出し、その動きの特徴量（時系列の特徴量）を算出し、顔の特徴量と対応付けて特徴量ＤＢ２４に登録する。唇の動きの特徴量を算出する方法としては、既存の任意の方法を適用することができる。その一例としては、例えば、本出願人が提案済みの方法（特願２００９−１５４９２４）を挙げることができる。具体的には、要するに、発声される音と唇の形（口形素）との対応を学習しておき、登録者がパスワードを発声したときの唇の動きの特徴量を、口形素の時系列変化として得るようにしている。
特徴量ＤＢ２４には、登録された認証対象者の顔の特徴量と、それに対応付けて発話者（登録された認証対象者）がパスワードを発話中の唇の時系列の特徴量が登録される。また、特徴量ＤＢ２４には、予め学習により得られている、不特定の話者が登録を指示するためのコマンド（「登録」、「顔登録」、または「パスワード登録」）を発声したときの唇の時系列の特徴量が予め登録されているものとする。
顔識別・発話認識部２５は、認証モードにおいて、顔登録部２２と同様に、顔領域検出部２１から入力される顔領域に基づき、その特徴量を算出し、特徴量ＤＢ２４を参照することにより、認証対象者の顔が登録済みであるか否かを判定する。また、顔識別・発話認識部２５は、認証モードにおいて、発話登録部２３と同様に、顔領域検出部２１から入力される顔領域のうちの唇の動きに基づき、認証対象者が発声しているときの唇の時系列の特徴量を算出し、特徴量ＤＢ２４を参照することにより発話内容を認識する。そして、顔識別・発話認識部２５は、顔識別結果および発話認識結果（発話内容）を制御部１１に通知する。
表示制御部１４は、撮像部１２から入力されるビデオ信号に、制御部１１から適宜入力されるアラート表示のための画像信号を重畳してディスプレイ１５に供給する。ディスプレイ１５は、表示制御部１４から入力されるビデオ信号に基づく映像を表示する。認証対象者は、ディスプレイ１５に表示される自身の顔をみることによりその位置を調整しつつ、所定のコマンドまたはパスワードを発声することになる。
開錠部１６は、制御部１１から個人認証の成功が通知された場合、例えばセキュリティエリアのドアの鍵などを開錠する。
［動作説明］
次に、個人認証開錠装置１０の動作について、例えば、認証対象者が自身の顔とパスワードを登録した後、改めて自身の認証を受けて鍵を開錠させる場合について説明する。図２は、個人認証開錠装置１０による個人認証処理を説明するフローチャートである。
この個人認証処理は、個人認証開錠装置１０の電源がオンとされたときに開始され、その後、電源がオフとされるまで継続して実行される。
ステップＳ１において、制御部１１は、画像処理部１３を認証モードに設定する。撮像部１２は、撮像を開始し、その結果得られるビデオ信号を画像処理部１３および表示制御部１４に出力する。表示制御部１４は、撮像部１２から入力されたビデオ信号の映像をディスプレイ１５に表示させる。顔領域検出部２１は、撮像部１２から継続的に入力されているビデオ信号を監視し、その映像から人物（認証対象者）の顔を１つだけ検出したか否かを判定する。
ステップＳ１で、人物の顔が検出されない場合、または複数の顔が検出された場合、処理はステップＳ２に進められる。ステップＳ２において、制御部１１は、例えば「１人だけ写るようにしてください」などのアラート表示の画像信号を発生して表示制御部１４に出力する。表示制御部１４は、このアラート表示を撮像部１２からのビデオ信号に重畳し、その映像をディスプレイ１５に表示させる。
ここで、撮像部１２の撮像範囲に未登録の認証対象者が入ると、その顔が検出されることによって、処理はステップＳ１からステップＳ３に進められる。
ステップＳ３において、顔領域検出部２１は、撮像部１２からのビデオ信号から検出した認証対象者の顔領域を顔識別・発話認識部２５に出力する。顔識別・発話認識部２５は、顔領域のうちの唇の時系列の特徴量を算出し、特徴量ＤＢ２４を参照することにより発話内容を認識する。ただし、この段階での発話内容の認識は、登録を指示するためのコマンド（「登録」、「顔登録」、または「パスワード登録」）、またはそれ以外であるかが判定できる程度の精度でよい（後述するステップＳ５の発話認識よりも低い精度でもよい）。そして、顔識別・発話認識部２５は、発話認識結果（発話内容）を制御部１１に通知する。
ステップＳ４において、制御部１１は、認証対象者の発話内容が、登録を指示するためのコマンド（「登録」、「顔登録」、または「パスワード登録」）であるか否かを判定する。登録を指示するためのコマンドであると判定された場合、処理はステップＳ９に進められる。反対に、否と判定された場合には、処理がステップＳ５に進められる。
いまの場合、認証対象者はコマンドやパスワードを発声していないので、処理はステップＳ５に進められる。
ステップＳ５において、顔識別・発話認識部２５は、顔領域検出部２１から入力されている顔領域の特徴量を算出し、特徴量ＤＢ２４を参照することにより、認証対象者の顔が登録済みであるか否かを判定する。なお、顔領域の特徴量は、動画像の１フレームから算出してもよいし、または数フレームから時系列の特徴量として算出するようにしてもよい。
さらに、顔識別・発話認識部２５は、顔領域のうちの唇の時系列の特徴量を算出し、特徴量ＤＢ２４を参照することにより、顔識別結果の顔に対応付けられているものと一致するか（その差異が所定の閾値以下であるか）否かを判定する。すなわち、発話されたパスワードが、登録済みの顔に対応付けられたパスワードと一致するか否かを判定する。そして、顔識別・発話認識部２５は、顔識別結果および発話認識結果（いまの場合、パスワードと一致するか否かの情報）を制御部１１に通知する。
ステップＳ６において、制御部１１は、顔識別・発話認識部２５から通知された顔識別結果および発話認識結果を統合し、ステップＳ７において、個人認証が成功したか否かを判断する。具体的には、顔識別結果にて登録済み顔であると判定され、且つ、発話認識結果が登録済みの顔に対応してするパスワードと一致する場合のみ、個人認証が成功したと判断して処理をステップＳ１８に進め、それ以外の場合、処理をステップＳ８に進める。
いまの場合、認証対象者は未登録であり、または発話内容も不明（発話していない）ので、個人認証は失敗したと判断されて、処理はステップＳ８に進められる。ステップＳ８において、制御部１１は、例えば「個人認証失敗」などのアラート表示の画像信号を発生して表示制御部１４に出力する。表示制御部１４は、このアラート表示を撮像部１２からのビデオ信号に重畳し、その映像をディスプレイ１５に表示させる。この後、処理はステップＳ１に戻されて、それ以降が繰り返される。
再びステップＳ１において、認証対象者が撮像範囲から移動していなければ、処理はステップＳ３に進められる。ここで、未登録の認証対象者が、登録を指示するためのコマンド（例えば、「顔登録」）を発声すると、その発話内容が認識される。そして、ステップＳ４において、処理がステップＳ９に進められる。
ステップＳ９において、制御部１１は、画像処理部１１を登録モードに設定する。さらに、制御部１１は、認識対象者（すなわち、登録者）の発話内容が「顔登録」であるか否かを判定し、「顔登録」である場合、処理をステップＳ１０に進める。なお、登録者の発話内容が「顔登録」ではない場合、処理はステップＳ１２に進められる。
いまの場合、発話内容は「顔登録」であると認識されているはずなので、処理はステップＳ１０に進められる。
ステップＳ１０において、顔領域検出部２１は、撮像部１２からのビデオ信号から検出した認証対象者の顔領域を顔登録部２２に出力する。顔登録部２２は、顔領域検出部２１から入力された顔領域に基づき、その特徴量を算出する。このとき、例えば「メガネを外してください」、「正面（または右側、左側など）を向いてください」などのアラート表示をディスプレイ１５に表示させるようにしてもよい。ステップＳ１１において、顔登録部２２は、算出した顔の特徴量を特徴量ＤＢ２４に登録させる。
ステップＳ１０およびＳ１１における処理（以下、顔登録処理）について詳述する。図３は、顔登録処理を説明するフローチャートである。
顔登録部２２は、ステップＳ３１において、顔領域検出部２１から入力された顔領域から顔の各パーツ（眉毛、目、鼻、口など）を検出する。次に、ステップＳ３２において、検出された各パーツの位置に基づいて、顔全体の位置や向きを調整する。ステップＳ３３においては、位置や向きを調整した顔全体を含むように改めて顔領域を切り出し、ステップＳ３４において、その特徴量を計算して特徴量ＤＢ２４に出力する。ステップＳ３５において、特徴量ＤＢ２４は、顔登録部２２から入力された顔の特徴量を登録する。
上述したようにして顔（の特徴量）の登録を終えた後、例えば「顔登録終了」などのアラート表示をディスプレイ１５に表示させるようにして、処理は図２のステップＳ１に戻される。
再びステップＳ１において、認証対象者が撮像範囲から移動していなければ、処理はステップＳ３に進められる。ここで、顔のみ登録済みの認証対象者（登録者）が、パスワードの登録を指示するためのコマンド「パスワード登録」を発声すると、その発話内容が認識される。そして、ステップＳ４において、処理がステップＳ９に進められる。
ステップＳ９では、いまの場合、登録者の発話内容が「顔登録」ではないので、処理はステップＳ１２に進められる。
ステップＳ１２において、制御部１１は、登録者の発話内容が「パスワード登録」であるか否かを判定し、「パスワード登録」である場合、処理をステップＳ１３に進める。なお、登録者の発話内容が「パスワード登録」ではない場合、すわなち、発話内容が「登録」である場合、処理はステップＳ１６に進められる。
いまの場合、発話内容は「パスワード登録」であると認識されているはずなので、処理はステップＳ１３に進められる。
ステップＳ１３において、制御部１１は、例えば「登録するパスワードを話してください」などのアラート表示をディスプレイ１５に表示させる。これに応じて認証対象者が任意のパスワードを発声すると、その映像が撮像されて顔領域が発話登録部２３に入力される。
ステップＳ１４において、発話登録部２３は、入力されている顔領域に基づき、認証対象者がパスワードを発声しているときの唇を検出し、その動きの特徴量（時系列の特徴量）を算出する。さらに、ステップＳ１５において、算出した唇の動きの特徴量を、ステップＳ１１で登録した登録者の顔の特徴量と対応付けて特徴量ＤＢ２４に登録させる。
ステップＳ１４およびＳ１５における処理（以下、発話登録処理）について詳述する。図４は、発話登録処理を説明するフローチャートである。
発話登録部２３は、ステップＳ４１において、顔領域検出部２１から入力された顔領域から唇を含む唇領域を検出し、ステップＳ４２において、顔領域から唇領域を切り出す。さらに、ステップＳ４３において、時系列の唇領域のうち、唇が動いている発話区間を切り出して、ステップＳ４４において、発話区間の唇領域について、その特徴量を計算して特徴量ＤＢ２４に出力する。ステップＳ４５において、特徴量ＤＢ２４は、発話登録部２３から入力された唇の時系列の特徴量を、ステップＳ１１で登録した顔の特徴量と対応付けて登録する。
上述したようにしてパスワード（の時系列の特徴量）の登録を終えた後、例えば「パスワード登録終了」などのアラート表示をディスプレイ１５に表示させるようにして、処理は図２のステップＳ１に戻される。
これ以降、当該認証対象者は顔とパスワードが登録済みであるので、正しいパスワードを発声することによって個人認証を成功させることができる。
なお、上述した例では、顔登録とパスワード登録とを分けて登録する場合を例に説明したが、顔登録とパスワード登録とを一括して行うことも可能である。その場合、ステップＳ３の段階で、認証対象者が登録を指示するためのコマンドとして「登録」を発声すればよい。これにより、処理はステップＳ４，Ｓ９，Ｓ１２，Ｓ１６の順に進められて、ステップＳ１６およびＳ１７において、上述した顔登録処理とパスワード登録処理が連続的に行われる、または一括して行われる。
ただし、ステップＳ１６およびＳ１７において、顔登録処理とパスワード登録処理とが一括して行われる場合には、パスワードを発声しているとき、すなわち、唇を動かしているときの顔の特徴量が算出される。このように、唇を動かしているときの顔の特徴量は、発声してないときの顔の特徴量に比較して、認証対象者の特徴をより個性的に表していると考えられる。したがって、顔登録処理だけを行った場合に比較して、顔登録処理とパスワード登録処理とを一括して行った方が、個人認証の精度をより上げることができると考えられる。
再び、ステップＳ１に戻り、顔とパスワードが登録済みである当該認証対象者が撮像部１２の撮像範囲で、正しいパスワードを発声すると、処理はステップＳ１，Ｓ４，Ｓ５の順に進められる。
ステップＳ５では、認証対象者の顔の特徴量が算出されて登録済みであるか否かが判定される。いまの場合、登録済みと判定される。また、発話内容（パスワード）の時系列の特徴量が算出されて、登録済みの顔と対応付けて登録済みのものと一致するか否かが判定される。いまの場合、一致すると判定される。
ステップＳ６では、いまの場合、顔識別結果にて登録の人物であると判定され、且つ、発話認識結果が登録済みの人物に対応するパスワードと一致すると判定されているので、個人認証が成功したと判断されて、処理はステップＳ１８に進められる。
ステップＳ１８において、制御部１１は、個人認証が成功した旨を開錠部１６に通知する。これに応じて、開錠部１６は、例えばセキュリティエリアのドアの鍵などを開錠する。以上で、個人認証処理は一旦終了される。
以上に説明した個人認証処理によれば、撮像部１２以外の入力デバイスを必要とすることなく、顔識別だけを行う場合に比較して高い精度で個人認証を行うことができる。
これにより、認証対象者は、両手で荷物を持っている場合などでも顔さえ写る様にすれば、個人認証を受けることができる。
また、パスワード発声時の唇の時系列の特徴量を、発話者の顔の特徴量に対応付けているので、単にパスワードを文字列として認識しその一致を判定する場合に比較して、より高い精度で個人認証を行うことができる。
さらに、パスワードを発声する際、実際には音声を発することなく無音で行うようにしているので、盗聴などによるパスワードの漏洩を抑止することができる。これに加えて、雑音環境下においても、発話によるパスワード入力が可能となる。
またさらに、認証対象者（登録者）は任意の言葉、さらには文字列によって表記できないような音声であってもパスワードとして登録することができる。
ただし、上述した説明によれば、登録を指示するためのコマンドを知っていれば、誰でもが自身の顔とパスワードを登録できてしまう。そこで、例えば、管理者の顔の特徴量と、当該管理者が登録を指示するためのコマンドを発声したときの唇の動きの時系列の特徴量とを対応付けて登録しておくようにする。そして、登録時にのみ、管理者が登録を指示するためのコマンドを発話した後、認証対象者（登録者）が顔とパスワードとを登録するようにしてもよい。
なお、本発明は、本実施の形態のように鍵を開錠する装置のみならず、個人認証の成否に従って所定の処理を実行するあらゆる装置に適用することができる。
ところで、上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、プログラム記録媒体からインストールされる。
図５は、上述した一連の処理をプログラムにより実行するコンピュータのハードウェアの構成例を示すブロック図である。
このコンピュータ１００において、CPU（Central Processing Unit）１０１，ROM（Read Only Memory）１０２，RAM（Random Access Memory）１０３は、バス１０４により相互に接続されている。
バス１０４には、さらに、入出力インタフェース１０５が接続されている。入出力インタフェース１０５には、キーボード、マウス、マイクロホンなどよりなる入力部１０６、ディスプレイ、スピーカなどよりなる出力部１０７、ハードディスクや不揮発性のメモリなどよりなる記憶部１０８、ネットワークインタフェースなどよりなる通信部１０９、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア１１１を駆動するドライブ１１０が接続されている。
以上のように構成されるコンピュータ１００では、CPU１０１が、例えば、記憶部１０８に記憶されているプログラムを、入出力インタフェース１０５およびバス１０４を介して、RAM１０３にロードして実行することにより、上述した一連の処理が行われる。
なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであってもよいし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであってもよい。
また、プログラムは、１台のコンピュータにより処理されるものであってもよいし、複数のコンピュータによって分散処理されるものであってもよい。さらに、プログラムは、遠方のコンピュータに転送されて実行されるものであってもよい。
なお、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。
１０ 個人認証開錠装置， １１ 制御部， １２ 撮像部， １３ 画像処理部， １４ 表示制御部， １５ ディスプレイ， １６ 開錠部， ２１ 顔領域検出部， ２２ 顔登録部， ２３ 発話登録部， ２４ 顔識別・発話認識部， ２５ 特徴量ＤＢ， １００ コンピュータ， １０１ CPU

Claims (6)

  1. 認証対象者を撮像して得られるビデオ信号に基づいて個人認証を行う情報処理装置において、
    前記認証対象者または登録者を撮像して前記ビデオ信号を生成する撮像手段と、
    登録モードにて、前記登録者を撮像して得られた前記ビデオ信号の画像上の前記登録者の顔の特徴量を算出する第１の特徴量算出手段と、
    登録モードにて、任意のパスワードを発声する前記登録者を撮像して得られた前記ビデオ信号の画像上の前記登録者の唇の時系列の特徴量を算出する第２の特徴量算出手段と、
    算出された前記登録者の前記顔の特徴量に、算出された前記任意のパスワードを発声したときの前記唇の時系列の特徴量を対応付けてデータベースに登録する登録手段と、
    認証モードにて、前記認証対象者を撮像して得られる前記ビデオ信号の画像上の顔の特徴量を算出し、前記データベースを参照して、前記認証対象者の顔を識別する識別手段と、
    認証モードにて、発声中の前記認証対象者を撮像して得られた前記ビデオ信号の画像上の前記認証対象者の唇の時系列の特徴量を算出し、前記データベースを参照して、前記認証対象者の発話内容を認識する認識手段と、
    前記認証対象者の顔の識別結果、および前記認証対象者の発話内容の認識結果に基づき、前記認証対象者の個人認証を行う認証手段と
    を含む情報処理装置。
  2. 前記認識手段は、算出した前記認証対象者の唇の時系列の特徴量が、前記データベースに登録済みの前記登録者が任意のパスワードを発声したときの前記唇の時系列の特徴量と一致するか否かに基づいて、前記認証対象者の発話内容を認識する
    請求項１に記載の情報処理装置。
  3. 前記認識手段は、さらに、認証モードにて、発声中の前記登録者を撮像して得られた前記ビデオ信号の画像上の前記登録者の唇の時系列の特徴量を算出し、前記データベースを参照して、前記登録者の発話内容を認識し、
    認識された前記登録者の発話内容に従い、前記認証モードから、前記登録モードに切り替えるモード切替手段を
    さらに含む請求項２に記載の情報処理装置。
  4. 前記第１の特徴量算出手段は、登録モードにて、発声中の前記登録者を撮像して得られた前記ビデオ信号の画像上の前記登録者の顔の特徴量を算出し、
    前記識別手段は、認証モードにて、発声中の前記認証対象者を撮像して得られる前記ビデオ信号の画像上の顔の特徴量を算出し、前記データベースを参照して、前記認証対象者の顔を識別する
    請求項２に記載の情報処理装置。
  5. 認証対象者を撮像して得られるビデオ信号に基づいて個人認証を行う情報処理装置の情報処理方法において、
    前記情報処理装置による、
    登録モードにて、前記登録者を撮像して得られた前記ビデオ信号の画像上の前記登録者の顔の特徴量を算出する第１の特徴量算出ステップと、
    登録モードにて、任意のパスワードを発声する前記登録者を撮像して得られた前記ビデオ信号の画像上の前記登録者の唇の時系列の特徴量を算出する第２の特徴量算出ステップと、
    算出された前記登録者の前記顔の特徴量に、算出された前記任意のパスワードを発声したときの前記唇の時系列の特徴量を対応付けてデータベースに登録する登録ステップと、
    認証モードにて、前記認証対象者を撮像して得られる前記ビデオ信号の画像上の顔の特徴量を算出し、前記データベースを参照して、前記認証対象者の顔を識別する識別ステップと、
    認証モードにて、発声中の前記認証対象者を撮像して得られた前記ビデオ信号の画像上の前記認証対象者の唇の時系列の特徴量を算出し、前記データベースを参照して、前記認証対象者の発話内容を認識する認識ステップと、
    前記認証対象者の顔の識別結果、および前記認証対象者の発話内容の認識結果に基づき、前記認証対象者の個人認証を行う認証ステップと
    を含む情報処理方法。
  6. 認証対象者を撮像して得られるビデオ信号に基づいて個人認証を行う情報処理装置の制御用のプログラムであって、
    登録モードにて、前記登録者を撮像して得られた前記ビデオ信号の画像上の前記登録者の顔の特徴量を算出する第１の特徴量算出ステップと、
    登録モードにて、任意のパスワードを発声する前記登録者を撮像して得られた前記ビデオ信号の画像上の前記登録者の唇の時系列の特徴量を算出する第２の特徴量算出ステップと、
    算出された前記登録者の前記顔の特徴量に、算出された前記任意のパスワードを発声したときの前記唇の時系列の特徴量を対応付けてデータベースに登録する登録ステップと、
    認証モードにて、前記認証対象者を撮像して得られる前記ビデオ信号の画像上の顔の特徴量を算出し、前記データベースを参照して、前記認証対象者の顔を識別する識別ステップと、
    認証モードにて、発声中の前記認証対象者を撮像して得られた前記ビデオ信号の画像上の前記認証対象者の唇の時系列の特徴量を算出し、前記データベースを参照して、前記認証対象者の発話内容を認識する認識ステップと、
    前記認証対象者の顔の識別結果、および前記認証対象者の発話内容の認識結果に基づき、前記認証対象者の個人認証を行う認証ステップと
    を含む処理を情報処理装置のコンピュータに実行させるプログラム。
JP2010070495A 2010-03-25 2010-03-25 情報処理装置、情報処理方法、およびプログラム Withdrawn JP2011203992A (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2010070495A JP2011203992A (ja) 2010-03-25 2010-03-25 情報処理装置、情報処理方法、およびプログラム
US13/019,524 US8416998B2 (en) 2010-03-25 2011-02-02 Information processing device, information processing method, and program
CN2011100691294A CN102201055A (zh) 2010-03-25 2011-03-18 信息处理设备、信息处理方法以及程序

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2010070495A JP2011203992A (ja) 2010-03-25 2010-03-25 情報処理装置、情報処理方法、およびプログラム

Publications (1)

Publication Number Publication Date
JP2011203992A true JP2011203992A (ja) 2011-10-13

Family

ID=44656539

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010070495A Withdrawn JP2011203992A (ja) 2010-03-25 2010-03-25 情報処理装置、情報処理方法、およびプログラム

Country Status (3)

Country Link
US (1) US8416998B2 (ja)
JP (1) JP2011203992A (ja)
CN (1) CN102201055A (ja)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103973892A (zh) * 2014-05-12 2014-08-06 深圳市威富多媒体有限公司 一种基于语音及人脸识别的移动终端开关机的方法及装置
JP2015011656A (ja) * 2013-07-02 2015-01-19 株式会社リコー 画像処理システム及びプログラム
JP2015018547A (ja) * 2013-06-13 2015-01-29 国立大学法人 鹿児島大学 認証処理装置及び認証処理方法
JP2016170700A (ja) * 2015-03-13 2016-09-23 株式会社東芝 人物認証方法
WO2019092927A1 (ja) * 2017-11-09 2019-05-16 ソニーモバイルコミュニケーションズ株式会社 情報処理装置、プログラム及び情報処理方法
JP2020029059A (ja) * 2018-08-24 2020-02-27 京セラドキュメントソリューションズ株式会社 画像形成システム、画像形成装置、情報処理装置、画像形成方法
JP2020087094A (ja) * 2018-11-28 2020-06-04 サントリーホールディングス株式会社 自動販売機決済システム、自動販売機、自動販売機決済方法及びプログラム
JP2020113107A (ja) * 2019-01-15 2020-07-27 グローリー株式会社 認証システム、管理装置及び認証方法
JP2021182420A (ja) * 2016-05-19 2021-11-25 アドバンスド ニュー テクノロジーズ カンパニー リミテッド アイデンティティ認証方法及び装置
JP7124994B1 (ja) * 2021-02-25 2022-08-24 日本電気株式会社 方法、プログラム、及び情報処理装置
WO2022180988A1 (ja) * 2021-02-25 2022-09-01 日本電気株式会社 情報処理装置、情報処理システム、情報処理方法及び非一時的なコンピュータ可読媒体

Families Citing this family (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011203992A (ja) * 2010-03-25 2011-10-13 Sony Corp 情報処理装置、情報処理方法、およびプログラム
US9159321B2 (en) 2012-02-27 2015-10-13 Hong Kong Baptist University Lip-password based speaker verification system
US8959359B2 (en) * 2012-07-11 2015-02-17 Daon Holdings Limited Methods and systems for improving the security of secret authentication data during authentication transactions
US9262615B2 (en) 2012-07-11 2016-02-16 Daon Holdings Limited Methods and systems for improving the security of secret authentication data during authentication transactions
US8453207B1 (en) * 2012-07-11 2013-05-28 Daon Holdings Limited Methods and systems for improving the security of secret authentication data during authentication transactions
WO2014207752A1 (en) * 2013-06-27 2014-12-31 Hewlett-Packard Development Company, L.P. Authenticating user by correlating speech and corresponding lip shape
JP6000929B2 (ja) * 2013-11-07 2016-10-05 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置
CN104793729A (zh) * 2014-01-22 2015-07-22 联想(北京)有限公司 一种信息处理方法及电子设备
US9741342B2 (en) * 2014-11-26 2017-08-22 Panasonic Intellectual Property Corporation Of America Method and apparatus for recognizing speech by lip reading
WO2017043314A1 (ja) * 2015-09-09 2017-03-16 日本電気株式会社 ガイダンス取得装置、ガイダンス取得方法及びプログラム
US9875352B2 (en) 2015-10-02 2018-01-23 International Business Machines Corporation Oral authentication management
WO2018035484A1 (en) * 2016-08-18 2018-02-22 Apple Inc. System and method for interactive scene projection
US10509952B2 (en) * 2016-08-30 2019-12-17 Irida Labs S.A. Fast, embedded, hybrid video face recognition system
US9769166B1 (en) * 2016-10-19 2017-09-19 International Business Machines Corporation Wearable sensor based system for person identification
JP6579387B2 (ja) * 2016-11-25 2019-09-25 京セラドキュメントソリューションズ株式会社 電子機器
CN106778144A (zh) * 2017-02-26 2017-05-31 王田 带有识别功能的电子设备及方法
CN107527019B (zh) * 2017-07-28 2020-12-25 Oppo广东移动通信有限公司 解锁控制方法及相关产品
US10635893B2 (en) 2017-10-31 2020-04-28 Baidu Usa Llc Identity authentication method, terminal device, and computer-readable storage medium
KR102060563B1 (ko) * 2018-12-31 2020-02-11 호서대학교 산학협력단 음성 및 안면 데이터를 이용한 인증 제공 방법 및 장치
CN109727220B (zh) * 2019-02-18 2020-02-21 淄博职业学院 器械状态解锁机构
CN109902611B (zh) * 2019-02-22 2021-03-02 矩阵元技术（深圳）有限公司 目标证件的检测方法、装置和终端设备
US11227610B1 (en) 2019-04-16 2022-01-18 Wells Fargo Bank, P.A. Computer-based systems for administering patterned passphrases
CN110717407A (zh) * 2019-09-19 2020-01-21 平安科技（深圳）有限公司 基于唇语密码的人脸识别方法、装置及存储介质

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5761329A (en) 1995-12-15 1998-06-02 Chen; Tsuhan Method and apparatus employing audio and video data from an individual for authentication purposes
US6219639B1 (en) * 1998-04-28 2001-04-17 International Business Machines Corporation Method and apparatus for recognizing identity of individuals employing synchronized biometrics
US7027054B1 (en) * 2002-08-14 2006-04-11 Avaworks, Incorporated Do-it-yourself photo realistic talking head creation system and method
US7999857B2 (en) * 2003-07-25 2011-08-16 Stresscam Operations and Systems Ltd. Voice, lip-reading, face and emotion stress analysis, fuzzy logic intelligent camera system
JP2009259269A (ja) 2009-07-27 2009-11-05 Toshiba Corp 顔画像記録システム及び顔画像記録方法
BRPI0904540B1 (pt) * 2009-11-27 2021-01-26 Samsung Eletrônica Da Amazônia Ltda método para animar rostos/cabeças/personagens virtuais via processamento de voz
JP2011203992A (ja) * 2010-03-25 2011-10-13 Sony Corp 情報処理装置、情報処理方法、およびプログラム

Cited By (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015018547A (ja) * 2013-06-13 2015-01-29 国立大学法人 鹿児島大学 認証処理装置及び認証処理方法
JP2015011656A (ja) * 2013-07-02 2015-01-19 株式会社リコー 画像処理システム及びプログラム
CN103973892B (zh) * 2014-05-12 2016-01-20 深圳市威富多媒体有限公司 一种基于语音及人脸识别的移动终端开关机的方法及装置
CN103973892A (zh) * 2014-05-12 2014-08-06 深圳市威富多媒体有限公司 一种基于语音及人脸识别的移动终端开关机的方法及装置
JP2016170700A (ja) * 2015-03-13 2016-09-23 株式会社東芝 人物認証方法
JP2021182420A (ja) * 2016-05-19 2021-11-25 アドバンスド ニュー テクノロジーズ カンパニー リミテッド アイデンティティ認証方法及び装置
JP7109634B2 (ja) 2016-05-19 2022-07-29 アドバンスド ニュー テクノロジーズ カンパニー リミテッド アイデンティティ認証方法及び装置
WO2019092927A1 (ja) * 2017-11-09 2019-05-16 ソニーモバイルコミュニケーションズ株式会社 情報処理装置、プログラム及び情報処理方法
JPWO2019092927A1 (ja) * 2017-11-09 2020-11-12 ソニー株式会社 情報処理装置、プログラム及び情報処理方法
US11430258B2 (en) 2017-11-09 2022-08-30 Sony Corporation Information processing apparatus, program, and information processing method
JP2020029059A (ja) * 2018-08-24 2020-02-27 京セラドキュメントソリューションズ株式会社 画像形成システム、画像形成装置、情報処理装置、画像形成方法
JP7147369B2 (ja) 2018-08-24 2022-10-05 京セラドキュメントソリューションズ株式会社 画像形成システム、画像形成装置、情報処理装置、画像形成方法
JP2020087094A (ja) * 2018-11-28 2020-06-04 サントリーホールディングス株式会社 自動販売機決済システム、自動販売機、自動販売機決済方法及びプログラム
JP7239149B2 (ja) 2018-11-28 2023-03-14 サントリーホールディングス株式会社 自動販売機決済システム、自動販売機、自動販売機決済方法及びプログラム
JP2020113107A (ja) * 2019-01-15 2020-07-27 グローリー株式会社 認証システム、管理装置及び認証方法
JP7299708B2 (ja) 2019-01-15 2023-06-28 グローリー株式会社 認証システム、管理装置及び認証方法
JP7124994B1 (ja) * 2021-02-25 2022-08-24 日本電気株式会社 方法、プログラム、及び情報処理装置
WO2022180988A1 (ja) * 2021-02-25 2022-09-01 日本電気株式会社 情報処理装置、情報処理システム、情報処理方法及び非一時的なコンピュータ可読媒体
JP2022169611A (ja) * 2021-02-25 2022-11-09 日本電気株式会社 情報処理装置、情報処理システム、情報処理方法及びプログラム
JP7211548B2 (ja) 2021-02-25 2023-01-24 日本電気株式会社 プログラム、方法、及び情報処理装置

Also Published As

Publication number Publication date
CN102201055A (zh) 2011-09-28
US8416998B2 (en) 2013-04-09
US20110235870A1 (en) 2011-09-29

Similar Documents

Publication Publication Date Title
JP2011203992A (ja) 情報処理装置、情報処理方法、およびプログラム
US11663307B2 (en) RtCaptcha: a real-time captcha based liveness detection system
US20210327431A1 (en) 'liveness' detection system
US10275672B2 (en) Method and apparatus for authenticating liveness face, and computer program product thereof
JP4365189B2 (ja) 認証装置
JP2014153663A (ja) 音声認識装置、および音声認識方法、並びにプログラム
KR20010039771A (ko) 시청각적 발성자 인식 및 발성 검증 방법 및 장치
JP7148737B2 (ja) 生体（ｌｉｖｅｎｅｓｓ）検出検証方法、生体検出検証システム、記録媒体、及び生体検出検証システムの訓練方法
CN111199032A (zh) 身份认证的方法以及装置
US11848029B2 (en) Method and device for detecting audio signal, and storage medium
WO2020051971A1 (zh) 身份识别方法、装置、电子设备及计算机可读存储介质
JP2017120609A (ja) 感情推定装置、感情推定方法及びプログラム
JP2008004050A (ja) 個人情報認証システム、個人情報認証方法、プログラム、及び記録媒体
US11710353B2 (en) Spoof detection based on challenge response analysis
US11715330B2 (en) Liveness detection in an interactive video session
Lucey et al. Continuous pose-invariant lipreading
US11107476B2 (en) Speaker estimation method and speaker estimation device
WO2019181218A1 (ja) 情報処理装置、情報処理システム、および情報処理方法、並びにプログラム
KR20140093459A (ko) 자동 통역 방법
CN109102810B (zh) 声纹识别方法和装置
Kratt et al. Large vocabulary audio-visual speech recognition using the Janus speech recognition toolkit
Chetty et al. Biometric person authentication with liveness detection based on audio-visual fusion
Lucey et al. A visual front-end for a continuous pose-invariant lipreading system
Stewart et al. LIVENESS'DETECTION SYSTEM
Aleksic et al. Lip feature extraction and feature evaluation in the context of speech and speaker recognition

Legal Events

Date Code Title Description
A300 Application deemed to be withdrawn because no request for examination was validly filed

Free format text: JAPANESE INTERMEDIATE CODE: A300

Effective date: 20130604