KR101986241B1 - 생체신호를 이용한 멀티 모달 기반의 사용자 인증 장치 및 방법 - Google Patents

생체신호를 이용한 멀티 모달 기반의 사용자 인증 장치 및 방법 Download PDF

Info

Publication number
KR101986241B1
KR101986241B1 KR1020170077413A KR20170077413A KR101986241B1 KR 101986241 B1 KR101986241 B1 KR 101986241B1 KR 1020170077413 A KR1020170077413 A KR 1020170077413A KR 20170077413 A KR20170077413 A KR 20170077413A KR 101986241 B1 KR101986241 B1 KR 101986241B1
Authority
KR
South Korea
Prior art keywords
user
information
authentication
biosignal
user authentication
Prior art date
Application number
KR1020170077413A
Other languages
English (en)
Other versions
KR20180137771A (ko
Inventor
김재성
이새움
Original Assignee
한국인터넷진흥원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국인터넷진흥원 filed Critical 한국인터넷진흥원
Priority to KR1020170077413A priority Critical patent/KR101986241B1/ko
Priority to US15/816,214 priority patent/US20180365401A1/en
Priority to CN201711314546.4A priority patent/CN109145548A/zh
Publication of KR20180137771A publication Critical patent/KR20180137771A/ko
Application granted granted Critical
Publication of KR101986241B1 publication Critical patent/KR101986241B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31—User authentication
    • G06F21/32—User authentication using biometric data, e.g. fingerprints, iris scans or voiceprints
    • A61B5/04—
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/45—Structures or tools for the administration of authentication
    • G06K9/00067—
    • G06K9/00885—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/12—Fingerprints or palmprints
    • G06V40/1347—Preprocessing; Feature extraction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/08—Network architectures or network communication protocols for network security for authentication of entities
    • H04L63/0861—Network architectures or network communication protocols for network security for authentication of entities using biometrical features, e.g. fingerprint, retina-scan

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computing Systems (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Collating Specific Patterns (AREA)

Abstract

본 발명은 멀티 모달(Multi-Modal) 기반의 사용자 인증 장치 및 방법에 관한 것으로, 상기 멀티 모달 기반의 사용자 인증 장치는 사용자 인증 가부를 저장하는 메모리 및 사용자 인증을 통해 상기 사용자 인증 가부를 결정하는 프로세서 및 (a) 생체신호 측정 센서를 통해 사용자의 생체신호 정보를 측정하는 단계, (b) 생체인식 획득 센서를 통해 상기 사용자의 생체인식 정보를 획득하는 단계 및 (c) 상기 생체신호 정보와 상기 생체인식 정보 간의 상관성을 분석하여 상기 사용자 인증을 수행하는 단계를 수행하는 사용자 인증 센서부를 포함한다.

Description

생체신호를 이용한 멀티 모달 기반의 사용자 인증 장치 및 방법{USER IDENTIFICATION APPARATUS BASED ON MULTI-MODAL USING BIO-SIGNAL AND METHOD THEREOF}
본 발명은 생체신호를 이용한 사용자 인증 기술에 관한 것으로, 보다 상세하게는 생체신호 정보와 생체인식 정보 간의 상관성 분석을 통해 보안이 강화된 사용자 인증을 수행할 수 있는 멀티 모달(Multi-Modal) 기반의 사용자 인증 장치 및 방법에 관한 것이다.
바이오 인식 기반의 사용자 인증 기술은 바이오메트릭 센서나 바이오시그널 센서를 기반으로 획득되는 센서 데이터를 데이터베이스에 있는 원본 데이터와의 비교를 통해 유사도를 판정하여 동일인 여부를 판단하는 방식으로 사용자를 인증할 수 있다. 이러한 종래 기술은 측정자의 상태나 측정 환경에 따라 결과에 차이가 있어 신뢰성이 다소 떨어지고, 종이/실리콘과 같은 위조 지문 공격에 대한 보안 안전성이 취약하다는 단점이 있다.
한국공개특허공보 제10-2017-0034618(2017.03.29)호는 바이오 정보를 이용하는 사용자 인증 방법 및 사용자 인증을 위한 인증 서버, 바이오 인식 장치에 관한 것으로, 개시된 바이오 정보를 이용하는 사용자 인증 방법은 사용자의 제1바이오 정보를 수집하는 단계; 상기 제1바이오 정보를 인증 서버로 전송하는 단계; 상기 사용자의 제2바이오 정보를 수집하는 단계; 및 상기 제1바이오 정보에 대한 사용자 인증이 성공한 경우, 상기 제2바이오 정보를 상기 인증 서버로 전송하는 단계를 포함한다.
한국등록특허 제10-0875923(2008.12.18)호는 각각의 단일 바이오 인식 시스템의 인식 결과를 융합하여 사용자를 검색하는 사용자 검색 시스템 및 그 방법에 관한 것으로, 사용자의 다수의 바이오 정보를 입력받아 저장하는 바이오 정보 데이터베이스; 상기 저장된 다수의 바이오 정보의 각각의 바이오 정보에 대해 누적분포 함수를 이용하여 확률분포를 추정하는 분포 추정부; 검색 대상 사용자의 다수의 바이오 정보를 상기 각각의 바이오 정보로부터 검색하고, 그 매칭 여부를 판단하여 상기 대상 사용자의 다수의 바이오 정보의 각각의 정보에 매칭 점수를 부여하는 바이오 정보 검색부; 및 상기 각각의 매칭 점수를 상기 추정된 확률분포를 참조하여 CBF(Cumulative Bayes Fusion)을 이용하여 융합하여, 그 융합 결과로부터 상기 대상 사용자의 검색(인증) 결과를 추출하는 융합부를 포함한다.
한국공개특허공보 제10-2017-0034618(2017.03.29)호 한국등록특허 제10-0875923(2008.12.18)호
본 발명의 일 실시예는 생체신호 정보와 생체인식 정보 간의 상관성 분석을 통해 보안이 강화된 사용자 인증을 수행할 수 있는 멀티 모달(Multi-Modal) 기반의 사용자 인증 장치 및 방법을 제공하고자 한다.
본 발명의 일 실시예는 생체신호에 관한 제1 인증과 생체인식에 관한 제2 인증 결과에 따라 사용자 인증의 제한적 허용을 지원하는 멀티 모달 기반의 사용자 인증 장치 및 방법을 제공하고자 한다.
본 발명의 일 실시예는 사용자의 상태 변화에도 사용자 식별 정확성을 향상시킬 수 있는 멀티 모달 기반의 사용자 인증 장치 및 방법을 제공하고자 한다.
실시예들 중에서, 멀티 모달(Multi-Modal) 기반의 사용자 인증 장치는 사용자 인증 가부를 저장하는 메모리 및 사용자 인증을 통해 상기 사용자 인증 가부를 결정하는 프로세서 및 (a) 생체신호 측정 센서를 통해 사용자의 생체신호 정보를 측정하는 단계, (b) 생체인식 획득 센서를 통해 상기 사용자의 생체인식 정보를 획득하는 단계 및 (c) 상기 생체신호 정보와 상기 생체인식 정보 간의 상관성을 분석하여 상기 사용자 인증을 수행하는 단계를 수행하는 사용자 인증 센서부를 포함한다.
상기 (a) 단계는 (a1) 상기 측정된 생체신호 정보가 유효 구간 내에 있는지 분석하여 유효성을 판단하는 단계를 포함할 수 있다.
상기 (a) 단계는 (a2) 상기 사용자의 상태를 분석하고, 상기 유효 구간을 정의하기 위한 적어도 하나의 상한과 하한을 상기 분석된 사용자의 상태에 따라 동적으로 조정하는 단계를 포함할 수 있다.
상기 (c) 단계는 (c1) 상기 유효성의 판단을 통해 유효한 것으로 판단된 생체신호 정보로부터 동적 요소와 연관된 제1 특징점을 추출하는 단계 및 (c2) 상기 획득된 생체인식 정보로부터 정적 요소와 연관된 제2 특징점을 추출하는 단계를 포함할 수 있다.
상기 (c) 단계는 (c3) 상기 제1 및 제2 특징점 추출 과정에서 상기 제1 및 제2 특징점에 관해 지문, 심박수, 심전도 순으로 가중치 연산을 처리하는 단계를 포함할 수 있다.
상기 (c) 단계는 (c4) 상기 추출된 제1 및 제2 특징점의 변량 사이에 나타나는 상관관계의 양과음, 강약 정도 및 도수분포에 관한 상관표 중 적어도 하나를 기초로 상기 상관성을 분석하는 단계를 포함할 수 있다.
상기 (c) 단계는 (c5) 상기 추출된 제1 및 제2 특징점 간의 벡터 연산을 통해 연산 처리된 벡터 연산 결과와 상기 메모리에 기 저장된 벡터 연산 기준 결과들을 비교 분석하여 상기 상관성을 분석하는 단계를 포함할 수 있다.
상기 (a) 단계는 (a3) 상기 생체신호 정보를 특정 시간 주기로 상시 측정하는 단계를 포함할 수 있다.
상기 (c) 단계는 (c6) 가장 최근 측정된 생체신호 정보를 상기 메모리에 저장된 사용자 생체신호 정보와 비교 분석하여 상기 사용자에 대한 제1 인증을 수행하는 단계를 포함할 수 있다.
상기 (c) 단계는 (c7) 상기 제1 인증이 정상 완료되지 않으면 특정 제한 횟수까지 상기 생체신호 정보의 재측정을 시도하도록 제어하는 단계를 포함할 수 있다.
상기 (b) 단계는 (b1) 상기 제1 인증이 정상 완료된 경우에만 상기 생체인식 획득 센서를 통해 상기 사용자의 생체인식 정보를 획득하는 단계를 포함할 수 있다.
상기 (c) 단계는 (c8) 상기 재측정의 시도 후에도 상기 제1 인증에 실패하면 일정 시간 동안 상기 사용자 인증의 수행을 제한하고 사용자 단말에 상기 제1 인증의 실패에 관한 알림 메시지를 전송하는 단계를 포함할 수 있다.
상기 (c) 단계는 (c9) 상기 재측정의 시도 후에도 상기 제1 인증에 실패하면 상기 생체인식 정보만을 기초로 상기 메모리에 저장된 사용자 생체인식 정보와 비교 분석하여 상기 사용자에 대한 제2 인증을 수행하도록 제어하는 단계를 포함할 수 있다.
상기 (c) 단계는 (c10) 상기 제2 인증만이 정상 완료되면 상기 사용자 인증의 결과를 제한적으로 허용하는 단계를 포함할 수 있다.
실시예들 중에서, 멀티 모달 기반의 사용자 인증 방법은 멀티 모달 기반의 사용자 인증 장치에 의해 수행된다. 상기 멀티 모달 기반의 사용자 인증 방법은 생체신호 측정 센서를 통해 사용자의 생체신호 정보를 측정하는 단계, 생체인식 획득 센서를 통해 상기 사용자의 생체인식 정보를 획득하는 단계 및 상기 생체신호 정보와 상기 생체인식 정보 간의 상관성을 분석하여 사용자 인증을 수행하는 단계를 포함한다.
실시예들 중에서, 멀티 모달 기반의 사용자 인증 방법에 관한 컴퓨터 프로그램을 기록한 컴퓨터에 의해서 실행될 수 있고 컴퓨터 판독 가능한 기록매체는 생체신호 측정 센서를 통해 사용자의 생체신호 정보를 측정하는 기능, 생체인식 획득 센서를 통해 상기 사용자의 생체인식 정보를 획득하는 기능 및 상기 생체신호 정보와 상기 생체인식 정보 간의 상관성을 분석하여 사용자 인증을 수행하는 기능을 포함한다.
개시된 기술은 다음의 효과를 가질 수 있다. 다만, 특정 실시예가 다음의 효과를 전부 포함하여야 한다거나 다음의 효과만을 포함하여야 한다는 의미는 아니므로, 개시된 기술의 권리범위는 이에 의하여 제한되는 것으로 이해되어서는 아니 될 것이다.
본 발명의 일 실시예에 따른 멀티 모달(Multi-Modal) 기반의 사용자 인증 장치 및 방법은 생체신호 정보와 생체인식 정보 간의 상관성 분석을 통해 보안이 강화된 사용자 인증을 수행할 수 있다.
본 발명의 일 실시예에 따른 멀티 모달 기반의 사용자 인증 장치 및 방법은 생체신호에 관한 제1 인증과 생체인식에 관한 제2 인증 결과에 따라 사용자 인증의 제한적 허용을 지원한다.
본 발명의 일 실시예에 따른 멀티 모달 기반의 사용자 인증 장치 및 방법은 사용자의 상태 변화에도 사용자 식별 정확성을 향상시킬 수 있다.
도 1은 본 발명의 일 실시예에 따른 멀티 모달(Multi-Modal) 기반의 사용자 인증 시스템을 설명하는 도면이다.
도 2는 도 1에 있는 멀티 모달 기반의 사용자 인증 장치를 나타내는 블록도이다.
도 3은 도 2에 있는 사용자 인증 센서부의 기능 요소를 나타내는 블록도이다.
도 4는 도 2에 있는 사용자 인증 센서부에 의하여 수행되는 멀티 모달 기반의 사용자 인증 프로시저를 설명하는 흐름도이다.
도 5는 도 2에 있는 사용자 인증 센서부가 사용자 인증을 통해 사용자 인증 가부를 결정하는 사용자 인증 프로세스의 일 실시예를 설명하는 흐름도이다.
본 발명에 관한 설명은 구조적 내지 기능적 설명을 위한 실시예에 불과하므로, 본 발명의 권리범위는 본문에 설명된 실시예에 의하여 제한되는 것으로 해석되어서는 아니 된다. 즉, 실시예는 다양한 변경이 가능하고 여러 가지 형태를 가질 수 있으므로 본 발명의 권리범위는 기술적 사상을 실현할 수 있는 균등물들을 포함하는 것으로 이해되어야 한다. 또한, 본 발명에서 제시된 목적 또는 효과는 특정 실시예가 이를 전부 포함하여야 한다거나 그러한 효과만을 포함하여야 한다는 의미는 아니므로, 본 발명의 권리범위는 이에 의하여 제한되는 것으로 이해되어서는 아니 될 것이다.
한편, 본 출원에서 서술되는 용어의 의미는 다음과 같이 이해되어야 할 것이다.
"제1", "제2" 등의 용어는 하나의 구성요소를 다른 구성요소로부터 구별하기 위한 것으로, 이들 용어들에 의해 권리범위가 한정되어서는 아니 된다. 예를 들어, 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다.
어떤 구성요소가 다른 구성요소에 "연결되어"있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결될 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어"있다고 언급된 때에는 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다. 한편, 구성요소들 간의 관계를 설명하는 다른 표현들, 즉 "~사이에"와 "바로 ~사이에" 또는 "~에 이웃하는"과 "~에 직접 이웃하는" 등도 마찬가지로 해석되어야 한다.
단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한 복수의 표현을 포함하는 것으로 이해되어야 하고, "포함하다"또는 "가지다" 등의 용어는 실시된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함을 지정하려는 것이며, 하나 또는 그 이상의 다른 특징이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
각 단계들에 있어 식별부호(예를 들어, a, b, c 등)는 설명의 편의를 위하여 사용되는 것으로 식별부호는 각 단계들의 순서를 설명하는 것이 아니며, 각 단계들은 문맥상 명백하게 특정 순서를 기재하지 않는 이상 명기된 순서와 다르게 일어날 수 있다. 즉, 각 단계들은 명기된 순서와 동일하게 일어날 수도 있고 실질적으로 동시에 수행될 수도 있으며 반대의 순서대로 수행될 수도 있다.
본 발명은 컴퓨터가 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현될 수 있고, 컴퓨터가 읽을 수 있는 기록 매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록 장치를 포함한다. 컴퓨터가 읽을 수 있는 기록 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광 데이터 저장 장치 등이 있다. 또한, 컴퓨터가 읽을 수 있는 기록 매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산 방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다.
여기서 사용되는 모든 용어들은 다르게 정의되지 않는 한, 본 발명이 속하는 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가진다. 일반적으로 사용되는 사전에 정의되어 있는 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한 이상적이거나 과도하게 형식적인 의미를 지니는 것으로 해석될 수 없다.
도 1은 본 발명의 일 실시예에 따른 멀티 모달(Multi-Modal) 기반의 사용자 인증 시스템을 설명하는 도면이다.
도 1을 참조하면, 멀티 모달 기반의 사용자 인증 시스템(100)은 멀티 모달 기반의 사용자 인증 장치(110) 및 사용자 단말(120)을 포함할 수 있다.
멀티 모달 기반의 사용자 인증 장치(110)는 멀티 모달 기반으로 사용자 인증을 수행할 수 있는 컴퓨팅 장치에 해당하고, 일 실시예에서, 액세서리형, 직물/의류 일체형, 신체부착형 또는 생체이식형과 같은 착용형의 웨어러블 디바이스(wearable device)로 구현될 수 있다. 일 실시예에서, 멀티 모달 기반의 사용자 인증 장치(110)는 사용자 단말(120)과 네트워크를 통해 연결될 수 있고, 사용자 인증의 수행 결과를 사용자 단말(120)에 제공할 수 있다.
사용자 단말(120)은 멀티 모달 기반의 사용자 인증 장치(110)와 네트워크를 통해 연결될 수 있는 컴퓨팅 장치에 해당하고, 예를 들어, 데스크톱, 노트북, 태블릿 PC 또는 스마트폰으로 구현될 수 있다. 일 실시예에서, 사용자 단말(120)은 온라인 상에서 수행되는 특정 상품에 관한 결제 과정에서 멀티 모달 기반의 사용자 인증 장치(110)와의 연동을 통한 사용자 인증을 기반으로 해당 결제를 수행할 수 있다. 일 실시예에서, 사용자 단말(120)은 바이오 정보 기반의 사용자 인증을 위해 필요한 사용자 정보를 저장할 수 있고, 멀티 모달 기반의 사용자 인증 장치(110)의 사용자 인증 수행 과정에서 저장된 사용자 정보를 멀티 모달 기반의 사용자 인증 장치(110)에 제공할 수 있으며, 여기에서, 사용자 정보는 사용자 본인의 생체신호 정보, 생체인식 정보 및 생체신호 정보와 생체인식 정보 간의 상관성 중 적어도 하나를 포함할 수 있다.
일 실시예에서, 멀티 모달 기반의 사용자 인증 시스템(100)은 사용자 관리 서버(미도시됨)를 더 포함할 수 있고, 멀티 모달 기반의 사용자 인증 장치(110)는 사용자 단말(120)과 사용자 관리 서버를 통해 연결될 수 있다.
도 2는 도 1에 있는 멀티 모달 기반의 사용자 인증 장치를 나타내는 블록도이다.
도 2를 참조하면, 멀티 모달 기반의 사용자 인증 장치(110)는 프로세서(210), 사용자 인증 센서부(220), 메모리(230), 사용자 입출력부(240) 및 네트워크 입출력부(250)을 포함할 수 있다.
프로세서(210)는 사용자 인증을 통해 사용자 인증 가부를 결정할 수 있다. 프로세서(210)는 사용자 인증 센서부(220)를 통해 멀티 모달 기반의 사용자 인증 프로시저가 수행되면 해당 사용자 인증 프로시저에 따른 사용자 인증의 결과를 기초로 사용자 인증 가부를 결정하는 연산을 처리할 수 있고, 메모리(230)에 해당 가부에 관해 저장할 수 있다. 일 실시예에서, 프로세서(210)는 사용자 입출력부(240)를 통해 사용자 인증과 연관된 사용자 입력이 수신되거나, 또는 결제 프로세스와 연관되어 사용자 단말(120)로부터 사용자 인증 요청이 수신되면, 사용자 인증 센서부(220)가 사용자 인증을 위한 사용자 인증 프로세스를 시작하도록 제어할 수 있고, 사용자 인증 센서부(220)로부터 사용자 인증의 결과를 수신하여 사용자 인증 가부를 결정하는 연산을 처리할 수 있다. 프로세서(210)는 멀티 모달 기반의 사용자 인증 동작 과정에서 읽혀지거나 또는 작성되는 데이터를 저장하는 메모리(230)를 관리할 수 있으며, 메모리(230)에 있는 휘발성 메모리와 비휘발성 메모리 간의 동기화 시간을 스케줄할 수 있다. 프로세서(210)는 멀티 모달 기반의 사용자 인증 장치(110)의 동작 전반을 제어할 수 있고, 사용자 인증 센서부(220), 메모리(230), 사용자 입출력부(240) 및 네트워크 입출력부(250) 간의 데이터 흐름을 제어할 수 있으며, 멀티 모달 기반의 사용자 인증 장치(110)의 CPU(Central Processing Unit)로 구현될 수 있다.
사용자 인증 센서부(220)는 도 4에 있는 멀티 모달 기반의 사용자 인증 프로시저를 실행할 수 있다. 사용자 인증 센서부(220)는 생체신호 측정 센서(222) 및 생체인식 획득 센서(224)를 포함할 수 있다. 일 실시예에서, 생체신호 측정 센서(222)는 사용자의 생체신호 정보를 센싱할 수 있는 바이오시그널(bio-signal) 센서로 구현될 수 있고, 여기에서, 생체신호 정보는 사용자의 전기적, 광학적 또는 화학적 생체신호에 관한 정보로서, 심장의 박동과 관련된 심전도(ECG, Electrocardiogram), 대뇌의 활동 상태와 관련된 뇌전도(EEG, Electroencephalogram), 근육의 활동 상태와 연관된 근전도(EMG, Electromyogram), 심장박동의 동태와 연관된 심탄도(BCG, Ballistocardiogram) 및 신체 말단에서의 혈관 용적 변화와 연관된 광용적맥파(PPG, Photoplethysmogram) 중 적어도 하나를 포함할 수 있다. 일 실시예에서, 생체인식 획득 센서(224)는 사용자의 생체인식 정보를 센싱할 수 있는 바이오메트릭(bio-metric) 센서로 구현될 수 있고, 여기에서, 생체인식 정보는 사용자 개별의 고유 신호로서, 지문, 홍채, 망막 및 음성 정보 중 적어도 하나를 포함할 수 있다.
일 실시예에서, 사용자 인증 센서부(220)는 프로세서(210)와 연결되지만 다른 구성 유닛들과 독립적으로 동작하는 메모리 및 프로세서를 포함하는 별도의 칩으로 구현될 수 있고, 다른 일 실시예에서, 프로세서(210)에 의해 동작 전반이 제어되도록 구현될 수도 있다.
메모리(230)는 SSD(Solid State Disk) 또는 HDD(Hard Disk Drive)와 같은 비휘발성 메모리로 구현되어 멀티 모달 기반의 사용자 인증 장치(110)에 필요한 데이터 전반을 저장하는데 사용되는 보조기억장치를 포함할 수 있고, RAM(Random Access Memory)과 같은 휘발성 메모리로 구현된 주기억장치를 포함할 수 있다. 이처럼, 메모리(230)는 휘발성 또는 비휘발성 메모리로 구현될 수 있고, 만일 비휘발성 메모리로 구현되면 하이퍼링크를 통해 연결되도록 구현될 수 있다.
메모리(230)는 사용자 정보와 연관되는 사용자 메모리 영역을 포함할 수 있고, 일 실시예에서, 사용자 정보는 사용자 식별자(이름, 아이디, 아이핀, 주민등록번호 또는 전화번호 등)와 사용자 생체 정보(해당 사용자의 사용자 인증 과정에서 기준 생체 정보로서 사용될 생체신호 정보, 생체인식 정보 및 생체신호 정보와 생체인식 정보 간의 상관성 중 적어도 하나를 포함할 수 있음)를 포함할 수 있다. 일 실시예에서, 메모리(230)는 사용자 인증을 통해 결정되는 사용자 인증 가부를 저장할 수 있고, 각 사용자 인증 가부와 연관된 사용자 인증 가부 메모리 영역을 포함할 수 있다. 일 실시예에서, 메모리(230)는 상시 측정되는 사용자의 생체신호 정보와 연관된 생체신호 메모리 영역과 생체인식 정보와 연관된 생체인식 메모리 영역을 포함할 수 있다.
사용자 입출력부(240)은 사용자 입력을 수신하기 위한 환경 및 사용자에게 특정 정보를 출력하기 위한 환경을 포함하고, 예를 들어, 터치 패드, 터치스크린 또는 포인팅 장치와 같은 어댑터를 포함하는 입력장치 및 모니터 또는 터치스크린과 같은 어댑터를 포함하는 출력장치를 포함할 수 있다.
네트워크 입출력부(250)은 네트워크를 통해 사용자 단말(120)과 연결하기 위한 환경을 포함하고, 예를 들어, 무선 LAN(Local Area Network) 통신을 위한 어댑터를 포함할 수 있다
도 3은 도 2에 있는 사용자 인증 센서부의 기능 요소를 나타내는 블록도이다.
도 3을 참조하면, 사용자 인증 센서부(220)는 생체신호 정보 측정부(310), 생체인식 정보 획득부(320), 사용자 인증 수행부(330) 및 제어부(340)를 포함할 수 있다.
생체신호 정보 측정부(310)는 생체신호 측정 센서(222)를 통해 사용자의 생체신호 정보를 측정한다. 일 실시예에서, 생체신호 정보 측정부(310)는 사용자 신체의 표면에 부착 또는 접촉된 생체신호 측정 센서(222)를 통해 해당 사용자의 전기적, 기계적, 물리적, 광학적 및 화학적 생체신호 중 적어도 하나에 관한 생체신호를 센싱하여 전기적 신호로 측정할 수 있다. 앞서 서술한 것처럼, 생체신호 정보는 심전도, 뇌전도, 근전도, 심탄도 및 광용적맥파 중 적어도 하나를 포함할 수 있다.
생체신호 정보 측정부(310)는 측정된 생체신호 정보가 유효 구간 내에 있는지 분석하여 유효성을 판단할 수 있다. 일 실시예에서, 생체신호 정보 측정부(310)는 심전도, 뇌전도, 근전도, 심탄도 및 광용적맥파 각각에 관한 유효성의 판단 기준 범위로서 지정된 값 범위, 영역 범위 및 패턴 범위에 관한 정보를 유효 구간으로 저장할 수 있다. 일 실시예에서, 유효 구간은 음주나 운동 등에 따른 과도한 흥분 상태나 극심한 긴장 상태 등을 배제한 일반적 상태에서의 생체신호에 관한 값 범위, 영역 범위 또는 패턴 범위를 포함할 수 있다. 예를 들어, 생체신호 정보 측정부(310)는 운동 중인 또는 운동 직후의 사용자로부터 측정된 생체신호 정보가 유효 구간을 벗어나는 것으로 분석되면 해당 생체신호 정보를 유효하지 않은 것으로 판단하고 사용자 인증 수행부(330)에 제공하지 않을 수 있다.
생체신호 정보 측정부(310)는 사용자의 상태를 분석하고, 유효 구간을 정의하기 위한 적어도 하나의 상한과 하한을 분석된 사용자의 상태에 따라 동적으로 조정할 수 있다. 일 실시예에서, 생체신호 정보 측정부(310)는 측정된 사용자의 생체신호 정보를 기 저장된 기준 값, 기준 영역 및 기준 패턴을 기초로 비교 분석하여 해당 사용자의 상태를 정적(static) 상태, 일반 상태 및 동적(dynamic) 상태 중 하나로 결정할 수 있고, 각 상태에 따라 유효 구간에 있는 값 범위, 영역 범위 및 패턴 범위 중 적어도 하나에 관한 적어도 하나의 상한과 하한을 기준값 대비 감소, 유지 또는 증가시키는 동적 조정을 수행할 수 있다.
생체신호 정보 측정부(310)는 생체신호 정보를 특정 시간 주기로 상시 측정할 수 있다. 일 실시예에서, 생체신호 정보 측정부(310)는 생체신호 측정 센서(222)가 사용자의 신체에 부착 또는 접촉 유지되는 동안에는 생체신호 측정 센서(222)가 상시로 해당 사용자의 생체신호 정보를 센싱하도록 제어하여 해당 생체신호 정보를 특정 시간 주기로(예를 들어, 10초 주기로) 수집하여 메모리(230)에 저장할 수 있고, 해당 부착 또는 접촉이 해제되면 상시 측정을 중단할 수 있다.
일 실시예에서, 생체신호 정보 측정부(310)는 생체신호 정보의 상시 측정을 수행할 때마다 해당 사용자의 상태를 분석할 수 있고, 분석된 사용자의 상태에 따라 상시 측정을 수행하는 특정 시간 주기를 느리게 또는 빠르게 조정할 수 있다. 일 실시예에서, 생체신호 정보 측정부(310)는 해당 사용자의 상태를 고려하여 하기의 수학식 1을 기초로 상시 측정의 수행을 위한 조정 시간 주기(tm)를 산출할 수 있다. 예를 들어, 생체신호 정보 측정부(310)는 기본 주기값(t0)이 10(s)인 경우 상시 측정의 수행 과정에서 분석된 사용자의 상태가 동적 상태이면(s=1) 다음 번의 상시 측정을 위한 조정 시간 주기(tm)를 1.25(s)로 산출하여 반영할 수 있고, 정적 상태이면(s=3) 조정 시간 주기(tm)를 15(s)로 산출하여 반영할 수 있다.
[수학식 1]
Figure 112017058550218-pat00001
(여기에서, s는 분석된 사용자의 상태에 따른 상태 지수를 나타내고(3: 정적 상태, 2: 일반 상태, 1: 동적 상태), t0는 사용자 또는 설계자에 의해 설정될 수 있는 기본 주기값을 나타냄)
생체인식 정보 획득부(320)는 생체인식 획득 센서(224)를 통해 사용자의 생체인식 정보를 획득한다. 일 실시예에서, 생체인식 정보 획득부(320)는 사용자 신체의 표면에 접촉되거나 또는 특정 신체 부위를 향하여 특정 거리를 두고 배치된 생체인식 획득 센서(224)를 통해 해당 사용자의 신체특성 및 행위특성 중 적어도 하나에 관한 생체인식 정보를 센싱하여 디지털 신호로 획득할 수 있다. 앞서 서술한 것처럼, 생체인식 정보는 지문, 홍채, 망막, 손 모양, 안면, 음성 및 서명 중 적어도 하나를 포함할 수 있다.
사용자 인증 수행부(330)는 생체신호 정보와 생체인식 정보 간의 상관성을 분석하여 사용자 인증을 수행한다. 일 실시예에서, 사용자 인증 수행부(330)는 생체신호 정보와 생체인식 정보의 변량 사이에 나타나거나 또는 생체신호 정보와 생체인식 정보의 절대량 간에 나타나는 상관관계를 분석하는 방식으로 생체신호 정보와 생체인식 정보 간의 상관성을 분석할 수 있다. 일 실시예에서, 사용자 인증 수행부(330)는 동시에 취득되는 생체신호 정보와 생체인식 정보를 생체 정보 쌍으로 관리할 수 있다.
사용자 인증 수행부(330)는 획득된 생체신호 정보와 생체인식 정보 각각으로부터 특징점을 추출하고, 추출된 각각의 특징점을 기초로 상관성 분석을 수행할 수 있다. 일 실시예에서, 사용자 인증 수행부(330)는 유효성의 판단을 통해 유효한 것으로 판단된 생체신호 정보로부터 동적 요소와 연관된 제1 특징점을 추출할 수 있고, 획득된 생체인식 정보로부터 정적 요소와 연관된 제2 특징점을 추출할 수 있다. 일 실시예에서, 동적 요소는 생체신호 정보에 나타나며 시간 또는 상황에 따라 해당 사용자로부터 측정되는 데이터가 주로 가변될 수 있는 생체신호 특성에 관한 동적 파라미터에 해당하고, 정적 요소는 생체인식 정보에 나타나며 시간 또는 상황에 따라 해당 사용자로부터 측정되는 데이터가 주로 가변되지 않는 생체인식 특성에 관한 정적 파라미터에 해당할 수 있다. 일 실시예에서, 사용자 인증 수행부(330)는 사람마다 고유하면서 변별력이 높은 적어도 하나의 특징점을 추출하기 위한 특징점 추출 알고리즘을 포함할 수 있고, 메모리(230)에 기 저장된 사용자 인증을 위해 미리 등록된 사용자와 연관된 사용자 생체 정보로부터 적어도 하나의 특징점을 추출하여 해당 정보를 보관하고 있을 수 있다.
사용자 인증 수행부(330)는 제1 및 제2 특징점 추출 과정에서 제1 및 제2 특징점에 관해 지문, 심박수, 심전도 순으로 가중치 연산을 처리할 수 있다. 예를 들어, 사용자 인증 수행부(330)는 유효한 것으로 판단되고 심박수와 심전도를 포함하는 생체신호 정보로부터 제1 특징점을 추출하는 과정에서 심박수에 제1 가중치를 반영하고 심전도에 제1 가중치보다 더 낮은 제2 가중치를 반영하여 각각을 제1 특징점으로 추출할 수 있고, 이에 따라, 심박수에 관한 특징이 더 높은 우선순위로 반영되도록 할 수 있다. 여기에서, 각 가중치는 사용자 또는 설계자에 의해 조정될 수 있다.
일 실시예에서, 사용자 인증 수행부(330)는 추출된 제1 및 제2 특징점의 변량 사이에 나타나는 상관관계의 양과음, 강약 정도 및 도수분포에 관한 상관표 중 적어도 하나를 기초로 상호 간의 상관성을 분석할 수 있다. 보다 구체적으로, 사용자 인증 수행부(330)는 생체신호 정보 측정부(310) 및 생체인식 정보 획득부(320)를 통해 사용자(현재 사용자 인증의 대상)의 생체신호 정보와 생체인식 정보 쌍을 동시에 획득할 수 있고, 이러한 생체 정보 쌍을 적어도 두 번 이상 특정 시간 간격을 두고 획득하여 복수의 생체 정보 쌍들로 수집할 수 있으며, 수집된 복수의 생체 정보 쌍들로부터 추출된 복수의 제1 및 제2 특징점 쌍들에 대해 분석된 상관관계와 메모리(230)에 기 저장된 사용자(사용자 인증을 위해 미리 등록된 사용자)와 연관되어 저장된 상관관계를 비교하여 상호 간의 유사성을 판단할 수 있다. 예를 들어, 사용자 인증 수행부(330)는 생체신호 정보로부터 추출된 제1 특징점에 관한 값이 커질 때 생체인식 정보로부터 추출된 제2 특징점에 관한 값이 강하게 커지면 강한 양의 상관관계를 가지는 것으로 판단하고, 기 저장된 상관관계와 상호 유사한지 여부를 비교 분석하여 사용자 인증의 정상 인증 또는 실패 여부를 결정할 수 있다.
다른 일 실시예에서, 사용자 인증 수행부(330)는 추출된 제1 및 제2 특징점 간의 벡터 연산을 통해 연산 처리된 벡터 연산 결과와 메모리(230)에 기 저장된 벡터 연산 기준 결과들을 비교 분석하여 상관성을 분석할 수 있다. 보다 구체적으로, 사용자 인증 수행부(330)는 제1 및 제2 특징점에 대한 벡터 연산 결과를 벡터 그래프화 하여 다차원의 좌표평면 상의 특정 위치에 나타낼 수 있고, 메모리(230)에 기 저장된 사용자와 연관된 벡터 연산 정보 중에서 추출된 제1 및 제2 특징점 각각에 상응하는 복수의 벡터 연산 기준 결과들을 해당 좌표평면 상에 나타낼 수 있으며, 해당 벡터 연산 결과가 복수의 벡터 연산 기준 결과들로부터 특정 거리 이내로 근접하여 특정 상관범위 이내에 있는지 여부를 분석하여 사용자 인증의 정상 인증 또는 실패 여부를 결정할 수 있다.
사용자 인증 수행부(330)는 사용자에 대한 제1 인증 및 제2 인증을 구분하여 수행할 수 있다. 여기에서, 제1 인증은 사용자 생체신호 정보의 일치 여부에 대한 인증으로서 1차적으로 수행되는 사용자 인증에 해당할 수 있고, 제2 인증은 사용자 생체인식 정보의 일치 여부에 대한 인증으로서 위의 제1 인증에 이어서 2차적으로 수행되는 사용자 인증에 해당할 수 있다.
사용자 인증 수행부(330)는 가장 최근 측정된 생체신호 정보를 메모리(230)에 저장된 사용자 생체신호 정보와 비교 분석하여 사용자에 대한 제1 인증을 수행할 수 있다. 일 실시예에서, 사용자 인증 수행부(330)는 사용자 인증 프로세스가 시작되면 생체신호 측정 센서(222)를 통해 상시 측정되어 저장된 사용자(현재 사용자 인증의 대상)의 생체신호 정보 중에서 가장 최근 측정된 생체 신호 정보를 메모리(230)에 기 저장된 사용자(사용자 인증을 위해 미리 등록된 사용자)와 연관된 사용자 생체 정보에 있는 생체신호 정보와 값 범위, 영역 범위 및 패턴 범위의 측면에서 비교 분석하여 상호 간의 매칭도를 산출할 수 있고, 산출된 매칭도가 미리 설정된 기준 매칭도(예를 들어, 90%) 이상이면 해당 사용자와 등록된 사용자의 생체신호 정보가 상당한 정도로 일치하는 것으로 판단하여 해당 사용자에 대한 제1 인증의 결과를 정상 완료로 처리할 수 있다.
일 실시예에서, 사용자 인증 수행부(330)는 사용자에 대한 제1 인증이 정상 완료되지 않으면 특정 제한 횟수(예를 들어, 3회)까지 해당 생체신호 정보의 재측정을 시도하도록 제어할 수 있고, 해당 재측정 이후에도 해당 제1 인증이 정상 완료되지 않으면 사용자 인증을 중단할 수 있다. 이때, 생체인식 정보 획득부(320)는 생체신호 정보 측정부(310)에 의해 사용자에 대한 제1 인증이 정상 완료된 경우에만 생체인식 획득 센서(224)를 통해 해당 사용자의 생체인식 정보를 획득할 수 있다. 사용자 인증 수행부(330)는 생체신호와 연관된 제1 인증이 정상 인증되는 경우에만 이후의 단계에서 생체인식과 연관된 제2 인증의 수행 및 상관성 분석 등이 진행되도록 제어하여 보안을 한층 강화시킨 사용자 인증이 수행되도록 할 수 있다. 사용자 인증 수행부(330)는 이러한 재측정의 시도 후에도 제1 인증에 실패하면 일정 시간 동안 사용자 인증의 수행을 제한하고 사용자 단말(120)에 제1 인증의 실패에 관한 알림 메시지를 전송할 수 있다.
다른 일 실시예에서, 사용자 인증 수행부(330)는 생체신호 정보 측정부(310)에 의한 생체신호 정보의 재측정의 시도 후에도 해당 사용자에 대한 제1 인증에 실패하면 생체인식 정보만을 기초로 메모리(230)에 저장된 사용자 생체인식 정보와 비교 분석하여 해당 사용자에 대한 제2 인증을 수행하도록 제어할 수 있다. 이때, 생체인식 정보 획득부(320)는 최종적인 제1 인증이 실패되더라도 생체인식 획득 센서(224)를 통해 생체인식 정보를 획득할 수 있고, 사용자 인증 수행부(330)는 획득된 생체인식 정보와 메모리(230)에 기 저장된 생체인식 정보와의 비교 분석, 상호 간의 매칭도 산출 및 기준 매칭도와의 비교 연산을 통해 해당 사용자에 대한 제2 인증을 수행하여 해당 제2 인증의 결과를 정상 완료 또는 실패로 처리할 수 있다.
위의 실시예에서, 사용자 인증 수행부(330)는 제2 인증만이 정상 완료되면 사용자 인증의 결과를 제한적으로 허용할 수 있다. 예를 들어, 사용자 인증 수행부(330)는 사용자에 대한 제1 및 제2 인증과 상관성 분석을 통한 사용자 인증이 모두 정상 완료 처리되면 해당 사용자 인증을 통해 사용자 권한의 전부 허용할 수 있고, 제1 인증은 실패하고 제2 인증만이 정상 완료 처리된 경우 해당 사용자 인증을 통해 사용자 권한의 일부만을 허용할 수 있다. 여기에서, 사용자 권한의 일부에 해당하는 권한 범위는 해당 사용자 인증과 연관된 결제/승인 요청 기관, 설계자 또는 사용자(사용자 인증을 위해 미리 등록된 사용자)에 의해 결정될 수 있다.
제어부(340)는 사용자 인증 센서부(220)의 동작 전반을 제어할 수 있고, 생체신호 정보 측정부(310), 생체인식 정보 획득부(320) 및 사용자 인증 수행부(330) 간의 데이터 흐름을 제어할 수 있다. 일 실시예에서, 제어부(340)는 사용자 인증 센서부(220)의 CPU로 구현될 수 있다.
도 4는 도 2에 있는 사용자 인증 센서부에 의하여 수행되는 멀티 모달 기반의 사용자 인증 프로시저를 설명하는 흐름도이다.
도 4에서, 생체신호 정보 측정부(310)는 생체신호 측정 센서(222)를 통해 사용자의 생체신호 정보를 측정한다(단계 S410). 생체인식 정보 획득부(320)는 생체인식 획득 센서(224)를 통해 사용자의 생체인식 정보를 획득한다(단계 S420). 사용자 인증 수행부(330)는 생체신호 정보와 생체인식 정보 간의 상관성을 분석하여 사용자 인증을 수행한다(단계 S430).
도 5는 도 2에 있는 사용자 인증 센서부가 사용자 인증을 통해 사용자 인증 가부를 결정하는 사용자 인증 프로세스의 일 실시예를 설명하는 흐름도이다.
도 5a 내지 도 5b에서, 생체신호 정보 측정부(310)는 생체신호 측정 센서(222)를 통해 생체신호 정보를 특정 시간 주기로 상시 측정할 수 있다(단계 S505). 생체신호 정보 측정부(310)는 가장 최근 측정된 측정된 생체신호 정보가 유효 구간 내에 있는지 분석하여 유효성을 판단할 수 있다(단계 S510).
생체신호 정보 측정부(310)는 유효성 판단에 따라 해당 생체신호 정보가 유효한 것으로 판단되면 해당 생체신호 정보로부터 동적 요소와 연관된 제1 특징점을 추출할 수 있다(단계 S515). 사용자 인증 수행부(330)는 추출된 제1 특징점을 기초로 해당 사용자에 대한 제1 인증을 수행하고(단계 S520), 추출된 제1 특징점과 메모리(230)에 기 저장된 사용자 생체 정보에 있는 생체신호 정보로부터 추출된 기준 특징점을 비교 분석하여 상호 간의 매칭도가 기준 매칭도 이상인지 여부에 따라 해당 사용자에 대한 제1 인증의 결과의 정상 완료 처리 여부를 결정할 수 있다(단계 S525).
생체신호 정보 측정부(310)를 제1 인증이 정상 완료되지 않으면 특정 제한 횟수까지 생체신호 측정 센서(222)를 통해 생체신호 정보의 재측정을 시도할 수 있다(단계 S530). 생체인식 정보 획득부(320)는 제1 인증이 정상 완료되면 생체인식 획득 센서(224)를 통해 사용자의 생체인식 정보를 획득할 수 있다(단계 S535).
사용자 인증 수행부(330)는 획득된 생체인식 정보로부터 정적 요소와 연관된 제2 특징점을 추출할 수 있고(단계 S540), 추출된 제2 특징점과 메모리(230)에 기 저장된 사용자 생체 정보에 있는 생체인식 정보로부터 추출된 기준 특징점을 비교 분석하여 제2 인증을 수행할 수 있으며(단계 S545), 상호 간의 매칭도가 기준 매칭도 이상인지 여부에 따라 해당 사용자에 대한 제2 인증의 결과의 정상 완료 처리 여부를 결정할 수 있다(단계 S550).
사용자 인증 수행부(330)는 제2 인증이 정상 완료되지 않으면 특정 제한 횟수까지 생체인식 획득 센서(224)를 통해 생체인식 정보의 재측정을 시도하도록 제어할 수 있고(단계 S550), 제2 인증이 정상 완료되면 추출된 제1 및 제2 특징점을 기초로 상관성 분석을 수행할 수 있다(단계 S555). 사용자 인증 수행부(330)는 상관성 분석을 통해 사용자 인증에 성공하면 해당 사용자 인증 결과를 정상 완료 처리할 수 있고(단계 S560), 이에 따라, 해당 사용자 인증을 통해 사용자 권한의 전부를 허용할 수 있다.
생체신호 정보 측정부(310)는 만일 단계 S510에서, 유효성 판단에 따라 해당 생체신호 정보가 유효하지 않은 것으로 판단되면 특정 제한 횟수까지 생체신호 측정 센서(222)를 통해 생체신호 정보의 재측정을 시도할 수 있고(단계 S530), 최종적으로 재측정에 실패하면 앞서 서술한 단계 S535 ~ S550 과 동일한 과정을 통해 사용자에 대한 제2 인증을 수행할 수 있다. 이어서, 생체신호 정보 측정부(310)는 만일 제2 인증이 정상 완료되면 제1 인증은 실패하고 제2 인증만이 정상 완료 처리되었으므로 해당 사용자 인증을 통해 사용자 권한의 일부만을 허용하도록 결정할 수 있다(단계 S565).
상기에서는 본 출원의 바람직한 실시예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 통상의 기술자는 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 출원을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.
100: 멀티 모달(Multi-Modal) 기반의 사용자 인증 시스템
110: 멀티 모달 기반의 사용자 인증 장치
112: 생체신호 측정 센서 114: 생체인식 획득 센서
120: 사용자 단말
210: 프로세서 220: 사용자 인증 센서부
230: 메모리 240: 사용자 입출력부
250: 네트워크 입출력부
310: 생체신호 정보 측정부 320: 생체인식 정보 획득부
330: 사용자 인증 수행부 340: 제어부

Claims (16)

  1. 사용자 인증 가부와 사용자와 연관된 복수의 벡터 연산 기준 결과들을 저장하는 메모리;
    사용자 인증을 통해 상기 사용자 인증 가부를 결정하는 프로세서; 및
    (a) 생체신호 측정 센서를 통해 상기 사용자의 생체신호 정보를 측정하고 상기 사용자의 상태가 정적(static) 상태, 일반 상태 및 동적(dynamic) 상태 중 어느 상태인지를 결정하여 상기 생체신호 정보의 유효 구간을 동적으로 감소, 유지 또는 증가를 수행함과 동시에 상기 동적 상태에서의 측정 주기가 상기 정적 상태에서의 측정 주기보다 짧아지도록 상기 측정 주기를 동적으로 변경하며, 상기 생체신호 정보가 상기 동적으로 조절된 유효구간 내에 있는지 분석하여 유효성을 판단하는 단계, (b) 생체인식 획득 센서를 통해 상기 사용자의 생체인식 정보를 획득하는 단계 및 (c) 상기 생체신호 정보에서 추출된 제1 특정점과 상기 생체인식 정보에서 추출된 제2 특징점에 대한 벡터 연산 결과를 벡터 그래프화 하여 다차원의 좌표평면 상에 나타낸 특정 위치와 상기 복수의 벡터 연산 기준 결과들을 상기 다차원의 좌표평면 상에 나타낸 위치들 간의 거리가 특정 거리 이내로 근접하여 특정 상관범위에 있는지 여부를 분석하여 상기 사용자 인증의 정상 인정 또는 실패 여부를 결정하는 단계를 수행하는 사용자 인증 센서부를 포함하는 멀티 모달(Multi-Modal) 기반의 사용자 인증 장치.
  2. 삭제
  3. 삭제
  4. 제1항에 있어서, 상기 (c) 단계는
    (c1) 상기 유효성의 판단을 통해 유효한 것으로 판단된 생체신호 정보로부터 동적 요소와 연관된 제1 특징점을 추출하는 단계; 및
    (c2) 상기 획득된 생체인식 정보로부터 정적 요소와 연관된 제2 특징점을 추출하는 단계를 포함하는 것을 특징으로 하는 멀티 모달 기반의 사용자 인증 장치.
  5. 제4항에 있어서, 상기 (c) 단계는
    (c3) 상기 제1 및 제2 특징점 추출 과정에서 상기 제1 및 제2 특징점에 관해 지문, 심박수, 심전도 순으로 가중치 연산을 처리하는 단계를 포함하는 것을 특징으로 하는 멀티 모달 기반의 사용자 인증 장치.
  6. 제4항에 있어서, 상기 (c) 단계는
    (c4) 상기 추출된 제1 및 제2 특징점의 변량 사이에 나타나는 상관관계의 양과음, 강약 정도 및 도수분포에 관한 상관표 중 적어도 하나를 기초로 상관성을 분석하는 단계를 포함하는 것을 특징으로 하는 멀티 모달 기반의 사용자 인증 장치.
  7. 삭제
  8. 제1항에 있어서, 상기 (a) 단계는
    (a3) 상기 생체신호 정보를 특정 시간 주기로 상시 측정하는 단계를 포함하는 것을 특징으로 하는 멀티 모달 기반의 사용자 인증 장치.
  9. 제8항에 있어서, 상기 (c) 단계는
    (c6) 가장 최근 측정된 생체신호 정보를 상기 메모리에 저장된 사용자 생체신호 정보와 비교 분석하여 상기 사용자에 대한 제1 인증을 수행하는 단계를 포함하는 것을 특징으로 하는 멀티 모달 기반의 사용자 인증 장치.
  10. 제9항에 있어서, 상기 (c) 단계는
    (c7) 상기 제1 인증이 정상 완료되지 않으면 특정 제한 횟수까지 상기 생체신호 정보의 재측정을 시도하도록 제어하는 단계를 포함하는 것을 특징으로 하는 멀티 모달 기반의 사용자 인증 장치.
  11. 제10항에 있어서, 상기 (b) 단계는
    (b1) 상기 제1 인증이 정상 완료된 경우에만 상기 생체인식 획득 센서를 통해 상기 사용자의 생체인식 정보를 획득하는 단계를 포함하는 것을 특징으로 하는 멀티 모달 기반의 사용자 인증 장치.
  12. 제10항에 있어서, 상기 (c) 단계는
    (c8) 상기 재측정의 시도 후에도 상기 제1 인증에 실패하면 일정 시간 동안 상기 사용자 인증의 수행을 제한하고 사용자 단말에 상기 제1 인증의 실패에 관한 알림 메시지를 전송하는 단계를 포함하는 것을 특징으로 하는 멀티 모달 기반의 사용자 인증 장치.
  13. 제10항에 있어서, 상기 (c) 단계는
    (c9) 상기 재측정의 시도 후에도 상기 제1 인증에 실패하면 상기 생체인식 정보만을 기초로 상기 메모리에 저장된 사용자 생체인식 정보와 비교 분석하여 상기 사용자에 대한 제2 인증을 수행하도록 제어하는 단계를 포함하는 것을 특징으로 하는 멀티 모달 기반의 사용자 인증 장치.
  14. 제13항에 있어서, 상기 (c) 단계는
    (c10) 상기 제2 인증만이 정상 완료되면 상기 사용자 인증의 결과를 제한적으로 허용하는 단계를 포함하는 것을 특징으로 하는 멀티 모달 기반의 사용자 인증 장치.
  15. 멀티 모달(Multi-Modal) 기반의 사용자 인증 장치에 의해 수행되는 멀티 모달 기반의 사용자 인증 방법에 있어서,
    생체신호 측정 센서를 통해 사용자의 생체신호 정보를 측정하고 상기 사용자의 상태가 정적(static) 상태, 일반 상태 및 동적(dynamic) 상태 중 어느 상태인지를 결정하여 상기 생체신호 정보의 유효 구간을 동적으로 감소, 유지 또는 증가를 수행함과 동시에 상기 동적 상태에서의 측정 주기가 상기 정적 상태에서의 측정 주기보다 짧아지도록 상기 측정 주기를 동적으로 변경하며, 상기 생체신호 정보가 상기 동적으로 조절된 유효구간 내에 있는지 분석하여 유효성을 판단하는 단계;
    생체인식 획득 센서를 통해 상기 사용자의 생체인식 정보를 획득하는 단계; 및
    상기 생체신호 정보에서 추출된 제1 특정점과 상기 생체인식 정보에서 추출된 제2 특징점에 대한 벡터 연산 결과를 벡터 그래프화 하여 다차원의 좌표평면 상에 나타낸 특정 위치와 복수의 벡터 연산 기준 결과들을 상기 다차원의 좌표평면 상에 나타낸 위치들 간의 거리가 특정 거리 이내로 근접하여 특정 상관범위에 있는지 여부를 분석하여 상기 사용자 인증의 정상 인정 또는 실패 여부를 결정하는 단계를 포함하는 멀티 모달 기반의 사용자 인증 방법.
  16. 생체신호 측정 센서를 통해 사용자의 생체신호 정보를 측정하고 상기 사용자의 상태가 정적(static) 상태, 일반 상태 및 동적(dynamic) 상태 중 어느 상태인지를 결정하여 상기 생체신호 정보의 유효 구간을 동적으로 감소, 유지 또는 증가를 수행함과 동시에 상기 동적 상태에서의 측정 주기가 상기 정적 상태에서의 측정 주기보다 짧아지도록 상기 측정 주기를 동적으로 변경하며, 상기 생체신호 정보가 상기 동적으로 조절된 유효구간 내에 있는지 분석하여 유효성을 판단하는 기능;
    생체인식 획득 센서를 통해 상기 사용자의 생체인식 정보를 획득하는 기능; 및
    상기 생체신호 정보에서 추출된 제1 특정점과 상기 생체인식 정보에서 추출된 제2 특징점에 대한 벡터 연산 결과를 벡터 그래프화 하여 다차원의 좌표평면 상에 나타낸 특정 위치와 복수의 벡터 연산 기준 결과들을 상기 다차원의 좌표평면 상에 나타낸 위치들 간의 거리가 특정 거리 이내로 근접하여 특정 상관범위에 있는지 여부를 분석하여 사용자 인증의 정상 인정 또는 실패 여부를 결정하는 기능을 포함하는 멀티 모달(Multi-Modal) 기반의 사용자 인증 방법에 관한 컴퓨터 프로그램을 기록한 컴퓨터에 의해서 실행될 수 있고 컴퓨터 판독 가능한 기록매체.
KR1020170077413A 2017-06-19 2017-06-19 생체신호를 이용한 멀티 모달 기반의 사용자 인증 장치 및 방법 KR101986241B1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020170077413A KR101986241B1 (ko) 2017-06-19 2017-06-19 생체신호를 이용한 멀티 모달 기반의 사용자 인증 장치 및 방법
US15/816,214 US20180365401A1 (en) 2017-06-19 2017-11-17 Multi-modal based user authentication apparatus and method using bio signal
CN201711314546.4A CN109145548A (zh) 2017-06-19 2017-12-12 基于多模式的用户认证设备和方法及计算机可读记录介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170077413A KR101986241B1 (ko) 2017-06-19 2017-06-19 생체신호를 이용한 멀티 모달 기반의 사용자 인증 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20180137771A KR20180137771A (ko) 2018-12-28
KR101986241B1 true KR101986241B1 (ko) 2019-09-30

Family

ID=64657462

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170077413A KR101986241B1 (ko) 2017-06-19 2017-06-19 생체신호를 이용한 멀티 모달 기반의 사용자 인증 장치 및 방법

Country Status (3)

Country Link
US (1) US20180365401A1 (ko)
KR (1) KR101986241B1 (ko)
CN (1) CN109145548A (ko)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210057401A (ko) 2019-11-12 2021-05-21 한국전자통신연구원 다중 생체정보 기반 사용자 인증 장치 및 방법
EP4107638A4 (en) * 2020-03-23 2024-03-27 Capital One Services, LLC WEARABLE DEVICES AND RELATED SYSTEMS FOR AUTHENTICATING A USER WITH SURFACE ELECTROMYOGRAM (SEMG) SIGNALS
CN114332905A (zh) * 2020-09-25 2022-04-12 北京眼神智能科技有限公司 生物特征多模态融合识别方法、装置、存储介质及设备

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100875923B1 (ko) 2006-11-20 2008-12-26 한국전자통신연구원 다중 바이오 인식을 통한 사용자 검색 시스템 및 그 방법
KR100974814B1 (ko) * 2008-03-19 2010-08-10 주식회사 비즈모델라인 이중 생체 인증 방법
WO2012127577A1 (ja) * 2011-03-18 2012-09-27 富士通フロンテック株式会社 照合装置、照合プログラム、および照合方法
US8994498B2 (en) * 2013-07-25 2015-03-31 Bionym Inc. Preauthorized wearable biometric device, system and method for use thereof
KR102257287B1 (ko) * 2014-08-07 2021-05-27 삼성전자주식회사 지문 및 심전도 신호를 이용한 사용자 인증 방법 및 장치
US9613197B2 (en) * 2014-11-10 2017-04-04 Wipro Limited Biometric user authentication system and a method therefor
CN105787420B (zh) * 2014-12-24 2020-07-14 北京三星通信技术研究有限公司 用于生物认证的方法、装置以及生物认证***
US10154818B2 (en) * 2014-12-24 2018-12-18 Samsung Electronics Co., Ltd. Biometric authentication method and apparatus
KR102299819B1 (ko) * 2014-12-30 2021-09-08 삼성전자주식회사 생체 신호를 이용한 사용자 인증 방법 및 장치
KR20170034618A (ko) 2015-09-21 2017-03-29 연세대학교 산학협력단 바이오 정보를 이용하는 사용자 인증 방법 및 사용자 인증을 위한 인증 서버, 바이오 인식 장치

Also Published As

Publication number Publication date
KR20180137771A (ko) 2018-12-28
US20180365401A1 (en) 2018-12-20
CN109145548A (zh) 2019-01-04

Similar Documents

Publication Publication Date Title
US9946942B2 (en) Method, apparatus and system for biometric identification
CA2835460C (en) System and method for enabling continuous or instantaneous identity recognition based on physiological biometric signals
CN105787420B (zh) 用于生物认证的方法、装置以及生物认证***
US9082048B2 (en) Identification in view of biometric parameters
Sriram et al. Activity-aware ECG-based patient authentication for remote health monitoring
US20060136744A1 (en) Method and apparatus for electro-biometric identity recognition
US20050281439A1 (en) Method and apparatus for electro-biometric identity recognition
AU2005310994A1 (en) Method and apparatus for electro-biometric identity recognition
KR101986241B1 (ko) 생체신호를 이용한 멀티 모달 기반의 사용자 인증 장치 및 방법
Zhu et al. Blinkey: A two-factor user authentication method for virtual reality devices
US11494474B2 (en) Brain activity-based authentication
JP5642210B2 (ja) 電子バイオメトリック識別認識のための方法及び装置
Casanova et al. User recognition based on periocular biometrics and touch dynamics
Martinovic et al. Pulse-response: Exploring human body impedance for biometric recognition
US11500975B2 (en) Authentication device, authentication method, and computer program
Bhuva et al. A novel continuous authentication method using biometrics for IOT devices
US20180365478A1 (en) Multi-modal type wearable user authentication apparatus using bio signal
JP2005275605A (ja) 個人認証装置および個人認証方法
Kapczynski et al. User authentication based on behavioral patterns
Park Authentication with Bioelectrical Signals
Rasmussen Pulse− Response: Exploring Human Body Impedance for Biometric Recognition
WO2019153074A1 (en) System and method for liveness detection and automatic template updating using fusion of medical and non-medical biometrics

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant