KR20190085731A - Method for user authentication - Google Patents

Method for user authentication Download PDF

Info

Publication number
KR20190085731A
KR20190085731A KR1020180003953A KR20180003953A KR20190085731A KR 20190085731 A KR20190085731 A KR 20190085731A KR 1020180003953 A KR1020180003953 A KR 1020180003953A KR 20180003953 A KR20180003953 A KR 20180003953A KR 20190085731 A KR20190085731 A KR 20190085731A
Authority
KR
South Korea
Prior art keywords
user
answer
authentication
identified
biometric information
Prior art date
Application number
KR1020180003953A
Other languages
Korean (ko)
Other versions
KR102009106B1 (en
Inventor
육동석
유인철
Original Assignee
고려대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 고려대학교 산학협력단 filed Critical 고려대학교 산학협력단
Priority to KR1020180003953A priority Critical patent/KR102009106B1/en
Publication of KR20190085731A publication Critical patent/KR20190085731A/en
Application granted granted Critical
Publication of KR102009106B1 publication Critical patent/KR102009106B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31—User authentication
    • G06F21/32—User authentication using biometric data, e.g. fingerprints, iris scans or voiceprints
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/60—Information retrieval; Database structures therefor; File system structures therefor of audio data
    • G06F16/63—Querying
    • G06F16/632—Query formulation
    • G06K9/00221—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L17/00—Speaker identification or verification techniques
    • G10L17/22—Interactive procedures; Man-machine interfaces
    • G10L17/24—Interactive procedures; Man-machine interfaces the user being prompted to utter a password or a predefined phrase

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Security & Cryptography (AREA)
  • General Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Data Mining & Analysis (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Databases & Information Systems (AREA)
  • Acoustics & Sound (AREA)
  • Mathematical Physics (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Collating Specific Patterns (AREA)

Abstract

The present invention relates to a user authentication method using a two-way multi-biometric authentication technology which can be easy to use and have a strong security effect. According to one embodiment of the present invention, the user authentication method comprises the steps of: using first biometric information and identifying a user; outputting a specific query corresponding to the identified user; receiving an answer to the specific query from the identified user; analyzing the received answer; and determining whether the identified user is a normal user based on the analyzed result.

Description

사용자 인증 방법{METHOD FOR USER AUTHENTICATION}{METHOD FOR USER AUTHENTICATION}

본 발명은 사용자 인증 방법에 관한 것으로, 보다 상세하게는 사용하기 편리하면서도 강력한 보안 효과를 얻을 수 있는 양방향 다중 생체 인증 기술을 이용한 사용자 인증 방법에 관한 것이다. The present invention relates to a user authentication method, and more particularly, to a user authentication method using a bi-directional multi-biometric authentication technique that is easy to use and has a strong security effect.

비밀 번호와 같은 인증 방법은 가장 널리 쓰이는 방법이지만 누출되거나 분실, 망각 등의 위험이 존재한다. 반면 생체 특징을 이용한 생체 인식은 상대적으로 분실이나 망각의 위험이 적으면서 편리하게 이용할 수 있다. Authentication methods such as passwords are the most widely used methods, but there are risks such as leakage, loss, and oblivion. On the other hand, biometrics using biometric features are relatively easy to use with less risk of loss or forgetting.

일반적으로, 생체인식 기술은 지문, 정맥, 얼굴, 홍채, 망막, 음성 및 서명 등 인간이 지니고 있는 신체적, 행동적 특징을 이용한 보안 기술이다. 상기 생체인식 기술 중에서 현재 가장 널리 보급되어 있고, 상용화되어 있는 것이 지문인식 기술이다. 관련된 선행문헌으로 대한민국 등록특허 제10-1065188호가 있다.In general, biometrics technology is a security technology that uses human physical and behavioral characteristics such as fingerprint, vein, face, iris, retina, voice and signature. Fingerprint recognition technology is one of the most widely used and commercialized biometrics technologies. A related prior art document is Korean Patent No. 10-1065188.

대표적인 생체 인증 방식인 지문 인식의 경우 높은 신뢰도를 갖는 간편한 인증 수단이지만, 인증 단말의 접촉면을 포함하여 일상 생활에 흔적을 남기기 때문에 쉽게 누출될 수 있다. 지문은 이와 같이 누출된 후 복제되어 재현하는 형태의 보안 침투에 취약한 단점이 있다.In the case of fingerprint recognition, which is a typical biometric authentication method, it is a simple authentication means having high reliability, but it can easily leak because it leaves traces in everyday life including the contact surface of the authentication terminal. Fingerprints are vulnerable to security penetration in the form of duplication and reproduction after leakage.

또한, 얼굴 인식 역시 얼굴 사진이나 동영상 촬영 등으로 쉽게 누출되고 재현될 수 있으며, 음성 역시 녹음 및 재생을 통하여 쉽게 인증이 무력화될 수 있다. 이와 같이 생체 특징은 분실이나 망각의 위험은 적지만 누출이 쉽기 때문에 각각의 개별적인 생체 특징을 독립적으로 사용하는 인증 방법은 신뢰도에 한계가 있다. In addition, facial recognition can be easily leaked and reproduced by facial photographing or moving picture photographing, and voice can be easily disabled through recording and reproduction. As such, the biometric characteristic is low in risk of loss or forgetting, but leakage is easy, so authentication methods that use each individual biometric characteristic independently have limitations in reliability.

따라서 여러 가지 생체 특징을 양방향으로 (interactive) 복합적으로 사용하여 기존 생체 인증의 한계를 극복할 수 있는 기술에 대한 연구가 필요한 실정이다. Therefore, it is necessary to study the technology that can overcome limitations of existing biometric authentication by using various biometric features interactively and complexly.

본 발명의 목적은 사용하기 편리하면서도 강력한 보안 효과를 얻을 수 있는 양방향 다중 생체 인증 기술을 이용한 사용자 인증 방법을 제공하는 데 있다. It is an object of the present invention to provide a user authentication method using a bi-directional multiple biometric authentication technique which is easy to use and can obtain a strong security effect.

본 발명의 목적은 여러 가지 생체 특징을 양방향으로 복합적으로 사용하여 기존 생체 인증의 한계를 극복할 수 있는 사용자 인증 방법을 제공하는 데 있다. An object of the present invention is to provide a user authentication method capable of overcoming the limitations of conventional biometric authentication by using various biometric characteristics in a bidirectional manner.

상기 목적을 달성하기 위해 본 발명의 일실시예에 의하면, 제1생체 정보를 이용하여 사용자를 식별하는 단계; 상기 식별된 사용자에 대응되는 특정 질의를 출력하는 하는 단계; 상기 식별된 사용자로부터 상기 특정 질의에 대한 답변을 수신하는 단계; 상기 수신한 답변을 분석하는 단계; 및 상기 분석된 결과에 근거하여 상기 식별된 사용자가 정상 사용자인지 여부를 판단하는 단계를 포함하는 것을 특징으로 하는 사용자 인증 방법이 개시된다. According to an embodiment of the present invention, there is provided a method of authenticating a user, comprising: identifying a user using first biometric information; Outputting a specific query corresponding to the identified user; Receiving an answer to the specific query from the identified user; Analyzing the received reply; And determining whether the identified user is a normal user based on the analyzed result.

본 발명의 일실시예에 의한 사용자 인증 방법은 다양한 생체 특징을 양방향으로 복합적인 방법을 통하여 적용함으로써, 기존 생체 인증의 장점을 유지하면서 높은 안정성을 얻을 수 있다. The user authentication method according to an exemplary embodiment of the present invention can achieve high stability while maintaining the advantages of existing biometric authentication by applying various biometric features bi-directionally through a complex method.

본 발명의 일실시예에 의하면, 양방향 다중 생체 인증 기술을 이용함으로써, 사용하기 편리하면서도 강력한 보안 효과를 얻을 수 있다. According to an embodiment of the present invention, by using the bi-directional multiple biometric authentication technique, it is possible to obtain a convenient and strong security effect.

도 1은 본 발명의 일실시예와 관련된 사용자 인증 방법을 설명하기 위한 도면이다.
도 2는 본 발명의 일실시예와 관련된 사용자 인증 장치를 나타내는 블록도이다.
도 3은 본 발명의 일실시예와 관련된 사용자 인증 방법을 나타내는 흐름도이다. 1 is a diagram for explaining a user authentication method according to an embodiment of the present invention.
2 is a block diagram illustrating a user authentication device associated with an embodiment of the present invention.
3 is a flow diagram illustrating a user authentication method in accordance with an embodiment of the present invention.

이하, 본 발명의 일실시예와 관련된 사용자 인증 방법 및 장치에 대해 도면을 참조하여 설명하도록 하겠다.Hereinafter, a user authentication method and apparatus according to an embodiment of the present invention will be described with reference to the drawings.

본 명세서에서 사용되는 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "구성된다" 또는 "포함한다" 등의 용어는 명세서상에 기재된 여러 구성 요소들, 또는 여러 단계들을 반드시 모두 포함하는 것으로 해석되지 않아야 하며, 그 중 일부 구성 요소들 또는 일부 단계들은 포함되지 않을 수도 있고, 또는 추가적인 구성 요소 또는 단계들을 더 포함할 수 있는 것으로 해석되어야 한다.As used herein, the singular forms "a", "an" and "the" include plural referents unless the context clearly dictates otherwise. In this specification, the terms "comprising ", or" comprising "and the like should not be construed as necessarily including the various elements or steps described in the specification, Or may be further comprised of additional components or steps.

도 1은 본 발명의 일실시예와 관련된 사용자 인증 방법을 설명하기 위한 도면이다.1 is a diagram for explaining a user authentication method according to an embodiment of the present invention.

도시된 바와 같이, 인증 장치(100)는 사용자와 양방향으로 상호 작용하에 인증을 수행할 수 있다. 특히, 상기 인증 장치(100)는 여러 가지 생체 정보를 복합적으로 이용하는 생체 인식 기술을 이용하여 사용자 인증을 수행할 수 있다. As shown, the authentication device 100 may perform authentication in a bidirectional interaction with a user. In particular, the authentication apparatus 100 may perform user authentication using a biometric identification technique that uses a variety of biometric information.

생체 인식 기술은 사람의 측정 가능한 신체적, 행동적 특성을 추출하여 본인 여부를 비교, 확인하는 기술을 말한다. 즉, 생체 인식 기술은 신체 특성 또는 행위 특성을 측정하여 신원을 파악하는 기술이다. Biometrics is a technology that extracts human measurable physical and behavioral characteristics and compares and verifies the identity of the person. In other words, biometrics technology is a technique of identifying the identity by measuring body characteristics or behavior characteristics.

신체 정보는 인간의 신체에서 직접적으로 정보를 추출하는 것으로 지문 인식(Fingerprint), 홍채 인식(Iris-scan), 망막 인식(Retina-scan), 손모양(Hand geometry), 안면 인식(Facial recognition)의 방법이 있다. 또한, 행위 특성을 이용하는 방법은 음성인식(Voice recognition), 서명(Signature-scan) 등이 있다.Body information is information extracted directly from the human body. It is composed of fingerprint, iris-scan, retina-scan, hand geometry, facial recognition, There is a way. In addition, methods of using the behavior characteristics include voice recognition and signature-scan.

도 2는 본 발명의 일실시예와 관련된 사용자 인증 장치를 나타내는 블록도이다.2 is a block diagram illustrating a user authentication device associated with an embodiment of the present invention.

도시된 바와 같이, 인증 장치(100)는 생체 정보 수신부(110), 사전 인식부(120), 질의 출력부(130), 답변 수신부(140), 답변 분석부(150), 판단부(160), 소음 측정부(170), 인증 방법 결정부(180) 및 제어부(190)를 포함할 수 있다. As shown in the figure, the authentication apparatus 100 includes a biometric information receiving unit 110, a dictionary recognition unit 120, a query output unit 130, an answer receiving unit 140, an answer analysis unit 150, a determination unit 160, A noise measurement unit 170, an authentication method determination unit 180, and a control unit 190.

상기 생체 정보 수신부(110)는 사용자로부터 입력된 생체 정보를 수신할 수 있다. 예를 들어, 상기 생체 정보 수신부(110)는 사용자로부터 지문, 얼굴, 음성뿐만 아니라 정맥, 홍채, 망막, 필기체 등의 생체 정보를 수신할 수 있다. The biometric information receiving unit 110 can receive biometric information input from a user. For example, the biometric information receiving unit 110 can receive biometric information such as a vein, an iris, a retina, and a writing body as well as a fingerprint, a face, and a voice from a user.

상기 사전 인식부(120)는 1차적으로 수신한 사용자의 생체 정보를 이용하여 최종 인증 전에 사용자를 사전 인식하여 식별할 수 있다. The dictionary recognition unit 120 may recognize the user before the final authentication by using the biometric information of the user that is primarily received.

상기 질의 출력부(130)는 상기 식별된 사용자에 대한 특정 질의를 출력할 수 있다. 상기 특정 질의는 상기 식별된 사용자와 매핑되어 사전에 설정되어 저장될 수 있다. The query output unit 130 may output a specific query for the identified user. The specific query can be mapped with the identified user and pre-set and stored.

상기 답변 수신부(140)는 상기 특정 질의에 대한 사용자 답변 내용을 수신할 수 있다. 이 경우, 상기 사용자는 답변 입력시 수행하는 추가 생체 정보를 함께 입력할 수 있다. 예를 들어, 사용자가 음성을 통해 답변을 발화하는 경우는 답변 내용은 상기 답변 수신부(140)를 통해 수신되고, 사용자 음성은 상기 생체 정보 수신부(110)를 통해 수신될 수 있다. The answer receiver 140 may receive user response contents for the specific query. In this case, the user can input additional biometric information to be performed when an answer is input. For example, when the user speaks an answer through voice, the answer content may be received through the answering receiver 140, and the user voice may be received through the biometric information receiver 110. [

상기 답변 분석부(150)는 상기 수신된 답변 내용 및 추가 생체 정보를 이용하여 사용자의 답변을 분석할 수 있다. The answer analyzing unit 150 may analyze the user's answer using the received reply content and the additional biometric information.

상기 판단부(160)는 상기 답변 분석부(150)에서 수행한 답변 분석 결과에 근거하여 상기 식별된 사용자가 진정한 정상 사용자인지 여부를 판단할 수 있다. 예를 들어, 상기 판단부(160)는 상기 분석 결과에 따라서 상기 식별된 사용자를 정상 사용자, 거짓 사용자 및 추가 검증 대상자 중 어느 하나로 결정할 수 있다. The determination unit 160 may determine whether the identified user is a genuine normal user based on the result of the response analysis performed by the response analyzer 150. [ For example, the determination unit 160 may determine the identified user as a normal user, a false user, or an additional verification subject according to the analysis result.

한편, 본 발명의 일실시예에 의하면, 사용자의 생체 정보 수신을 통해 인증을 수행할 경우, 주변 환경에 따라 인증 방법을 달리하여 생체 인증을 수행할 수 있다. 그리고 상기 인증 방법 결정부(180)는 상기 측정된 소음 결과에 따라 인증 방법을 결정할 수 있다.Meanwhile, according to an embodiment of the present invention, when authentication is performed through reception of biometric information of a user, biometric authentication can be performed by changing the authentication method according to the surrounding environment. The authentication method determination unit 180 may determine an authentication method according to the measured noise.

예를 들어, 소음 측정부(170)는 인증 장치(100) 주변의 소음을 측정하고, 측정된 소음인 심한 경우(예를 들어, 주변 소음이 소정 임계값을 초과한 경우), 상기 인증 방법 결정부(180)는 음성 인식을 제외한 다른 생체 인증 방법을 선택할 수 있다.For example, the noise measuring unit 170 measures the noise around the authentication device 100, and when the measured noise is severe (for example, when the ambient noise exceeds a predetermined threshold value) The authentication unit 180 can select a biometric authentication method other than voice recognition.

상기 제어부(190)는 생체 정보 수신부(110), 사전 인식부(120), 질의 출력부(130), 답변 수신부(140), 답변 분석부(150), 판단부(160), 소음 측정부(170), 인증 방법 결정부(180)를 전반적으로 제어할 수 있다. The control unit 190 includes a biological information receiving unit 110, a dictionary recognition unit 120, a query output unit 130, an answer reception unit 140, an answer analysis unit 150, a determination unit 160, 170), and the authentication method determination unit 180 can be controlled as a whole.

도 3은 본 발명의 일실시예와 관련된 사용자 인증 방법을 나타내는 흐름도이다. 3 is a flow diagram illustrating a user authentication method in accordance with an embodiment of the present invention.

상기 생체 정보 수신부(110)는 사용자로부터 제1생체 정보를 수신할 수 있다(S310). The biometric information receiving unit 110 may receive the first biometric information from the user (S310).

상기 사전 인식부(120)는 상기 수신한 제1생체 정보를 이용하여 사용자를 사전 인식하여 식별할 수 있다(S320). 본 실시예에서는 사전 인식 또는 사전 식별은 처음 획득하는 사용자의 생체 정보를 이용하여 사용자를 1차적으로 인식하는 과정을 포함할 수 있다. The pre-recognition unit 120 recognizes and identifies a user using the received first biometric information (S320). In the present embodiment, the dictionary recognition or the dictionary identification may include a process of primarily recognizing the user using the biometric information of the first acquiring user.

예를 들어, 생체 정보 수신부(110)는 접근한 사용자의 얼굴 영상을 수신하고, 상기 사전 인식부(120)는 얼굴 인식 기술을 이용하여 접근된 사용자를 사전 식별할 수 있다. 상기 사전 인식부(120)는 사용자 사전 식별을 통해 상기 접근된 사용자가 정당한 사용자인지를 1차적으로 인식하고, 정당한 사용자로 인식된 경우 상기 사용자가 누구인지를 식별할 수 있다. For example, the biometric information receiving unit 110 receives the face image of the accessed user, and the dictionary recognizing unit 120 can identify the user who has been accessed using the face recognition technology. The dictionary recognition unit 120 primarily recognizes whether the accessed user is a legitimate user through the user dictionary identification and identifies the user who is recognized as a legitimate user.

상기 얼굴 인식에 필요한 사용자 얼굴 영상은 카메라 등을 통하여 자동으로 취득이 가능하다. The user face image necessary for face recognition can be automatically acquired through a camera or the like.

상기 사용자의 사전 식별과정은 상기 얼굴 인식은 지문 인식으로 대체되거나, 지문 인식과 얼굴 인식이 함께 수행함으로써, 더욱 높은 신뢰도를 제공할 수 있다. The user's pre-identification process may be replaced with fingerprint recognition, or fingerprint recognition and face recognition may be performed together to provide higher reliability.

한편, 본 발명의 일실시예에 의하면, 상기 사용자 사전 식별 과정은 주변 환경에 따라 식별을 위한 인증 방법이 달라질 수 있다. Meanwhile, according to an embodiment of the present invention, the user pre-identification process may vary the authentication method for identifying according to the surrounding environment.

예를 들어, 주변 소음이 심하지만 근거리에서 사용자의 얼굴 영상이나 지문을 획득하기 쉬운 인증 환경이라면 지문 인식과 얼굴 인식, 입술 인식 등을 조합하여 사용자를 인증할 수 있다. 반대로 직접 단말기 접촉이 어려운 환경에서는 음성 인식, 화자 인식, 얼굴 인식을 조합하여 사용자를 인증하는 것이 가능하여 진다.For example, if the authentication environment is easy to acquire a face image or a fingerprint of a user in a short distance although the surrounding noise is severe, the user can be authenticated by combining fingerprint recognition, facial recognition, and lip recognition. Conversely, in an environment in which direct terminal contact is difficult, it is possible to authenticate a user by combining speech recognition, speaker recognition, and face recognition.

즉, 상기 인증 방법 결정부(180)는 주변 환경에 적합한 생체 인증 방법을 선택하고, 상기 사전 인식부(120)는 선택된 인증 방법에 따라 사용자를 사전 식별할 수 있다. That is, the authentication method determination unit 180 selects a biometric authentication method suitable for the surrounding environment, and the dictionary recognition unit 120 can pre-identify the user according to the selected authentication method.

상기 질의 출력부(130)는 상기 식별된 사용자에 대응되는 특정 질의를 출력할 수 있다(S330). 상기 질의 출력부(130)는 대화 관리 모듈(미도시)을 포함하고, 상기 대화 관리 모듈은 상기 특정 질의를 사전에 관리할 수 있다. 예를 들어, 상기 대화 관리 모듈은 해당 사용자에 적합한 질의와 그에 대한 정답을 생성하고 양방향으로 대화가 가능한 대화 관리를 수행할 수 있다. The query output unit 130 may output a specific query corresponding to the identified user (S330). The query output unit 130 includes a dialogue management module (not shown), and the dialogue management module can manage the specific query in advance. For example, the conversation management module may generate a query suitable for the user and a correct answer thereto, and perform conversation management capable of conversation in both directions.

상기 답변 수신부(140)는 상기 특정 질의에 대한 식별된 사용자의 답변을 수신할 수 있다(S340). 상기 사용자의 답변은 음성 또는 필기 또는 음성 및 필기 모두로 요구될 수 있다. 이 경우, 사용자 답변 수행 시에는 음성이나 필기체 등의 제2생체 정보가 답변 내용과 함께 수신될 수 있다. 따라서 상기 답변 수신부(140)는 상기 답변 내용을 수신하고, 상기 생체 정보 수신부(110)는 음성이나 필기체 등의 제2생체 정보를 수신할 수 있다. The answer receiver 140 may receive an answer of the identified user for the specific query (S340). The user ' s answer may be required to be voice or handwriting, or both voice and handwriting. In this case, the second biometric information such as a voice or a handwritten character may be received together with the answer content when the user response is performed. Therefore, the answering receiver 140 receives the contents of the answer, and the biometric information receiver 110 can receive second biometric information such as voice or a writing body.

상기 답변 분석부(150)는 상기 사용자의 답변 내용 및 상기 제2생체 정보를 이용하여 사용자의 답변을 분석할 수 있다(S350). 즉, 상기 답변 분석부(150)는 답변 내용을 근거로 올바른 답을 하였는지 여부와 함께 상기 제2생체 정보가 식별된 사용자의 생체 정보와 일치하는 정도를 분석할 수 있다. The answer analyzer 150 may analyze the user's answer using the user's answer content and the second biometric information at step S350. That is, the answer analyzer 150 may analyze whether the second biometric information matches the biometric information of the identified user, together with whether the answer is correct based on the answer content.

상기 답변 분석부(150)는 답변 내용이 올바른 답변인지 여부와 함께 사용자가 답변을 발화할 때 화자 인식 기술을 이용하여 해당 사용자의 목소리가 맞는지를 함께 검증할 수 있다.The answer analyzer 150 may verify whether the answer is a correct answer or not and whether the user's voice is correct by using a speaker recognition technique when the user utters an answer.

상기 답변 분석부(150)는 사용자가 답변을 발화할 때 입술이 움직이는 패턴을 식별하여, 사전에 학습된 해당 사용자의 입술 움직임 패턴과 일치하는지를 함께 분석할 수 있다.The answer analyzer 150 may analyze a pattern in which the lips move when the user utters an answer, and analyze whether the lips match the learned lips movement pattern of the user.

상기 답변 분석부(150)는 음성 인식으로 추정한 입술 모양의 패턴과, 영상 인식으로 검출된 입술의 실제 움직임이 일치하는지 검증할 수 있다. 음성을 통하여 검출한 사용자의 발화 시점과 입술 움직임 시점의 일치 여부를 검증하고, 음성을 통하여 검출한 사용자의 발화 위치와 영상 인식을 통하여 추적된 입술의 위치가 일치하는지를 검증하여 녹음이나 녹화 재생 여부를 확인할 수 있다.The answer analyzing unit 150 can verify whether the lip shape pattern estimated by speech recognition coincides with the actual movement of the lip detected by image recognition. It is verified whether or not the user's utterance point detected by the voice matches the lips movement point, and whether or not the position of the detected lips is matched with the uttered position of the user detected through voice and the position of the lips tracked through the image recognition, Can be confirmed.

상기와 같이 분석된 답변 분석 결과에 따라서 상기 판단부(160)는 상기 식별된 사용자를 정상 사용자, 거짓 사용자 및 추가 검증 대상자 중 어느 하나로 결정할 수 있다(S360). According to the analyzed result of the answer analysis, the determination unit 160 may determine the identified user as a normal user, a false user, or an additional verification target (S360).

먼저, 상기 판단부(160)는 식별된 사용자의 분석 결과가 기 저장된 정상 사용자와 일치하는 경우(예: 일치율이 95% 이상인 경우)는 정상 사용자로 판단하고(S360, S370), 상기 판단부(160)는 식별된 사용자의 분석 결과가 기 저장된 정상 사용자와 불일치하는 경우(예: 일치율이 10% 미만인 경우)는 거짓 사용자로 판단할 수 있다(S360, S380). First, the determination unit 160 determines that the analysis result of the identified user matches a normal user (for example, the matching rate is 95% or more) as a normal user (S360, S370) 160) can determine that the analysis result of the identified user is a false user (S360, S380) when inconsistent with the previously stored normal user (e.g., when the matching rate is less than 10%).

상기 판단부(160)는 식별된 사용자의 분석 결과가 기 저장된 정상 사용자와 일치 정도가 애매한 경우(예: 일치와 불일치 사이에 일치율이 존재하는 경우), 상기 식별된 사용자를 추가 검증 대상자로 결정할 수 있다(S360, S390). If the analysis result of the identified user is ambiguous with respect to the previously stored normal user (for example, if there is a matching ratio between coincidence and inconsistency), the determination unit 160 may determine the identified user as the additional verification target (S360, S390).

추가 검증이 필요한 경우는 S330 단계로 돌아가서 새로운 질의를 생성하고 다시 사용자의 답변을 요구하여 분석이 가능하다.If additional verification is required, the flow returns to step S330 to generate a new query and request the user's answer again to analyze it.

한편, 본 발명의 일실시예에 의하면, 사용 환경에 따라서 최초에는 지문/필기 인식 없이 사용자 인증을 수행한 후, 이를 통과하지 못하여 추가적인 검증이 필요하다 판단되는 경우 지문 인식 또는 필기 인식을 함께 사용하여 상세한 인증이 가능하다. 이러한 경우 뚜렷이 정상 사용자라 판별된 경우 지문 날인이나 필기 과정 없이 간편하게 인증을 통과할 수 있고, 미심쩍은 사용자에 대해서만 추가적으로 확인 단계를 거칠 수 있다.Meanwhile, according to an embodiment of the present invention, after performing user authentication without fingerprint / handwriting recognition at first according to the use environment, if it is determined that additional verification is necessary because the fingerprint authentication can not pass through the user authentication, fingerprint recognition or handwriting recognition may be used together Detailed authentication is possible. In this case, if it is determined that the user is clearly a normal user, authentication can be easily passed without a fingerprint seal or a handwriting process, and an additional confirmation step can be performed only for the suspicious user.

상술한 본 발명의 일실시예에 의한 사용자 인증 방법은 사용자 인증이 필요한 분야에서 광범위하게 이용 가능하다. 상기 사용자 인증 방법은 다양한 생체 정보를 조합하여 사용자 인증이 가능하기 때문에 상대적으로 특정 생체 정보를 얻기 어려운 경우에는 해당 정보를 다른 생체 정보로 대체하여 적용이 가능하다.The user authentication method according to an embodiment of the present invention can be widely used in fields requiring user authentication. Since the user authentication method can perform user authentication by combining various biometric information, when it is difficult to obtain specific biometric information, the user authentication method can be applied by replacing the information with other biometric information.

일례로, 인증 단말기에 접근이 용이하며 높은 신뢰성이 요구되는 환경에서는 지문 인식과 얼굴 인식, 입술 모양 인식과 음성 인식, 화자 인식 등을 결합할 수 있다. 사용자의 얼굴이 맞는지(얼굴 인식), 해당 사용자의 음성이 맞는지 (화자 인식), 그 사람에 맞춘 질문에 제대로 답변하고 있는지 (대화 관리 및 음성 인식), 이 때 입술 모양이 말하는 내용과 일치하고 있는지 (입술 인식), 목소리가 실제 그 사람의 입에서 나오고 있는지(음원 위치 추적), 입술의 움직이는 패턴이 평소 그 사람의 입술 모양 패턴인지 등을 모두 종합적으로 판별하여 최종적으로 대상 사용자가 맞는지를 식별할 수 있다. 이러한 동작 예에서도 정상 사용자의 경우 단말기에 손가락을 가져다 대고, 시스템이 물어보는 질문 몇 가지에만 답변하면 되므로 편리하게 이용이 가능하다. 그러나 이에 침투하려는 거짓 사용자의 경우 질문의 내용이 매번 달라지므로 녹음된 음성이나 사전에 촬영된 사진 등을 사용할 수 없게 된다. 음성 합성 시스템(TTS: text-to-speech) 과 같은 첨단의 기기를 이용하여 질문에 맞는 답변 음성을 생성하더라도 스피커로부터 발생하는 소리이므로 입에서 발화되는 소리가 아닌 것을 시스템에서 검출이 가능하다.For example, in an environment where access to the authentication terminal is easy and high reliability is required, fingerprint recognition and face recognition, lip shape recognition, speech recognition, and speaker recognition can be combined. Whether or not the user's face is correct (face recognition), whether the user's voice is correct (speaker recognition), whether the user is properly responding to the person's question (dialog management and voice recognition) (Lips recognition), whether the voice is actually coming out of the mouth of the person (sound source position tracking), whether the moving pattern of the lips is the usual lips pattern of the person, and the like are ultimately discriminated . In this example of operation, the normal user can easily use the terminal because he or she can take a finger to the terminal and answer only a few questions asked by the system. However, in the case of a false user who intends to penetrate, the content of the question is changed every time, so that the recorded voice or the previously taken picture can not be used. Even if a high-tech device such as a speech synthesis system (TTS: text-to-speech) is used to generate an answer voice suited to a question, the system can detect that the sound is generated from the speaker,

상기 사용 예에서 추가적으로 필기 입력이 가능한 경우 질문에 대한 답변을 음성으로 발화하는 것 뿐 아니라 필기로도 답변할 수 있도록 하여 추가적인 신뢰도 향상이 가능할 수 있다.In the above example, if the handwriting input is additionally possible, the answer to the question can be answered not only by speech but also by handwriting, thereby further improving the reliability.

전술한 바와 같이, 본 발명의 일실시예에 의한 사용자 인증 방법은 다양한 생체 특징을 양방향으로 복합적인 방법을 통하여 적용함으로써, 기존 생체 인증의 장점을 유지하면서 높은 안정성을 얻을 수 있다. As described above, the user authentication method according to an exemplary embodiment of the present invention applies a variety of biometric features bi-directionally through a complex method, thereby achieving high stability while maintaining the advantages of existing biometric authentication.

본 발명의 일실시예에 의하면, 양방향 다중 생체 인증 기술을 이용함으로써, 사용하기 편리하면서도 강력한 보안 효과를 얻을 수 있다. According to an embodiment of the present invention, by using the bi-directional multiple biometric authentication technique, it is possible to obtain a convenient and strong security effect.

상술한 사용자 인증 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터로 판독 가능한 기록 매체에 기록될 수 있다. 이때, 컴퓨터로 판독 가능한 기록매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 한편, 기록매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지된 것일 수도 있다.The above-described user authentication method may be implemented in the form of a program command that can be executed through various computer means and recorded in a computer-readable recording medium. At this time, the computer-readable recording medium may include program commands, data files, data structures, and the like, alone or in combination. On the other hand, the program instructions recorded on the recording medium may be those specially designed and configured for the present invention or may be those known to those skilled in the computer software.

컴퓨터로 판독 가능한 기록매체에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(Magnetic Media), CD-ROM, DVD와 같은 광기록 매체(Optical Media), 플롭티컬 디스크(Floptical Disk)와 같은 자기-광 매체(Magneto-Optical Media), 및 롬(ROM), 램(RAM), 플래시 메모리, SSD (Solid State Drive)와 같은 메모리 저장장치 등 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. The computer-readable recording medium includes a magnetic recording medium such as a magnetic medium such as a hard disk, a floppy disk and a magnetic tape, an optical medium such as a CD-ROM and a DVD, a magnetic disk such as a floppy disk, A hard disk drive, a magneto-optical medium, and a memory device such as a ROM, a RAM, a flash memory, and a solid state drive (SSD).

한편, 이러한 기록매체는 프로그램 명령, 데이터 구조 등을 지정하는 신호를 전송하는 반송파를 포함하는 광 또는 금속선, 도파관 등의 전송 매체일 수도 있다.The recording medium may be a transmission medium, such as a light or metal line, a wave guide, or the like, including a carrier wave for transmitting a signal designating a program command, a data structure, and the like.

또한, 프로그램 명령에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상술한 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.The program instructions also include machine language code, such as those generated by the compiler, as well as high-level language code that can be executed by a computer using an interpreter or the like. The hardware devices described above may be configured to operate as one or more software modules to perform the operations of the present invention, and vice versa.

상기와 같이 설명된 사용자 인증 방법 및 장치는 상기 설명된 실시예들의 구성과 방법이 한정되게 적용될 수 있는 것이 아니라, 상기 실시예들은 다양한 변형이 이루어질 수 있도록 각 실시예들의 전부 또는 일부가 선택적으로 조합되어 구성될 수도 있다.The above-described user authentication method and apparatus are not limited to the configuration and method of the above-described embodiments, but the embodiments may be modified so that all or some of the embodiments are selectively combined .

100: 인증 장치
110: 생체 정보 수신부
120: 사전 인식부
130: 질의 출력부
140: 답변 수신부
150: 답변 분석부
160: 판단부
170: 소음 측정부
180: 인증 방법 결정
190: 제어부 100: Authentication device
110: Biometric information receiver
120:
130: query output unit
140: Answer receiver
150:
160:
170: Noise measuring unit
180: Determine Authentication Method
190:

Claims (7)

제1생체 정보를 이용하여 사용자를 식별하는 단계;
상기 식별된 사용자에 대응되는 특정 질의를 출력하는 하는 단계;
상기 식별된 사용자로부터 상기 특정 질의에 대한 답변을 수신하는 단계;
상기 수신한 답변을 분석하는 단계; 및
상기 분석된 결과에 근거하여 상기 식별된 사용자가 정상 사용자인지 여부를 판단하는 단계를 포함하는 것을 특징으로 하는 사용자 인증 방법. Identifying the user using the first biometric information;
Outputting a specific query corresponding to the identified user;
Receiving an answer to the specific query from the identified user;
Analyzing the received reply; And
And determining whether the identified user is a normal user based on the analyzed result. 제1항에 있어서,
상기 답변을 수신하는 단계는 상기 사용자가 답변 입력시 수행하는 제2생체 정보를 수신하는 단계를 포함하는 것을 특징으로 하는 사용자 인증 방법. The method according to claim 1,
Wherein the step of receiving the response includes receiving the second biometric information performed by the user upon inputting an answer. 제2항에 있어서, 상기 답변 분석 단계는
상기 사용자의 답변 내용 및 상기 제2생체 정보를 이용하여 상기 사용자의 답변을 분석하는 단계를 포함하는 것을 특징으로 하는 사용자 인증 방법.3. The method of claim 2,
And analyzing the user's answer using the user's answer content and the second biometric information. 제1항에 있어서, 상기 판단 단계는
상기 분석 결과에 근거하여 상기 식별된 사용자를 정상 사용자, 거짓 사용자 및 추가 검증 대상자 중 어느 하나로 결정하는 단계를 포함하는 것을 특징으로 하는 사용자 인증 방법. 2. The method according to claim 1,
And determining the identified user as a normal user, a false user, or an additional verification subject based on the analysis result. 제4항에 있어서,
상기 판단 단계에서 상기 식별된 사용자가 추가 검증 대상자로 결정된 경우,
상기 식별된 사용자에게 새로운 질의를 출력하는 단계; 및
상기 식별된 사용자로부터 수신한 상기 새로운 질의에 대한 답변을 근거로 상기 식별된 사용자의 추가 인증을 수행하는 단계를 더 포함하는 것을 특징으로 하는 사용자 인증 방법.5. The method of claim 4,
If the identified user is determined as the additional verification target in the determination step,
Outputting a new query to the identified user; And
Further comprising performing additional authentication of the identified user based on a response to the new query received from the identified user. 제1항에 있어서, 상기 사용자 식별 단계는
소정 공간 내에서의 소음을 측정하는 단계;
상기 소음 측정 결과에 따라 인증 방법을 결정하는 단계; 및
상기 결정된 인증 방법에 따라 상기 사용자를 식별하는 단계를 포함하는 것을 특징으로 하는 사용자 인증 방법.The method of claim 1, wherein the identifying user step
Measuring noise within the predetermined space;
Determining an authentication method according to the noise measurement result; And
And identifying the user according to the determined authentication method. 제2항에 있어서,
상기 사용자 식별 단계는 상기 사용자의 얼굴 인식을 이용하여 상기 사용자를 식별하는 단계를 포함하고,
상기 답변 분석 단계는 상기 사용자의 답변 내용 및 상기 사용자가 답변 입력 시 수행한 입력 음성을 이용하여 상기 사용자의 답변을 분석하는 단계를 포함하는 것을 특징으로 하는 사용자 인증 방법.3. The method of claim 2,
Wherein the identifying user step comprises identifying the user using face recognition of the user,
And analyzing the user's answer using the answer content of the user and the input speech performed by the user when inputting an answer.
KR1020180003953A 2018-01-11 2018-01-11 Method for user authentication KR102009106B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020180003953A KR102009106B1 (en) 2018-01-11 2018-01-11 Method for user authentication

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180003953A KR102009106B1 (en) 2018-01-11 2018-01-11 Method for user authentication

Publications (2)

Publication Number Publication Date
KR20190085731A true KR20190085731A (en) 2019-07-19
KR102009106B1 KR102009106B1 (en) 2019-08-08

Family

ID=67512045

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180003953A KR102009106B1 (en) 2018-01-11 2018-01-11 Method for user authentication

Country Status (1)

Country Link
KR (1) KR102009106B1 (en)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021055796A1 (en) * 2019-09-20 2021-03-25 Micron Technology, Inc. Methods and apparatus for persistent biometric profiling
KR20220001191A (en) * 2020-06-29 2022-01-05 주식회사 카카오뱅크 Method for performing video call certification
CN114641966A (en) * 2019-09-12 2022-06-17 索尼集团公司 Authentication device, authentication method, program, and information processing device

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6342325B2 (en) * 2011-05-25 2018-06-13 イナート・ファルマ・ソシエテ・アノニムＩｎｎａｔｅ Ｐｈａｒｍａ Ｐｈａｒｍａ Ｓ．Ａ． Anti-KIR antibodies for the treatment of inflammatory disorders
KR102535244B1 (en) * 2021-04-28 2023-05-26 주식회사 와이티 identification system and method using landmark of part of the face and voice recognition

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20100028695A (en) * 2008-09-05 2010-03-15 윤현진 Membership management system for foreign language immersional education and operating method thereof

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20100028695A (en) * 2008-09-05 2010-03-15 윤현진 Membership management system for foreign language immersional education and operating method thereof

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114641966A (en) * 2019-09-12 2022-06-17 索尼集团公司 Authentication device, authentication method, program, and information processing device
US20220318357A1 (en) * 2019-09-12 2022-10-06 Sony Group Corporation Authentication device, authentication method, program, and information processing device
WO2021055796A1 (en) * 2019-09-20 2021-03-25 Micron Technology, Inc. Methods and apparatus for persistent biometric profiling
KR20220001191A (en) * 2020-06-29 2022-01-05 주식회사 카카오뱅크 Method for performing video call certification

Also Published As

Publication number Publication date
KR102009106B1 (en) 2019-08-08

Similar Documents

Publication Publication Date Title
US10635800B2 (en) System, device, and method of voice-based user authentication utilizing a challenge
KR102009106B1 (en) Method for user authentication
US11468901B2 (en) End-to-end speaker recognition using deep neural network
KR102196686B1 (en) Identity authentication method and device
EP3540621B1 (en) Identity authentication method and apparatus, terminal and server
US6219639B1 (en) Method and apparatus for recognizing identity of individuals employing synchronized biometrics
US6411933B1 (en) Methods and apparatus for correlating biometric attributes and biometric attribute production features
Singh et al. Applications of speaker recognition
Bigun et al. Multimodal biometric authentication using quality signals in mobile communications
US9430627B2 (en) Method and system for enforced biometric authentication
US11699449B2 (en) In-ear liveness detection for voice user interfaces
Fierrez-Aguilar et al. Kernel-based multimodal biometric verification using quality signals
Chou Presentation attack detection based on score level fusion and challenge-response technique
KR101754954B1 (en) Certification system and method using autograph and voice
US11715330B2 (en) Liveness detection in an interactive video session
Saleema et al. Voice biometrics: the promising future of authentication in the internet of things
Aides et al. Robust audiovisual liveness detection for biometric authentication using deep joint embedding and dynamic time warping
KR20200089519A (en) User authentication method and apparatus using biometric information
Can et al. A Review of Recent Machine Learning Approaches for Voice Authentication Systems
Kumar et al. Soundless Credential Validation based on Lip Synchronization in Image Processing.
US10789960B2 (en) Method and system for user authentication by voice biometrics
Aloufi et al. On-Device Voice Authentication with Paralinguistic Privacy
Shang Security and Privacy Issues of Mobile Cyber-Physical Systems
KR20220080950A (en) Smart speaker security enhancement method using user location tracking and face recognition
Guo Toward Private, Secure, and Robust AI-Enabled Voice Services

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right