KR20200010041A - Method and apparatus for performing user authentication - Google Patents

Method and apparatus for performing user authentication Download PDF

Info

Publication number
KR20200010041A
KR20200010041A KR1020190079001A KR20190079001A KR20200010041A KR 20200010041 A KR20200010041 A KR 20200010041A KR 1020190079001 A KR1020190079001 A KR 1020190079001A KR 20190079001 A KR20190079001 A KR 20190079001A KR 20200010041 A KR20200010041 A KR 20200010041A
Authority
KR
South Korea
Prior art keywords
electronic device
user
task
subject
live challenge
Prior art date
Application number
KR1020190079001A
Other languages
Korean (ko)
Inventor
아리한트 쟁
아제이 샤르마
라휼 야다브
카우샤랜드라 미슈라
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to CN201980045581.1A priority Critical patent/CN112384916B/en
Priority to EP19836976.1A priority patent/EP3769246A4/en
Priority to PCT/KR2019/008890 priority patent/WO2020017902A1/en
Priority to US16/515,815 priority patent/US11281760B2/en
Publication of KR20200010041A publication Critical patent/KR20200010041A/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31—User authentication
    • G06F21/36—User authentication by graphic or iconic representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31—User authentication
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/45—Structures or tools for the administration of authentication
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2221/00—Indexing scheme relating to security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F2221/21—Indexing scheme relating to G06F21/00 and subgroups addressing additional information or applications relating to security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F2221/2133—Verifying human interaction, e.g., Captcha

Abstract

According to one embodiment of the present disclosure, provided is a method for performing user authentication, which receives a user authentication request for access to at least one application running on an electronic device, determines a subject and a task constituting a live challenge for authentication based on a context parameter associated with at least one of the electronic device and a user, provides the live challenge generated based on the determination, and determines whether to access to at least one application based on whether the provided live challenge is performed.

Description

사용자 인증을 수행하는 방법 및 장치 {METHOD AND APPARATUS FOR PERFORMING USER AUTHENTICATION}Method and device for performing user authentication {METHOD AND APPARATUS FOR PERFORMING USER AUTHENTICATION}

본 개시는 사용자 인증 기술에 관한 것이다. 보다 구체적으로, 본 개시는 전자 장치의 사용자와 연관된 컨텍스트 파라미터를 기초로 생성된 라이브 챌린지를 제공하여 사용자 인증을 수행하는 방법 및 장치에 관한 것이다. The present disclosure relates to user authentication techniques. More specifically, the present disclosure relates to a method and apparatus for performing user authentication by providing a live challenge generated based on a context parameter associated with a user of an electronic device.

다양한 유형의 전자 장치에서 디지털 통신 기술이 드라마틱하게 개발됨에 따라, 데이터의 보안을 유지하는 것에 대한 우려가 점차 커지고 있다. 전자 장치에 있어서, 데이터 보안은 허가되지 않은 개인 및 단체에 대해 정보의 액세스, 사용, 공개, 수정 및 파기를 보호하는 것이 요구된다. As the digital communication technology is dramatically developed in various types of electronic devices, there is a growing concern about keeping data secure. In electronic devices, data security is required to protect the access, use, disclosure, modification and destruction of information for unauthorized individuals and organizations.

일반적으로, 특정 프로그램, 애플리케이션, 데이터, 웹 사이트 등과 같은 전자 장치의 제한된 특징에 액세스하기 위해, 사용자가 이에 대한 권한이 있음을 허가 받을 수 있도록, 패스워드를 입력하라는 메시지가 표시될 수 있다. 이외에도 전자 장치의 사용자를 식별 및/ 또는 인증하기 위한 여러 가지 방법이 존재한다. 인증은, 예를 들어, PIN 기반 인증, 패턴-락 기반 인증, CAPTCHA 기반 인증, 생체 인식 (지문 인식, 얼굴 인식, 홍채 인식) 기반 인증 등을 포함할 수 있다. 도 1a는 기존 기술에 따른 인증 유형의 예시들을 도시한 도면이다. In general, in order to access a limited feature of an electronic device, such as a particular program, application, data, web site, etc., a message may be prompted to enter a password so that a user may be authorized to do so. In addition, there are various methods for identifying and / or authenticating a user of the electronic device. The authentication may include, for example, PIN based authentication, pattern-lock based authentication, CAPTCHA based authentication, biometric (fingerprint recognition, face recognition, iris recognition) based authentication, and the like. 1A is a diagram illustrating examples of authentication types according to the existing technology.

그러나, 기존의 사용자 인증 방법은 상호적이지 않고 번거롭다는 문제가 있다. 예를 들어, 사용자가 전자 장치의 애플리케이션/웹 사이트에 액세스하기를 원하는 경우, 기존의 방법은 CAPTCHA, RE-CAPTCHA를 사용하여 웹 로봇(즉, BOT)으로부터 사용자를 식별하고 사용자에게 액세스에 대한 권한을 부여할 수 있다. 사용자는 도 1a에 도시된 바와 같은 챌린지 (예를 들어, 보안 문자(10), 패턴(20), 질문)를 해결할 때 애플리케이션/웹 사이트에 액세스할 수 있다. 도 1a에 도시된 방법에 따르면, BOT이 응용 프로그램 / 웹 사이트를 사용하는 것을 막을 수 있다. 그러나 챌린지 과제가 이미 만들어져 전자 장치에 저장됨에 따라, 비대화형 인증 방법이 수행되게 된다. However, there is a problem that existing user authentication methods are not mutual and cumbersome. For example, if a user wants to access an application / website on an electronic device, the traditional method uses CAPTCHA, RE-CAPTCHA to identify the user from a web robot (ie BOT) and give the user permission to access it. Can be given. A user may access an application / website when solving a challenge (eg, captcha 10, pattern 20, question) as shown in FIG. 1A. According to the method shown in FIG. 1A, the BOT can be prevented from using an application / website. However, as the challenge task is already created and stored in the electronic device, a non-interactive authentication method is performed.

따라서, 인증에 있어서, 전술한 단점 또는 다른 단점을 해소하기 위한 보다 유용한 대안 기술이 필요한 실정이다. Thus, there is a need for more useful alternative techniques for mitigating the above or other disadvantages in authentication.

개시된 실시예는 전자 장치의 사용자와 연관된 컨텍스트 파라미터를 기초로 라이브 챌린지를 생성하고, 이를 기반으로 사용자 인증을 수행할 수 있다. 또한, 개시된 실시예는 전자 장치의 주변의 객체를 인지하고, 이를 기반으로 생성된 라이브 챌린지를 AR 모드에서 제공함으로써 사용자 인증을 수행할 수 있다. The disclosed embodiment may generate a live challenge based on a context parameter associated with a user of the electronic device, and perform user authentication based on the live challenge. In addition, the disclosed embodiment may perform user authentication by recognizing an object around the electronic device and providing a live challenge generated in the AR mode in the AR mode.

일 실시예에 따른 사용자 인증을 수행하는 방법은, 전자 장치에서 실행되는 적어도 하나의 애플리케이션으로의 액세스를 위한 사용자 인증 요청을 수신하는 단계; 전자 장치 및 사용자 중 적어도 하나와 연관된 컨텍스트 파라미터를 기초로 인증을 위한 라이브 챌린지를 구성하는 주체 및 태스크를 결정하는 단계; 결정에 기초하여 생성된 라이브 챌린지를 제공하는 단계; 및 제공된 라이브 챌린지의 수행 여부에 기초하여 적어도 하나의 애플리케이션으로의 액세스 여부를 결정하는 단계를 포함할 수 있다. According to an embodiment, a method of performing user authentication may include receiving a user authentication request for access to at least one application executed in an electronic device; Determining a subject and a task constituting a live challenge for authentication based on a context parameter associated with at least one of the electronic device and the user; Providing a live challenge generated based on the determination; And determining whether to access at least one application based on whether the provided live challenge is performed.

일 실시예에 따른 사용자 인증을 수행하는 방법은, 전자 장치에 구비된 카메라의 FoV(field of view)에 표시된 객체를 식별하는 단계를 더 포함하고, 주체 및 태스크를 결정하는 단계는, 식별된 객체 및 컨텍스트 파라미터를 기초로 주체 및 태스크를 결정할 수 있다. According to an embodiment, a method of performing user authentication may further include identifying an object displayed in a field of view (FoV) of a camera included in an electronic device, and determining the subject and the task may include identifying the identified object. And a subject and a task based on the context parameter.

일 실시예에 따른 사용자 인증을 수행하는 방법에 있어서, 주체 및 태스크를 결정하는 단계는, 식별된 객체에 대응되는 주체를 결정하는 단계; 및 결정된 주체가 수행 가능한 태스크를 결정하는 단계를 포함하고, 라이브 챌린지를 제공하는 단계는, 결정된 태스크를 유도하는 질문을 표시하는 단계를 포함할 수 있다. According to an embodiment, a method of performing user authentication may include: determining a subject and a task, including: determining a subject corresponding to the identified object; And determining a task that can be performed by the determined subject, and providing a live challenge may include displaying a question inducing the determined task.

일 실시예에 따른 사용자 인증을 수행하는 방법에 있어서, 라이브 챌린지를 제공하는 단계는, 전자 장치에 AR (augmented reality) 모드가 설정됨에 따라, 주체 및 태스크로 구성된 라이브 챌린지의 AR 영상을 식별된 객체에 중첩하여 출력하는 단계를 포함할 수 있다. In the method of performing user authentication according to an embodiment of the present disclosure, the providing of the live challenge may include identifying an AR image of a live challenge including a subject and a task as an augmented reality (AR) mode is set in the electronic device. It may include the step of overlapping the output.

일 실시예에 따른 사용자 인증을 수행하는 방법은, 객체 식별 이후의 상기 전자 장치 또는 상기 사용자의 이동 (movement) 정보를 결정하는 단계를 더 포함하고, AR 영상을 출력하는 단계는, 결정된 이동 정보에 기초하여, AR 영상이 출력되는 위치를 조정하는 단계를 포함할 수 있다. The method of performing user authentication according to an embodiment may further include determining movement information of the electronic device or the user after object identification, and outputting an AR image may include determining the movement information. Based on the above, the method may include adjusting a position at which the AR image is output.

일 실시예에 따른 사용자 인증을 수행하는 방법은, 전자 장치의 위치를 식별하는 단계; 및 식별된 전자 장치의 위치에 기초하여, 전자 장치의 주변에 존재하는 객체를 결정하는 단계를 포함하고, 주체 및 태스크를 결정하는 단계는, 결정된 객체 및 컨텍스트 파라미터를 기초로 주체 및 태스크를 결정할 수 있다. According to an embodiment, a method of performing user authentication may include identifying a location of an electronic device; And determining an object that exists around the electronic device based on the identified location of the electronic device, and determining the subject and the task may determine the subject and the task based on the determined object and the context parameter. have.

일 실시예에 따른 사용자 인증을 수행하는 방법에 있어서, 액세스 여부를 결정하는 단계는, 라이브 챌린지에 대응되는 사용자의 동작이 기 설정된 시간 내에 식별되지 않음에 따라, 적어도 하나의 애플리케이션에 대한 액세스를 거부(deny)하고, 라이브 챌린지에 대응되는 사용자의 동작이 기 설정된 시간 내에 식별됨에 따라, 적어도 하나의 애플리케이션에 대한 액세스를 허용할 수 있다. In a method of performing user authentication according to an embodiment, determining whether to access may deny access to at least one application because an operation of a user corresponding to a live challenge is not identified within a preset time. The user may allow access to at least one application as the user's operation corresponding to the deny and the live challenge is identified within a preset time.

일 실시예에 따른 사용자 인증을 수행하는 방법에 있어서, 컨텍스트 파라미터는, 전자 장치의 설정 정보, 사용자 인증 요청이 수신된 시간 및 위치, 전자 장치에서 사용자가 수행한 활동(activity), 전자 장치에 수신된 알림, SNS (social network service) 정보, 전자 장치의 주변 환경 정보, 전자 장치가 연결된 네트워크 및 전자 장치에 접속된 다른 전자 장치에 관한 정보 중 적어도 하나를 포함할 수 있다. In the method of performing user authentication according to an embodiment, the context parameter may include setting information of the electronic device, a time and location at which the user authentication request is received, activity performed by the user in the electronic device, and received by the electronic device. And at least one of a notification, social network service (SNS) information, surrounding environment information of the electronic device, a network to which the electronic device is connected, and information about another electronic device connected to the electronic device.

일 실시예에 따른 사용자 인증을 수행하는 방법에 있어서, 주체 및 태스크를 결정하는 단계는, 컨텍스트 파라미터를 기초로, 기 설정된 학습 네트워크 모델을 이용하여, 주체 및 태스크를 결정할 수 있다. In the method of performing user authentication according to an embodiment, the determining of the subject and the task may determine the subject and the task using a preset learning network model based on a context parameter.

일 실시예에 따른 사용자 인증을 수행하는 전자 장치는, 입출력부; 인스트럭션을 저장하는 메모리; 및 메모리와 접속된 적어도 하나의 프로세서를 포함하고, 적어도 하나의 프로세서는, 인스트럭션을 실행함으로써, 전자 장치에서 실행되는 적어도 하나의 애플리케이션으로의 액세스를 위한 사용자 인증 요청을 입출력부를 통해 수신하고, 전자 장치 및 사용자 중 적어도 하나와 연관된 컨텍스트 파라미터를 기초로 인증을 위한 라이브 챌린지를 구성하는 주체 및 태스크를 결정하며, 결정에 기초하여 생성된 라이브 챌린지를 입출력부를 통해 제공하고, 제공된 라이브 챌린지의 수행 여부에 기초하여 적어도 하나의 애플리케이션으로의 액세스 여부를 결정할 수 있다. According to an embodiment, an electronic device for performing user authentication may include: an input / output unit; A memory for storing instructions; And at least one processor connected to the memory, wherein the at least one processor receives a user authentication request for access to at least one application executed in the electronic device through the input / output unit by executing an instruction, And determine a subject and a task constituting a live challenge for authentication based on a context parameter associated with at least one of the user, provide a live challenge generated based on the determination through the input / output unit, and based on whether the provided live challenge is performed. To determine whether to access at least one application.

일 실시예에 따른 컴퓨터 프로그램 제품은 전자 장치에서 실행되는 적어도 하나의 애플리케이션으로의 액세스를 위한 사용자 인증 요청을 수신하는 동작; 전자 장치 및 사용자 중 적어도 하나와 연관된 컨텍스트 파라미터를 기초로 인증을 위한 라이브 챌린지를 구성하는 주체 및 태스크를 결정하는 동작; 결정에 기초하여 생성된 라이브 챌린지를 제공하는 동작; 및 제공된 라이브 챌린지의 수행 여부에 기초하여 적어도 하나의 애플리케이션으로의 액세스 여부를 결정하는 동작을 수행하도록 하는 프로그램이 저장된 기록매체를 포함할 수 있다. According to an embodiment, a computer program product may include receiving a user authentication request for access to at least one application executed in an electronic device; Determining a subject and a task constituting a live challenge for authentication based on a context parameter associated with at least one of the electronic device and the user; Providing a live challenge generated based on the determination; And a recording medium storing a program for performing an operation of determining whether to access at least one application based on whether the provided live challenge is performed.

도 1a는 기존 기술에 따른 인증 유형의 예시들을 도시한 도면이다.
도 1b는 본 개시의 실시예에 따라 사용자 인증을 수행하는 방법을 설명하기 위한 도면이다.
도 2는 본 개시의 일 실시예에 따른 전자 장치의 블록도이다.
도 3은 본 개시의 일 실시 예에 따른 전자 장치의 라이브 챌린지 엔진을 나타내는 블록도이다.
도 4는 본 개시의 일 실시예에 따라 라이브 챌린지를 생성하기 위한 라이브 챌린지 엔진의 프로세스를 설명하기 위한 도면이다.
도 5는 본 개시의 일 실시예에 따른 전자 장치의 사용자를 인증하는 방법을 설명하기 위한 도면이다.
도 6은 본 개시의 일 실시예에 따라 사용자를 인증하기 위한 전자 장치의 인증 엔진의 블록도이다.
도 7a는 본 개시의 일 실시예에 따른 전자 장치가 사용자 주변의 객체를 포착하여 표시하는 프로세스를 설명하기 위한 도면이다.
도 7b는 본 개시의 일 실시예에 따른 전자 장치가 사용자 주변의 객체를 기초로 스토리를 결정하는 프로세스를 설명하기 위한 도면이다.
도 7c는 본 개시의 일 실시예에 따른 전자 장치가 스토리에 대한 주체를 결정하는 프로세스를 설명하기 위한 도면이다.
도 7d는 본 개시의 일 실시예에 따른 전자 장치가 스토리, 주체 및 태스크를 기초로 라이브 챌린지를 생성하는 프로세스를 설명하기 위한 도면이다.
도 8a는 본 개시의 일 실시예에 따라 전자 장치의 사용자를 인증하는 방법을 설명하기 위한 흐름도의 제 1 부분이다.
도 8b는 본 개시의 일 실시예에 따라 전자 장치의 사용자를 인증하는 방법을 설명하기 위한 흐름도의 제 2 부분이다.
도 9는 본 개시의 일 실시예에 따른 전자 장치가 날씨 정보를 기초로 생성된 라이브 챌린지를 이용하여 사용자를 인증하는 방법을 설명하기 위한 도면이다.
도 10은 본 개시의 일 실시예에 따라 인식된 객체를 기초로 생성된 라이브 챌린지를 이용하여 사용자를 인증하는 방법을 설명하기 위한 도면이다.
도 11은 본 개시의 일 실시예에 따라 인식된 객체를 기초로 생성된 라이브 챌린지를 이용하여 사용자를 인증하는 방법을 설명하기 위한 도면이다.
도 12는 본 개시의 일 실시예에 따라 인식된 객체를 기초로 생성된 라이브 챌린지를 이용하여 사용자를 인증하는 방법을 설명하기 위한 도면이다.
도 13은 본 개시의 일 실시예에 따라 인식된 객체를 기초로 생성된 라이브 챌린지를 이용하여 사용자를 인증하는 방법을 설명하기 위한 도면이다.
도 14는 본 개시의 일 실시예에 따라 인식된 객체를 기초로 생성된 라이브 챌린지를 이용하여 사용자를 인증하는 방법을 설명하기 위한 도면이다.
도 15는 본 개시의 일 실시예에 따라 컨텍스트 파라미터를 기초로 생성된 라이브 챌린지를 이용하여 사용자를 인증하는 방법을 설명하기 위한 도면이다.
도 16은 본 개시의 일 실시예에 따라 컨텍스트 파라미터를 기초로 생성된 라이브 챌린지를 이용하여 사용자를 인증하는 방법을 설명하기 위한 도면이다.
도 17은 본 개시의 일 실시예에 따라 컨텍스트 파라미터를 기초로 생성된 라이브 챌린지를 이용하여 사용자를 인증하는 방법을 설명하기 위한 도면이다.
도 18은 본 개시의 일 실시예에 따라 컨텍스트 파라미터를 기초로 생성된 라이브 챌린지를 이용하여 사용자를 인증하는 방법을 설명하기 위한 도면이다.
도 19는 본 개시의 일 실시예에 따라 컨텍스트 파라미터를 기초로 생성된 라이브 챌린지를 이용하여 사용자를 인증하는 방법을 설명하기 위한 도면이다.
도 20은 일 실시예에 따른 전자 장치가 사용자 인증을 수행하는 방법을 설명하기 위한 도면이다.
도 21은 일 실시예에 따라 사용자 인증을 수행하는 전자 장치의 블록도이다. 1A is a diagram illustrating examples of authentication types according to the existing technology.
1B is a diagram for describing a method of performing user authentication according to an embodiment of the present disclosure.
2 is a block diagram of an electronic device according to an embodiment of the present disclosure.
3 is a block diagram illustrating a live challenge engine of an electronic device according to an embodiment of the present disclosure.
4 is a diagram for describing a process of a live challenge engine for generating a live challenge according to one embodiment of the present disclosure.
5 is a diagram for describing a method of authenticating a user of an electronic device, according to an exemplary embodiment.
6 is a block diagram of an authentication engine of an electronic device for authenticating a user according to an embodiment of the present disclosure.
FIG. 7A is a diagram for describing a process of capturing and displaying an object around a user by an electronic device according to an embodiment of the present disclosure.
FIG. 7B is a diagram for describing a process of determining, by an electronic device, a story based on objects around a user, according to an embodiment of the present disclosure.
7C is a diagram for describing a process of determining, by an electronic device, a subject for a story, according to an embodiment of the present disclosure.
FIG. 7D is a diagram for describing a process in which an electronic device generates a live challenge based on a story, a subject, and a task, according to an embodiment of the present disclosure.
8A is a first portion of a flowchart for describing a method of authenticating a user of an electronic device according to an embodiment of the present disclosure.
8B is a second part of a flowchart for describing a method of authenticating a user of an electronic device, according to an embodiment of the present disclosure.
FIG. 9 is a diagram for describing a method of authenticating a user using a live challenge generated based on weather information, according to an embodiment of the present disclosure.
FIG. 10 is a diagram for describing a method of authenticating a user using a live challenge generated based on a recognized object according to one embodiment of the present disclosure.
FIG. 11 is a diagram for describing a method of authenticating a user by using a live challenge generated based on a recognized object according to one embodiment of the present disclosure.
FIG. 12 is a diagram for describing a method of authenticating a user using a live challenge generated based on a recognized object according to one embodiment of the present disclosure.
FIG. 13 is a diagram for describing a method of authenticating a user by using a live challenge generated based on a recognized object according to one embodiment of the present disclosure.
FIG. 14 is a diagram for describing a method of authenticating a user by using a live challenge generated based on a recognized object according to one embodiment of the present disclosure.
FIG. 15 illustrates a method of authenticating a user using a live challenge generated based on a context parameter according to an embodiment of the present disclosure.
FIG. 16 illustrates a method of authenticating a user using a live challenge generated based on a context parameter according to an embodiment of the present disclosure.
FIG. 17 illustrates a method for authenticating a user using a live challenge generated based on a context parameter according to an embodiment of the present disclosure.
FIG. 18 is a diagram for describing a method of authenticating a user using a live challenge generated based on a context parameter according to an embodiment of the present disclosure.
FIG. 19 illustrates a method for authenticating a user using a live challenge generated based on a context parameter according to an embodiment of the present disclosure.
20 is a diagram for describing a method of performing user authentication by an electronic device according to an exemplary embodiment.
21 is a block diagram of an electronic device that performs user authentication, according to an embodiment.

본 개시에서 사용되는 용어에 대해 간략히 설명하고, 본 개시에 따른 사용자 인증 기술에 대해 구체적으로 설명하기로 한다. Terms used in the present disclosure will be briefly described, and a user authentication technique according to the present disclosure will be described in detail.

본 개시에서 사용되는 용어는 사용자 인증 기술에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어들을 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도 또는 판례, 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 발명의 설명 부분에서 상세히 그 의미를 기재할 것이다. 따라서 본 개시에서 사용되는 용어는 단순한 용어의 명칭이 아닌, 그 용어가 가지는 의미와 본 개시의 전반에 걸친 내용을 토대로 정의되어야 한다. The terms used in the present disclosure selected general terms that are currently widely used as possible while considering functions in user authentication technology, but may vary according to the intention or precedent of a person skilled in the art, the emergence of a new technology, and the like. In addition, in certain cases, there is a term arbitrarily selected by the applicant, and in this case, the meaning will be described in detail in the description of the invention. Therefore, the terms used in the present disclosure should be defined based on the meanings of the terms and the contents throughout the present disclosure, rather than simply the names of the terms.

제1, 제2 등과 같이 서수를 포함하는 용어는 다양한 구성 요소들을 설명하는데 사용될 수 있지만, 구성 요소들은 용어들에 의해 한정되지는 않는다. 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 개시에 따른 사용자 인증 기술의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 항목들의 조합 또는 복수의 관련된 항목들 중의 어느 하나의 항목을 포함한다.Terms including ordinal numbers such as first and second may be used to describe various components, but the components are not limited by the terms. The terms are only used to distinguish one component from another. For example, without departing from the scope of the user authentication technique according to the present disclosure, the first component may be named a second component, and similarly, the second component may also be named the first component. The term and / or includes any one of a plurality of related items or a combination of a plurality of related items.

명세서 전체에서 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있음을 의미한다. 또한, 명세서에서 사용되는 "부"라는 용어는 소프트웨어, FPGA(field programmable gate array) 또는 ASIC(application specific integrated circuit)과 같은 하드웨어 구성요소를 의미하며, "부"는 어떤 역할들을 수행한다. 그렇지만 "부"는 소프트웨어 또는 하드웨어에 한정되는 의미는 아니다. "부"는 어드레싱할 수 있는 저장 매체에 있도록 구성될 수도 있고 하나 또는 그 이상의 프로세서들을 재생시키도록 구성될 수도 있다. 따라서, 일 예로서 "부"는 소프트웨어 구성요소들, 객체지향 소프트웨어 구성요소들, 클래스 구성요소들 및 태스크 구성요소들과 같은 구성요소들과, 프로세스들, 함수들, 특성들, 프로시저들, 서브루틴들, 프로그램 코드의 세그먼트들, 드라이버들, 펌웨어, 마이크로 코드, 회로, 데이터, 데이터베이스, 데이터 구조들, 테이블들, 어레이들 및 변수들을 포함한다. 구성요소들과 "부"들 안에서 제공되는 기능은 더 작은 수의 구성요소들 및 "부"들로 결합되거나 추가적인 구성요소들과 "부"들로 더 분리될 수 있다.When any part of the specification is to "include" any component, this means that it may further include other components, except to exclude other components unless specifically stated otherwise. In addition, the term "part" as used herein refers to a hardware component such as software, a field programmable gate array (FPGA), or an application specific integrated circuit (ASIC), and the "part" performs certain roles. However, "part" is not meant to be limited to software or hardware. The “unit” may be configured to be in an addressable storage medium and may be configured to play one or more processors. Thus, as an example, a "part" refers to components such as software components, object-oriented software components, class components, and task components, processes, functions, properties, procedures, Subroutines, segments of program code, drivers, firmware, microcode, circuits, data, databases, data structures, tables, arrays, and variables. The functionality provided within the components and "parts" may be combined into a smaller number of components and "parts" or further separated into additional components and "parts".

아래에서는 첨부한 도면을 참고하여 본 개시의 실시예에 대하여 본 개시가 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 개시에 따른 사용자 인증 기술은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 개시에 따른 사용자 인증 기술을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.DETAILED DESCRIPTION Hereinafter, exemplary embodiments of the present disclosure will be described in detail with reference to the accompanying drawings so that those skilled in the art may easily implement the present disclosure. However, the user authentication technique according to the present disclosure may be implemented in various different forms and is not limited to the embodiments described herein. In the drawings, parts irrelevant to the description are omitted in order to clearly describe the user authentication technology according to the present disclosure, and like reference numerals designate like parts throughout the specification.

기존의 사용자 인증 기술에 따르면, 사용자 인증은 전자 장치 상에 패스워드/ 패턴, CAPTCHA, 바이오 메트릭 등을 제공하도록 사용자에게 프롬프트(prompt)함으로써 수행될 수 있다. 또한, 전자 장치는 사용자로부터 입력된 패스워드가 이미 저장되어 있는 데이터와 일치하는지 여부에 기초하여 사용자의 인증 여부를 결정할 수 있다. 또한, 패스워드 이외에 바이오 정보가 사용자 인증에 이용될 수 있다. 예를 들어, 사용자는 스마트 폰에 지문을 제공함으로써 인증을 수행할 수 있다. 전술한 바와 같이, 기존의 사용자 인증 기술은 대화형에 해당하지 않으며, 사용자가 매번 자격 증명에 필요한 정보(패스워드, 패턴 등)를 기억하는 것이 어려울 수 있어, 사용자가 불편을 느낄 수 있다. According to the existing user authentication technology, user authentication may be performed by prompting the user to provide a password / pattern, CAPTCHA, biometric, etc. on the electronic device. In addition, the electronic device may determine whether the user is authenticated based on whether the password input from the user matches data already stored. In addition, bioinformation may be used for user authentication in addition to the password. For example, a user can perform authentication by providing a fingerprint to a smartphone. As described above, the existing user authentication technology does not correspond to the interactive, and it may be difficult for the user to remember the information (password, pattern, etc.) required for each time, the user may feel uncomfortable.

기존의 사용자 인증 기술과는 달리, 본 개시에 따른 사용자 인증 기술은 대화형 방식으로 사용자 인증을 수행할 수 있다. 일 실시예에 따른 사용자 인증 방법을 수행하는 전자 장치는 복수의 컨텍스트 파라미터에 기초하여, 라이브 AR 챌린지를 생성할 수 있다. 생성된 라이브 AR 챌린지는 AR 모드로 동작하는 전자 장치의 스크린 상에 디스플레이될 수 있다. 전자 장치는 라이브 AR 챌린지를 디스플레이함으로써, 사용자로 하여금 적어도 하나의 태스크를 실시간으로 수행하도록 유도할 수 있다. 사용자가 태스크를 성공적으로 완료하면, 사용자는 전자 장치에 액세스 할 수 있다. 따라서, 일 실시예에 따른 전자 장치는 실시간으로 라이브 AR 챌린지에 따른 태스크의 수행 여부를 확인함으로써, 사용자와의 상호작용을 통해 인증을 수행할 수 있다. Unlike conventional user authentication techniques, user authentication techniques in accordance with the present disclosure can perform user authentication in an interactive manner. An electronic device that performs a user authentication method according to an embodiment may generate a live AR challenge based on a plurality of context parameters. The generated live AR challenge may be displayed on the screen of the electronic device operating in the AR mode. The electronic device may induce the user to perform at least one task in real time by displaying the live AR challenge. If the user completes the task successfully, the user can access the electronic device. Therefore, the electronic device according to an embodiment may perform authentication by interacting with a user by checking whether a task according to a live AR challenge is performed in real time.

또한, 본 개시에 따른 사용자 인증 기술은 사용자 행동을 기반으로 라이브 챌린지를 생성할 수 있다. 예를 들어, 전자 장치는 "매일 전화하는 사람이 누구입니까?" 라는 질문에 기반한 라이브 챌린지를 제공함으로써, BOT과 전자 장치의 사용자 (즉, 실제 사용자)를 식별하게 할 수 있다.In addition, the user authentication technique according to the present disclosure may generate a live challenge based on user behavior. For example, an electronic device might ask, "Who is calling every day?" By providing a live challenge based on the question, the user of the BOT and the electronic device (that is, the real user) can be identified.

또한, 본 개시에 따른 사용자 인증 기술은 외부 하드웨어 구성 요소를 사용하지 않고 실시간 라이브 AR 챌린지를 생성할 수 있다. In addition, the user authentication technique according to the present disclosure can generate a real time live AR challenge without using external hardware components.

이하에서는, 도 1b 내지 도 21을 참조하여, 본 개시의 실시예에 대해 보다 구체적으로 설명하도록 한다.Hereinafter, an embodiment of the present disclosure will be described in more detail with reference to FIGS. 1B to 21.

도 1b는 본 개시의 실시예에 따라 사용자 인증을 수행하는 방법을 설명하기 위한 도면이다. 1B is a diagram for describing a method of performing user authentication according to an embodiment of the present disclosure.

도 1b를 참조하면, 전자 장치 (100)는 사용자로부터 적어도 하나의 애플리케이션으로의 액세스를 위한 사용자 인증 요청을 수신할 수 있다. 예를 들어, 전자 장치(100)는 액세스에 권한이 필요한 적어도 하나의 애플리케이션 중 하나를 나타내는 아이콘을 터치하는 사용자 입력이 식별되면, 사용자 인증 요청이 수신된 것으로 결정할 수 있다. 다만, 이는 일 예일 뿐, 전자 장치 (100)가 사용자 인증 요청을 수신하는 방법이 전술한 예에 한정되는 것은 아니다. Referring to FIG. 1B, the electronic device 100 may receive a user authentication request for access to at least one application from a user. For example, the electronic device 100 may determine that a user authentication request has been received when a user input of touching an icon representing one of at least one application requiring permission to access is identified. However, this is merely an example, and the method of receiving the user authentication request by the electronic device 100 is not limited to the above-described example.

일 실시예에 따른 전자 장치 (100)는 사용자 인증 요청이 수신됨에 따라, 사용자의 주변을 포착하기 위해 카메라 기능을 자동으로 동작시킬 수 있다. 카메라는 사용자의 주변에 있는 객체를 캡쳐하여 카메라의 시야(field of view)에 표시하고, 이를 통해 사용자 주변의 객체를 식별할 수 있다. 예를 들어, 전자 장치 (100)는 사용자 주변을 캡쳐한 이미지를 통해, 사용자 뒤에 창문이 있음을 식별할 수 있다. According to an embodiment, when the electronic device 100 receives a user authentication request, the electronic device 100 may automatically operate a camera function to capture the user's surroundings. The camera may capture an object in the vicinity of the user and display the object in the field of view of the camera, thereby identifying the object in the vicinity of the user. For example, the electronic device 100 may identify that there is a window behind the user through an image captured around the user.

또한, 일 실시예에 따른 전자 장치 (100)는 사용자 및 전자 장치 (100) 중 적어도 하나와 관련된 복수의 컨텍스트 파라미터를 결정할 수 있다. 복수의 컨텍스트 파라미터는 전자 장치의 설정 정보, 상기 사용자 인증 요청이 수신된 시간 및 위치, 상기 전자 장치에서 사용자가 수행한 활동(activity), 상기 전자 장치에 수신된 알림, SNS (social network service) 정보, 상기 전자 장치의 주변 환경 정보, 상기 전자 장치가 연결된 네트워크 및 상기 전자 장치에 접속된 다른 전자 장치의 수 중 적어도 하나를 포함할 수 있다. 예를 들어, 전자 장치 (100)는 현재 비가 온다는 것을 결정할 수 있다. Also, the electronic device 100 according to an embodiment may determine a plurality of context parameters associated with at least one of the user and the electronic device 100. The plurality of context parameters may include setting information of an electronic device, time and location at which the user authentication request is received, activity performed by a user in the electronic device, notification received by the electronic device, and social network service (SNS) information. And at least one of surrounding environment information of the electronic device, a network to which the electronic device is connected, and the number of other electronic devices connected to the electronic device. For example, the electronic device 100 may determine that it is currently raining.

전자 장치 (100)는 창문과 같은 인식된 객체 및 복수의 컨텍스트 파라미터에 기초하여 실시간 스토리를 결정할 수 있다.The electronic device 100 may determine the real time story based on the recognized object such as a window and the plurality of context parameters.

또한, 전자 장치 (100)는 실시간 스토리에 적용될 적어도 하나의 태스크를 선택할 수 있다. 또한, 전자 장치 (100)는 적어도 하나의 태스크가 적어도 하나의 주체(actor)에 적용될 필요가 있다고 결정할 수 있다. 태스크는 "거미를 죽이는 것"일 수 있다. 또한, 전자 장치 (100)는 실시간 스토리, 적어도 하나의 주체 및 적어도 하나의 태스크를 결합함으로써 라이브 챌린지를 생성할 수 있다. 예를 들어, 도 1b에 도시된 라이브 AR 챌린지는, 전자 장치 (100)에서 인식된 창에 AR 영상인 거미를 증강시킴으로써 생성될 수 있다. 라이브 AR 챌린지는 AR 기술, 가상 현실 (VR) 기술 등을 이용하여 생성될 수 있다. 전자 장치(100)는 AR 모드에서 사용자에게 라이브 챌린지를 표시하고, 예를 들어 "거미 죽이기와 같은 태스크 (110)"를 수행하도록 사용자를 유도할 수 있다. 또한, 사용자는 거미에 대해 터치 동작을 수행하여 요청된 태스크를 완료함으로써 거미를 죽일 수 있다. 사용자가 성공적으로 태스크를 수행하면, 전자 장치(100)는 사용자의 액세스를 허용할 수 있다. 사용자가 성공적으로 태스크를 수행하지 않으면, 전자 장치 (100)는 액세스를 거부할 수 있다. In addition, the electronic device 100 may select at least one task to be applied to the real-time story. In addition, the electronic device 100 may determine that at least one task needs to be applied to at least one actor. The task may be "killing the spider." In addition, the electronic device 100 may generate a live challenge by combining a real-time story, at least one subject, and at least one task. For example, the live AR challenge illustrated in FIG. 1B may be generated by augmenting a spider, which is an AR image, in a window recognized by the electronic device 100. Live AR challenges may be generated using AR technology, virtual reality (VR) technology, and the like. The electronic device 100 may display a live challenge to the user in the AR mode, and induce the user to perform, for example, a task 110 such as killing a spider. In addition, the user can kill the spider by performing a touch action on the spider to complete the requested task. If the user performs the task successfully, the electronic device 100 may allow access of the user. If the user does not perform the task successfully, the electronic device 100 may deny access.

다른 예에 따라, 전자 장치 (100)에 창문이 인식된 시간이 아침 시간인 경우, 라이브 AR 챌린지는 환기를 위한 "창문 열기"일 수 있다. 또 다른 예에 따라, 전자 장치 (100)에 창문이 인식된 시간이 저녁 시간인 경우, 라이브 AR 챌린지는 "창문 닫기"일 수 있다. 라이브 AR 챌린지는 사용자 행동 및 사용자 환경 등을 나타내는 컨텍스트 파라미터에 기초하여 실시간으로 생성될 수 있다. 이에 따라, 상호적인 방식의 사용자 인증이 수행될 수 있다. According to another example, when the time when the window is recognized by the electronic device 100 is a morning time, the live AR challenge may be “open window” for ventilation. According to another example, when the time when the window is recognized by the electronic device 100 is the evening time, the live AR challenge may be "Close window". Live AR challenges may be generated in real time based on context parameters representing user behavior, user environment, and the like. Accordingly, user authentication in an interactive manner can be performed.

도 2는 본 개시의 일 실시예에 따른 전자 장치의 블록도이다. 2 is a block diagram of an electronic device according to an embodiment of the present disclosure.

도 2를 참조하면, 전자 장치(100)는 카메라(110), 라이브 챌린지 엔진 (120), AR 엔진 (130), 인증 엔진 (140), 통신부 (150), 프로세서 (160), 메모리 (170) 및 디스플레이 (180)를 포함할 수 있다. 다만, 이는 일 예일 뿐, 전자 장치(100)는 전술한 구성 요소들 보다 더 적거나 많은 구성 요소들을 포함할 수도 있다. 예를 들어, 전자 장치(100)는 자이로스코프, 가속도 센서 등 사용자 또는 전자 장치(100)의 위치 또는 이동을 식별할 수 있는 센서를 더 포함할 수 있으며, 전술한 센서는 예시일 뿐, 전자 장치(100)에 포함되는 센서가 전술한 예에 한정되는 것은 아니다. Referring to FIG. 2, the electronic device 100 includes a camera 110, a live challenge engine 120, an AR engine 130, an authentication engine 140, a communication unit 150, a processor 160, and a memory 170. And a display 180. However, this is only an example, and the electronic device 100 may include fewer or more components than the aforementioned components. For example, the electronic device 100 may further include a sensor capable of identifying a position or a movement of the user or the electronic device 100 such as a gyroscope and an acceleration sensor. The above-described sensor is merely an example. The sensor included in 100 is not limited to the above-described example.

일 실시예에 따른 라이브 챌린지 엔진 (120)은 전자 장치 (100)의 사용자임을 인증하기 위한 사용자 인증 요청을 수신할 수 있다. 사용자 인증 요청이 수신됨에 따라, 라이브 챌린지 엔진 (120)은 전자 장치 (100)의 사용자에 대한 라이브 챌린지를 생성할 수 있다. 라이브 챌린지는 실시간 스토리를 나타내며, 사용자에 의해 수행될 적어도 하나의 태스크를 포함할 수 있다.The live challenge engine 120 according to an embodiment may receive a user authentication request for authenticating that the electronic device 100 is a user. As the user authentication request is received, the live challenge engine 120 may generate a live challenge for the user of the electronic device 100. The live challenge represents a real time story and may include at least one task to be performed by a user.

일 실시예에서, 라이브 챌린지 엔진 (120)은 사용자 인증 요청을 수신하면, 카메라 (110)를 자동으로 개시함으로써, 사용자에 대한 라이브 챌린지를 생성할 수 있다. 카메라 (110)는 촬상 센서 등일 수 있으며, 사용자의 주변의 이미지를 포착하는데 사용될 수 있다. 또한, 라이브 챌린지 엔진 (120)은 카메라 (110)의 시야에 디스플레이된 사용자의 주위의 객체를 인식할 수 있다.In one embodiment, the live challenge engine 120 may generate a live challenge for the user by automatically initiating the camera 110 upon receiving the user authentication request. The camera 110 may be an imaging sensor or the like and may be used to capture an image of a user's surroundings. Also, the live challenge engine 120 may recognize objects around the user displayed in the field of view of the camera 110.

또한, 라이브 챌린지 엔진 (120)은 사용자 및 전자 장치 (100) 중 적어도 하나와 관련된 복수의 컨텍스트 파라미터를 결정할 수 있다. 일 실시예에서, 복수의 컨텍스트 파라미터는 전자 장치의 설정 정보, 상기 사용자 인증 요청이 수신된 시간(ex: 현재 날짜 및 시간) 및 위치, 상기 전자 장치에서 사용자가 수행한 활동(activity), 상기 전자 장치에 수신된 알림, SNS (social network service) 정보, 상기 전자 장치의 주변 환경 정보(ex: 날씨, 조명), 상기 전자 장치가 연결된 네트워크 및 상기 전자 장치에 접속된 다른 전자 장치의 수 중 적어도 하나를 포함할 수 있다. In addition, the live challenge engine 120 may determine a plurality of context parameters associated with at least one of the user and the electronic device 100. In an embodiment, the plurality of context parameters may include setting information of an electronic device, a time (eg, current date and time) and location at which the user authentication request is received, activity performed by a user in the electronic device, and the electronic device. At least one of a notification received by the device, social network service (SNS) information, environmental information (ex: weather, lighting) of the electronic device, a network to which the electronic device is connected, and the number of other electronic devices connected to the electronic device It may include.

또한, 라이브 챌린지 엔진 (120)은 인식된 객체 및 복수의 컨텍스트 파라미터에 기초하여 실시간 스토리를 결정할 수 있다. 라이브 챌린지 엔진(120)은 실시간 스토리에 기초하여 적어도 하나의 주체를 결정할 수 있다. 라이브 챌린지 엔진 (120)은 적어도 하나의 주체에 적용될 적어도 하나의 작업을 결정할 수 있다. 또한, 라이브 챌린지 엔진 (120)은 실시간 스토리, 적어도 하나의 주체 및 적어도 하나의 태스크를 결합함으로써 라이브 챌린지를 생성할 수 있다. 이 때, 라이브 챌린지는 라이브 AR 챌린지를 포함할 수 있다. 라이브 AR 챌린지는 인식된 객체에 주체 및 태스크를 나타내는 AR 영상을 증강시킴으로써 생성될 수 있으며, 이는 전자 장치 (100)가 AR 모드로 동작하는 경우 제공될 수 있다.In addition, the live challenge engine 120 may determine the real-time story based on the recognized object and the plurality of context parameters. The live challenge engine 120 may determine at least one subject based on the real time story. The live challenge engine 120 may determine at least one task to be applied to the at least one subject. In addition, the live challenge engine 120 may generate a live challenge by combining a real time story, at least one subject, and at least one task. At this time, the live challenge may include a live AR challenge. The live AR challenge may be generated by augmenting an AR image representing a subject and a task in a recognized object, which may be provided when the electronic device 100 operates in the AR mode.

일 실시예에 따른, 인증 엔진 (140)은 메모리 (170) 및 프로세서 (160)에 결합될 수 있다. 인증 엔진 (140)은 라이브 AR 챌린지에 기초하여 사용자 인증을 수행할 수 있다. AR 엔진 (130)은 전자 장치 (100)의 스크린 상에 AR 모드로 라이브 AR 챌린지를 디스플레이할 수 있다. 또한, AR 엔진 (130)은 AR 모드에서 사용자에 의해 수행되어야 하는 적어도 하나의 태스크를 도출할 수 있다. 인증 엔진 (140)은 적어도 하나의 태스크가 AR 모드에서 사용자에 의해 성공적으로 수행되는지 여부를 결정할 수 있다. 또한, 인증 엔진 (140)은 적어도 하나의 태스크가 사용자에 의해 성공적으로 수행됨에 따라 전자 장치(100)의 적어도 하나의 애플리케이션에 대한 사용자의 액세스를 허가할 수 있다.According to one embodiment, authentication engine 140 may be coupled to memory 170 and processor 160. The authentication engine 140 can perform user authentication based on the live AR challenge. The AR engine 130 may display the live AR challenge in the AR mode on the screen of the electronic device 100. In addition, the AR engine 130 may derive at least one task to be performed by the user in the AR mode. Authentication engine 140 may determine whether at least one task is successfully performed by a user in AR mode. In addition, the authentication engine 140 may permit the user's access to at least one application of the electronic device 100 as at least one task is successfully performed by the user.

다른 실시예에 따라, 전자 장치 (100)는 카메라 (110)를 사용하지 않고 사용자의 주변에 있는 물체를 식별할 수 있다. 전자 장치 (100)는 GPS (Global Positioning System) 센서, 자이로스코프 또는 임의의 다른 센서를 이용하여 사용자의 위치가 실내인지 여부 등을 결정하고, 사용자의 위치에 기초하여 객체를 인식할 수 있다. 예를 들어, 전자 장치 (100)눈 사용자가 자신의 침실에 있다고 결정하면, 전자 장치 (100)는 그 특정 위치 (침실과 같은)에 대한 데이터를 인출하고, 인출된 데이터를 기초로 라이브 챌린지를 생성하기 위해 특정 위치에 존재하는 물체를 인식할 수 있다. 인출된 데이터는, 예를 들어, 특정 위치를 촬영한 이미지일 수도 있다. 다만, 이는 일 예일 뿐, 데이터가 이에 한정되는 것은 아니다. According to another embodiment, the electronic device 100 may identify an object in the vicinity of the user without using the camera 110. The electronic device 100 may determine whether the location of the user is indoors using a GPS (Global Positioning System) sensor, a gyroscope, or any other sensor, and recognize the object based on the location of the user. For example, if the electronic device 100 determines that an eye user is in his or her bedroom, the electronic device 100 withdraws data for that particular location (such as a bedroom), and based on the retrieved data, the live challenge is determined. It can recognize objects that exist at a specific location to create. The extracted data may be, for example, an image photographing a specific position. However, this is merely an example, and the data is not limited thereto.

다른 실시예에 따라, 전자 장치 (100)는 카메라, AR, VR 등을 사용하지 않고 라이브 챌린지를 생성할 수 있다. 전자 장치 (100)는 복수의 컨텍스트 파라미터 (현재 사용자 행동과 같은)에 기초하여 라이브 챌린지를 동적으로 생성할 수 있다. 예를 들어, GPS 등을 이용하여 획득한 전자 장치 (100)의 좌표를 기반으로, 사용자의 위치가 사무실로 결정될 수 있다. 따라서, 전자 장치 (100)는 사무실에 존재하는 객체를 결정하고, 이를 기반으로 주체 및 태스크를 결정하여 라이브 챌린지를 생성할 수 있다. 예를 들어, 전자 장치(100)는 사용자 책상에서 물병의 색을 선택하도록 사용자에게 요청할 수 있다.According to another embodiment, the electronic device 100 may generate a live challenge without using a camera, AR, VR, or the like. The electronic device 100 may dynamically generate a live challenge based on a plurality of context parameters (such as a current user behavior). For example, the location of the user may be determined as an office based on the coordinates of the electronic device 100 acquired using the GPS. Accordingly, the electronic device 100 may determine an object existing in the office, and determine a subject and a task based on the object and generate a live challenge. For example, the electronic device 100 may request a user to select a color of a water bottle from a user desk.

통신부 (150)는 전자 장치 (100) 내의 하드웨어 구성 요소들이 내부적으로 통신할 수 있도록 구성될 수 있다. The communicator 150 may be configured to allow hardware components in the electronic device 100 to communicate internally.

프로세서 (160)는 전자 장치 (100)의 사용자를 인증하기 위해 메모리 (170)에 저장된 다양한 명령어들을 처리할 수 있도록 메모리 (170)와 결합될 수 있다.The processor 160 may be combined with the memory 170 to process various instructions stored in the memory 170 to authenticate a user of the electronic device 100.

메모리 (170)는 프로세서 (160)에 의해 실행될 명령어들을 저장할 수 있다. 메모리 (170)는 비휘발성 저장 요소들을 포함할 수 있다. 이러한 비휘발성 저장 요소의 예는 자기 하드 디스크, 광 디스크, 플로피 디스크, 플래시 메모리, 또는 전기적으로 프로그램 가능한 메모리 (EPROM) 또는 전기적으로 소거 가능하고 프로그램 가능한 (EEPROM) 메모리를 포함할 수 있다. 또한, 메모리 (170)는 일부 예에서 비 일시적인 저장 매체로 간주될 수 있다. 용어 "비 일시적"은 저장 매체가 반송파 또는 전파된 신호로 구현되지 않음을 나타낸다. 그러나, "비 일시적"이라는 용어는 메모리 (170)가 이동 불가능한 것으로 해석되어서는 안 된다. 일부 예에서, 메모리 (170)는 메모리보다 많은 양의 정보를 저장하도록 구성될 수 있다. 특정 예에서, 비 일시적인 저장 매체는 시간이 지남에 따라 (예를 들어, 랜덤 액세스 메모리 (RAM) 또는 캐시에서) 변화할 수 있는 데이터를 저장할 수 있다.The memory 170 may store instructions to be executed by the processor 160. Memory 170 may include nonvolatile storage elements. Examples of such nonvolatile storage elements may include magnetic hard disks, optical disks, floppy disks, flash memory, or electrically programmable memory (EPROM) or electrically erasable and programmable (EEPROM) memory. In addition, memory 170 may be considered a non-transitory storage medium in some examples. The term "non-transitory" indicates that the storage medium is not implemented with a carrier wave or a propagated signal. However, the term "non-transitory" should not be interpreted that the memory 170 is immovable. In some examples, memory 170 may be configured to store more information than the memory. In certain instances, non-transitory storage media may store data that may change over time (eg, in random access memory (RAM) or cache).

일 실시예에서, 디스플레이 (180)는 전자 장치 (100)에 컨텐츠를 디스플레이 하도록 구성될 수 있다. 디스플레이 (180)는, 예를 들어, LCD (Liquid Crystal Display), AM-OLED (Active Matrix Organic Light Emitting Diode) 디스플레이, LED (Light Emitting Diode) 디스플레이 등을 포함할 수 있다.In an embodiment, the display 180 may be configured to display content on the electronic device 100. The display 180 may include, for example, a liquid crystal display (LCD), an active matrix organic light emitting diode (AM-OLED) display, a light emitting diode (LED) display, or the like.

한편, 도 2는 전자 장치 (100)의 다양한 하드웨어 구성 요소를 도시하지만, 본 개시에 따른 전자 장치 (100)의 구성이 이에 한정되는 것은 아니다. 다른 실시 예에서, 전자 장치 (100)는 더 적은 또는 더 많은 수의 구성 요소를 포함할 수 있다. 또한, 각 구성 요소의 라벨 또는 명칭은 단지 예시적인 목적으로 사용된 것이며, 본 개시의 범위를 제한하지 않는다. 하나 이상의 구성 요소는 함께 결합되어 전자 장치 (100)의 사용자를 인증하는 동일하거나 실질적으로 유사한 기능을 수행할 수 있다. 2 illustrates various hardware components of the electronic device 100, the configuration of the electronic device 100 according to the present disclosure is not limited thereto. In another embodiment, the electronic device 100 may include fewer or more components. In addition, the label or name of each component is used for illustrative purposes only, and does not limit the scope of the present disclosure. One or more components may be combined together to perform the same or substantially similar function of authenticating a user of the electronic device 100.

전자 장치 (100)는, 예를 들어, 스마트 폰, 이동 전화, 랩톱, 태블릿, 패블릿 (phablet) 등일 수 있지만, 이에 한정되는 것은 아니다.The electronic device 100 may be, for example, a smart phone, a mobile phone, a laptop, a tablet, a phablet, or the like, but is not limited thereto.

도 3은 본 개시의 일 실시 예에 따른 전자 장치의 라이브 챌린지 엔진을 나타내는 블록도이다. 3 is a block diagram illustrating a live challenge engine of an electronic device according to an embodiment of the present disclosure.

도 3을 참조하면, 라이브 챌린지 엔진 (120)은 객체 인식 엔진 (121), 컨텍스트 결정 엔진 (122), 데이터베이스 식별 엔진 (123), 컨볼루션 엔진 (124), 실시간 스토리 엔진 (125), 주체 결정 엔진 (126), 태스크 결정 엔진 (127) 및 응답 결정 엔진 (128)을 포함할 수 있다.Referring to FIG. 3, the live challenge engine 120 includes an object recognition engine 121, a context determination engine 122, a database identification engine 123, a convolution engine 124, a real-time story engine 125, and a subject determination. Engine 126, task determination engine 127, and response determination engine 128.

일 실시예에서, 라이브 챌린지 엔진 (120)은 사용자 인증 요청을 수신하면 전자 장치 (100)의 카메라 (110)를 자동으로 시작할 수 있다. 또한, 객체 인식 엔진 (121)은 카메라 (110)의 시야에 디스플레이 된 사용자의 주변의 객체를 인식할 수 있다. 다른 예에 따라 객체 인식 엔진(121)은 전자 장치(100)에 구비된 GPS 등의 위치를 결정할 수 있는 센서를 기반으로 사용자 주변에 존재하는 객체를 결정할 수도 있다. In one embodiment, the live challenge engine 120 may automatically start the camera 110 of the electronic device 100 upon receiving the user authentication request. In addition, the object recognition engine 121 may recognize objects around the user displayed in the field of view of the camera 110. According to another example, the object recognition engine 121 may determine an object that exists near a user based on a sensor capable of determining a position of a GPS or the like provided in the electronic device 100.

또한, 컨텍스트 결정 엔진 (122)은 사용자 및 전자 장치 중 적어도 하나와 관련된 복수의 컨텍스트 파라미터를 결정할 수 있다. 또한, 실시간 스토리 엔진 (125)은 인식된 객체 및 복수의 컨텍스트 파라미터에 기초하여 실시간 스토리를 결정할 수 있다. In addition, the context determination engine 122 may determine a plurality of context parameters associated with at least one of a user and an electronic device. In addition, the real-time story engine 125 may determine the real-time story based on the recognized object and the plurality of context parameters.

주체 결정 엔진 (126)은 실시간 스토리에 기초하여 적어도 하나의 주체를 결정할 수 있다. 데이터베이스 식별 엔진 (123)은 데이터베이스로부터 사용자 스토리를 식별 및 선택하도록 구성할 수 있다. 또한, 데이터베이스 식별 엔진 (123)은 데이터베이스로부터 사용자 스토리에 대한 주체 그룹을 식별/ 선택하도록 구성될 수 있다. 태스크 결정 엔진 (127)은 적어도 하나의 주체에 적용될 적어도 하나의 태스크를 결정할 수 있다. The subject determination engine 126 may determine at least one subject based on a real time story. Database identification engine 123 may be configured to identify and select user stories from a database. In addition, database identification engine 123 may be configured to identify / select a group of subjects for the user story from the database. The task determination engine 127 may determine at least one task to be applied to at least one subject.

컨볼루션 엔진 (124)은 실시간 스토리, 적어도 하나의 주체 및 적어도 하나의 태스크를 결합하여 라이브 챌린지를 생성할 수 있다. 라이브 챌린지 엔진 (120)은 컨볼루션 엔진 (124)으로부터 라이브 챌린지를 수신할 수 있다. Convolution engine 124 may combine a real-time story, at least one subject, and at least one task to generate a live challenge. The live challenge engine 120 can receive a live challenge from the convolution engine 124.

태스크 결정 엔진 (127)은 실시간으로 사용자가 결정된 적어도 하나의 태스크를 수행하도록 유도할 수 있다. The task determination engine 127 may induce the user to perform at least one determined task in real time.

응답 결정 엔진 (128)은 적어도 하나의 태스크가 사용자에 의해 성공적으로 수행되는지 여부를 결정할 수 있다.Response determination engine 128 may determine whether at least one task is successfully performed by the user.

다른 실시예에 따른 라이브 챌린지 엔진 (120)은 카메라 (110)를 사용하지 않고 사용자에 대한 라이브 챌린지를 생성할 수도 있다. 이는 도 2를 참조하여 전술한 바와 대응될 수 있다. The live challenge engine 120 according to another embodiment may generate a live challenge for the user without using the camera 110. This may correspond to that described above with reference to FIG. 2.

도 4는 본 개시의 일 실시예에 따라 라이브 챌린지를 생성하기 위한 라이브 챌린지 엔진의 프로세스를 설명하기 위한 도면이다. 4 is a diagram for describing a process of a live challenge engine for generating a live challenge according to one embodiment of the present disclosure.

도 4를 참조하면, 전자 장치 (100)의 사용자에 대한 라이브 챌린지를 생성하기 위해 전자 장치 (100)의 라이브 챌린지 엔진 (120)에 의해 다음의 프로세스가 수행될 수 있다.Referring to FIG. 4, the following process may be performed by the live challenge engine 120 of the electronic device 100 to generate a live challenge for the user of the electronic device 100.

단계 401a에서, 라이브 챌린지 엔진 (120)은 검출된 객체를 데이터베이스 식별자 엔진 (123)으로 전송할 수 있다. 객체는, 예를 들어, 빅스비(Bixby) 비전에 의해 검출될 수 있다. In step 401a, the live challenge engine 120 may send the detected object to the database identifier engine 123. The object can be detected, for example, by Bixby vision.

단계 401b에서, 라이브 챌린지 엔진 (120)은 컨볼루션 엔진 (124)에 복수의 컨텍스트 파라미터를 전송할 수 있다. 복수의 컨텍스트 파라미터에는 현재 날짜, 현재 시간, 현재 위치, 라이브 챌린지의 난이도, 날씨 정보, 사용자의 현재 환경의 조명 조건, 사용자/전자 장치 (100)가 이동하는 속도 정보, 풍경, 포트레잇(portrait), 전자 장치 (100)의 방향 (ex: 역방향 또는 정방향), 계절 정보 (ex: 봄, 여름, 가을, 겨울), 전자 장치 (100)에 접속된 액세서리의 수/ 종류, 설정 정보 (ex: 사운드 온 / 오프, 절전 온 / 오프) 등이 포함될 수 있다. In step 401b, the live challenge engine 120 may send a plurality of context parameters to the convolution engine 124. The plurality of context parameters include current date, current time, current location, difficulty of live challenge, weather information, lighting condition of the user's current environment, speed information at which the user / electronic device 100 moves, landscape, portrait. , Direction of the electronic device 100 (ex: reverse or forward direction), season information (ex: spring, summer, autumn, winter), number / type of accessories connected to the electronic device 100, setting information (ex: sound On / off, power saving on / off), and the like.

단계 402에서, 라이브 챌린지 엔진 (120)은 메모리 (170)에 저장된 복수의 데이터베이스로부터 어느 하나를 선택할 수 있다. In step 402, the live challenge engine 120 may select one from a plurality of databases stored in the memory 170.

단계 403에서, 라이브 챌린지 엔진 (120)은 선택된 데이터베이스 및 엔트리 개수를 컨볼루션 엔진 (124)에 전송할 수 있다. In step 403, the live challenge engine 120 may send the selected database and the number of entries to the convolution engine 124.

단계 404a 및 단계 404b에서, 컨볼루션 엔진 (124)은 모든 컨텍스트 파라미터 및 수신된 엔트리 개수를 데이터베이스에 혼합하고 일부 해싱 기술, 난수 생성 기술을 이용하여 매시간 고유 값을 생성할 수 있다.In steps 404a and 404b, the convolution engine 124 may mix all the context parameters and the number of entries received into the database and generate unique values every hour using some hashing technique, random number generation technique.

단계 405a 및 단계 405b에서, 컨볼루션 엔진 (124)은 생성된 값을 메모리 (170)에 저장된 데이터베이스에 전송할 수 있다. 한편, 라이브 챌린지 엔진 (120)은 생성된 값을 주체 결정 엔진 (126)에 전송할 수 있다. In steps 405a and 405b, the convolution engine 124 may transmit the generated value to a database stored in the memory 170. Meanwhile, the live challenge engine 120 may transmit the generated value to the subject determination engine 126.

단계 406에서, 라이브 챌린지 엔진 (120)은 생성된 값을 수신하면 메모리 (170)에 저장된 데이터베이스로부터 사용자 스토리를 선택할 수 있다. 또한, 주체 결정 엔진 (126)은 사용자 스토리를 태스크 결정 엔진 (127)으로 전송할 수 있다.In step 406, the live challenge engine 120 may select a user story from a database stored in the memory 170 upon receiving the generated value. In addition, the subject determination engine 126 may transmit the user story to the task determination engine 127.

단계 407에서, 태스크 결정 엔진 (127)은 사용자에게 표시될 수 있는 질문/ 태스크를 결정할 수 있다. 태스크 결정 엔진 (127)은 주체 및 인식된 객체의 각 유형에 대해 수행될 수 있는 태스크의 목록을 저장하고 있을 수 있다. 또한, 태스크 결정 엔진 (127)은 입력 및 출력의 일부 데이터 세트를 기초로 학습 네트워크 모델을 이용하여 트레이닝될 수 있다. 예를 들어 주체와 객체가 입력으로, 질문이 출력으로 사용될 수 있다. 따라서, 주체 및 객체에 기초하여, 태스크 결정 엔진 (127)은 현재 시나리오에 대해 제시될 수 있는 질문 세트를 식별할 수 있다. 태스크 결정 엔진 (127)은 위치, 타이머 등과 같은 현재 사용자 환경에 기초하여 질문을 결정할 수 있다. 예를 들어, 사용자가 영화를 보는 경우, 태스크 결정 엔진 (127)은 영화 배우가 누구인지에 관한 정보를 입력하도록 질문을 결정할 수 있다.In step 407, task determination engine 127 may determine a question / task that may be displayed to the user. The task determination engine 127 may store a list of tasks that can be performed for each type of subject and recognized object. In addition, task determination engine 127 may be trained using a learning network model based on some data sets of inputs and outputs. For example, subjects and objects can be used as inputs, and questions can be used as outputs. Thus, based on the subject and the object, the task decision engine 127 may identify a set of questions that may be presented for the current scenario. Task determination engine 127 may determine the question based on the current user environment, such as location, timer, and the like. For example, when the user is watching a movie, task determination engine 127 may determine a question to enter information about who the movie actor is.

단계 408에서, 태스크 결정 엔진 (127)은 질문/ 활동이 결정되면, 결정된 질문/활동을 응답 결정 엔진 (128)으로 전송할 수 있다. In step 408, the task decision engine 127 may send the determined question / activity to the response decision engine 128 if the question / activity is determined.

단계 409에서, 응답 결정 엔진 (128)은 질문에 대한 정확한 응답을 결정하고, 이를 주체 결정 엔진 (126)에 전송할 수 있다.In step 409, the response decision engine 128 may determine the correct response to the question and send it to the subject decision engine 126.

단계 410에서, 주체 결정 엔진 (126)은 사용자 스토리, 라이브 챌린지에 대한 난이도 및 컨텍스트 파라미터와 같은 입력에 기초하여, 주체의 특성 (예를 들어, 크기, 형상, 색상 또는 사용자 스토리)을 선택할 수 있다. In step 410, the subject determination engine 126 may select a characteristic of the subject (eg, size, shape, color or user story) based on inputs such as user story, difficulty for the live challenge and context parameters. .

예를 들어, 사용자 스토리로 "창이 표시되고 창에 커튼이 있음"을 보여주는 예제 시나리오를 가정할 수 있다. 현재 사용 환경을 위한 컨텍스트 파라미터는 다음과 같다.For example, suppose you have an example scenario that shows "Your window is displayed and the window has a curtain" as the user story. The context parameters for the current usage environment are as follows:

a. 사용자의 현재 위치 (예 : 다른 주, 다른 국가), a. Your current location (e.g. different states, different countries),

b. 현재 날씨 상태 (예 : 맑음, 비 등), b. Current weather conditions (e.g. sunny, rainy, etc.),

c. 현재 시간 (예 : 낮, 밤 오후 등), c. Current time (e.g. day, night afternoon, etc.),

d. 난이도 값 (예 : 어려움, 쉬움, 중간). d. Difficulty values (e.g. Difficult, Easy, Medium).

사용자가 인도에 있고, 날씨가 맑고, 낮 시간이며, 난이도가 쉬운 경우, 주체 결정 엔진 (126)은 열린 커튼이 보여지는 창을 표시(난이도가 쉬움)할 수 있고, 사용자는 햇볕이 잘 비추므로 커튼을 닫으라는 요청을 받을 수 있다. If the user is in India, the weather is sunny, day time, and easy, the subject determination engine 126 may display a window with open curtains visible (easy difficulty), and the user is well lit You may be asked to close the curtain.

사용자 인증을 위해, 사용자의 행동을 캡쳐하고, 이로부터 라이브 챌린지의 데이터 베이스 및 라이브 챌린지에 대한 해결책을 생성하여 저장하는 백그라운드 서비스가 전자 장치 (100)에서 지속적으로 실행될 수 있다. 라이브 챌린지를 생성하려면 다음 유형의 기능의 활성화가 필요하다.For user authentication, a background service that captures the user's behavior and creates and stores a database of live challenges and solutions for live challenges can be continuously executed in the electronic device 100. To create a live challenge, you need to activate the following types of features:

a. 메시지 및 메일 a. Messages and mail

b. 위치 b. location

c. 전화 c. telephone

d. 일반 활동 [예 : 일정, 일정, 건강 기록 등] d. General activities [e.g. schedule, schedule, health record, etc.]

e. 사용자 트렌드 [카메라 사용량, 통화 사용량, 잦은 통화, 홈-오피스 루틴] e. User Trends [Camera Usage, Call Usage, Frequent Calls, Home-Office Routines]

도 5는 본 개시의 일 실시예에 따른 전자 장치의 사용자를 인증하는 방법을 설명하기 위한 도면이다. 5 is a diagram for describing a method of authenticating a user of an electronic device, according to an exemplary embodiment.

다음 절차에서는 전자 장치 (100)의 AR 엔진 (130)이 사용자 인증에 관여하는 실시예에 대해 설명하도록 한다. In the following procedure, an embodiment in which the AR engine 130 of the electronic device 100 is involved in user authentication will be described.

1) 전자 장치 (100)의 입력 모듈 (101)은 사용자 인증 요청을 수신할 수 있다. 1) The input module 101 of the electronic device 100 may receive a user authentication request.

2) 사용자 인증 요청은 AR 엔진 (130)에 전송될 수 있다.2) The user authentication request may be sent to the AR engine 130.

3) 또한, AR 엔진 (130)은 전자 장치 (100)의 카메라 (110)를 동작시킬 수 있다.3) In addition, the AR engine 130 may operate the camera 110 of the electronic device 100.

4) 카메라 (110)는 이미지를 전자 장치의 Bixby 비전 (110a)에 전송할 수 있다. 사용자가 사인을 해석하거나, AR 이미지를 구성하기 위해 뷰파인더 내의 시각 아이콘을 탭할 수 있도록, Bixby 비전 (110a)은 카메라 (110) 내부에 구축될 수 있다.4) The camera 110 may transmit an image to the Bixby vision 110a of the electronic device. Bixby vision 110a can be built inside camera 110 so that a user can tap a visual icon in the viewfinder to interpret the sine or construct an AR image.

5) 빅스비 (Bixby) 비전 (110a)은 사용자의 시야 내의 객체를 식별하고 식별된 객체를 입력 모듈 (101)에 보낼 수 있다.5) Bixby vision 110a may identify objects within the user's field of view and send the identified objects to input module 101.

6) 입력 모듈 (101)은 식별된 객체를 라이브 챌린지 엔진 (120)으로 송신할 수 있다.6) The input module 101 can send the identified object to the live challenge engine 120.

7) 라이브 챌린지 엔진 (120)은 사용자 스토리 및 주체를 증강시킴으로써 라이브 AR 챌린지를 생성할 수 있다. 라이브 AR 챌린지는 식별된 객체 및 다른 컨텍스트 파라미터에 기초하여 생성될 수 있다. 또한, 라이브 챌린지 엔진 (120)은 라이브 AR 챌린지를 입력 모듈 (101)에 전송할 수 있다. 또한, 라이브 챌린지 엔진 (120)은 라이브 AR 챌린지의 결과를 인증 엔진 (140)에 전송할 수 있다.7) The live challenge engine 120 may generate a live AR challenge by augmenting the user story and the subject. Live AR challenges may be generated based on the identified objects and other context parameters. In addition, the live challenge engine 120 may send a live AR challenge to the input module 101. The live challenge engine 120 can also send the results of the live AR challenge to the authentication engine 140.

8) 입력 모듈 (101)은 라이브 AR 챌린지 및 컨텍스트 파라미터를 AR 엔진 (130)에 송신할 수 있다.8) The input module 101 can send the live AR challenge and context parameters to the AR engine 130.

9) AR 엔진 (130)은 카메라 (110)를 통해 AR 모드에서 라이브 챌린지를 표시할 수 있다. AR 애니메이터 (131)는 전자 장치 (100)의 디스플레이 (180)의 특정 위치에 라이브 챌린지를 디스플레이 하도록 구성될 수 있다. 또한, AR 엔진 (130)은 사용자 및 전자 장치 (100)의 이동 정보를 획득하기 위해 이동/움직임 검출기 (132)를 동작시킬 수 있다.9) AR engine 130 may indicate a live challenge in AR mode via camera 110. The AR animator 131 may be configured to display a live challenge at a specific position of the display 180 of the electronic device 100. Also, the AR engine 130 may operate the movement / motion detector 132 to obtain movement information of the user and the electronic device 100.

10) 이동/움직임 검출기 (132)는 이동 정보를 AR 엔진 (130)에 계속적으로 송신할 수 있다.10) The movement / motion detector 132 may continuously transmit movement information to the AR engine 130.

11) AR 엔진 (130)은 이동 정보를 입력 모듈 (101)에 전송할 수 있다. 입력 모듈 (101)은 라이브 AR 챌린지가 성공적으로 완료되었는지 여부를 식별할 수 있다.11) The AR engine 130 may transmit movement information to the input module 101. The input module 101 can identify whether the live AR challenge was successfully completed.

12) 또한, 입력 모듈 (101)은 인증 결과를 인증 엔진 (140)에 전송할 수 있다. 인증 엔진 (140)은 라이브 AR 챌린지가 성공적으로 완료되었는지 여부를 결정하기 위해 라이브 챌린지 엔진 (120)으로부터 수신한 결과와 입력 모듈 (101)로부터 수신한 결과의 연관성을 판단할 수 있다.12) Also, the input module 101 may transmit an authentication result to the authentication engine 140. The authentication engine 140 may determine a correlation between the result received from the live challenge engine 120 and the result received from the input module 101 to determine whether the live AR challenge was successfully completed.

a. 입력 모듈 (101)로부터의 결과와 라이브 챌린지 엔진 (120)으로부터의 결과가 동일하다면, 챌린지는 성공적으로 완료될 수 있다. 따라서, 인증 엔진 (140)은 사용자의 전자 장치 (100)에 대한 액세스를 허용할 수 있다.a. If the results from the input module 101 and the results from the live challenge engine 120 are the same, the challenge can be completed successfully. Accordingly, the authentication engine 140 may allow a user to access the electronic device 100.

b. 입력 모듈 (101)로부터의 결과와 라이브 챌린지 엔진 (120)으로부터의 결과가 동일하지 않으면, 라이브 챌린지는 성공적으로 완료되지 않을 수 있다. 따라서, 인증 엔진 (140)은 사용자의 전자 장치 (100)에 대한 액세스를 거부할 수 있다. b. If the result from the input module 101 and the result from the live challenge engine 120 are not the same, the live challenge may not be completed successfully. Accordingly, the authentication engine 140 may deny access of the user to the electronic device 100.

도 6은 본 개시의 일 실시예에 따라 사용자를 인증하기 위한 전자 장치의 인증 엔진의 블록도이다. 6 is a block diagram of an authentication engine of an electronic device for authenticating a user according to an embodiment of the present disclosure.

라이브 챌린지 엔진 (120)은 라이브 챌린지를 생성하고 관련 정보를 AR 엔진 (130)에 전달하여 카메라 (110)와 상호적으로 라이브 챌린지를 제공할 수 있다. AR 엔진 (130)은 AR 애니메이터 (131) 및 이동 검출기 (132)를 포함할 수 있다. AR 엔진 (130)은 라이브 챌린지를 언제, 어디서, 어떻게 보여줄 지에 대한 분석을 수행할 수 있다. The live challenge engine 120 may generate a live challenge and deliver relevant information to the AR engine 130 to provide a live challenge interactively with the camera 110. AR engine 130 may include an AR animator 131 and a movement detector 132. The AR engine 130 may perform an analysis of when, where, and how to show live challenges.

AR 애니메이터 (131)는 라이브 챌린지의 데이터를 분석하고 전자 장치 (100)에서 라이브 챌린지를 표시할 위치를 결정할 수 있다. AR 애니메이터 (131)는 라이브 챌린지에 의해 제공된 파라미터에 기초하여 라이브 챌린지가 표시되는 정확한 위치를 계산할 수 있다. AR 애니메이터 (131)는 계산에 기초하여 결정된 위치에, 디스플레이의 AR 모드에서 라이브 챌린지를 디스플레이 할 수 있다. 또한, AR 엔진 (130)은 이동 검출기 (132)와 상호 작용하여 사용자 입력을 수신하고, 사용자 입력을 인증 엔진 (140)에 전송할 수 있다. 이동/움직임 검출기 (132)는 자이로스코프, 가속도계 등과 같은 센서를 사용하여, 전자 장치 (100)의 이동을 검출하고, 사용자가 올바른 상태 /3D 공간에 있는지 여부를 식별할 수 있다. The AR animator 131 may analyze data of the live challenge and determine a location to display the live challenge in the electronic device 100. The AR animator 131 can calculate the exact location at which the live challenge is indicated based on the parameters provided by the live challenge. The AR animator 131 may display the live challenge in the AR mode of the display, at a location determined based on the calculation. In addition, the AR engine 130 may interact with the movement detector 132 to receive user input and transmit the user input to the authentication engine 140. The movement / movement detector 132 may detect a movement of the electronic device 100 using a sensor such as a gyroscope, an accelerometer, and identify whether the user is in a correct state / 3D space.

다음 절차는 전자 장치 (100)의 사용자를 인증하기 위해 전자 장치 (100)의 AR 엔진 (130)에서 수행될 수 있다. The following procedure may be performed in the AR engine 130 of the electronic device 100 to authenticate a user of the electronic device 100.

1) AR 애니메이터 (131) 및 카메라 (110)를 가동시킨다.1) Activate the AR animator 131 and the camera 110.

2) 3D 평면에 대한 기본 좌표와 목적지 좌표를 획득한다.2) Obtain basic coordinates and destination coordinates for the 3D plane.

3) 목적지 및 전자 장치 (100)의 좌표가 일치하지 않을 때까지 전자 장치 (100) 및 사용자의 이동을 관찰한다;3) observe the movement of the electronic device 100 and the user until the coordinates of the destination and the electronic device 100 do not match;

4) 전자 장치 (100)가 제한된 시간 내에 필요한 동작을 수행하지 않으면, AR 애니메이터 (131) 및 카메라 (110)의 실행을 중지(disable)시키고, 인증이 실패한 것으로 설정한다.4) If the electronic device 100 does not perform the required operation within a limited time, the execution of the AR animator 131 and the camera 110 is disabled and the authentication is set to fail.

5) 전자 장치 (100)가 목적지 좌표에 있으면,5) If the electronic device 100 is in the destination coordinates,

a. 라이브 챌린지 엔진 (120)은 설문지 [원 탭 액티비티와 같은] 또는 활동[사용자 움직임 추적과 같은]의 유형을 선택할 수 있다. a. The live challenge engine 120 may select the type of questionnaire (such as one tap activity) or activity (such as user movement tracking).

b. 라이브 챌린지 엔진 (120)은 크기, 타입, 서브 타입, 컬러, 베이스 좌표 등의 객체의 세부 사항과 객체의 수와 같은 이벤트 세부 사항을 수신할 수 있다. 또한, 라이브 챌린지 엔진 (120)은 수신된 이벤트 세부 사항을 AR 엔진 (130)에 보낼 수 있다. b. The live challenge engine 120 may receive event details, such as the number of objects and details of the object, such as size, type, subtype, color, base coordinates, and the like. The live challenge engine 120 can also send the received event details to the AR engine 130.

c. AR 엔진 (130)은 사용자의 액션에 관한 정보를 수신하고, 사용자 액션을 결과 데이터와 비교하여 결과 데이터를 인증 엔진 (140)에 보낼 수 있다. c. The AR engine 130 may receive information about the user's action, compare the user action with the result data, and send the result data to the authentication engine 140.

인증 엔진 (140)은 요청이 성공적인지 여부를 결정할 수 있다. 구체적으로, 인증 엔진(140)은 라이브 챌린지 엔진 (120)에 의해 전송된 원래 결과와 AR 엔진 (130)에 의해 전송된 데이터에 따른 사용자 행동의 비교에 기초하여 요청이 성공적인지 여부를 결정할 수 있다.Authentication engine 140 may determine whether the request is successful. Specifically, the authentication engine 140 may determine whether the request is successful based on the comparison of the original behavior sent by the live challenge engine 120 with the user behavior according to the data sent by the AR engine 130. .

도 7a 내지 도 7d는 본 개시의 실시예에 따라 전자 장치 (100)의 사용자를 인증하는 예시적인 시나리오를 설명하기 위한 도면이다. 본 실시예에서는 사용자가 전자 장치 (100)에 액세스하기를 원하는 상황을 가정하도록 한다. 7A to 7D are diagrams for describing an example scenario for authenticating a user of the electronic device 100 according to an embodiment of the present disclosure. In this embodiment, it is assumed that a user wants to access the electronic device 100.

전자 장치 (100)는 사용자로부터 액세스 요청을 수신할 수 있다. 액세스 요청이 수신됨에 따라, 전자 기기 (100)는 자동적으로 카메라 (110)를 구동시켜 카메라 (110)의 시야에 표시된 사용자의 주변에 있는 객체를 포착할 수 있다. 도 7a는 본 개시의 일 실시예에 따른 전자 장치가 사용자 주변의 객체를 포착하여 표시하는 프로세스를 설명하기 위한 도면이다. 사용자가 집에 있는 경우, 도 7a에 도시된 바와 같이, 전자 기기 상에 창문 (200)이 표시될 수 있다. The electronic device 100 may receive an access request from a user. As the access request is received, the electronic device 100 may automatically drive the camera 110 to capture an object in the vicinity of the user displayed in the field of view of the camera 110. FIG. 7A is a diagram for describing a process of capturing and displaying an object around a user by an electronic device according to an embodiment of the present disclosure. When the user is at home, as shown in FIG. 7A, the window 200 may be displayed on the electronic device.

또한, 전자 기기 (100)는 검출된 객체 및 사용자의 상황에 기초하여 사용자 스토리를 결정할 수 있다. 도 7b는 본 개시의 일 실시예에 따른 전자 장치가 사용자 주변의 객체를 기초로 스토리를 결정하는 프로세스를 설명하기 위한 도면이다. 스토리는 도 7b에 도시된 바와 같이, 검출된 객체 (창문 (200)과 같은)에 기초하여, 데이터베이스로부터 선택된 거미집 (210a)을 포함할 수 있다. 또한, 다른 실시예에 따라, 전자 기기 (100)는 검출된 객체 및 사용자의 상황에 기초하여 스토리를 결정할 수 있다. In addition, the electronic device 100 may determine a user story based on the detected object and the user's situation. FIG. 7B is a diagram for describing a process of determining, by an electronic device, a story based on objects around a user, according to an embodiment of the present disclosure. The story may include a cobweb 210a selected from a database based on the detected object (such as window 200), as shown in FIG. 7B. Also, according to another exemplary embodiment, the electronic device 100 may determine a story based on the detected object and the user's situation.

또한, 전자 장치 (100)는 사용자의 컨텍스트에 기초하여 선택된 사용자 스토리에 대한 주체를 결정할 수 있다. 도 7c는 본 개시의 일 실시예에 따른 전자 장치가 스토리에 대한 주체를 결정하는 프로세스를 설명하기 위한 도면이다. 주체는 도 7c에 도시된 바와 같이 검출된 객체 (창문 (200)과 같은) 및 스토리에 기초하여 데이터베이스로부터 선택된 거미 (210b)이다. In addition, the electronic device 100 may determine a subject for the selected user story based on the context of the user. 7C is a diagram for describing a process of determining, by an electronic device, a subject for a story, according to an embodiment of the present disclosure. The subject is a spider 210b selected from the database based on the detected object (such as window 200) and the story as shown in FIG. 7C.

또한, 전자 장치 (100)는 선택된 스토리 및 주체에 기초하여 사용자에 대한 라이브 챌린지를 생성할 수 있다. 구체적으로, 전자 장치(100)는 스토리 및 주체를 기반으로 태스크를 결정할 수 있다. 도 7d는 본 개시의 일 실시예에 따른 전자 장치가 스토리, 주체 및 태스크를 기초로 라이브 챌린지를 생성하는 프로세스를 설명하기 위한 도면이다. 도 7d를 참조하면, 전자 장치(100)는 창문 (200)상에 거미 (210b) 및 거미집 (210a)을 증강시킨 AR 영상을 표시하고, 거미(210b)를 죽이는 것을 태스크로 제시할 수 있다. 사용자는 도 7d에 도시 된 바와 같이, 거미 (210b)를 죽이는 것을 라이브 챌린지로 요청 받을 수 있다. 사용자가 거미 (210b)를 향하여 사용자의 손(300)을 움직이고 거미 (210b)를 죽이기 위해 태핑을 수행하면, 라이브 챌린지가 완료될 수 있다. 전자 장치 (100)는 라이브 챌린지가 완료되었는지 여부를 결정하기 위해 사용자의 움직임을 지속적으로 모니터링할 수 있다. 이에 따라 전자 장치 (100)는 상호적으로 사용자를 식별하고 인증할 수 있다.In addition, the electronic device 100 may generate a live challenge for the user based on the selected story and the subject. In detail, the electronic device 100 may determine a task based on a story and a subject. FIG. 7D is a diagram for describing a process in which an electronic device generates a live challenge based on a story, a subject, and a task, according to an embodiment of the present disclosure. Referring to FIG. 7D, the electronic device 100 may display an AR image in which the spider 210b and the cobweb 210a are augmented on the window 200, and present the task of killing the spider 210b. The user may be asked to live challenge to kill spider 210b, as shown in FIG. 7D. If the user moves the user's hand 300 towards the spider 210b and performs tapping to kill the spider 210b, the live challenge may be completed. The electronic device 100 may continuously monitor the movement of the user to determine whether the live challenge is completed. Accordingly, the electronic device 100 may mutually identify and authenticate a user.

도 8a는 본 개시의 일 실시예에 따라 전자 장치의 사용자를 인증하는 방법을 설명하기 위한 흐름도의 제 1 부분이다. 또한, 도 8b는 본 개시의 일 실시예에 따라 전자 장치의 사용자를 인증하는 방법을 설명하기 위한 흐름도의 제 2 부분이다.8A is a first portion of a flowchart for describing a method of authenticating a user of an electronic device according to an embodiment of the present disclosure. 8B is a second part of a flowchart illustrating a method of authenticating a user of an electronic device according to an embodiment of the present disclosure.

이하에서는, 도 8a 및 도 8b를 참조하여 일 실시예에 따른 사용자 인증 방법에 대해 구체적으로 설명하도록 한다. Hereinafter, a user authentication method according to an embodiment will be described in detail with reference to FIGS. 8A and 8B.

단계 801에서, 전자 장치(100)는 사용자 인증 요청을 수신할 수 있다. 예를 들어, 전자 장치에 구비된 라이브 챌린지 엔진 (120)이 사용자를 인증하기 위한 요청을 수신할 수 있다.In operation 801, the electronic device 100 may receive a user authentication request. For example, the live challenge engine 120 included in the electronic device may receive a request for authenticating the user.

단계 802에서, 전자 장치(100)는 AR을 이용하여 인증을 수행할 것인지 여부를 결정할 수 있다. 예를 들어, 라이브 챌린지 엔진 (120)은 AR을 사용하여 인증을 수행하는지를 결정할 수 있다.In operation 802, the electronic device 100 may determine whether to perform authentication using the AR. For example, the live challenge engine 120 can determine whether to perform authentication using the AR.

일 실시예에 따른 전자 장치(100)는 AR을 이용하여 인증을 수행할 것인지 여부를 묻는 메시지를 표시하고, 이에 대한 사용자 응답을 기초로 AR을 이용하여 인증을 수행할 것인지 여부를 결정할 수 있다. 다른 실시예에 따라, 전자 장치(100)는 AR 모드로 동작중인 경우, 별도의 질의 없이 AR을 이용하여 인증을 수행하는 것으로 결정할 수 있다. According to an embodiment, the electronic device 100 may display a message asking whether to perform authentication using the AR and determine whether to perform authentication using the AR based on a user response thereto. According to another embodiment, when the electronic device 100 operates in the AR mode, the electronic device 100 may determine to perform authentication using the AR without inquiring.

단계 803에서, 전자 장치(100)는 카메라(110)를 자동적으로 실행할 수 있다. 전자 장치(100)는 AR을 이용하여 인증을 수행하는 것으로 결정됨에 따라, 카메라(100)를 실행할 수 있다. 또한, 전자 장치(100)에 구비된 라이브 챌린지 엔진 (120)에서 해당 동작을 수행할 수 있다. In operation 803, the electronic device 100 may automatically execute the camera 110. As determined to perform authentication using the AR, the electronic device 100 may execute the camera 100. In addition, the live challenge engine 120 included in the electronic device 100 may perform a corresponding operation.

단계 804에서, 전자 장치(100)는 카메라의 FoV에 표시된 사용자의 주변 객체를 식별할 수 있다. 예를 들어, 전자 장치(100)에 구비된 객체 인식 엔진 (121)이 사용자의 주위의 객체를 식별할 수 있다. In operation 804, the electronic device 100 may identify a user's surrounding object displayed on the camera's FoV. For example, the object recognition engine 121 provided in the electronic device 100 may identify an object around the user.

단계 805에서, 전자 장치(100)는 사용자 및 전자 장치 (100) 중 적어도 하나와 연관된 복수의 컨텍스트 파라미터를 결정할 수 있다. 예를 들어, 전자 장치(100)에 구비된 컨텍스트 결정 엔진 (122)이 사용자 및 전자 장치 (100) 중 적어도 하나와 연관된 컨텍스트 파라미터를 결정할 수 있다.In operation 805, the electronic device 100 may determine a plurality of context parameters associated with at least one of the user and the electronic device 100. For example, the context determination engine 122 included in the electronic device 100 may determine a context parameter associated with at least one of the user and the electronic device 100.

단계 806에서, 전자 장치(100)는 인식된 객체 및 복수의 컨텍스트 파라미터에 기초하여 실시간 스토리를 결정할 수 있다. 예를 들어, 전자 장치(100)에 구비된 실시간 스토리 엔진 (125)이 인식된 객체 및 복수의 컨텍스트 파라미터에 기초하여 실시간 스토리를 결정할 수 있다. In operation 806, the electronic device 100 may determine a real-time story based on the recognized object and the plurality of context parameters. For example, the real-time story engine 125 included in the electronic device 100 may determine the real-time story based on the recognized object and the plurality of context parameters.

전자 장치(100)의 데이터베이스에는 객체 및 컨텍스트 파라미터에 대응되는 스토리에 관한 정보가 미리 저장되어 있을 수 있다. 전자 장치(100)는 객체가 인식되고, 현재 상황을 나타내는 복수의 컨텍스트 파라미터가 결정되는 경우, 데이터베이스에 미리 저장된 정보와 이를 비교하여 실시간 스토리를 결정할 수 있다. Information about a story corresponding to an object and a context parameter may be stored in the database of the electronic device 100 in advance. When the object is recognized and a plurality of context parameters indicating the current situation are determined, the electronic device 100 may determine the real-time story by comparing the information with information previously stored in the database.

단계 807에서, 전자 장치(100)는 실시간 스토리에 기초하여 적어도 하나의 주체를 결정할 수 있다. 예를 들어, 전자 장치(100)에 구비된 주체 결정 엔진 (126)은 실시간 스토리에 기초하여 적어도 하나의 주체를 결정할 수 있다. In operation 807, the electronic device 100 may determine at least one subject based on the real time story. For example, the subject determination engine 126 included in the electronic device 100 may determine at least one subject based on a real time story.

전자 장치(100)의 데이터베이스에는 스토리 별로 설정할 수 있는 적어도 하나의 주체에 관한 정보가 미리 저장될 수 있다. 일 실시예에 따른 전자 장치(100)는 스토리가 결정된 경우, 결정된 스토리, 컨텍스트 파라미터, 인식된 객체 중 적어도 하나에 기초하여 주체를 결정할 수 있다. Information on at least one subject that can be set for each story may be stored in the database of the electronic device 100 in advance. When the story is determined, the electronic device 100 may determine the subject based on at least one of the determined story, the context parameter, and the recognized object.

단계 808에서, 전자 장치(100)는 적어도 하나의 주체에 적용될 적어도 하나의 태스크를 결정할 수 있다. 예를 들어, 전자 장치(100)에 구비된 태스크 결정 엔진 (127)이 적어도 하나의 주체에 적용될 적어도 하나의 태스크를 결정할 수 있다. In operation 808, the electronic device 100 may determine at least one task to be applied to at least one subject. For example, the task determination engine 127 included in the electronic device 100 may determine at least one task to be applied to at least one subject.

전자 장치(100)의 데이터베이스에는 스토리 별로 설정할 수 있는 적어도 하나의 태스크에 관한 정보가 미리 저장될 수 있다. 일 실시예에 따른 전자 장치(100)는 스토리, 주체, 컨텍스트 파라미터 및 인식된 객체 중 적어도 하나에 기초하여 태스크를 결정할 수 있다. Information regarding at least one task that can be set for each story may be stored in the database of the electronic device 100 in advance. According to an embodiment, the electronic device 100 may determine a task based on at least one of a story, a subject, a context parameter, and a recognized object.

단계 809에서, 전자 장치(100)는 인식된 객체 및 복수의 컨텍스트 파라미터에 기초하여 전자 디바이스 (100)의 사용자에 대한 라이브 AR 챌린지를 생성할 수 있다. 전자 장치(100)는 스토리, 주체, 태스크를 기반으로 라이브 AR 챌린지를 생성할 수 있다. 라이브 AR 챌린지는 사용자로 하여금 수행해야 하는 태스크를 이끌어내도록 할 수 있다. In operation 809, the electronic device 100 may generate a live AR challenge for the user of the electronic device 100 based on the recognized object and the plurality of context parameters. The electronic device 100 may generate a live AR challenge based on a story, a subject, and a task. Live AR Challenges can allow users to elicit the tasks they need to perform.

예를 들어, 전자 장치(100)에 구비된 라이브 챌린지 엔진 (120)은 인식한 객체 및 복수의 컨텍스트 파라미터에 기초하여 사용자에 대한 라이브 AR 챌린지를 생성할 수 있다. For example, the live challenge engine 120 included in the electronic device 100 may generate a live AR challenge for the user based on the recognized object and the plurality of context parameters.

단계 810에서, 전자 장치(100)는 AR 모드에서 디스플레이에 라이브 AR 챌린지를 표시할 수 있다. In operation 810, the electronic device 100 may display a live AR challenge on a display in the AR mode.

단계 811에서, 전자 장치(100)는 AR 모드에서 사용자에 의해 수행 될 적어도 하나의 태스크를 도출할 수 있다. 예를 들어, 태스크 결정 엔진 (127)은 AR 모드에서 사용자에 의해 수행될 적어도 하나의 태스크를 결정할 수 있다. In operation 811, the electronic device 100 may derive at least one task to be performed by the user in the AR mode. For example, task determination engine 127 may determine at least one task to be performed by the user in AR mode.

단계 812에서, 전자 장치(100)는 적어도 하나의 태스크가 AR 모드에서 사용자에 의해 성공적으로 수행되는지 여부를 결정할 수 있다. 예를 들어, 전자 장치(100)에 구비된 응답 결정 엔진 (128)은 적어도 하나의 태스크가 AR 모드에서 사용자에 의해 성공적으로 수행되는지를 결정할 수 있다. In operation 812, the electronic device 100 may determine whether at least one task is successfully performed by the user in the AR mode. For example, the response determination engine 128 included in the electronic device 100 may determine whether at least one task is successfully performed by the user in the AR mode.

단계 813에서, 전자 장치(100)는 라이브 AR 챌린지가 완료되었는지 여부를 결정할 수 있다. 예를 들어, 라이브 챌린지 엔진 (120)이 라이브 AR 챌린지가 완료되었는지 여부를 결정할 수 있다.In operation 813, the electronic device 100 may determine whether the live AR challenge is completed. For example, live challenge engine 120 can determine whether a live AR challenge has been completed.

단계 814에서, 전자 장치(100)는 사용자의 전자 장치에 액세스를 허용할 수 있다. 전자 장치(100)는 사용자가 라이브 AR 챌린지를 완료한 경우, 사용자의 전자 장치에 대한 액세스를 허가할 수 있다. In operation 814, the electronic device 100 may allow access to the electronic device of the user. When the user completes the live AR challenge, the electronic device 100 may grant access to the electronic device of the user.

단계 815에서, 전자 장치(100)는 사용자의 전자 장치 액세스 허용을 거부할 수 있다. 전자 장치(100)는 사용자가 라이브 AR 챌린지를 완료하지 못한 경우, 사용자의 전자 장치에 대한 액세스하는 것을 거부할 수 있다. In operation 815, the electronic device 100 may deny the user permission to access the electronic device. If the user does not complete the live AR challenge, the electronic device 100 may refuse to access the user's electronic device.

예를 들어, 인증 엔진(140)은 사용자가 전자 장치 (100)에 액세스하는 것을 거부할 수 있다. For example, the authentication engine 140 may deny a user access to the electronic device 100.

단계 816에서, 전자 장치(100)는 사용자 및 전자 장치 중 적어도 하나와 연관된 복수의 컨텍스트 파라미터를 결정할 수 있다. 전자 장치(100)는 AR을 이용하여 인증을 수행하지 않는 것으로 결정함에 따라, 사용자 및 전자 장치 중 적어도 하나와 연관된 복수의 컨텍스트 파라미터를 결정할 수 있다. 예를 들어, 컨텍스트 결정 엔진 (122)은 사용자 및 전자 장치 (100) 중 적어도 하나와 연관된 복수의 컨텍스트 파라미터를 결정할 수 있다. In operation 816, the electronic device 100 may determine a plurality of context parameters associated with at least one of the user and the electronic device. As the electronic device 100 determines not to perform authentication using the AR, the electronic device 100 may determine a plurality of context parameters associated with at least one of the user and the electronic device. For example, the context determination engine 122 may determine a plurality of context parameters associated with at least one of the user and the electronic device 100.

단계 817에서, 전자 장치(100)는 복수의 컨텍스트 파라미터에 기초하여 실시간 스토리를 결정할 수 있다. 예를 들어, 실시간 스토리 엔진 (125)은 복수의 컨텍스트 파라미터들에 기초하여 실시간 스토리를 결정할 수 있다.In operation 817, the electronic device 100 may determine a real-time story based on the plurality of context parameters. For example, the real time story engine 125 may determine the real time story based on the plurality of context parameters.

단계 818에서, 전자 장치(100)는 실시간 스토리에 기초하여 적어도 하나의 주체를 결정할 수 있다. 예를 들어, 주체 결정 엔진 (126)은 실시간 스토리에 기초하여 적어도 하나의 주체를 결정할 수 있다. In operation 818, the electronic device 100 may determine at least one subject based on the real time story. For example, subject determination engine 126 may determine at least one subject based on a real-time story.

단계 819에서, 전자 장치(100)는 적어도 하나의 주체에 적용될 적어도 하나의 태스크를 결정할 수 있다. 예를 들어, 태스크 결정 엔진 (127)은 적어도 하나의 주체에 적용될 적어도 하나의 태스크를 결정할 수 있다.In operation 819, the electronic device 100 may determine at least one task to be applied to at least one subject. For example, task determination engine 127 may determine at least one task to be applied to at least one subject.

단계 820에서, 전자 장치(100)는 실시간 스토리, 적어도 하나의 주체 및 적어도 하나의 태스크에 기초하여 라이브 챌린지를 생성할 수 있다. 예를 들어, 라이브 챌린지 엔진 (120)은 실시간 스토리, 적어도 하나의 주체 및 적어도 하나의 태스크에 기초하여 전자 장치 (100)의 사용자에 대한 라이브 챌린지를 생성할 수 있다. In operation 820, the electronic device 100 may generate a live challenge based on a real time story, at least one subject, and at least one task. For example, the live challenge engine 120 may generate a live challenge for a user of the electronic device 100 based on a real time story, at least one subject, and at least one task.

단계 821에서, 전자 장치(100)는 디스플레이 (180) 상에 라이브 챌린지를 디스플레이 할 수 있다. In operation 821, the electronic device 100 may display a live challenge on the display 180.

단계 822에서, 전자 장치(100)는 사용자에 의해 수행되어야 하는 적어도 하나의 태스크를 도출할 수 있다. 예를 들어, 태스크 결정 엔진 (127)은 사용자에 의해 수행될 적어도 하나의 태스크를 도출할 수 있다.In operation 822, the electronic device 100 may derive at least one task to be performed by the user. For example, task determination engine 127 may derive at least one task to be performed by the user.

단계 823에서, 전자 장치(100)는 적어도 하나의 태스크가 사용자에 의해 성공적으로 수행되는지 여부를 결정할 수 있다. 예를 들어, 응답 결정 엔진 (128)은 적어도 하나의 태스크가 사용자에 의해 성공적으로 수행되었는지 여부를 결정할 수 있다. In operation 823, the electronic device 100 may determine whether at least one task is successfully performed by the user. For example, response determination engine 128 may determine whether at least one task was successfully performed by the user.

전술한 흐름도 (800)에서의 다양한 동작, 동작, 블록, 단계 등은 다른 순서 또는 동시에 수행될 수 있다. 또한, 일부 실시 예에서, 본 개시의 범위를 벗어나지 않으면 서, 동작, 동작, 블록, 단계 등의 일부는 생략되거나, 추가되거나, 수정될 수 있다.Various operations, operations, blocks, steps, etc. in the aforementioned flowchart 800 may be performed in a different order or simultaneously. In addition, in some embodiments, some of the operations, operations, blocks, steps, and the like may be omitted, added, or modified without departing from the scope of the present disclosure.

도 9는 본 개시의 일 실시예에 따른 전자 장치가 날씨 정보를 기초로 생성된 라이브 챌린지를 이용하여 사용자를 인증하는 방법을 설명하기 위한 도면이다. FIG. 9 is a diagram for describing a method of authenticating a user using a live challenge generated based on weather information, according to an embodiment of the present disclosure.

전자 장치(100)는 사용자로부터 사용자 인증 요청을 수신할 수 있다. 본 실시예에서는, 전자 장치(100)의 사용자 인증이 AR 모드에서 수행되는 것으로 가정한다. The electronic device 100 may receive a user authentication request from a user. In the present embodiment, it is assumed that user authentication of the electronic device 100 is performed in the AR mode.

도 9를 참조하면, 전자 장치(100)는 사용자 인증 요청이 수신됨에 따라, 자동적으로 카메라 실행시킬 수 있다. 이에 따라, 카메라의 시야 (FoV)에 사용자의 주위의 객체가 포착될 수 있다. 예를 들어, 카메라 (110)의 시야에 차량(910)이 포착될 수 있다. Referring to FIG. 9, when the user authentication request is received, the electronic device 100 may automatically execute a camera. Accordingly, objects around the user can be captured in the field of view (FoV) of the camera. For example, the vehicle 910 may be captured in the field of view of the camera 110.

한편, 전자 장치(100)는 컨텍스트 파라미터를 기초로 현재 날씨가 흐리다는 것을 결정할 수 있다. 전자 장치(100)는 포착된 객체 및 컨텍스트 파라미터를 기초로 주체 및 태스크를 차량의 와이퍼(930) 및 차량의 와이퍼(930)로 빗방울 제거하기로 결정할 수 있다. 이에 따라, 전자 장치(100)는 카메라의 FoV에 포착된 차량(910)의 실세계 영상에 차량의 와이퍼(930) 및 빗방울(920)의 AR 영상을 중첩시킬 수 있다. 또한, 전자 장치(100)는 실세계 영상과 AR 영상이 중첩된 영상과 함께 와이퍼(930)를 터치하여 빗방울(920)을 제거할 것을 유도하는 질문 또는 멘트를 출력함으로써 라이브 AR 챌린지를 제공할 수 있다. Meanwhile, the electronic device 100 may determine that the current weather is cloudy based on the context parameter. The electronic device 100 may determine to remove raindrops from the vehicle wiper 930 and the vehicle wiper 930 based on the captured object and context parameters. Accordingly, the electronic device 100 may superimpose the AR image of the wiper 930 and the raindrop 920 of the vehicle on the real world image of the vehicle 910 captured by the FoV of the camera. In addition, the electronic device 100 may provide a live AR challenge by outputting a question or a comment to induce the removal of the raindrop 920 by touching the wiper 930 together with the image in which the real world image and the AR image overlap. .

사용자가 손(300)으로 와이퍼(930)를 터치하여 빗방울(920)을 제거하는 라이브 챌린지를 완료함에 따라, 사용자의 전자 장치(100)에 대한 액세스가 허용될 수 있다. As the user completes the live challenge of removing the raindrops 920 by touching the wiper 930 with the hand 300, the user may be allowed to access the electronic device 100.

도 10은 본 개시의 일 실시예에 따라 인식된 객체를 기초로 생성된 라이브 챌린지를 이용하여 사용자를 인증하는 방법을 설명하기 위한 도면이다. FIG. 10 is a diagram for describing a method of authenticating a user using a live challenge generated based on a recognized object according to one embodiment of the present disclosure.

전자 장치(100)는 사용자로부터 사용자 인증 요청을 수신할 수 있다. 본 실시예에서는, 전자 장치(100)의 사용자 인증이 AR 모드에서 수행되는 것으로 가정한다. The electronic device 100 may receive a user authentication request from a user. In the present embodiment, it is assumed that user authentication of the electronic device 100 is performed in the AR mode.

도 10을 참조하면, 전자 장치(100)는 사용자 인증 요청이 수신됨에 따라, 자동적으로 카메라를 실행시킬 수 있다. 이에 따라, 카메라의 시야 (FoV)에 사용자의 주위의 객체가 포착될 수 있다. 예를 들어, 카메라의 시야에 풍선 (1010)이 포착될 수 있다. Referring to FIG. 10, when a user authentication request is received, the electronic device 100 may automatically execute a camera. Accordingly, objects around the user can be captured in the field of view (FoV) of the camera. For example, balloon 1010 may be captured in the field of view of the camera.

전자 장치(100)는 포착된 객체를 기초로 라이브 챌린지를 생성할 수 있다. 예를 들어, 전자 장치(100)는 라이브 챌린지를 구성하는 주체로, 나침반(1020)을 선택할 수 있다. 또한, 전자 장치(100)는 라이브 챌린지를 구성하는 태스크를 나침반(1020)을 이용하여 풍선(1010)의 방향을 가리키기로 결정할 수 있다. 또한, 사용자는 나침반(1020)이 바늘이 풍선(1010)을 가리키도록 나침반(1020)을 회전시키는 라이브 AR 챌린지를 완료하도록 요청 받을 수 있다. 사용자는 손(300)으로 나침반(1020)의 바늘을 풍선(1010)의 방향으로 회전시킴으로써 전자 장치(100)에 액세스 할 수 있다. The electronic device 100 may generate a live challenge based on the captured object. For example, the electronic device 100 may select the compass 1020 as a subject constituting the live challenge. In addition, the electronic device 100 may determine to indicate the direction of the balloon 1010 using the compass 1020 for the task constituting the live challenge. The user may also be asked to complete a live AR challenge in which the compass 1020 rotates the compass 1020 so that the needle points to the balloon 1010. The user may access the electronic device 100 by rotating the needle of the compass 1020 in the direction of the balloon 1010 with the hand 300.

도 11은 본 개시의 일 실시예에 따라 인식된 객체를 기초로 생성된 라이브 챌린지를 이용하여 사용자를 인증하는 방법을 설명하기 위한 도면이다. FIG. 11 is a diagram for describing a method of authenticating a user by using a live challenge generated based on a recognized object according to one embodiment of the present disclosure.

전자 장치(100)는 사용자로부터 사용자 인증 요청을 수신할 수 있다. 본 실시예에서는, 전자 장치(100)의 사용자 인증이 AR 모드에서 수행되는 것으로 가정한다. The electronic device 100 may receive a user authentication request from a user. In the present embodiment, it is assumed that user authentication of the electronic device 100 is performed in the AR mode.

도 11을 참조하면, 전자 장치(100)는 사용자 인증 요청이 수신됨에 따라, 자동적으로 카메라를 실행시킬 수 있다. 이에 따라, 카메라의 시야 (FoV)에 사용자의 주위의 객체가 포착될 수 있다. 예를 들어, 카메라의 시야에 모자 (1120)가 포착될 수 있다. Referring to FIG. 11, when the user authentication request is received, the electronic device 100 may automatically execute a camera. Accordingly, objects around the user can be captured in the field of view (FoV) of the camera. For example, hat 1120 may be captured in the field of view of the camera.

전자 장치(100)는 포착된 객체를 기초로 라이브 챌린지를 생성할 수 있다. 예를 들어, 전자 장치(100)는 라이브 챌린지를 구성하는 주체로, 카우보이 (1110)를 선택할 수 있다. 또한, 전자 장치(100)는 라이브 챌린지를 구성하는 태스크를 카우보이(1110)에 모자를 씌우기로 결정할 수 있다. 이에 따라, 전자 장치(100)는 카메라의 FoV에 포착된 모자(1120)의 실세계 영상에 카우보이 (1110)의 AR 영상을 중첩시킴으로써 라이브 챌린지를 생성할 수 있다. The electronic device 100 may generate a live challenge based on the captured object. For example, the electronic device 100 may select the cowboy 1110 as a subject constituting the live challenge. In addition, the electronic device 100 may determine to put a hat on the cowboy 1110 for the task constituting the live challenge. Accordingly, the electronic device 100 may generate a live challenge by superimposing the AR image of the cowboy 1110 on the real world image of the hat 1120 captured by the camera's FoV.

또한, 전자 장치(100)는 실세계 영상과 AR 영상이 중첩된 영상과 함께, 카우보이(1110)의 머리에 사용자가 모자(1120)를 이동시키도록 유도하는 질문 또는 멘트를 출력함으로써 라이브 AR 챌린지를 제공할 수 있다. 또한, 사용자는 손(300)으로 모자(1120)을 드래그하여 카우보이(1110)의 얼굴에 위치시키도록 요청받을 수 있다.In addition, the electronic device 100 provides a live AR challenge by outputting a question or a comment to the user to move the hat 1120 to the head of the cowboy 1110 together with the image of the real world image and the AR image. can do. In addition, the user may be asked to drag the hat 1120 with the hand 300 to place it on the face of the cowboy 1110.

도 12는 본 개시의 일 실시예에 따라 인식된 객체를 기초로 생성된 라이브 챌린지를 이용하여 사용자를 인증하는 방법을 설명하기 위한 도면이다. FIG. 12 is a diagram for describing a method of authenticating a user using a live challenge generated based on a recognized object according to one embodiment of the present disclosure.

전자 장치(100)는 사용자로부터 사용자 인증 요청을 수신할 수 있다. 본 실시예에서는, 전자 장치(100)의 사용자 인증이 AR 모드에서 수행되는 것으로 가정한다. The electronic device 100 may receive a user authentication request from a user. In the present embodiment, it is assumed that user authentication of the electronic device 100 is performed in the AR mode.

도 12을 참조하면, 전자 장치(100)는 사용자 인증 요청이 수신됨에 따라, 자동적으로 카메라를 실행시킬 수 있다. 이에 따라, 카메라의 시야 (FoV)에 사용자의 주위의 객체가 포착될 수 있다. 예를 들어, 카메라의 시야에 카우보이 (1210)가 포착될 수 있다. Referring to FIG. 12, when the user authentication request is received, the electronic device 100 may automatically execute a camera. Accordingly, objects around the user can be captured in the field of view (FoV) of the camera. For example, cowboy 1210 may be captured in the field of view of the camera.

전자 장치(100)는 포착된 객체를 기초로 라이브 챌린지를 생성할 수 있다. 예를 들어, 전자 장치(100)는 라이브 챌린지를 구성하는 주체로, 객체인 카우보이를 선택하고, 라이브 챌린지를 구성하는 태스크를 카우보이(1210)에 콧수염(1220) 붙이기로 결정할 수 있다. 이에 따라, 전자 장치(100)는 카메라의 FoV에 포착된 카우보이(1220)의 실세계 영상에 콧수염 (1220)의 AR 영상을 중첩시킴으로써 라이브 챌린지를 생성할 수 있다. 또한, 사용자는 손(300)으로 콧수염(1220)을 드래그하여 카우보이(1210)의 얼굴에 위치시키도록 요청받을 수 있다. The electronic device 100 may generate a live challenge based on the captured object. For example, the electronic device 100 may select a cowboy that is an object as a subject constituting a live challenge, and determine to attach a mustache 1220 to the cowboy 1210 as a task constituting the live challenge. Accordingly, the electronic device 100 may generate a live challenge by superimposing the AR image of the mustache 1220 on the real world image of the cowboy 1220 captured by the camera's FoV. In addition, the user may be asked to drag the mustache 1220 with the hand 300 to place it on the face of the cowboy 1210.

도 13은 본 개시의 일 실시예에 따라 인식된 객체를 기초로 생성된 라이브 챌린지를 이용하여 사용자를 인증하는 방법을 설명하기 위한 도면이다. FIG. 13 is a diagram for describing a method of authenticating a user by using a live challenge generated based on a recognized object according to one embodiment of the present disclosure.

전자 장치(100)는 사용자로부터 사용자 인증 요청을 수신할 수 있다. The electronic device 100 may receive a user authentication request from a user.

도 13을 참조하면, 전자 장치(100)는 사용자 인증 요청이 수신됨에 따라, 자동적으로 카메라를 실행시킬 수 있다. 이에 따라, 카메라의 시야 (FoV)에 사용자의 주위의 객체가 포착될 수 있다. Referring to FIG. 13, when the user authentication request is received, the electronic device 100 may automatically execute a camera. Accordingly, objects around the user can be captured in the field of view (FoV) of the camera.

전자 장치(100)는 포착된 객체를 기초로 라이브 챌린지를 생성할 수 있다. 예를 들어, 전자 장치(100)는 라이브 챌린지를 구성하는 주체로, 카메라에 포착된 서로 다른 색상의 풍선(1310)을 선택하고, 라이브 챌린지를 구성하는 태스크를 서로 다른 색상의 풍선(1310) 중 홀수개인 특정 색상의 풍선을 선택하기로 결정할 수 있다. 이에 따라, 전자 장치(100)는 카메라의 시야에 포착된 서로 다른 색상의 풍선 (1310) 중 홀수개인 특정 색상의 풍선을 선택하는 것을 유도하는 멘트 또는 질문을 출력할 수 있다. The electronic device 100 may generate a live challenge based on the captured object. For example, the electronic device 100 is a subject constituting the live challenge, and selects a balloon 1310 of different colors captured by the camera, and performs a task constituting a live challenge among the balloons 1310 of different colors. You may decide to choose an odd number of balloons of a certain color. Accordingly, the electronic device 100 may output a comment or question leading to selecting a balloon of a specific color that is odd among balloons 1310 of different colors captured in the field of view of the camera.

사용자가 손(300)으로 홀수개인 특정 색상의 풍선을 선택하여 라이브 챌린지를 완료하는 경우, 전자 장치(100)에의 액세스가 허용될 수 있다. When the user completes the live challenge by selecting a balloon having an odd number of colors by hand 300, access to the electronic device 100 may be allowed.

도 14는 본 개시의 일 실시예에 따라 인식된 객체를 기초로 생성된 라이브 챌린지를 이용하여 사용자를 인증하는 방법을 설명하기 위한 도면이다. FIG. 14 is a diagram for describing a method of authenticating a user by using a live challenge generated based on a recognized object according to one embodiment of the present disclosure.

전자 장치(100)는 사용자로부터 사용자 인증 요청을 수신할 수 있다. 도 14를 참조하면, 전자 장치(100)는 사용자 인증 요청이 수신됨에 따라, 자동적으로 카메라를 실행시킬 수 있다. 이에 따라, 카메라의 시야 (FoV)에 사용자의 주위의 객체가 포착될 수 있다. 예를 들어, 카메라의 시야에 오두막 (1410)이 포착될 수 있다. The electronic device 100 may receive a user authentication request from a user. Referring to FIG. 14, when the user authentication request is received, the electronic device 100 may automatically execute a camera. Accordingly, objects around the user can be captured in the field of view (FoV) of the camera. For example, the cabin 1410 can be captured in the field of view of the camera.

전자 장치(100)는 오두막(1410)이 포착됨에 따라, 라이브 챌린지를 오두막(1410)의 문을 두드리는 것으로 결정할 수 있다. 전자 장치(100)는 카메라의 시야에 포착된 오두막(1410)의 문을 두드리는 것을 유도하는 멘트 또는 질문을 출력할 수 있다. As the cabin 1410 is captured, the electronic device 100 may determine that the live challenge is knocking on the door of the cabin 1410. The electronic device 100 may output a comment or question for inducing tapping on the door of the cabin 1410 captured in the field of view of the camera.

사용자가 손(300)으로 오두막(1410)의 문을 두드리는 라이브 챌린지를 완료하는 경우, 전자 장치(100)에의 액세스가 허용될 수 있다. When the user completes the live challenge of knocking on the door of the cabin 1410 with the hand 300, access to the electronic device 100 may be allowed.

도 15는 본 개시의 일 실시예에 따라 컨텍스트 파라미터를 기초로 생성된 라이브 챌린지를 이용하여 사용자를 인증하는 방법을 설명하기 위한 도면이다. FIG. 15 illustrates a method of authenticating a user using a live challenge generated based on a context parameter according to an embodiment of the present disclosure.

전자 장치(100)는 사용자로부터 사용자 인증 요청을 수신할 수 있다. 전자 장치(100)는 사용자 인증 요청이 수신됨에 따라, 사용자와 연관된 패스워드 2-3글자를 입력하도록 문자 입력판을 제공할 수 있다. 여기에서, 사용자와 연관된 패스워드는 컨텍스트 파라미터를 기초로 결정되는 것으로, 사용자 또는 전자 장치의 상황을 나타내는 단어일 수 있다. The electronic device 100 may receive a user authentication request from a user. As the user authentication request is received, the electronic device 100 may provide a text input panel to input 2-3 letters of the password associated with the user. Here, the password associated with the user is determined based on the context parameter and may be a word indicating a situation of the user or the electronic device.

한편, 각 글자에 대해, 첫번째 문자는 굵은 글씨로 입력되고, 두번째 문자는 이탈릭체로 입력되며, 세번째 문자는 소문자로 입력될 수 있도록 문자 입력판이 디스플레이 상에 표시될 수 있다. 다만, 이는 일 예일 뿐, 보다 복잡한 라이브 챌린지를 생성하기 위해 문자의 조합이 뒤섞인 문자 입력판이 제공될 수도 있다. 또한, 다른 예에 따라, 문자의 크기, 색상 등이 다르게 설정될 수도 있다. On the other hand, for each character, the first character is input in bold letters, the second character is input in italics, the third character may be displayed on the display so that the third character can be entered in lowercase. However, this is merely an example, and a character input panel may be provided in which a combination of characters is mixed to generate a more complicated live challenge. In addition, according to another example, the size, color, etc. of the character may be set differently.

사용자는 손(300)으로 각 문자 입력판에서 특정 글자를 터치함으로써, 라이브 챌린지를 수행할 수 있다. 라이브 챌린지가 성공적으로 수행되는 경우 사용자는 전자 장치(100)에 액세스 할 수 있다. The user may perform a live challenge by touching a specific letter in each letter input panel with the hand 300. When the live challenge is successfully performed, the user may access the electronic device 100.

도 16은 본 개시의 일 실시예에 따라 컨텍스트 파라미터를 기초로 생성된 라이브 챌린지를 이용하여 사용자를 인증하는 방법을 설명하기 위한 도면이다. FIG. 16 illustrates a method of authenticating a user using a live challenge generated based on a context parameter according to an embodiment of the present disclosure.

전자 장치(100)는 사용자로부터 사용자 인증 요청을 수신할 수 있다. 전자 장치(100)는 사용자 인증 요청이 수신됨에 따라, 컨텍스트 파라미터를 기초로 라이브 챌린지를 구성하는 주체 및 태스크를 결정할 수 있다. 도 16을 참조하면, 전자 장치(100)에는 사용자가 최근 전자 장치(100)를 통해 New delhi로의 여행을 위한 비행기 표를 예약했다는 컨텍스트 정보가 저장되어 있을 수 있다. 이를 기초로, 전자 장치(100)는 비행기가 달력에서 여행 일자 위에 위치하도록 비행기를 이동시키는 라이브 챌린지를 생성할 수 있다. The electronic device 100 may receive a user authentication request from a user. As the user authentication request is received, the electronic device 100 may determine a subject and a task constituting the live challenge based on the context parameter. Referring to FIG. 16, the electronic device 100 may store context information indicating that the user recently reserved a flight ticket for a trip to New delhi through the electronic device 100. Based on this, the electronic device 100 may generate a live challenge for moving the plane so that the plane is located on the travel date in the calendar.

이에 따라, 전자 장치(100)는 디스플레이 상에 비행기 이미지, 달력 이미지 및 비행기를 달력에서 여행 일자 위에 위치시킬 것을 유도하는 질문 또는 멘트를 표시할 수 있다. 사용자는 손(300)으로 비행기를 드래그하여 여행 일자에 대응되는 날짜 위에 위치시킴으로써, 전자 장치(100)에 액세스 할 수 있다. Accordingly, the electronic device 100 may display a plane image, a calendar image, and a question or comment that induces the plane to be positioned on the travel date on the calendar. The user may access the electronic device 100 by dragging the plane with his hand 300 and placing it on a date corresponding to the travel date.

도 17은 본 개시의 일 실시예에 따라 컨텍스트 파라미터를 기초로 생성된 라이브 챌린지를 이용하여 사용자를 인증하는 방법을 설명하기 위한 도면이다. FIG. 17 illustrates a method for authenticating a user using a live challenge generated based on a context parameter according to an embodiment of the present disclosure.

전자 장치(100)는 사용자로부터 사용자 인증 요청을 수신할 수 있다. 전자 장치(100)는 사용자 인증 요청이 수신됨에 따라, 컨텍스트 파라미터를 기초로 라이브 챌린지를 구성하는 주체 및 태스크를 결정할 수 있다. 도 17을 참조하면, 전자 장치(100)에는 사용자의 통화 기록이 저장되어 있을 수 있다. 전자 장치(100)는 이를 기초로, 사용자가 어제 통화를 가장 많이 한 사람이 누구인지를 선택하는 라이브 챌린지를 생성할 수 있다. The electronic device 100 may receive a user authentication request from a user. As the user authentication request is received, the electronic device 100 may determine a subject and a task constituting the live challenge based on the context parameter. Referring to FIG. 17, a call record of a user may be stored in the electronic device 100. Based on this, the electronic device 100 may generate a live challenge in which the user selects who has the most calls yesterday.

이에 따라, 전자 장치(100)는 디스플레이 상에 전화 아이콘, 사용자가 어제 통화한 사람들의 정보 및 어제 통화를 가장 많이 한 사람이 누구인지를 선택할 것을 유도하는 질문 또는 멘트를 표시할 수 있다. 사용자는 손(300)으로 전화 아이콘을 드래그하여 어제 통화를 가장 많이 한 사람의 이미지 상에 위치시킴으로써, 전자 장치(100)에 액세스 할 수 있다. Accordingly, the electronic device 100 may display a phone icon, a question or a comment that induces the user to select who is the person who made the most calls yesterday, information on the people who made the call yesterday. The user may access the electronic device 100 by dragging the phone icon with the hand 300 and placing the call on the image of the person who made the most calls yesterday.

도 18은 본 개시의 일 실시예에 따라 컨텍스트 파라미터를 기초로 생성된 라이브 챌린지를 이용하여 사용자를 인증하는 방법을 설명하기 위한 도면이다. FIG. 18 is a diagram for describing a method of authenticating a user using a live challenge generated based on a context parameter according to an embodiment of the present disclosure.

전자 장치(100)는 사용자로부터 사용자 인증 요청을 수신할 수 있다. 전자 장치(100)는 사용자 인증 요청이 수신됨에 따라, 컨텍스트 파라미터를 기초로 라이브 챌린지를 구성하는 주체 및 태스크를 결정할 수 있다. 도 18을 참조하면, 전자 장치(100)에는 사용자의 지출 내역이 저장되어 있을 수 있다. 전자 장치(100)는 이를 기초로, 사용자가 식료품 가게에서 제일 많이 지불한 금액이 얼마인지를 선택하는 라이브 챌린지를 생성할 수 있다. The electronic device 100 may receive a user authentication request from a user. As the user authentication request is received, the electronic device 100 may determine a subject and a task constituting the live challenge based on the context parameter. Referring to FIG. 18, the electronic device 100 may store a user's expenditure details. Based on this, the electronic device 100 may generate a live challenge for selecting how much the user paid most at the grocery store.

이에 따라, 전자 장치(100)는 디스플레이 상에 돈 이미지 및 지갑 이미지를 표시하고, 사용자가 식료품 구입을 위해 지불한 금액이 얼마인지를 선택할 것을 유도하는 질문 또는 멘트를 표시할 수 있다. 사용자는 손(300)으로 돈 이미지를 지갑으로 드래그하는 동작을, 사용자가 지불한 금액을 나타낼까지 반복적으로 수행할 수 있다. 사용자가 라이브 챌린지를 완료한 경우, 사용자는 전자 장치(100)에 액세스 할 수 있다. Accordingly, the electronic device 100 may display the money image and the wallet image on the display, and display a question or a comment that induces the user to select how much the user paid for the food purchase. The user may repeatedly perform the operation of dragging the money image to the wallet with the hand 300 until the user indicates the amount paid. When the user completes the live challenge, the user may access the electronic device 100.

도 19는 본 개시의 일 실시예에 따라 컨텍스트 파라미터를 기초로 생성된 라이브 챌린지를 이용하여 사용자를 인증하는 방법을 설명하기 위한 도면이다. FIG. 19 illustrates a method for authenticating a user using a live challenge generated based on a context parameter according to an embodiment of the present disclosure.

전자 장치(100)는 사용자로부터 사용자 인증 요청을 수신할 수 있다. 전자 장치(100)는 사용자 인증 요청이 수신됨에 따라, 컨텍스트 파라미터를 기초로 라이브 챌린지를 구성하는 주체 및 태스크를 결정할 수 있다. 도 19를 참조하면, 전자 장치(100)에는 사용자의 통화 기록, 메신저 기록, 스케쥴 정보, 사진 등이 저장되어 있을 수 있다. 전자 장치(100)는 이를 기초로, 사용자가 지난 달 오늘 날짜에 어디에서 누구를 만났는지를 선택하는 라이브 챌린지를 생성할 수 있다. The electronic device 100 may receive a user authentication request from a user. As the user authentication request is received, the electronic device 100 may determine a subject and a task constituting the live challenge based on the context parameter. Referring to FIG. 19, the electronic device 100 may store a user's call log, messenger record, schedule information, and a photo. Based on this, the electronic device 100 may generate a live challenge for selecting where and where the user met on today's date last month.

이에 따라, 전자 장치(100)는 디스플레이 상에 사용자가 실제 지난 달 오늘 날짜에 갔었던 장소의 이미지 및 이외의 다른 장소의 이미지를 포함한 복수의 장소 이미지를 표시할 수 있다. 또한, 전자 장치(100)는 사용자가 지난 달 오늘 날짜에 만났었던 사람에 관한 정보를 입력함에 따라, 이에 대한 이미지를 생성하고, 이를 특정 장소에 이동시키도록 유도하는 멘트 또는 질문을 표시할 수 있다. 사용자는 손(300)으로 지난 달 오늘 날짜에 만났었던 사람의 이미지를 특정 장소의 이미지 상에 드래그함으로써, 라이브 챌린지를 완료할 수 있다. 사용자가 라이브 챌린지를 완료한 경우, 사용자는 전자 장치(100)에 액세스 할 수 있다. Accordingly, the electronic device 100 may display a plurality of place images including an image of a place that the user actually went to today's date last month and an image of another place on the display. In addition, when the user inputs information about a person whom the user met on the date of the last month, the electronic device 100 may generate an image of the user and display a comment or question for inducing the user to move it to a specific place. . The user may complete the live challenge by dragging an image of a person who has met on today's date last month onto the image of a particular place with the hand 300. When the user completes the live challenge, the user may access the electronic device 100.

도 20은 일 실시예에 따른 전자 장치가 사용자 인증을 수행하는 방법을 설명하기 위한 도면이다. 20 is a diagram for describing a method of performing user authentication by an electronic device according to an exemplary embodiment.

단계 S2010에서, 전자 장치는 전자 장치에서 실행되는 적어도 하나의 애플리케이션으로의 액세스를 위한 사용자 인증 요청을 수신할 수 있다. 예를 들어, 전자 장치가 잠금 상태인 경우, 사용자로부터 터치 입력이 수신됨에 따라, 전자 장치는 전자 장치의 홈 화면으로의 액세스를 위한 사용자 인증 요청이 수신된 것으로 결정할 수 있다. 다만, 이는 일 예일 뿐, 사용자 인증 요청을 수신하는 방식이 전술한 예에 한정되는 것은 아니다. In operation S2010, the electronic device may receive a user authentication request for access to at least one application executed in the electronic device. For example, when the electronic device is in a locked state, as a touch input is received from the user, the electronic device may determine that a user authentication request for access to the home screen of the electronic device has been received. However, this is merely an example, and a manner of receiving a user authentication request is not limited to the above-described example.

단계 S2020에서, 전자 장치는 전자 장치 및 사용자 중 적어도 하나와 연관된 컨텍스트 파라미터를 기초로 인증을 위한 라이브 챌린지를 구성하는 주체 및 태스크를 결정할 수 있다. In operation S2020, the electronic device may determine a subject and a task constituting a live challenge for authentication based on a context parameter associated with at least one of the electronic device and the user.

일 실시예에 따른 전자 장치는 컨텍스트 파라미터를 기초로 전자 장치 또는 사용자의 상황을 결정할 수 있다. 전자 장치는 상호적인 방식의 사용자 인증을 위해, 결정된 상황에 기초하여 라이브 챌린지를 구성하는 주체 및 태스크를 결정할 수 있다. 여기에서, 주체는 특정 태스크를 수행하는 대상으로서, 인물, 사물, 동물 등이 모두 가능할 수 있다.According to an embodiment, the electronic device may determine a situation of the electronic device or the user based on the context parameter. The electronic device may determine a subject and a task constituting the live challenge based on the determined situation for the mutual authentication of the user. Here, the subject may be a person, an object, an animal, or the like as a target that performs a specific task.

한편, 다른 실시예에 따라 전자 장치는 카메라의 FoV 상에 감지된 객체를 식별하고, 식별된 객체를 기초로 라이브 챌린지를 구성하는 주체 및 태스크를 결정할 수 있다. 이는 도 9 내지 도 14를 참조하여 설명한 라이브 챌린지를 생성하는 방법과 대응될 수 있다. Meanwhile, according to another exemplary embodiment, the electronic device may identify an object detected on the FoV of the camera and determine a subject and a task constituting the live challenge based on the identified object. This may correspond to the method of generating the live challenge described with reference to FIGS. 9 to 14.

단계 S2030에서, 전자 장치는 결정에 기초하여 생성된 라이브 챌린지를 제공할 수 있다.In operation S2030, the electronic device may provide a live challenge generated based on the determination.

일 실시예에 따른 전자 장치는 라이브 챌린지를 구성하는 주체 및 태스크에 관한 영상 및 태스크를 수행하도록 유도하는 멘트 또는 질문을 디바이스에 출력할 수 있다.According to an embodiment of the present disclosure, the electronic device may output an image or a question related to a subject and a task constituting the live challenge and a question or a question to induce a task to the device.

단계 S2040에서, 전자 장치는 제공된 라이브 챌린지의 수행 여부에 기초하여 적어도 하나의 애플리케이션으로의 액세스 여부를 결정할 수 있다. In operation S2040, the electronic device may determine whether to access at least one application based on whether the provided live challenge is performed.

일 실시예에 따른 전자 장치는 라이브 챌린지에 대응되는 사용자의 동작이 기 설정된 시간 내에 식별되지 않는 경우, 적어도 하나의 애플리케이션에 대한 액세스를 거부(deny)할 수 있다. 전자 장치는 라이브 챌린지에 대응되는 사용자의 동작이 기 설정된 시간 내에 식별되는 경우에는, 적어도 하나의 애플리케이션에 대한 액세스를 허용할 수 있다. According to an embodiment of the present disclosure, when an operation of a user corresponding to a live challenge is not identified within a preset time, the electronic device may deny access to at least one application. If the user's action corresponding to the live challenge is identified within a preset time, the electronic device may allow access to at least one application.

도 21은 일 실시예에 따라 사용자 인증을 수행하는 전자 장치의 블록도이다. 21 is a block diagram of an electronic device that performs user authentication, according to an embodiment.

도 21에 도시된 바와 같이, 일 실시예에 따른 전자 장치(2100)는 입출력부(2110), 프로세서(2120) 및 메모리(2130)를 포함할 수 있다. 그러나 도시된 구성요소 모두가 필수구성요소인 것은 아니다. 도시된 구성요소보다 많은 구성요소에 의해 전자 장치(2100)가 구현될 수도 있고, 그보다 적은 구성요소에 의해서도 전자 장치(2100)는 구현될 수 있다. 예를 들어, 전자 장치(2100)는 복수의 프로세서를 포함할 수 있고, 카메라 및 적어도 하나의 센서를 포함할 수도 있다. As illustrated in FIG. 21, an electronic device 2100 according to an embodiment may include an input / output unit 2110, a processor 2120, and a memory 2130. However, not all illustrated components are essential components. The electronic device 2100 may be implemented by more components than the illustrated components, and the electronic device 2100 may be implemented by fewer components. For example, the electronic device 2100 may include a plurality of processors, and may include a camera and at least one sensor.

이하 상기 구성요소들에 대해 차례로 살펴본다.Hereinafter, the components will be described in turn.

입출력부(2110)는, 사용자 입력을 수신하거나, 오디오 신호 또는 이미지 신호의 출력을 위한 것으로, 이에는 디스플레이부와 음향 출력부 등이 포함될 수 있다. 다만, 이는 일 예일 뿐, 입출력부(2110)의 구성 요소가 전술한 예에 한정되는 것은 아니다. The input / output unit 2110 is for receiving a user input or for outputting an audio signal or an image signal, and may include a display unit and a sound output unit. However, this is merely an example, and the components of the input / output unit 2110 are not limited to the above-described example.

일 실시예에 따른 입출력부(2110)는 사용자 인증 요청을 수신할 수 있다. 입출력부(2110)는 사용자 인증 요청이 수신됨에 따라, 컨텍스트 파라미터를 기초로 생성된 라이브 챌린지를 출력할 수 있다. 또한, 입출력부(2110)는 라이브 챌린지가 제공됨에 따라, 사용자가 라이브 챌린지 수행을 위해 입력하는 정보들을 수신할 수도 있다. The input / output unit 2110 according to an embodiment may receive a user authentication request. As the user authentication request is received, the input / output unit 2110 may output the live challenge generated based on the context parameter. In addition, as the live challenge is provided, the input / output unit 2110 may receive information input by the user for performing the live challenge.

프로세서(2120)는, 통상적으로 전자 장치(2100)의 전반적인 동작을 제어한다. 예를 들어, 프로세서(2120)는, 메모리(2130)에 저장된 프로그램들을 실행함으로써, 전술한 사용자 인증 방법의 동작을 수행할 수 있다. The processor 2120 typically controls the overall operation of the electronic device 2100. For example, the processor 2120 may execute the above-described user authentication method by executing programs stored in the memory 2130.

프로세서(2120)는 전자 장치에서 실행되는 적어도 하나의 애플리케이션으로의 액세스를 위한 사용자 인증 요청을 수신하도록 입출력부(2110)를 제어할 수 있다. 또한, 프로세서(2120)는 전자 장치 및 사용자 중 적어도 하나와 연관된 컨텍스트 파라미터를 기초로 인증을 위한 라이브 챌린지를 구성하는 주체 및 태스크를 결정할 수 있다. 프로세서(2120)는 결정에 기초하여 생성된 라이브 챌린지를 입출력부(2110)를 통해 제공할 수 있다. 또한, 프로세서(2120)는 제공된 라이브 챌린지의 수행 여부에 기초하여 적어도 하나의 애플리케이션으로의 액세스 여부를 결정할 수 있다. The processor 2120 may control the input / output unit 2110 to receive a user authentication request for access to at least one application executed in the electronic device. In addition, the processor 2120 may determine a subject and a task constituting a live challenge for authentication based on a context parameter associated with at least one of the electronic device and the user. The processor 2120 may provide the live challenge generated based on the determination through the input / output unit 2110. In addition, the processor 2120 may determine whether to access at least one application based on whether the provided live challenge is performed.

일 실시예에 따른 프로세서(2120)는 카메라(미도시)의 FoV(field of view)에 표시된 객체를 식별할 수 있다. 프로세서(2120)는 식별된 객체 및 컨텍스트 파라미터를 기초로 주체 및 태스크를 결정할 수 있다. 또한, 프로세서(2120)는 결정된 태스크를 유도하는 질문을 입출력부를 통해 표시할 수 있다. The processor 2120 may identify an object displayed in a field of view (FOV) of a camera (not shown). The processor 2120 may determine a subject and a task based on the identified object and context parameters. In addition, the processor 2120 may display a question for inducing the determined task through the input / output unit.

일 실시예에 따른 프로세서(2120)는 전자 장치(2100)에 AR (augmented reality) 모드가 설정됨에 따라, 주체 및 태스크로 구성된 라이브 챌린지의 AR 영상을 식별된 객체에 중첩하여 출력할 수 있다. As the augmented reality (AR) mode is set in the electronic device 2100, the processor 2120 may superimpose and output an AR image of a live challenge including a subject and a task on the identified object.

일 실시예에 따른 프로세서(2120)는 센서(미도시)를 통해 식별된 전자 장치 또는 사용자의 이동 (movement)을 기초로 객체 식별 이후의 전자 장치 또는 사용자의 이동 정보를 결정할 수 있다. 프로세서(2120)는 결정된 이동 정보에 기초하여, AR 영상이 출력되는 위치를 조정할 수 있다. According to an embodiment, the processor 2120 may determine movement information of the electronic device or the user after object identification based on the movement of the electronic device or the user identified through the sensor (not shown). The processor 2120 may adjust a position at which the AR image is output based on the determined movement information.

일 실시예에 따른 프로세서(2120)는 센서(미도시)를 통해 전자 장치의 위치를 식별할 수 있다. 프로세서(2120)는 센서(미도시)를 통해 식별된 전자 장치의 위치에 기초하여 자 장치의 주변에 존재하는 객체를 결정할 수 있다. 프로세서(2120)는 결정된 객체 및 컨텍스트 파라미터를 기초로 주체 및 태스크를 결정할 수 있다. The processor 2120 according to an embodiment may identify a location of the electronic device through a sensor (not shown). The processor 2120 may determine an object that exists in the vicinity of the own device based on the location of the electronic device identified through the sensor (not shown). The processor 2120 may determine a subject and a task based on the determined object and context parameters.

일 실시예에 따른 프로세서(2120)는 라이브 챌린지에 대응되는 사용자의 동작이 기 설정된 시간 내에 식별되지 않음에 따라, 적어도 하나의 애플리케이션에 대한 액세스를 거부(deny)할 수 있다. 또한, 프로세서(2120)는 라이브 챌린지에 대응되는 사용자의 동작이 기 설정된 시간 내에 식별됨에 따라, 적어도 하나의 애플리케이션에 대한 액세스를 허용할 수 있다. According to an embodiment of the present disclosure, the processor 2120 may deny access to at least one application as the operation of the user corresponding to the live challenge is not identified within a preset time. In addition, the processor 2120 may allow access to at least one application as the operation of the user corresponding to the live challenge is identified within a preset time.

일 실시예에 따른 프로세서(2120)는 컨텍스트 파라미터를 기초로, 기 설정된 학습 네트워크 모델을 이용하여, 주체 및 태스크를 결정할 수 있다. The processor 2120 according to an embodiment may determine a subject and a task using a preset learning network model based on a context parameter.

메모리(2130)는, 프로세서(2120)에서의 처리 및 제어를 위한 프로그램을 저장할 수도 있고, 입/출력되는 데이터들(예를 들어, 라이브 챌린지, 컨텍스트 파라미터)을 저장할 수도 있다. The memory 2130 may store a program for processing and control in the processor 2120, and may store input / output data (eg, live challenge, context parameter).

메모리(2130)는 플래시 메모리 타입(flash memory type), 하드디스크 타입(hard disk type), 멀티미디어 카드 마이크로 타입(multimedia card micro type), 카드 타입의 메모리(예를 들어 SD 또는 XD 메모리 등), 램(RAM, Random Access Memory) SRAM(Static Random Access Memory), 롬(ROM, Read-Only Memory), EEPROM(Electrically Erasable Programmable Read-Only Memory), PROM(Programmable Read-Only Memory), 자기 메모리, 자기 디스크, 광디스크 중 적어도 하나의 타입의 저장매체를 포함할 수 있다. 또한, 전자 장치(2100)는 인터넷(internet)상에서 메모리(2130)의 저장 기능을 수행하는 웹 스토리지(web storage) 또는 클라우드 서버를 운영할 수도 있다.The memory 2130 may include a flash memory type, a hard disk type, a multimedia card micro type, a card type memory (for example, SD or XD memory), RAM (RAM, Random Access Memory) Static Random Access Memory (SRAM), Read-Only Memory (ROM), Electrically Erasable Programmable Read-Only Memory (EEPROM), Programmable Read-Only Memory (PROM), Magnetic Memory, Magnetic Disk It may include at least one type of storage medium of the optical disk. In addition, the electronic device 2100 may operate a web storage or a cloud server that performs a storage function of the memory 2130 on the Internet.

본 개시에 따른 실시예는 적어도 하나의 하드웨어 장치상에서 실행되는 적어도 하나의 소프트웨어 프로그램을 통해 구현될 수 있다. 도 1 내지 도 21에 도시된 구성 요소 또는 실시예는 하드웨어 장치 또는 하드웨어 장치와 소프트웨어 모듈의 조합 중 적어도 하나 일 수 있는 블록을 포함할 수 있다.Embodiments according to the present disclosure may be implemented through at least one software program executed on at least one hardware device. The components or embodiments illustrated in FIGS. 1 through 21 may include a block that may be at least one of a hardware device or a combination of hardware device and software module.

본 개시에서 사용된 표현 또는 용어는 설명을 위한 것이지 제한을 위한 것이 아님을 이해해야 한다. 따라서, 본 개시의 실시예는 바람직한 실시예와 관련하여 설명되었지만, 본 개시의 실시예는 본 개시에 따른 기술적 사상의 범위 내에서 변형하여 실시될 수 있다. It is to be understood that the phraseology or terminology used herein is for the purpose of description and not of limitation. Therefore, although the embodiments of the present disclosure have been described in connection with the preferred embodiments, the embodiments of the present disclosure may be modified and implemented within the scope of the technical idea according to the present disclosure.

본 개시의 일 실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. Method according to an embodiment of the present disclosure may be implemented in the form of program instructions that can be executed by various computer means may be recorded on a computer readable medium. Computer-readable media may include, alone or in combination with the program instructions, data files, data structures, and the like. The program instructions recorded on the media may be those specially designed and constructed for the present invention, or they may be of the kind well-known and available to those having skill in the computer software arts. Examples of computer-readable recording media include magnetic media such as hard disks, floppy disks, and magnetic tape, optical media such as CD-ROMs, DVDs, and magnetic disks such as floppy disks. Magneto-optical media, and hardware devices specifically configured to store and execute program instructions, such as ROM, RAM, flash memory, and the like. Examples of program instructions include not only machine code generated by a compiler, but also high-level language code that can be executed by a computer using an interpreter or the like.

실시 예에 따른 장치는 프로세서, 프로그램 데이터를 저장하고 실행하는 메모리, 디스크 드라이브와 같은 영구 저장부(permanent storage), 외부 장치와 통신하는 통신 포트, 터치 패널, 키(key), 버튼 등과 같은 사용자 인터페이스 장치 등을 포함할 수 있다. 소프트웨어 모듈 또는 알고리즘으로 구현되는 방법들은 상기 프로세서상에서 실행 가능한 컴퓨터가 읽을 수 있는 코드들 또는 프로그램 명령들로서 컴퓨터가 읽을 수 있는 기록 매체 상에 저장될 수 있다. 여기서 컴퓨터가 읽을 수 있는 기록 매체로 마그네틱 저장 매체(예컨대, ROM(read-only memory), RAM(random-access memory), 플로피 디스크, 하드 디스크 등) 및 광학적 판독 매체(예컨대, 시디롬(CD-ROM), 디브이디(DVD: Digital Versatile Disc)) 등이 있다. 컴퓨터가 읽을 수 있는 기록 매체는 네트워크로 연결된 컴퓨터 시스템들에 분산되어, 분산 방식으로 컴퓨터가 판독 가능한 코드가 저장되고 실행될 수 있다. 매체는 컴퓨터에 의해 판독가능하며, 메모리에 저장되고, 프로세서에서 실행될 수 있다. According to an embodiment, a device may include a processor, a memory for storing and executing program data, a persistent storage such as a disk drive, a communication port for communicating with an external device, a touch panel, a key, a user interface such as a button, and the like. Device and the like. Methods implemented by software modules or algorithms may be stored on a computer readable recording medium as computer readable codes or program instructions executable on the processor. The computer-readable recording medium may be a magnetic storage medium (eg, read-only memory (ROM), random-access memory (RAM), floppy disk, hard disk, etc.) and an optical reading medium (eg, CD-ROM). ) And DVD (Digital Versatile Disc). The computer readable recording medium can be distributed over network coupled computer systems so that the computer readable code is stored and executed in a distributed fashion. The medium is readable by the computer, stored in the memory, and can be executed by the processor.

본 개시에서, 용어 "컴퓨터 프로그램 제품" 또는 "컴퓨터로 읽을 수 있는 기록매체"는 메모리, 하드 디스크 라이브에 설치된 하드 디스크, 및 신호 등의 매체를 전체적으로 지칭하기 위해 사용된다. 이들 "컴퓨터 프로그램 제품" 또는 "컴퓨터로 읽을 수 있는 기록매체"는 본 개시에 따른 라이브 챌린지 제공을 통한 사용자 인증 동작을 수행하는 명령어로 구성된 소프트웨어를 컴퓨터 시스템에 제공하는 수단이다. In the present disclosure, the term "computer program product" or "computer-readable recording medium" is used to refer to media such as a memory, a hard disk installed in a hard disk live, and a signal. These "computer program products" or "computer-readable recording media" are means for providing a computer system with software consisting of instructions for performing a user authentication operation by providing a live challenge according to the present disclosure.

도면에 도시된 실시 예들에서 참조 부호를 기재하였으며, 실시 예들을 설명하기 위하여 특정 용어들을 사용하였으나, 특정 용어에 의해 본 발명이 한정되는 것은 아니며, 실시 예는 당업자에 있어서 통상적으로 생각할 수 있는 모든 구성 요소들을 포함할 수 있다. In the embodiments illustrated in the drawings, reference numerals have been used, and specific terms have been used to describe the embodiments, but the present invention is not limited to the specific terms, and the embodiments are all contemplated by those skilled in the art. It may contain elements.

실시 예는 기능적인 블록 구성들 및 다양한 처리 단계들로 나타내어질 수 있다. 이러한 기능 블록들은 특정 기능들을 실행하는 다양한 개수의 하드웨어 또는/및 소프트웨어 구성들로 구현될 수 있다. 예를 들어, 실시 예는 하나 이상의 마이크로프로세서들의 제어 또는 다른 제어 장치들에 의해서 다양한 기능들을 실행할 수 있는, 메모리, 프로세싱, 로직(logic), 룩 업 테이블(look-up table) 등과 같은 직접 회로 구성들을 채용할 수 있다. 또한, 실시예는 동종의 또는 서로 다른 종류의 코어들, 서로 다른 종류의 CPU들을 채용할 수도 있다. 본 발명에의 구성 요소들이 소프트웨어 프로그래밍 또는 소프트웨어 요소들로 실행될 수 있는 것과 유사하게, 실시 예는 데이터 구조, 프로세스들, 루틴들 또는 다른 프로그래밍 구성들의 조합으로 구현되는 다양한 알고리즘을 포함하여, C, C++, 자바(Java), 어셈블러(assembler) 등과 같은 프로그래밍 또는 스크립팅 언어로 구현될 수 있다. 기능적인 측면들은 하나 이상의 프로세서들에서 실행되는 알고리즘으로 구현될 수 있다. 또한, 실시 예는 전자적인 환경 설정, 신호 처리, 및/또는 데이터 처리 등을 위하여 종래 기술을 채용할 수 있다. "매커니즘", "요소", "수단", "구성"과 같은 용어는 넓게 사용될 수 있으며, 기계적이고 물리적인 구성들로서 한정되는 것은 아니다. 상기 용어는 프로세서 등과 연계하여 소프트웨어의 일련의 처리들(routines)의 의미를 포함할 수 있다.An embodiment may be represented by functional block configurations and various processing steps. Such functional blocks may be implemented in various numbers of hardware or / and software configurations that perform particular functions. For example, an embodiment may comprise an integrated circuit configuration such as memory, processing, logic, look-up table, etc., capable of executing various functions by the control of one or more microprocessors or other control devices. You can employ them. In addition, an embodiment may employ the same or different types of cores, different types of CPUs. Similar to the components of the present invention that may be implemented in software programming or software elements, embodiments include C, C ++, including various algorithms implemented in combinations of data structures, processes, routines, or other programming constructs. It may be implemented in a programming or scripting language such as Java, assembler, or the like. Functional aspects may be implemented in algorithms running on one or more processors. In addition, the embodiment may employ the prior art for electronic configuration, signal processing, and / or data processing. Terms such as "mechanism", "element", "means", "configuration" can be used broadly and are not limited to mechanical and physical configurations. The term may include the meaning of a series of routines of software in conjunction with a processor or the like.

실시 예에서 설명하는 특정 실행들은 일 실시 예들로서, 어떠한 방법으로도 실시 예의 범위를 한정하는 것은 아니다. 명세서의 간결함을 위하여, 종래 전자적인 구성들, 제어 시스템들, 소프트웨어, 상기 시스템들의 다른 기능적인 측면들의 기재는 생략될 수 있다. 또한, 도면에 도시된 구성 요소들 간의 선들의 연결 또는 연결 부재들은 기능적인 연결 및/또는 물리적 또는 회로적 연결들을 예시적으로 나타낸 것으로서, 실제 장치에서는 대체 가능하거나 추가의 다양한 기능적인 연결, 물리적인 연결, 또는 회로 연결들로서 나타내어질 수 있다. 또한, "필수적인", "중요하게" 등과 같이 구체적인 언급이 없다면 본 발명의 적용을 위하여 반드시 필요한 구성 요소가 아닐 수 있다.Specific implementations described in the embodiments are examples, and do not limit the scope of the embodiments in any way. For brevity of description, descriptions of conventional electronic configurations, control systems, software, and other functional aspects of the systems may be omitted. In addition, the connection or connection members of the lines between the components shown in the drawings are illustrative of the functional connection and / or physical or circuit connections as an example, in the actual device replaceable or additional various functional connections, physical It may be represented as a connection, or circuit connections. In addition, unless otherwise specified, such as "essential", "important" may not be a necessary component for the application of the present invention.

본 개시(특히 특허청구범위에서)에서 "상기"의 용어 및 이와 유사한 지시 용어의 사용은 단수 및 복수 모두에 해당하는 것일 수 있다. 또한, 실시 예에서 범위(range)를 기재한 경우 상기 범위에 속하는 개별적인 값을 적용한 발명을 포함하는 것으로서(이에 반하는 기재가 없다면), 상세한 설명에 상기 범위를 구성하는 각 개별적인 값을 기재한 것과 같다. 마지막으로, 실시 예에 따른 방법을 구성하는 단계들에 대하여 명백하게 순서를 기재하거나 반하는 기재가 없다면, 상기 단계들은 적당한 순서로 행해질 수 있다. 반드시 상기 단계들의 기재 순서에 따라 실시 예들이 한정되는 것은 아니다. 실시 예에서 모든 예들 또는 예시적인 용어(예들 들어, 등등)의 사용은 단순히 실시 예를 상세히 설명하기 위한 것으로서 특허청구범위에 의해 한정되지 않는 이상 상기 예들 또는 예시적인 용어로 인해 실시 예의 범위가 한정되는 것은 아니다. 또한, 당업자는 다양한 수정, 조합 및 변경이 부가된 특허청구범위 또는 그 균등물의 범주 내에서 설계 조건 및 팩터에 따라 구성될 수 있음을 알 수 있다.In the present disclosure (particularly in the claims), the use of the term “above” and similar indicating terminology may correspond to both the singular and the plural. In addition, when a range is described in an embodiment, the invention includes the invention to which the individual values belonging to the range are applied (unless stated to the contrary), and the description is the same as describing each individual value constituting the range. . Finally, if there is no explicit order or contradiction with respect to the steps constituting the method according to the embodiment, the steps may be performed in a suitable order. The embodiments are not necessarily limited according to the order of description of the above steps. The use of all examples or exemplary terms (eg, etc.) in the embodiments is merely for describing the embodiments in detail, and the scope of the embodiments is limited by the above examples or exemplary terms unless defined by the claims. It is not. Also, one of ordinary skill in the art appreciates that various modifications, combinations and changes can be made in accordance with design conditions and factors within the scope of the appended claims or their equivalents.

Claims (20)

전자 장치에서 실행되는 적어도 하나의 애플리케이션으로의 액세스를 위한 사용자 인증 요청을 수신하는 단계;
상기 전자 장치 및 사용자 중 적어도 하나와 연관된 컨텍스트 파라미터를 기초로 인증을 위한 라이브 챌린지를 구성하는 주체 및 태스크를 결정하는 단계;
상기 결정에 기초하여 생성된 라이브 챌린지를 제공하는 단계; 및
상기 제공된 라이브 챌린지의 수행 여부에 기초하여 상기 적어도 하나의 애플리케이션으로의 액세스 여부를 결정하는 단계를 포함하는, 사용자 인증을 수행하는 방법. Receiving a user authentication request for access to at least one application running on the electronic device;
Determining a subject and a task constituting a live challenge for authentication based on a context parameter associated with at least one of the electronic device and a user;
Providing a live challenge generated based on the determination; And
Determining whether to access the at least one application based on whether or not the provided live challenge has been performed. 제 1 항에 있어서,
상기 전자 장치에 구비된 카메라의 FoV(field of view)에 표시된 객체를 식별하는 단계를 더 포함하고,
상기 주체 및 상기 태스크를 결정하는 단계는,
상기 식별된 객체 및 상기 컨텍스트 파라미터를 기초로 상기 주체 및 상기 태스크를 결정하는, 사용자 인증을 수행하는 방법. The method of claim 1,
Identifying an object displayed in a field of view (FoV) of a camera provided in the electronic device;
Determining the subject and the task,
And determining the subject and the task based on the identified object and the context parameter. 제 2 항에 있어서, 상기 주체 및 상기 태스크를 결정하는 단계는,
상기 식별된 객체에 대응되는 주체를 결정하는 단계; 및
상기 결정된 주체가 수행 가능한 태스크를 결정하는 단계를 포함하고,
상기 라이브 챌린지를 제공하는 단계는,
상기 결정된 태스크를 유도하는 질문을 표시하는 단계를 포함하는, 사용자 인증을 수행하는 방법. The method of claim 2, wherein the determining of the subject and the task comprises:
Determining a subject corresponding to the identified object; And
Determining a task that the determined subject can perform;
Providing the live challenge,
Displaying a question leading to the determined task. 제 2 항에 있어서, 상기 라이브 챌린지를 제공하는 단계는,
상기 전자 장치에 AR (augmented reality) 모드가 설정됨에 따라, 상기 주체 및 상기 태스크로 구성된 라이브 챌린지의 AR 영상을 상기 식별된 객체에 중첩하여 출력하는 단계를 포함하는, 사용자 인증을 수행하는 방법. The method of claim 2, wherein providing the live challenge comprises:
And displaying an AR image of a live challenge composed of the subject and the task by superimposing the identified object on the identified object as an augmented reality mode is set in the electronic device. 제 4 항에 있어서,
객체 식별 이후의 상기 전자 장치 또는 상기 사용자의 이동 (movement) 정보를 결정하는 단계를 더 포함하고,
상기 AR 영상을 출력하는 단계는,
상기 결정된 이동 정보에 기초하여, 상기 AR 영상이 출력되는 위치를 조정하는 단계를 포함하는, 사용자 인증을 수행하는 방법. The method of claim 4, wherein
Determining movement information of the electronic device or the user after object identification;
The outputting of the AR image may include:
And adjusting a position at which the AR image is output based on the determined movement information. 제 1 항에 있어서,
상기 전자 장치의 위치를 식별하는 단계; 및
상기 식별된 전자 장치의 위치에 기초하여, 상기 전자 장치의 주변에 존재하는 객체를 결정하는 단계를 포함하고,
상기 주체 및 상기 태스크를 결정하는 단계는,
상기 결정된 객체 및 상기 컨텍스트 파라미터를 기초로 상기 주체 및 상기 태스크를 결정하는, 사용자 인증을 수행하는 방법. The method of claim 1,
Identifying a location of the electronic device; And
Determining an object existing around the electronic device based on the identified location of the electronic device;
Determining the subject and the task,
And determining the subject and the task based on the determined object and the context parameter. 제 1 항에 있어서, 상기 액세스 여부를 결정하는 단계는,
상기 라이브 챌린지에 대응되는 사용자의 동작이 기 설정된 시간 내에 식별되지 않음에 따라, 상기 적어도 하나의 애플리케이션에 대한 액세스를 거부(deny)하고,
상기 라이브 챌린지에 대응되는 사용자의 동작이 상기 기 설정된 시간 내에 식별됨에 따라, 상기 적어도 하나의 애플리케이션에 대한 액세스를 허용하는, 사용자 인증을 수행하는 방법. The method of claim 1, wherein determining whether to access the,
As the user's action corresponding to the live challenge is not identified within a preset time, denying access to the at least one application,
And allowing access to the at least one application as the user's action corresponding to the live challenge is identified within the preset time. 제 1 항에 있어서, 상기 컨텍스트 파라미터는,
상기 전자 장치의 설정 정보, 상기 사용자 인증 요청이 수신된 시간 및 위치, 상기 전자 장치에서 사용자가 수행한 활동(activity), 상기 전자 장치에 수신된 알림, SNS (social network service) 정보, 상기 전자 장치의 주변 환경 정보, 상기 전자 장치가 연결된 네트워크 및 상기 전자 장치에 접속된 다른 전자 장치에 관한 정보 중 적어도 하나를 포함하는, 사용자 인증을 수행하는 방법. The method of claim 1, wherein the context parameter,
Setting information of the electronic device, time and location at which the user authentication request was received, activity performed by the user in the electronic device, notification received by the electronic device, social network service (SNS) information, and the electronic device And at least one of information about the surrounding environment, information about a network to which the electronic device is connected, and other electronic devices connected to the electronic device. 제 1항에 있어서, 상기 주체 및 상기 태스크를 결정하는 단계는,
상기 컨텍스트 파라미터를 기초로, 기 설정된 학습 네트워크 모델을 이용하여, 상기 주체 및 상기 태스크를 결정하는, 사용자 인증을 수행하는 방법. The method of claim 1, wherein the determining of the subject and the task comprises:
And determining the subject and the task by using a preset learning network model based on the context parameter. 입출력부;
인스트럭션을 저장하는 메모리; 및
상기 메모리와 접속된 적어도 하나의 프로세서를 포함하고,
상기 적어도 하나의 프로세서는, 상기 인스트럭션을 실행함으로써,
전자 장치에서 실행되는 적어도 하나의 애플리케이션으로의 액세스를 위한 사용자 인증 요청을 상기 입출력부를 통해 수신하고,
상기 전자 장치 및 사용자 중 적어도 하나와 연관된 컨텍스트 파라미터를 기초로 인증을 위한 라이브 챌린지를 구성하는 주체 및 태스크를 결정하며,
상기 결정에 기초하여 생성된 라이브 챌린지를 상기 입출력부를 통해 제공하고,
상기 제공된 라이브 챌린지의 수행 여부에 기초하여 상기 적어도 하나의 애플리케이션으로의 액세스 여부를 결정하는, 사용자 인증을 수행하는 전자 장치. Input and output unit;
A memory for storing instructions; And
At least one processor connected with the memory,
The at least one processor executes the instructions,
Receive a user authentication request for access to at least one application running on the electronic device through the input and output unit,
Determine a subject and a task constituting a live challenge for authentication based on a context parameter associated with at least one of the electronic device and a user,
Providing a live challenge generated based on the determination through the input / output unit,
And determine whether to access the at least one application based on whether the provided live challenge is performed. 제 10 항에 있어서,
카메라를 더 포함하고,
상기 적어도 하나의 프로세서는, 상기 인스트럭션을 실행함으로써,
상기 카메라의 FoV(field of view)에 표시된 객체를 식별하고,
상기 식별된 객체 및 상기 컨텍스트 파라미터를 기초로 상기 주체 및 상기 태스크를 결정하는, 사용자 인증을 수행하는 전자 장치. The method of claim 10,
Further includes a camera,
The at least one processor executes the instructions,
Identify an object displayed in a field of view (FoV) of the camera,
And determine the subject and the task based on the identified object and the context parameter. 제 11 항에 있어서,
디스플레이를 더 포함하고,
상기 적어도 하나의 프로세서는, 상기 인스트럭션을 실행함으로써,
상기 식별된 객체에 대응되는 주체를 결정하고,
상기 결정된 주체가 수행 가능한 태스크를 결정하며,
상기 결정된 태스크를 유도하는 질문을 상기 디스플레이에 표시하는, 사용자 인증을 수행하는 전자 장치. The method of claim 11,
Further includes a display,
The at least one processor executes the instructions,
Determine a subject corresponding to the identified object,
Determine the task that the determined subject can perform,
And display a question leading to the determined task on the display. 제 11 항에 있어서, 상기 적어도 하나의 프로세서는, 상기 인스트럭션을 실행함으로써,
상기 전자 장치에 AR (augmented reality) 모드가 설정됨에 따라, 상기 주체 및 상기 태스크로 구성된 라이브 챌린지의 AR 영상을 상기 식별된 객체에 중첩하여 출력하는, 사용자 인증을 수행하는 전자 장치. The method of claim 11, wherein the at least one processor executes the instructions.
When an augmented reality (AR) mode is set in the electronic device, an AR image of a live challenge composed of the subject and the task is overlaid on the identified object and output. 제 13 항에 있어서,
상기 전자 장치 또는 상기 사용자의 이동 (movement)을 식별하는 센서를 더 포함하고,
상기 적어도 하나의 프로세서는, 상기 인스트럭션을 실행함으로써,
상기 센서를 통해, 객체 식별 이후의 상기 전자 장치 또는 상기 사용자의 이동 정보를 결정하고,
상기 결정된 이동 정보에 기초하여, 상기 AR 영상이 출력되는 위치를 조정하는, 사용자 인증을 수행하는 전자 장치. The method of claim 13,
Further comprising a sensor for identifying the movement of the electronic device or the user,
The at least one processor executes the instructions,
Determine, via the sensor, movement information of the electronic device or the user after object identification;
And an electronic device configured to adjust a position at which the AR image is output based on the determined movement information. 제 10 항에 있어서,
상기 전자 장치의 위치를 식별하는 센서를 더 포함하고,
상기 적어도 하나의 프로세서는, 상기 인스트럭션을 실행함으로써,
상기 센서를 통해 식별된 전자 장치의 위치에 기초하여 상기 전자 장치의 주변에 존재하는 객체를 결정하며,
상기 결정된 객체 및 상기 컨텍스트 파라미터를 기초로 상기 주체 및 상기 태스크를 결정하는, 사용자 인증을 수행하는 전자 장치.The method of claim 10,
Further comprising a sensor for identifying the location of the electronic device,
The at least one processor executes the instructions,
Determine an object that exists around the electronic device based on the location of the electronic device identified through the sensor,
And determine the subject and the task based on the determined object and the context parameter. 제 10 항에 있어서, 상기 적어도 하나의 프로세서는, 상기 인스트럭션을 실행함으로써,
상기 라이브 챌린지에 대응되는 사용자의 동작이 기 설정된 시간 내에 식별되지 않음에 따라, 상기 적어도 하나의 애플리케이션에 대한 액세스를 거부(deny)하고,
상기 라이브 챌린지에 대응되는 사용자의 동작이 상기 기 설정된 시간 내에 식별됨에 따라, 상기 적어도 하나의 애플리케이션에 대한 액세스를 허용하는, 사용자 인증을 수행하는 전자 장치. The method of claim 10, wherein the at least one processor executes the instructions.
As the user's action corresponding to the live challenge is not identified within a preset time, denying access to the at least one application,
And allow access to the at least one application as the operation of the user corresponding to the live challenge is identified within the preset time. 제 10 항에 있어서, 상기 컨텍스트 파라미터는,
상기 전자 장치의 설정 정보, 상기 사용자 인증 요청이 수신된 시간 및 위치, 상기 전자 장치에서 사용자가 수행한 활동(activity), 상기 전자 장치에 수신된 알림, SNS (social network service) 정보, 상기 전자 장치의 주변 환경 정보, 상기 전자 장치가 연결된 네트워크 및 상기 전자 장치에 접속된 다른 전자 장치에 관한 정보 중 적어도 하나를 포함하는, 사용자 인증을 수행하는 전자 장치. The method of claim 10, wherein the context parameter,
Setting information of the electronic device, time and location at which the user authentication request was received, activity performed by the user in the electronic device, notification received by the electronic device, social network service (SNS) information, and the electronic device And at least one of information about the surrounding environment, information about a network to which the electronic device is connected, and other electronic devices connected to the electronic device. 제 10항에 있어서, 상기 적어도 하나의 프로세서는, 상기 인스트럭션을 실행함으로써,
상기 컨텍스트 파라미터를 기초로, 기 설정된 학습 네트워크 모델을 이용하여, 상기 주체 및 상기 태스크를 결정하는, 사용자 인증을 수행하는 전자 장치. The processor of claim 10, wherein the at least one processor executes the instructions.
And determine the subject and the task by using a preset learning network model based on the context parameter. 전자 장치에서 실행되는 적어도 하나의 애플리케이션으로의 액세스를 위한 사용자 인증 요청을 수신하는 동작;
상기 전자 장치 및 사용자 중 적어도 하나와 연관된 컨텍스트 파라미터를 기초로 인증을 위한 라이브 챌린지를 구성하는 주체 및 태스크를 결정하는 동작;
상기 결정에 기초하여 생성된 라이브 챌린지를 제공하는 동작; 및
상기 제공된 라이브 챌린지의 수행 여부에 기초하여 상기 적어도 하나의 애플리케이션으로의 액세스 여부를 결정하는 동작을 수행하도록 하는 프로그램이 저장된 기록매체.Receiving a user authentication request for access to at least one application running on the electronic device;
Determining a subject and a task constituting a live challenge for authentication based on a context parameter associated with at least one of the electronic device and a user;
Providing a live challenge generated based on the determination; And
And a program for determining whether to access the at least one application based on whether the provided live challenge is performed. 제 19 항에 있어서,
상기 전자 장치에 구비된 카메라의 FoV(field of view)에 표시된 객체를 식별하는 동작을 더 포함하고,
상기 주체 및 상기 태스크를 결정하는 동작은,
상기 식별된 객체 및 상기 컨텍스트 파라미터를 기초로 상기 주체 및 상기 태스크를 결정하는, 프로그램이 저장된 기록매체. The method of claim 19,
The method may further include identifying an object displayed in a field of view (FoV) of a camera provided in the electronic device.
The operation of determining the subject and the task,
And determine the subject and the task based on the identified object and the context parameter.
KR1020190079001A 2018-07-18 2019-07-01 Method and apparatus for performing user authentication KR20200010041A (en)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201980045581.1A CN112384916B (en) 2018-07-18 2019-07-18 Method and apparatus for performing user authentication
EP19836976.1A EP3769246A4 (en) 2018-07-18 2019-07-18 Method and apparatus for performing user authentication
PCT/KR2019/008890 WO2020017902A1 (en) 2018-07-18 2019-07-18 Method and apparatus for performing user authentication
US16/515,815 US11281760B2 (en) 2018-07-18 2019-07-18 Method and apparatus for performing user authentication

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
IN201841026856 2018-07-18
IN201841026856 2018-07-18

Publications (1)

Publication Number Publication Date
KR20200010041A true KR20200010041A (en) 2020-01-30

Family

ID=69322085

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190079001A KR20200010041A (en) 2018-07-18 2019-07-01 Method and apparatus for performing user authentication

Country Status (2)

Country Link
KR (1) KR20200010041A (en)
CN (1) CN112384916B (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023106621A1 (en) * 2021-12-08 2023-06-15 삼성전자주식회사 Cloud server for authenticating user and operation method thereof

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1889562A (en) * 2005-06-28 2007-01-03 华为技术有限公司 Method for identifying equipment for receiving initial session protocol request information
US10614626B2 (en) * 2005-10-26 2020-04-07 Cortica Ltd. System and method for providing augmented reality challenges
US9298898B2 (en) * 2013-07-18 2016-03-29 At&T Intellectual Property I, L.P. Event-based security challenges

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023106621A1 (en) * 2021-12-08 2023-06-15 삼성전자주식회사 Cloud server for authenticating user and operation method thereof

Also Published As

Publication number Publication date
CN112384916A (en) 2021-02-19
CN112384916B (en) 2024-04-09

Similar Documents

Publication Publication Date Title
US11281760B2 (en) Method and apparatus for performing user authentication
US20220021734A1 (en) Systems and methods for synchronizing content and information on multiple computing devices
JP6417676B2 (en) Information processing apparatus, information processing method, eyewear terminal, and authentication system
US10242364B2 (en) Image analysis for user authentication
EP3284016B1 (en) Authentication of a user of a device
US10678897B2 (en) Identification, authentication, and/or guiding of a user using gaze information
US10885306B2 (en) Living body detection method, system and non-transitory computer-readable recording medium
US10846514B2 (en) Processing images from an electronic mirror
KR102588524B1 (en) Electronic apparatus and operating method thereof
US11237629B2 (en) Social networking technique for augmented reality
US11943227B2 (en) Data access control for augmented reality devices
US11822879B2 (en) Separately collecting and storing form contents
US20150172254A1 (en) System and Method For Operating a Social Networking Site on the Internet
US20170142564A1 (en) Leader and follower management system for wearable devices
KR20200010041A (en) Method and apparatus for performing user authentication
KR102312900B1 (en) User authentication on display device
JP2015118577A (en) User authentication in display device
KR20230043749A (en) Adaptive user enrollment for electronic devices
US20210201543A1 (en) Augmented Reality Systems
KR102193636B1 (en) User authentication on display device
US11783724B1 (en) Interactive training apparatus using augmented reality