WO2016159443A1 - 얼굴 인식 기반 어플리케이션의 피드백 ｕｉ 제공 서비스 방법 및 시스템 - Google Patents

얼굴 인식 기반 어플리케이션의 피드백 ｕｉ 제공 서비스 방법 및 시스템 Download PDF

Info

Publication number
WO2016159443A1
WO2016159443A1 PCT/KR2015/006181 KR2015006181W WO2016159443A1 WO 2016159443 A1 WO2016159443 A1 WO 2016159443A1 KR 2015006181 W KR2015006181 W KR 2015006181W WO 2016159443 A1 WO2016159443 A1 WO 2016159443A1
Authority
WO
WIPO (PCT)
Prior art keywords
feedback
state
type
service
preset
Prior art date
Application number
PCT/KR2015/006181
Other languages
English (en)
French (fr)
Inventor
우운택
조정훈
김성실
장연균
Original Assignee
한국과학기술원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국과학기술원 filed Critical 한국과학기술원
Priority to US15/563,448 priority Critical patent/US20180121715A1/en
Publication of WO2016159443A1 publication Critical patent/WO2016159443A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1684—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
    • G06F1/1686—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675 the I/O peripheral being an integrated camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31—User authentication
    • G06F21/32—User authentication using biometric data, e.g. fingerprints, iris scans or voiceprints
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/01—Social networking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • H04M1/72427—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality for supporting games or graphical animations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G06F18/2135—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods based on approximation criteria, e.g. principal component analysis
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M2250/00—Details of telephonic subscriber devices
    • H04M2250/52—Details of telephonic subscriber devices including functional features of a camera

Definitions

  • the present invention relates to a feedback UI of a facial expression recognition-based laughter triggering application.
  • Korean Patent Laid-Open Publication No. 2013-0082980 discloses a user's face, generates identification information for face identification, and stores unlocked user-specific identification information in a DB.
  • a method of performing a personalized recommendation service through information stored in advance to a user who is verified by determining whether a face of an attempted user exists in the DB.
  • the present invention determines the degree of laughter of the user and is set according to the type of laughter and the level range to feed back a specialized UI to the user, thereby enabling feedback according to the change of the user's emotion to diagnose the emotion of the user as well as the facial expression.
  • interrupt user interrupt
  • the camera unit for acquiring the image including the user's face, and display the unlock interface through the user interrupt (interrupt), and outputs the unlock pattern input through the unlock interface Detects the unlock screen pattern output from the touch screen and the touch screen, and executes a mode corresponding to the detected unlock pattern to measure the degree of state of the object corresponding to the detected unlock pattern, and the preset and classified object. And a control unit for determining an appropriate state degree range for each type according to the type, calling a matched lookup table to determine the state of the measured object, and controlling the determination result to be fed back through the unlocking interface. .
  • the present invention is not only capable of diagnosing user's emotions by allowing feedback according to the user's emotion change, but also grasps understanding and interest through emotions expressed by facial expressions to recommend items, applications, travel destinations, restaurants, etc. interaction) Through the mechanism, the user has high accessibility and it is possible to provide a self-expression media application that can check itself.
  • FIG. 1 is a flowchart illustrating a feedback UI providing service method of a face recognition based application according to an embodiment of the present invention.
  • FIG. 2 is a detailed flowchart illustrating an operation of a mode corresponding to an unlocking pattern in a feedback UI providing service method of a face recognition based application according to an embodiment of the present invention.
  • FIG. 3 is a diagram illustrating a preset feedback UI prototype for each object type in a feedback UI providing service method of a face recognition based application according to an embodiment of the present invention.
  • FIG. 4 is a detailed block diagram of an apparatus for providing a feedback UI of a face recognition based application according to an embodiment of the present invention.
  • the present invention relates to a feedback UI of a facial expression recognition-based laughter triggering application, and more particularly, after a terminal equipped with a touchscreen enters a screen lock state, a shortcut unlocking interface for displaying an operation state is displayed. Detects the unlock pattern input through the lock release interface on the screen, verifies that the detected unlock pattern is a preset pattern, and then checks the state of the object corresponding to the verified pattern through a look-up table. It is determined according to the type and level range related to the object and fed back to the user with a specialized UI, so that feedback can be made according to the user's emotion change, so that the user's emotion can be diagnosed. Add goods, applications, travel destinations, restaurants, etc. It aims to provide self-expression media application technology with high accessibility and self-expression through emotional based interaction mechanism.
  • FIG. 1 is a flowchart illustrating a feedback UI providing service method of a face recognition based application according to an embodiment of the present invention.
  • a lock release interface is displayed on an initial screen of a terminal equipped with a lock release function through a user interrupt, and in step 112, a lock release pattern input through the lock release interface is displayed. Detect the received unlock pattern received.
  • the lock release interface on the initial screen means a lock means, that is, a lock application is formed, and the lock means locks the lock by inputting a numeric password within a predetermined time or inputting a pattern.
  • the release method and the like are preset and used by the user.
  • the pattern input method may use various types of patterns such as images, texts, and voices, and may be classified and classified into feature extraction and pattern matching parts for each type.
  • the face input through the camera is recognized to determine whether the lock pattern matches the preset pattern, and if it matches, unlocks the screen to provide an execution screen.
  • the unlocking interface has a plurality of divided regions, and corresponding items are formed in each divided region, and a first menu for providing a first service related to the item is provided at a first position in the divided regions.
  • a second menu which is preset and is different from the first location, is preset with a second menu associated with the item formed in the divided area and providing a second service different from the first service.
  • a first menu which is a service providing a feedback UI for each object type, is preset in the first location, and a second frame, in which a message associated with the feedback UI displayed in the first location, is a service in which a predetermined frame is displayed in the second location.
  • the menu is preset.
  • a mode corresponding to the detected unlock pattern is executed, and in step 116, a state degree of an object corresponding to the detected unlock pattern is measured.
  • the mode corresponding to the unlocking pattern is a mode for performing a feedback UI providing service operation of a face recognition based application according to an embodiment of the present invention.
  • the operation of the mode will be described with reference to the operation of FIG. Let's take a closer look.
  • step 118 an appropriate state degree range for each type is measured according to a preset and classified object type, and a matched lookup table is called, and in step 120, the state degree of the measured object is determined through the called lookup table.
  • the object type preset and classified in step 118 is defined and classified in consideration of the context of use in order to design a feedback scheme for inducing laughter to a user. It includes the motivation to request a change of mind in situations where there is an intention to laugh, but the laughter cannot be laughed, and the passive to be stimulated to laugh even when there is no intention to laugh.
  • Feedback corresponding to the objective type provides numerical information of laughter to accurately evaluate the laughter.
  • the feedback corresponding to the synchronous type provides messages of consolation and empathy for natural laugh motive formation.
  • the feedback corresponding to the passive type imparts a laughter will to images visualizing the user's facial expression.
  • step 122 the determination result of step 120 is fed back through the unlocking interface.
  • the feedback UIs differently displayed through the unlocking interface are preset for each object type, and the corresponding feedback UIs are displayed according to the measured state degree according to the type preset in the mode.
  • the state degree of an object corresponding to the objective type is digitized and visualized, and classified according to the level to identify a feedback UI that is preset and matched for each level through a tabled lookup table.
  • the feedback UI is classified by the type of the object to describe a feedback UI method suitable for the lock screen according to each laugh-induced feedback method.
  • the purpose is to visualize and quantify the state of the object with the pie graph, and to display the state of the object with the pie graph, or the state of the synchronous, unlocking pattern that outputs a matching message for each state.
  • a passive feedback UI that displays a predetermined frame in association with a pre-registered image corresponding to a degree and the image-related message.
  • the circular graph is displayed in the center of the area where the unlocking interface is displayed as shown in a) and b) of FIG. 3, respectively, and the numbers of which the state degree is numerically colored are displayed differently from each other.
  • FIG. 3 relates to a preset feedback UI prototype for each object type in a feedback UI providing service method of a face recognition based application according to an embodiment of the present invention.
  • a) is a quantitative quantification (objective type) that visualizes and displays the level of laughter in a circular graph, in which the colors of the graph and the numbers are displayed in red-yellow-green steps according to the level of laughter of the user from left to right. .
  • 3b is a motivational message (synchronous) that visualizes the degree of laughter with a circular graph but shows a message of consolation and empathy without a numerical value, and shows a predetermined message according to the degree of laughter to draw the user's empathy.
  • a motivational message synchronous
  • the colors of the graphs and numbers are displayed in red-yellow-green levels.
  • FIG. 3C the image and the supplementary image most similar to the user's expression are shown in a circular frame without a graph or numerical expression.
  • the image uses an animal image, a celebrity image, and the like.
  • the feedback UI providing service method of the face recognition-based application measures the degree of laughter by recognizing the expression of the face at the same time as the unlocking of the terminal, and the measured result according to the type and the user's selection.
  • the feedback UI of the laugh-inducing application is provided by setting a feedback UI type-based feedback method and feeding back the degree of laughter numerically, that is, a score method, a message method, or a shaping method.
  • FIG. 2 is a detailed flowchart illustrating an operation of a mode corresponding to an unlocking pattern in a feedback UI providing service method of a face recognition based application according to an embodiment of the present invention.
  • an image including the face of the user is obtained at a predetermined distance through a camera provided in a terminal to which the present invention is applied.
  • the obtained image is divided for each frame having a different number of preset frames.
  • the predetermined distance means a distance that can recognize a facial expression in an embodiment of the present invention
  • the predetermined number of frames is assigned a frame used for generating a face image for each predetermined distance.
  • the invention is not limited to this.
  • Each divided frame having a different number of frames within a predetermined distance is obtained from an actual image photographed at the predetermined distance for automatic generation of a face image.
  • the face is recognized and extracted from the divided frame-by-frame image using a face recognition algorithm.
  • the face recognition algorithm is a technology for recognizing a face by recognizing the contours of the face, the position of the eyes, the chin and the mouth in the entire image space, detecting the face areas corresponding to the user's faces from the acquired face image
  • Various methods known in the art can be used. For example, methods for recognizing geometric features such as the size and position of face, eyes, nose, mouth, etc., Principal Component Analysis (PCA), Linear Discriminant Analysis (LDA)
  • PCA Principal Component Analysis
  • LDA Linear Discriminant Analysis
  • a predetermined feature point for determining an object state degree is extracted from the extracted face image, and in operation 218, a preset feedback UI is displayed by measuring the state degree of the object.
  • the object is a laugh expression that can measure the degree of laughter
  • the state degree is the level of the laughter corresponding to the smile expression is measured and leveled.
  • the predetermined feature point is for measuring a smile by recognizing an expression using facial muscle movement information, and presetting a predetermined position of the face as a feature point based on a face image registered by a user and corresponding to the set feature point.
  • the state information of the object is measured by estimating the motion information of the position in the currently input image. For example, it is determined that the feature points change when the feature points between the glans are collected in the center, and when the feature points provided on the inside of the eyebrows are lowered or when the feature points given at both ends of the lips are lowered.
  • the mode is switched to the first or second sub mode according to the sub mode set in the mode corresponding to the unlocking pattern to perform an operation according to the corresponding sub mode.
  • step 222 when the mode is switched to the first sub mode in step 220, in step 222, the user satisfaction for each feedback UI is collected through the unlocked interface after performing the feedback service.
  • the satisfaction is collected through a separate window on the unlocked execution screen, and collects and stores the satisfaction of the feedback feedback UI related to the degree of state corresponding to the unlocking pattern for unlocking according to a preset cycle or unlocking occurrence. It transmits to the serving service server linked through the network.
  • the serving service server collects the user's satisfaction for each feedback UI matched by the object type through the operation 224 to further store and manage the history of the preference for each feedback UI.
  • step 226 the user's reputation is displayed based on the history of the feedback UI at the beginning of the execution screen by displaying the preference history for each UI type matched by the terminal type requested from the terminal. Adaptively.
  • the mode is switched to the second sub mode to perform an operation thereafter.
  • the object of the detected lock release pattern is displayed through an interface where the lock is released, that is, through a separate window of the execution screen.
  • step 232 the displayed object is stored with the corresponding time information.
  • the user checks whether or not the user is called. If the user call is generated, the process moves to step 236 to display objects accumulated in sequential order.
  • the service is preset according to the degree of state corresponding to the hourly object.
  • the predetermined service is to recommend a linked service through an SNS (social networking service) service server linked based on the numerical data output for each state degree corresponding to the object, thereby implementing one embodiment of the present invention.
  • the feedback UI providing service method of the face recognition-based application according to the example recommends necessary things to the user through the state recognition data of the face recognition based smile measured at the same time as the unlocking of the terminal, so that the user's accessibility is good and the smile is measured frequently. This is useful for the user to check himself.
  • FIG. 4 is a detailed block diagram of an apparatus for providing a feedback UI of a face recognition based application according to an embodiment of the present invention.
  • the apparatus to which the present invention is applied includes a camera unit 410, a touch screen 412, a detector 414, a mode executor 416, a controller 418, a feedback UI 420, and a state degree measurement.
  • the camera unit 410 acquires an image including the face of the user.
  • the touch screen 412 displays the overall operation execution screen of the device to which the present invention is applied and receives data generated from the user.
  • the touch screen 412 displays a lock release interface through a user interrupt and outputs a lock release pattern input through the lock release interface.
  • the controller 418 detects the lock release pattern output from the touch screen 412 through the detector 414 and executes a mode corresponding to the detected lock release pattern by controlling the mode execution unit 416.
  • the controller 418 measures the state degree of the object corresponding to the detected lock release pattern through the state degree measuring unit 422, and the appropriate state degree range for each type is measured according to a preset and classified object type.
  • the matched lookup table 426 is called to determine the degree of the measured state of the object, and the result of the determination is controlled so that a corresponding feedback UI is fed back through the unlocking interface.
  • the preset classified object type may be a target type that requires laugh training or instant facial expression management, a motivation to require a change of mind in a situation where there is an intention to laugh but cannot laugh, and no intention to laugh. It also includes a passive type that is motivated and willing to laugh.
  • controller 418 may display the feedback UIs differently displayed on the touch screen by matching the measured state degree according to the type set in the preset mode by the type of the object. 412 feedback.
  • the feedback UI is a purpose-type for visualizing and quantifying the state of the object in a pie graph, and synchronous, unlocking to visualize the state of the object in a pie graph, or to output a message matched to each other by a preset degree. It includes a passive feedback UI for displaying in a predetermined frame in association with the pre-registered image corresponding to the degree of the pattern and the image-related message.
  • the pie graph is displayed in an area in which the unlocking interface is displayed, and the numbers in which the state degree is numerically colored are displayed differently from each other according to the state degree.
  • the mode executing unit 416 switches a mode under the control of the control unit 418 to execute the corresponding mode, and acquires an image including the face of the user at a predetermined distance through the camera unit 410.
  • the set face recognition algorithm 424 to recognize and extract the face to extract a predetermined feature point that determines the object state degree from the extracted face image, and the mode to measure the state degree of the object from the extracted feature point Run

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Tourism & Hospitality (AREA)
  • Computer Hardware Design (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Security & Cryptography (AREA)
  • Marketing (AREA)
  • Economics (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Human Resources & Organizations (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Multimedia (AREA)
  • User Interface Of Digital Computer (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은 사용자 인터럽트(interrupt)를 통해 잠금 해제 인터페이스를 디스플레이하는 과정과, 상기 잠금 해제 인터페이스를 통해 입력된 잠금 해제 패턴을 수신하는 과정과, 상기 수신된 잠금 해제 패턴을 검출하고 검출된 잠금 해제 패턴에 대응하는 모드를 실행하여 상기 검출된 잠금 해제 패턴에 대응하는 오브젝트의 상태 정도를 측정하는 과정과, 기설정되어 분류된 오브젝트 유형에 따라 유형별 적정 상태 정도 범위가 측정되어 매칭된 룩업 테이블을 호출하여 상기 측정된 오브젝트의 상태 정도를 판단하고, 판단 결과를 상기 잠금 해제 인터페이스를 통해 피드백하는 과정을 포함함을 특징으로 한다.

Description

얼굴 인식 기반 어플리케이션의 피드백 ＵＩ 제공 서비스 방법 및 시스템
본 발명은 얼굴 표정 인식 기반 웃음 유발 어플리케이션의 피드백 UI에 관한 것이다.
최근 인공지능과 패턴인식 기술이 발전함에 따라서 얼굴 표정 인식은 HCI(Human Computer Interface)에서 중요한 기술 중 하나이며, 이에 관련된 많은 연구가 진행되고 있으며, 표정 인식 기술을 통한 표정 진단과 관련해서 기술적인 연구가 활발히 이루어졌지만[1, 2] 실제적인 사용을 고려한 인터렉션 설계가 미비하여 이를 활용한 프로그램 상용화도 미지수인 실정이다.
또한, 사람의 얼굴 표정을 세밀하게 측정하여 사람의 감성을 진단하는 기술이 연구되고 있다[3]. 이런 기술은 얼굴 표정으로 나타나는 감정을 통해 이해 및 흥미를 파악하여 인터렉션을 도와줄 수 있어 지속적으로 발전하고 있다[4].
이와 관련하여, 한국공개특허 제2013-0082980호(2013. 07. 22 공개)에는 사용자의 얼굴을 인식하고 얼굴 식별을 위한 식별정보를 생성하여 생성된 사용자별 식별정보를 DB에 저장 후 잠금 해제를 시도하는 사용자의 얼굴이 상기 DB 존재하는지 여부 판단을 통해 검증된 사용자에게 기저장된 정보를 통해 맞춤형 추천 서비스를 수행하는 방법을 개시하고 있다.
이러한 선행문헌은 단지 최초 저장된 고정된 사용자 얼굴을 기반으로 고정적인 서비스만을 수행하므로 변화 무쌍한 얼굴 표정을 기반으로 적응적인 서비스는 불가능하다.
더불어 사용자가 스스로 표정을 진단할 수 있도록 하는 기술도 연구되고 있는데[5] 기존의 연구들은 웃음의 정도를 측정할 뿐 웃음 훈련 혹은 웃음 유발을 위한 효과적 설계 방식을 논하지 않아 실용성에 의문을 남겨둔 상황이다.
따라서 본 발명은 사용자의 웃음의 정도를 판단하여 웃음 유형 및 레벨 범위에 따라 설정되어 특화된 UI를 사용자에게 피드백함으로써 사용자의 감정 변화에 따른 피드백이 가능하여 사용자의 감성을 진단 가능할 뿐만 아니라, 얼굴 표정으로 나타나는 감정을 통해 이해 및 흥미를 파악하여 물품, 어플리케이션, 여행지, 맛집 등을 추천하여 감성 기반 인터렉션(interaction) 메커니즘을 통해 사용자의 접근성이 높고, 자신을 점검 가능한 자기 표현의 매체 어플리케이션 기술을 제공하고자 한다.
본 발명의 일 견지에 따르면, 사용자 인터럽트(interrupt)를 통해 잠금 해제 인터페이스를 디스플레이하는 과정과, 상기 잠금 해제 인터페이스를 통해 입력된 잠금 해제 패턴을 수신하는 과정과, 상기 수신된 잠금 해제 패턴을 검출하고 검출된 잠금 해제 패턴에 대응하는 모드를 실행하여 상기 검출된 잠금 해제 패턴에 대응하는 오브젝트의 상태 정도를 측정하는 과정과, 기설정되어 분류된 오브젝트 유형에 따라 유형별 적정 상태 정도 범위가 측정되어 매칭된 룩업 테이블을 호출하여 상기 측정된 오브젝트의 상태 정도를 판단하고, 판단 결과를 상기 잠금 해제 인터페이스를 통해 피드백하는 과정을 포함함을 특징으로 한다.
본 발명의 다른 견지에 따르면, 사용자의 얼굴을 포함하는 영상을 획득하는 카메라부와, 사용자 인터럽트(interrupt)를 통해 잠금 해제 인터페이스를 디스플레이하고, 상기 잠금 해제 인터페이스를 통해 입력된 잠금 해제 패턴을 출력하는 터치 스크린, 상기 터치 스크린으로부터 출력된 잠금 해제 패턴을 검출하고 검출된 잠금 해제 패턴에 대응하는 모드를 실행하여 상기 검출된 잠금 해제 패턴에 대응하는 오브젝트의 상태 정도를 측정하고, 기설정되어 분류된 오브젝트 유형에 따라 유형별 적정 상태 정도 범위가 측정되어 매칭된 룩업 테이블을 호출하여 상기 측정된 오브젝트의 상태 정도를 판단하고, 판단 결과를 상기 잠금 해제 인터페이스를 통해 피드백되도록 제어하는 제어부를 포함함을 특징으로 한다.
본 발명은 사용자의 감정 변화에 따른 피드백이 가능하여 사용자의 감성을 진단 가능할 뿐만 아니라, 얼굴 표정으로 나타나는 감정을 통해 이해 및 흥미를 파악하여 물품, 어플리케이션, 여행지, 맛집 등을 추천하여 감성 기반 인터렉션(interaction) 메커니즘을 통해 사용자의 접근성이 높고, 자신을 점검 가능한 자기 표현의 매체 어플리케이션 제공이 가능한 효과가 있다.
도 1은 본 발명의 일 실시 예에 따른 얼굴 인식 기반 어플리케이션의 피드백 UI 제공 서비스 방법에 관한 전체 흐름도.
도 2는 본 발명의 일 실시 예에 따른 얼굴 인식 기반 어플리케이션의 피드백 UI 제공 서비스 방법에 있어서, 잠금 해제 패턴에 대응하는 모드의 동작을 보인 상세 흐름도.
도 3은 본 발명의 일 실시 예에 따라 얼굴 인식 기반 어플리케이션의 피드백 UI 제공 서비스 방법에 있어서, 오브젝트 유형별 기설정된 피드백 UI 프로토타입(prototype)에 관한 예시도.
도 4는 본 발명의 일 실시 예에 따른 얼굴 인식 기반 어플리케이션의 피드백 UI 제공 서비스 장치에 관한 상세 블록도.
이하 본 발명에 따른 바람직한 실시 예를 첨부한 도면을 참조하여 상세히 설명한다. 하기 설명에서는 구체적인 구성 소자 등과 같은 특정 사항들이 나타나고 있는데 이는 본 발명의 보다 전반적인 이해를 돕기 위해서 제공된 것일 뿐 이러한 특정 사항들이 본 발명의 범위 내에서 소정의 변형이나 혹은 변경이 이루어질 수 있음은 이 기술 분야에서 통상의 지식을 가진 자에게는 자명하다 할 것이다.
본 발명은 얼굴 표정 인식 기반 웃음 유발 어플리케이션의 피드백 UI에 관한 것으로, 더욱 상세하게는 터치스크린이 구비된 단말이 화면 잠금 상태에 들어간 후, 작동 상태로 하기 위한 잠금 해제(shortcut unlocking) 인터페이스가 디스플레이된 화면에서 상기 잠금 해제 인터페이스를 통해 입력된 잠금 해제 패턴을 검출하고, 검출된 잠금 해제 패턴이 기설정된 패턴임을 검증 후 검증된 상기 패턴에 해당하는 오브젝트의 상태 정도를 룩업(look-up) 테이블을 통해 판단하여 오브젝트 관련 유형 및 레벨 범위에 따라 설정되어 특화된 UI를 사용자에게 피드백함으로써 사용자의 감정 변화에 따른 피드백이 가능하여 사용자의 감성을 진단 가능할 뿐만 아니라, 얼굴 표정으로 나타나는 감정을 통해 이해 및 흥미를 파악하여 물품, 어플리케이션, 여행지, 맛집 등을 추천하여 감성 기반 인터렉션(interaction) 메커니즘을 통해 사용자의 접근성이 높고, 자신을 점검 가능한 자기 표현의 매체 어플리케이션 기술을 제공하고자 한다.
이하, 본 발명의 일 실시 예에 따른 얼굴 인식 기반 어플리케이션의 피드백 UI 제공 서비스 방법에 관해 도 1 내지 도 3을 참조하여 자세히 살펴보기로 한다.
먼저, 도 1은 본 발명의 일 실시 예에 따른 얼굴 인식 기반 어플리케이션의 피드백 UI 제공 서비스 방법에 관한 전체 흐름도이다.
도 1을 참조하면, 먼저 110 과정에서는 사용자 인터럽트(interrupt)를 통해 잠금 해제 기능이 구비된 단말의 초기 화면에 잠금 해제 인터페이스를 디스플레이하고, 112 과정에서는 상기 잠금 해제 인터페이스를 통해 입력된 잠금 해제 패턴을 수신하여 수신된 잠금 해제 패턴을 검출한다.
이때, 상기 초기 화면에 잠금 해제 인터페이스는 잠금 수단 즉, 잠금 어플리케이션 형성을 의미하는 것으로, 상기 잠금 수단은 기설정된 시간 내 숫자 암호를 입력하여 잠금을 해제하는 방식 혹은 패턴을 입력하는 방식 등에 의해 잠금을 해제하는 방식 등이 사용자로부터 미리 설정되어 선택 사용된다. 또한, 상기 패턴을 입력하는 방식에는 이미지, 문자, 음성 등 다양한 타입의 패턴 선택 사용이 가능하며 타입별 특징 추출과 패턴 정합 부분으로 분류되어 인식된다. 본 발명에서는 카메라를 통해 입력되는 얼굴을 인식하여 잠금 해제 패턴으로 미리 설정된 패턴과 일치하는지 여부를 판정하여 일치하는 경우 화면을 잠금 해제하여 실행 화면을 제공한다.
또한, 상기 잠금 해제 인터페이스는 복수의 분할된 영역을 갖고, 각 분할된 영역에는 대응하는 아이템이 형성되고, 상기 분할된 영역 내의 제1 위치에는 상기 아이템과 관련된 제1 서비스를 제공하는 제1 메뉴가 미리 설정되고, 상기 제1 위치와 다른 제2 위치에는 상기 분할된 영역 내에 형성된 상기 아이템과 관련되며 상기 제1 서비스와 다른 제2 서비스를 제공하는 제2 메뉴가 미리 설정된다.
상기 제1 위치에는 오브젝트 유형별 피드백 UI가 제공되는 서비스인 제1 메뉴가 미리 설정되고, 상기 제2 위치에는 상기 제1 위치에 표시되는 피드백 UI에 연계된 메시지가 소정 프레임이 표시되는 서비스인 제2 메뉴가 미리 설정된다.
114 과정에서는 검출된 잠금 해제 패턴에 대응하는 모드를 실행하여, 116 과정에서 상기 검출된 잠금 해제 패턴에 대응하는 오브젝트의 상태 정도를 측정한다.
여기서, 상기 잠금 해제 패턴에 대응하는 모드는 본 발명의 일 실시 예에 따른 얼굴 인식 기반 어플리케이션의 피드백 UI 제공 서비스 동작을 수행하는 모드로서, 상세히는 후술 되는 도 2의 동작 설명을 통해 상기 모드의 동작을 자세히 살펴보도록 한다.
계속해서, 118 과정에서는 기설정되어 분류된 오브젝트 유형에 따라 유형별 적정 상태 정도 범위가 측정되어 매칭된 룩업 테이블을 호출하고, 120 과정에서는 호출된 룩업 테이블을 통해 상기 측정된 오브젝트의 상태 정도를 판단한다.
상기 118 과정에서 기설정되어 분류된 오브젝트 유형은, 사용자에게 웃음을 유발하는 피드백 방식을 설계하기 위해 사용 맥락을 고려하여 정의되어 분류된 것으로, 웃음 훈련을 필요로 하거나 순간의 표정관리를 원하는 목적형, 웃으려는 의도가 있으나 웃을 수 없는 상황에서 마음의 변화를 요구하는 동기형, 웃으려는 의도가 없을 때에도 자극을 받아 웃으려는 의지를 갖게 되는 수동형을 포함한다.
상기 목적형에 대응하는 피드백은 웃음을 정확히 평가하기 위해 웃음의 수치 정보를 제공한다.
상기 동기형에 대응하는 피드백은 자연스런 웃음 동기 형성을 위해 위로 및 공감의 메시지들을 제공한다.
상기 수동형에 대응하는 피드백은 사용자의 표정을 가시화하는 이미지들로 웃음 의지를 부여한다.
122 과정에서는 상기 120 과정에서의 판단 결과를 상기 잠금 해제 인터페이스를 통해 피드백한다.
여기서, 상기 피드백은 잠금 해제 인터페이스를 통해 서로 상이하게 디스플레이되는 피드백 UI가 오브젝트의 유형별로 기설정되어, 모드에 미리 설정된 유형에 따라 해당 피드백 UI를 측정된 상태 정도와 매칭되어 표시된다.
예컨대, 상기 모드에 설정된 유형이 목적형일 경우 목적형에 해당하는 오브젝트의 상태 정도를 수치화 및 시각화하여 레벨별로 분류하여 테이블화된 룩업 테이블을 통해 레벨별 기설정되어 매칭된 피드백 UI를 확인하고, 이를 사용자에게 잠금 해제 인터페이스를 통해 도 3의 a)에서와 같이 가이드한다.
본 발명에서 피드백 UI는 오브젝트의 유형별로 분류되어 각 웃음 유발 피드백 방식에 따른 잠금 화면에 적합한 피드백 UI 방식을 묘사한다.
이를 살펴보면, 원형 그래프로 오브젝트의 상태 정도를 시각화 및 수치화하여 표시하는 목적형, 원형 그래프로 오브젝트의 상태 정도를 시각화하거나 혹은 상태 정도별 기설정되어 매칭된 메시지가 출력되는 동기형, 잠금 해제 패턴의 상태 정도에 해당하는 기등록된 이미지 및 상기 이미지 관련 메시지를 연계하여 소정 프레임에 표시하는 수동형 피드백 UI를 포함한다.
이때, 상기 원형 그래프는 도 3의 a) 및 b)에 각각 도시된 바와 같이 잠금 해제 인터페이스가 디스플레이되는 영역 중앙에 표시되어 상태 정도에 따라 상태 정도가 수치화된 숫자가 서로 상이하게 채색되어 표시된다.
여기서, 도 3을 참조하면, 도 3은 본 발명의 일 실시 예에 따라 얼굴 인식 기반 어플리케이션의 피드백 UI 제공 서비스 방법에 있어서, 오브젝트 유형별 기설정된 피드백 UI 프로토타입(prototype)에 관한 것으로, 도 3의 a)는 원형 그래프로 웃음 정도를 시각화하고 수치를 보여주는 정량 수치화(목적형)에 관한 것으로, 좌로부터 우 방향으로 사용자의 웃음 정도에 따라서 그래프 및 숫자의 색을 붉은색-노란색-녹색 단계로 표시된다.
도 3의 b)는 원형 그래프로 웃음 정도를 시각화하나 수치 없이 위로 및 공감의 메시지를 보여주는 동기 유발 메시지(동기형)에 관한 것으로, 웃음의 정도에 따라 기설정된 메시지를 보여주어 사용자의 공감을 이끌어 낸다. 사용자의 웃음 정도에 따라 그래프 및 숫자의 색을 붉은색-노란색-녹색 단계로 표시된다.
도 3의 c)에서는 그래프나 수치 표현 없이 원형 틀 안에 사용자 표정과 가장 유사한 이미지 및 보조 멘트를 보여 주는 것으로, 여기서, 이미지는 동물 이미지, 연예인 이미지 등을 활용한다.
이와 같이, 본 발명의 일 실시 예에 따른 얼굴 인식 기반 어플리케이션의 피드백 UI 제공 서비스 방법은 단말의 잠금 해제와 동시에 얼굴의 표정을 인식하여 웃음의 정도를 측정하고 측정된 결과를 사용자 선택에 따라 유형 및 피드백 UI 타입 기반 피드백 방식을 설정하고, 또한 웃음의 정도를 수치화 즉, 점수 방식 혹은 메시지 방식 혹은 형상화 방식으로 피드백함으로써 웃음 유발 어플리케이션의 피드백 UI를 제공한다.
이어서, 도 2는 본 발명의 일 실시 예에 따른 얼굴 인식 기반 어플리케이션의 피드백 UI 제공 서비스 방법에 있어서, 잠금 해제 패턴에 대응하는 모드의 동작을 보인 상세 흐름도이다.
도 2를 참조하면, 210 과정에서는 본 발명이 적용된 단말에 구비된 카메라를 통하여 기설정된 거리에서 상기 사용자의 얼굴을 포함하는 영상을 획득한다.
상기 획득된 영상을 기설정된 서로 상이한 프레임 수를 갖는 프레임별로 각각 분할한다.
이때, 상기 기설정된 거리는 본 발명의 실시 예에서는 얼굴 표정을 인식 가능한 정도의 거리를 의미하는 것이고, 상기 기설정된 프레임 수는 기설정된 거리별 얼굴 영상의 생성을 위해 사용되는 프레임이 할당되는 것이지만, 본 발명이 이에 한정되지는 않는다. 기설정된 거리 내에서 서로 다른 프레임 수를 갖는 각 분할된 프레임은 얼굴 영상의 자동 생성을 위해 상기 기설정된 거리에서 촬영된 실제 영상으로부터 획득된다.
212 과정에서는 분할된 프레임별 영상으로부터 얼굴 인식 알고리즘을 이용하여 얼굴을 인식 및 추출한다.
여기서, 상기 얼굴 인식 알고리즘은 전체 영상 공간에서 얼굴의 윤곽, 눈, 턱 및 입의 위치 인식을 통하여 얼굴을 인식하는 기술로서, 상기 획득된 얼굴 영상으로부터 사용자의 얼굴들에 해당하는 얼굴 영역을 검출하기 위한 공지된 다양한 방법들이 사용될 수 있다. 예를 들어, 얼굴의 구성 요소인 눈, 코, 입 등의 크기 및 위치 등의 기하학적 특징으로 인식하는 방법과 주성분 분석 기법(PCA : Principal Component Analysis), 선형 판별 분석 기법(LDA : Linear Discriminant Analysis)와 같은 얼굴 전체의 통계적인 값을 특징으로 인식하는 방법이 있다.
214 과정에서는 상기 추출된 얼굴 영상으로부터 오브젝트 상태 정도를 결정짓는 기설정된 특징점을 추출하고, 216 과정에서 추출된 상기 특징점으로부터 해당 오브젝트의 상태 정도를 측정하여 218 과정에서 기설정된 피드백 UI를 표시한다.
이때, 상기 오브젝트는 웃음 정도가 측정 가능한 웃음 표정이고, 상기 상태 정도는 상기 웃음 표정에 대응되는 웃음량이 측정되어 레벨화된 것이다.
상기 기설정된 특징점은, 얼굴 근육 움직임 정보를 이용하여 표정을 인식하여 웃음 정도를 측정하기 위한 것으로, 사용자로부터 등록된 얼굴 영상을 기준으로 상기 얼굴의 소정 위치를 특징점으로 미리 설정하고, 설정된 특징점에 해당하는 현재 입력된 영상 내 위치의 움직임 정보를 추정하여 오브젝트의 상태 정도를 측정한다. 예를 들어, 미간 사이의 특징점들이 중앙으로 모인 경우 눈썹의 안쪽에 부여된 특징점들이 하측으로 내려간 경우 또는 입술의 양쪽 끝에 부여된 특징점들이 내려간 경우에 특징점이 변화하였다고 판단한다.
이후, 본 발명에서는 상기 잠금 해제 패턴에 대응하는 모드에 설정된 서브 모드에 따라 제1 혹은 제2 서브 모드로 모드 전환되어 해당 서브 모드에 따른 동작을 수행한다.
더욱 상세하게는 220 과정에서 제1 서브 모드로 모드 전환된 경우 222 과정에서는 상기 피드백 서비스 수행 후 잠금이 해제된 인터페이스를 통해 해당 피드백 UI별 사용자의 만족도를 수집한다.
상기 만족도는 잠금 해제된 실행 화면에서 별도의 윈도우를 통해 수집되는 것으로, 기설정된 주기별 혹은 잠금 해제 발생별 상기 잠금 해제를 위한 잠금 해제 패턴에 대응하는 상태 정도 관련 피드백 UI의 만족도를 수집하여 저장하고, 네트워크를 통해 연동된 서빙(serving) 서비스 서버로 전송한다.
이때, 상기 서빙 서비스 서버는 224 과정의 동작을 통해 오브젝트의 유형별 매칭된 피드백 UI별 해당 사용자의 만족도를 수집하여 상기 피드백 UI별 선호도에 대한 이력을 추가로 저장, 관리한다.
226 과정에서는 네트워크를 통해 단말로부터 요청된 오브젝트 유형별 매칭된 UI별 선호 이력을 표시하여 실행 화면 초기에 피드백 UI별 이력을 토대로 사용자 평판을 동시에 표시하여 이를 참고로 모드에 웃음을 유발하는 피드백 UI를 선별하여 적응적으로 설정한다.
한편, 228 과정에서는 제2 서브 모드로 모드 전환되어 그 이후의 동작을 수행한다. 230 과정에서는 상기 검출된 잠금 해제 패턴의 오브젝트를 잠금이 해제된 인터페이스 즉, 실행 화면의 별도의 윈도우를 통해 표시한다.
232 과정에서는 표시된 오브젝트를 해당 시간 정보와 함께 저장한다.
234 과정의 동작을 통해 사용자 호출 여부를 체크하고, 사용자 호출이 발생된 경우 236 과정으로 이동하여 시간 순 순차 축적된 오브젝트를 표시한다.
238 과정에서는 시간별 오브젝트에 대응하는 상태 정도에 따라 기설정된 서비스를 제공한다.
이때, 상기 기설정된 서비스는, 상기 오브젝트에 대응하는 상태 정도별 출력되는 수치 데이터를 기반으로 연계된 SNS(social networking service) 서비스 서버를 통해 연동된 서비스를 추천하는 것으로, 이를 통해 본 발명의 일 실시 예에 따른 얼굴 인식 기반 어플리케이션의 피드백 UI 제공 서비스 방법은 단말의 잠금 해제와 동시에 측정된 얼굴 인식 기반 웃음의 상태 정도 데이터를 통해 사용자에게 필요한 것들을 추천해주기 때문에 사용자의 접근성이 좋고, 수시로 웃음을 측정하기 때문에 사용자가 자신을 점검하기 유용하다.
이상, 본 발명의 일 실시 예에 따른 얼굴 인식 기반 어플리케이션의 피드백 UI 제공 서비스 방법에 관해 살펴보았다.
이하, 본 발명의 일 실시 예에 따른 얼굴 인식 기반 어플리케이션의 피드백 UI 제공 서비스 장치에 관해 도 4를 참조하여 자세히 살펴보기로 한다.
도 4는 본 발명의 일 실시 예에 따른 얼굴 인식 기반 어플리케이션의 피드백 UI 제공 서비스 장치에 관한 상세 블록도이다.
도 4를 참조하면, 본 발명이 적용된 장치는 카메라부(410), 터치스크린(412), 검출부(414), 모드 실행부(416), 제어부(418), 피드백 UI(420), 상태 정도 측정부(422), 얼굴 인식 알고리즘(424) 및 룩업 테이블(426)을 포함한다.
상기 카메라부(410)은 사용자의 얼굴을 포함하는 영상을 획득한다.
상기 터치스크린(412)는 본 발명이 적용된 장치의 전반적인 동작 실행 화면을 표시하고, 사용자로부터 발생되는 데이터를 입력받는다. 또한, 상기 터치스크린(412)는 사용자 인터럽트(interrupt)를 통해 잠금 해제 인터페이스를 디스플레이하고, 상기 잠금 해제 인터페이스를 통해 입력된 잠금 해제 패턴을 출력한다.
상기 제어부(418)는 터치 스크린(412)으로부터 출력된 잠금 해제 패턴을 검출부(414)를 통해 검출하고 검출된 잠금 해제 패턴에 대응하는 모드를 모드 실행부(416)를 제어하여 실행한다.
또한, 상기 제어부(418)는 검출된 잠금 해제 패턴에 대응하는 오브젝트의 상태 정도를 상태 정도 측정부(422)를 통해 측정하고, 기설정되어 분류된 오브젝트 유형에 따라 유형별 적정 상태 정도 범위가 측정되어 매칭된 룩업 테이블(426)을 호출하여 상기 측정된 오브젝트의 상태 정도를 판단하고, 판단 결과를 상기 잠금 해제 인터페이스를 통해 대응하는 피드백 UI가 피드백되도록 제어한다.
이때, 상기 기설정되어 분류된 오브젝트 유형은, 웃음 훈련을 필요로 하거나 순간의 표정관리를 원하는 목적형, 웃으려는 의도가 있으나 웃을 수 없는 상황에서 마음의 변화를 요구하는 동기형, 웃으려는 의도가 없을 때에도 자극을 받아 웃으려는 의지를 갖게 되는 수동형을 포함한다.
그리고, 상기 제어부(418)는 잠금 해제 인터페이스를 통해 서로 상이하게 디스플레이되는 피드백 UI가 오브젝트의 유형별로 기설정되어 모드에 설정된 유형에 따라 해당 피드백 UI를 측정된 상태 정도와 매칭하여 표시하여 터치스크린(412)를 통해 피드백한다.
여기서, 상기 피드백 UI는 원형 그래프로 오브젝트의 상태 정도를 시각화 및 수치화하여 표시하는 목적형, 원형 그래프로 오브젝트의 상태 정도를 시각화하거나 혹은 상태 정도별 기설정되어 매칭된 메시지가 출력되는 동기형, 잠금 해제 패턴의 상태 정도에 해당하는 기등록된 이미지 및 상기 이미지 관련 메시지를 연계하여 소정 프레임에 표시하는 수동형 피드백 UI를 포함한다.
상기 원형 그래프는, 잠금 해제 인터페이스가 디스플레이되는 영역에 표시되어 상태 정도에 따라 상태 정도가 수치화된 숫자가 서로 상이하게 채색되어 표시된다.
상기 모드 실행부(416)은 제어부(418)의 제어 하에 모드를 스위칭하여 해당 모드를 실행하는 것으로, 카메라부(410)를 통하여 기설정된 거리에서 상기 사용자의 얼굴을 포함하는 영상을 획득하고, 기설정된 얼굴 인식 알고리즘(424)을 이용하여 얼굴을 인식 및 추출하여 추출된 얼굴 영상으로부터 오브젝트 상태 정도를 결정짓는 기설정된 특징점을 추출하고, 추출된 상기 특징점으로부터 해당 오브젝트의 상태 정도 측정이 실행되는 모드를 실행한다.
상기와 같이 본 발명에 따른 얼굴 인식 기반 어플리케이션의 피드백 UI 제공 서비스 방법 및 장치에 관한 동작이 이루어질 수 있으며, 한편 상기한 본 발명의 설명에서는 구체적인 실시 예에 관해 설명하였으나 여러 가지 변형이 본 발명의 범위를 벗어나지 않고 실시될 수 있다. 따라서 본 발명의 범위는 설명된 실시 예에 의하여 정할 것이 아니고 청구범위와 청구범위의 균등한 것에 의하여 정하여져야 할 것이다.

Claims (16)

  1. 사용자 인터럽트(interrupt)를 통해 잠금 해제 인터페이스를 디스플레이하는 과정과,
    상기 잠금 해제 인터페이스를 통해 입력된 잠금 해제 패턴을 수신하는 과정과,
    상기 수신된 잠금 해제 패턴을 검출하고 검출된 잠금 해제 패턴에 대응하는 모드를 실행하여 상기 검출된 잠금 해제 패턴에 대응하는 오브젝트의 상태 정도를 측정하는 과정과,
    기설정되어 분류된 오브젝트 유형에 따라 유형별 적정 상태 정도 범위가 측정되어 매칭된 룩업 테이블을 호출하여 상기 측정된 오브젝트의 상태 정도를 판단하고, 판단 결과를 상기 잠금 해제 인터페이스를 통해 피드백하는 과정을 포함함을 특징으로 하는 얼굴 인식 기반 어플리케이션의 피드백 UI 제공 서비스 방법.
  2. 제1항에 있어서, 상기 기설정되어 분류된 오브젝트 유형은,
    웃음 훈련을 필요로 하거나 순간의 표정관리를 원하는 목적형,
    웃으려는 의도가 있으나 웃을 수 없는 상황에서 마음의 변화를 요구하는 동기형,
    웃으려는 의도가 없을 때에도 자극을 받아 웃으려는 의지를 갖게 되는 수동형을 포함함을 특징으로 하는 얼굴 인식 기반 어플리케이션의 피드백 UI 제공 서비스 방법.
  3. 제1항에 있어서, 상기 잠금 해제 패턴에 대응하는 모드는,
    카메라를 통하여 기설정된 거리에서 상기 사용자의 얼굴을 포함하는 영상을 획득하는 과정과,
    기설정된 얼굴 인식 알고리즘을 이용하여 얼굴을 인식 및 추출하는 과정과,
    상기 추출된 얼굴 영상으로부터 오브젝트 상태 정도를 결정짓는 기설정된 특징점을 추출하는 과정과,
    추출된 상기 특징점으로부터 해당 오브젝트의 상태 정도를 측정하는 과정을 포함함을 특징으로 하는 얼굴 인식 기반 어플리케이션의 피드백 UI 제공 서비스 방법.
  4. 제1항에 있어서, 상기 피드백하는 과정은,
    잠금 해제 인터페이스를 통해 서로 상이하게 디스플레이되는 피드백 UI가 오브젝트의 유형별로 기설정되어 모드에 설정된 유형에 따라 해당 피드백 UI를 측정된 상태 정도와 매칭하여 표시됨을 특징으로 하는 얼굴 인식 기반 어플리케이션의 피드백 UI 제공 서비스 방법.
  5. 제4항에 있어서, 상기 피드백 UI는,
    원형 그래프로 오브젝트의 상태 정도를 시각화 및 수치화하여 표시하는 목적형,
    원형 그래프로 오브젝트의 상태 정도를 시각화하거나 혹은 상태 정도별 기설정되어 매칭된 메시지가 출력되는 동기형,
    잠금 해제 패턴의 상태 정도에 해당하는 기등록된 이미지 및 상기 이미지 관련 메시지를 연계하여 소정 프레임에 표시하는 수동형 피드백 UI를 포함함을 특징으로 하는 얼굴 인식 기반 어플리케이션의 피드백 UI 제공 서비스 방법.
  6. 제5항에 있어서, 상기 원형 그래프는,
    잠금 해제 인터페이스가 디스플레이되는 영역에 표시되어 상태 정도에 따라 상태 정도가 수치화된 숫자가 서로 상이하게 채색되어 표시됨을 특징으로 하는 얼굴 인식 기반 어플리케이션의 피드백 UI 제공 서비스 방법.
  7. 제1항에 있어서, 상기 잠금 해제 인터페이스는,
    복수의 분할된 영역을 갖고, 각 분할된 영역에는 대응하는 아이템이 형성되고, 상기 분할된 영역 내의 제1 위치에는 상기 아이템과 관련된 제1 서비스를 제공하는 제1 메뉴가 미리 설정되고, 상기 제1 위치와 다른 제2 위치에는 상기 분할된 영역 내에 형성된 상기 아이템과 관련되며 상기 제1 서비스와 다른 제2 서비스를 제공하는 제2 메뉴가 미리 설정됨을 특징으로 하는 얼굴 인식 기반 어플리케이션의 피드백 UI 제공 서비스 방법.
  8. 제1항에 있어서, 상기 오브젝트는 웃음 표정이고,
    상기 상태 정도는 상기 웃음 표정에 대응되는 웃음량이 측정되어 레벨화된 것임을 특징으로 하는 얼굴 인식 기반 어플리케이션의 피드백 UI 제공 서비스 방법.
  9. 제1항에 있어서, 상기 잠금 해제 패턴에 대응하는 모드는,
    상기 피드백 서비스 수행 후 잠금이 해제된 인터페이스를 통해 해당 피드백 UI별 사용자의 만족도를 수집하여 상기 피드백 UI에 대한 만족도 이력을 추가로 저장, 관리하고, 사용자 요청 시 오브젝트 유형별 매칭된 피드백 UI별 선호 이력을 표시하는 제1 서브 모드와,
    상기 검출된 잠금 해제 패턴의 오브젝트를 잠금이 해제된 인터페이스를 통해 표시하고, 표시된 오브젝트를 해당 시간 정보와 함께 저장하여 사용자 호출 시 시간 순 순차 축적된 오브젝트를 표시하고, 시간별 오브젝트에 대응하는 상태 정도에 따라 기설정된 서비스를 제공하는 제2 서브 모드를 포함함을 특징으로 하는 얼굴 인식 기반 어플리케이션의 피드백 UI 제공 서비스 방법.
  10. 제9항에 있어서, 상기 기설정된 서비스는,
    상기 오브젝트에 대응하는 상태 정도별 출력되는 수치 데이터를 기반으로 연계된 SNS(social networking service) 서비스 서버를 통해 연동된 서비스를 추천함을 특징으로 하는 얼굴 인식 기반 어플리케이션의 피드백 UI 제공 서비스 방법.
  11. 사용자의 얼굴을 포함하는 영상을 획득하는 카메라부와,
    사용자 인터럽트(interrupt)를 통해 잠금 해제 인터페이스를 디스플레이하고, 상기 잠금 해제 인터페이스를 통해 입력된 잠금 해제 패턴을 출력하는 터치 스크린,
    상기 터치 스크린으로부터 출력된 잠금 해제 패턴을 검출하고 검출된 잠금 해제 패턴에 대응하는 모드를 실행하여 상기 검출된 잠금 해제 패턴에 대응하는 오브젝트의 상태 정도를 측정하고, 기설정되어 분류된 오브젝트 유형에 따라 유형별 적정 상태 정도 범위가 측정되어 매칭된 룩업 테이블을 호출하여 상기 측정된 오브젝트의 상태 정도를 판단하고, 판단 결과를 상기 잠금 해제 인터페이스를 통해 피드백되도록 제어하는 제어부를 포함함을 특징으로 하는 얼굴 인식 기반 어플리케이션의 피드백 UI 제공 서비스 장치.
  12. 제11항에 있어서, 상기 기설정되어 분류된 오브젝트 유형은,
    웃음 훈련을 필요로 하거나 순간의 표정관리를 원하는 목적형, 웃으려는 의도가 있으나 웃을 수 없는 상황에서 마음의 변화를 요구하는 동기형, 웃으려는 의도가 없을 때에도 자극을 받아 웃으려는 의지를 갖게 되는 수동형을 포함함을 특징으로 하는 얼굴 인식 기반 어플리케이션의 피드백 UI 제공 서비스 장치.
  13. 제11항에 있어서,
    상기 제어부의 제어 하에 모드를 스위칭하여 해당 모드를 실행하는 모드 실행부를 더 포함하고,
    상기 모드 실행부는,
    카메라를 통하여 기설정된 거리에서 상기 사용자의 얼굴을 포함하는 영상을 획득하고, 기설정된 얼굴 인식 알고리즘을 이용하여 얼굴을 인식 및 추출하여 추출된 얼굴 영상으로부터 오브젝트 상태 정도를 결정짓는 기설정된 특징점을 추출하고, 추출된 상기 특징점으로부터 해당 오브젝트의 상태 정도 측정이 실행되는 모드를 실행함을 특징으로 하는 얼굴 인식 기반 어플리케이션의 피드백 UI 제공 서비스 장치.
  14. 제11항에 있어서, 상기 제어부는,
    잠금 해제 인터페이스를 통해 서로 상이하게 디스플레이되는 피드백 UI가 오브젝트의 유형별로 기설정되어 모드에 설정된 유형에 따라 해당 피드백 UI를 측정된 상태 정도와 매칭하여 표시하여 피드백함을 특징으로 하는 얼굴 인식 기반 어플리케이션의 피드백 UI 제공 서비스 장치.
  15. 제14항에 있어서, 상기 피드백 UI는,
    원형 그래프로 오브젝트의 상태 정도를 시각화 및 수치화하여 표시하는 목적형,
    원형 그래프로 오브젝트의 상태 정도를 시각화하거나 혹은 상태 정도별 기설정되어 매칭된 메시지가 출력되는 동기형,
    잠금 해제 패턴의 상태 정도에 해당하는 기등록된 이미지 및 상기 이미지 관련 메시지를 연계하여 소정 프레임에 표시하는 수동형 피드백 UI를 포함함을 특징으로 하는 얼굴 인식 기반 어플리케이션의 피드백 UI 제공 서비스 장치.
  16. 제15항에 있어서, 상기 원형 그래프는,
    잠금 해제 인터페이스가 디스플레이되는 영역에 표시되어 상태 정도에 따라 상태 정도가 수치화된 숫자가 서로 상이하게 채색되어 표시됨을 특징으로 하는 얼굴 인식 기반 어플리케이션의 피드백 UI 제공 서비스 장치.
PCT/KR2015/006181 2015-04-02 2015-06-18 얼굴 인식 기반 어플리케이션의 피드백 ｕｉ 제공 서비스 방법 및 시스템 WO2016159443A1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US15/563,448 US20180121715A1 (en) 2015-04-02 2015-06-18 Method and system for providing feedback ui service of face recognition-based application

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020150046990A KR101677426B1 (ko) 2015-04-02 2015-04-02 얼굴 인식 기반 어플리케이션의 피드백 ｕｉ 제공 서비스 방법 및 시스템
KR10-2015-0046990 2015-04-02

Publications (1)

Publication Number Publication Date
WO2016159443A1 true WO2016159443A1 (ko) 2016-10-06

Family

ID=57004463

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2015/006181 WO2016159443A1 (ko) 2015-04-02 2015-06-18 얼굴 인식 기반 어플리케이션의 피드백 ｕｉ 제공 서비스 방법 및 시스템

Country Status (3)

Country Link
US (1) US20180121715A1 (ko)
KR (1) KR101677426B1 (ko)
WO (1) WO2016159443A1 (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107317927A (zh) * 2017-06-22 2017-11-03 深圳市沃特沃德股份有限公司 与用户互动的方法及智能终端
CN107784114A (zh) * 2017-11-09 2018-03-09 广东欧珀移动通信有限公司 表情图像的推荐方法、装置、终端及存储介质
CN109145195A (zh) * 2017-06-28 2019-01-04 南宁富桂精密工业有限公司 信息推荐方法、电子装置及计算机可读存储介质

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102386299B1 (ko) * 2015-07-03 2022-04-14 삼성전자주식회사 도움 가이드 제공 방법 및 장치
KR102401170B1 (ko) * 2015-10-21 2022-05-24 삼성전자주식회사 복합 인증 장치 및 방법
US10698998B1 (en) * 2016-03-04 2020-06-30 Jpmorgan Chase Bank, N.A. Systems and methods for biometric authentication with liveness detection
CN112783332A (zh) * 2019-11-04 2021-05-11 北京搜狗科技发展有限公司 一种信息推荐方法、装置和电子设备
CN115203555B (zh) * 2022-07-15 2024-03-19 重庆工商大学 一种基于大数据的景区景点推荐方法及***

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20130096561A (ko) * 2012-02-22 2013-08-30 주식회사 팬택 사용자 인증 전자 장치 및 방법
JP2013235582A (ja) * 2012-05-02 2013-11-21 Samsung Electronics Co Ltd ユーザの顔分析結果によって移動端末を制御する装置及び方法
KR20140071802A (ko) * 2012-12-04 2014-06-12 주식회사 엘지유플러스 얼굴 인식을 통한 휴대 단말기 숏컷 정보 실행 시스템 및 방법
KR20150011046A (ko) * 2013-07-18 2015-01-30 삼성전자주식회사 생체인식 기반 인증 방법 및 장치

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20130096561A (ko) * 2012-02-22 2013-08-30 주식회사 팬택 사용자 인증 전자 장치 및 방법
JP2013235582A (ja) * 2012-05-02 2013-11-21 Samsung Electronics Co Ltd ユーザの顔分析結果によって移動端末を制御する装置及び方法
KR20140071802A (ko) * 2012-12-04 2014-06-12 주식회사 엘지유플러스 얼굴 인식을 통한 휴대 단말기 숏컷 정보 실행 시스템 및 방법
KR20150011046A (ko) * 2013-07-18 2015-01-30 삼성전자주식회사 생체인식 기반 인증 방법 및 장치

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
CHO, JEONG HUN ET AL.: "Smartphone Laugher-Induction Application Feedback UI Design Using Face Expression Recognition Technology", 2014 PROCEEDINGS OF WINTER CONFERENCE, 31 December 2014 (2014-12-31), pages 975 - 977 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107317927A (zh) * 2017-06-22 2017-11-03 深圳市沃特沃德股份有限公司 与用户互动的方法及智能终端
CN109145195A (zh) * 2017-06-28 2019-01-04 南宁富桂精密工业有限公司 信息推荐方法、电子装置及计算机可读存储介质
CN107784114A (zh) * 2017-11-09 2018-03-09 广东欧珀移动通信有限公司 表情图像的推荐方法、装置、终端及存储介质

Also Published As

Publication number Publication date
KR101677426B1 (ko) 2016-11-21
US20180121715A1 (en) 2018-05-03
KR20160118610A (ko) 2016-10-12

Similar Documents

Publication Publication Date Title
WO2016159443A1 (ko) 얼굴 인식 기반 어플리케이션의 피드백 ｕｉ 제공 서비스 방법 및 시스템
WO2019208848A1 (ko) 3차원 안구 움직임 측정 방법 및 전자동 딥러닝 기반 어지럼 진단 시스템
WO2019132168A1 (ko) 수술영상데이터 학습시스템
CN107463888B (zh) 基于多任务学习与深度学习的人脸情绪分析方法及***
WO2018169330A1 (en) Systems and methods for determining defects in visual field of a user
WO2021045367A1 (ko) 상담 대상자의 드로잉 과정을 통해 심리 상태를 판단하는 방법 및 컴퓨터 프로그램
WO2017026850A1 (ko) 신체 및 인지능력 평가를 통한 고령자 맞춤형 ui/ux 출력 방법
CN109086095A (zh) 应用程序快速开启方法、装置、终端及存储介质
CN104973471B (zh) 群管理电梯装置
WO2019172498A1 (ko) 종양의 악성도와 악성도 추론의 근거를 제공하는 컴퓨터 보조 진단 시스템 및 그 방법
CN102890776A (zh) 通过面部表情调取表情图释的方法
WO2019112154A1 (ko) 텍스트-리딩 기반의 리워드형 광고 서비스 제공 방법 및 이를 수행하기 위한 사용자 단말
WO2019190076A1 (ko) 시선 추적 방법 및 이를 수행하기 위한 단말
WO2022039366A1 (ko) 전자 장치 및 그 제어 방법
WO2014185753A1 (ko) 복수의 디바이스를 매칭시키는 방법, 그리고 상기 매칭이 가능하게끔 하여 주는 디바이스 및 서버 시스템
WO2021261688A1 (ko) 감정 표현 영상 생성을 위한 학습 장치 및 방법과 감정 표현 영상 생성 장치 및 방법
CN113435353A (zh) 基于多模态的活体检测方法、装置、电子设备及存储介质
KR101893588B1 (ko) 근태 관리를 포함하는 근무자 관리 기능을 구비한 스마트 티처 시스템 및 그 관리방법
CN113192602A (zh) 一种用于学生心理健康检测的测试***
WO2015080328A1 (ko) 색채도형 심리 진단장치 및 방법
Siby et al. Hand gesture recognition
WO2021107642A2 (ko) 패션 정보 제공 방법, 장치 및 시스템
WO2020138719A1 (ko) 개인 맞춤형 마스크 팩 정보제공 분석 시스템 및 방법
CN113791690A (zh) 一种带有实时情绪识别功能的人机交互公共设备
CN112950413A (zh) 一种楼宇智能管理方法、装置、智能终端及存储介质

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 15887853

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 15563448

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 15887853

Country of ref document: EP

Kind code of ref document: A1