KR20140089183A - 전자 장치에서 헤드 트래킹 기술을 이용하여 제어 서비스를 제공하기 위한 장치 및 방법 - Google Patents

전자 장치에서 헤드 트래킹 기술을 이용하여 제어 서비스를 제공하기 위한 장치 및 방법 Download PDF

Info

Publication number
KR20140089183A
KR20140089183A KR1020130001102A KR20130001102A KR20140089183A KR 20140089183 A KR20140089183 A KR 20140089183A KR 1020130001102 A KR1020130001102 A KR 1020130001102A KR 20130001102 A KR20130001102 A KR 20130001102A KR 20140089183 A KR20140089183 A KR 20140089183A
Authority
KR
South Korea
Prior art keywords
face
electronic device
user
motion
control information
Prior art date
Application number
KR1020130001102A
Other languages
English (en)
Other versions
KR102062310B1 (ko
Inventor
김선화
김경화
김홍일
박미정
유석현
최조아
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020130001102A priority Critical patent/KR102062310B1/ko
Priority to EP14150247.6A priority patent/EP2752733A1/en
Priority to US14/147,839 priority patent/US9791920B2/en
Priority to CN201410005163.9A priority patent/CN103914142B/zh
Publication of KR20140089183A publication Critical patent/KR20140089183A/ko
Application granted granted Critical
Publication of KR102062310B1 publication Critical patent/KR102062310B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04B—TRANSMISSION
    • H04B1/00—Details of transmission systems, not covered by a single one of groups H04B3/00 - H04B13/00; Details of transmission systems not characterised by the medium used for transmission
    • H04B1/38—Transceivers, i.e. devices in which transmitter and receiver form a structural unit and in which at least one part is used for functions of transmitting and receiving
    • H04B1/40—Circuits
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0483—Interaction with page-structured environments, e.g. book metaphor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/0485—Scrolling or panning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/02—Constructional features of telephone sets
    • H04M1/0202—Portable telephone sets, e.g. cordless phones, mobile phones or bar type handsets
    • H04M1/026—Details of the structure or mounting of specific components
    • H04M1/0264—Details of the structure or mounting of specific components for a camera module assembly
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/414—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance
    • H04N21/41407—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance embedded in a portable device, e.g. video client on a mobile phone, PDA, laptop
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42204—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/4223—Cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44213—Monitoring of end-user related data
    • H04N21/44218—Detecting physical presence or behaviour of the user, e.g. using sensors to detect if the user is leaving the room or changes his face expression during a TV program
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/47217—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for controlling playback functions for recorded or on-demand content, e.g. using progress bars, mode or play-point indicators or bookmarks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/478—Supplemental services, e.g. displaying phone caller identification, shopping application
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/441—Acquiring end-user identification, e.g. using personal code sent by the remote control or by inserting a card
    • H04N21/4415—Acquiring end-user identification, e.g. using personal code sent by the remote control or by inserting a card using biometric characteristics of the user, e.g. by voice recognition or fingerprint scanning
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/454—Content or additional data filtering, e.g. blocking advertisements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/47214—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for content reservation or setting reminders; for requesting event notification, e.g. of sport results or stock market
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/478—Supplemental services, e.g. displaying phone caller identification, shopping application
    • H04N21/4782—Web browsing, e.g. WebTV

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Social Psychology (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • User Interface Of Digital Computer (AREA)
  • Telephone Function (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Image Processing (AREA)

Abstract

본 발명은 전자 장치에서 얼굴 움직임 정보를 고려하여 제어 서비스를 제공하기 위한 장치 및 방법에 관한 것이다. 이때, 제어 서비스를 제공하기 위한 방법은, 카메라를 통해 획득한 이미지에서 얼굴 움직임을 검출하는 과정과, 상기 검출한 얼굴 움직임 정보에 매칭된 제어 정보를 확인하는 과정과, 상기 제어 정보에 따라 상기 전자 장치에 대한 제어 서비스를 제공하는 과정을 포함한다.

Description

전자 장치에서 헤드 트래킹 기술을 이용하여 제어 서비스를 제공하기 위한 장치 및 방법{METHOD AND APPARATUS FOR PRIVIDING CONTROL SERVICE USING HEAD TRACKING IN AN ELECTRONIC DEVICE}
본 발명은 전자 장치를 제어하기 위한 장치 및 방법에 관한 것으로서, 특히, 헤드 트래킹(head tracking) 기술을 이용하여 전자 장치를 제어하기 위한 장치 및 방법에 관한 것이다. 여기서, 헤드 트래킹 기술은 사용자의 얼굴 움직임을 추정하는 기술을 나타낸다.
정보통신 기술 및 반도체 기술의 발전으로 휴대용 전자 장치는 음성 통화 서비스뿐만 아니라 데이터 통신 서비스를 이용한 다양한 멀티미디어 서비스를 제공하는 멀티미디어 장치로 발전하고 있다. 예를 들어, 휴대용 전자 장치는 방송 서비스, 무선 인터넷 서비스, 카메라 서비스 및 음악 재생 서비스 등의 다양한 멀티미디어 서비스를 제공할 수 있다.
휴대용 전자 장치는 멀티미디어 서비스를 제공함에 따라 공간 활용도를 개선하여 표시부의 크기를 증가시키기 위해 정보의 입력과 표시를 수행하는 하나의 입출력 장치인 터치 스크린을 사용한다.
휴대용 전자 장치의 사용자는 휴대용 전자 장치를 조작하기 위해 손 또는 터치 펜을 사용해야 한다. 예를 들어, 통화 서비스를 사용하는 경우, 휴대용 전자 장치의 사용자는 터치 스크린에 표시된 키패드의 버튼을 터치하여 전화번호를 입력하고, 통화 아이콘을 터치하여 호 연결을 시도할 수 있다.
상술한 바와 같이 휴대용 전자 장치는 사용자의 손 또는 터치 펜에 의해 수동적으로 조작될 수 있다. 이에 따라, 운전 등과 같이 사용자의 신체가 부자유한 경우, 사용자는 휴대용 전자 장치를 조작할 수 없는 문제점이 있다.
따라서, 본 발명은 전자 장치에서 사용자의 얼굴 움직임 정보를 고려하여 제어 서비스를 제공하기 위한 장치 및 방법을 제공함에 있다.
본 발명은 터치 스크린을 구비하는 전자 장치에서 터치 인터렉션(touch interaction) 없이도 사용자의 얼굴 움직임 정보를 고려하여 제어 서비스를 제공하기 위한 장치 및 방법을 제공함에 있다.
본 발명은 전자 장치에서 사용자의 얼굴 움직임 정보를 고려하여 동영상 재생을 제어하기 위한 장치 및 방법을 제공함에 있다.
본 발명은 전자 장치에서 사용자의 얼굴 움직임 및 눈동자 움직임 정보를 고려하여 동영상 재생을 제어하기 위한 장치 및 방법을 제공함에 있다.
본 발명은 전자 장치에서 사용자의 얼굴 움직임 정보를 고려하여 화면을 스크롤하기 위한 장치 및 방법을 제공함에 있다.
본 발명은 전자 장치에서 사용자의 얼굴 움직임 정보를 고려하여 화면을 패닝(panning)하기 위한 장치 및 방법을 제공함에 있다.
본 발명은 전자 장치에서 사용자의 얼굴 움직임 정보를 고려하여 호 수신 서비스를 제공하기 위한 장치 및 방법을 제공함에 있다.
본 발명은 전자 장치에서 사용자의 얼굴 움직임 정보를 고려하여 전자 책 서비스를 제공하기 위한 장치 및 방법을 제공함에 있다.
본 발명은 전자 장치에서 사용자의 얼굴 움직임 정보를 고려하여 화면 비활성화 모드를 제어하기 위한 장치 및 방법을 제공함에 있다.
본 발명은 전자 장치에서 사용자의 얼굴 움직임 및 눈동자 움직임 정보를 고려하여 화면 비활성화 모드를 제어하기 위한 장치 및 방법을 제공함에 있다.
본 발명의 목적들을 달성하기 위한 본 발명의 제 1 견지에 따르면, 전자 장치에서 제어 서비스를 제공하기 위한 방법은, 카메라를 통해 획득한 이미지에서 얼굴 움직임을 검출하는 과정과, 상기 검출한 얼굴 움직임 정보에 매칭된 제어 정보를 확인하는 과정과, 상기 제어 정보에 따라 상기 전자 장치에 대한 제어 서비스를 제공하는 과정을 포함하며, 상기 얼굴 움직임 정보는, 얼굴의 움직임 거리, 얼굴의 방향, 얼굴의 움직임 속도, 얼굴의 움직임 각도 및 얼굴의 움직임 시간 중 적어도 하나를 포함한다.
본 발명의 제 2 견지에 따르면, 전자 장치는, 적어도 하나의 카메라와, 표시부와, 적어도 하나의 프로세서와, 메모리 및, 상기 메모리에 저장되며, 상기 하나 이상의 프로세서에 의해 구동되는 적어도 하나의 프로그램을 포함하며, 상기 프로그램은, 상기 카메라를 통해 획득한 이미지에서 얼굴 움직임을 검출하고, 상기 검출한 얼굴 움직임 정보에 매칭된 제어 정보를 확인하고, 상기 제어 정보에 따라 상기 전자 장치에 대한 제어 서비스를 제공하며, 상기 얼굴 움직임 정보는, 얼굴의 움직임 거리, 얼굴의 방향, 얼굴의 움직임 속도, 얼굴의 움직임 각도 및 얼굴의 움직임 시간 중 적어도 하나를 포함한다.
상술한 바와 같이 전자 장치에서 사용자의 얼굴 움직임 정보에 따른 제어 서비스를 제공함에 따라, 눈동자의 움직임을 인식할 수 없거나 사용자의 손이 부자유한 상태에서도 전자 장치를 자유롭게 제어할 수 있는 이점이 있다.
도 1은 본 발명에 따른 전자 장치의 블록 구성을 도시하는 도면,
도 2는 본 발명의 실시 에에 따른 프로세서의 상세 블록 구성을 도시하는 도면,
도 3은 본 발명의 실시 예에 따른 전자 장치에서 얼굴 움직임 정보를 고려하여 서비스를 제어하기 위한 절차를 도시하는 도면,
도 4는 본 발명의 다른 실시 예에 따른 전자 장치에서 얼굴 움직임 정보를 고려하여 서비스를 제어하기 위한 절차를 도시하는 도면,
도 5는 본 발명의 실시 예에 따른 전자 장치에서 제어 서비스를 제공하는데 필요한 사용자의 얼굴 움직임을 도시하는 도면,
도 6은 본 발명의 실시 예에 따른 전자 장치에서 얼굴 움직임 정보를 고려하여 동영상 재생을 제어하기 위한 절차를 도시하는 도면,
도 7은 본 발명의 다른 실시 예에 따른 전자 장치에서 얼굴 움직임 정보를 고려하여 동영상 재생을 제어하기 위한 절차를 도시하는 도면,
도 8은 본 발명의 실시 예에 따른 전자 장치에서 얼굴 움직임 정보를 고려하여 동영상 재생을 제어하기 위한 화면 구성을 도시하는 도면,
도 9는 본 발명의 실시 예에 따른 전자 장치에서 얼굴 움직임 정보를 고려하여 화면을 스크롤하기 위한 절차를 도시하는 도면,
도 10은 본 발명의 다른 실시 예에 따른 전자 장치에서 얼굴 움직임 정보를 고려하여 화면을 스크롤하기 위한 절차를 도시하는 도면,
도 11은 본 발명의 실시 예에 따른 전자 장치에서 얼굴 움직임 정보를 고려하여 화면을 스크롤하기 위한 화면 구성을 도시하는 도면,
도 12는 본 발명의 실시 예에 따른 스크롤 변수를 결정하기 위한 사용자의 얼굴 움직임을 도시하는 도면,
도 13은 본 발명의 실시 예에 따른 전자 장치에서 얼굴 움직임 정보를 고려하여 화면을 패닝하기 위한 절차를 도시하는 도면,
도 14는 본 발명의 실시 예에 따른 전자 장치에서 얼굴 움직임 정보를 고려하여 화면을 패닝하기 위한 화면 구성을 도시하는 도면,
도 15는 본 발명의 실시 예에 따른 전자 장치에서 얼굴 움직임 정보를 고려하여 호 수신 서비스를 제어하기 위한 절차를 도시하는 도면,
도 16은 본 발명의 다른 실시 예에 따른 전자 장치에서 얼굴 움직임 정보를 고려하여 호 수신 서비스를 제어하기 위한 절차를 도시하는 도면,
도 17은 본 발명의 실시 예에 따른 전자 장치에서 얼굴 움직임 정보를 고려하여 호 수신 서비스를 제어하기 위한 화면 구성을 도시하는 도면,
도 18은 본 발명의 실시 예에 따른 전자 장치에서 얼굴 움직임 정보를 고려하여 전자 책 서비스를 제어하기 위한 절차를 도시하는 도면,
도 19는 본 발명의 실시 예에 따른 전자 장치에서 얼굴 움직임 정보를 고려하여 전자 책 서비스를 제어하기 위한 화면 구성을 도시하는 도면,
도 20은 본 발명의 실시 예에 따른 전자 장치에서 얼굴 움직임 정보를 고려하여 화면 비활성화 모드를 제어하기 위한 절차를 도시하는 도면, 및
도 21은 본 발명의 실시 예에 따른 전자 장치에서 얼굴 움직임 정보를 고려하여 화면 비활성화 모드를 제어하기 위한 화면 구성을 도시하는 도면,
이하 본 발명의 바람직한 실시 예를 첨부된 도면을 참조하여 상세히 설명한다. 그리고, 본 발명을 설명함에 있어서, 관련된 공지기능 혹은 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단된 경우 그 상세한 설명은 생략한다. 그리고 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
이하 본 발명은 전자 장치에서 얼굴 움직임 정보를 고려하여 제어 서비스를 제공하기 위한 기술에 대해 설명한다.
이하 설명에서 전자 장치는 헤드 트래킹(head tracking) 기술을 이용하여 사용자의 얼굴 움직임을 추정하는 것으로 가정한다.
이하 설명에서 전자 장치는 카메라를 구비하는 이동통신단말기, PDA(Personal Digital Assistant), PC(Personal Computer), 랩탑(Laptop), 스마트폰(Smart Phone), 넷북(Netbook), 텔레비전(Television), 휴대 인터넷 장치(MID: Mobile Internet Device), 울트라 모바일 PC(UMPC: Ultra Mobile PC), 태블릿 PC(Tablet PC), 네비게이션, 스마트 TV 및 MP3 등을 포함한다.
도 1은 본 발명에 따른 전자 장치의 블록 구성을 도시하고 있다.
도 1에 도시된 바와 같이 전자 장치(100)는 메모리(110), 프로세서 유닛(processor unit)(120), 오디오 처리부(130), 카메라부(140), 입출력 제어부(150), 표시부(160) 및 입력 장치(170)를 포함한다. 여기서, 메모리(110)는 다수 개 존재할 수도 있다.
각 구성요소에 대해 살펴보면 다음과 같다.
메모리(110)는 전자장치(100)의 동작을 제어하기 위한 프로그램을 저장하는 프로그램 저장부(111) 및 프로그램 수행 중에 발생되는 데이터를 저장하는 데이터 저장부(112)를 포함한다.
데이터 저장부(112)는 사용자의 얼굴 움직임 정보에 매칭된 제어 기능을 저장한다. 여기서, 얼굴 움직임 정보는 얼굴의 움직임 거리, 얼굴의 방향, 얼굴의 움직임 속도, 얼굴의 움직임 각도, 얼굴의 움직임 시간, 얼굴 인식을 통한 나이 및 사용자 인증 정보 중 적어도 하나를 포함한다.
프로그램 저장부(111)는 그래픽 사용자 인터페이스(GUI: Graphic User Interface) 프로그램(113), 얼굴 인식 프로그램(114), 제어 정보 추출 프로그램(115) 및 적어도 하나의 응용프로그램(116)을 포함한다. 여기서, 프로그램 저장부(111)에 포함되는 프로그램은 명령어들의 집합으로 명령어 세트(instruction set)로 표현할 수도 있다.
GUI 프로그램(113)은 표시부(160) 상에 그래픽으로 사용자 인터페이스를 제공하기 위한 적어도 하나의 소프트웨어 구성요소를 포함한다. 예를 들어, GUI 프로그램(113)은 프로세서(122)에 의해 구동되는 응용프로그램 정보를 표시부(170)에 표시하는 명령어를 포함한다.
얼굴 인식 프로그램(114)은 카메라부(140)를 통해 획득한 사용자의 이미지에서 얼굴 움직임을 추출하기 위한 적어도 하나의 소프트웨어 구성요소를 포함한다. 예를 들어, 얼굴 인식 프로그램(114)은 카메라부(140)를 통해 획득한 사용자의 얼굴 이미지에서 사용자의 눈의 위치를 추정한다. 이후, 얼굴 인식 프로그램(114)은 사용자의 눈의 위치 변화를 고려하여 사용자의 얼굴 움직임을 추정할 수 있다. 다른 예를 들어, 얼굴 인식 프로그램(114)은 카메라부(140)를 통해 획득한 사용자의 얼굴 이미지에서 적어도 하나의 특징점을 추출한다. 이후, 얼굴 인식 프로그램(114)은 얼굴 이미지에 포함된 적어도 하나의 특징점의 변화를 고려하여 사용자의 얼굴 움직임을 추정할 수도 있다. 여기서, 얼굴 움직임은 도 5의 (a)와 같은 얼굴 중심을 좌/우로 이동시키는 동작, 도 5의 (b)와 같은 얼굴 중심을 앞/뒤로 이동시키는 동작, 도 5의 (c)와 같은 얼굴 방향을 좌/우로 변경시키는 동작 및 도 5의 (d)와 같은 얼굴을 앞/뒤로 이동시키는 동작 등을 포함한다.
이때, 얼굴 인식 프로그램(114)은 카메라부(140)를 통해 사용자 얼굴의 일부분만을 획득할 수 있는 경우, 얼굴의 일부분만을 이용하여 전체 얼굴 이미지를 추정할 수 있다. 예를 들어, 얼굴 인식 프로그램(114)은 데이터 저장부(112)에 저장된 사용자의 다른 얼굴 이미지와 카메라부(140)를 통해 획득한 사용자 얼굴의 일부 이미지를 비교하여 전체 얼굴 이미지를 추정할 수 있다. 다른 예를 들어, 얼굴 인식 프로그램(114)은 카메라부(140)를 통해 획득한 사용자 얼굴의 일부 이미지에서 검출한 얼굴 형태 및 크기를 고려하여 전체 얼굴 이미지를 추정할 수도 있다.
추가적으로, 얼굴 인식 프로그램(114)은 카메라부(180)를 통해 획득한 이미지에 대한 얼굴 인식을 통해 사용자 인증 또는 사용자의 연령대를 추정할 수도 있다. 예를 들어, 얼굴 인식 프로그램(114)은 카메라부(140)를 통해 획득한 이미지에 대한 밝기, 움직임, 색상, 눈 위치 등의 정보를 이용하여 얼굴 영역을 추출하고, 얼굴 영역에 포함된 눈, 코, 입과 같은 얼굴의 특징점들을 검출한다. 이후, 얼굴 인식 프로그램(114)은 이미지에 포함된 특징점의 위치, 크기 및 특징점들 사이의 거리와 데이터 저장부(112)에 저장된 기준 이미지 정보와 비교하여 사용자 인증 또는 사용자의 연령대를 추정할 수 있다.
제어 정보 추출 프로그램(115)은 얼굴 인식 프로그램(114)을 통해 인식한 얼굴 움직임 정보에 따른 제어 정보를 추출하기 위한 적어도 하나의 소프트웨어 구성요소를 포함한다. 다시 말해, 제어 정보 추출 프로그램(115)은 데이터 저장부(112)에 저장된 적어도 하나의 제어 정보 중 얼굴 인식 프로그램(114)을 통해 인식한 얼굴 움직임 정보 및 프로세서(122)에서 제공하는 서비스의 종류에 따른 제어 정보를 추출한다. 예를 들어, 프로세서(122)에서 동영상 재생 서비스를 제공하고, 얼굴 인식 프로그램(114)을 통해 인식한 얼굴 움직임이 기준 범위를 벗어난 경우, 제어 정보 추출 프로그램(115)은 데이터 저장부(112)에서 일시 정지 제어 정보를 추출할 수 있다. 만일, 얼굴 인식 프로그램(114)을 통해 다수 개의 얼굴들을 인식한 경우, 제어 정보 추출 프로그램(115)은 다수 개의 얼굴들 중 적어도 하나의 기준 얼굴에 대한 움직임 정보를 고려하여 제어 정보를 추출할 수 있다. 이때, 제어 정보 추출 프로그램(115)은 제어 정보를 추출하는데 사용자의 눈동자 움직임 정보까지도 함께 고려할 수도 있다.
다른 예를 들어, 프로세서(122)에서 전자 책 서비스 또는 인터넷 서비스를 제공하고, 얼굴 인식 프로그램(114)을 통해 인식한 사용자의 시선이 기준 영역을 응시하는 경우, 제어 정보 추출 프로그램(115)은 데이터 저장부(112)에서 사용자의 시선 위치에 따른 화면 스크롤 제어 정보를 추출할 수 있다. 이때, 제어 정보 추출 프로그램(115)은 사용자의 연령대, 얼굴 움직임 속도, 각도, 거리 및 시간 중 적어도 하나를 고려하여 화면 스크롤을 위한 제어 변수를 결정할 수도 있다. 여기서, 스크롤을 위한 제어 변수는, 스크롤 속도, 스크롤 시 화면의 표시 배율 중 적어도 하나를 포함한다.
또 다른 예를 들어, 제어 정보 추출 프로그램(115)은 얼굴 인식 프로그램(114)을 통해 인식한 얼굴 방향에 따라 표시부(160)에 표시된 화면을 패닝하기 위한 제어 정보를 데이터 저장부(112)에서 추출할 수 있다.
또 다른 예를 들어, 프로세서(122)에서 통화 서비스를 제공하는 경우, 제어 정보 추출 프로그램(115)은 얼굴 인식 프로그램(114)을 통해 인식한 얼굴 방향에 따른 호 수신 제어 정보를 데이터 저장부(112)에서 추출할 수 있다. 이때, 제어 정보 추출 프로그램(115)은 얼굴 움직임 속도, 각도, 거리 및 시간 중 적어도 하나를 고려하여 호 수신 방법을 결정할 수도 있다. 여기서, 호 수신 방법은 통화, 거절, 음성 사서함 연결, 미수신 등을 포함한다.
또 다른 예를 들어, 프로세서(122)에서 전자 책 서비스를 제공하는 경우, 제어 정보 추출 프로그램(115)은 얼굴 인식 프로그램(114)을 통해 인식한 얼굴 움직임 정보에 따라 북마크 설정 또는 페이지 전환 등의 제어 정보를 데이터 저장부(112)에서 추출할 수 있다.
또 다른 예를 들어, 얼굴 인식 프로그램(114)을 통해 인식한 얼굴 움직임이 기준 범위를 벗어나지 않는 경우, 제어 정보 추출 프로그램(115)은 데이터 저장부(112)에서 화면 유지 제어 정보를 추출할 수 있다. 만일, 얼굴 인식 프로그램(114)을 통해 다수 개의 얼굴들을 인식한 경우, 제어 정보 추출 프로그램(115)은 다수 개의 얼굴들 중 적어도 하나의 기준 얼굴에 대한 움직임 정보를 고려하여 제어 정보를 추출할 수 있다. 이때, 제어 정보 추출 프로그램(115)은 제어 정보를 추출하는데 사용자의 눈동자 움직임 정보까지도 함께 고려할 수도 있다.
응용프로그램(116)은 전자장치(100)에 설치된 적어도 하나의 응용 프로그램에 대한 소프트웨어 구성 요소를 포함한다.
프로세서 유닛(120)은 메모리 인터페이스(121), 적어도 하나의 프로세서(processor)(122) 및 주변 장치 인터페이스(123)를 포함한다. 여기서, 프로세서 유닛(120)에 포함되는 메모리 인터페이스(121), 적어도 하나의 프로세서(122) 및 주변 인터페이스(123)는 적어도 하나의 집적화된 회로로 집적화되거나 별개의 구성 요소로 구현될 수 있다.
메모리 인터페이스(121)는 프로세서(122) 또는 주변 장치 인터페이스(123)와 같은 구성요소의 메모리(110) 접근을 제어한다.
주변 장치 인터페이스(123)는 전자장치(100)의 입출력 주변 장치와 프로세서(122) 및 메모리 인터페이스(121)의 연결을 제어한다.
프로세서(122)는 적어도 하나의 소프트웨어 프로그램을 사용하여 전자장치(100)가 다양한 멀티미디어 서비스를 제공하도록 제어한다. 이때, 프로세서(122)는 메모리(110)에 저장되어 있는 적어도 하나의 프로그램을 실행하여 해당 프로그램에 대응하는 서비스를 제공한다.
오디오 처리부(130)는 스피커(131) 및 마이크로폰(132)을 통해 사용자와 전자 장치(100) 사이의 오디오 인터페이스를 제공한다.
카메라부(140)는 전자 장치(100)의 전면에 위치하여 피사체에 대한 촬영을 통해 프로세서 유닛(120)으로 수집 영상을 제공한다. 예를 들어, 카메라부(140)는 광학적 신호를 전기적 신호로 변환하는 카메라 센서, 아날로그 영상 신호를 디지털 영상 신호로 변환하는 영상처리장치(Image Signal Processor) 및 영상처리장치에서 출력되는 영상 신호를 표시부(160)에 표시할 수 있도록 영상 처리하는 신호처리장치(Digital Signal Processor) 등을 포함할 수 있다. 여기서, 카메라 센서는 CCD(Chargecoupled Device) 센서 또는 CMOS(Complementary Metal-Oxide Semiconductor) 센서 등이 사용될 수 있고, 신호처리장치는 DSP(Digital Signal Processor)로 구현될 수 있다.
입출력 제어부(150)는 표시부(160) 및 입력 장치(170) 등의 입출력 장치와 주변 장치 인터페이스(123) 사이에 인터페이스를 제공한다.
표시부(160)는 전자장치(100)의 상태 정보, 사용자가 입력하는 문자, 동화상(moving picture) 및 정화상(still picture) 등을 표시한다. 예를 들어, 표시부(160)는 프로세서(122)에 의해 구동되는 응용프로그램 정보를 표시한다.
입력 장치(170)는 사용자의 선택에 의해 발생하는 입력 데이터를 입출력 제어부(150)를 통해 프로세서 유닛(120)으로 제공한다. 이때, 입력 장치(170)는 적어도 하나의 하드웨어 버튼을 포함하는 키패드 및 터치 정보를 감지하는 터치 패드 등을 포함한다. 예를 들어, 입력 장치(170)는 터치 패드를 통해 감지한 터치 정보를 입출력 제어부(150)를 통해 프로세서(122)로 제공한다.
추가적으로, 전자 장치(100)는 전자 장치(100)의 후면에 위치하는 카메라 및 음성 통신 및 데이터 통신을 위한 통신 기능을 수행하는 통신 시스템을 포함할 수도 있다. 이때, 통신 시스템은 서로 다른 통신 네트워크를 지원하는 다수 개의 통신 서브 모듈들로 구분될 수 있다. 예를 들어, 통신 네트워크는 이들에 한정하지는 않지만, GSM(Global System for Mobile Communication) 네트워크, EDGE(Enhanced Data GSM Environment) 네트워크, CDMA(Code Division Multiple Access) 네트워크, W-CDMA(W-Code Division Multiple Access) 네트워크, LTE(Long Term Evolution) 네트워크, OFDMA(Orthogonal Frequency Division Multiple Access) 네트워크, 무선랜, Bluetooth 네트워크 및 NFC(Near Field Communication) 등을 포함한다.
도 2는 본 발명의 실시 예에 따른 프로세서의 상세 블록 구성을 도시하고 있다.
도 2에 도시된 바와 같이 프로세서(122)는 응용프로그램 구동부(200), 얼굴 인식부(210), 제어 정보 추출부(220) 및 표시 제어부(230)를 포함한다.
응용프로그램 구동부(200)는 프로그램 저장부(111)에 저장된 적어도 하나의 응용프로그램(116)을 실행하여 해당 응용프로그램에 따른 서비스를 제공한다. 예를 들어, 응용프로그램 구동부(200)는 프로그램 저장부(111)에 저장된 응용프로그램을 실행하여 동영상을 재생할 수 있다. 다른 예를 들어, 응용프로그램 구동부(200)는 프로그램 저장부(111)에 저장된 응용프로그램을 실행하여 전자 책 서비스를 제공할 수도 있다. 또 다른 예를 들어, 응용프로그램 구동부(200)는 프로그램 저장부(111)에 저장된 응용프로그램을 실행하여 호 수신 서비스를 제공할 수도 있다. 또 다른 예를 들어, 응용프로그램 구동부(200)는 프로그램 저장부(111)에 저장된 응용프로그램을 실행하여 인터넷 서비스를 제공할 수도 있다.
얼굴 인식부(210)는 프로그램 저장부(111)에 저장된 얼굴 인식 프로그램(114)을 실행하여 카메라부(140)를 통해 획득한 사용자의 이미지에서 얼굴 움직임을 추출한다. 예를 들어, 얼굴 인식부(210)는 카메라부(140)를 통해 획득한 사용자의 얼굴 이미지에서 사용자의 눈의 위치를 추정한다. 이후, 얼굴 인식부(210)는 사용자의 눈의 위치 변화를 고려하여 사용자의 얼굴 움직임을 추정할 수 있다. 다른 예를 들어, 얼굴 인식부(210)는 카메라부(140)를 통해 획득한 사용자의 얼굴 이미지에서 적어도 하나의 특징점을 추출한다. 이후, 얼굴 인식부(210)는 얼굴 이미지에 포함된 적어도 하나의 특징점의 변화를 고려하여 사용자의 얼굴 움직임을 추정할 수도 있다.
이때, 얼굴 인식부(210)는 카메라부(140)를 통해 사용자 얼굴의 일부분만을 획득할 수 있는 경우, 얼굴의 일부분만을 이용하여 전체 얼굴 이미지를 추정할 수 있다. 예를 들어, 얼굴 인식부(210)는 데이터 저장부(112)에 저장된 사용자의 다른 얼굴 이미지와 카메라부(140)를 통해 획득한 사용자 얼굴의 일부 이미지를 비교하여 전체 얼굴 이미지를 추정할 수 있다. 다른 예를 들어, 얼굴 인식부(210)는 카메라부(140)를 통해 획득한 사용자 얼굴의 일부 이미지에서 검출한 얼굴 형태 및 크기를 고려하여 전체 얼굴 이미지를 추정할 수도 있다.
추가적으로, 얼굴 인식부(210)는 카메라부(180)를 통해 획득한 이미지에 대한 얼굴 인식을 통해 사용자 인증 또는 사용자의 연령대를 추정할 수도 있다. 예를 들어, 얼굴 인식부(210)는 카메라부(140)를 통해 획득한 이미지에 대한 밝기, 움직임, 색상, 눈 위치 등의 정보를 이용하여 이미지에서 얼굴 영역을 추출하고, 얼굴 영역에 포함된 눈, 코, 입과 같은 얼굴의 특징점들을 검출한다. 이후, 얼굴 인식부(210)는 이미지에 포함된 특징점의 위치, 크기 및 특징점들 사이의 거리와 데이터 저장부(112)에 저장된 기준 이미지 정보와 비교하여 사용자 인증 또는 사용자의 연령대를 추정할 수 있다.
제어 정보 추출부(220)는 프로그램 저장부(111)에 저장된 제어 정보 추출 프로그램(115)을 실행하여 얼굴 인식부(210)에서 인식한 얼굴 움직임 정보에 따른 제어 정보를 추출한다. 다시 말해, 제어 정보 추출부(220)는 데이터 저장부(112)에 저장된 적어도 하나의 제어 정보 중 얼굴 인식부(210)에서 인식한 얼굴 움직임 정보 및 프로세서(122)에서 제공하는 서비스의 종류에 따른 제어 정보를 추출한다. 예를 들어, 응용 프로그램 구동부(200)에서 동영상 재생 서비스를 제공하고, 얼굴 인식부(210)에서 인식한 얼굴 움직임이 기준 범위를 벗어난 경우, 제어 정보 추출부(220)는 데이터 저장부(112)에서 일시 정지 제어 정보를 추출할 수 있다. 만일, 얼굴 인식부(210)에서 다수 개의 얼굴들을 인식한 경우, 제어 정보 추출부(220)는 다수 개의 얼굴들 중 적어도 하나의 기준 얼굴에 대한 움직임 정보를 고려하여 제어 정보를 추출할 수 있다. 이때, 제어 정보 추출부(220)는 제어 정보를 추출하는데 사용자의 눈동자 움직임 정보까지도 함께 고려할 수도 있다.
다른 예를 들어, 응용프로그램 구동부(200)에서 전자 책 서비스 또는 인터넷 서비스를 제공하고, 얼굴 인식부(210)에서 인식한 사용자의 시선이 기준 영역을 응시하는 경우, 제어 정보 추출부(220)는 데이터 저장부(112)에서 사용자의 시선 위치에 따른 화면 스크롤 제어 정보를 추출할 수 있다. 이때, 제어 정보 추출부(220)는 사용자의 연령대, 얼굴 움직임 속도, 각도, 거리 및 시간 중 적어도 하나를 고려하여 화면 스크롤을 위한 제어 변수를 결정할 수도 있다. 여기서, 스크롤을 위한 제어 변수는, 스크롤 속도, 스크롤 시 화면의 표시 배율 중 적어도 하나를 포함한다.
또 다른 예를 들어, 제어 정보 추출부(220)는 얼굴 인식부(210)에서 인식한 얼굴 방향에 따라 표시부(160)에 표시된 화면을 패닝하기 위한 제어 정보를 데이터 저장부(112)에서 추출할 수 있다.
또 다른 예를 들어, 응용 프로그램 구동부(200)에서 통화 서비스를 제공하는 경우, 제어 정보 추출부(220)는 얼굴 인식부(210)를 통해 인식한 얼굴 방향에 따른 호 수신 제어 정보를 데이터 저장부(112)에서 추출할 수 있다. 이때, 제어 정보 추출부(220)는 얼굴 움직임 속도, 각도, 거리 및 시간 중 적어도 하나를 고려하여 호 수신 방법을 결정할 수도 있다. 여기서, 호 수신 방법은 통화, 거절, 음성 사서함 연결, 미수신 등을 포함한다.
또 다른 예를 들어, 응용 프로그램 구동부(200)에서 전자 책 서비스를 제공하는 경우, 제어 정보 추출부(220)는 얼굴 인식부(210)에서 인식한 얼굴 움직임 정보에 따라 북마크 설정 또는 페이지 전환 등의 제어 정보를 데이터 저장부(112)에서 추출할 수 있다.
또 다른 예를 들어, 얼굴 인식부(210)에서 인식한 얼굴 움직임이 기준 범위를 벗어나지 않는 경우, 제어 정보 추출부(220)는 데이터 저장부(112)에서 화면 유지 제어 정보를 추출할 수 있다. 만일, 얼굴 인식부(210)에서 다수 개의 얼굴들을 인식한 경우, 제어 정보 추출 프로그램(115)은 다수 개의 얼굴들 중 적어도 하나의 기준 얼굴에 대한 움직임 정보를 고려하여 제어 정보를 추출할 수 있다. 이때, 제어 정보 추출부(220)는 제어 정보를 추출하는데 사용자의 눈동자 움직임 정보까지도 함께 고려할 수도 있다.
표시 제어부(230)는 프로그램 저장부(111)에 저장된 GUI 프로그램(113)을 실행하여 표시부(160) 상에 그래픽으로 사용자 인터페이스를 표시하도록 제어한다. 예를 들어, 표시 제어부(230)는 응용프로그램 구동부(200)에서 구동되는 응용프로그램 정보를 표시부(170)에 표시하도록 제어한다.
상술한 실시 예에서 전자 장치(100)는 얼굴 인식부(210)와 제어 정보 추출부(220)를 포함하는 프로세서(122)를 이용하여 사용자의 얼굴 움직임에 따라 제어 서비스를 제공한다.
다른 실시 예에서 전자 장치(100)는 사용자의 얼굴 움직임에 따라 제어 서비스를 제공하는 별도의 제어 모듈을 포함할 수도 있다.
도 3은 본 발명의 실시 예에 따른 전자 장치에서 얼굴 움직임 정보를 고려하여 서비스를 제어하기 위한 절차를 도시하고 있다.
도 3을 참조하면 전자 장치는 301단계에서 적어도 하나의 카메라를 통해 획득한 사용자 이미지를 통해 사용자의 얼굴 움직임을 검출한다. 예를 들어, 전자 장치는 카메라부(140)를 통해 획득한 사용자의 얼굴 이미지에서 사용자의 눈의 위치를 추정한다. 이후, 전자 장치는 사용자의 눈의 위치 변화를 고려하여 사용자의 얼굴 움직임을 추정할 수 있다. 다른 예를 들어, 전자 장치는 카메라부(140)를 통해 획득한 사용자의 얼굴 이미지에서 적어도 하나의 특징점을 추출한다. 이후, 전자 장치는 얼굴 이미지에 포함된 적어도 하나의 특징점의 변화를 고려하여 사용자의 얼굴 움직임을 추정할 수도 있다. 이때, 전자 장치는 카메라부(140)를 통해 사용자 얼굴의 일부분만을 획득할 수 있는 경우, 얼굴의 일부분만을 이용하여 전체 얼굴 이미지를 추정하여 얼굴 움직임을 추출할 수도 있다.
이후, 전자 장치는 303단계로 진행하여 얼굴 움직임 정보에 따른 제어 정보를 확인한다. 예를 들어, 전자 장치는 데이터 저장부(112)에 저장된 적어도 하나의 제어 정보 중 얼굴 움직임 정보에 따른 제어 정보를 추출한다. 여기서, 얼굴 움직임 정보는 얼굴의 움직임 거리, 얼굴의 방향, 얼굴의 움직임 속도, 얼굴의 움직임 각도, 얼굴의 움직임 시간, 얼굴 인식을 통한 나이 및 사용자 인증 정보 중 적어도 하나를 포함한다.
얼굴 움직임 정보에 따른 제어 정보를 확인한 후, 전자 장치는 305단계로 진행하여 얼굴 움직임 정보에 따른 제어 정보에 따라 전자 장치의 서비스를 제어한다. 예를 들어, 전자 장치는 얼굴 움직임 정보에 따른 제어 정보에 따라 동영상 재생을 일시 중단시킬 수 있다. 다른 예를 들어, 전자 장치는 얼굴 움직임 정보에 따른 제어 정보에 따라 화면을 자동으로 스크롤할 수도 있다. 또 다른 예를 들어, 전자 장치는 얼굴 움직임 정보에 따른 제어 정보에 따라 전자 책 컨텐츠의 표시 영역을 변경할 수도 있다. 또 다른 예를 들어, 전자 장치는 얼굴 움직임 정보에 따른 제어 정보에 따라 전자 책 컨텐츠에 북마크를 설정할 수도 있다. 또 다른 예를 들어, 전자 장치는 얼굴 움직임 정보에 따른 제어 정보에 따라 호 수신 서비스를 제공할 수도 있다. 또 다른 예를 들어, 전자 장치는 얼굴 움직임 정보에 따른 제어 정보에 따라 화면을 패닝할 수도 있다. 또 다른 예를 들어, 전자 장치는 얼굴 움직임 정보에 따른 제어 정보에 따라 화면 비활성화 모드를 제어할 수도 있다. 여기서, 화면 비활성화 모드는 일정 시간 동안 전자 장치에서 입력 정보를 감지하지 못한 경우, 전력 소모를 줄이기 위해 표시부(160)를 보이지 않도록(screen dim out) 시키는 제어 모드를 나타낸다.
이후, 전자 장치는 본 알고리즘을 종료한다.
도 4는 본 발명의 다른 실시 예에 따른 전자 장치에서 얼굴 움직임 정보를 고려하여 서비스를 제어하기 위한 절차를 도시하고 있다.
도 4를 참조하면 전자 장치는 401단계에서 적어도 하나의 카메라를 통해 획득한 이미지를 통해 얼굴 인식을 수행한다. 예를 들어, 전자 장치는 카메라부(140)를 통해 획득한 이미지에 대한 밝기, 움직임, 색상, 눈 위치 등의 정보를 이용하여 이미지에서 얼굴 영역을 추출하고, 얼굴 영역에 포함된 눈, 코, 입과 같은 얼굴의 특징점들을 검출한다.
이후, 전자 장치는 403단계로 진행하여 얼굴 인식 정보를 통해 전자 장치의 사용자를 인증할 수 있는지 확인한다. 예를 들어, 전자 장치는 카메라부(140)를 통해 획득한 이미지에 포함된 특징점의 위치, 크기 및 특징점들 사이의 거리와 데이터 저장부(112)에 저장된 기준 이미지 정보와 비교하여 사용자를 인증할 수 있는지 확인한다. 여기서, 기준 이미지 정보는 사용자 인증을 위해 기 설정된 적어도 하나의 사용자에 대한 얼굴 이미지를 포함한다.
사용자를 인증할 수 없는 경우, 전자 장치는 얼굴 움직임 정보를 이용하여 제어 서비스를 제공할 수 없는 것으로 인지한다. 이에 따라, 전자 장치는 본 알고리즘을 종료한다. 이때, 전자 장치는 사용자의 인증 절차를 기준 횟수 반복 수행할 수도 있다.
한편, 사용자를 인증한 경우, 전자 장치는 405단계에서 적어도 하나의 카메라를 통해 획득한 사용자 이미지를 통해 사용자의 얼굴 움직임을 검출한다. 예를 들어, 전자 장치는 카메라부(140)를 통해 획득한 사용자의 얼굴 이미지에서 사용자의 눈의 위치를 추정한다. 이후, 전자 장치는 사용자의 눈의 위치 변화를 고려하여 사용자의 얼굴 움직임을 추정할 수 있다. 다른 예를 들어, 전자 장치는 카메라부(140)를 통해 획득한 사용자의 얼굴 이미지에서 적어도 하나의 특징점을 추출한다. 이후, 전자 장치는 얼굴 이미지에 포함된 적어도 하나의 특징점의 변화를 고려하여 사용자의 얼굴 움직임을 추정할 수도 있다. 이때, 전자 장치는 카메라부(140)를 통해 사용자 얼굴의 일부분만을 획득할 수 있는 경우, 얼굴의 일부분만을 이용하여 전체 얼굴 이미지를 추정하여 얼굴 움직임을 추출할 수도 있다.
이후, 전자 장치는 407단계로 진행하여 얼굴 움직임 정보에 따른 제어 정보를 확인한다. 예를 들어, 전자 장치는 데이터 저장부(112)에 저장된 적어도 하나의 제어 정보 중 얼굴 움직임 정보에 따른 제어 정보를 추출한다. 여기서, 얼굴 움직임 정보는 얼굴의 움직임 거리, 얼굴의 방향, 얼굴의 움직임 속도, 얼굴의 움직임 각도, 얼굴의 움직임 시간, 얼굴 인식을 통한 나이 및 사용자 인증 정보 중 적어도 하나를 포함한다.
얼굴 움직임 정보에 따른 제어 정보를 확인한 후, 전자 장치는 409단계로 진행하여 얼굴 움직임 정보에 따른 제어 정보에 따라 전자 장치의 서비스를 제어한다.
이후, 전자 장치는 본 알고리즘을 종료한다.
이하 설명은 전자 장치에서 얼굴 움직임 정보를 고려하여 제어 서비스를 제공하기 위한 실시 예에 대해 설명한다.
도 6은 본 발명의 실시 예에 따른 전자 장치에서 얼굴 움직임 정보를 고려하여 동영상 재생을 제어하기 위한 절차를 도시하고 있다.
도 6을 참조하면 전자 장치는 601단계에서 동영상 재생 서비스를 제공한다. 예를 들어, 전자 장치는 입력 장치(170)를 통해 제공받은 터치 정보에 따라 선택된 동영상 파일을 재생한다. 즉, 전자 장치는 동영상의 재생 정보를 표시부(160)에 표시한다.
이후, 전자 장치는 603단계로 진행하여 카메라를 구동시킨다. 예를 들어, 전자 장치는 동영상 재생 중 사용자의 얼굴 움직임을 추출하기 위해 재생 중인 동영상이 표시되는 표시부(160)와 동일한 방향에 위치한 카메라부(140)를 활성화한다.
카메라를 구동시킨 후, 전자 장치는 605단계로 진행하여 카메라를 통해 획득한 사용자의 얼굴 이미지를 이용하여 사용자의 얼굴 움직임을 검출한다. 예를 들어, 전자 장치는 카메라부(140)를 통해 획득한 사용자의 얼굴 이미지에서 사용자의 눈의 위치를 추정한다. 이후, 전자 장치는 사용자의 눈의 위치 변화를 고려하여 사용자의 얼굴 움직임을 추정할 수 있다. 다른 예를 들어, 전자 장치는 카메라부(140)를 통해 획득한 사용자의 얼굴 이미지에서 적어도 하나의 특징점을 추출한다. 이후, 전자 장치는 얼굴 이미지에 포함된 적어도 하나의 특징점의 변화를 고려하여 사용자의 얼굴 움직임을 추정할 수도 있다. 이때, 전자 장치는 카메라부(140)를 통해 사용자 얼굴의 일부분만을 획득할 수 있는 경우, 얼굴의 일부분만을 이용하여 전체 얼굴 이미지를 추정하여 얼굴 움직임을 추출할 수도 있다.
이후, 전자 장치는 607단계로 진행하여 얼굴 방향이 기준 범위를 초과하는지 확인한다. 즉, 전자 장치는 얼굴의 각도를 추정하여 얼굴의 방향이 표시부(160)의 표시 영역을 벗어나는지 확인한다.
얼굴 방향이 기준 범위를 초과하지 않는 경우, 전자 장치는 사용자의 얼굴의 방향이 표시부(160)의 표시 영역 내에 위치하는 것으로 인식한다. 즉, 전자 장치는 도 8의 (a)에 도시된 바와 같이 사용자가 동영상을 감상하는 것으로 인식한다. 이에 따라, 전자 장치는 605단계로 진행하여 카메라를 통해 획득한 사용자의 얼굴 이미지를 이용하여 사용자의 얼굴 움직임을 검출한다. 이때, 전자 장치는 동영상 재생 상태를 유지한다.
한편, 얼굴 방향이 기준 범위를 초과한 경우, 전자 장치는 사용자의 얼굴의 방향이 표시부(160)의 표시 영역을 벗어난 것으로 인식한다. 즉, 전자 장치는 도 8의 (b)에 도시된 바와 같이 사용자가 동영상을 감상하지 않는 것으로 인식한다. 이에 따라, 전자 장치는 609단계로 진행하여 동영상 재생을 일시 정지한다.
추가적으로, 전자 장치는 611단계로 진행하여 카메라를 통해 획득한 사용자의 얼굴 이미지를 이용하여 사용자의 얼굴 움직임을 검출한다. 이때, 전자 장치는 화면 비활성화 시간을 확인하기 위한 타이머의 구동 시간이 만료되기 전까지 사용자의 얼굴 움직임을 검출할 수 있다. 여기서, 타이머는 동영상 재생을 일시 정지하는 시점에 활성화된다.
이후, 전자 장치는 613단계로 진행하여 얼굴 방향이 기준 범위 내에 위치하는지 확인한다. 즉, 전자 장치는 얼굴의 방향이 표시부(160)의 표시 영역 내에 위치하는지 확인한다.
얼굴 방향이 기준 범위를 초과한 경우, 전자 장치는 사용자의 얼굴의 방향이 표시부(160)의 표시 영역을 벗어난 것으로 인식한다. 이에 따라, 전자 장치는 611단계로 진행하여 카메라를 통해 획득한 사용자의 얼굴 이미지를 이용하여 사용자의 얼굴 움직임을 검출한다. 이때, 전자 장치는 동영상 재생의 일시 정지 상태를 유지한다.
한편, 얼굴 방향이 기준 범위 내에 위치한 경우, 전자 장치는 사용자의 얼굴의 방향이 표시부(160)의 표시 영역 내에 위치하는 것으로 인식한다. 이에 따라, 전자 장치는 615단계로 진행하여 동영상을 재생시킨다. 즉, 전자 장치는 609단계에서 동영상 재생을 일시 정지시킨 재생시점부터 동영상을 재생한다.
이후, 전자 장치는 617단계로 진행하여 동영상 재생이 종료되는지 확인한다.
동영상 재생이 종료되지 않은 경우, 전자 장치는 605단계로 진행하여 카메라를 통해 획득한 사용자의 얼굴 이미지를 이용하여 사용자의 얼굴 움직임을 검출한다.
한편, 동영상 재생이 종료된 경우, 전자 장치는 본 알고리즘을 종료한다.
상술한 실시 예에서 전자 장치는 사용자의 얼굴 방향이 기준 범위를 벗어난 경우, 동영상 재생을 일시 정지한다. 이때, 전자 장치는 사용자의 얼굴 방향이 기준 범위를 벗어난 시간이 기준 시간을 초과하는 경우, 동영상 재생을 일시 정지시킬 수도 있다.
다른 실시 예에서 전자 장치는 사용자의 얼굴 움직임 및 눈동자 움직임을 함께 고려하여 동영상 재생을 일시 정지시킬 수도 있다. 예를 들어, 사용자의 얼굴 움직임 및 눈동자 움직임을 함께 고려하여 사용자가 표시부(160)의 표시 영역을 응시하지 않는 것으로 인식될 경우, 전자 장치는 동영상 재생을 일시 정지시킬 수 있다.
도 7은 본 발명의 다른 실시 예에 따른 전자 장치에서 얼굴 움직임 정보를 고려하여 동영상 재생을 제어하기 위한 절차를 도시하고 있다.
도 7을 참조하면 전자 장치는 701단계에서 동영상 재생 서비스를 제공한다. 예를 들어, 전자 장치는 입력 장치(170)를 통해 제공받은 터치 정보에 따라 선택된 동영상 파일을 재생한다. 즉, 전자 장치는 동영상의 재생 정보를 표시부(160)에 표시한다.
이후, 전자 장치는 703단계로 진행하여 카메라를 구동시킨다. 예를 들어, 전자 장치는 동영상 재생 중 사용자의 얼굴 움직임을 추출하기 위해 재생 중인 동영상이 표시되는 표시부(160)와 동일한 방향에 위치한 카메라부(140)를 활성화한다.
카메라를 구동시킨 후, 전자 장치는 705단계로 진행하여 카메라를 통해 획득한 이미지에서 다수 개의 얼굴들이 인식되는지 확인한다.
다수 개의 얼굴들이 인식된 경우, 전자 장치는 707단계로 진행하여 다수 개의 얼굴들 중 어느 하나의 얼굴을 기준 얼굴로 설정한다. 예를 들어, 아기의 얼굴과 엄마의 얼굴이 인식된 경우, 전자 장치는 엄마의 얼굴을 기준 얼굴로 설정할 수 있다. 다른 예를 들어, 비슷한 연령대의 다수 개의 얼굴들이 인식된 경우, 전자 장치는 전자 장치에 기 설정된 얼굴을 기준 얼굴로 설정할 수도 있다. 또 다른 예를 들어, 비슷한 연령대의 다수 개의 얼굴들이 인식된 경우, 전자 장치는 기준 얼굴 선택 팝업창을 표시하고, 팝업창에서 선택된 얼굴을 기준 얼굴로 설정할 수도 있다.
기준 얼굴을 설정한 후, 전자 장치는 709단계로 진행하여 카메라를 통해 획득한 이미지를 이용하여 기준 얼굴의 움직임을 검출한다.
이후, 전자 장치는 711단계로 진행하여 기준 얼굴의 방향이 기준 범위를 초과하는지 확인한다. 즉, 전자 장치는 기준 얼굴의 각도를 추정하여 기준 얼굴의 방향이 표시부(160)의 표시 영역을 벗어나는지 확인한다.
기준 얼굴의 방향이 기준 범위를 초과하지 않는 경우, 전자 장치는 기준 얼굴의 방향이 표시부(160)의 표시 영역 내에 위치하는 것으로 인식한다. 즉, 전자 장치는 도 8의 (a)에 도시된 바와 같이 기준 얼굴의 사용자가 동영상을 감상하는 것으로 인식한다. 이에 따라, 전자 장치는 709단계로 진행하여 카메라를 통해 획득한 기준 얼굴의 움직임을 검출한다. 이때, 전자 장치는 동영상 재생 상태를 유지한다.
한편, 기준 얼굴의 방향이 기준 범위를 초과한 경우, 전자 장치는 기준 얼굴의 방향이 표시부(160)의 표시 영역을 벗어난 것으로 인식한다. 즉, 전자 장치는 도 8의 (b)에 도시된 바와 같이 기준 얼굴의 사용자가 동영상을 감상하지 않는 것으로 인식한다. 이에 따라, 전자 장치는 713단계로 진행하여 동영상 재생을 일시 정지한다.
추가적으로, 전자 장치는 715단계로 진행하여 카메라를 통해 획득한 이미지를 이용하여 기준 얼굴의 움직임을 검출한다. 이때, 전자 장치는 화면의 비활성화 시간을 확인하기 위한 타이머의 구동 시간이 만료되기 전까지 기준 얼굴의 움직임을 검출할 수 있다. 여기서, 타이머는 동영상 재생을 일시 정지하는 시점에 활성화된다.
이후, 전자 장치는 717단계로 진행하여 기준 얼굴의 방향이 기준 범위 내에 위치하는지 확인한다. 즉, 전자 장치는 기준 얼굴의 방향이 표시부(160)의 표시 영역 내에 위치하는지 확인한다.
기준 얼굴의 방향이 기준 범위를 초과한 경우, 전자 장치는 기준 얼굴의 방향이 표시부(160)의 표시 영역을 벗어난 것으로 인식한다. 이에 따라, 전자 장치는 715단계로 진행하여 카메라를 통해 획득한 이미지를 이용하여 기준 얼굴의 움직임을 검출한다. 이때, 전자 장치는 동영상 재생의 일시 정지 상태를 유지한다.
한편, 기준 얼굴의 방향이 기준 범위 내에 위치한 경우, 전자 장치는 기준 얼굴의 방향이 표시부(160)의 표시 영역 내에 위치하는 것으로 인식한다. 이에 따라, 전자 장치는 719단계로 진행하여 동영상을 재생시킨다. 즉, 전자 장치는 713단계에서 동영상 재생을 일시 정지시킨 재생시점부터 동영상을 재생한다.
이후, 전자 장치는 721단계로 진행하여 동영상 재생이 종료되는지 확인한다.
한편, 705단계에서 하나의 얼굴만을 인식한 경우, 전자 장치는 723단계로 진행하여 카메라를 통해 획득한 이미지를 이용하여 사용자의 얼굴 움직임을 검출한다.
이후, 전자 장치는 725단계로 진행하여 얼굴 방향이 기준 범위를 초과하는지 확인한다. 즉, 전자 장치는 얼굴의 각도를 추정하여 얼굴의 방향이 표시부(160)의 표시 영역을 벗어나는지 확인한다.
얼굴 방향이 기준 범위를 초과하지 않는 경우, 전자 장치는 사용자의 얼굴의 방향이 표시부(160)의 표시 영역 내에 위치하는 것으로 인식한다. 즉, 전자 장치는 도 8의 (a)에 도시된 바와 같이 사용자가 동영상을 감상하는 것으로 인식한다. 이에 따라, 전자 장치는 723단계로 진행하여 카메라를 통해 획득한 사용자의 얼굴 이미지를 이용하여 사용자의 얼굴 움직임을 검출한다. 이때, 전자 장치는 동영상 재생 상태를 유지한다.
한편, 얼굴 방향이 기준 범위를 초과한 경우, 전자 장치는 사용자의 얼굴의 방향이 표시부(160)의 표시 영역을 벗어난 것으로 인식한다. 즉, 전자 장치는 도 8의 (b)에 도시된 바와 같이 사용자가 동영상을 감상하지 않는 것으로 인식한다. 이에 따라, 전자 장치는 727단계로 진행하여 동영상 재생을 일시 정지한다.
추가적으로, 전자 장치는 729단계로 진행하여 카메라를 통해 획득한 사용자의 얼굴 이미지를 이용하여 사용자의 얼굴 움직임을 검출한다. 이때, 전자 장치는 화면의 비활성화 시간을 확인하기 위한 타이머의 구동 시간이 만료되기 전까지 사용자의 얼굴 움직임을 검출할 수 있다. 여기서, 타이머는 동영상 재생을 일시 정지하는 시점에 활성화된다.
이후, 전자 장치는 731단계로 진행하여 얼굴 방향이 기준 범위 내에 위치하는지 확인한다. 즉, 전자 장치는 얼굴의 방향이 표시부(160)의 표시 영역 내에 위치하는지 확인한다.
얼굴 방향이 기준 범위를 초과한 경우, 전자 장치는 사용자의 얼굴의 방향이 표시부(160)의 표시 영역을 벗어난 것으로 인식한다. 이에 따라, 전자 장치는 729단계로 진행하여 카메라를 통해 획득한 사용자의 얼굴 이미지를 이용하여 사용자의 얼굴 움직임을 검출한다. 이때, 전자 장치는 동영상 재생의 일시 정지 상태를 유지한다.
한편, 얼굴 방향이 기준 범위보다 작거나 같은 경우, 전자 장치는 사용자의 얼굴의 방향이 표시부(160)의 표시 영역 내에 위치하는 것으로 인식한다. 이에 따라, 전자 장치는 733단계로 진행하여 동영상을 재생시킨다. 즉, 전자 장치는 727단계에서 동영상 재생을 일시 정지시킨 재생시점부터 동영상을 재생한다.
이후, 전자 장치는 721단계로 진행하여 동영상 재생이 종료되는지 확인한다.
동영상 재생이 종료되지 않은 경우, 전자 장치는 707단계 또는 723단계로 ㅈ진행하여 카메라를 통해 획득한 이미지를 이용하여 얼굴 움직임을 검출한다.
한편, 동영상 재생이 종료된 경우, 전자 장치는 본 알고리즘을 종료한다.
상술한 실시 예에서 전자 장치는 얼굴의 방향이 기준 범위를 벗어난 경우, 동영상 재생을 일시 정지한다. 이때, 전자 장치는 얼굴 방향이 기준 범위를 벗어난 시간이 기준 시간을 초과하는 경우, 동영상 재생을 일시 정지시킬 수도 있다.
다른 실시 예에서 전자 장치는 사용자의 얼굴 움직임 및 눈동자 움직임을 함께 고려하여 동영상 재생을 일시 정지시킬 수도 있다. 예를 들어, 사용자의 얼굴 움직임 및 눈동자 움직임을 함께 고려하여 사용자가 표시부(160)의 표시 영역을 응시하지 않는 것으로 인식될 경우, 전자 장치는 동영상 재생을 일시 정지시킬 수 있다.
도 9는 본 발명의 실시 예에 따른 전자 장치에서 얼굴 움직임 정보를 고려하여 화면을 스크롤하기 위한 절차를 도시하고 있다.
도 9를 참조하면 전자 장치는 901단계에서 제 1 응용프로그램을 구동하여 제 1 응용프로그램에 따른 서비스를 제공한다. 예를 들어, 전자 장치는 스크롤 기능을 지원하는 서비스를 제공한다.
스크롤 기능을 지원하는 서비스를 제공하는 경우, 전자 장치는 903단계로 진행하여 카메라를 구동한다. 예를 들어, 전자 장치는 제 1 응용프로그램에 따른 서비스 화면이 표시되는 표시부(160)와 동일한 방향에 위치한 카메라부(140)를 활성화한다.
카메라를 구동시킨 후, 전자 장치는 905단계로 진행하여 카메라를 통해 획득한 이미지를 이용하여 사용자의 얼굴 움직임을 검출하여 사용자의 제 1 시선 위치를 추정한다. 예를 들어, 전자 장치는 카메라를 통해 획득한 이미지에서 사용자의 눈 또는 눈의 위치를 검출한다. 이후, 전자 장치는 카메라의 화각이 이루는 프레임에서 사용자 눈의 상대적인 위치를 검출한다.
사용자의 제 1 시선 위치 추정한 후, 전자 장치는 907단계로 진행하여 사용자의 제 1 시선 위치를 고려하여 기준 좌표를 결정한다. 예를 들어, 전자 장치는 사용자 눈이 제 1 시선 위치에 기준 시간 이상 고정된 경우, 제 1 시선 위치의 좌표를 기준 좌표로 설정한다.
이후, 전자 장치는 909단계로 진행하여 사용자의 시선이 변경되는지 확인한다. 예를 들어, 전자 장치는 사용자 눈의 위치가 기준 좌표를 벗어나는지 확인한다. 이때, 전자 장치는 사용자의 시선이 기준 좌표를 중심으로 기준 범위를 벗어나는지 확인한다.
사용자의 시선이 기준 좌표를 벗어난 경우, 전자 장치는 사용자의 시선이 변경된 것으로 인식한다. 이에 따라, 전자 장치는 911단계로 진행하여 사용자의 시선 변경 방향에 따라 화면을 스크롤한다. 예를 들어, 도 11의 (a)에 도시된 바와 같이 사용자의 시선이 기준 좌표보다 위로 이동한 경우, 전자 장치는 사용자가 윗부분의 서비스 내용을 확인하려는 것으로 인식한다. 이에 따라, 전자 장치는 도 11의 (b)에 도시된 바와 같이 서비스 화면을 스크롤 다운할 수 있다. 다른 예를 들어, 사용자의 시선이 기준 좌표보다 아래로 이동한 경우, 전자 장치는 사용자가 아랫부분의 서비스 내용을 확인하려는 것으로 인식한다. 이에 따라, 전자 장치는 서비스 화면을 스크롤 업할 수 있다. 또 다른 예를 들어, 사용자의 시선이 기준 좌표보다 우측으로 이동한 경우, 전자 장치는 사용자가 좌측부분의 서비스 내용을 확인하려는 것으로 인식한다. 이에 따라, 전자 장치는 서비스 화면을 좌측으로 스크롤할 수 있다. 또 다른 예를 들어, 사용자의 시선이 기준 좌표보다 좌측으로 이동한 경우, 전자 장치는 사용자가 우측부분의 서비스 내용을 확인하려는 것으로 인식한다. 이에 따라, 전자 장치는 서비스 화면을 우측으로 스크롤할 수 있다.
이후, 전자 장치는 913단계로 진행하여 스크롤 정지 이벤트가 발생하는지 확인한다. 예를 들어, 전자 장치는 911단계에서의 사용자 시선의 변경 방향과 다른 방향으로 사용자의 시선이 변경되는지 확인한다.
사용자의 시선이 변경되지 않거나, 911단계에서의 사용자 시선의 변경 방향과 동일한 방향으로의 변경이 감지된 경우, 전자 장치는 스크롤 정지 이벤트가 발생하지 않은 것으로 인식한다. 이에 따라, 전자 장치는 911단계로 진행하여 사용자의 시선 변경 방향에 따라 화면을 스크롤한다. 예를 들어, 사용자의 시선이 기준 좌표보다 위로 이동한 경우, 전자 장치는 도 11의 (b)에 도시된 바와 같이 서비스 화면을 스크롤 다운한다. 만일, 도 11의 (c)에 도시된 바와 같이 사용자의 시선이 고정된 경우, 전자 장치는 서비스 화면의 스크롤 다운을 유지한다.
911단계에서의 사용자 시선의 변경 방향과 다른 방향으로 사용자의 시선 변경된 경우, 전자 장치는 스크롤 정지 이벤트가 발생한 것으로 인식한다. 이에 따라, 전자 장치는 915단계로 진행하여 화면 스크롤를 정지한다. 예를 들어, 사용자의 시선이 기준 좌표보다 위로 이동한 경우, 전자 장치는 도 11의 (b)에 도시된 바와 같이 서비스 화면을 스크롤 다운한다. 만일, 도 11의 (d)에 도시된 바와 같이 사용자의 시선이 아래로 이동한 경우, 전자 장치는 서비스 화면의 스크롤을 종료한다.
이후, 전자 장치는 본 알고리즘을 종료한다.
상술한 실시 예에서 전자 장치는 사용자의 시선 방향과 반대 방향으로 화면 스크롤을 수행한다.
다른 실시 예에서 전자 장치는 사용자의 시선 방향과 동일한 방향으로 화면 스크롤을 수행할 수도 있다. 예를 들어, 사용자의 시선이 기준 좌표보다 위로 이동한 경우, 전자 장치는 사용자의 시선 방향에 따라 서비스 화면을 스크롤 업할 수 있다. 다른 예를 들어, 사용자의 시선이 기준 좌표보다 아래로 이동한 경우, 전자 장치는 서비스 화면을 스크롤 다운할 수 있다. 또 다른 예를 들어, 사용자의 시선이 기준 좌표보다 우측으로 이동한 경우, 전자 장치는 서비스 화면을 우측으로 스크롤할 수 있다. 또 다른 예를 들어, 사용자의 시선이 기준 좌표보다 좌측으로 이동한 경우, 전자 장치는 서비스 화면을 좌측으로 스크롤할 수 있다.
도 10은 본 발명의 다른 실시 예에 따른 전자 장치에서 얼굴 움직임 정보를 고려하여 화면을 스크롤하기 위한 절차를 도시하고 있다.
도 10을 참조하면 전자 장치는 1001단계에서 제 1 응용프로그램을 구동하여 제 1 응용프로그램에 따른 서비스를 제공한다. 예를 들어, 전자 장치는 스크롤 기능을 지원하는 서비스를 제공한다.
스크롤 기능을 지원하는 서비스를 제공하는 경우, 전자 장치는 1003단계로 진행하여 카메라를 구동한다. 예를 들어, 전자 장치는 제 1 응용프로그램에 따른 서비스 화면이 표시되는 표시부(160)와 동일한 방향에 위치한 카메라부(140)를 활성화한다.
카메라를 구동시킨 후, 전자 장치는 1005단계로 진행하여 카메라를 통해 획득한 이미지를 이용하여 사용자의 얼굴 움직임을 검출하여 사용자의 제 1 시선 위치를 추정한다. 예를 들어, 전자 장치는 카메라를 통해 획득한 이미지에서 사용자의 눈 또는 눈의 위치를 검출한다. 이후, 전자 장치는 카메라의 화각이 이루는 프레임에서 사용자 눈의 상대적인 위치를 검출한다.
사용자의 제 1 시선 위치 추정한 후, 전자 장치는 1007단계로 진행하여 사용자의 제 1 시선 위치를 고려하여 기준 좌표를 결정한다. 예를 들어, 전자 장치는 사용자 눈이 제 1 시선 위치에 기준 시간 이상 고정된 경우, 제 1 시선 위치의 좌표를 기준 좌표로 설정한다.
이후, 전자 장치는 1009단계로 진행하여 사용자의 시선이 변경되는지 확인한다. 예를 들어, 전자 장치는 사용자 눈의 위치가 기준 좌표를 벗어나는지 확인한다. 이때, 전자 장치는 사용자의 시선이 기준 좌표를 중심으로 기준 범위를 벗어나는지 확인한다.
사용자의 시선이 기준 좌표를 벗어난 경우, 전자 장치는 사용자의 시선이 변경된 것으로 인식한다. 이에 따라, 전자 장치는 1011단계로 진행하여 사용자의 얼굴 움직임 정보를 고려하여 스크롤 변수를 결정한다. 예를 들어, 도 12의 (a)에 도시된 바와 같이 사용자의 얼굴 방향이 좌 또는 우로 변경된 경우, 전자 장치는 얼굴 변경 각도(1201, 1203, 1205, 1207, 1209, 1211)를 고려하여 스크롤 속도를 결정할 수 있다. 다른 예를 들어, 도 12의 (b)에 도시된 바와 같이 사용자의 얼굴 중심이 앞 또는 뒤로 변경된 경우 전자 장치는 얼굴 변경 각도(1221, 1223, 1225, 1227, 1229, 1231)를 고려하여 스크롤 속도를 결정할 수도 있다. 또 다른 예를 들어, 전자 장치는 사용자 얼굴의 움직임 속도를 고려하여 스크롤 속도를 결정할 수도 있다.
스크롤 변수를 결정한 후, 전자 장치는 1013단계로 진행하여 사용자의 시선 변경 방향 및 스크롤 변수에 따라 화면을 스크롤한다. 추가적으로, 사용자의 시선이 고정된 경우, 전자 장치는 사용자의 시선이 고정된 시간 정보에 비례하게 스크롤 속도를 변경할 수도 있다.
이후, 전자 장치는 1015단계로 진행하여 스크롤 정지 이벤트가 발생하는지 확인한다. 예를 들어, 전자 장치는 1013단계에서의 사용자 시선의 변경 방향과 다른 방향으로 사용자의 시선이 변경되는지 확인한다.
사용자의 시선이 변경되지 않거나, 1013단계에서의 사용자 시선의 변경 방향과 동일한 방향으로의 변경이 감지된 경우, 전자 장치는 스크롤 정지 이벤트가 발생하지 않은 것으로 인식한다. 이에 따라, 전자 장치는 1013단계로 진행하여 사용자의 시선 변경 방향에 따라 화면을 스크롤한다. 예를 들어, 사용자의 시선이 기준 좌표보다 위로 이동한 경우, 전자 장치는 도 11의 (b)에 도시된 바와 같이 서비스 화면을 스크롤 다운한다. 만일, 도 11의 (c)에 도시된 바와 같이 사용자의 시선이 고정된 경우, 전자 장치는 서비스 화면의 스크롤 다운을 유지한다.
1013단계에서의 사용자 시선의 변경 방향과 다른 방향으로 사용자의 시선 변경된 경우, 전자 장치는 스크롤 정지 이벤트가 발생한 것으로 인식한다. 이에 따라, 전자 장치는 1017단계로 진행하여 화면 스크롤를 정지한다. 예를 들어, 사용자의 시선이 기준 좌표보다 위로 이동한 경우, 전자 장치는 도 11의 (b)에 도시된 바와 같이 서비스 화면을 스크롤 다운한다. 만일, 도 11의 (d)에 도시된 바와 같이 사용자의 시선이 아래로 이동한 경우, 전자 장치는 서비스 화면의 스크롤을 종료한다.
이후, 전자 장치는 본 알고리즘을 종료한다.
상술한 실시 예에 전자 장치는 응용프로그램 구동 후 사용자의 시선이 기준 시간동안 고정된 좌표를 스크롤를 위한 기준 좌표로 설정한다.
다른 실시 예에서 전자 장치는 기 설정된 기준 좌표를 사용할 수 있다. 이 경우, 전자 장치는 사용자의 시선이 기준 좌표를 벗어난 후 기준 시간 동안 고정된 경우, 사용자의 시선 방향 및 얼굴 움직임 정보 중 적어도 하나를 고려하여 스크롤을 수행할 수도 있다.
추가적으로, 전자 장치는 얼굴 인식을 통해 확인된 사용자의 연령대를 고려하여 스크롤 속도 및 서비스 화면의 표시 배율을 제어할 수도 있다.
도 13은 본 발명의 실시 예에 따른 전자 장치에서 얼굴 움직임 정보를 고려하여 화면을 패닝하기 위한 절차를 도시하고 있다.
도 13를 참조하면 전자 장치는 1301단계에서 서비스 화면을 표시부(160)에 표시한다.
이후, 전자 장치는 1303단계로 진행하여 카메라를 구동한다. 예를 들어, 전자 장치는 서비스 화면이 표시된 표시부(160)와 동일한 방향에 위치한 카메라부(140)를 활성화한다.
카메라를 구동시킨 후, 전자 장치는 1305단계로 진행하여 카메라를 통해 획득한 이미지를 이용하여 사용자의 얼굴 움직임이 검출되는지 확인한다. 이때, 전자 장치는 카메라를 구동하여 처음 검출한 사용자의 얼굴 방향을 기준으로 기준 범위 이상으로 얼굴의 움직임이 검출되는지 확인할 수 있다. 예를 들어, 전자 장치는 카메라부(140)를 통해 획득한 사용자의 얼굴 이미지에서 사용자의 눈의 위치를 추정한다. 이후, 전자 장치는 사용자의 눈의 위치 변화가 감지되는지 확인한다. 다른 예를 들어, 전자 장치는 카메라부(140)를 통해 획득한 사용자의 얼굴 이미지에서 적어도 하나의 특징점을 추출한다. 이후, 전자 장치는 얼굴 이미지에 포함된 적어도 하나의 특징점의 변화가 감지되는지 확인할 수도 있다.
사용자의 얼굴 움직임이 검출된 경우, 전자 장치는 1307단계로 진행하여 사용자의 얼굴 움직임 정보를 고려하여 서비스 화면을 패닝한다. 예를 들어, 사용자의 얼굴이 윗쪽으로 이동한 경우, 전자 장치는 도 14의 (a)에 도시된 바와 같이 서비스 화면을 아래쪽으로 패닝할 수 있다. 다른 예를 들어, 사용자의 얼굴이 좌측 방향으로 이동한 경우, 전자 장치는 도 14의 (b)에 도시된 바와 같이 서비스 화면을 오른쪽으로 패닝할 수 있다. 다른 예를 들어, 사용자의 얼굴이 우측 방향으로 이동한 경우, 전자 장치는 도 14의 (c)에 도시된 바와 같이 서비스 화면을 왼쪽으로 패닝할 수 있다.
이후, 전자 장치는 본 알고리즘을 종료한다.
추가적으로, 전자 장치는 서비스 화면의 패닝 시, 사용자와 전자장치의 거리 변화를 고려하여 서비스 화면의 표시 배율을 변경할 수도 있다.
도 15는 본 발명의 실시 예에 따른 전자 장치에서 얼굴 움직임 정보를 고려하여 호 수신 서비스를 제어하기 위한 절차를 도시하고 있다.
도 15를 참조하면 전자 장치는 1501단계에서 호가 수신되는지 확인한다.
호가 수신된 경우, 전자 장치는 1503단계로 진행하여 카메라를 구동시킨다. 예를 들어, 호가 수신된 경우, 전자 장치는 도 17의 (a)에 도시된 바와 같은 호 수신 화면을 표시부(160)에 표시한다, 이후, 전자 장치는 호 수신 화면이 표시된 표시부(160)와 동일한 방향에 위치한 카메라부(140)를 활성화한다.
카메라를 구동시킨 후, 전자 장치는 1505단계로 진행하여 카메라를 통해 획득한 사용자의 얼굴 이미지를 이용하여 사용자의 얼굴 움직임을 검출한다. 예를 들어, 전자 장치는 카메라부(140)를 통해 획득한 사용자의 얼굴 이미지에서 사용자의 눈의 위치를 추정한다. 이후, 전자 장치는 사용자의 눈의 위치 변화를 고려하여 사용자의 얼굴 움직임을 추정할 수 있다. 다른 예를 들어, 전자 장치는 카메라부(140)를 통해 획득한 사용자의 얼굴 이미지에서 적어도 하나의 특징점을 추출한다. 이후, 전자 장치는 얼굴 이미지에 포함된 적어도 하나의 특징점의 변화를 고려하여 사용자의 얼굴 움직임을 추정할 수도 있다. 이때, 전자 장치는 카메라부(140)를 통해 사용자 얼굴의 일부분만을 획득할 수 있는 경우, 얼굴의 일부분만을 이용하여 전체 얼굴 이미지를 추정하여 얼굴 움직임을 추출할 수도 있다.
사용자의 얼굴 움직임을 검출한 후, 전자 장치는 1507단계로 진행하여 얼굴 움직임 정보에 따른 호 수신 제어 정보를 확인한다. 전자 장치는 사용자 얼굴의 방향, 얼굴의 움직임 속도, 얼굴의 움직임 각도 및 얼굴의 움직임 시간 중 적어도 하나를 고려하여 호 수신 제어 정보를 결정한다. 예를 들어, 도 17의 (b)에 도시된 바와 같이 사용자 얼굴의 앞/뒤로의 이동이 감지된 경우, 전자 장치는 호 수신 수락 정보인 것으로 인식할 수 있다. 다른 예를 들어, 사용자 얼굴의 좌/우로의 이동이 감지된 경우, 전자 장치는 호 수신 거절 정보인 것으로 인식할 수 있다. 이때, 전자 장치는 사용자 얼굴의 좌/우 이동 거리를 고려하여 호 수신 거절 방식을 결정할 수도 있다. 구체적으로, 사용자 얼굴의 좌/우 이동 거리가 기준 거리보다 적은 경우, 전자 장치는 음성 사서함을 이용한 호 수신 거절 방식으로 결정한다. 한편, 사용자 얼굴의 좌/우 이동 거리가 기준 거리보다 큰 경우, 전자 장치는 호 연결을 바로 차단하는 호 수신 거절 방식으로 결정할 수 있다.
얼굴 움직임 정보에 따른 호 수신 제어 정보를 확인한 후, 전자 장치는 1509단계로 진행하여 얼굴 움직임 정보에 따른 호 수신 제어 정보에 따라 호 수신 서비스를 제공한다. 예를 들어, 도 17의 (b)에 도시된 사용자 얼굴의 앞/뒤로의 이동에 따라 호 수신을 수락한 것으로 인식한 경우, 전자 장치는 도 17의 (c)에 도시된 바와 같이 상대 전자 장치와의 통화 서비스를 제공한다.
이후, 전자 장치는 본 알고리즘을 종료한다.
도 16은 본 발명의 다른 실시 예에 따른 전자 장치에서 얼굴 움직임 정보를 고려하여 호 수신 서비스를 제어하기 위한 절차를 도시하고 있다.
도 16을 참조하면 전자 장치는 1601단계에서 호가 수신되는지 확인한다.
호가 수신된 경우, 전자 장치는 1603단계로 진행하여 카메라를 구동시킨다. 예를 들어, 호가 수신된 경우, 전자 장치는 도 17의 (a)에 도시된 바와 같은 호 수신 화면을 표시부(160)에 표시한다, 이후, 전자 장치는 호 수신 화면이 표시된 표시부(160)와 동일한 방향에 위치한 카메라부(140)를 활성화한다.
카메라를 구동한 후, 전자 장치는 1605단계로 진행하여 카메라를 통해 획득한 이미지를 통해 얼굴 인식을 수행한다. 예를 들어, 전자 장치는 카메라부(140)를 통해 획득한 이미지에 대한 밝기, 움직임, 색상, 눈 위치 등의 정보를 이용하여 이미지에서 얼굴 영역을 추출하고, 얼굴 영역에 포함된 눈, 코, 입과 같은 얼굴의 특징점들을 검출한다.
이후, 전자 장치는 1607단계로 진행하여 얼굴 인식 정보를 통해 전자 장치의 사용자를 인증할 수 있는지 확인한다. 예를 들어, 전자 장치는 카메라부(140)를 통해 획득한 이미지에 포함된 특징점의 위치, 크기 및 특징점들 사이의 거리와 데이터 저장부(112)에 저장된 기준 이미지 정보와 비교하여 사용자를 인증할 수 있는지 확인한다. 여기서, 기준 이미지 정보는 사용자 인증을 위해 기 설정된 적어도 하나의 사용자에 대한 얼굴 이미지를 포함한다.
사용자를 인증할 수 없는 경우, 전자 장치는 얼굴 움직임 정보를 이용하여 제어 서비스를 제공할 수 없는 것으로 인지한다. 이에 따라, 전자 장치는 본 알고리즘을 종료한다. 이때, 전자 장치는 사용자의 인증 절차를 기준 횟수 반복 수행할 수도 있다.
한편, 사용자를 인증한 경우, 전자 장치는 1609단계로 진행하여 카메라를 통해 획득한 사용자의 얼굴 이미지를 이용하여 사용자의 얼굴 움직임을 검출한다.
사용자의 얼굴 움직임을 검출한 후, 전자 장치는 1611단계로 진행하여 얼굴 움직임 정보에 따른 호 수신 제어 정보를 확인한다. 전자 장치는 사용자 얼굴의 방향, 얼굴의 움직임 속도, 얼굴의 움직임 각도 및 얼굴의 움직임 시간 중 적어도 하나를 고려하여 호 수신 제어 정보를 결정한다. 예를 들어, 도 17의 (b)에 도시된 바와 같이 사용자 얼굴의 앞/뒤로의 이동이 감지된 경우, 전자 장치는 호 수신 수락 정보인 것으로 인식할 수 있다. 다른 예를 들어, 사용자 얼굴의 좌/우로의 이동이 감지된 경우, 전자 장치는 호 수신 거절 정보인 것으로 인식할 수 있다. 이때, 전자 장치는 사용자 얼굴의 좌/우 이동 거리를 고려하여 호 수신 거절 방식을 결정할 수도 있다. 구체적으로, 사용자 얼굴의 좌/우 이동 거리가 기준 거리보다 적은 경우, 전자 장치는 음성 사서함을 이용한 호 수신 거절 방식으로 결정한다. 한편, 사용자 얼굴의 좌/우 이동 거리가 기준 거리보다 큰 경우, 전자 장치는 호 연결을 바로 차단하는 호 수신 거절 방식으로 결정할 수 있다.
얼굴 움직임 정보에 따른 호 수신 제어 정보를 확인한 후, 전자 장치는 1613단계로 진행하여 얼굴 움직임 정보에 따른 호 수신 제어 정보에 따라 호 수신 서비스를 제공한다. 예를 들어, 도 17의 (b)에 도시된 사용자 얼굴의 앞/뒤로의 이동에 따라 호 수신을 수락한 것으로 인식한 경우, 전자 장치는 도 17의 (c)에 도시된 바와 같이 상대 전자 장치와의 통화 서비스를 제공한다.
이후, 전자 장치는 본 알고리즘을 종료한다.
도 18은 본 발명의 실시 예에 따른 전자 장치에서 얼굴 움직임 정보를 고려하여 전자 책 서비스를 제어하기 위한 절차를 도시하고 있다.
도 18을 참조하면 전자 장치는 1801단계에서 전자 책 서비스를 제공하는지 확인한다. 예를 들어, 전자 장치는 입력 장치(170)를 통해 제공받은 터치 정보에 따라 데이터 저장부(112)에 저장된 적어도 하나의 전자 책 파일 중 어느 하나의 전자 책 파일이 선택되는지 확인한다.
전자 책 서비스를 제공하는 경우, 전자 장치는 1803단계로 진행하여 전자 책 서비스를 위해 선택한 전자 책 컨텐츠를 표시부(160)에 표시한다.
이후, 전자 장치는 1805단계로 진행하여 카메라를 구동시킨다. 즉, 전자 장치는 전자 책 컨텐츠가 표시된 표시부(160)와 동일한 방향에 위치한 카메라부(140)를 활성화한다.
카메라를 구동시킨 후, 전자 장치는 1807단계로 진행하여 사용자의 얼굴 움직임을 검출하여 사용자의 시선 위치를 추정한다. 예를 들어, 전자 장치는 카메라를 통해 획득한 이미지에서 사용자의 눈 또는 눈의 위치를 검출한다. 이후, 전자 장치는 카메라의 화각이 이루는 프레임에서 사용자 눈의 상대적인 위치를 검출한다.
이후, 전자 장치는 1809단계로 진행하여 사용자의 시선이 제 1 기준 영역에 위치하는지 확인한다. 예를 들어, 전자 장치는 도 19의 (a)에 도시된 바와 같이 사용자의 시선이 제 1 기준 영역(1901)에 기준 시간 이상 고정되는지 확인할 수 있다.
사용자의 시선이 제 1 기준 영역에 위치한 경우, 전자 장치는 1811단계로 진행하여 전자 책 컨텐츠에 대한 표시 영역을 변경한다. 예를 들어, 전자 장치는 도 19의 (b)에 도시된 바와 같이 전자 책 컨텐츠의 페이지를 전환한다. 만일, 사용자의 시선이 제 1 기준 영역에 고정된 경우, 전자 장치는 전자 책 컨텐츠에 대한 페이지를 지속적으로 전환한다. 이때, 전자 장치는 사용자 시선의 제 1 기준 영역에 대한 고정 시간에 비례하도록 페이지 전환 속도를 제어할 수 있다.
한편, 사용자의 시선이 제 1 기준 영역에 위치하지 않는 경우, 전자 장치는 1813단계로 진행하여 사용자의 시선이 제 2 기준 영역에 위치하는지 확인한다. 예를 들어, 전자 장치는 도 19의 (a)에 도시된 바와 같이 사용자의 시선이 제 2 기준 영역(1903)에 기준 시간 이상 고정되는지 확인할 수 있다.
사용자의 시선이 제 2 기준 영역에 위치하지 않는 경우, 전자 장치는 1807단계로 진행하여 사용자의 얼굴 움직임에 따른 사용자의 시선 방향을 추정한다.
한편, 사용자의 시선이 제 2 기준 영역에 위치한 경우, 전자 장치는 1815단계로 진행하여 표시부(160)에 표시된 전자 책 컨텐츠의 표시 영역에 북마크를 설정한다.
이후, 전자 장치는 본 알고리즘을 종료한다.
상술한 실시 예에서 전자 장치는 기 설정된 기준 영역을 이용하여 전자 책 컨텐츠를 제어한다. 이때, 전자 장치는 사용자의 얼굴 움직임을 고려하여 기준 영역을 설정할 수도 있다. 예를 들어, 전자 장치는 사용자의 시선이 기준 시간 이상 고정된 좌표를 기준으로 기준 영역을 설정할 수 있다.
다른 실시 예에서 전자 장치는 전자 장치는 사용자의 얼굴의 움직임 방향을 고려하여 전자 책 서비스를 제어할 수 있다. 예를 들어, 사용자의 얼굴이 도 5의 (c)에 도시된 바와 같이 좌/우로 이동한 경우, 전자 장치는 사용자 얼굴의 움직임 방향에 따라 전자 책 컨텐츠의 페이지를 전환할 수 있다. 다른 예를 들어, 사용자의 얼굴 중심이 도 5의 (b)에 도시된 바와 같이 상/하로 이동한 경우, 전자 장치는 표시부(160)에 표시된 전자 책 컨텐츠의 표시 영역에 북마크를 설정할 수 있다.
추가적으로, 전자 장치는 얼굴 인식을 통해 확인된 사용자의 연령대를 고려하여 전자 책 컨텐츠에 대한 표시 배율을 제어할 수도 있다.
도 20은 본 발명의 실시 예에 따른 전자 장치에서 얼굴 움직임 정보를 고려하여 화면 비활성화 모드를 제어하기 위한 절차를 도시하고 있다.
도 20을 참조하면 전자 장치는 2001단계에서 인터텟 서비스를 위한 웹 페이지 정보를 표시부(160)에 표시한다.
이후, 전자 장치는 2003단계로 진행하여 카메라를 구동시킨다. 예를 들어, 전자 장치는 웹 페이지 정보가 표시된 표시부(160)와 동일한 방향에 위치한 카메라부(140)를 활성화한다.
카메라를 구동시킨 후, 전자 장치는 2005단계로 진행하여 카메라를 통해 획득한 사용자의 얼굴 이미지를 이용하여 사용자의 얼굴 움직임을 검출한다. 예를 들어, 전자 장치는 카메라부(140)를 통해 획득한 사용자의 얼굴 이미지에서 사용자의 눈의 위치를 추정한다. 이후, 전자 장치는 사용자의 눈의 위치 변화를 고려하여 사용자의 얼굴 움직임을 추정할 수 있다. 다른 예를 들어, 전자 장치는 카메라부(140)를 통해 획득한 사용자의 얼굴 이미지에서 적어도 하나의 특징점을 추출한다. 이후, 전자 장치는 얼굴 이미지에 포함된 적어도 하나의 특징점의 변화를 고려하여 사용자의 얼굴 움직임을 추정할 수도 있다. 이때, 전자 장치는 카메라부(140)를 통해 사용자 얼굴의 일부분만을 획득할 수 있는 경우, 얼굴의 일부분만을 이용하여 전체 얼굴 이미지를 추정하여 얼굴 움직임을 추출할 수도 있다.
이후, 전자 장치는 2007단계로 진행하여 사용자의 얼굴 방향이 기준 범위 내에 위치하는지 확인한다. 즉, 전자 장치는 얼굴의 각도를 추정하여 얼굴의 방향이 표시부(160)의 표시 영역 내에 위치하는지 확인한다.
얼굴 방향이 기준 범위 내에 위치한 경우, 전자 장치는 사용자의 얼굴의 방향이 표시부(160)의 표시 영역 내에 위치하는 것으로 인식한다. 즉, 전자 장치는 도 21의 (a)에 도시된 바와 같이 사용자가 웹 페이지를 보는 것으로 인식한다. 이에 따라, 전자 장치는 2009단계로 진행하여 화면 비활성화 모드를 비활성화한다. 즉, 전자 장치는 일정 시간 동안 입력 정보를 감지하지 못하여도 표시부(160)를 활성상태(screen back light)로 유지한다.
이후, 전자 장치는 2011단계로 진행하여 인터넷 서비스가 종료되는지 확인한다.
인터넷 서비스가 종료되지 않는 경우, 전자 장치는 2005단계로 진행하여 카메라를 통해 획득한 사용자의 얼굴 이미지를 이용하여 사용자의 얼굴 움직임을 검출한다.
한편, 인터넷 서비스가 종료된 경우, 전자 장치는 본 알고리즘을 종료한다.
한편, 2007단계에서 얼굴 방향이 기준 범위를 벗어난 경우, 전자 장치는 사용자의 얼굴의 방향이 표시부(160)의 표시 영역을 벗어난 것으로 인식한다. 즉, 전자 장치는 도 21의 (b)에 도시된 바와 같이 사용자가 웹 페이지를 보지 않는 것으로 인식한다. 이에 따라 전자 장치는 2013단계로 진행하여 타이머의 구동 시간이 만료되는지 확인한다. 여기서, 타이머는 표시부(160)를 보이지 않도록(screen dim out) 제어하는 시점을 확인하기 위한 것으로 입력 정보를 감지할 때마다 리셋된다.
타이머의 구동 시간이 만료되지 않은 경우, 전자 장치는 2005 단계로 진행하여 카메라를 통해 획득한 사용자의 얼굴 이미지를 이용하여 사용자의 얼굴 움직임을 검출한다.
한편, 타이머의 구동 시간이 만료된 경우, 전자 장치는 2015단계로 진행하여 표시부(160)를 보이지 않도록(screen dim out) 제어한다.
이후, 전자 장치는 본 알고리즘을 종료한다.
상술한 실시 예에서 전자 장치는 사용자의 얼굴 방향이 기준 범위 내에 위치한 경우, 화면 비활성화 모드를 비활성화시킨다.
다른 실시 예에서 다수의 얼굴들을 인식한 경우, 전자 장치는 다수의 얼굴들 중 기준 얼굴의 방향을 고려하여 화면 비활성화 모드를 제어할 수 있다.
한편 본 발명의 상세한 설명에서는 구체적인 실시 예에 관해 설명하였으나, 본 발명의 범위에서 벗어나지 않는 한도 내에서 여러 가지 변형이 가능하다. 그러므로 본 발명의 범위는 설명된 실시 예에 국한되어 정해져서는 아니 되며 후술하는 특허청구의 범위뿐만 아니라 이 특허청구의 범위와 균등한 것들에 의해 정해져야 한다.

Claims (22)

  1. 전자 장치에서 제어 서비스를 제공하기 위한 방법에 있어서,
    카메라를 통해 획득한 이미지에서 얼굴 움직임을 검출하는 과정과,
    상기 검출한 얼굴 움직임 정보에 매칭된 제어 정보를 확인하는 과정과,
    상기 제어 정보에 따라 상기 전자 장치에 대한 제어 서비스를 제공하는 과정을 포함하며,
    상기 얼굴 움직임 정보는, 얼굴의 움직임 거리, 얼굴의 방향, 얼굴의 움직임 속도, 얼굴의 움직임 각도 및 얼굴의 움직임 시간 중 적어도 하나를 포함하는 방법.
  2. 제 1항에 있어서,
    상기 얼굴 움직임을 검출하는 과정 이전에, 상기 카메라를 통해 획득한 이미지를 이용하여 사용자를 인증하는 과정을 더 포함하며,
    상기 사용자를 인증한 경우, 카메라를 통해 획득한 이미지에서 얼굴 움직임을 검출하는 과정으로 진행하는 방법.
  3. 제 1항에 있어서,
    상기 얼굴 움직임을 검출하는 과정은,
    상기 카메라를 통해 획득한 이미지에서 다수 개의 얼굴들이 감지된 경우, 상기 다수 개의 얼굴들 중 적어도 하나의 기준 얼굴을 결정하는 과정과,
    상기 기준 얼굴의 움직임을 검출하는 과정을 포함하는 방법.
  4. 제 1항에 있어서,
    상기 제어 정보를 확인하는 과정은,
    동영상 재생 중 얼굴 각도가 기준 범위를 벗어난 경우, 얼굴의 각도 변화에 따른 일시 정지 제어 정보를 확인하는 과정을 포함하는 방법.
  5. 제 4항에 있어서,
    상기 일시 정지 제어 정보를 확인하는 과정은,
    동영상 재생 중 얼굴 각도가 기준 범위를 기준 시간 동안 벗어난 경우, 얼굴의 각도 변화에 따른 일시 정지 제어 정보를 확인하는 과정을 포함하는 방법.
  6. 제 1항에 있어서,
    상기 제어 정보를 확인하는 과정은,
    얼굴 움직임 정보에 따른 눈의 위치가 기준 지점을 벗어난 경우, 눈의 위치 변화 방향에 따른 화면 스크롤 제어 정보를 확인하는 과정을 포함하는 방법.
  7. 제 6항에 있어서,
    상기 화면 스크롤 제어 정보를 확인하는 과정은,
    눈의 위치 변화 방향를 고려하여 화면 스크롤 방향을 결정하는 과정과,
    얼굴의 움직인 속도 및 얼굴의 움직임 각도 중 적어도 하나를 고려하여 스크롤 속도를 결정하는 과정을 포함하는 방법.
  8. 제 6항에 있어서,
    상기 기준 지점은, 얼굴 움직임에 따라 눈의 위치가 기준 시간 이상 고정 지점을 포함하는 방법.
  9. 제 1항에 있어서,
    상기 제어 정보를 확인하는 과정은,
    호 수신 시, 얼굴의 움직임 방향을 고려하여 호 수신 방식을 확인하는 과정을 포함하는 방법.
  10. 제 1항에 있어서,
    상기 제어 정보를 확인하는 과정은,
    전자 책 컨텐츠를 표시한 경우, 얼굴 움직임 정보를 고려하여 눈의 위치를 확인하는 과정과,
    상기 눈의 위치가 제 1 영역을 응시한 경우, 페이지 전환 제어 정보를 확인하는 과정을 포함하는 방법.
  11. 제 1항에 있어서,
    상기 제어 정보를 확인하는 과정은,
    전자 책 컨텐츠를 표시한 경우, 얼굴의 움직임 방향을 고려하여 페이지 전환 제어 정보를 확인하는 과정을 포함하는 방법.
  12. 전자 장치에 있어서,
    적어도 하나의 카메라와,
    표시부와,
    적어도 하나의 프로세서와,
    메모리 및,
    상기 메모리에 저장되며, 상기 하나 이상의 프로세서에 의해 구동되는 적어도 하나의 프로그램을 포함하며,
    상기 프로그램은,
    상기 카메라를 통해 획득한 이미지에서 얼굴 움직임을 검출하고,
    상기 검출한 얼굴 움직임 정보에 매칭된 제어 정보를 확인하고,
    상기 제어 정보에 따라 상기 전자 장치에 대한 제어 서비스를 제공하며,
    상기 얼굴 움직임 정보는, 얼굴의 움직임 거리, 얼굴의 방향, 얼굴의 움직임 속도, 얼굴의 움직임 각도 및 얼굴의 움직임 시간 중 적어도 하나를 포함하는 장치.
  13. 제 12항에 있어서,
    상기 프로그램은, 상기 얼굴 움직임을 검출하기 전에, 상기 카메라를 통해 획득한 이미지를 이용하여 사용자를 인증하고,
    상기 사용자를 인증한 경우, 카메라를 통해 획득한 이미지에서 얼굴 움직임을 검출하는 장치.
  14. 제 12항에 있어서,
    상기 프로그램은, 상기 카메라를 통해 획득한 이미지에서 다수 개의 얼굴들이 감지된 경우, 상기 다수 개의 얼굴들 중 적어도 하나의 기준 얼굴을 결정하고, 상기 기준 얼굴의 움직임을 검출하는 장치.
  15. 제 12항에 있어서,
    상기 프로그램은, 동영상 재생 중 얼굴 각도가 기준 범위를 벗어난 경우, 얼굴의 각도 변화에 따른 일시 정지 제어 정보를 확인하는 장치.
  16. 제 15항에 있어서,
    상기 프로그램은, 동영상 재생 중 얼굴 각도가 기준 범위를 기준 시간 동안 벗어난 경우, 얼굴의 각도 변화에 따른 일시 정지 제어 정보를 확인하는 장치.
  17. 제 12항에 있어서,
    상기 프로그램은, 얼굴 움직임 정보에 따른 눈의 위치가 기준 지점을 벗어난 경우, 눈의 위치 변화 방향에 따른 화면 스크롤 제어 정보를 확인하는 장치.
  18. 제 17항에 있어서,
    상기 프로그램은, 눈의 위치 변화 방향를 고려하여 화면 스크롤 방향을 결정하고, 얼굴의 움직인 속도 및 얼굴의 움직임 각도 중 적어도 하나를 고려하여 스크롤 속도를 결정하는 장치.
  19. 제 17항에 있어서,
    상기 기준 지점은, 얼굴 움직임에 따라 눈의 위치가 기준 시간 이상 고정 지점을 포함하는 장치.
  20. 제 12항에 있어서,
    상기 프로그램은, 호 수신 시, 얼굴의 움직임 방향을 고려하여 호 수신 방식을 확인하는 장치.
  21. 제 12항에 있어서,
    상기 프로그램은, 전자 책 컨텐츠를 표시한 경우, 얼굴 움직임 정보를 고려하여 눈의 위치를 확인하고, 상기 눈의 위치가 제 1 영역을 응시한 경우, 페이지 전환 제어 정보를 확인하는 장치.
  22. 제 12항에 있어서,
    상기 프로그램은, 전자 책 컨텐츠를 표시한 경우, 얼굴의 움직임 방향을 고려하여 페이지 전환 제어 정보를 확인하는 장치.
KR1020130001102A 2013-01-04 2013-01-04 전자 장치에서 헤드 트래킹 기술을 이용하여 제어 서비스를 제공하기 위한 장치 및 방법 KR102062310B1 (ko)

Priority Applications (4)

Application Number Priority Date Filing Date Title
KR1020130001102A KR102062310B1 (ko) 2013-01-04 2013-01-04 전자 장치에서 헤드 트래킹 기술을 이용하여 제어 서비스를 제공하기 위한 장치 및 방법
EP14150247.6A EP2752733A1 (en) 2013-01-04 2014-01-06 Apparatus and method for providing control service using head tracking technology in an electronic device
US14/147,839 US9791920B2 (en) 2013-01-04 2014-01-06 Apparatus and method for providing control service using head tracking technology in electronic device
CN201410005163.9A CN103914142B (zh) 2013-01-04 2014-01-06 在电子装置中使用头跟踪技术提供控制服务的设备和方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020130001102A KR102062310B1 (ko) 2013-01-04 2013-01-04 전자 장치에서 헤드 트래킹 기술을 이용하여 제어 서비스를 제공하기 위한 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20140089183A true KR20140089183A (ko) 2014-07-14
KR102062310B1 KR102062310B1 (ko) 2020-02-11

Family

ID=49999716

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020130001102A KR102062310B1 (ko) 2013-01-04 2013-01-04 전자 장치에서 헤드 트래킹 기술을 이용하여 제어 서비스를 제공하기 위한 장치 및 방법

Country Status (4)

Country Link
US (1) US9791920B2 (ko)
EP (1) EP2752733A1 (ko)
KR (1) KR102062310B1 (ko)
CN (1) CN103914142B (ko)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160071263A (ko) * 2014-12-11 2016-06-21 엘지전자 주식회사 이동단말기 및 그 제어방법
KR20180074124A (ko) * 2016-12-23 2018-07-03 주식회사 심보다 얼굴 인식을 통해 전자 장치를 제어하는 방법 및 이를 수행하는 전자 장치
WO2020122677A1 (en) 2018-12-14 2020-06-18 Samsung Electronics Co., Ltd. Method of performing function of electronic device and electronic device using same
WO2021070980A1 (ko) * 2019-10-08 2021-04-15 엘지전자 주식회사 이동단말기 및 그 제어 방법

Families Citing this family (56)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140026157A1 (en) * 2011-04-11 2014-01-23 Tao Wang Face recognition control and social networking
EP2962175B1 (en) 2013-03-01 2019-05-01 Tobii AB Delay warp gaze interaction
US9864498B2 (en) 2013-03-13 2018-01-09 Tobii Ab Automatic scrolling based on gaze detection
KR102121592B1 (ko) * 2013-05-31 2020-06-10 삼성전자주식회사 시력 보호 방법 및 장치
JP6188452B2 (ja) * 2013-06-28 2017-08-30 キヤノン株式会社 画像処理装置、画像処理方法、及びプログラム
US10317995B2 (en) 2013-11-18 2019-06-11 Tobii Ab Component determination and gaze provoked interaction
US10558262B2 (en) 2013-11-18 2020-02-11 Tobii Ab Component determination and gaze provoked interaction
US9769522B2 (en) * 2013-12-16 2017-09-19 Echostar Technologies L.L.C. Methods and systems for location specific operations
US9639152B2 (en) * 2013-12-30 2017-05-02 Lenovo (Singapore) Pte. Ltd. Display alignment based on eye tracking
KR102126993B1 (ko) * 2014-05-07 2020-06-25 삼성전자주식회사 전자 장치에서 공간 이동 시 서비스 시점의 동기를 제어하기 위한 장치 및 방법
US9952883B2 (en) 2014-08-05 2018-04-24 Tobii Ab Dynamic determination of hardware
CN105794186A (zh) 2014-09-26 2016-07-20 华为技术有限公司 控制应用程序的方法、装置和电子设备
CN105573478A (zh) * 2014-10-13 2016-05-11 北京三星通信技术研究有限公司 便携式设备的输入控制方法和装置
KR102348947B1 (ko) * 2014-10-30 2022-01-11 삼성전자 주식회사 전자장치의 화면 표시 제어 방법 및 장치
KR101655818B1 (ko) * 2014-12-11 2016-09-08 현대자동차주식회사 웨어러블 글래스, 그 제어 방법 및 차량 제어 시스템
US9563270B2 (en) * 2014-12-26 2017-02-07 Microsoft Technology Licensing, Llc Head-based targeting with pitch amplification
CN105824398A (zh) * 2015-01-04 2016-08-03 华为技术有限公司 一种来电处理方法及移动终端
US20160259405A1 (en) * 2015-03-03 2016-09-08 Microsoft Technology Licensing, Llc Eye Gaze for Automatic Paging
CN104808946A (zh) * 2015-04-29 2015-07-29 天脉聚源(北京)传媒科技有限公司 图像播放控制方法及装置
US20160364121A1 (en) * 2015-06-10 2016-12-15 Mediatek Inc. Method and associated circuit for arranging window on screen
CN104954574A (zh) * 2015-06-23 2015-09-30 上海卓易科技股份有限公司 一种自动操作移动终端的方法及移动终端
US10546183B2 (en) * 2015-08-10 2020-01-28 Yoti Holding Limited Liveness detection
CN105100898B (zh) * 2015-08-13 2018-02-23 海信集团有限公司 一种电视机智能开启方法及***
US11128853B2 (en) * 2015-12-22 2021-09-21 JBF Interlude 2009 LTD Seamless transitions in large-scale video
KR20170076471A (ko) * 2015-12-24 2017-07-04 삼성전자주식회사 변형 가능한 디스플레이 장치 및 이를 이용한 영상 표시 방법
US20170187982A1 (en) * 2015-12-29 2017-06-29 Le Holdings (Beijing) Co., Ltd. Method and terminal for playing control based on face recognition
US10775882B2 (en) * 2016-01-21 2020-09-15 Microsoft Technology Licensing, Llc Implicitly adaptive eye-tracking user interface
CN105657500B (zh) * 2016-01-26 2019-12-03 Oppo广东移动通信有限公司 一种视频播放控制方法及装置
JP6672940B2 (ja) * 2016-03-25 2020-03-25 富士ゼロックス株式会社 情報処理装置
CN106354264A (zh) * 2016-09-09 2017-01-25 电子科技大学 基于视线追踪的实时人机交互***及其工作方法
CN106354263A (zh) * 2016-09-09 2017-01-25 电子科技大学 基于面部特征追踪的实时人机交互***及其工作方法
US11237709B2 (en) 2016-10-25 2022-02-01 Apple Inc. Systems and methods for enabling low-vision users to interact with a touch-sensitive secondary display
DK179492B1 (en) 2016-10-25 2019-01-08 Apple Inc. SYSTEMS AND METHODS FOR ENABLING LOW-VISION USERS TO INTERACT WITH A TOUCH-SENSITIVE SECONDARY DISPLAY
CN106454456A (zh) * 2016-10-31 2017-02-22 维沃移动通信有限公司 一种视频播放控制方法及移动终端
CN106598445A (zh) * 2016-12-14 2017-04-26 北京小米移动软件有限公司 输出通讯消息的方法及装置
EP3605298A4 (en) * 2017-03-29 2020-05-13 Huawei Technologies Co., Ltd. METHOD FOR ADAPTING THE SCROLLING SPEED OF AN INTERFACE, RELATED DEVICE AND COMPUTER PROGRAM PRODUCT
EP3410413B1 (en) * 2017-06-02 2021-07-21 Netatmo Improved generation of alert events based on a detection of objects from camera images
JP6572943B2 (ja) * 2017-06-23 2019-09-11 カシオ計算機株式会社 ロボット、ロボットの制御方法及びプログラム
CN107426422A (zh) * 2017-07-13 2017-12-01 广东欧珀移动通信有限公司 事件处理方法及相关产品
KR102374404B1 (ko) 2017-07-25 2022-03-15 삼성전자주식회사 콘텐트를 제공하기 위한 디바이스 및 방법
CN107479804A (zh) * 2017-08-16 2017-12-15 歌尔科技有限公司 虚拟现实设备及其内容调整方法
CN107608516A (zh) * 2017-09-25 2018-01-19 广东小天才科技有限公司 智能穿戴设备的控制方法、装置及智能手表
JP6922686B2 (ja) * 2017-11-20 2021-08-18 トヨタ自動車株式会社 操作装置
US11029834B2 (en) * 2017-12-20 2021-06-08 International Business Machines Corporation Utilizing biometric feedback to allow users to scroll content into a viewable display area
GB2569794A (en) 2017-12-21 2019-07-03 Yoti Holding Ltd Biometric user authentication
GB2571106A (en) * 2018-02-16 2019-08-21 Sony Corp Image processing apparatuses and methods
CN110753931A (zh) * 2018-04-25 2020-02-04 北京嘀嘀无限科技发展有限公司 基于面部特征点的点头动作识别的***和方法
WO2020049921A1 (ja) * 2018-09-07 2020-03-12 ソニー株式会社 端末装置、端末装置の制御方法および記憶媒体
JP2020052189A (ja) * 2018-09-26 2020-04-02 いすゞ自動車株式会社 表示制御装置及び表示制御方法
JP2020052190A (ja) * 2018-09-26 2020-04-02 いすゞ自動車株式会社 表示制御装置及び表示制御方法
JP2020052188A (ja) * 2018-09-26 2020-04-02 いすゞ自動車株式会社 表示制御装置及び表示制御方法
JP2020052191A (ja) * 2018-09-26 2020-04-02 いすゞ自動車株式会社 表示制御装置及び表示制御方法
CN109660662B (zh) * 2018-12-04 2021-07-16 联想(北京)有限公司 一种信息处理方法和终端
CN110009662B (zh) * 2019-04-02 2021-09-17 北京迈格威科技有限公司 人脸跟踪的方法、装置、电子设备及计算机可读存储介质
CN112492096A (zh) * 2020-11-25 2021-03-12 北京五八信息技术有限公司 一种视频播放控制方法、装置、电子设备及存储介质
CN112583980A (zh) * 2020-12-23 2021-03-30 重庆蓝岸通讯技术有限公司 基于视觉识别的智能终端显示角度调节方法、***及智能终端

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090273687A1 (en) * 2005-12-27 2009-11-05 Matsushita Electric Industrial Co., Ltd. Image processing apparatus
US20120064951A1 (en) * 2010-09-13 2012-03-15 Sony Ericsson Mobile Communications Ab Hands-Free Control of Mobile Communication Device Based on Head Movement
US20120256967A1 (en) * 2011-04-08 2012-10-11 Baldwin Leo B Gaze-based content display

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI450178B (zh) 2008-04-25 2014-08-21 Wistron Corp 驅動電子裝置顯示頁面捲動之方法與裝置
US20100054518A1 (en) 2008-09-04 2010-03-04 Alexander Goldin Head mounted voice communication device with motion control
US20100079508A1 (en) * 2008-09-30 2010-04-01 Andrew Hodge Electronic devices with gaze detection capabilities
US8788977B2 (en) 2008-11-20 2014-07-22 Amazon Technologies, Inc. Movement recognition as input mechanism
US8477175B2 (en) * 2009-03-09 2013-07-02 Cisco Technology, Inc. System and method for providing three dimensional imaging in a network environment
US8762846B2 (en) * 2009-11-16 2014-06-24 Broadcom Corporation Method and system for adaptive viewport for a mobile device based on viewing angle
GB2490865A (en) 2011-05-09 2012-11-21 Nds Ltd User device with gaze tracing to effect control
US8510166B2 (en) 2011-05-11 2013-08-13 Google Inc. Gaze tracking system

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090273687A1 (en) * 2005-12-27 2009-11-05 Matsushita Electric Industrial Co., Ltd. Image processing apparatus
US20120064951A1 (en) * 2010-09-13 2012-03-15 Sony Ericsson Mobile Communications Ab Hands-Free Control of Mobile Communication Device Based on Head Movement
US20120256967A1 (en) * 2011-04-08 2012-10-11 Baldwin Leo B Gaze-based content display

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160071263A (ko) * 2014-12-11 2016-06-21 엘지전자 주식회사 이동단말기 및 그 제어방법
KR20180074124A (ko) * 2016-12-23 2018-07-03 주식회사 심보다 얼굴 인식을 통해 전자 장치를 제어하는 방법 및 이를 수행하는 전자 장치
WO2020122677A1 (en) 2018-12-14 2020-06-18 Samsung Electronics Co., Ltd. Method of performing function of electronic device and electronic device using same
EP3867735A4 (en) * 2018-12-14 2022-04-20 Samsung Electronics Co., Ltd. METHOD OF PERFORMING A FUNCTION OF AN ELECTRONIC DEVICE AND ELECTRONIC DEVICE THEREOF
US11551682B2 (en) 2018-12-14 2023-01-10 Samsung Electronics Co., Ltd. Method of performing function of electronic device and electronic device using same
WO2021070980A1 (ko) * 2019-10-08 2021-04-15 엘지전자 주식회사 이동단말기 및 그 제어 방법

Also Published As

Publication number Publication date
US9791920B2 (en) 2017-10-17
KR102062310B1 (ko) 2020-02-11
CN103914142A (zh) 2014-07-09
US20140191948A1 (en) 2014-07-10
CN103914142B (zh) 2018-01-12
EP2752733A1 (en) 2014-07-09

Similar Documents

Publication Publication Date Title
KR102062310B1 (ko) 전자 장치에서 헤드 트래킹 기술을 이용하여 제어 서비스를 제공하기 위한 장치 및 방법
JP7081048B2 (ja) システムナビゲーションバー表示方法、システムナビゲーションバー制御方法、グラフィカルユーザインターフェース、および電子機器
US9507420B2 (en) System and method for providing haptic feedback to assist in capturing images
US9430045B2 (en) Special gestures for camera control and image processing operations
KR102053361B1 (ko) 화면 회전을 적응적으로 수행하기 위한 방법 및 그 전자 장치
JP6317521B2 (ja) 素子ウェークアップ方法、装置、プログラム及び記録媒体
US11334225B2 (en) Application icon moving method and apparatus, terminal and storage medium
US11604535B2 (en) Device and method for processing user input
KR20170064242A (ko) 영상통화를 제공하는 전자 장치 및 방법
EP3163404A1 (en) Method and device for preventing accidental touch of terminal with touch screen
US9921796B2 (en) Sharing of input information superimposed on images
US11323556B2 (en) Electronic device and method of operating electronic device in virtual reality
EP4033339A1 (en) User interface display method and electronic device
EP2922212A2 (en) Method, apparatus and system for controlling emission
CN111610912B (zh) 应用显示方法、应用显示装置及存储介质
KR20140097812A (ko) 전자 장치에서 스크롤 장치 및 방법
JP2023500656A (ja) 表示要素の表示方法及び電子機器
CN111488098B (zh) 触摸屏参数的调整方法及装置、电子设备、存储介质
CN106547462A (zh) 拍照控制方法、装置及移动终端
KR20190135794A (ko) 이동 단말기
CN107179866B (zh) 应用控制的方法、装置及存储介质
CN113613053B (zh) 视频推荐方法、装置、电子设备及存储介质
CN108877742A (zh) 亮度调整方法及装置
US10531401B2 (en) Method, terminal device and system for controlling transmission
US20140179379A1 (en) Mode change apparatus and method in electronic device

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
X091 Application refused [patent]
AMND Amendment
X701 Decision to grant (after re-examination)