KR20150045637A - 사용자 인터페이스 운용 방법 및 그 전자 장치 - Google Patents

사용자 인터페이스 운용 방법 및 그 전자 장치 Download PDF

Info

Publication number
KR20150045637A
KR20150045637A KR20130125129A KR20130125129A KR20150045637A KR 20150045637 A KR20150045637 A KR 20150045637A KR 20130125129 A KR20130125129 A KR 20130125129A KR 20130125129 A KR20130125129 A KR 20130125129A KR 20150045637 A KR20150045637 A KR 20150045637A
Authority
KR
South Korea
Prior art keywords
gesture
pattern
image
electronic device
head
Prior art date
Application number
KR20130125129A
Other languages
English (en)
Inventor
이용석
강태호
최성우
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR20130125129A priority Critical patent/KR20150045637A/ko
Priority to US14/489,617 priority patent/US20150109200A1/en
Publication of KR20150045637A publication Critical patent/KR20150045637A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/163—Wearable computers, e.g. on a belt
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

본 발명의 일 실시 예에 따르면, 이미지 센서, 자이로 센서 및 가속도 센서를 포함하는 전자 장치의 동작 방법에 있어서, 사용자의 머리 제스처를 검출하는 동작과, 상기 머리 제스처가 기준 제스처에 대응하는지 결정하는 동작 및 상기 머리 제스처가 상기 기준 제스처에 대응하는 경우, 상기 기준 제스처에 대응하는 기능을 수행하는 동작을 포함하고, 상기 머리 제스처가 상기 기준 제스처에 대응하는지 여부는 상기 이미지 센서가 검출한 상기 머리 제스처의 영상 패턴, 상기 자이로 센서가 검출한 상기 머리 제스처의 각속도 패턴 및 상기 가속도 센서가 검출한 상기 머리 제스처의 가속도 패턴이 기준 영상 패턴, 기준 각속도 패턴 및 기준 가속도 패턴에 대응하는지 여부를 결정하는, 방법을 제공할 수 있다.
또한, 다른 실시 예가 가능하다.

Description

사용자 인터페이스 운용 방법 및 그 전자 장치{METHOD FOR OPERATING USER INTERFACING AND ELECTRONIC DEVICE THEREOF}
본 발명은 전자 장치의 사용자 인터페이스 운용 방법에 관한 것이다.
최근 들어 멀티미디어 기술이 발전하면서 다양한 기능을 갖는 전자 장치들이 등장하고 있다. 이러한 전자 장치들은 하나 또는 그 이상의 기능을 복합적으로 수행하는 컨버젼스 기능을 갖는 것이 일반적이다.
더욱이 전자 장치들로는 소위 '스마트 폰'이라 대별되는 이동 단말기가 주류를 이루고 있다. 특히 이러한 이동 단말기는 대화면 터치 방식의 디스플레이 모듈을 구비하고 있으며, 상대방과의 통신이라는 기본적인 기능 이외에 고화소 카메라 모듈을 구비하고 있어 정지 영상 및 동영상 촬영이 가능하다. 또한 음악, 동영상 등 멀티미디어 콘텐츠를 재생할 수 있고, 네트워크 망에 접속하여 웹 서핑을 수행할 수도 있다.
이러한 전자 장치는 점차 고성능 프로세서를 구비함으로써 다양한 컨버젼스 기능을 좀더 빠르게 수행하도록 진보되고 있고, 최근에는 사용자의 신체에 착탈가능한 웨어러블 장치로까지 적용되고 있는 실정이다.
본 발명의 일 실시 예에 따르면, 머리 제스처를 이용한 정확하고 직관적인 사용자 인터페이스를 제공할 수 있다.
본 발명의 다른 실시 예에 따르면, 사용자 입력에 필요한 처리시간을 단축시키고, 전류소모를 감소시키는 사용자 인터페이스 운용 방법 및 그 전자 장치를 제공할 수 있다.
본 발명의 또 다른 실시 예에 따르면, 추가적인 회로 구성이 필요없는 사용자 인터페이스 운용 방법 및 그 전자 장치를 제공할 수 있다.
본 발명의 일 실시 예에 따르면, 이미지 센서, 자이로 센서 및 가속도 센서를 포함하는 전자 장치의 동작 방법에 있어서, 사용자의 머리 제스처를 검출하는 동작과, 상기 머리 제스처가 기준 제스처에 대응하는지 결정하는 동작 및 상기 머리 제스처가 상기 기준 제스처에 대응하는 경우, 상기 기준 제스처에 대응하는 기능을 수행하는 동작을 포함하고, 상기 머리 제스처가 상기 기준 제스처에 대응하는지 여부는 상기 이미지 센서가 검출한 상기 머리 제스처의 영상 패턴, 상기 자이로 센서가 검출한 상기 머리 제스처의 각속도 패턴 및 상기 가속도 센서가 검출한 상기 머리 제스처의 가속도 패턴이 기준 영상 패턴, 기준 각속도 패턴 및 기준 가속도 패턴에 대응하는지 여부를 결정하는, 방법을 제공할 수 있다.
본 발명의 다른 실시 예에 따르면, 전자 장치에 있어서, 적어도 하나의 사용자 입력 모듈, 여기에서 상기 사용자 입력 모듈은 이미지 센서, 자이로 센서 및 가속도 센서를 포함하고, 메모리 및 적어도 하나의 프로세서를 포함하고, 상기 프로세서는 사용자의 머리 제스처를 검출하고, 상기 머리 제스처가 기준 제스처에 대응하는지 결정하고, 여기에서 상기 머리 제스처가 상기 기준 제스처에 대응하는지 여부는 상기 이미지 센서가 검출한 상기 머리 제스처의 영상 패턴, 상기 자이로 센서가 검출한 상기 머리 제스처의 각속도 패턴 및 상기 가속도 센서가 검출한 상기 머리 제스처의 가속도 패턴이 기준 영상 패턴, 기준 각속도 패턴 및 기준 가속도 패턴에 대응하는지 여부를 결정하는, 상기 머리 제스처가 상기 기준 제스처에 대응하는 경우, 상기 기준 제스처에 대응하는 기능을 수행하는 전자 장치를 제공할 수 있다.
상술한 다양한 실시 예들에 따르면, 사용자 입력에 필요한 처리시간을 단축시키고, 전류 소모를 감소시킬 수 있는 직관적인 사용자 인터페이스를 제공할 수 있다.
도 1은 본 발명의 일 실시 예에 따른 전자 장치의 블록 구성도;
도 2는 본 발명의 일 실시 예에 따른 프로세서의 블록 구성도;
도 3a내지 도 3c는 본 발명의 일 실시 예에 따른 머리 제스처의 예를 보여주는 예시도;
도 4a 및 도 4b는 본 발명의 일 실시 예에 따른 머리 제스처에 대한 각각의 패턴 정보를 설명하는 참조도;
도 5는 본 발명의 일 실시 예에 따른 전자 장치의 동작 방법에 대한 흐름도;
도 6은 본 발명의 다른 실시 예에 따른 전자 장치의 동작 방법에 대한 흐름도; 및
도 7은 본 발명의 또 다른 실시 예에 따른 전자 장치의 동작 방법에 대한 흐름도.
이하 본 발명의 다양한 실시 예들을 첨부된 도면을 참조하여 상세히 설명한다. 본 발명의 실시 예들을 설명함에 있어서, 관련된 공지기능 혹은 구성에 대한 구체적인 설명이 본 발명의 실시 예들의 요지를 불필요하게 흐릴 수 있다고 판단된 경우 그 상세한 설명은 생략한다. 그리고 후술되는 용어들은 본 실시 예에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 발명의 실시 예들의 전반에 걸친 내용을 토대로 내려져야 할 것이다.
본 발명의 실시 예들을 설명함에 있어, 표시부로써 디스플레이 장치가 적용되고 머리에 장착될 수 있는 전자 장치를 도시하고 이에 대하여 설명하였으나 이에 국한되지는 않는다. 예컨대, 전자 장치로는 사용자의 인체의 일부분에 장착될 수 있는 다양한 기기, 즉, PDA(Personal Digital Assistant), 이어셋, 이어폰, 헤드셋, 헤드폰, 스마트 안경, 목걸이, 모자, 귀걸이, 시계, 카메라, 네비게이션, MP3 또는 헤드 마운트 등 다양한 웨어러블(wearable) 장치에 적용 가능하다.
도 1은 본 발명의 일 실시 예에 따른 전자 장치(100)의 블록 구성도이다.
도 1을 참고하면, 전자 장치(100)는 PDA(Personal Digital Assistant), 랩탑 컴퓨터(Laptop Computer), 모바일 폰(Mobile Phone), 스마트 폰(Smart Phone), 넷북(Netbook), 핸드헬드 컴퓨터(Handheld Computer), 휴대 인터넷 장치(MID: Mobile Internet Device), 미디어 플레이어(Media Player), 울트라 모바일 PC(UMPC: Ultra Mobile PC), 태블릿 PC(Tablet Personal Computer), 노트 PC, 손목시계, 네비게이션, MP3, 카메라 장치 또는 웨어러블(wearable) 장치 등 다양한 장치가 될 수 있다. 또한, 전자 장치(100)는 이러한 장치들 중 두 가지 이상의 기능을 결합한 장치를 포함하는 임의의 장치일 수도 있다.
일 실시 예에 따르면, 전자 장치(100)는 메모리(110), 프로세서 유닛(Processor Unit)(120), 카메라 장치(130), 센서 장치(140), 무선 통신 장치(150), 오디오 장치(160), 외부 포트 장치(170), 입출력 제어부(180), 디스플레이 장치(190) 및 입력 장치(200)를 포함할 수 있다. 메모리(110) 및 외부 포트 장치(170)는 다수 개 구성될 수 있다.
각 구성요소에 대해 살펴보면 다음과 같다.
프로세서 유닛(120)은 메모리 인터페이스(121), 적어도 하나의 프로세서(processor)(122) 및 주변 장치 인터페이스(123)를 포함할 수 있다. 여기서, 프로세서 유닛(120)에 포함되는 메모리 인터페이스(121), 적어도 하나의 프로세서(122) 및 주변 장치 인터페이스(123)는 적어도 하나의 집적화된 회로로 집적화되거나 별개의 구성요소로 구현될 수 있다.
메모리 인터페이스(121)는 프로세서(122) 또는 주변 장치 인터페이스(123)와 같은 구성요소의 메모리 접근을 제어할 수 있다.
주변 장치 인터페이스(123)는 전자 장치(100)의 입출력 주변 장치와 프로세서(122) 및 메모리 인터페이스(121)의 연결을 제어할 수 있다.
프로세서(122)는 적어도 하나의 소프트웨어 프로그램을 이용하여 전자 장치(100)가 다양한 멀티미디어 서비스를 제공하도록 제어할 수 있다. 프로세서(122)는 메모리(110)에 저장되어 있는 적어도 하나의 프로그램을 실행하여 해당 프로그램에 대응하는 서비스를 제공할 수 있다.
프로세서(122)는 여러 가지의 소프트웨어 프로그램을 실행하여 전자 장치(100)를 위한 여러 기능을 수행하며 음성 통신, 영상 통신 및 데이터 통신을 위한 처리 및 제어를 수행할 수 있다. 더하여, 프로세서(122)는 메모리(110)에 저장된 소프트웨어 모듈들과 연동하여 본 발명의 실시 예들의 방법을 수행할 수 있다.
프로세서(122)는 하나 이상의 데이터 프로세서, 이미지 프로세서, 또는 코덱(CODEC)을 포함할 수 있다. 더욱이, 전자 장치(100)는 데이터 프로세서, 이미지 프로세서 또는 코덱을 별도로 구성할 수 있다.
전자 장치(100)의 다양한 구성요소들은 하나 이상의 통신 버스(참조번호 미기재) 또는 전기적 연결 수단(참조번호 미기재)을 통해서 연결될 수 있다.
카메라 장치(130)는 사진, 비디오 클립, 레코딩 등의 카메라 기능을 수행할 수 있다. 카메라 장치(130)는 CCD(Charged Coupled Device) 또는 CMOS(Complementary Metal-Oxide Semiconductor) 등을 포함할 수 있다. 더하여, 카메라 장치(130)는 프로세서(122)가 실행하는 카메라 프로그램에 따라 하드웨어적인 구성의 변경, 예컨대 렌즈 이동, 조리개의 수 등을 조절할 수 있다.
카메라 장치(130)는 피사체에 대한 촬영을 통해 획득한 수집 영상을 프로세서 유닛(120)으로 제공할 수 있다. 카메라 장치(130)는 광학적 신호를 전기적 신호로 변환하는 이미지 센서, 아날로그 영상 신호를 디지털 영상 신호로 변환하는 영상 처리 장치(Image Signal Processor) 및 영상 처리 장치에서 출력되는 영상 신호를 디스플레이 장치(190)에 표시할 수 있도록 영상 처리하는 신호 처리 장치(Digital Signal Processor) 등을 포함할 수 있다. 미 도시되었으나, 카메라 장치(130)는 렌즈를 움직이는 엑츄에이터, 엑츄에이터를 구동하는 드라이버 IC(Integrated Circuit) 등을 포함할 수 있다.
센서 장치(140)는 근접 센서, 홀(Hall) 센서, 조도 센서, 모션 센서 등을 포함할 수 있다. 예컨대, 근접 센서는 전자 장치(100)에 근접하는 물체를 감지할 수 있고, 홀 센서는 금속체의 자력을 감지할 수 있다. 또한, 조도 센서는 전자 장치(100) 주변의 빛을 감지하며, 모션 센서는 전자 장치(100)의 움직임을 감지하는 가속도 센서 또는 자이로 센서를 포함할 수 있다. 그러나 이에 국한되지는 않으며, 센서 장치(140)는 공지의 여타 부가 기능을 구현하기 위한 다양한 센서들을 더 포함할 수 있을 것이다.
무선 통신 장치(150)는 무선 통신을 가능하게 하고, 무선 주파수 송ㆍ수신기 또는 광(예컨대, 적외선) 송ㆍ수신기를 포함할 수 있다. 미 도시하였으나, 무선 통신 장치(150)는 RF IC 유닛(Radio Frequency IC unit)과 기저대역 처리부를 포함할 수 있다. RF IC 유닛은 전자파를 송ㆍ수신할 수 있으며, 기저대역 처리부로부터의 기저대역 신호를 전자파로 변환하여 안테나를 통해 송신할 수 있다.
RF IC 유닛은 RF 트랜시버(transceiver), 증폭기(amplifier), 튜너(tunor), 오실레이터(oscillator), 디지털 신호 처리기(digital signal processor), CODEC 칩셋(COding DECoding chip set), 가입자 식별 모듈(SIM, Subscriber Identity Module) 카드 등을 포함할 수 있다.
무선 통신 장치(150)는 통신 네트워크에 따라 GSM(Global System for Mobile Communication) 네트워크, EDGE(Enhanced Data GSM Environment) 네트워크, CDMA(Code Division Multiple Access) 네트워크, W-CDMA(Wideband Code Division Multiple Access) 네트워크, LTE(Long Term Evolution) 네트워크, OFDMA(Orthogonal Frequency Division Multiple Access) 네트워크, Wi-Fi(Wireless Fidelity) 네트워크, WiMax 네트워크, NFC(Near Field Communication) 네트워크, 적외선 통신(Infra Red Communication) 네트워크, Bluetooth 네트워크 중 적어도 하나를 통해 동작하도록 구현될 수 있다. 그러나 이에 국한되지는 않으며, 무선 통신 장치(150)는 이메일(email), 인스턴트 메시징(instant messaging) 또는 단문 문자 서비스(SMS, Short Message Service)용 프로토콜을 이용한 여러 가지의 통신 방식이 적용될 수 있다.
오디오 장치(160)는 스피커(161) 및 마이크로폰(162)에 연결되어 음성 인식, 음성 복제, 디지털 레코딩 또는 통화 기능 등의 오디오 입력 및 출력 기능을 수행할 수 있다. 오디오 장치(160)는 사용자와 전자 장치(100) 사이의 오디오 인터페이스를 제공할 수 있으며, 프로세서(122)로부터 수신한 데이터 신호를 전기 신호로 변환하며 변환한 전기 신호를 스피커(161)를 통해 출력시킬 수 있다.
스피커(161)는 전기 신호를 가청 주파수 대역으로 변환하여 출력할 수 있고, 전자 장치(100)의 전방 또는 후방에 배치될 수 있다. 스피커(161)는 하나의 진동 필름에 적어도 하나의 압전체를 부착시킨 플렉서블한 필름 스피커를 포함할 수 있다.
마이크로폰(162)은 인물이나 기타 음원들로부터 전달된 음파를 전기 신호로 변환할 수 있다. 오디오 장치(160)는 마이크로폰(162)으로부터 전기 신호를 수신하고, 수신한 전기 신호를 오디오 데이터 신호로 변환하며 변환한 오디오 데이터 신호를 프로세서(122)로 전송할 수 있다. 오디오 장치(160)는 전자 장치(100)에 탈부착 가능한 이어폰, 이어셋, 헤드폰 또는 헤드셋을 포함할 수 있다.
외부 포트 장치(170)는 전자 장치(100)를 상대 전자 장치와 직접 연결하거나, 네트워크(예컨대, 인터넷, 인트라넷, 무선 LAN 등)를 통하여 상대 전자 장치와 간접적으로 연결할 수 있다. 외부 포트 장치(170)는 USB(Universal Serial Bus) 포트 또는 FIREWIRE 포트 등을 포함할 수 있다.
입출력 제어부(180)는 디스플레이 장치(190) 및 입력 장치(200) 등의 입출력 장치와 주변 장치 인터페이스(123) 사이에 인터페이스를 제공할 수 있다. 입출력 제어부(180)는 디스플레이 장치 제어기 및 기타 입력 장치 제어기를 포함할 수 있다.
디스플레이 장치(190)는 전자 장치(100)와 사용자 간의 입력 및 출력 인터페이스를 제공할 수 있다. 디스플레이 장치(190)는 터치 감지 기술을 적용하여 사용자의 터치 정보를 프로세서(122)로 전달하고, 프로세서(122)로부터 제공되는 시각 정보, 텍스트, 그래픽 또는 비디오 등을 사용자에게 보여줄 수 있다.
디스플레이 장치(190)는 전자 장치(100)의 상태 정보, 사용자가 입력하는 문자, 동화상(moving picture) 및 정화상(still picture)을 표시할 수 있다. 더하여, 디스플레이 장치(190)는 프로세서(122)에 의해 구동되는 어플리케이션 관련 정보를 표시할 수 있다. 이러한 디스플레이 장치(190)는 액정 디스플레이(Liquid Crystal Display, LCD), 유기 발광 다이오드(Organic Light-Emitting Diode, OLED), AMOLED(Active Mode Organic Light Emitting Diode), 박막 액정 디스플레이(Thin Film Transistor-Liquid Crystal Display, TFT-LCD), 플렉서블 디스플레이(Flexible Display), 3차원 디스플레이(3D display) 중 적어도 하나를 적용할 수 있다.
입력 장치(200)는 사용자의 선택에 의해 발생하는 입력 데이터를 입출력 제어부(180)를 통해 프로세서(122)로 제공할 수 있다. 입력 장치(200)는 적어도 하나의 하드웨어 버튼을 포함하는 키패드와 터치 정보를 감지하는 터치 패드를 포함할 수 있다.
입력 장치(200)는 볼륨 제어를 위한 업/다운 버튼을 포함할 수 있으며, 이 밖에도 입력 장치(200)는 해당 기능이 부여된 푸쉬 버튼(push botton), 로커 버튼(locker button), 로커(locker) 스위치, 섬 휠(thumb-wheel), 다이얼(dial), 스틱(stick), 마우스(mouse), 트랙볼(track-ball) 또는 스타일러스 등의 포인터 장치 중 적어도 하나를 포함할 수 있다.
메모리(110)는 하나 이상의 자기 디스크 저장 장치와 같은 고속 랜덤 액세스 메모리, 비휘발성 메모리, 하나 이상의 광 저장 장치 또는 플래시 메모리(예컨대, NAND, NOR)를 포함할 수 있다.
메모리(110)는 소프트웨어를 저장하는데, 이러한 소프트웨어는 운영 체제 모듈(111), 통신 모듈(112), 그래픽 모듈(113), 사용자 인터페이스 모듈(114), 코덱 모듈(115), 어플리케이션 모듈(116) 및 머리 제스처 운용 모듈(117)을 포함할 수 있다. 모듈(module)이란 용어는 명령어들의 집합, 명령어 세트(instruction set) 또는 프로그램(program)으로 표현하기도 한다.
운영 체제 모듈(111)은 WINDOWS, LINUX, 다윈(Darwin), RTXC, UNIX, OS X, 안드로이드(Android) 또는 VxWorks와 같은 내장 운영 체제를 포함할 수 있으며, 일반적인 시스템 작동(system operation)을 제어하는 여러 가지의 소프트웨어 구성요소를 포함할 수 있다. 이러한 일반적인 시스템 작동의 제어는 메모리 제어 및 관리, 저장 하드웨어(장치) 제어 및 관리, 전력 제어 및 관리 등을 포함할 수 있다. 더하여, 운영 체제 모듈(111)은 여러 가지의 하드웨어(장치)와 소프트웨어 구성요소(모듈) 사이의 통신을 원활하게 하는 기능을 수행할 수 있다.
통신 모듈(112)은 무선 통신 장치(150) 또는 외부 포트 장치(170)를 통해 컴퓨터, 서버 또는 전자 기기 등의 상대 전자 장치와 통신을 가능하게 할 수 있다.
그래픽 모듈(113)은 디스플레이 장치(190)에 그래픽을 제공하고 표시하기 위한 여러 가지 소프트웨어 구성요소를 포함할 수 있다. 그래픽(graphics)이란 용어는 텍스트(text), 웹 페이지(web page), 아이콘(icon), 디지털 이미지(digital image), 비디오(video) 또는 애니메이션(animation) 등을 의미할 수 있다.
사용자 인터페이스 모듈(114)은 사용자 인터페이스에 관련한 여러 가지 소프트웨어 구성요소를 포함할 수 있다. 사용자 인터페이스 모듈(114)은 프로세서(122)에 의해 구동되는 어플리케이션 관련 정보를 디스플레이 장치(190)에 표시하도록 제어할 수 있다. 또한, 사용자 인터페이스 모듈(114)은 사용자 인터페이스의 상태가 어떻게 변경되는지 또는 사용자 인터페이스 상태의 변경이 어떤 조건에서 이루어지는지 등에 대한 내용을 포함할 수 있다.
코덱 모듈(115)은 비디오 파일의 인코딩 및 디코딩 관련한 소프트웨어 구성요소를 포함할 수 있다.
어플리케이션 모듈(116)은 전자 장치(100)에 설치된 적어도 하나의 어플리케이션에 대한 소프트웨어 구성요소를 포함할 수 있다. 이러한 어플리케이션은 브라우저(browser), 이메일(e-mail), 폰북(Phone Book), 게임(Game), 단문 메시지 서비스(Short Message Service), 멀티미디어 메시지 서비스(Multimedia Messaging Service), SNS(Social Networking Service), 즉석 메시지(instant message), 모닝콜(morning call), MP3(MPEG Layer 3), 일정관리(Scheduler), 그림판, 카메라(Camera), 워드 프로세싱(word processing), 키보드 에뮬레이션(keyboard emulation), 음악 플레이어(music player), 어드레스 북(address book), 접촉 리스트(touch list), 위젯(wideget), 디지털 저작권 관리(DRM, Digital Right Management), 음성 인식(voice recognition), 음성 복제, 위치 결정 기능(position determining function), 위치 기반 서비스(location based service) 또는 사용자 인증 서비스 등을 포함할 수 있다. 어플리케이션(application)이란 용어는 응용프로그램으로 표현하기도 한다.
머리 제스처 운용 모듈(117)은 머리 제스처를 검출하기 위한 다양한 구성요소를 포함할 수 있다. 머리 제스처 운용 모듈(117)은 이미지 센서가 검출한 머리 제스처의 영상 패턴, 자이로 센서가 검출한 머리 제스처의 각속도 패턴 및 가속도 센서가 검출한 머리 제스처의 가속도 패턴 등에 대한 정보를 기저장된 머리 제스처의 패턴 정보와 비교할 수 있다. 또한, 머리 제스처 운용 모듈(117)은 상술한 영상 패턴, 각속도 패턴 및 가속도 패턴이 기준 영상 패턴, 기준 각속도 패턴 및 기준 가속도 패턴에 대응하는지 여부를 결정할 수 있다.
프로세서 유닛(120)은 상술한 모듈 이외에 추가적인 모듈(명령어들)을 더 포함할 수 있다.
전자 장치(100)의 다양한 기능들은 하나 이상의 프로세싱(processing) 또는 어플리케이션 특정 집적 회로(ASIC, Application Specific Integrated Circuit)를 포함하는 하드웨어 또는 소프트웨어로 실행될 수 있다.
미 도시하였으나, 전자 장치(100)는 전자 장치(100)에 포함된 여러 가지 구성요소에 전력을 공급하는 전력 시스템을 포함할 수 있다. 전력 시스템은 전원(power source)(교류 전원이나 배터리), 전력 오류 검출 회로, 전력 컨버터(converter), 전력 인버터(inverter), 충전 장치 또는 전력 상태 표시 장치(발광 다이오드)를 포함할 수 있다. 더하여 전자 장치(100)는 전력의 생성, 관리 및 분배 기능을 수행하는 전력 관리 및 제어 장치를 포함할 수 있다.
본 실시 예에서는 전자 장치(100)의 구성요소를 도시하고 설명하였으나 이에 국한되지는 않는다. 예컨대, 전자 장치(100)는 본 도면에서 도시한 것보다 많은 개수의 구성요소를 가지거나, 또는 더 적은 개수의 구성요소를 가질 수 있다.
또한, 전자 장치(100)가 사람의 신체에 착용될 수 있는 웨어러블 장치로 구현되는 경우, 그 구성요소들은 플렉서블하게 구성될 수 있다.
도 2는 본 발명의 일 실시 예에 따른 프로세서(122)의 블록 구성도이다.
도 2를 참고하면, 프로세서(122)는 영상 신호 처리부(210), 자이로 신호 처리부(220), 가속도 신호 처리부(230), 제1 트리거 신호 검출부(240), 제2 트리거 신호 검출부(250) 및 제스처 신호 검출부(260)를 포함할 수 있다. 예컨대, 자이로 신호 처리부(220) 및 가속도 신호 처리부(230)는 하나의 모듈로 구성될 수 있으며, 이러한 경우 제1 트리거 신호 검출부(240) 및 제2 트리거 신호 검출부(250) 또한 하나의 모듈로 구성될 수 있다.
일 실시 예에 따르면, 프로세서(122)의 구성요소들은 별개의 모듈들로 이루어질 수 있지만, 다른 실시 예에서는 하나의 모듈 내에서 소프트웨어의 구성요소들로서 포함될 수도 있다.
영상 신호 처리부(210)는 이미지 센서 모듈(270)로부터 다수의 영상 정보(혹은 영상 패턴)를 제공받아 영상 신호를 생성할 수 있다. 예컨대, 영상 신호 처리부(210)는 획득한 영상 패턴이 기설정된 기준 영상 패턴에 대응하는지 여부를 결정할 수 있다.
일 실시 예에 따르면, 영상 신호 처리부(210)는 이미지 센서 모듈(270)을 통해 획득한 사용자의 이미지에서 얼굴 움직임을 추출하기 위한 적어도 하나의 소프트웨어 구성요소를 포함할 수 있다. 예컨대, 영상 신호 처리부(210)는 이미지 센서 모듈(270)을 통해 획득한 사용자의 얼굴 이미지에서 사용자의 눈의 위치를 추출할 수 있다. 영상 신호 처리부(210)는 사용자의 눈의 위치 변화를 고려하여 사용자의 얼굴 움직임(혹은 얼굴 패턴)을 추정할 수 있다.
다른 실시 예에 따르면, 영상 신호 처리부(210)는 이미지 센서 모듈(270)을 통해 획득한 사용자의 이미지에서 적어도 하나의 특징점을 추출할 수 있다. 영상 신호 처리부(210)는 얼굴 이미지에 포함된 적어도 하나의 특징점의 변화를 고려하여 사용자의 얼굴 움직임을 추정할 수 있다. 여기서, 얼굴 움직임은 도 3a와 같은 얼굴 중심을 앞/뒤로 이동하는 동작, 도 3b와 같은 얼굴 방향을 좌/우로 변경하는 동작 및 도 3c와 같은 얼굴 중심을 좌/우로 이동하는 동작 등을 포함할 수 있다.
여기서, 영상 신호 처리부(210)는 이미지 센서 모듈(270)을 통해 사용자 얼굴의 일부분만을 획득할 수 있는 경우, 얼굴의 일부분만을 이용하여 전체 얼굴 이미지를 추정할 수 있다. 예컨대, 영상 신호 처리부(210)는 메모리(110)에 미리 저장된 사용자의 다른 얼굴 이미지와 이미지 센서 모듈(270)을 통해 획득한 사용자 얼굴의 일부 이미지를 비교하여 전체 얼굴 이미지를 추정할 수 있다. 다른 예를 들어, 영상 신호 처리부(210)는 이미지 센서 모듈(270)을 통해 획득한 사용자 얼굴의 일부 이미지에서 검출한 얼굴 형태 및 크기를 고려하여 전체 얼굴 이미지를 추정할 수도 있다.
또 다른 예를 들어, 영상 신호 처리부(210)는 이미지 센서 모듈(270)을 통해 획득한 이미지에 대한 얼굴 인식을 통해 사용자 인증 또는 사용자의 연령대를 추정할 수도 있다. 영상 신호 처리부(210)는 이미지 센서 모듈(270)을 통해 획득한 이미지에 대한 밝기, 움직임, 색상, 눈 위치 등의 정보를 이용하여 얼굴 영역을 추출하고, 얼굴 영역에 포함된 눈, 코, 입과 같은 얼굴의 특징점들을 검출할 수 있다. 이후, 영상 신호 처리부(210)는 이미지에 포함된 특징점의 위치, 크기 및 특징점들 사이의 거리와 메모리(110)에 저장된 기준 영상 정보와 비교하여 사용자 인증 또는 사용자의 연령대를 추정할 수 있다.
다양한 실시 예에 따르면, 영상 신호 처리부(210)는 이미지 센서 모듈(270)을 통하여 영상 데이터뿐만 아니라 영상 데이터의 초점에 대한 정보를 획득할 수 있다. 예컨대, 영상 신호 처리부(210)는 이미지 센서 모듈(270)을 통해 획득한 영상 패턴의 제1 시간, 제2 시간 및 제3 시간의 초점의 존재 여부가 제1 시간, 제2 시간 및 제3 시간의 기준 초점 존재와 대응하는지 여부를 결정할 수 있다.
전자 장치(100)는 이러한 초점 정보를 통하여 사용자의 머리 제스처가 직관적인 머리 제스처인지 또는 의도를 가진 머리 제스처인지를 구별할 수 있을 것이다. 그러나 이에 국한되지는 않으며, 전자 장치(100)는 다양한 영상 정보를 이용할 수 있을 것이다.
자이로 신호 처리부(220)는 자이로 센서 모듈(280)로부터 사용자의 머리 제스처에 대한 각속도 패턴 정보를 제공받아 자이로 신호를 생성할 수 있다.
일 실시 예에 따르면, 자이로 신호 처리부(220)는 사용자의 머리 제스처, 예컨대, 도 3a와 같은 얼굴 중심을 앞/뒤로 이동하는 동작, 도 3b와 같은 얼굴 방향을 좌/우로 변경하는 동작 및 도 3c와 같은 얼굴 중심을 좌/우로 이동하는 동작 등에 대한 각속도 변화량을 추출할 수 있다. 자이로 신호 처리부(220)는 이러한 각속도 패턴 정보를 메모리(110)에 기저장된 기준 각속도 패턴과 비교하여, 획득한 각속도 패턴이 기설정된 기준 각속도 패턴에 대응하는지 여부를 결정할 수 있다.
가속도 신호 처리부(230)는 가속도 센서 모듈(290)로부터 사용자의 머리 제스처에 대한 가속도 패턴 정보를 제공받아 가속도 신호를 생성할 수 있다.
일 실시 예에 따르면, 가속도 신호 처리부(230)는 사용자의 머리 제스처, 예컨대, 도 3a와 같은 얼굴 중심을 앞/뒤로 이동하는 동작, 도 3b와 같은 얼굴 방향을 좌/우로 변경하는 동작 및 도 3c와 같은 얼굴 중심을 좌/우로 이동하는 동작 등에 대한 가속도 변화량을 추출할 수 있다. 가속도 신호 처리부(230)는 이러한 가속도 패턴 정보를 메모리(110)에 기저장된 기준 가속도 패턴과 비교하여, 획득한 가속도 패턴이 기설정된 기준 가속도 패턴에 대응하는지 여부를 결정할 수 있다.
제1 트리거 신호 검출부(240)는 자이로 신호 처리부(220)로부터 생성된 자이로 신호에서 머리 제스처에 대응하는 제1 트리거 신호를 검출할 수 있다. 제1 트리거 신호 검출부(240)는 검출한 제1 트리거 신호를 제스처 신호 검출부(260)로 제공할 수 있다.
제2 트리거 신호 검출부(250)는 가속도 신호 처리부(230)로부터 생성된 가속도 신호에서 머리 제스처에 대응하는 제2 트리거 신호를 검출할 수 있다. 제2 트리거 신호 검출부(250)는 검출한 제2 트리거 신호를 제스처 신호 검출부(260)로 제공할 수 있다.
일 실시 예에 따른 제스처 신호 검출부(260)는 제1 트리거 신호 검출부(240) 및 제2 트리거 신호 검출부(250)로부터 제공받은 제1 트리거 신호 및 제2 트리거 신호를 이용하여 제스처 신호 검출 영역을 설정하고, 설정된 제스처 신호 검출 영역에서 대응하는 제스처 신호를 검출할 수 있다. 또한, 이러한 방법을 통해 제스처 신호뿐만 아니라 종료 신호를 검출할 수도 있다. 즉, 제스처 신호 검출부(260)는 획득한 트리거 신호 및 종료 신호를 통하여 제스처 신호 검출의 시작과 끝을 제어할 수 있다.
다른 실시 예에 따르면, 제스처 신호 검출부(260)는 각 개별 모듈에서 제공받은 다수의 신호를 사용할 수 있고, 또는 단독 개별 신호를 사용하여 제스처 신호를 검출할 수도 있을 것이다. 더하여, 제스처 신호 검출부(260)는 제스처 인식결과에 따라 대응되는 제어명령을 생성하여 입출력 제어부(180)를 통해 출력할 수 있다.
본 실시 예에 따르면, 전자 장치(100)는 사용자의 머리 제스처에 대한 각속도 패턴 및 가속도 패턴을 획득하기 위한 각속도 센서 및 가속도 센서를 전자 장치(100)의 대칭 구조로 구비할 수 있다. 예를 들어, 안경 디바이스의 경우에는 귀걸이 양쪽 부분에 각각 각속도 센서 및 가속도 센서가 설치될 수 있다. 이러한 경우, 전자 장치(100)는 각속도 센서 및 가속도 센서가 하나일 때보다 더 정확한 각속도 및 가속도 정보를 획득할 수 있을 것이다. 그러나 이에 국한되지는 않으며, 이러한 대칭 구조는 다양한 웨어러블 장치에 적용 가능할 것이다.
본 실시 예에서는 프로세서(122)의 구성요소를 도시하고 설명하였으나 이에 국한되지는 않는다. 예컨대, 프로세서(122)는 본 도면에서 도시한 것보다 많은 개수의 구성요소를 가지거나, 또는 더 적은 개수의 구성요소를 가질 수 있다.
도 4a 및 도 4b는 본 발명의 일 실시 예에 따른 머리 제스처에 대한 각각의 패턴 정보를 설명하는 참조도이다.
도 4a를 참고하면, 전자 장치(100)는 사용자의 움직임에 대한 각각의 패턴 정보를 이용하여 해당하는 제스처를 검출할 수 있다.
일 실시 예에 따르면, 전자 장치(100)는 사용자의 머리 제스처, 예컨대, 도 3a와 같은 얼굴 중심을 앞/뒤로 이동하는 동작을 인식하여 그에 따른 각속도 패턴, 가속도 패턴, 영상 패턴 또는 영상 패턴의 초점 존재 여부를 결정할 수 있다. 이러한 경우, 전자 장치(100)는 사용자의 머리 제스처가 긍정을 의미하는 제스처인지 또는 인사를 의미하는 제스처인지를 도 4b에 도시한 바와 같은 패턴 매핑 결과를 통하여 확인할 수 있다.
도 4b를 참고하면, 전자 장치(100)는 사용자의 긍정 제스처를 자이로 센서로부터 수신한 각속도 패턴 및 가속도 센서로부터 수신한 가속도 패턴을 통하여 구분할 수 있다. 예컨대, 사용자가 긍정 제스처를 수행하는 경우 긍정 제스처에 대한 각속도 패턴 신호는 Z축 신호의 진폭이 커지며, 정현파 패턴을 보이게 된다. 또한 X축 및 Y축 신호는 Z축 신호의 진폭을 넘지 못하며 -180°부터 시작되는 Sine파형을 그릴 수 있다. 더하여, 긍정 제스처에 대한 가속도 패턴 신호는 X축 신호의 진폭이 커지며, 음수 값을 가질 수도 있다.
또한, 사용자가 부정 제스처를 수행하는 경우 부정 제스처에 대한 각속도 패턴 신호는 Y축 신호의 진폭이 커지며, 정현파 패턴을 보이게 된다. 또한 X축 및 Y축 신호는 Y축 신호의 진폭을 넘지 못한다. 더하여, 부정 제스처에 대한 가속도 패턴 신호는 Z축 신호의 진폭이 커지며, 음수값을 가질 수도 있다.
상술한 바와 같이, 전자 장치(100)는 사용자의 머리 제스처에 대한 각각의 패턴 정보를 획득하고, 이러한 패턴 정보를 미리 저장된 각각의 패턴 신호와 매핑하는 방식으로 해당 제스처의 의도를 인식할 수 있다. 더하여, 전자 장치(100)는 획득한 영상 정보의 초점 존재 여부를 결정하고 기준 초점 존재 여부와 대응하는지 결정할 수 있다. 예컨대, 전자 장치(100)는 영상 패턴의 제1 시간, 제2 시간 및 제3 시간의 초점의 존재 여부가 제1 시간, 제2 시간 및 제3 시간의 기준 초점 존재와 대응하는지 여부를 결정할 수 있다. 즉, 도 3a와 같은 사용자가 머리를 위 또는 아래 방향으로 움직이는 경우, 긍정을 의미할 때의 머리 제스처와 인사를 할 때의 머리 제스처에 대한 각각의 영상 패턴의 초점 존재 여부가 달라질 것이다.
따라서, 전자 장치(100)는 상술된 다양한 패턴 정보를 통하여 머리 제스처에 대한 의도를 파악할 수 있을 것이다.
본 도면에서는 도 3a와 같은 얼굴 중심을 앞/뒤로 이동하는 동작, 도 3b와 같은 얼굴 방향을 좌/우로 변경하는 동작 및 도 3c와 같은 얼굴 중심을 좌/우로 이동하는 동작에 대한 머리 제스처의 패턴 요소를 설명하였으나 이에 국한되지는 않는다. 예컨대, 상술한 움직임 외에도 다양한 움직임이 적용될 수 있으며 그에 따른 각각의 기준 패턴이 설정될 수 있을 것이다. 또한, 사용자에 대한 개인차에 따라 기설정되는 기준 패턴이 달라질 수 있으며, 이러한 기준 패턴이 머리 제스처의 패턴 정보와 일정비율 이상 부합하는 경우를 판단할 수 있을 것이다.
도 5는 본 발명의 일 실시 예에 따른 전자 장치(100)의 동작 방법에 대한 흐름도이다.
도 5를 참고하면, 전자 장치(100)는 500동작에서 사용자의 머리 제스처를 검출할 수 있다. 여기서, 머리 제스처는 도 3a와 같은 얼굴 중심을 앞/뒤로 이동하는 동작, 도 3b와 같은 얼굴 방향을 좌/우로 변경하는 동작 및 도 3c와 같은 얼굴 중심을 좌/우로 이동하는 동작 등을 포함할 수 있다.
일 실시 예에 따르면, 전자 장치(100)는 이미지 센서, 자이로 센서 및 가속도 센서를 통하여 머리 제스처에 대한 영상 패턴, 각속도 패턴 및 가속도 패턴을 획득할 수 있다.
전자 장치(100)의 영상 신호 처리부(210)는 이미지 센서 모듈(270)로부터 다수의 영상 정보(혹은 영상 패턴)를 제공받아 영상 신호를 생성할 수 있다. 예컨대, 영상 신호 처리부(210)는 획득한 영상 패턴이 기설정된 기준 영상 패턴에 대응하는지 여부를 결정할 수 있다.
일 실시 예에 따르면, 영상 신호 처리부(210)는 이미지 센서 모듈(270)을 통해 획득한 사용자의 이미지에서 얼굴 움직임을 추출하기 위한 적어도 하나의 소프트웨어 구성요소를 포함할 수 있다. 예컨대, 영상 신호 처리부(210)는 이미지 센서 모듈(270)을 통해 획득한 사용자의 얼굴 이미지에서 사용자의 눈의 위치를 추출할 수 있다. 영상 신호 처리부(210)는 사용자의 눈의 위치 변화를 고려하여 사용자의 얼굴 움직임(혹은 얼굴 패턴)을 추정할 수 있다.
다른 실시 예에 따르면, 영상 신호 처리부(210)는 이미지 센서 모듈(270)을 통해 획득한 사용자의 이미지에서 적어도 하나의 특징점을 추출할 수 있다. 영상 신호 처리부(210)는 얼굴 이미지에 포함된 적어도 하나의 특징점의 변화를 고려하여 사용자의 얼굴 움직임을 추정할 수 있다. 여기서, 얼굴 움직임은 도 3a와 같은 얼굴 중심을 앞/뒤로 이동하는 동작, 도 3b와 같은 얼굴 방향을 좌/우로 변경하는 동작 및 도 3c와 같은 얼굴 중심을 좌/우로 이동하는 동작 등을 포함할 수 있다.
여기서, 영상 신호 처리부(210)는 이미지 센서 모듈(270)을 통해 사용자 얼굴의 일부분만을 획득할 수 있는 경우, 얼굴의 일부분만을 이용하여 전체 얼굴 이미지를 추정할 수 있다. 예컨대, 영상 신호 처리부(210)는 메모리(110)에 미리 저장된 사용자의 다른 얼굴 이미지와 이미지 센서 모듈(270)을 통해 획득한 사용자 얼굴의 일부 이미지를 비교하여 전체 얼굴 이미지를 추정할 수 있다. 다른 예를 들어, 영상 신호 처리부(210)는 이미지 센서 모듈(270)을 통해 획득한 사용자 얼굴의 일부 이미지에서 검출한 얼굴 형태 및 크기를 고려하여 전체 얼굴 이미지를 추정할 수도 있다.
또 다른 예를 들어, 영상 신호 처리부(210)는 이미지 센서 모듈(270)을 통해 획득한 이미지에 대한 얼굴 인식을 통해 사용자 인증 또는 사용자의 연령대를 추정할 수도 있다. 영상 신호 처리부(210)는 이미지 센서 모듈(270)을 통해 획득한 이미지에 대한 밝기, 움직임, 색상, 눈 위치 등의 정보를 이용하여 얼굴 영역을 추출하고, 얼굴 영역에 포함된 눈, 코, 입과 같은 얼굴의 특징점들을 검출할 수 있다. 이후, 영상 신호 처리부(210)는 이미지에 포함된 특징점의 위치, 크기 및 특징점들 사이의 거리와 메모리(110)에 저장된 기준 영상 정보와 비교하여 사용자 인증 또는 사용자의 연령대를 추정할 수 있다.
다양한 실시 예에 따르면, 영상 신호 처리부(210)는 이미지 센서 모듈(270)을 통하여 영상 데이터뿐만 아니라 영상 데이터의 초점에 대한 정보를 획득할 수 있다. 예컨대, 전자 장치(100)는 이러한 초점 정보를 통하여 사용자의 머리 제스처가 직관적인 머리 제스처인지 또는 의도를 가진 머리 제스처인지를 구별할 수 있을 것이다. 그러나 이에 국한되지는 않으며, 전자 장치(100)는 다양한 영상 정보를 이용할 수 있을 것이다.
전자 장치(100)의 자이로 신호 처리부(220)는 자이로 센서 모듈(280)로부터 사용자의 머리 제스처에 대한 각속도 패턴 정보를 제공받아 자이로 신호를 생성할 수 있다.
일 실시 예에 따르면, 자이로 신호 처리부(220)는 사용자의 머리 제스처, 예컨대, 도 3a와 같은 얼굴 중심을 앞/뒤로 이동하는 동작, 도 3b와 같은 얼굴 방향을 좌/우로 변경하는 동작 및 도 3c와 같은 얼굴 중심을 좌/우로 이동하는 동작 등에 대한 각속도 변화량을 추출할 수 있다. 자이로 신호 처리부(220)는 이러한 각속도 패턴 정보를 메모리(110)에 기저장된 기준 각속도 패턴과 비교하여, 획득한 각속도 패턴이 기설정된 기준 각속도 패턴에 대응하는지 여부를 결정할 수 있다.
또한, 전자 장치(100)의 가속도 신호 처리부(230)는 가속도 센서 모듈(290)로부터 사용자의 머리 제스처에 대한 가속도 패턴 정보를 제공받아 가속도 신호를 생성할 수 있다.
일 실시 예에 따르면, 가속도 신호 처리부(230)는 사용자의 머리 제스처, 예컨대, 도 3a와 같은 얼굴 중심을 앞/뒤로 이동하는 동작, 도 3b와 같은 얼굴 방향을 좌/우로 변경하는 동작 및 도 3c와 같은 얼굴 중심을 좌/우로 이동하는 동작 등에 대한 가속도 변화량을 추출할 수 있다. 가속도 신호 처리부(230)는 이러한 가속도 패턴 정보를 메모리(110)에 기저장된 기준 가속도 패턴과 비교하여, 획득한 가속도 패턴이 기설정된 기준 가속도 패턴에 대응하는지 여부를 결정할 수 있다.
그 다음, 전자 장치(100)는 510동작에서 머리 제스처가 기준 제스처에 대응하는지 여부를 결정할 수 있다.
일 실시 예에 따르면, 전자 장치(100)는 획득한 머리 제스처의 패턴 정보를 도 4a와 같은 기준 매핑 정보와 비교하여 대응 여부를 결정할 수 있다.
머리 제스처가 기준 제스처에 대응하는 경우, 전자 장치(100)는 520동작에서 기준 제스처에 대응하는 기능을 수행할 수 있다. 예컨대, 전자 장치(100)는 기준 제스처에 대응하는 사용자 인터페이스를 수행하거나 해당 명령어를 입력할 수 있다.
본 실시 예에서는 도 3a와 같은 얼굴 중심을 앞/뒤로 이동하는 동작, 도 3b와 같은 얼굴 방향을 좌/우로 변경하는 동작 및 도 3c와 같은 얼굴 중심을 좌/우로 이동하는 동작에 대한 머리 제스처의 패턴 요소를 설명하였으나 이에 국한되지는 않는다. 예컨대, 상술한 움직임 외에도 다양한 움직임이 적용될 수 있으며 그에 따른 각각의 기준 패턴이 설정될 수 있을 것이다. 또한, 사용자에 대한 개인차에 따라 기설정되는 기준 패턴이 달라질 수 있으며, 이러한 기준 패턴이 머리 제스처의 패턴 정보와 일정비율 이상 부합하는 경우를 판단할 수 있을 것이다.
본 실시 예에 따르면, 전자 장치(100)는 사용자의 머리 제스처에 대한 각속도 패턴 및 가속도 패턴을 획득하기 위한 각속도 센서 및 가속도 센서를 전자 장치(100)의 대칭 구조로 구비할 수 있다. 예를 들어, 안경 디바이스의 경우에는 귀걸이 양쪽 부분에 각각 각속도 센서 및 가속도 센서가 설치될 수 있다. 이러한 경우, 전자 장치(100)는 각속도 센서 및 가속도 센서가 하나일 때보다 더 정확한 각속도 및 가속도 정보를 획득할 수 있을 것이다. 그러나 이에 국한되지는 않으며, 이러한 대칭 구조는 다양한 웨어러블 장치에 적용 가능할 것이다.
이러한 각 동작에 대한 명령어 세트는 상술한 메모리(110)에 하나 이상의 모듈로 저장될 수 있다. 이 경우, 메모리(110)에 저장되어 있는 모듈은 하나 이상의 프로세서(122)에 의하여 실행될 수 있다.
도 6은 본 발명의 다른 실시 예에 따른 전자 장치(100)의 동작 방법에 대한 흐름도이다.
도 6을 참고하면, 전자 장치(100)는 600동작에서 움직임 감지 여부를 결정할 수 있다. 예컨대, 전자 장치(100)는 가속도 센서 또는 자이로 센서를 통하여 전자 장치(100)의 흔들림을 감지할 수 있다.
움직임을 감지한 경우, 전자 장치(100)는 610동작에서 이미지 센서, 자이로 센서 및 가속도 센서를 통하여 움직임에 대한 영상 패턴, 각속도 패턴, 가속도 패턴을 검출할 수 있다.
전자 장치(100)의 영상 신호 처리부(210)는 이미지 센서 모듈(270)로부터 다수의 영상 정보(혹은 영상 패턴)를 제공받아 영상 신호를 생성할 수 있다. 예컨대, 영상 신호 처리부(210)는 획득한 영상 패턴이 기설정된 기준 영상 패턴에 대응하는지 여부를 결정할 수 있다.
일 실시 예에 따르면, 영상 신호 처리부(210)는 이미지 센서 모듈(270)을 통해 획득한 사용자의 이미지에서 얼굴 움직임을 추출하기 위한 적어도 하나의 소프트웨어 구성요소를 포함할 수 있다. 예컨대, 영상 신호 처리부(210)는 이미지 센서 모듈(270)을 통해 획득한 사용자의 얼굴 이미지에서 사용자의 눈의 위치를 추출할 수 있다. 영상 신호 처리부(210)는 사용자의 눈의 위치 변화를 고려하여 사용자의 얼굴 움직임(혹은 얼굴 패턴)을 추정할 수 있다.
다른 실시 예에 따르면, 영상 신호 처리부(210)는 이미지 센서 모듈(270)을 통해 획득한 사용자의 이미지에서 적어도 하나의 특징점을 추출할 수 있다. 영상 신호 처리부(210)는 얼굴 이미지에 포함된 적어도 하나의 특징점의 변화를 고려하여 사용자의 얼굴 움직임을 추정할 수 있다. 여기서, 얼굴 움직임은 도 3a와 같은 얼굴 중심을 앞/뒤로 이동하는 동작, 도 3b와 같은 얼굴 방향을 좌/우로 변경하는 동작 및 도 3c와 같은 얼굴 중심을 좌/우로 이동하는 동작 등을 포함할 수 있다.
여기서, 영상 신호 처리부(210)는 이미지 센서 모듈(270)을 통해 사용자 얼굴의 일부분만을 획득할 수 있는 경우, 얼굴의 일부분만을 이용하여 전체 얼굴 이미지를 추정할 수 있다. 예컨대, 영상 신호 처리부(210)는 메모리(110)에 미리 저장된 사용자의 다른 얼굴 이미지와 이미지 센서 모듈(270)을 통해 획득한 사용자 얼굴의 일부 이미지를 비교하여 전체 얼굴 이미지를 추정할 수 있다. 다른 예를 들어, 영상 신호 처리부(210)는 이미지 센서 모듈(270)을 통해 획득한 사용자 얼굴의 일부 이미지에서 검출한 얼굴 형태 및 크기를 고려하여 전체 얼굴 이미지를 추정할 수도 있다.
또 다른 예를 들어, 영상 신호 처리부(210)는 이미지 센서 모듈(270)을 통해 획득한 이미지에 대한 얼굴 인식을 통해 사용자 인증 또는 사용자의 연령대를 추정할 수도 있다. 영상 신호 처리부(210)는 이미지 센서 모듈(270)을 통해 획득한 이미지에 대한 밝기, 움직임, 색상, 눈 위치 등의 정보를 이용하여 얼굴 영역을 추출하고, 얼굴 영역에 포함된 눈, 코, 입과 같은 얼굴의 특징점들을 검출할 수 있다. 이후, 영상 신호 처리부(210)는 이미지에 포함된 특징점의 위치, 크기 및 특징점들 사이의 거리와 메모리(110)에 저장된 기준 영상 정보와 비교하여 사용자 인증 또는 사용자의 연령대를 추정할 수 있다.
다양한 실시 예에 따르면, 영상 신호 처리부(210)는 이미지 센서 모듈(270)을 통하여 영상 데이터뿐만 아니라 영상 데이터의 초점에 대한 정보를 획득할 수 있다. 예컨대, 전자 장치(100)는 이러한 초점 정보를 통하여 사용자의 머리 제스처가 직관적인 머리 제스처인지 또는 의도를 가진 머리 제스처인지를 구별할 수 있을 것이다. 그러나 이에 국한되지는 않으며, 전자 장치(100)는 다양한 영상 정보를 이용할 수 있을 것이다.
전자 장치(100)의 자이로 신호 처리부(220)는 자이로 센서 모듈(280)로부터 사용자의 머리 제스처에 대한 각속도 패턴 정보를 제공받아 자이로 신호를 생성할 수 있다.
일 실시 예에 따르면, 자이로 신호 처리부(220)는 사용자의 머리 제스처, 예컨대, 도 3a와 같은 얼굴 중심을 앞/뒤로 이동하는 동작, 도 3b와 같은 얼굴 방향을 좌/우로 변경하는 동작 및 도 3c와 같은 얼굴 중심을 좌/우로 이동하는 동작 등에 대한 각속도 변화량을 추출할 수 있다. 자이로 신호 처리부(220)는 이러한 각속도 패턴 정보를 메모리(110)에 기저장된 기준 각속도 패턴과 비교하여, 획득한 각속도 패턴이 기설정된 기준 각속도 패턴에 대응하는지 여부를 결정할 수 있다.
또한, 전자 장치(100)의 가속도 신호 처리부(230)는 가속도 센서 모듈(290)로부터 사용자의 머리 제스처에 대한 가속도 패턴 정보를 제공받아 가속도 신호를 생성할 수 있다.
일 실시 예에 따르면, 가속도 신호 처리부(230)는 사용자의 머리 제스처, 예컨대, 도 3a와 같은 얼굴 중심을 앞/뒤로 이동하는 동작, 도 3b와 같은 얼굴 방향을 좌/우로 변경하는 동작 및 도 3c와 같은 얼굴 중심을 좌/우로 이동하는 동작 등에 대한 가속도 변화량을 추출할 수 있다. 가속도 신호 처리부(230)는 이러한 가속도 패턴 정보를 메모리(110)에 기저장된 기준 가속도 패턴과 비교하여, 획득한 가속도 패턴이 기설정된 기준 가속도 패턴에 대응하는지 여부를 결정할 수 있다.
그 다음, 전자 장치(100)는 620동작에서 검출된 영상 패턴, 각속도 패턴 및 가속도 패턴에 대응하는 기준 제스처가 있는지 여부를 결정할 수 있다.
일 실시 예에 따르면, 전자 장치(100)는 움직임에 대한 패턴 정보를 도 4a와 같은 기준 매핑 정보와 비교하여 대응 여부를 결정할 수 있다.
검출된 영상 패턴, 각속도 패턴 및 가속도 패턴에 대응하는 기준 제스처가 존재하는 경우, 전자 장치(100)는 630동작에서 기준 제스처에 대응하는 사용자 인터페이스를 수행할 수 있다. 예컨대, 전자 장치(100)는 기준 제스처에 대응하는 명령어를 입력할 수 있다.
본 실시 예에서는 도 3a와 같은 얼굴 중심을 앞/뒤로 이동하는 동작, 도 3b와 같은 얼굴 방향을 좌/우로 변경하는 동작 및 도 3c와 같은 얼굴 중심을 좌/우로 이동하는 동작에 대한 머리 제스처의 패턴 요소를 설명하였으나 이에 국한되지는 않는다. 예컨대, 상술한 움직임 외에도 다양한 움직임이 적용될 수 있으며 그에 따른 각각의 기준 패턴이 설정될 수 있을 것이다. 또한, 사용자에 대한 개인차에 따라 기설정되는 기준 패턴이 달라질 수 있으며, 이러한 기준 패턴이 머리 제스처의 패턴 정보와 일정비율 이상 부합하는 경우를 판단할 수 있을 것이다.
본 실시 예에 따르면, 전자 장치(100)는 사용자의 머리 제스처에 대한 각속도 패턴 및 가속도 패턴을 획득하기 위한 각속도 센서 및 가속도 센서를 전자 장치(100)의 대칭 구조로 구비할 수 있다. 예를 들어, 안경 디바이스의 경우에는 귀걸이 양쪽 부분에 각각 각속도 센서 및 가속도 센서가 설치될 수 있다. 이러한 경우, 전자 장치(100)는 각속도 센서 및 가속도 센서가 하나일 때보다 더 정확한 각속도 및 가속도 정보를 획득할 수 있을 것이다. 그러나 이에 국한되지는 않으며, 이러한 대칭 구조는 다양한 웨어러블 장치에 적용 가능할 것이다.
이러한 각 동작에 대한 명령어 세트는 상술한 메모리(110)에 하나 이상의 모듈로 저장될 수 있다. 이 경우, 메모리(110)에 저장되어 있는 모듈은 하나 이상의 프로세서(122)에 의하여 실행될 수 있다.
도 7은 본 발명의 또 다른 실시 예에 따른 전자 장치(100)의 동작 방법에 대한 흐름도이다.
도 7을 참고하면, 전자 장치(100)는 700동작에서 움직임 감지 여부를 결정할 수 있다. 예컨대, 전자 장치(100)는 가속도 센서 또는 자이로 센서를 통하여 전자 장치(100)의 흔들림을 감지할 수 있다.
그 다음, 전자 장치(100)는 710동작에서 자이로 센서 모듈 및 가속도 센서 모듈을 통하여 트리거 신호를 검출할 수 있다.
일 실시 예에 따르면, 전자 장치(100)는 트리거 신호의 검출을 위해 미리 설정된 움직임에 대한 패턴 매핑이 입력된 패턴 신호와 일치하는 경우, 트리거 신호를 검출하게 되고, 이 트리거 신호를 이용하여 제스처 신호를 검출할 수 있다.
그 다음, 전자 장치(100)는 720동작에서 트리거 신호에 따른 제스처 신호 검출 영역을 결정할 수 있다.
그 다음, 전자 장치(100)는 730동작에서 결정된 제스처 신호 검출 영역을 분석할 수 있다.
일 실시 예에 따르면, 전자 장치(100)는 결정된 제스처 신호 검출 영역만을 분석하므로 전체 신호처리량이 감소하여 빠른 처리가 가능해진다. 또한, 영상 데이터의 초점이 맞는지 여부에 따라 제스처 신호가 직관적인 제스처인지 또는 의도를 가진 제스처인지 구별할 수 있다.
그 다음, 전자 장치(100)는 740동작에서 제스처 인식결과에 따라 대응하는 사용자 인터페이스를 수행할 수 있다. 예컨대, 전자 장치(100)는 기준 제스처에 대응하는 명령어를 입력할 수 있다.
다양한 실시 예에 따르면, 전자 장치(100)는 머리 제스처의 패턴 정보와 더불어 음성 패턴 또는 다른 제스처 입력을 통하여 다양한 기능을 수행할 수 있을 것이다.
이러한 각 동작에 대한 명령어 세트는 상술한 메모리(110)에 하나 이상의 모듈로 저장될 수 있다. 이 경우, 메모리(110)에 저장되어 있는 모듈은 하나 이상의 프로세서(122)에 의하여 실행될 수 있다.
본 발명의 청구항 또는 명세서에 기재된 실시 예들에 따른 방법들은 하드웨어, 소프트웨어 또는 하드웨어와 소프트웨어의 조합의 형태로 구현될 수 있다.
소프트웨어로 구현하는 경우, 하나 이상의 프로그램(소프트웨어 모듈)을 저장하는 컴퓨터 판독 가능 저장 매체가 제공될 수 있다. 컴퓨터 판독 가능 저장 매체에 저장되는 하나 이상의 프로그램은, 전자 장치(100) 내의 하나 이상의 프로세서(122)에 의해 실행 가능하도록 구성된다. 하나 이상의 프로그램은, 전자 장치(100)로 하여금, 본 발명의 청구항 또는 명세서에 기재된 실시 예들에 따른 방법들을 실행하게 하는 명령어를 포함한다.
이러한 프로그램(소프트웨어 모듈, 소프트웨어)은 랜덤 액세스 메모리(random access memory), 플래시(flash) 메모리를 포함하는 불휘발성(non-volatile) 메모리, 롬(ROM, Read Only Memory), 전기적 삭제가능 프로그램가능 롬(EEPROM, Electrically Erasable Programmable Read Only Memory), 자기 디스크 저장 장치(magnetic disc storage device), 컴팩트 디스크 롬(CD-ROM, Compact Disc-ROM), 디지털 다목적 디스크(DVDs, Digital Versatile Discs) 또는 다른 형태의 광학 저장 장치, 마그네틱 카세트(magnetic cassette)에 저장될 수 있다. 또는, 이들의 일부 또는 전부의 조합으로 구성된 메모리에 저장될 수 있다. 또한, 각각의 구성 메모리는 다수 개 포함될 수도 있다.
또한, 전자 장치(100)에 인터넷(Internet), 인트라넷(Intranet), LAN(Local Area Network), WLAN(Wide LAN), 또는 SAN(Storage Area Network)과 같은 통신 네트워크 또는 이들의 조합으로 구성된 통신 네트워크를 통하여 접근(access)할 수 있는 부착 가능한(attachable) 저장 장치(storage device)에 저장될 수 있다. 이러한 저장 장치는 외부 포트를 통하여 전자 장치(100)에 접속할 수 있다.
또한, 통신 네트워크상의 별도의 저장 장치가 휴대용 전자 장치(100)에 접속할 수도 있다.
분명히, 청구항들의 범위 내에 있으면서 이러한 실시 예들을 변형할 수 있는 다양한 방식들이 있다. 다시 말하면, 이하 청구항들의 범위를 벗어남 없이 본 발명을 실시할 수 있는 다양한 방식들이 있을 것이다.
100: 전자 장치 210: 영상 신호 처리부
220: 자이로 신호 처리부 230: 가속도 신호 처리부
240: 제1 트리거 신호 검출부 250: 제2 트리거 신호 검출부
260: 제스처 신호 검출부 270: 이미지 센서 모듈
280: 자이로 센서 모듈 290: 가속도 센서 모듈

Claims (17)

  1. 이미지 센서, 자이로 센서 및 가속도 센서를 포함하는 전자 장치의 동작 방법에 있어서,
    사용자의 머리 제스처를 검출하는 동작;
    상기 머리 제스처가 기준 제스처에 대응하는지 결정하는 동작; 및
    상기 머리 제스처가 상기 기준 제스처에 대응하는 경우, 상기 기준 제스처에 대응하는 기능을 수행하는 동작을 포함하고,
    상기 머리 제스처가 상기 기준 제스처에 대응하는지 여부는 상기 이미지 센서가 검출한 상기 머리 제스처의 영상 패턴, 상기 자이로 센서가 검출한 상기 머리 제스처의 각속도 패턴 및 상기 가속도 센서가 검출한 상기 머리 제스처의 가속도 패턴이 기준 영상 패턴, 기준 각속도 패턴 및 기준 가속도 패턴에 대응하는지 여부를 결정하는, 방법.
  2. 제 1항에 있어서,
    상기 머리 제스처가 상기 기준 제스처에 대응하는지 여부 판단에 있어, 상기 이미지 센서에 의한 상기 영상 패턴의 제1 시간, 제2 시간 및 제3 시간의 초점의 존재 여부가 상기 제1 시간, 상기 제2 시간 및 상기 제3 시간의 기준 초점 존재와 대응하는지 여부에 대한 결정을 추가로 포함하는 방법.
  3. 제 1항에 있어서,
    상기 머리 제스처는 상기 전자 장치에 대응되는 대칭 구조로 설치되는 상기 자이로 센서 및 상기 가속도 센서를 통하여 검출되는 것을 특징으로 하는 방법.
  4. 제 1항에 있어서,
    상기 전자 장치는 사용자의 신체 중 일부분에 탑재되는 것을 특징으로 하는 방법.
  5. 제 1항에 있어서,
    상기 기준 영상 패턴, 상기 기준 각속도 패턴 및 상기 기준 가속도 패턴 중 적어도 하나는 미리 설정되는 것을 특징으로 하는 방법.
  6. 제 1항에 있어서,
    상기 머리 제스처가 상기 기준 제스처에 대응한 것으로 결정한 경우, 상기 머리 제스처에 대한 트리거 신호를 검출하는 동작을 추가로 포함하는 방법.
  7. 제 6항에 있어서,
    상기 머리 제스처에 대한 상기 트리거 신호를 검출하는 동작 다음에,
    상기 트리거 신호에 따른 제스처 신호 검출 영역을 결정하는 동작을 더 포함하는 방법.
  8. 제 7항에 있어서,
    상기 제스처 신호 검출 영역을 분석하여 해당 제스처 인식결과에 대응하는 명령어를 입력하는 동작을 추가로 포함하는 방법.
  9. 전자 장치에 있어서,
    적어도 하나의 사용자 입력 모듈, 여기에서 상기 사용자 입력 모듈은 이미지 센서, 자이로 센서 및 가속도 센서를 포함하고;
    메모리; 및
    적어도 하나의 프로세서를 포함하고,
    상기 프로세서는,
    사용자의 머리 제스처를 검출하고,
    상기 머리 제스처가 기준 제스처에 대응하는지 결정하고, 여기에서 상기 머리 제스처가 상기 기준 제스처에 대응하는지 여부는 상기 이미지 센서가 검출한 상기 머리 제스처의 영상 패턴, 상기 자이로 센서가 검출한 상기 머리 제스처의 각속도 패턴 및 상기 가속도 센서가 검출한 상기 머리 제스처의 가속도 패턴이 기준 영상 패턴, 기준 각속도 패턴 및 기준 가속도 패턴에 대응하는지 여부를 결정하는,
    상기 머리 제스처가 상기 기준 제스처에 대응하는 경우, 상기 기준 제스처에 대응하는 기능을 수행하는 것을 특징으로 하는 전자 장치.
  10. 제 9항에 있어서,
    상기 프로세서는 상기 머리 제스처가 상기 기준 제스처에 대응하는지 여부 판단에 있어, 상기 이미지 센서에 의한 상기 영상 패턴의 제1 시간, 제2 시간 및 제3 시간의 초점의 존재 여부가 상기 제1 시간, 상기 제2 시간 및 상기 제3 시간의 기준 초점 존재와 대응하는지 여부에 대한 결정을 추가로 수행하는 전자 장치.
  11. 제 9항에 있어서,
    상기 사용자 입력 모듈은 상기 전자 장치에 대응되는 대칭 구조로 설치되는 전자 장치.
  12. 제 9항에 있어서,
    상기 전자 장치는 사용자의 신체 중 일부분에 탑재되는 전자 장치.
  13. 제 9항에 있어서,
    상기 프로세서는 상기 기준 영상 패턴, 상기 기준 각속도 패턴 및 상기 기준 가속도 패턴 중 적어도 하나를 미리 설정하는 전자 장치.
  14. 제 9항에 있어서,
    상기 프로세서는 상기 머리 제스처가 상기 기준 제스처에 대응한 것으로 결정한 경우, 상기 머리 제스처에 대한 트리거 신호를 검출하는 전자 장치.
  15. 제 14항에 있어서,
    상기 프로세서는 상기 머리 제스처에 대한 상기 트리거 신호를 검출한 이후에, 상기 트리거 신호에 따른 제스처 신호 검출 영역을 결정하는 전자 장치.
  16. 제 15항에 있어서,
    상기 프로세서는 상기 제스처 신호 검출 영역을 분석하여 해당 제스처 인식결과에 대응하는 명령어를 입력하는 전자 장치.
  17. 전자 장치에 의해 실행될 경우, 상기 전자 장치로 하여금 제 1항의 방법을 수행하도록 하는 명령어들을 포함하는 하나 이상의 프로그램을 저장한 비일시적인(non-transient) 컴퓨터 판독 가능 저장 매체.
KR20130125129A 2013-10-21 2013-10-21 사용자 인터페이스 운용 방법 및 그 전자 장치 KR20150045637A (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR20130125129A KR20150045637A (ko) 2013-10-21 2013-10-21 사용자 인터페이스 운용 방법 및 그 전자 장치
US14/489,617 US20150109200A1 (en) 2013-10-21 2014-09-18 Identifying gestures corresponding to functions

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR20130125129A KR20150045637A (ko) 2013-10-21 2013-10-21 사용자 인터페이스 운용 방법 및 그 전자 장치

Publications (1)

Publication Number Publication Date
KR20150045637A true KR20150045637A (ko) 2015-04-29

Family

ID=52825725

Family Applications (1)

Application Number Title Priority Date Filing Date
KR20130125129A KR20150045637A (ko) 2013-10-21 2013-10-21 사용자 인터페이스 운용 방법 및 그 전자 장치

Country Status (2)

Country Link
US (1) US20150109200A1 (ko)
KR (1) KR20150045637A (ko)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102302437B1 (ko) * 2014-02-18 2021-09-15 삼성전자주식회사 모션 센싱 방법 및 그 사용자 기기
CN105302021A (zh) * 2015-10-23 2016-02-03 哈尔滨工业大学 人机协作再制造中控制机器人运动的穿戴式手势控制装置
US10698068B2 (en) 2017-03-24 2020-06-30 Samsung Electronics Co., Ltd. System and method for synchronizing tracking points
US11029834B2 (en) * 2017-12-20 2021-06-08 International Business Machines Corporation Utilizing biometric feedback to allow users to scroll content into a viewable display area
DE102018206979A1 (de) 2018-05-04 2019-11-07 Sivantos Pte. Ltd. Verfahren zum Betrieb eines Hörgeräts und Hörgerät
US20200183415A1 (en) * 2018-12-10 2020-06-11 GM Global Technology Operations LLC System and method for control of an autonomous vehicle
DE102020209939A1 (de) * 2020-08-06 2022-02-10 Robert Bosch Gesellschaft mit beschränkter Haftung Vorrichtung und Verfahren zum Erkennen von Kopfgesten
CN117008711A (zh) * 2022-04-29 2023-11-07 华为技术有限公司 确定头部姿态的方法以及装置

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7391888B2 (en) * 2003-05-30 2008-06-24 Microsoft Corporation Head pose assessment methods and systems
US7889244B2 (en) * 2005-12-27 2011-02-15 Panasonic Corporation Image processing apparatus
JP5228307B2 (ja) * 2006-10-16 2013-07-03 ソニー株式会社 表示装置、表示方法
US8543061B2 (en) * 2011-05-03 2013-09-24 Suhami Associates Ltd Cellphone managed hearing eyeglasses
AU2011204946C1 (en) * 2011-07-22 2012-07-26 Microsoft Technology Licensing, Llc Automatic text scrolling on a head-mounted display
US9342610B2 (en) * 2011-08-25 2016-05-17 Microsoft Technology Licensing, Llc Portals: registered objects as virtualized, personalized displays
US20130145304A1 (en) * 2011-12-02 2013-06-06 International Business Machines Corporation Confirming input intent using eye tracking
US10514541B2 (en) * 2012-12-27 2019-12-24 Microsoft Technology Licensing, Llc Display update time reduction for a near-eye display

Also Published As

Publication number Publication date
US20150109200A1 (en) 2015-04-23

Similar Documents

Publication Publication Date Title
KR102470275B1 (ko) 음성 제어 방법 및 전자 장치
US11145188B2 (en) Techniques for detecting sensor inputs on a wearable wireless device
KR102248474B1 (ko) 음성 명령 제공 방법 및 장치
KR20150045637A (ko) 사용자 인터페이스 운용 방법 및 그 전자 장치
CN109154858B (zh) 智能电子设备及其操作方法
US9836275B2 (en) User device having a voice recognition function and an operation method thereof
KR20150129423A (ko) 전자 장치 및 전자 장치의 제스처 인식 방법 및 전자 장치
KR20150059002A (ko) 지문 인식 방법 및 그 전자 장치
KR102193359B1 (ko) 사용자 기기 및 그 동작 방법
KR20150049596A (ko) 보안 입력 방법 및 그 전자 장치
WO2018059328A1 (zh) 一种终端控制方法及终端、存储介质
EP3001300B1 (en) Method and apparatus for generating preview data
KR20150134141A (ko) 스마트 밴드를 이용한 사용자 인증방법
US9633273B2 (en) Method for processing image and electronic device thereof
KR20150025646A (ko) 음원 생성 방법 및 그 전자 장치
KR20150019061A (ko) 무선 연결 방법 및 그 전자 장치
US9342736B2 (en) Electronic device having sensor unit and operating method thereof
WO2022222688A1 (zh) 一种窗口控制方法及其设备
WO2019205767A1 (zh) 拍摄控制方法、装置及便携式电子设备
CN103529935A (zh) 用户界面方法以及用于所述用户界面方法的设备
US20150102670A1 (en) Method for operating booting and electronic device thereof
KR102120449B1 (ko) 어플리케이션 운용 방법 및 그 전자 장치
KR102158293B1 (ko) 이미지 촬영 방법 및 그 전자 장치
KR20150026395A (ko) 이미지 촬영 방법 및 그 전자 장치
CN116416994A (zh) 语音协同输入方法、电子设备及计算机可读存储介质

Legal Events

Date Code Title Description
WITN Application deemed withdrawn, e.g. because no request for examination was filed or no examination fee was paid