KR20140005688A - 사용자 인터페이스 방법 및 장치 - Google Patents

사용자 인터페이스 방법 및 장치 Download PDF

Info

Publication number
KR20140005688A
KR20140005688A KR1020120073921A KR20120073921A KR20140005688A KR 20140005688 A KR20140005688 A KR 20140005688A KR 1020120073921 A KR1020120073921 A KR 1020120073921A KR 20120073921 A KR20120073921 A KR 20120073921A KR 20140005688 A KR20140005688 A KR 20140005688A
Authority
KR
South Korea
Prior art keywords
signal output
information
partial
image capturing
image signal
Prior art date
Application number
KR1020120073921A
Other languages
English (en)
Inventor
강지영
박미정
이치훈
오세기
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020120073921A priority Critical patent/KR20140005688A/ko
Priority to US13/928,919 priority patent/US20140009388A1/en
Priority to CN201310281949.9A priority patent/CN103529935A/zh
Priority to EP13175242.0A priority patent/EP2682842A1/en
Publication of KR20140005688A publication Critical patent/KR20140005688A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/0485—Scrolling or panning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

본 발명은 촬상 영역을 복수의 부분 촬상 영역들로 분할하는 과정과, 상기 분할한 부분 촬상 영역별로 출력되는 각각의 영상 신호로부터 대응 정보를 획득하는 과정과, 상기 획득한 정보와 상응하는 명령을 확인하는 과정 및 기 확인한 명령에 따른 동작을 수행하는 과정을 포함하는 사용자 인터페이스 방법을 제공한다.

Description

사용자 인터페이스 방법 및 장치{USER INTERFACE METHOD AND APPARATUS}
본 발명은 사용자 인터페이스 방법 및 장치에 관한 것이다.
최근 휴대용 전자 장치 보급률의 급속한 증가로 휴대용 전자 장치는 이제 현대인의 생활필수품으로 자리매김하게 되었다. 이와 같은 휴대용 전자 장치는 고유의 음성 통화 서비스뿐만 아니라 각종 데이터 전송 서비스와 다양한 부가서비스도 제공할 수 있게 되어 기능상 멀티미디어 통신기기로 변모하고 있다. 휴대용 전자 장치가 제공 가능한 서비스의 증가와 더불어 휴대용 전자 장치를 제어하는 사용자 인터페이스(User Interface) 기술도 지속적으로 개발되고 있는 추세이다.
또한, 휴대용 전자 장치는 그래픽 사용자 인터페이스(Graphic User Interface : GUI) 기반 하에 터치 스크린을 적용하여 사용자의 입력에 편의성을 추구하고 있다. 더욱이, 터치 스크린을 적용하는 휴대용 전자 장치의 활용도가 높아지면서, 더 큰 터치 스크린을 선호하는 경향이 뚜렷해지고 있다. 그리고, 터치 스크린은 대부분의 버튼을 소프트웨어적으로 구현할 수 있으므로, 휴대용 전자 장치는 하드웨어적인 버튼을 줄여나가고 있는 실정이다.
하지만, 장갑을 낀 손으로 정전용량 터치 스크린을 터치하더라도 입력이 발생하지 않는 상황과 같이, 터치가 마땅치 않은 상황에서 휴대용 전자 장치의 동작을 제어할 만한 입력 수단은 없고 이러한 점은 휴대용 전자 장치의 사용성을 떨어뜨리고 있다.
상술한 문제점을 해결하기 위하여 안출된 것으로서, 본 발명의 목적은 버튼을 조작하지 않고도 버튼 누름에 따른 이벤트를 대체할 수 있는 입력을 발생시키는 사용자 인터페이스 방법 및 장치를 제공하는데 있다.
본 발명의 다른 목적은 터치 스크린을 터치하지 않더라도 터치 이벤트를 대체할 수 있는 입력을 발생시키는 사용자 인터페이스 방법 및 장치을 제공하는데 있다.
본 발명의 또 다른 목적은 피사체의 움직임(예; 고개 끄덕임, 얼굴 방향, 시선 등)에 따라 휴대용 전자 장치의 동작을 제어할 수 있는 사용자 인터페이스 방법 및 장치를 제공하는데 있다.
상기 과제를 해결하기 위한 제 1 견지로서, 본 발명은 촬상 영역을 복수의 부분 촬상 영역들로 분할하는 과정과, 상기 분할한 부분 촬상 영역별로 출력되는 각각의 영상 신호로부터 대응 정보를 획득하는 과정과, 상기 획득한 정보와 상응하는 명령을 확인하는 과정 및 상기 확인한 명령에 따른 동작을 수행하는 과정을 포함하는 사용자 인터페이스 방법을 제공한다.
상기 과제를 해결하기 위한 제 2 견지로서, 본 발명은 촬상 영역을 복수의 부분 촬상 영역들로 분할하는 과정과, 상기 촬상 영역에서 출력되는 영상 신호로부터 피사체가 첫 번째 부분 촬상 영역에서 두 번째 부분 촬상 영역으로 이동하는 것을 감지하는 경우 제 1 동작을 수행하는 과정 및 상기 두 번째 촬상 영역에서 출력되는 영상 신호로부터 상기 피사체의 해당 움직임을 감지하는 경우 제 2 동작을 수행하는 과정을 포함하는 사용자 인터페이스 방법을 제공한다.
상기 과제를 해결하기 위한 제 3 견지로서, 본 발명은 카메라와, 적어도 하나 이상의 프로세서와, 메모리 및 상기 메모리에 저장되며 상기 적어도 하나 이상의 프로세서에 의하여 실행 가능하도록 구성되는 적어도 하나 이상의 모듈을 포함하되, 상기 모듈은 상기 카메라의 촬상 영역을 복수의 부분 촬상 영역들로 분할하고, 상기 분할한 부분 촬상 영역별로 출력되는 각각의 영상 신호로부터 대응 정보를 획득하며, 상기 획득한 정보와 상응하는 명령을 확인하고, 상기 확인한 명령에 따른 동작을 수행하는 사용자 인터페이스 장치를 제공한다.
상기 과제를 해결하기 위한 제 4 견지로서, 본 발명은 카메라와, 적어도 하나 이상의 프로세서와, 메모리 및 상기 메모리에 저장되며 상기 적어도 하나 이상의 프로세서에 의하여 실행 가능하도록 구성되는 적어도 하나 이상의 모듈을 포함하되, 상기 모듈은 상기 카메라의 촬상 영역을 복수의 부분 촬상 영역들로 분할하고, 상기 촬상 영역에서 출력되는 영상 신호로부터 피사체가 첫 번째 부분 촬상 영역에서 두 번째 부분 촬상 영역으로 이동하는 것을 감지하는 경우 제 1 동작을 수행하며, 상기 두 번째 촬상 영역에서 출력되는 영상 신호로부터 상기 피사체의 해당 움직임을 감지하는 경우 제 2 동작을 수행하는 사용자 인터페이스 장치를 제공한다.
본 발명에 따른 사용자 인터페이스 방법 및 장치는 버튼을 조작하지 않고도 휴대용 전자 장치의 동작을 제어할 수 있게 한다. 또한, 본 발명은 사용자의 움직임으로부터 휴대용 전자 장치의 버튼 누름 이벤트 또는 터치 이벤트를 대체할 수 있는 입력을 발생시킬 수 있으므로 휴대용 전자 장치의 사용성을 개선한다.
도 1은 본 발명의 일 실시 예에 따른 전자 장치의 블록 구성도;
도 2는 본 발명의 일 실시 예에 따른 사용자 인터페이스 방법의 개념도;
도 3은 본 발명의 일 실시 예에 따른 사용자 인터페이스 방법의 순서도;
도 4는 도 3의 301 단계의 촬상 영역의 영상 신호로부터 정보를 획득하는 절차를 순서도;
도 5는 도 3의 301 단계의 촬상 영역의 영상 신호로부터 정보를 획득하는 절차의 순서도;
도 6는 도 3의 301 단계의 촬상 영역의 영상 신호로부터 정보를 획득하는 절차의 순서도;
도 7은 도 3의 303 단계에서 촬상 영역의 영상 신호로부터 획득한 정보에 상응하는 명령을 확인하는 절차의 순서도; 및
도 8a 내지 8d는 본 발명의 일 실시 예에 따른 사용자 인터페이스 방법의 개념도.
이하 첨부된 도면을 참조하여 본 발명의 동작 원리를 상세히 설명한다. 하기에서 본 발명을 설명에 있어 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다. 그리고 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
도 1은 본 발명의 일 실시 예에 따른 전자 장치의 블록 구성도이다. 이러한 전자 장치(100)는, 휴대용 전자 장치(portable electronic device)일 수 있으며, 휴대용 단말기(portable terminal), 이동 전화(mobile phone), 이동 패드(mobile pad), 미디어 플레이어(media player), 태블릿 컴퓨터(tablet computer), 핸드헬드 컴퓨터(handheld computer) 또는 PDA(Personal Digital Assistant)와 같은 장치일 수 있다. 또한, 이러한 장치들 중 두 가지 이상의 기능을 결합한 장치를 포함하는 임의의 전자 장치일 수도 있다.
전자 장치(100)는 호스트 장치(110), 외부 메모리 장치(120), 카메라 장치(130), 센서 장치(140), 무선 통신 장치(150), 오디오 장치(160), 외부 포트 장치(170), 터치 스크린 장치(180) 및 기타 입력/제어 장치들(190)을 포함한다. 외부 메모리 장치(120)와 외부 포트 장치(170)는 다수 개 구성될 수 있다.
호스트 장치(110)는 내부 메모리(111), 하나 이상의 프로세서(112) 및 인페이스(113)를 포함한다. 내부 메모리(111), 하나 이상의 프로세서(112) 및 인터페이스(113)는 별개의 구성 요소일 수 있거나 하나 이상의 집적화된 회로에 구성될 수 있다.
프로세서(112)는 여러 가지의 소프트웨어 프로그램을 실행하여 전자 장치(100)를 위한 여러 기능을 수행하며, 음성 통신, 영상 통신 및 데이터 통신을 위한 처리 및 제어를 수행한다. 또한, 이러한 통상적인 기능에 더하여, 프로세서(112)는 내부 메모리(111) 및/또는 외부 메모리 장치(120)에 저장되어 있는 소프트웨어 모듈(명령어 세트)을 실행하여 그 모듈에 대응하는 여러 기능을 수행한다. 또한, 프로세서(112)는 이러한 통상적인 기능에 더하여 내부 메모리(111) 및/또는 외부 메모리 장치(120)에 저장되어 있는 특정한 소프트웨어 모듈(명령어 세트)을 실행하여 그 모듈에 대응하는 특정한 여러 가지의 기능을 수행하는 역할도 한다. 즉, 프로세서(112)는 내부 메모리(111) 및/또는 외부 메모리 장치(120)에 저장된 소프트웨어 모듈들과 연동하여 본 발명의 실시 예의 방법을 수행한다. 또한, 프로세서(112)는 하나 이상의 데이터 프로세서, 이미지 프로세서, 또는 코덱(CODEC)을 포함할 수 있다. 더욱이, 전자 장치(100)는 데이터 프로세서, 이미지 프로세서 또는 코덱을 별도로 구성할 수도 있다.
인터페이스(113)는 전자 장치(100)의 여러 장치들과 호스트 장치(110)를 연결시킨다.
특히, 본 발명에 따라 프로세서(112)는 카메라 장치(130)를 제어한다. 카메라 장치(130)는 사진 및 비디오 클립 레코딩 등의 카메라 기능을 수행할 수 있다. 카메라 장치(130)는 CCD(charged coupled device) 또는 CMOS(complementary metal-oxide semiconductor) 등을 포함한다. 카메라 장치(130)는 프로세서(112)가 실행하는 카메라 모듈에 따라 하드웨어적인 구성의 변경, 예컨대, 렌즈 이동, 조리개의 F수 등을 조절한다.
전자 장치(100)의 다양한 구성요소들은 하나 이상의 통신 버스(참조번호 미기재) 또는 스트림 라인(참조번호 미기재)을 통해서 연결될 수 있다.
센서 장치(140)는 움직임 센서, 광센서, 온도 센서 등을 포함하고 여러 가지 기능을 가능하게 한다. 예컨대, 움직임 센서는 전자 장치(100)의 움직임을 감지하고, 광센서는 주변 빛을 감지할 수 있다.
무선 통신 장치(150)는 무선 통신을 가능하게 하는데, 무선 주파수 송·수신기, 광(예컨대, 적외선) 송·수신기를 포함할 수 있다. 무선 통신 장치(150)는 통신 네트워크에 따라 GSM(Global System for Mobile Communication) 네트워크, EDGE(Enhanced Data GSM Environment) 네트워크, CDMA(Code Division Multiple Access) 네트워크, W-CDMA(W-Code Division Multiple Access) 네트워크, LTE(Long Term Evolution) 네트워크, OFDMA(Orthogonal Frequency Division Multiple Access) 네트워크, Wi-Fi(Wireless Fidelity) 네트워크, WiMax 네트워크 또는/및 Bluetooth 네트워크 중 하나를 통해 동작하도록 설계될 수 있다.
오디오 장치(160)는 스피커(161) 및 마이크로폰(162)에 연결되어 음성 인식, 음성 복제, 디지털 레코딩 및 통화 기능 등의 오디오 입력과 출력을 담당한다. 즉, 오디오 장치(160)는 스피커(161) 및 마이크로폰(162)를 통해 사용자와 소통시킨다. 또한, 오디오 장치(160)는 호스트 장치(110)와 데이터 신호를 수신하고, 수신한 데이터 신호를 전기 신호로 변환하며, 변환한 전기 신호를 스피커(161)를 통해 출력시킨다. 스피커(161)는 전기 신호를 가청 주파수 대역으로 변화하여 출력하고, 마이크로폰(162)은 인물이나 기타 음원들로부터 전달된 음파를 전기 신호로 변환한다. 또한, 오디오 장치(160)는 마이크로폰(162)으로부터 전기 신호를 수신하고, 수신한 전기 신호를 오디오 데이터 신호로 변환하며, 변환한 오디오 데이터 신호를 호스트 장치(110)로 전송한다. 오디오 장치(160)는 전자 장치(100)에 탈부착 가능한 이어폰, 헤드폰 또는 헤드셋을 포함할 수 있다.
외부 포트 장치(170)는 전자 장치(100)를 다른 전자 장치로 직접 연결하거나, 네트워크(예컨대, 인터넷, 인트라넷, 무선 LAN 등)를 통하여 다른 전자 장치로 간접적으로 연결한다.
터치 스크린 장치(180)는 전자 장치(100)와 사용자 간의 입력 및 출력 인터페이스를 제공한다. 터치 스크린 장치(180)는 터치 감지 기술을 적용하고 사용자의 터치 입력을 호스트 장치(110)로 전달하고, 호스트 장치(110)로부터 제공되는 시각 정보, 예컨대, 텍스트, 그래픽, 비디오 등을 사용자에게 보여준다. 또한, 터치 스크린 장치(180)는 용량성, 저항성, 적외선 및 표면 음향파 기술뿐만 아니라 기타 근접 센서 배열 또는 기타 요소들을 포함하는 임의의 멀티 터치 감지 기술을 더 적용할 수 있다.
기타 입력/제어 장치들(190)는 볼륨 제어를 위한 업/다운 버튼을 포함할 수 있다. 이 밖에도, 기타 입력/제어 장치(190)는 해당 기능이 부여된 푸시 버튼(push button), 로커 버튼(locker button), 로커(locker) 스위치, 썸 휠(thumb-wheel), 다이얼(dial), 스틱(stick), 및 스타일러스 등의 포인터 장치 중 적어도 하나를 포함할 수 있다.
외부 메모리 장치(120)는 하나 이상의 자기 디스크 저장 장치와 같은 고속 랜덤 액세스 메모리 및/또는 비휘발성 메모리, 하나 이상의 광 저장 장치 및/또는 플래시 메모리(예컨대, NAND, NOR)를 포함한다. 외부 메모리 장치(120)는 소프트웨어를 저장하는데, 소프트웨어는 운영 체제 모듈, 통신 모듈, 그래픽 모듈, 사용자 인터페이스 모듈 및 코덱 모듈, 카메라 모듈(116), 하나 이상의 애플리케이션 모듈 등을 포함한다. 모듈(module)이란 용어는 명령어들의 집합 또는 명령어 세트(instruction set) 또는 프로그램으로 표현하기도 한다.
운영 체제 모듈은 WINDOWS, LINUX, 다윈(Darwin), RTXC, UNIX, OS X, 또는 VxWorks와 같은 내장 운영 체제를 가리키며, 일반적인 시스템 작동(system operation)을 제어하는 여러 가지의 소프트웨어 구성요소를 포함한다. 이러한 일반적인 시스템 작동의 제어는 메모리 관리 및 제어, 저장 하드웨어(장치) 제어 및 관리, 전력 제어 및 관리 등을 포함한다. 게다가, 운영 체제 모듈은 여러 가지의 하드웨어(장치)와 소프트웨어 구성요소(모듈) 사이의 통신을 원활하게 하는 기능도 수행한다.
통신 모듈은 무선 통신 장치(150) 또는 외부 포트 장치(170)를 통해 컴퓨터, 서버 및 휴대용 단말기 등의 상대 전자 장치와 통신을 가능하게 할 수 있다.
그래픽 모듈은 터치 스크린 장치(180)에 그래픽을 제공하고 표시하기 위한 여러 가지 소프트웨어 구성요소를 포함한다. 그래픽(graphics)이란 용어는 텍스트(text), 웹 페이지(web page), 아이콘(icon), 디지털 이미지(digital image), 비디오(video), 애니메이션(animation) 등을 가리킨다.
사용자 인터페이스 모듈은 사용자 인터페이스에 관련한 여러 가지 소프트웨어 구성요소를 포함한다. 게다가, 사용자 인터페이스 모듈은 사용자 인터페이스의 상태가 어떻게 변경되는지와, 사용자 인터페이스 상태의 변경이 어떤 조건에서 이루어지는지 등에 대한 내용을 포함한다.
코덱 모듈은 비디오 파일의 인코딩 및 디코딩 관련한 소프트웨어 구성요소를 포함한다.
카메라 모듈은 카메라 관련 프로세스 및 기능들을 가능하게 하는 카메라 관련 소프트웨어 구성요소를 포함한다. 특히, 카메라 모듈은 본 발명에 따라 카메라 장치(130)가 피사체를 촬상하는 영역에서 출력되는 영상 신호로부터 정보를 획득하고, 획득한 정보와 상응하는 명령을 확인하며, 확인한 명령에 따른 동작을 수행한다. 또한, 카메라 모듈은 촬상 영역을 복수의 부분 촬상 영역들로 분할하고, 부분 촬상 영역별로 출력되는 각각의 영상 신호로부터 각각의 정보를 획득한다. 더욱이, 카메라 모듈은 이전 부분 촬상 영역에서 출력되는 영상 신호로부터 정보를 획득한 후 임계 시간이 지난 후에 다음 부분 촬상 영역에서 출력되는 영상 신호로부터 정보를 획득한다. 또한, 카메라 모듈은 이전 부분 촬상 영역에서 출력되는 영상 신호로부터 획득한 정보에 상응하는 명령에 따른 동작의 수행이 완료되면, 다음 부분 촬상 영역에서 출력되는 영상 신호로부터 획득한 정보에 상응하는 명령에 따른 동작을 수행할 수 있다. 더욱이, 카메라 모듈은 이전 부분 촬상 영역에서 출력되는 영상 신호로부터 획득한 정보에 상응하는 명령에 따른 동작의 수행이 완료되면, 수행 완료된 동작과 연관하는 다음 부분 촬상 영역을 확인하고 확인한 다음 부분 촬상 영역에서 출력되는 영상 신호로부터 정보를 획득할 수도 있다. 또한, 카메라 모듈은 이전 부분 촬상 영역에서 출력되는 영상 신호로부터 피사체의 이동 방향을 감지하고, 상기 감지한 이동 방향에 놓인 다음 부분 촬상 영역을 확인하고 확인한 다음 부분 촬상 영역에서 출력되는 영상 신호로부터 정보를 획득할 수도 있다. 더욱이, 카메라 모듈은 부분 촬상 영역에서 출력되는 영상 신호로부터 획득한 정보에 상응하는 명령이 기 지정된 명령과 일치하는 경우 동작을 위한 명령을 결정할 수 있다. 카메라 모듈이 촬상 영역으로부터 획득하는 정보는 피사체, 예컨대, 인물의 적어도 하나의 신체의 움직임 정보를 포함한다. 또한, 카메라 모듈은 해당 동작을 수행하기 전 이 동작이 어떠한 동작인지를 사전에 알려주는 비주얼 큐(visual cue)를 제공한다. 카메라 모듈의 이러한 동작은 전자 장치(100)의 버튼 누름에 따른 이벤트와 터치 스크린에서의 터치 이벤트와 상응하는 입력 또는 제어 이벤트를 카메라 장치(130)로부터 수신하는 영상으로부터 발생시킬 수 있게 한다.
또한, 카메라 모듈은 카메라의 촬상 영역을 복수의 부분 촬상 영역들로 분할하고, 촬상 영역에서 출력되는 영상 신호로부터 피사체가 첫 번째 부분 촬상 영역에서 두 번째 부분 촬상 영역으로 이동하는 것을 감지하는 경우 제 1 동작을 수행하며, 상기 두 번째 촬상 영역에서 출력되는 영상 신호로부터 상기 피사체의 해당 움직임을 감지하는 경우 제 2 동작을 수행할 수도 있다. 이러한 제 1 동작은 제 2 동작에 대한 비주얼 큐일 수 있다.
이하, 카메라 모듈에 의해 촬영된 영상으로부터 획득하는 정보는 인물에 관한 것으로 기술하고 있으나, 사물, 동물 등의 다양한 피사체로 대체될 수 있음은 자명하다.
애플리케이션 모듈은 브라우저(browser), 이메일(email), 즉석 메시지(instant message), 워드 프로세싱(word processing), 키보드 에뮬레이션(keyboard emulation), 어드레스 북(address book), 접촉 리스트(touch list), 위젯(widget), 디지털 저작권 관리(DRM, Digital Right Management), 음성 인식(voice recognition), 음성 복제, 위치 결정 기능(position determining function), 위치기반 서비스(location based service) 등을 포함한다. 메모리(110)는 상술한 모듈들 이외에 추가적인 모듈(명령어들)을 더 포함할 수 있다.
또한, 본 발명에 따른 전자 장치(100)의 다양한 기능들은 하나 이상의 스트림 프로세싱(processing) 및/또는 애플리케이션 특정 집적 회로(ASIC, Application Specific Integrated circuit)를 포함하는 하드웨어 및/또는 소프트웨어 및/또는 이들의 결합으로 실행될 수 있다.
도 2는 본 발명의 일 실시 예에 따른 사용자 인터페이스 방법의 개념도이다.
전자 장치(100)는 전면(11)에 전기 신호를 가청 주파수 대역으로 변화하여 출력하는 스피커(2)와, 인물이나 기타 음원들로부터 전달된 음파를 전기 신호로 변화하는 마이크로폰(3)과, 영상 신호를 출력하고 사용자 터치를 입력받는 터치 스크린(4)과, 촬영을 위한 전면 카메라(5) 및 움직임, 광, 온도 등을 감지하는 센서(6)를 포함한다. 또한, 전자 장치(100)는 후면(12)에 촬영을 위한 후면 카메라(6)를 더 포함할 수 있다.
도 2를 참조하면, 사용자(20)는 전자 장치(100)의 전면 카메라(5)를 통해 자신의 얼굴을 촬영하는 행위를 통해 전자 장치(100)로의 입력 및 전자 장치(100)를 제어할 수 있다.
카메라(5)가 촬상하는 영역은 복수로 분할할 수 있는데, 예컨대, 본 발명의 카메라 모듈은 카메라(5)의 촬상 영역을 가운데 부분 촬상 영역(51)과, 좌측 부분 촬상 영역(52) 및 우측 부분 촬상 영역(53)으로 분할할 수 있다.
카메라 모듈은 각 부분 촬상 영역들(51,52,53)에서 출력되는 사용자(20) 얼굴에 관한 영상 신호로부터 움직임(예 ; 얼굴 이동, 고개 끄덕임), 초점 거리 등으로부터 정보를 획득하고 획득한 정보에 상응하는 명령에 따른 동작을 수행한다.
특히, 각 부분 촬상 영역들(51,52,53)은 전자 장치(100)의 각 명령을 지정하고 있고, 카메라 모듈은 부분 촬상 영역으로부터 확인된 명령이 기 지정된 명령과 일치하는 경우 이 명령에 따른 동작을 수행한다. 달리 말하면, 카메라 모듈은 각 부분 촬상 영역들(51,52,53)에 해당하는 동작을 기 지정하고 있다고 보아도 무방하며, 영상 신호로부터 기 정의된 정보가 획득되는 경우 이 동작을 수행하는 것이다.
즉, 본 발명은 전자 장치(100)에 구비된 버튼의 누름 이벤트, 터치 스크린을 통한 터치 이벤트를 이용하지 않고도 카메라(5)를 통해 촬영되는 영상만으로도 버튼의 누름 이벤트, 터치 이벤트와 상응하는 입력 또는 제어 신호를 발생시킬 수 있다. 따라서, 사용자는 전자 장치(100)의 버튼, 터치 스크린을 조작하지 않고도 전자 장치(100)의 동작을 제어할 수 있으므로, 사용의 편리성을 가질 수 있다.
이러한 전자 장치(100)의 동작은 비디오에 관한 동작(예 ; GUI 동작), 오디오 제어에 관한 동작(예; 볼륨 조절) 등을 포함한다.
도 3은 본 발명의 일 실시 예에 따른 사용자 인터페이스 방법의 순서도이다.
도 3을 참조하면, 301 단계에서 프로세서(112)는 촬상 영역에서 출력되는 영상 신호로부터 정보를 획득한다. 예컨대, 프로세서(112)는 촬상 영역에서 출력되는 인물에 관한 영상 신호로부터 얼굴 인식, 얼굴 방향, 시선 등에 관한 정보를 획득할 수 있다.
다음, 303 단계에서 프로세서(112)는 획득한 정보와 상응하는 명령을 확인한다.
다음, 305 단계에서 프로세서(112)는 확인한 명령에 따른 동작을 수행한다.
도 4는 도 3의 301 단계의 촬상 영역의 영상 신호로부터 정보를 획득하는 절차를 순서도이다.
도 4를 참조하면, 301 단계에서 프로세서(112)는 촬상 영역을 복수의 부분 촬상 영역들로 분할한다.
다음, 403 단계에서 프로세서(112)는 부분 촬상 영역별로 출력되는 각각의 영상 신호로부터 각각의 정보를 획득한다.
이러한 도 4의 절차는 순차적으로 부분 촬상 영역별로 출력되는 영상 신호로부터 정보를 획득하는 것을 보여준다.
도 5는 도 3의 301 단계의 촬상 영역의 영상 신호로부터 정보를 획득하는 절차의 순서도이다. 도 5의 절차는 촬상 영역을 복수의 부분 촬상 영역들로 분할한 실시를 참조한다.
도 5를 참조하면, 501 단계에서 프로세서(112)는 이전 부분 촬상 영역에서 출력되는 영상 신호로부터 획득한 정보에 상응하는 명령에 따른 동작의 수행을 완료한다.
다음, 503 단계에서 프로세서(112)는 다음 부분 촬상 영역에서 출력되는 영상 신호로부터 정보를 획득한다.
이러한 도 5의 실시는 이전 부분 촬상 영역에서 출력되는 영상 신호로부터 정보를 획득하고, 획득한 정보에 상응하는 명령을 확인하고, 확인한 명령에 따른 동작을 수행하는 일련의 절차가 완료되면, 나머지 부분 촬상 영역들에 대해서도 이러한 절차를 동일하게 적용하는 것을 보여준다.
도 6은 도 3의 301 단계의 촬상 영역의 영상 신호로부터 정보를 획득하는 절차의 순서도이다. 도 6의 절차는 촬상 영역을 복수의 부분 촬상 영역들로 분할한 실시를 참조한다.
도 6을 참조하면, 601 단계에서 프로세서(112)는 이전 부분 촬상 영역에서 출력되는 영상 신호로부터 획득한 정보에 상응하는 명령에 따른 동작의 수행을 완료한다.
다음, 603 단계에서 프로세서(112)는 수행 완료된 동작과 연관하는 다음 부분 촬상 영역을 확인한다.
다음, 605 단계에서 프로세서(112)는 확인된 다음 부분 촬상 영역에서 출력되는 영상 신호로부터 정보를 획득한다.
이러한 도 6의 실시는 이전 부분 촬상 영역에서 출력되는 영상 신호로부터 정보를 획득하고, 획득한 정보에 상응하는 명령을 확인하고, 확인한 명령에 따른 동작을 수행하는 일련의 절차가 완료되면, 이와 연관하는 다음 부분 촬상 영역에 대해서도 이러한 절차를 동일하게 적용하는 것을 보여준다.
도 7은 도 3의 303 단계에서 촬상 영역의 영상 신호로부터 획득한 정보에 상응하는 명령을 확인하는 절차의 순서도이다. 도 6의 절차는 촬상 영역을 복수의 부분 촬상 영역들로 분할한 실시를 참조한다.
도 7을 참조하면, 701 단계에서 프로세서(112)는 부분 촬상 영역으로부터 획득한 정보에 상응하는 명령을 확인한다.
다음, 703 단계에서 프로세서(112)는 확인한 명령이 부분 촬상 영역에 기 기정된 명령과 일치하는 경우 이 명령을 결정한다.
이러한 도 7의 실시는 부분 촬상 영역별로 기 지정된 명령에 따른 동작만을 허용하며, 이를 위해 부분 촬상 영역에서 출력되는 영상 신호로부터 획득하는 정보는 정해져 있음을 보여준다. 다시 말해, 부분 촬상 영역의 영상 신호부터 기 정해진 정보가 획득되어야만 해당 동작이 수행될 수 있는 것이다.
도 8a 내지 8d는 본 발명의 일 실시 예에 따른 사용자 인터페이스 방법의 개념도이이며, 웹페이지 화면을 제공하는 것을 참조한다.
카메라 모듈은 카메라(5)의 촬상 영역을 가운데 부분 촬상 영역(51), 좌측 부분 촬상 영역(52) 및 우측 부분 촬상 영역(53)으로 분할한다. 또한, 카메라 모듈은 가운데 부분 촬상 영역(51)과 매칭하는 동작을 화면 전환에 대한 비주얼 큐(visual cue)를 제공하는 동작으로 지정하고, 좌측 부분 촬상 영역(52)과 매칭하는 동작을 이전 화면으로의 전환 동작으로 지정하며, 우측 부분 촬상 영역(53)과 매칭하는 동작을 다음 화면으로의 전환 동작으로 지정한다.
또한, 카메라 모듈은 가운데 부분 촬상 영역(51)과 매칭하는 움직임 정보를 얼굴의 좌측 이동 또는 우측 이동으로 지정하고, 얼굴의 좌측 이동이 확인되면 이전 웹페이지로의 전환을 사전에 알리는 비주얼 큐를 제공하며, 얼굴의 우측 이동이 확인되면 다음 웹페이지로의 전환을 사전에 알리는 비주얼 큐를 제공한다. 비주얼 큐는 이전 또는 다음 웹페이지로의 전환 동작을 사전에 알리는 것이지 이를 수행하는 것은 아니다.
더욱이, 카메라 모듈은 가운데 부분 촬상 영역(51)에서 출력되는 영상 신호로부터 확인한 명령에 따라 이전 웹페이지로의 화면 전환을 사전에 알리는 비주얼 큐를 제공하고, 이와 연관하는 좌측 부분 촬상 영역(52)에서 출력되는 영상 신호로부터 획득한 정보와 상응하는 명령에 따른 동작을 수행한다. 또한, 카메라 모듈은 가운데 부분 촬상 영역(51)에서 출력되는 영상 신호로부터 확인한 명령에 따라 다음 웹페이지로의 화면 전환을 사전에 알리는 비주얼 큐를 제공하고, 이와 연관하는 우측 부분 촬상 영역(53)에서 출력되는 영상 신호로부터 획득한 정보와 상응하는 명령에 따른 동작을 수행한다.
즉, 카메라 모듈은 가운데 부분 촬상 영역(51)에서 출력되는 영상 신호로부터 수행되어진 동작과 연관하는 다음 부분 촬상 영역을 확인하고, 확인한 다음 부분 촬상 영역에서 출력되는 영상 신호로부터 정보를 획득하고 획득한 정보에 상응하는 명령에 따른 동작을 수행한다.
또한, 카메라 모듈은 가운데 부분 촬상 영역(51)에서 출력되는 영상 신호로부터 획득한 정보로부터 이와 연관하는 다음 부분 촬상 영역을 결정하고, 결정한 다음 부분 촬상 영역에서 출력되는 영상 신호로부터 정보를 획득하고 획득한 정보에 상응하는 명령에 따른 동작을 수행할 수 있다. 예컨대, 카메라 모듈은 가운데 부분 촬상 영역(51)에서 출력되는 영상 신호로부터 얼굴의 이동 방향을 감지하고 이에 대한 이전 웹페이지로의 화면 전환 또는 다음 웹페이지로의 화면 전환을 사전에 알리는 비주얼 큐를 수행하며, 감지한 얼굴의 이동 방향에 놓인 다음 부분 촬상 영역을 확인하고 확인한 다음 부분 촬상 영역에서 출력되는 영상 신호부터 정보를 획득하고 획득한 정보에 상응하는 명령에 따른 동작을 수행하는 일련의 절차를 수행할 수 있다.
카메라 모듈은 좌측 부분 촬상 영역(52)과 매칭하는 움직임 정보를 고개 끄덕임으로 지정하고, 고개 끄덕임이 확인되면 이전 웹페이지로 전환하는 동작을 수행한다. 또한, 카메라 모듈은 우측 부분 촬상 영역(52)과 매칭하는 움직임 정보를 고개 끄덕임으로 지정하고, 고개 끄덕임이 확인되면 다음 웹페이지로 전환하는 동작을 수행한다.
전술한 바와 같이, 카메라 모듈은 이전 웹페이지로의 전환을 알리는 비주얼 큐를 제공하는 경우 이와 연관하는 좌측 부분 촬상 영역(52)에서 출력되는 영상 신호로부터 정보를 획득하는데, 이 정보가 고개 끄덕임인 경우 이전 웹페이지로 전환하는 동작을 수행한다. 또한, 카메라 모듈은 다음 웹페이지로의 전환을 알리는 비주얼 큐를 제공하는 경우 이와 연관하는 우측 부분 촬상 영역(53)에서 출력되는 영상 신호로부터 정보를 획득하는데, 이 정보가 고개 끄덕임인 경우 다음 웹페이지로 전환하는 동작을 수행한다.
도 8a 내지 8d는 얼굴을 우측으로 이동하여 다음 웹페이지 화면으로의 전환을 알리는 비주얼 큐(55)와, 뒤 이어 고개 끄덕임에 의해 다음 웹페이지 화면으로의 전환을 보여준다.
도 8a 내 8d는 화면 전환의 실시 예를 들고 있으나, 이에 국한하지 않고, 화면 확대 또는 축소, 기타 여러 전자 장치 관련한 비디오 또는 오디오 관련 동작에 본 발명을 적용할 수 있다.
또한, 카메라 모듈은 카메라의 촬상 영역을 복수의 부분 촬상 영역들로 분할하고, 상기 촬상 영역에서 출력되는 영상 신호로부터 피사체가 첫 번째 부분 촬상 영역에서 두 번째 부분 촬상 영역으로 이동하는 경우 제 1 동작을 수행하며, 상기 두 번째 촬상 영역에서 출력되는 영상 신호로부터 상기 피사체의 해당 움직임을 감지하는 경우 제 2 동작을 수행할 수도 있다. 예컨대, 촬상 영역에서 출력되는 영상 신호로부터 피사체가 가운데 부분 촬상 영역(51)에서 좌측 부분 촬상 영역(52)로 얼굴의 이동을 감지하는 경우 카메라 모듈은 이전 웹페이지 화면으로의 전환을 사전에 알리는 비주얼 큐를 제공한다. 뒤 이어 좌측 부분 촬상 영역(52)에서 출력되는 영상 신호로부터 고개 끄덕임을 감지하는 경우 카메라 모듈은 이전 웹페이지 화면으로의 전환을 수행한다.
본 발명의 청구항 및/또는 명세서에 기재된 실시 예들에 따른 방법들은 하드웨어, 소프트웨어, 또는 하드웨어와 소프트웨어의 조합의 형태로 구현될(implemented) 수 있다.
소프트웨어로 구현하는 경우, 하나 이상의 프로그램(소프트웨어 모듈)을 저장하는 컴퓨터 판독 가능 저장 매체가 제공될 수 있다. 컴퓨터 판독 가능 저장 매체에 저장되는 하나 이상의 프로그램은, 전자 장치(device) 내의 하나 이상의 프로세서에 의해 실행 가능하도록 구성된다(configured for execution). 하나 이상의 프로그램은, 전자 장치로 하여금, 본 발명의 청구항 및/또는 명세서에 기재된 실시 예들에 따른 방법들을 실행하게 하는 명령어(instructions)를 포함한다.
이러한 프로그램(소프트웨어 모듈, 소프트웨어)은 랜덤 액세스 메모리 (random access memory), 플래시(flash) 메모리를 포함하는 불휘발성(non-volatile) 메모리, 롬(ROM, Read Only Memory), 전기적 삭제가능 프로그램가능 롬(EEPROM, Electrically Erasable Programmable Read Only Memory), 자기 디스크 저장 장치(magnetic disc storage device), 컴팩트 디스크 롬(CD-ROM, Compact Disc-ROM), 디지털 다목적 디스크(DVDs, Digital Versatile Discs) 또는 다른 형태의 광학 저장 장치, 마그네틱 카세트(magnetic cassette)에 저장될 수 있다. 또는, 이들의 일부 또는 전부의 조합으로 구성된 메모리에 저장될 수 있다. 또한, 각각의 구성 메모리는 다수 개 포함될 수도 있다.
또한, 전자 장치에 인터넷(Internet), 인트라넷(Intranet), LAN(Local Area Network), WLAN(Wide LAN), 또는 SAN(Storage Area Network)과 같은 통신 네트워크, 또는 이들의 조합으로 구성된 통신 네트워크를 통하여 접근(access)할 수 있는 부착 가능한(attachable) 저장 장치(storage device)에 저장될 수 있다. 이러한 저장 장치는 외부 포트를 통하여 전자 장치에 접속할 수 있다.
또한, 통신 네트워크상의 별도의 저장장치가 휴대용 전자 장치에 접속할 수도 있다.
한편 본 발명의 상세한 설명에서는 구체적인 실시 예에 관해 설명하였으나, 본 발명의 범위에서 벗어나지 않는 한도 내에서 여러 가지 변형이 가능하다. 그러므로 본 발명의 범위는 설명된 실시 예에 국한되어 정해져서는 아니 되며 후술하는 특허청구의 범위뿐만 아니라 이 특허청구의 범위와 균등한 것들에 의해 정해져야 한다.

Claims (28)

  1. 촬상 영역을 복수의 부분 촬상 영역들로 분할하는 과정;
    상기 분할한 부분 촬상 영역별로 출력되는 각각의 영상 신호로부터 대응 정보를 획득하는 과정;
    상기 획득한 정보와 상응하는 명령을 확인하는 과정; 및
    상기 확인한 명령에 따른 동작을 수행하는 과정을 포함하는 사용자 인터페이스 방법.
  2. 제 1항에 있어서,
    상기 분할한 부분 촬상 영역별로 출력되는 각각의 영상 신호로부터 대응 정보를 획득하는 과정은,
    상기 분할한 부분 촬상 영역들 중 이전 부분 촬상 영역에서 출력되는 영상 신호로부터 정보를 획득하는 과정; 및
    임계 시간이 지난 후에 다음 부분 촬상 영역에서 출력되는 영상 신호로부터 정보를 획득하는 과정을 포함하는 사용자 인터페이스 방법.
  3. 제 1항에 있어서,
    상기 분할한 부분 촬상 영역별로 출력되는 각각의 영상 신호로부터 대응 정보를 획득하는 과정은,
    상기 분할한 부분 촬상 영역들 중 이전 부분 촬상 영역에서 출력되는 영상 신호로부터 획득한 정보에 상응하는 명령에 따른 동작을 수행하는 과정; 및
    상기 동작이 완료되면 다음 부분 촬상 영역에서 출력되는 영상 신호로부터 정보를 획득하는 과정을 포함하는 사용자 인터페이스 방법.
  4. 제 1항에 있어서,
    상기 분할한 부분 촬상 영역별로 출력되는 각각의 영상 신호로부터 대응 정보를 획득하는 과정은,
    상기 분할한 부분 촬상 영역들 중 이전 부분 촬상 영역에서 출력되는 영상 신호로부터 획득한 정보에 상응하는 명령에 따른 동작을 수행하는 과정;
    상기 동작과 연관하는 다음 부분 촬상 영역을 확인하는 과정; 및
    상기 확인한 다음 부분 촬상 영역에서 출력되는 영상 신호로부터 정보를 획득하는 과정을 포함하는 사용자 인터페이스 방법.
  5. 제 1항에 있어서,
    상기 분할한 부분 촬상 영역별로 출력되는 각각의 영상 신호로부터 대응 정보를 획득하는 과정은,
    상기 분할한 부분 촬상 영역들 중 이전 부분 촬상 영역에서 출력되는 영상 신호로부터 피사체의 이동 방향을 감지하는 과정;
    상기 감지한 이동 방향에 놓인 다음 부분 촬상 영역을 확인하는 과정; 및
    상기 확인한 다음 부분 촬상 영역에서 출력되는 영상 신호로부터 정보를 획득하는 과정을 포함하는 사용자 인터페이스 방법.
  6. 제 1항에 있어서,
    상기 분할한 부분 촬상 영역별로 출력되는 각각의 영상 신호로부터 대응 정보를 획득하는 과정은,
    피사체의 움직임 정보를 획득하는 사용자 인터페이스 방법.
  7. 제 1항에 있어서,
    상기 분할한 부분 촬상 영역별로 출력되는 각각의 영상 신호로부터 대응 정보를 획득하는 과정은,
    신체의 적어도 하나의 촬영 부위의 움직임 정보를 획득하는 사용자 인터페이스 방법.
  8. 제 1항에 있어서,
    상기 획득한 정보와 상응하는 명령을 확인하는 과정은,
    상기 부분 촬상 영역에서 출력되는 영상 신호로부터 획득한 정보에 상응하는 명령이 상기 부분 촬상 영역에 기 지정된 명령과 일치하는 경우 상기 명령을 결정하는 사용자 인터페이스 방법.
  9. 제 1항에 있어서,
    상기 확인한 명령에 따른 동작을 수행하는 과정은,
    비주얼 큐(visual cue)를 제공하는 것을 포함하는 사용자 인터페이스 방법.
  10. 제 1항에 있어서,
    상기 확인한 명령에 따른 동작을 수행하는 과정은,
    이전 화면 또는 다음 화면으로의 전환을 포함하는 사용자 인터페이스 방법.
  11. 제 1항에 있어서,
    상기 확인한 명령에 따른 동작을 수행하는 과정은,
    화면의 확대 또는 축소를 포함하는 사용자 인터페이스 방법.
  12. 제 1항에 있어서,
    상기 명령은,
    전자 장치에서 버튼의 누름 이벤트 또는 터치 스크린의 터치 이벤트와 상응하는 사용자 인터페이스 방법.
  13. 촬상 영역을 복수의 부분 촬상 영역들로 분할하는 과정;
    상기 촬상 영역에서 출력되는 영상 신호로부터 피사체가 첫 번째 부분 촬상 영역에서 두 번째 부분 촬상 영역으로 이동하는 것을 감지하는 경우 제 1 동작을 수행하는 과정; 및
    상기 두 번째 촬상 영역에서 출력되는 영상 신호로부터 상기 피사체의 해당 움직임을 감지하는 경우 제 2 동작을 수행하는 과정을 포함하는 사용자 인터페이스 방법.
  14. 제 13항에 있어서,
    상기 제 1 동작은,
    상기 제 2 동작에 대한 비주얼 큐를 포함하는 사용자 인터페이스 방법.
  15. 카메라;
    적어도 하나 이상의 프로세서;
    메모리 및
    상기 메모리에 저장되며 상기 적어도 하나 이상의 프로세서에 의하여 실행 가능하도록 구성되는 적어도 하나 이상의 모듈을 포함하되,
    상기 모듈은,
    상기 카메라의 촬상 영역을 복수의 부분 촬상 영역들로 분할하고, 상기 분할한 부분 촬상 영역별로 출력되는 각각의 영상 신호로부터 대응 정보를 획득하며, 상기 획득한 정보와 상응하는 명령을 확인하고, 상기 확인한 명령에 따른 동작을 수행하는 사용자 인터페이스 장치.
  16. 제 15항에 있어서,
    상기 모듈은,
    상기 분할한 부분 촬상 영역들 중 이전 부분 촬상 영역에서 출력되는 영상 신호로부터 정보를 획득하고, 임계 시간이 지난 후에 다음 부분 촬상 영역에서 출력되는 영상 신호로부터 정보를 획득하는 사용자 인터페이스 장치.
  17. 제 15항에 있어서,
    상기 모듈은,
    상기 분할한 부분 촬상 영역들 중 이전 부분 촬상 영역에서 출력되는 영상 신호로부터 획득한 정보에 상응하는 명령에 따른 동작을 수행하고, 상기 동작이 완료되면 다음 부분 촬상 영역에서 출력되는 영상 신호로부터 정보를 획득하는 사용자 인터페이스 장치.
  18. 제 15항에 있어서,
    상기 모듈은,
    상기 분할한 부분 촬상 영역들 중 이전 부분 촬상 영역에서 출력되는 영상 신호로부터 획득한 정보에 상응하는 명령에 따른 동작을 수행하고, 상기 동작과 연관하는 다음 부분 촬상 영역을 확인하며, 상기 확인한 다음 부분 촬상 영역에서 출력되는 영상 신호로부터 정보를 획득하는 사용자 인터페이스 장치.
  19. 제 15항에 있어서,
    상기 모듈은,
    상기 분할한 부분 촬상 영역들 중 이전 부분 촬상 영역에서 출력되는 영상 신호로부터 피사체의 이동 방향을 감지하고, 상기 감지한 이동 방향에 놓인 다음 부분 촬상 영역을 확인하며, 상기 확인한 다음 부분 촬상 영역에서 출력되는 영상 신호로부터 정보를 획득하는 사용자 인터페이스 장치.
  20. 제 15항에 있어서,
    상기 모듈은,
    상기 분할한 부분 촬상 영역별로 출력되는 각각의 영상 신호로부터 피사체의 움직임 정보를 획득하는 사용자 인터페이스 장치.
  21. 제 15항에 있어서,
    상기 모듈은,
    상기 분할한 부분 촬상 영역별로 출력되는 각각의 영상 신호로부터 신체의 적어도 하나의 촬영 부위의 움직임 정보를 획득하는 사용자 인터페이스 장치.
  22. 제 15항에 있어서,
    상기 모듈은,
    상기 부분 촬상 영역에서 출력되는 영상 신호로부터 획득한 정보에 상응하는 명령이 상기 부분 촬상 영역에 기 지정된 명령과 일치하는 경우 상기 명령을 결정하는 사용자 인터페이스 장치.
  23. 제 15항에 있어서,
    상기 모듈은,
    상기 확인한 각각의 명령에 따른 비주얼 큐(visual cue)를 제공하는 사용자 인터페이스 장치.
  24. 제 15항에 있어서,
    상기 모듈은,
    상기 확인한 각각의 명령에 따른 이전 화면 또는 다음 화면으로의 전환을 수행하는 사용자 인터페이스 장치.
  25. 제 15항에 있어서,
    상기 모듈은,
    상기 확인한 각각의 명령에 따라 화면의 확대 또는 축소를 수행하는 사용자 인터페이스 장치.
  26. 제 15항에 있어서,
    상기 명령은,
    전자 장치에서 버튼의 누름 이벤트 또는 터치 스크린의 터치 이벤트와 상응하는 사용자 인터페이스 장치.
  27. 카메라;
    적어도 하나 이상의 프로세서;
    메모리 및
    상기 메모리에 저장되며 상기 적어도 하나 이상의 프로세서에 의하여 실행 가능하도록 구성되는 적어도 하나 이상의 모듈을 포함하되,
    상기 모듈은,
    상기 카메라의 촬상 영역을 복수의 부분 촬상 영역들로 분할하고, 상기 촬상 영역에서 출력되는 영상 신호로부터 피사체가 첫 번째 부분 촬상 영역에서 두 번째 부분 촬상 영역으로 이동하는 것을 감지하는 경우 제 1 동작을 수행하며, 상기 두 번째 촬상 영역에서 출력되는 영상 신호로부터 상기 피사체의 해당 움직임을 감지하는 경우 제 2 동작을 수행하는 사용자 인터페이스 장치.
  28. 제 27항에 있어서,
    상기 제 1 동작은,
    상기 제 2 동작에 대한 비주얼 큐를 포함하는 사용자 인터페이스 장치.
KR1020120073921A 2012-07-06 2012-07-06 사용자 인터페이스 방법 및 장치 KR20140005688A (ko)

Priority Applications (4)

Application Number Priority Date Filing Date Title
KR1020120073921A KR20140005688A (ko) 2012-07-06 2012-07-06 사용자 인터페이스 방법 및 장치
US13/928,919 US20140009388A1 (en) 2012-07-06 2013-06-27 User interface method and apparatus therefor
CN201310281949.9A CN103529935A (zh) 2012-07-06 2013-07-05 用户界面方法以及用于所述用户界面方法的设备
EP13175242.0A EP2682842A1 (en) 2012-07-06 2013-07-05 User interface method and apparatus therefor

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020120073921A KR20140005688A (ko) 2012-07-06 2012-07-06 사용자 인터페이스 방법 및 장치

Publications (1)

Publication Number Publication Date
KR20140005688A true KR20140005688A (ko) 2014-01-15

Family

ID=48747395

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020120073921A KR20140005688A (ko) 2012-07-06 2012-07-06 사용자 인터페이스 방법 및 장치

Country Status (4)

Country Link
US (1) US20140009388A1 (ko)
EP (1) EP2682842A1 (ko)
KR (1) KR20140005688A (ko)
CN (1) CN103529935A (ko)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105100818B (zh) * 2014-04-29 2018-12-11 腾讯科技（北京）有限公司 进行网站视频播放的方法、***及网站服务器
WO2016007755A1 (en) * 2014-07-09 2016-01-14 Skog Johan Karl Olov Methods for isolating microvesicles and extracting nucleic acids from biological samples
US11250281B1 (en) * 2020-10-21 2022-02-15 Daon Enterprises Limited Enhanced liveness detection of facial image data

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4588028B2 (ja) * 2004-10-19 2010-11-24 ソフトバンクモバイル株式会社 機能制御方法及び端末装置
JP2008146243A (ja) * 2006-12-07 2008-06-26 Toshiba Corp 情報処理装置、情報処理方法、及びプログラム
JP5559691B2 (ja) * 2007-09-24 2014-07-23 クアルコム，インコーポレイテッド 音声及びビデオ通信のための機能向上したインタフェース
TWI382352B (zh) * 2008-10-23 2013-01-11 Univ Tatung 視訊手寫文字輸入裝置及其方法
GB2483168B (en) * 2009-10-13 2013-06-12 Pointgrab Ltd Computer vision gesture based control of a device
US8659658B2 (en) * 2010-02-09 2014-02-25 Microsoft Corporation Physical interaction zone for gesture-based user interfaces
US9009594B2 (en) * 2010-06-10 2015-04-14 Microsoft Technology Licensing, Llc Content gestures
JP5653206B2 (ja) * 2010-12-27 2015-01-14 日立マクセル株式会社 映像処理装置
US9423878B2 (en) * 2011-01-06 2016-08-23 Blackberry Limited Electronic device and method of displaying information in response to a gesture

Also Published As

Publication number Publication date
US20140009388A1 (en) 2014-01-09
EP2682842A1 (en) 2014-01-08
CN103529935A (zh) 2014-01-22

Similar Documents

Publication Publication Date Title
WO2021051650A1 (zh) 人脸和人手关联检测方法及装置、电子设备和存储介质
JP6033502B2 (ja) タッチ入力制御方法、タッチ入力制御装置、プログラム及び記録媒体
KR101925485B1 (ko) 근접 터치 감지 장치 및 방법
US9420172B2 (en) Electronic device for editing dual image and method thereof
KR101884337B1 (ko) 영상 인식 방법 및 장치
WO2016112727A1 (zh) 触摸屏和指纹识别实现装置及终端设备
KR20150006191A (ko) 파노라마 이미지 운용 방법 및 그 전자 장치
CN111147660B (zh) 一种控件的操作方法及电子设备
KR102075117B1 (ko) 사용자 기기 및 그 동작 방법
WO2016119497A1 (zh) 固件压缩方法、固件解压方法和装置
JP2015135667A (ja) 端末上で音声制御オペレーションを実行するための方法および装置
KR20130108745A (ko) 폴더를 생성하기 위한 방법 및 그 전자 장치
KR102187236B1 (ko) 프리뷰 방법 및 이를 구현하는 전자 장치
US20210092279A1 (en) Apparatus and method for controlling auto focus function in electronic device
US20140270372A1 (en) Electronic device and method of operating the same
KR20150045637A (ko) 사용자 인터페이스 운용 방법 및 그 전자 장치
JP2017506381A (ja) モバイルターミナル、バーチャルボタンを処理する方法
KR20140019678A (ko) 그래픽 사용자 인터페이스 객체 생성 방법 및 장치
KR20130118032A (ko) 전자 장치의 다기능 제공 방법 및 장치
KR20140005688A (ko) 사용자 인터페이스 방법 및 장치
KR102031284B1 (ko) 연속 촬영된 이미지를 합성하는 전자 장치 및 방법
KR20150019061A (ko) 무선 연결 방법 및 그 전자 장치
KR102185204B1 (ko) 적외선을 이용한 센서 장치를 갖는 전자 장치 및 그 동작 방법
CN106354657B (zh) 寄存器访问方法、装置及***
KR102058025B1 (ko) 음원의 하이라이트 구간을 추출하는 전자 장치 및 그 동작 방법

Legal Events

Date Code Title Description
WITN Application deemed withdrawn, e.g. because no request for examination was filed or no examination fee was paid