KR101623007B1 - 디스플레이 장치 및 그 제어방법 - Google Patents

디스플레이 장치 및 그 제어방법 Download PDF

Info

Publication number
KR101623007B1
KR101623007B1 KR1020090108387A KR20090108387A KR101623007B1 KR 101623007 B1 KR101623007 B1 KR 101623007B1 KR 1020090108387 A KR1020090108387 A KR 1020090108387A KR 20090108387 A KR20090108387 A KR 20090108387A KR 101623007 B1 KR101623007 B1 KR 101623007B1
Authority
KR
South Korea
Prior art keywords
gesture
user
image
display device
camera
Prior art date
Application number
KR1020090108387A
Other languages
English (en)
Other versions
KR20110051677A (ko
Inventor
김성운
임성민
김병주
홍지영
김민선
김경진
Original Assignee
엘지전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지전자 주식회사 filed Critical 엘지전자 주식회사
Priority to KR1020090108387A priority Critical patent/KR101623007B1/ko
Priority to US13/509,104 priority patent/US9495006B2/en
Priority to PCT/KR2010/007725 priority patent/WO2011059202A2/en
Publication of KR20110051677A publication Critical patent/KR20110051677A/ko
Application granted granted Critical
Publication of KR101623007B1 publication Critical patent/KR101623007B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/451—Execution arrangements for user interfaces
    • G06F9/453—Help systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/4223—Cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/485—End-user interface for client configuration

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Signal Processing (AREA)
  • Social Psychology (AREA)
  • Psychiatry (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

본 발명은 디스플레이 장치 및 그 제어방법에 관한 것이다. 본 발명에 의한 디스플레이 장치 및 그 제어방법은, 적어도 하나의 기능에 각각 대응된 적어도 하나의 제 1제스쳐영상이 저장된 메모리; 사용자의 제 2제스쳐영상을 포함한 영상을 획득하는 카메라; 및 상기 영상에서 사용자의 제 2제스쳐영상을 추출하여, 메모리에 저장된 제 1제스쳐영상 중 추출한 제 2제스쳐영상과 유사한 적어도 하나의 제 3제스쳐영상을 표시하는 제어부를 포함할 수 있다. 본 발명에 의하면, 메모리에 저장된 제스쳐영상 중 사용자가 취한 제스쳐영상과 유사한 제스쳐영상을 표시함으로써, 사용자가 올바른 제스쳐를 취할 수 있도록 유도하는 효과를 기대할 수 있다.
디스플레이 장치, 제스쳐영상, 카메라

Description

디스플레이 장치 및 그 제어방법{DISPLAYING DEVICE AND CONTROL METHOD THEREOF}
본 발명은 디스플레이 장치 및 그 제어방법에 관한 것으로서, 보다 상세하게는 메모리에 저장된 제스쳐영상 중 사용자가 취한 제스쳐영상과 유사한 제스쳐영상을 표시함으로써, 사용자가 올바른 제스쳐를 취할 수 있도록 유도하는 효과를 기대할 수 있는 디스플레이 장치 및 그 제어방법에 관한 것이다.
개인용 컴퓨터, 노트북, 휴대폰 등과 같은 단말기(terminal)는 기능이 다양화됨에 따라, 사진이나 동영상의 촬영, 음악이나 동영상 파일의 재생, 게임, 방송의 수신 등의 복합적인 기능들을 갖춘 멀티미디어 기기(Multimedia player) 형태로 구현되고 있다.
단말기는 이동 가능 여부에 따라 디스플레이 장치(mobile terminal) 및 고정 단말기(stationary terminal)로 나뉠 수 있다. 디스플레이 장치는 사용자의 직접 휴대 가능 여부에 따라 휴대(형) 단말기(handheld terminal) 및 거치형 단말기(vehicle mount terminal)로 나뉠 수 있다.
단말기의 기능 지지 및 증대를 위해, 단말기의 구조적인 부분 및/또는 소프 트웨어적인 부분을 개량하는 것이 고려될 수 있다.
본 발명은 메모리에 저장된 제스쳐영상 중 사용자가 취한 제스쳐영상과 유사한 제스쳐영상을 표시함으로써, 사용자가 올바른 제스쳐를 취할 수 있도록 유도하는 효과를 기대할 수 있는 디스플레이 장치 및 그 제어방법을 제공하기 위한 것이다.
본 발명이 이루고자 하는 기술적 과제들은 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급되지 않은 또 다른 기술적 과제들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
상기한 과제를 실현하기 위한 본 발명의 일 실시예에 따른 디스플레이 장치는, 적어도 하나의 기능에 각각 대응된 적어도 하나의 제 1제스쳐영상이 저장된 메모리; 사용자의 제 2제스쳐영상을 포함한 영상을 획득하는 카메라; 및 상기 영상에서 상기 사용자의 제 2제스쳐영상을 추출하여, 상기 메모리에 저장된 제 1제스쳐영상 중 상기 추출한 제 2제스쳐영상과 유사한 적어도 하나의 제 3제스쳐영상을 표시하는 제어부를 포함할 수 있다.
또한, 본 발명의 일 실시예에 다른 디스플레이 장치는, 적어도 하나의 제 1제스쳐영상이 저장된 메모리; 사용자의 제 2제스쳐영상을 포함한 영상을 획득하는 카메라; 및 상기 영상에서 상기 사용자의 제 2제스쳐영상을 추출하여, 상기 메모리 에 저장된 제 1제스쳐영상 중 상기 추출한 제 2제스쳐영상과 유사한 적어도 하나의 제 3제스쳐영상을 표시하는 제어부를 포함할 수 있다.
또한, 본 발명의 일 실시예에 따른 디스플레이 장치의 제어방법은, 사용자가 취한 제스쳐영상에 대응된 적어도 하나의 기능을 실행하는 디스플레이 장치의 제어방법에 있어서, 사용자가 취한 제 1제스쳐영상을 포함한 영상을 획득하는 단계; 상기 획득한 영상에서 상기 제 1제스쳐영상을 추출하는 단계; 및 상기 추출한 제 1제스쳐영상에 대응된 기능이 존재하지 않는 경우에, 상기 적어도 하나의 기능에 대응하는 제스쳐영상 중 상기 추출한 제 1제스쳐영상과 유사한 적어도 하나의 제 2제스쳐영상을 표시하는 단계를 포함할 수 있다.
본 발명에 따른 디스플레이 장치 및 에 의하면, 메모리에 저장된 제스쳐영상 중 사용자가 취한 제스쳐영상과 유사한 제스쳐영상을 표시함으로써, 사용자가 올바른 제스쳐를 취할 수 있도록 유도하는 효과를 기대할 수 있다.
본 발명의 상술한 목적, 특징들 및 장점은 첨부된 도면과 관련된 다음의 상세한 설명을 통하여 보다 분명해질 것이다. 이하 첨부된 도면을 참조하여 본 발명에 따른 바람직한 실시예들을 상세히 설명한다. 명세서 전체에 걸쳐서 동일한 참조번호들은 동일한 구성요소들을 나타낸다. 또한, 본 발명과 관련된 공지 기능 혹은 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우, 그 상세한 설명을 생략한다.
이하, 본 발명과 관련된 디스플레이 장치에 대하여 도면을 참조하여 보다 상세하게 설명한다. 이하의 설명에서 사용되는 구성요소에 대한 접미사 "모듈" 및 "부"는 명세서 작성의 용이함만이 고려되어 부여되거나 혼용되는 것으로서, 그 자체로 서로 구별되는 의미 또는 역할을 갖는 것은 아니다.
본 명세서에서 설명되는 디스플레이 장치에는 휴대폰, 스마트 폰(smart phone), 노트북 컴퓨터(laptop computer), 디지털방송용 단말기, PDA(Personal Digital Assistants), PMP(Portable Multimedia Player), 네비게이션 등이 포함될 수 있다.
도 1은 본 발명의 일 실시예와 관련된 디스플레이 장치의 블록 구성도(block diagram)이다.
디스플레이 장치(100)는 통신부(110), 사용자 입력부(120), 출력부(150), 메모리(160), 인터페이스부(170), 제어부(180) 및 전원 공급부(190) 등을 포함할 수 있다. 도 1에 도시된 구성요소들이 필수적인 것은 아니어서, 그보다 많은 구성요소들을 갖거나 그보다 적은 구성요소들을 갖는 디스플레이 장치를 구현될 수도 있다.
통신부(110)는 디스플레이 장치(100)와 통신 시스템 사이 또는 디스플레이 장치(100)와 다른 장치(device)와 통신을 가능하게 하는 하나 이상의 모듈을 포함할 수 있다. 예를 들어, 통신부(110)는 방송수신부(111), 인터넷모듈부(113), 근거리통신모듈부(114) 등을 포함할 수 있다.
방송수신부(111)는 방송 채널을 통하여 외부의 방송 관리 서버로부터 방송 신호 및/또는 방송 관련된 정보를 수신한다.
상기 방송 채널은 위성 채널, 지상파 채널을 포함할 수 있다. 상기 방송 관리 서버는, 방송 신호 및/또는 방송 관련 정보를 생성하여 송신하는 서버 또는 기 생성된 방송 신호 및/또는 방송 관련 정보를 제공받아 단말기에 송신하는 서버를 의미할 수 있다. 상기 방송 신호는, TV 방송 신호, 라디오 방송 신호, 데이터 방송 신호를 포함할 뿐만 아니라, TV 방송 신호 또는 라디오 방송 신호에 데이터 방송 신호가 결합한 형태의 방송 신호도 포함할 수 있다.
방송 관련 정보는, 방송 채널, 방송 프로그램 또는 방송 서비스 제공자에 관련한 정보를 의미할 수 있다. 상기 방송 관련 정보는, 통신망을 통하여도 제공될 수 있다.
방송 관련 정보는 다양한 형태로 존재할 수 있다. 예를 들어, DMB(Digital Multimedia Broadcasting)의 EPG(Electronic Program Guide) 또는 DVB-H(Digital Video Broadcast-Handheld)의 ESG(Electronic Service Guide) 등의 형태로 존재할 수 있다.
방송수신부(111)은, 각종 방송 시스템을 이용하여 방송 신호를 수신할 수 있다. 방송수신부(111)을 통해 수신된 방송 신호 및/또는 방송 관련 정보는 메모리(160)에 저장될 수 있다.
인터넷모듈부(113)는 인터넷 접속을 위한 모듈을 말하는 것으로, 인터넷모듈부(113)는 디스플레이 장치(100)에 내장되거나 외장될 수 있다.
근거리통신모듈부(114)는 근거리 통신을 위한 모듈을 말한다. 근거리 통신 기술로 블루투스(Bluetooth), RFID(Radio Frequency Identification), 적외선 통 신(IrDA, infrared Data Association), UWB(Ultra Wideband), ZigBee 등이 이용될 수 있다.
사용자 입력부(120)는 오디오 신호 또는 비디오 신호 입력을 위한 것으로, 이에는 카메라(121)와 마이크(122) 등이 포함될 수 있다. 카메라(121)는 화상 통화모드 또는 촬영 모드에서 이미지 센서에 의해 얻어지는 정지영상 또는 동영상 등의 화상 프레임을 처리한다. 처리된 화상 프레임은 디스플레이부(151)에 표시될 수 있다.
카메라(121)에서 처리된 화상 프레임은 메모리(160)에 저장되거나 통신부(110)를 통하여 외부로 전송될 수 있다. 카메라(121)는 단말기의 구성 태양에 따라 2개 이상이 구비될 수도 있다. 또한, 카메라(121)는 2D 또는 3D 촬영이 가능한 카메라(121) 일 수 있으며, 2D 또는 3D 카메라가 단독 혹은 그 조합으로서 구성될 수 있다.
마이크(122)는 통화모드 또는 녹음모드, 음성인식 모드 등에서 마이크로폰(Microphone)에 의해 외부의 음향 신호를 입력받아 전기적인 음성 데이터로 처리한다. 마이크(122)에는 외부의 음향 신호를 입력받는 과정에서 발생되는 잡음(noise)을 제거하기 위한 다양한 잡음 제거 알고리즘이 구현될 수 있다.
출력부(150)는 디스플레이부(151), 음향출력부(152) 등이 포함될 수 있다.
디스플레이부(151)는 디스플레이 장치(100)에서 처리되는 정보를 표시 출력한다. 예를 들어, 디스플레이 장치(100)와 관련된 UI(User Interface) 또는 GUI(Graphic User Interface)를 표시한다. 디스플레이부(151)는 액정 디스플레 이(liquid crystal display), 박막 트랜지스터 액정 디스플레이(thin film transistor-liquid crystal display), 유기 발광 다이오드(organic light-emitting diode), 플렉시블 디스플레이(flexible display), 3차원 디스플레이(3D display) 중에서 적어도 하나일 수 있다. 이들 중 일부 디스플레이는 그를 통해 외부를 볼 수 있도록 투명형 또는 광투과형으로 구성될 수 있다. 이는 투명 디스플레이라 호칭될 수 있는데, 상기 투명 디스플레이의 대표적인 예로는 투명 LCD 등이 있다. 디스플레이부(151)의 후방 구조 또한 광 투과형 구조로 구성될 수 있다. 이러한 구조에 의하여, 사용자는 단말기 바디의 디스플레이부(151)가 차지하는 영역을 통해 단말기 바디의 후방에 위치한 사물을 볼 수 있다.
디스플레이 장치(100)의 구현 형태에 따라 디스플레이부(151)가 2개 이상 존재할 수 있다. 예를 들어, 디스플레이 장치(100)에는 복수의 디스플레이부(151)들이 하나의 면에 이격되거나 일체로 배치될 수 있고, 또한 서로 다른 면에 각각 배치될 수도 있다.
디스플레이부(151)와 터치 동작을 감지하는 센서(이하, '터치 센서'라 함)가 상호 레이어 구조를 이루는 경우(이하, '터치 스크린'이라 약칭함)에, 디스플레이부(151)는 출력 장치 이외에 입력 장치로도 사용될 수 있다. 터치 센서는, 예를 들어, 터치 필름, 터치 시트, 터치 패드 등의 형태를 가질 수 있다.
터치 센서는 디스플레이부(151)의 특정 부위에 가해진 압력 또는 디스플레이부(151)의 특정 부위에 발생하는 정전 용량 등의 변화를 전기적인 입력신호로 변환하도록 구성될 수 있다. 터치 센서는 터치 되는 위치 및 면적뿐만 아니라, 터치 시 의 압력까지도 검출할 수 있도록 구성될 수 있다.
터치 센서에 대한 터치 입력이 있는 경우, 그에 대응하는 신호는 터치 제어기로 보내진다. 터치 제어기는 그 신호를 처리한 다음 대응하는 데이터를 제어부(180)로 전송한다. 이로써, 제어부(180)는 디스플레이부(151)의 어느 영역이 터치 되었는지 여부 등을 알 수 있게 된다.
음향출력부(152)는 통신부(110)로부터 수신되거나 메모리(160)에 저장된 오디오 데이터를 출력할 수도 있다. 음향출력부(152)는 디스플레이 장치(100)에서 수행되는 기능(예를 들어, 호신호 수신음, 메시지 수신음 등)과 관련된 음향 신호를 출력할 수 있다. 이러한 음향출력부(152)에는 리시버(Receiver), 스피커(speaker), 버저(Buzzer) 등이 포함될 수 있다.
메모리(160)는 제어부(180)의 동작을 위한 프로그램을 저장할 수 있고, 입/출력되는 데이터들(예를 들어, 폰북, 메시지, 정지영상, 동영상 등)을 임시 저장할 수도 있다. 상기 메모리(160)는 상기 터치스크린 상의 터치 입력시 출력되는 다양한 패턴의 진동 및 음향에 관한 데이터를 저장할 수 있다.
메모리(160)는 플래시 메모리 타입(flash memory type), 하드디스크 타입(hard disk type), 멀티미디어 카드 마이크로 타입(multimedia card micro type), 카드 타입의 메모리(예를 들어 SD 또는 XD 메모리 등), 램(Random Access Memory, RAM), SRAM(Static Random Access Memory), 롬(Read-Only Memory, ROM), EEPROM(Electrically Erasable Programmable Read-Only Memory), PROM(Programmable Read-Only Memory) 자기 메모리, 자기 디스크, 광디스크 중 적 어도 하나의 타입의 저장매체를 포함할 수 있다. 디스플레이 장치(100)는 인터넷(internet)상에서 상기 메모리(160)의 저장 기능을 수행하는 웹 스토리지(web storage)와 관련되어 동작할 수도 있다.
인터페이스부(170)는 디스플레이 장치(100)에 연결되는 모든 외부기기와의 통로 역할을 한다. 인터페이스부(170)는 외부 기기로부터 데이터를 전송받거나 전원을 공급받아 디스플레이 장치(100) 내부의 각 구성 요소에 전달하거나 디스플레이 장치(100) 내부의 데이터가 외부 기기로 전송되도록 한다. 예를 들어, 유/무선 헤드셋 포트, 외부 충전기 포트, 유/무선 데이터 포트, 메모리 카드(memory card) 포트, 식별 모듈이 구비된 장치를 연결하는 포트, 오디오 I/O(Input/Output) 포트, 비디오 I/O(Input/Output) 포트, 이어폰 포트 등이 인터페이스부(170)에 포함될 수 있다.
제어부(180)는 통상적으로 디스플레이 장치의 전반적인 동작을 제어한다. 예를 들어 음성 통화, 데이터 통신, 화상 통화 등을 위한 관련된 제어 및 처리를 수행한다. 제어부(180)는 영상처리를 위한 영상처리부(182)를 구비할 수 있다. 영상처리부(182)에 대해서는 해당하는 부분에서 보다 구체적으로 설명하도록 한다.
전원 공급부(190)는 제어부(180)의 제어에 의해 외부의 전원, 내부의 전원을 인가받아 각 구성요소들의 동작에 필요한 전원을 공급한다.
여기에 설명되는 다양한 실시예는 예를 들어, 소프트웨어, 하드웨어 또는 이들의 조합된 것을 이용하여 컴퓨터 또는 이와 유사한 장치로 읽을 수 있는 기록매체 내에서 구현될 수 있다.하드웨어적인 구현에 의하면, 여기에 설명되는 실시예는 ASICs (application specific integrated circuits), DSPs (digital signal processors), DSPDs (digital signal processing devices), PLDs (programmable logic devices), FPGAs (field programmable gate arrays, 프로세서(processors), 제어기(controllers), 마이크로 컨트롤러(micro-controllers), 마이크로 프로세서(microprocessors), 기능 수행을 위한 전기적인 유닛 중 적어도 하나를 이용하여 구현될 수 있다. 일부의 경우에 그러한 실시예들이 제어부(180)에 의해 구현될 수 있다.
소프트웨어적인 구현에 의하면, 절차나 기능과 같은 실시예들은 적어도 하나의 기능 또는 작동을 수행하게 하는 별개의 소프트웨어 모듈과 함께 구현될 수 있다. 소프트웨어 코드는 적절한 프로그램 언어로 쓰여진 소프트웨어 어플리케이션에 의해 구현될 수 있다. 또한, 소프트웨어 코드는 메모리(160)에 저장되고, 제어부(180)에 의해 실행될 수 있다.
도 2는 본 발명의 일 실시예에 따른 디스플레이 장치의 작동을 도시한 플로우챠트이다.
이에 도시한 바와 같이, 본 발명의 일 실시예에 따른 디스플레이 장치(100)는 제스쳐 감지 및 감지한 제스쳐를 분석하는 단계(S10)를 포함할 수 있다.
제스쳐는 디스플레이 장치(100)의 사용자가 언어를 사용하는 음성을 제외한 의사표현을 의미한다. 예를 들어, 사용자가 제 1위치에서 제 2위치로 이동하거나, 사용자가 몸을 비틀거나, 사용자가 팔, 다리 등으로 특정한 모양을 만드는 경우일 수 있다. 제스쳐가 음성을 제외한 의사표현이므로, 제스쳐는 카메라(121)에 의하여 감지될 수 있다.
카메라(121)는 디스플레이 장치(100)와 일체로 마련되어 사용자의 제스쳐를 촬영하거나, 디스플레이 장치(100)와 별도로 마련되되 촬영한 영상을 디스플레이 장치(100)로 송신할 수 있다. 본 발명의 일 실시예에 따른 디스플레이 장치(100)에 사용되는 카메라(121)는, 2D 카메라 또는 3D카메라이거나, 2D 카메라와 3D카메라가 조합된 경우일 수 있다. 나아가, 설명의 편의를 위하여, 본 발명의 각 실시예에 따른 도면에서는 카메라(121)를 단수개로 표시하였으나, 카메라(121)의 개수는 단수개 또는 복수개일 수 있음은 물론이다.
카메라(121)가 3D 촬영이 가능한 3D카메라인 경우에는, 스테레오(stereoscopic) 카메라 또는 TOF(Time of Flight) 카메라일 수 있다.
스테레오 카메라는 일정한 간격을 두고 설치된 2개의 촬영용 렌즈를 이용하야 입체영상을 획득할 수 있다. 2개의 렌즈는 초점과 노출이 연동되도록 되며, 두 렌즈의 시점차이에 의한 시차로 인하여 피사체를 입체적으로 볼 수 있다.
TOF 카메라는 피사체에 조사된 광이 되돌아오는 시간을 측정하여 입체영상을 획득할 수 있다. 즉, 피사체의 거리가 먼 경우에는 광의 비행시간이 크며 피사체의 거리가 가까운 경우에는 광의 비행시간이 짧아지므로, 광의 비행시간을 계산함으로서 피사체까지의 거리를 측정할 수 있으며, 측정된 거리를 조합하면 입체적 영상을 얻을 수 있게 된다. TOF 카메라는 피사체에 광을 조사할 발광장치가 카메라와 함께 마련될 수 있다.
카메라(121)를 통하여 사용자의 제스쳐가 감지되면, 감지한 제스쳐를 분석할 수 있다. 카메라(121)를 통하여 사용자의 제스쳐를 획득한 경우라도, 그 자체는 영상신호에 불과하다. 따라서 획득한 영상에 포함되어 있는 사용자의 제스쳐를 분석하여 그 의미를 디스플레이 장치(100)의 제어부(180)가 해석할 수 있어야 한다. 제어부(180)에 의한 제스쳐의 해석을 위한 전처리 단계로서, 감지한 제스쳐를 분석하는 단계가 필요하다. 감지한 제스쳐는 영상처리부(182)에서 일정한 전처리 과정을 거쳐 분석될 수 있다.
영상처리부(182)는 카메라(121)를 통하여 획득한 영상에서 사용자의 제스쳐가 어느 부분인가 여부를 판단한다. 영상처리부(182)에서 영상을 처리하는 방법은 다양할 수 있으며, 그 일 예는 사용자의 피부색 톤을 감지하는 방법일 수 있다. 사람의 얼굴과 손은 피부색이 그대로 노출되는 경우가 일반적이다. 또한, 얼굴의 경우에는 좌우 대칭의 형상이며, 눈 부분은 상대적으로 어두운 색채인 경우가 일반적이다. 이와 같은 특징적인 색상 패턴을 통하여 사용자의 얼굴을 감지할 수 있다. 또한, 얼굴에서 일정한 반경 내에서 상대적으로 자유스럽게 이동 되며, 얼굴보다 작은 크기의 피부색 피사체는 손 부분인 것으로 처리할 수 있다. 손의 경우에는, 주먹을 쥐고 있는 경우가 손을 펴고 있는 경우보다 작은 피부색으로 표시될 수 있다. 또한, 손으로 인식된 부분에서, 피부색과 피부색 아닌 부분이 교대로 존재하는 경우에는 손가락을 벌리고 있는 것으로 인식할 수 있다. 영상처리부(182)는 전술한 바와 같이, 특정한 몇 가지 특징을 추출하는 방법으로 영상을 처리할 수 있다.
영상처리부(182)에서 처리된 영상은, 영상처리부(182) 자체 또는 제어부(180)에서 특정한 기능에 대응된 제스쳐인가 여부를 분석할 수 있다.
디스플레이 장치(100)를 조작하기 위한 수단은 다양할 수 있다. 예를 들어, 디스플레이 장치(100)에 마련된 버튼을 터치하여 디스플레이 장치(100)가 특정한 기능을 수행하도록 조작할 수 있다. 또한, 리모컨의 버튼을 터치하여 원격으로 디스플레이 장치(100)를 조작할 수 있다. 이와 같은 방법에 더하여, 사용자가 특정한 제스쳐를 취하는 것으로서 디스플레이 장치(100)를 조작할 수 있다. 즉, 사용자가 미리 약속된 제스쳐를 취하면 카메라(121)가 그 제스쳐를 촬영하며, 영상처리부(182)에서 촬영된 영상을 처리하여 사용자의 제스쳐를 추출할 수 있다. 영상처리부(182)에서 추출된 영상은, 영상처리부(182) 자체 또는 제어부(180)에서 특정한 기능에 대응되는 제스쳐로 인식될 수 있다. 사용자가 취한 제스쳐가 특정한 기능에 대응되는 제스쳐로 인식되면, 해당하는 기능이 실행될 수 있다. 제스쳐로 디스플레이 장치(100)를 조작하면, 디스플레이 장치(100)까지 이동하여 버튼을 조작하거나 리모컨을 찾아 그 버튼을 조작하는 경우에 비하여, 편리하게 디스플레이 장치(100)를 이용할 수 있다. 본 발명의 일 실싱예에 따른 디스플레이 장치(100)는, 제스쳐를 통하여 조작할 수 있음으로 인하여 사용 편리성을 증대시킬 수 있다.
분석한 제스쳐가 특정한 기능에 대응되는가 여부를 판단(S20)하여, 특정한 기능에 대응되는 경우에는 해당하는 기능을 실행하는 단계(S40)가 진행될 수 있다.
분석한 제스쳐가 특정한 기능에 대응되지 않는 경우에는, 현재 사용자가 취하고 있는 제스쳐와 유사한 제스쳐를 표시하는 단계(S40)가 진행될 수 있다.
사용자가 취하는 제스쳐가 언제나 미리 약속된 제스쳐와 일치되는 것은 아닐 수 있다. 예를 들어, 디스플레이 장치(100)를 제스쳐로 조작하는 것에 익숙하지 않 거나, 부주의로 인하여 정상적인 제스쳐를 취하지 않는 경우가 발생할 수 있다. 이와 같은 경우에도, 제스쳐를 취한 사용자의 의도는 디스플레이 장치(100)가 무언가 기능을 실행하도록 한다고 볼 수 있다. 따라서 잘못된 제스쳐가 입력된 경우에 아무런 반응을 하지 않고 무시하는 경우 보다는, 입력된 제스쳐와 기 설정되어 있는 제스쳐를 비교하여 사용자가 올바른 제스쳐를 취하도록 하는 것이 바람직할 수 있다. 본 발명의 일 실시예에 따른 디스플레이 장치(100)는, 사용자가 잘못된 제스쳐를 취하고 있는 경우에도 그와 유사한 제스쳐를 표시함으로써 사용자가 올바른 제스쳐를 취하도록 유도할 수 있다.
도 3은 도 2 제스쳐 감지 및 감지한 제스쳐 분석 단계의 보다 상세한 플로우챠트이고, 도 4는 도 2 디스플레이장치에 대한 제어권을 획득하는 모습을 도시한 도면이다. 또한, 도 5는 도 4 제어권을 획득하는 모습을 보다 구체적으로 도시한 플로우챠트이고, 도 6은 제어권을 획득하는 다른 실시예를 도시한 도면이며, 도 7은 제어권을 획득한 사람에 대한 추적을 도시한 도면이다.
이들 도면에 도시한 바와 같이, 제스쳐 분석 단계(도 2의 S10)는, 카메라(121)로 사용자의 제스쳐를 촬영하는 단계(S11) 및 촬영한 영상을 분석하는 단계(S12)를 포함할 수 있다.
카메라(121)의 촬영과정 및 촬영한 영상을 분석하는 과정은 전술한 바와 같다.
영상이 분석되면, 사용자의 제스쳐가 제어권을 획득하는 동작인가 여부를 판단하는 단계(S13)가 진행될 수 있다.
디스플레이 장치(100)를 제스쳐로 조작함에 있어서, 사용자가 디스플레이 장치(100)를 조작하고자 하는 의도가 있음을 디스플레이 장치(100)에 알려야 한다. 즉, 디스플레이 장치(100)와 약속된 일정한 제스쳐를 취함으로써, 그 시점 이후부터 디스플레이 장치(100)에 특정한 명령을 내릴 것임을 알리고 기능 실행을 위한 제스쳐를 감지할 준비를 하도록 할 수 있다. 이하에서는 이와 같은 동작을, 디스플레이 장치(100)에 대한 제어권의 획득으로 표현하기로 한다.
디스플레이 장치(100)의 특정한 기능을 실행하기 위한 제어권을 획득하는 동작에 의하여 디스플레이 장치(100)가 특정인의 명령을 대기하는 과정을 거침으로써, 의도치 않게 디스플레이 장치(100)가 오동작하는 경우를 방지할 수 있다. 카메라(121)는 방안에 있는 사용자를 계속하여 촬영할 수 있다. 이때, 사용자가 미리 약속된 특정한 제스쳐를 취하는 경우에, 특정인에게 제어권을 부여한다. 제어권을 부여받은 특정인의 제스쳐를 보다 주시함으로써 정확한 제스쳐 입력이 가능해질 수 있다. 제어권을 부여받는 것은, 리모컨을 건내받은 것에 비교될 수 있다. 리모컨을 손에 쥐고 있는 사용자가 디스플레이 장치(100)를 조작할 수 있는 것과 같이, 제어권을 부여받은 사용자가 디스플레이 장치(100)를 조작할 수 있게 된다.
도 4에 도시한 바와 같이, 사용자(130)는 왼손(132)을 펼친 상태에서 하박부(131)를 들어 좌우로 흔드는 동작을 취할 수 있다. 이하에서는 이 동작을 제 1제스쳐로 정의하도록 한다. 디스플레이 장치(100)와 사용자(130) 사이에서 제 1제스쳐를 사용자(130)에 대한 제어권을 부여하는 동작으로 미리 설정되어 있을 수 있다.
도 5는 카메라(121)에 의하여 촬영된 영상이 영상처리부(182)에서 분석되는 과정을 도시하고 있다. 즉, 사람의 왼팔은 긴 원통 형상의 하박부(131)와 오각형 형상의 펼쳐진 왼손(132)으로 인식될 수 있다. 왼손(132)을 펼친 경우에, 엄지손가락과 나머지 손가락에 의하여 오각형 형상의 제 1면적(A1)이 형성될 수 있다. 또한 제 1면적(A1)의 중앙부와 하박부(131)의 일정한 지점에는 가상의 동작점이 존재하는 것으로 인식될 수 있다. 동작점은 사람의 관절 부분일 수 있다. 관절이 동작점이라면, 동작점을 중심으로 사용자를 관찰함으로써 사용자의 제스쳐를 인식할 수 있게 된다. 즉, 어느 일 동작점을 중심으로 하여 다른 동작점이 좌우로 움직이거나, 일 동작점과 다른 동작점 사이의 거리가 변화되는 현상을 관찰함으로써 사용자의 동작을 분석할 수 있다.
도 6에 도시한 바와 같이, 제어권을 획득하는 제스쳐는 다양하게 설정될 수 있다. 이에 도시한 바와 같이, 사용자가 주먹을 쥐고 좌우로 흔드는 동작을 취하는 경우에, 디스플레이 장치(100)는 그 사람이 제어권을 갖도록 할 수 있다. 사용자가 왼손(132)을 펼친 경우와 달리, 주먹을 쥐는 경우에는 주먹에 의하여 형성된 제 2면적(A2)이 제 1면적(도 1의 A1)과 다를 수 있다. 즉, 제 1면적(도 1의 A1)에 비하여 작은 제 2면적(A2)은 면적이 좁으며, 제 2면적(A2)이 이루는 오각형의 형상은 제 1면적(도 1의 A1)이 이루는 오각형의 형상과 상이할 수 있다. 다만, 이와 같은 경우에도 몇 개의 동작점의 관계를 판단함으로써 제스쳐를 판단할 수 있음은 전술한 바와 같다.
사용자(130)의 제스쳐가 제어권을 획득하는 동작인가 여부를 판단(S13)하여 특정인에게 제어권을 부여하면, 기능선택모드에 진입하는 단계(S14)가 진행될 수 있다.
사용자(130)가 제어권을 획득하는 제스쳐를 취한다 함은, 그 사용자(130)가 디스플레이 장치(100)에 대하여 특정한 조작을 가하고자 함을 의미한다. 따라서 특정한 사용자(130)에게 제어권을 줌과 함께, 디스플레이 장치(100)는 기능선택을 대기하는 기능선택모드에 진입할 수 있다.
기능선택모드에 진입하면, 제어권을 획득한 사용자(130)를 추적하는 단계(S15)가 진행될 수 있다.
디스플레이 장치(100)가 설치된 장소에는 다수의 사람이 있을 수 있다. 따라서 디스플레이 장치(100)는 다수의 사람 중에서 누가 제어권을 획득하고 있는가 여부를 추적해야 할 필요가 있다. 또한, 제어권을 획득한 사용자(130)가 제 1위치에서 제 2위치로 이동하는 경우에도, 디스플레이 장치(100)는 이동하는 사용자(130)를 추적하여 제어권이 유지될 수 있도록 할 필요가 있다.
도 7에 도시한 바와 같이, 이동 단말기(100)가 설치된 공간에는 사용자(130) 외에도 다른 사용자(140)가 존재할 수 있다. (a) 위치에서 사용자(130)가 제어권을 획득하는 동작을 취하면, 카메라(121)는 그 사용자(130)를 추적하여 사용자(130)가 (b) 위치 또는 (c) 위치로 이동하여도 그 사용자(130)가 제어권을 유지할 수 있도록 할 수 있다. 한편, 제어권을 획득한 사용자(130)인 경우에도 제어권을 포기하는 제스쳐를 취하거나, 일정한 시간 이상 기능선택을 위한 후속 제스쳐를 취하지 않거나, 일정한 범위를 벗어나 이동하는 경우에는 부여된 제어권을 회수할 수 있다. 또 한, 제어권은 동시에 복수의 사람에게 부여될 수도 있음은 물론이다.
제어권을 획득한 사용자(130)를 추적하는 과정에서 사용자(130)가 특정한 제스쳐를 취하면, 그 특정한 제스쳐 동작을 획득하는 단계(S16)가 진행될 수 있다.
특정한 제스쳐는 디스플레이 장치(100)와 사용자(130) 사이에서 미리 약속된 동작일 수 있다. 이하에서는 도 8 내지 관련 도면을 사용하여, 특정한 제스쳐 동작을 획득하는 단계(S16)에 대하여 보다 구체적으로 설명하도록 한다.
도 8 및 도 9는 도 3 특정한 제스쳐 동작의 획득과정을 도시한 도면이고, 도 10은 도 8 및 도 9의 특정한 제스쳐 동작에 의한 디스플레이장치의 작동을 도시한 도면이다.
도 8에 도시한 바와 같이, 사용자(130)는 하박부(131)를 포함하는 왼팔을 좌측으로 펼치는 동작을 함과 동시에 왼손(132)을 펼칠 수 있다. 전술한 동작에 의하여 디스플레이 장치(100)의 제어권을 사용자(130)가 획득하였으므로, 디스플레이 장치(100)의 카메라(121)는 제어권을 가지고 있는 사용자(130)를 추적하고 있을 수 있다.
도 9는 카메라에 의하여 촬영된 영상을 도시하고 있다.
이에 도시한 바와 같이, 제스쳐를 취하고 있는 사용자(130)는, 제 3 내지 6영역(A3 내지 A6)으로 구분될 수 있다. 즉, 제 3영역(A3)은 사용자(130)의 머리(133) 부분이며, 제 4영역(A4)은 몸통(134) 부분이고, 제 5영역(A5)은 상박부(131) 부분이며, 제 6영역(A6)은 왼손(132) 부분일 수 있다. 한편, 사용자(130)의 제스쳐는 몇 개의 동작점을 통하여 인식될 수 있다.
제 1 내지 제 11동작점(P1 내지 P11)은 사용자(130)가 취하는 체스쳐를 인식할 수 있는 기준점이 될 수 있다. 제 1동작점(P1)은 머리(133), 제 2동작점(P2)은 목, 제 3동작점(P3)은 오른쪽 어께, 제 4동작점(P4)은 왼쪽 어께, 제 5동작점(P5)은 팔꿈치, 제 6동작점(P6)은 손바닥, 제 7 내지 제 11동작점(P7 내지 P11)은 각 손가락에 대응될 수 있다. 제 4동작점(P4)과 제 6동작점(P6)의 거리가 멀어지는 동시에 제 4 내지 제 6동작점(P4 내지 P6)을 연결하는 선분이 직선에 가까워지면 팔이 펼쳐지는 것으로 인식될 수 있다. 또한, 제 6동작점(P6)과 제 7 내지 11동작점(P7 내지 P11)의 거리가 멀어지면 손가락을 펼쳐지는 것으로 인식될 수 있다. 이와같이, 동작점 간의 거리 및 상대적인 위치를 알 수 있으면, 사람의 전체에 대한 모델링 과정을 거치지 않고서도 제스쳐를 획득할 수 있다. 따라서 영상처리부(182) 자체 또는 제어부(180)를 과도한 부하에 노출시키지 않고서도 원하는 결과를 도출하는 효과를 기대할 수 있다.
사용자(130)가 왼팔을 수평 방향으로 펼치는 동작을 취하면, 도 10에 도시한 바와 같이, 채널전환기능(F1)이 실행될 수 있다.
도 11 및 도 12는 도 3 다른 특정한 제스쳐 동작의 획득과정을 도시한 도면이고, 도 13은 도 11 및 도 12의 다른 특정한 제스쳐 동작에 의한 디스플레이장치의 작동을 도시한 도면이다.
도 11에 도시한 바와 같이, 이미 제어권을 획득한 사용자(130)는 왼손(132)을 펼친 상태에서 하박부(131)를 들어올리는 제스쳐를 취할 수 있다. 사용자가 취한 제스쳐는 디스플레이 장치(100)에 마련된 카메라(121)에 의하여 촬영될 수 있 다.
도 12는 카메라(121)에 의하여 촬영된 영상을 도시하고 있다. 이에 도시한 바와 같이, 사용자(130) 각 부분에 대응된 동작점의 상대적인 위치에 의하여 사용자의 현재 취하고 있는 제스쳐를 알 수 있다. 즉, 제 2동작점(P2)과 제 4동작점(P4)을 연결하는 선분이 제 4동작점(P4)에서 제 5동작점(P5)을 거쳐 제 6동작점(P6)에 이르는 선분과 직각에 가까운 각도를 이루는 동시에 제 4 내지 6동작점(P4 내지 P6)을 통과한느 선분이 직선에 가까운 것으로 판단된 경우라면, 사용자(130)가 왼팔을 상방으로 펼친 것으로 판단할 수 있다.
사용자(130)가 왼팔을 상방으로 펼치는 동작을 취하면, 도 13에 도시한 바와 같이, 음량조절기능(F2)이 실행될 수 있다.
도 14는 도 2 해당 기능의 실행 단계를 보다 구체적으로 도시한 플로우챠트이다.
이에 도시한 바와 같이, 유사한 제스쳐를 표시하는 단계(도 2의 30)은 감지한 제스쳐와 유사한 제스쳐를 검색하는 단계(S31)를 포함할 수 있다.
사용자(130)의 제스쳐는 여러 가지 이유로 인하여 부정확할 수 있다. 부정확한 제스쳐가 입력된 경우라 하더라도, 이미 제어권을 획득한 사용자(130)는 디스플레이 장치(100)를 조작하고자 하는 의사가 있는 것으로 봄이 타당하다. 따라서 사용자(130)가 부정확한 제스쳐를 입력한 경우에도, 이를 무시하지 않고, 적절한 제스쳐를 유도함으로써 사용자 친화적인 조작환경을 제공하는 효과를 기대할 수 있다. 이와 같은 동작을 위하여, 메모리(도 1의 160)에 저장되어 있는 제스쳐 중에서 현재 사용자가 취하고 있는 제스쳐와 유사한 제스쳐를 검색할 수 있다.
유사한 제스쳐가 검색되면, 검색된 유사한 제스쳐를 표시하는 단계(S32)가 진행될 수 있다.
검색된 유사한 제스쳐를 디스플레이부(151)에 표시함으로써, 사용자가 시각적으로 이를 인식하여 자신의 제스쳐를 수정할 기회를 제공할 수 있다.
사용자가 제스쳐 동작을 변화함에 따라서 관련성이 떨어지는 제스쳐의 표시를 단계적으로 삭제하는 단계(S33)가 진행될 수 있다.
디스플레이부(151)에 표시된 유사한 제스쳐와 자신이 실재로 취하고 있는 제스쳐를 비교한 사용자(130)는, 원하는 특정 기능을 실행하기 위하여 자신의 제스쳐를 수정할 수 있다. 사용자(130)가 제스쳐를 수정하면 점차 특정한 기능에 대응되는 제스쳐에 가까워질 수 있다. 따라서 사용자의 혼란을 방지하는 한편, 사용자가 현재 제스쳐를 바른 방향으로 수정하고 있음을 알려주기 위하여, 표시된 제스쳐 중에서 관련성이 낮은 제스쳐를 차례대로 표시해제 할 수 있다.
이하에서는 관련 도면을 설명하여, 상술한 단계를 보다 구체적으로 설명하도록 한다.
도 15 내지 도 17은 도 3 또 다른 특정한 제스쳐 동작의 획득과정을 도시한 도면이다.
도 15에 도시한 바와 같이, 제어권을 획득하고 있는 사용자(130)는 왼손(132)을 펼친 상태에서 하박부(131)를 비스듬하게 들어올리는 제스쳐를 취할 수 있다.
도 16에 도시한 바와 같이, 제 2동작점(P2)와 제 4동작점(P4)을 연결하는 선분과 제 4내지 제 6동작점(P4 내지 P6)을 연결하는 선분이 이루는 각도가 수평 또는 수직이 아닌 특정한 45도에 가까운 각도를 이루고 있음이 제어부(도 1의 180)에 의하여 감지될 수 있다.
도 17에 도시한 바와 같이, 사용자(130)의 제스쳐는 제 1 내지 11동작점(P1 내지 P11)으로 형상화될 수 있다. 제 5동작점(P5)과의 상대적인 위치를 고려할 때, 제 52동작점(P52)의 위치는 사용자가 왼팔을 위쪽으로 뻗고 있는 경우이며, 제 51동작점(P51)의 위치는 사용자가 왼팔을 수평으로 뻗고 있는 경우임을 알 수 있다. 따라서 현재 사용자(130)는 왼팔을 수평도 수직도 아닌 방향으로 펼치고 있음이 제어부(도 1의 180)에 의하여 분석될 수 있다.
도 18의 (a)에 도시한 바와 같이, 사용자(130)는 현재 왼팔을 비스듬한 상방으로 들어올리고 있는 제스쳐를 취할 수 있다. 비스듬한 상방으로 왼팔을 들어올리고 있는 제스쳐는 도 18의 (b)에 도시한 수평 방향으로 들어올린 왼팔 및 도 18의 (c)에 도시한 수직 방향으로 들어올린 왼팔과 유사한 제스쳐로 판단될 수 있다. 그러나 도 18의 (d)에 도시한 바와 같이, 왼팔이 아닌 오른팔을 수평방향으로 들어올리고 있는 제스쳐는 도 18의 (a)의 제스쳐와 유사하지 않은 상이한 제스쳐로 인식될 수 있다.
도 19는 획득한 제스쳐 동작 및 예시 동작을 나타내는 가이드 팝업창을 도시한 도면이다.
이에 도시한 바와 같이, 가이드 팝업창(GP)에는 사용자가 현재 취하고 있는 제 1제스쳐 영상(I1)을 표시함과 함께, 제 1제스쳐 영상(I1)과 유사한 제 2, 3제스쳐 영상(I2, I3)을 표시할 수 있다.
도 20에 도시한 바와 같이, 가이드 팝업창(GP)는 디스플레이 장치(100)의 디스플레이부(151)에 표시될 수 있다. 가이드 팝업창(GP)은 디스플레이부(151)에 표시되고 있는 방송화면의 일부만을 가리고 있으므로, 가이드 팝업창(GP)이 표시되는 경우에도 사용자의 방송시청이 크게 방해되지 않을 수 있다. 나아가, 가이드 팝업창(GP)의 위치 및 크기는 사용자의 선택에 의하여 적절히 변경될 수 있다.
도 21은 사용자 동작의 변화에 따른 가이드 팝업창 표시의 변화과정을 도시한 도면이다.
이에 도시한 바와 같이, 가이드 팝업창(GP)에 표시되는 화면은 사용자(130)의 제스쳐 동작 변화에 따라서 능동적으로 변화될 수 있다.
도 21의 (aa)에 도시한 바와 같이, 사용자(130)는 팔을 수평방향에서 A 만큼 들어올린 제스쳐를 취할 수 있다. 사용자(130)가 도 21의 (aa)에 도시한 바와 같은 자세를 취하고 있는 경우에 가이드 팝업청(GP)에는, 도 21의 (ba)에 도시한 바와 같이,
이와 같은 상태에서 가이드 팝업창(GP)에는, 사용자(130)가 현재 취하고 있는 제 1제스쳐 영상(I1)과 함께, 이와 유사한 제 2,3제스쳐 영상(I2, I3)을 표시할 수 있다. 제 2,3제스쳐 영상(I2, I3)에서 표시되는 팔의 형상은 사람의 팔이 위치할 것으로 예상되는 적절한 위치에 표시될 수 있다.
도 21의 (ba)에 도시한 바와 같이 제 2,3제스쳐 영상(I2, I3)이 표시되면, 도 21의 (ab)에 도시한 바와 같이, 사용자(130)는 자신이 의도하였던 기능에 대응되는 제스쳐를 취하기 위하여 자세를 수정할 수 있다. 즉, 사용자(130)가 가이드 팝업창(GP)에 표시된 화면을 참고하여 팔을 수평방향에서 A 만큼 들어올린 자세에서 B 만큰 들어올린 자세로 수정할 수 있음을 의미한다.
사용자(130)가 자세를 수정하면, 도 21의 (bb)에 도시한 바와 같이, 유사성이 낮아진 제 3제스쳐 영상(I3)을 표시 해제할 수 있다. 관련성이 낮아진 다른 영상을 삭제함으로써 올바른 제스쳐를 취하도록 사용자(130)의 자세를 유도할 수 있다.
도 22는 디스플레이장치에 표시되는 가이드 팝업창의 다른 실시예를 도시한 도면이다.
이에 도시한 바와 같이, 디스플레이부(151)에는 제 1 내지 3가이드 팝업창(GP1 내지 GP3)가 표시될 수 있다.
제 1가이드 팝업창(GP1)은 현재 사용자(130)가 취하고 있는 제스쳐를 표시한 창일 수 있으며, 제 2 및 3가이드 팝업창(GP2, GP3)은 현재 취하고 있는 제스쳐와 유사한 것으로 판단된 제스쳐일 수 있다.
도 23은 사용자 동작의 변화에 따른 가이드 팝업창 표시의 변화과정을 도시한 도면이다.
도 23의 (aa) 및 (ab)에 도시한 바와 같이 사용자가 팔을 A 만큼 들어올린 자세에서 B 만큼 들어올린 자세로 교정함에 따라, 도 23의 (ba) 및 (bb)에 도시한 바와 같이 관련성이 낮아진 제 3가이드 팝업창(GP3)의 표시가 해제될 수 있다.
도 24는 다른 실시예에 따른 제스쳐 동작을 도시한 도면이고, 도 25는 도 24 제스쳐 동작을 인식 과정을 도시한 도면이다.
도 24에 도시한 바와 같이, 카메라(도 1의 121)을 향하여 왼손(132)으로 주먹 쥐는 동작(a)을 취함으로서 제어권을 획득할 수 있다. 제어권을 획득한 이후에는 엄지손가락을 상하좌우방향(b, c, d, e)으로 향하도록 함으로써 특정한 기능을 실행시킬 수 있다.
도 25에 도시한 바와 같이, 왼손(132)의 엄지손가락부터 새끼손가락까지는 제 12 내지 16동작점(P12 내지 P16)에 대응될 수 있다. 엄지손가락에 대응된 제 12동작점(P12)과 다른 손가락의 거리를 비교함으로써, 제어부(도 1의 180)는 엄지손가락이 펴졌는가 여부를 판단할 수 있다. 또한, 제 12 내지 16동작점(P12 내지 P16)이 수평 방향과 이루는 각도를 통하여 손의 방향을 판단할 수 있다.
엄지손가락이 상하좌우방향(b, c, d, e)인 경우가 특정한 기능에 대응되며, 엄지손가락이 비스듬한방향(f, g, h, i)인 경우에는 대응되는 특정한 기능이 존재하지 않는 경우에는, 도 26에 도시한 바와 같이, 사용자에게 특정한 제스쳐를 취할 것을 표시하여 줄 수 있다. 즉, 현재 사용자가 취하고 있는 제스쳐를 표시한 제 1가이드 팝업창(GP1)과 함께, 이에 유사한 제스쳐를 표시한 제 2, 3가이드 팝업창(GP2, GP3)를 표시함으로써 사용자가 올바를 제스쳐를 취하도록 유도할 수 있다.
도 27은 본 발명의 다른 실시예에 따른 디스플레이장치의 작동을 도시한 도면이다.
이에 도시한 바와 같이, 사용자(130)가 정확하지 않은 제스쳐를 취하고 있는 경우에, 디스플레이 장치(100)의 제어부(도 1의 180)은 음향 출력부(152)인 스피커를 통하여 사용자가 올바를 자세를 취하도록 유도할 수 있다.
도 28 및 도 29는 본 발명의 또 다른 실시예에 따른 제스쳐 동작의 획득과정을 도시한 도면이다.
이들 도면에 도시한 바와 같이, 본 발명의 또 다른 실시예에 따른 디스플레이 장치(100)는 사용자(130)의 영상을 촬영하고, 촬영한 영상에서 사용자의 제스쳐를 분석할 수 있다. 이하에서는, 사용자(130)가 취한 요가동작이 올바른가 여부를 제어부(도 1의 180)를 통하여 판단하는 실시예를 설명함으로써, 사용자(130)가 취한 제스쳐를 분석하는 과정을 설명하도록 한다.
도 28에 도시한 바와 같이, 디스플레이 장치(100)에 마련된 카메라(121)는 사용자(130)를 촬영할 수 있다. 이때, 사용자(130)는 제어권을 획득하고 있는 사람일 일 수 있다. 따라서 다수의 사람이 존재하는 경우에도 제어부(도 1의 180)는 제어권을 획득하고 있는 사용자(130)를 추적하여 그 사람이 취하고 있는 제스쳐를 카메라(121)로 촬영할 수 있다.
도 29는 카메라(121)에 의하여 촬영된 영상에서 사용자(130)의 제스쳐를 추출하는 상황을 도시하고 있다. 이에 도시한 바와 같이,제어부(도 1의 180)는 동작점(P1 내지 P20)을 중심으로 하여 촬영된 영상을 분석할 수 있다.
동작점(P1 내지 P20)은 촬영된 영상에서 사용자(130)의 관절을 중심으로 하여 설정될 수 있다. 관절을 중심으로 동작점(P1 내지 P20)이 설정되면, 동작점(P1 내지 P20) 간의 상대적인 위치를 통하여 사용자(130)의 제스쳐를 추출할 수 있다. 예를 들어, 사용자의 손목관절에 대응된 제 6동작점(P6)과 사용자의 발목관절에 대응된 제 17동작점(P16)이 근접하여 있으면, 제어부(도 1의 180)는 사용자(130)가 손으로 발을 잡고 있는 동작을 취하고 있는 것으로 판단할 수 있다. 이와 같이, 설정된 동작점(P1 내지 P20) 각각의 위치를 추출함으써, 도 29에 도시한 바와 같이, 오른팔을 비스듬하게 들고 왼손으로 왼발을 잡고 있는 동작을 사용자(130)가 취하고 있음을 알 수 있다. 이하에서는, 사용자가
도 30은 도 28 및 도 29에서 획득한 제스쳐와 보정데이터에 의한 제스쳐를 도시한 도면이다.
도 30의 (a)에 도시한 바와 같이, 사용자(130)는 오른팔을 비스듬하게 들고 왼손으로 왼발을 잡고 있는 제스쳐를 취하고 있음을 알 수 있다. 이때, 사용자(130)가 이와 같은 제스쳐를 취하는 것은, 올바른 요가자세의 습득을 위한 기능의 실행을 위한 입력일 수 있다. 따라서 제어부(도 1의 180)는 사용자(130)가 특정한 요가동작을 취하면, 올바른 요가동작을 표시하는 기능을 실행할 수 있다.
도 30의 (b)에 도시한 바와 같이, 사용자(130)가 취해야 할 올바른 요가자세는 오른팔을 수평으로 뻗고 있는 제스쳐일 수 있다. 사용자(130)가 현재 취해야할 올바른 제스쳐는, 메모리(도 1의 160)에 저장되어 있을 수 있다. 즉, 메모리(도 1의 160)에는 올바른 요가동작에 대응되는 보정데이터가 저장되어 있음을 의미한다. 사용자(130)를 포함하는 영상이 촬영되면, 제어부(도 1의 180)는 사용자(130)를 포함하는 영상에 동작점(P1 내지 P20)을 설정하는 과정을 통하여 사용자(130)의 제스 쳐를 추출할 수 있다. 사용자(130)의 제스쳐를 추출하면, 사용자(130)가 현재 취하고 있는 제스쳐(a)와 사용자(130)가 취해야할 제스쳐(b)를 비교할 수 있다. 도 30의 (a) 및 (b)에 도시한 바와 같이, 사용자(130)가 현재 취하고 있는 제스쳐(a)와 사용자(130)가 취해야할 제스쳐(b)에 차이가 발생하면, 올바른 동작을 취하도록 사용자(130)를 유도할 수 있다.
도 31은 도 28에서 획득한 제스쳐와 보정된 제스쳐를 표시한 디스플레이장치의 작동을 도시한 도면이다.
이에 도시한 바와 같이, 디스플레이 장치(100)의 디스플레이부(151)에는 카메라(121)에 의하여 촬영된 제 1영상(I1)과 사용자가 취해야 할 동작으로 제어부(도 1의 180)가 판단하여 표시한 제 2영상(I2)이 표시될 수 있다. 즉, 디스플레이부(151)에 사용자(130)가 취하고 있는 제스쳐인 촬영된 제 1영상(I1)을 표시하는 한편, 현재 취하고 있는 요가동작에서 바르지 않은 부분을 시각적으로 알려주는 제 2영상(I2)을 함께 표시할 수 있음을 의미한다. 제 1영상(I1)에 제 2영상(I2)이 함께 표시됨으로 인하여, 사용자(130)가 디스플레이부(151)에 표시된 영상을 보며 자신의 동작을 올바르게 수정할 수 있도록 할 수 있다.
제 2영상(I2)은 사용자(130)의 신체 부위의 형상일 수 있다. 즉, 표시된 제 1영상(I1)에서의
디스플레이부(151)에는 배경영상인 제 3영상(I3)을 함께 표시할 수 있다. 즉, 제 1,2영상(I1, I2)에 제 3영상(I3)을 합성하여 디스플레이부(151)에 표시할 수 있음을 의미한다. 따라서 실내에 위치한 디스플레이 장치(100)의 앞에서 제스쳐를 취하는 경우라 하더라도, 디스플레이부(151)에는 실외의 아름다운 배경이 표시되어 사용자(130)로 하여금 심리적인 안정감을 느낄 수 있도록 할 수 있다.
도 32는 본 발명의 또 다른 실시예에 따른 디스플레이장치의 작동을 도시한 도면이다.
이에 도시한 바와 같이, 디스플레이 장치(100)의 디스플레이부(151)에는 제 1,2,3영상(I1, I2, I3)이 표시될 수 있다. 또한, 사용자(130)가 자세를 어떻게 변경하여야 올바른 자세가 되는가를 보다 명확히 표현하기 위하여 인디케이터가 표시될 수도 있다. 또한, 음향 출력부(152)인 스피커를 통하여 사용자가 취해야할 자세를 음성으로 지시할 수도 있다.
상기에서 설명한 본 발명에 의한 각 실시예는, 컴퓨터에서 실행시키기 위한 프로그램으로 컴퓨터로 읽을 수 있는 기록매체에 기록하여 제공될 수 있다.본 발명에 의한 각 실시예는 소프트웨어를 통해 실행될 수 있다. 소프트웨어로 실행될 때, 본 발명의 구성 수단들은 필요한 작업을 실행하는 코드 세그먼트들이다. 프로그램 또는 코드 세그먼트들은 프로세서 판독 가능 매체에 저장되거나 전송 매체 또는 통신망에서 반송파와 결합된 컴퓨터 데이터 신호에 의하여 전송될 수 있다.
컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록 장치를 포함한다. 컴퓨터가 읽을 수 있는 기록 장치의 예로는, ROM, RAM, CD-ROM, DVD±ROM, DVD-RAM, 자기 테이프, 플로피 디스크, 하드 디스크(hard disk), 광데이터 저장장치 등이 있다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 장치에 분산되어 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다.
이와 같이 본 발명은 기재된 실시예들에 한정되는 것이 아니고, 본 발명의 사상 및 범위를 벗어나지 않고 다양하게 수정 및 변형할 수 있음은 이 기술의 분야에서 통상의 지식을 가진 자에게 자명하다. 따라서, 그러한 수정예 또는 변형예들은 본 발명의 특허청구범위에 속한다 하여야 할 것이다.
도 1은 본 발명의 일 실시예와 관련된 디스플레이 장치의 블록 구성도(block diagram)이다.
도 2는 본 발명의 일 실시예에 따른 디스플레이 장치의 작동을 도시한 플로우챠트이다.
도 3은 도 2 제스쳐 감지 및 감지한 제스쳐 분석 단계의 보다 상세한 플로우챠트이다.
도 4는 도 2 디스플레이장치에 대한 제어권을 획득하는 모습을 도시한 도면이다.
도 5는 도 4 제어권을 획득하는 모습을 보다 구체적으로 도시한 플로우챠트이다.
도 6은 제어권을 획득하는 다른 실시예를 도시한 도면이다.
도 7은 제어권을 획득한 사람에 대한 추적을 도시한 도면이다.
도 8 및 도 9는 도 3 특정한 제스쳐 동작의 획득과정을 도시한 도면이다.
도 10은 도 8 및 도 9의 특정한 제스쳐 동작에 의한 디스플레이장치의 작동을 도시한 도면이다.
도 11 및 도 12는 도 3 다른 특정한 제스쳐 동작의 획득과정을 도시한 도면이다.
도 13은 도 11 및 도 12의 다른 특정한 제스쳐 동작에 의한 디스플레이장치의 작동을 도시한 도면이다.
도 14는 도 2 해당 기능의 실행 단계를 보다 구체적으로 도시한 플로우챠트이다.
도 15 내지 도 17은 도 3 또 다른 특정한 제스쳐 동작의 획득과정을 도시한 도면이다.
도 18은 도 15 내지 도 17과 유사하거나 상이한 제스쳐 동작을 도시한 도면이다.
도 19는 획득한 제스쳐 동작 및 예시 동작을 나타내는 가이드 팝업창을 도시한 도면이다.
도 20은 도 19 가이드 팝업창이 표시된 디스플레이장치를 도시한 도면이다.
도 21은 사용자 동작의 변화에 따른 가이드 팝업창 표시의 변화과정을 도시한 도면이다.
도 22는 디스플레이장치에 표시되는 가이드 팝업창의 다른 실시예를 도시한 도면이다.
도 23은 사용자 동작의 변화에 따른 가이드 팝업창 표시의 변화과정을 도시한 도면이다.
도 24는 다른 실시예에 따른 제스쳐 동작을 도시한 도면이다.
도 25는 도 24 제스쳐 동작을 인식 과정을 도시한 도면이다.
도 26은 도 24 제스쳐 동작에 따라 디스플레이장치에 표시되는 가이드 팝업창을 도시한 도면이다.
도 27은 본 발명의 다른 실시예에 따른 디스플레이장치의 작동을 도시한 도 면이다.
도 28 및 도 29는 본 발명의 또 다른 실시예에 따른 제스쳐 동작의 획득과정을 도시한 도면이다.
도 30은 도 28 및 도 29에서 획득한 제스쳐와 보정데이터에 의한 제스쳐를 도시한 도면이다.
도 31은 도 28에서 획득한 제스쳐와 보정된 제스쳐를 표시한 디스플레이장치의 작동을 도시한 도면이다.
도 32는 본 발명의 또 다른 실시예에 따른 디스플레이장치의 작동을 도시한 도면이다.
<도면의 주요 부분에 대한 부호의 설명>
100 : 디스플레이 장치 110 : 통신부
120 : 사용자 입력부 150 : 출력부
160 : 메모리 170 : 인터페이스부
180 : 제어부

Claims (19)

  1. 적어도 하나의 기능에 각각 대응된 적어도 하나의 제 1제스쳐영상이 저장된 메모리;
    사용자의 제 2제스쳐영상을 포함한 영상을 획득하는 카메라; 및
    상기 영상에서 상기 사용자의 동작을 추출할 수 있는 적어도 하나의 동작점을 설정함으로써 제 2제스쳐영상을 추출하고,
    상기 메모리에 저장된 제 1제스쳐영상 중 상기 추출한 제 2제스쳐영상과 유사한 적어도 하나의 제 3제스쳐영상을 상기 추출된 동작점 중 적어도 어느 한 지점이 공유되도록 상기 제 2제스쳐영상과 중첩하여 표시하는 제어부;를 포함하는 디스플레이 장치.
  2. 삭제
  3. 삭제
  4. 삭제
  5. 제 1항에 있어서,
    상기 제어부는,
    실질적으로 상기 사용자의 관절에 해당하는 위치에 상기 동작점을 설정하는 것을 특징으로 하는 디스플레이 장치.
  6. 제 1항에 있어서,
    상기 제 2제스쳐영상의 추출을 상기 제어부에 포함된 영상처리부에서 수행하는 것을 특징으로 하는 디스플레이 장치.
  7. 제 1항에 있어서,
    상기 제어부는,
    상기 사용자가 상기 적어도 하나의 기능을 실행할 수 있는 제어권을 획득한 사용자인 경우에, 상기 영상에서 상기 사용자의 제 2제스쳐영상을 추출하는 것을 특징으로 하는 디스플레이 장치.
  8. 제 1항에 있어서,
    상기 카메라는,
    적어도 하나의 2D 카메라, 적어도 하나의 3D 카메라, 상기 적어도 하나의 2D 카메라와 상기 적어도 하나의 3D 카메라가 조합된 카메라 중 어느 하나인 것을 특징으로 하는 디스플레이 장치.
  9. 적어도 하나의 제 1제스쳐영상이 저장된 메모리;
    사용자의 제 2제스쳐영상을 포함한 영상을 획득하는 카메라; 및
    상기 영상에서 상기 사용자의 동작을 추출할 수 있는 적어도 하나의 동작점을 설정함으로써 제 2제스쳐영상을 추출하고,
    상기 메모리에 저장된 제 1제스쳐영상 중 상기 추출한 제 2제스쳐영상과 유사한 적어도 하나의 제 3제스쳐영상을 상기 추출된 동작점 중 적어도 어느 한 지점이 공유되도록 상기 제 2제스쳐영상과 중첩하여 표시하는 제어부;를 포함하는 디스플레이 장치.
  10. 삭제
  11. 삭제
  12. 삭제
  13. 제 9항에 있어서,
    상기 제어부는,
    실질적으로 상기 사용자의 관절에 해당하는 위치에 상기 동작점을 설정하는 것을 특징으로 하는 디스플레이 장치.
  14. 사용자가 취한 제스쳐영상에 대응된 적어도 하나의 기능을 실행하는 디스플레이 장치의 제어방법에 있어서,
    사용자가 취한 제 1제스쳐영상을 포함한 영상을 획득하는 단계;
    상기 획득한 영상에서 상기 사용자의 동작을 추출할 수 있는 적어도 하나의 동작점을 설정함으로써 상기 제 1제스쳐영상을 추출하는 단계; 및
    상기 추출한 제 1제스쳐영상에 대응된 기능이 존재하지 않는 경우에, 상기 적어도 하나의 기능에 대응하는 제스쳐영상 중 상기 추출한 제 1제스쳐영상과 유사한 적어도 하나의 제 2제스쳐영상을 상기 추출된 동작점 중 적어도 어느 한 지점이 공유되도록 상기 제 1제스쳐영상과 중첩하여 표시하는 단계를 포함하는 디스플레이 장치의 제어방법.
  15. 제 14항에 있어서,
    상기 영상을 획득하는 단계는,
    상기 사용자에게 상기 디스플레이 장치의 제어권을 부여하는 단계 이후에 진행되는 것을 특징으로 하는 디스플레이 장치의 제어방법.
  16. 삭제
  17. 삭제
  18. 제 14항에 있어서,
    상기 제 1제스쳐영상을 추출하는 단계는,
    상기 설정된 적어도 하나의 동작점 상호간의 상대적 위치 또는 거리 중 적어도 어느 하나를 산출하는 단계를 포함하는 것을 특징으로 하는 디스플레이 장치의 제어방법.
  19. 제 14항에 있어서,
    상기 동작점은,
    실질적으로 상기 사용자의 관절에 해당하는 위치에 설정되는 것을 특징으로 하는 디스플레이 장치의 제어방법.
KR1020090108387A 2009-11-11 2009-11-11 디스플레이 장치 및 그 제어방법 KR101623007B1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020090108387A KR101623007B1 (ko) 2009-11-11 2009-11-11 디스플레이 장치 및 그 제어방법
US13/509,104 US9495006B2 (en) 2009-11-11 2010-11-03 Display device and method of controlling the same
PCT/KR2010/007725 WO2011059202A2 (en) 2009-11-11 2010-11-03 Display device and method of controlling the same

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020090108387A KR101623007B1 (ko) 2009-11-11 2009-11-11 디스플레이 장치 및 그 제어방법

Publications (2)

Publication Number Publication Date
KR20110051677A KR20110051677A (ko) 2011-05-18
KR101623007B1 true KR101623007B1 (ko) 2016-05-20

Family

ID=43992189

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020090108387A KR101623007B1 (ko) 2009-11-11 2009-11-11 디스플레이 장치 및 그 제어방법

Country Status (3)

Country Link
US (1) US9495006B2 (ko)
KR (1) KR101623007B1 (ko)
WO (1) WO2011059202A2 (ko)

Families Citing this family (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9772689B2 (en) 2008-03-04 2017-09-26 Qualcomm Incorporated Enhanced gesture-based image manipulation
EP3413575A1 (en) 2011-08-05 2018-12-12 Samsung Electronics Co., Ltd. Method for controlling electronic apparatus based on voice recognition and electronic apparatus applying the same
US20130033644A1 (en) * 2011-08-05 2013-02-07 Samsung Electronics Co., Ltd. Electronic apparatus and method for controlling thereof
US9225891B2 (en) 2012-02-09 2015-12-29 Samsung Electronics Co., Ltd. Display apparatus and method for controlling display apparatus thereof
US10448161B2 (en) * 2012-04-02 2019-10-15 Qualcomm Incorporated Systems, methods, apparatus, and computer-readable media for gestural manipulation of a sound field
KR102025752B1 (ko) * 2012-07-30 2019-11-05 삼성전자주식회사 사용자의 자세에 따라 콘텐트를 제공하는 전자기기 및 콘텐트 제공 방법
JP5998861B2 (ja) * 2012-11-08 2016-09-28 ソニー株式会社 情報処理装置、情報処理方法及びプログラム
KR102010955B1 (ko) * 2013-01-07 2019-08-14 삼성전자 주식회사 프리뷰 제어 방법 및 이를 구현하는 휴대 단말
US9829984B2 (en) * 2013-05-23 2017-11-28 Fastvdo Llc Motion-assisted visual language for human computer interfaces
US11199906B1 (en) * 2013-09-04 2021-12-14 Amazon Technologies, Inc. Global user input management
KR20150087544A (ko) * 2014-01-22 2015-07-30 엘지이노텍 주식회사 제스처 장치, 그 동작 방법 및 이를 구비한 차량
KR102171817B1 (ko) 2014-03-14 2020-10-29 삼성전자주식회사 디스플레이 장치 및 제어 방법
EP2924539B1 (en) * 2014-03-27 2019-04-17 Lg Electronics Inc. Display device and operating method thereof using gestures
KR102222561B1 (ko) * 2014-03-27 2021-03-05 엘지전자 주식회사 디스플레이 장치 및 그의 동작 방법
KR20150112337A (ko) * 2014-03-27 2015-10-07 삼성전자주식회사 디스플레이 장치 및 그 사용자 인터랙션 방법
DE102015202459A1 (de) * 2015-02-11 2016-08-11 Volkswagen Aktiengesellschaft Verfahren und Vorrichtung zum Bedienen einer Nutzerschnittstelle in einem Fahrzeug
CN105320929A (zh) * 2015-05-21 2016-02-10 维沃移动通信有限公司 拍照的同步美化方法及其拍照装置
EP3267289B1 (en) * 2016-07-05 2019-02-27 Ricoh Company, Ltd. Information processing apparatus, position information generation method, and information processing system
CN106775424A (zh) * 2017-01-13 2017-05-31 维沃移动通信有限公司 一种截屏处理方法及移动终端
FR3074327B1 (fr) * 2017-11-27 2021-04-23 Commissariat Energie Atomique Procede de commande d'un robot de manipulation et dispositif mettant en oeuvre un tel procede
CN107958232A (zh) * 2017-12-26 2018-04-24 石狮市森科智能科技有限公司 基于体感交互的虚拟试衣方法、***和试衣间
EP3726344A1 (en) * 2019-04-16 2020-10-21 InterDigital CE Patent Holdings Method and apparatus for user control of an application and corresponding device

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080052643A1 (en) * 2006-08-25 2008-02-28 Kabushiki Kaisha Toshiba Interface apparatus and interface method
JP2009514109A (ja) * 2005-10-28 2009-04-02 本田技研工業株式会社 人体モーションの追跡に関する判別モーションモデリング

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7821541B2 (en) 2002-04-05 2010-10-26 Bruno Delean Remote control apparatus using gesture recognition
US7834850B2 (en) * 2005-11-29 2010-11-16 Navisense Method and system for object control
KR100778757B1 (ko) * 2006-03-03 2007-11-23 엘지전자 주식회사 동작인식 장치를 이용한 사용자별 맞춤형 스마트 텔레비젼장치 및 방법
JP2009218910A (ja) * 2008-03-11 2009-09-24 Mega Chips Corp 遠隔制御可能機器
KR101017936B1 (ko) * 2008-09-18 2011-03-04 동명대학교산학협력단 사용자의 제스춰 정보 인식을 기반으로 하여 디스플레이장치의 동작을 제어하는 시스템
US9377857B2 (en) * 2009-05-01 2016-06-28 Microsoft Technology Licensing, Llc Show body position
US8390680B2 (en) * 2009-07-09 2013-03-05 Microsoft Corporation Visual representation expression based on player expression

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009514109A (ja) * 2005-10-28 2009-04-02 本田技研工業株式会社 人体モーションの追跡に関する判別モーションモデリング
US20080052643A1 (en) * 2006-08-25 2008-02-28 Kabushiki Kaisha Toshiba Interface apparatus and interface method

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Anh Viet Nguyen, et al., "Multi-view Human Recognition based on Face and Gait Features Detection", Journal of Krea Multimedia Society (December 2008)

Also Published As

Publication number Publication date
KR20110051677A (ko) 2011-05-18
WO2011059202A3 (en) 2011-09-29
US20130050458A1 (en) 2013-02-28
WO2011059202A2 (en) 2011-05-19
US9495006B2 (en) 2016-11-15

Similar Documents

Publication Publication Date Title
KR101623007B1 (ko) 디스플레이 장치 및 그 제어방법
KR102411100B1 (ko) 디바이스를 이용한 화면 처리 방법 및 장치
EP3258423B1 (en) Handwriting recognition method and apparatus
US10191616B2 (en) Method and system for tagging information about image, apparatus and computer-readable recording medium thereof
CN111382624B (zh) 动作识别方法、装置、设备及可读存储介质
US9459706B2 (en) Information display system, information display method, and recording medium
EP2946266B1 (en) Method and wearable device for providing a virtual input interface
US20210249052A1 (en) Video synthesis method terminal and computer storage medium
CN109684980B (zh) 自动阅卷方法及装置
US10990748B2 (en) Electronic device and operation method for providing cover of note in electronic device
KR20150135847A (ko) 글래스 타입 단말기 및 이의 제어방법
US9189072B2 (en) Display device and control method thereof
US10564712B2 (en) Information processing device, information processing method, and program
US10514755B2 (en) Glasses-type terminal and control method therefor
KR20150110257A (ko) 웨어러블 디바이스에서 가상의 입력 인터페이스를 제공하는 방법 및 이를 위한 웨어러블 디바이스
WO2020088092A1 (zh) 关键点位置确定方法、装置及电子设备
US20180075294A1 (en) Determining a pointing vector for gestures performed before a depth camera
CN113253908A (zh) 按键功能执行方法、装置、设备及存储介质
CN110991445A (zh) 竖排文字识别方法、装置、设备及介质
KR20160060385A (ko) 사용자 손가락들의 모션에 기반한 한글 입력 방법 및 장치
US20120206348A1 (en) Display device and method of controlling the same
KR20110002922A (ko) 전자 기기 및 이를 이용한 기능 수행 방법
KR20140019215A (ko) 카메라 커서 시스템
US9300908B2 (en) Information processing apparatus and information processing method
CN114115544B (zh) 人机交互方法、三维显示设备及存储介质

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant