KR20060101071A - 양손 제스쳐에 기반한 가상 마우스 장치 및 방법 - Google Patents

양손 제스쳐에 기반한 가상 마우스 장치 및 방법 Download PDF

Info

Publication number
KR20060101071A
KR20060101071A KR1020050022932A KR20050022932A KR20060101071A KR 20060101071 A KR20060101071 A KR 20060101071A KR 1020050022932 A KR1020050022932 A KR 1020050022932A KR 20050022932 A KR20050022932 A KR 20050022932A KR 20060101071 A KR20060101071 A KR 20060101071A
Authority
KR
South Korea
Prior art keywords
gesture
hand
command
image
detected
Prior art date
Application number
KR1020050022932A
Other languages
English (en)
Other versions
KR100687737B1 (ko
Inventor
유장희
김흥남
이경희
설동명
곽지영
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to KR1020050022932A priority Critical patent/KR100687737B1/ko
Priority to US11/251,699 priority patent/US7849421B2/en
Publication of KR20060101071A publication Critical patent/KR20060101071A/ko
Application granted granted Critical
Publication of KR100687737B1 publication Critical patent/KR100687737B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • E—FIXED CONSTRUCTIONS
    • E04—BUILDING
    • E04C—STRUCTURAL ELEMENTS; BUILDING MATERIALS
    • E04C5/00—Reinforcing elements, e.g. for concrete; Auxiliary elements therefor
    • E04C5/16—Auxiliary parts for reinforcements, e.g. connectors, spacers, stirrups
    • E04C5/162—Connectors or means for connecting parts for reinforcements
    • E04C5/163—Connectors or means for connecting parts for reinforcements the reinforcements running in one single direction
    • E04C5/165—Coaxial connection by means of sleeves
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Architecture (AREA)
  • Civil Engineering (AREA)
  • Structural Engineering (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

화상 카메라로 획득된 양손의 제스쳐 정보를 기반으로 마우스 수준의 명령어를 처리하는 가상 마우스 장치 및 그 구동 방법이 개시되어 있다. 본 발명은 화상 카메라를 통해 입력되는 제스쳐 영상을 추적하는 과정, 추적된 제스쳐 영상으로부터 배경 영상을 제거하고 왼손과 오른손의 영역을 분리하여 추출하는 과정, 추출된 오른손 및 왼손 영역으로부터 왼손 및 오른손의 제스쳐를 감지하고, 각각에 의해 표현되는 제스쳐 명령어를 인식하는 과정, 인식된 제스쳐 명령어를 소정의 대응 명령으로 실행하는 과정을 포함한다.

Description

양손 제스쳐에 기반한 가상 마우스 장치 및 방법{Apparatus and method for a virtual mouse based on two-hands gesture}
도 1은 본 발명에 따른 정보가전기기에 연결된 카메라를 이용하여 양손의 제스쳐를 인식하기 위한 가상 마우스 장치의 상호작용 관계를 나타내는 개략적인 구성도이다.
도 2는 본 발명에 따른 가상 마우스 구동 장치의 블록도이다.
도 3은 가상 마우스 장치에서 버튼 선택 및 클릭을 위해 왼손 제스쳐에 의해 자동으로 정보가전기기의 화면상에 나타나는 그래픽 사용자 인터페이스 기반의 메뉴이다.
도 4는 가상 마우스 장치의 포인팅 및 명령어 선택 기능을 위해 양손 제스쳐에 의해 표현되는 명령어의 실시 예이다.
도 5는 가상 마우스 장치의 양손 제스쳐에 기반한 가상 마우스 구동 방법을 보이는 흐름도이다.
본 발명은 가상 마우스 시스템에 관한 것이며, 특히 컴퓨터나 셋톱박스(Set- top Box) 등과 같은 모니터가 장착된 각종 정보가전기기들과의 보다 자연스럽고 손쉬운 사용자 인터페이스를 위해 화상 카메라로 획득된 양손의 제스쳐 정보를 기반으로 마우스 수준의 명령어를 처리하는 가상 마우스 장치 및 그 구동 방법에 관한 것이다.
통상적으로 컴퓨터나 셋톱박스와 같은 정보가전기기들은 사용자와의 인터페이스를 위하여 키보드나 마우스 등을 사용하고 있다. 그리고 일반적인 사용자들은 그 정보가전기기를 사용하는데 있어 마우스를 통한 포인팅과 클릭만으로 대부분의 명령어들을 정보가전기기로 전달하고 있다. 그러나, 가정내에서 또는 이동 중에 사용되는 정보가전기기들은 키보드나 마우스등을 사용하기가 용이하지 않다. 근래 정보가전기기의 사용자 편리성을 위하여 새롭게 사용되거나 개발되고 있는 사용자 인터페이스 방법으로 음성 및 제스쳐 인식을 이용하고 있다.
특히, 제스쳐 인식에 의한 사용자 인터페이스는 펜, 터치 패드, 카메라 등과 같은 다양한 장치들을 이용하고 있다. 이중에서 펜 및 터치 패드는 PDA와 같은 모바일(mobile) 기기 등에서 효과적으로 사용되고 있다. 그러나, 카메라를 이용한 제스쳐 인식은 가장 자연스럽고 편리한 방법임에도 불구하고, 인식의 복잡성 및 낮은 성능으로 인하여 아직 초보적인 단계에 머물고 있다. 그리고, 현재 개발되고 있는 대부분의 제스쳐 인식 시스템들은 한 손의 제스쳐만을 이용하여 많은 종류의 명령어를 표현하려 하고 있다. 따라서, 이러한 제스쳐 인식 시스템들은 명령어의 표현방법이 자연스럽지 못할 뿐만 아니라 인식과정 또한 매우 복잡하여 요구되는 수준의 성능을 보여주지 못하는 단점이 있다.
본 발명이 이루고자하는 기술적 과제는 화상 카메라로 획득된 양손의 제스쳐 정보를 기반으로 마우스 수준의 명령어를 처리함으로써 정보가전기기들과 보다 자연스럽고 손쉬운 사용자 인터페이스를 구현하는 가상 마우스 구동 방법을 제공하는데 있다.
본 발명이 이루고자하는 다른 기술적 과제는 상기 가상 마우스 구동 방법을 적용한 가상 마우스 장치를 제공하는 데 있다.
본 발명이 이루고자하는 기술적 과제는 화상 카메라를 이용한 가상 마우스 구동 방법에 있어서,
상기 화상 카메라를 통해 입력되는 제스쳐 영상을 추적하는 과정;
상기 추적된 제스쳐 영상으로부터 배경 영상을 제거하고 왼손과 오른손의 영역을 분리하여 추출하는 과정;
상기 추출된 오른손 및 왼손 영역으로부터 왼손 및 오른손의 제스쳐를 감지하고, 각각에 의해 표현되는 제스쳐 명령어를 인식하는 과정;
상기 인식된 제스쳐 명령어를 소정의 대응 명령으로 실행하는 과정을 포함하는 것을 특징으로 한다.
본 발명이 이루고자하는 다른 기술적 과제는 가상 마우스 장치에 있어서,
상기 화상 카메라를 통해 입력되는 제스쳐 영상을 추적하는 카메라 제어부;
상기 카메라 제어부로부터 추적된 제스쳐 영상으로 부터 배경 영상을 제거하고 왼손과 오른손의 영역을 분리하여 추출하는 제스쳐 영역 추출부;
상기 제스쳐 영역 추출부로부터 추출된 왼손 및 오른손 제스쳐를 감지하고, 각각에 의해 표현되는 제스쳐 명령어를 인식하는 제스쳐 인식부;
상기 제스쳐 인식부에서 인식된 제스쳐 명령어를 소정의 대응 명령으로 처리하는 명령어 처리부를 포함하는 것을 특징으로 한다.
이하 첨부된 도면을 참조로 하여 본 발명의 바람직한 실시 예를 설명하기로 한다.
도 1은 본 발명에 따른 정보가전기기에 연결된 카메라를 이용하여 양손의 제스쳐를 인식하기 위한 가상 마우스 장치의 상호작용 관계를 나타내는 개략적인 구성이다.
도 1을 참조하면, 컴퓨터나 셋톱박스와 같은 정보가전기기(110)는 모니터를 통하여 출력정보를 표시하며, 화상 카메라(100)는 USB 또는 IEEE 1394 등과 같은 인터페이스 장치를 통하여 정보가전기기(110)와 연결되어 있다. 그리고, 가상 마우스 구현을 위한 사용자의 양 손 제스쳐(120)는 화상 카메라(100)를 통하여 입력되어 정보가전기기(110)에서 처리된다.
도 2는 본 발명에 따른 가상 마우스 구동 장치의 블록도이다.
도 2의 가상 마우스 구동 장치는 카메라 제어부(200), 제스쳐 영역 추출부(210), 제스쳐 인식부(220), 명령어 처리부(230)를 구비한다.
도 2를 참조하면, 먼저 정확한 양손 제스쳐의 영상을 입력받기 위해서는 카메라의 위치를 보정하는 것이 필요하다. 카메라 제어부(200)는 카메라의 움직임에 관계된 팬/틸트/줌밍(Pan/Tilt/Zooming:PTZ) 제어를 통해 제스쳐 영상을 추적하여 카메라의 위치를 보정한다. 즉, 카메라 제어부(200)는 입력 영상의 칼라 정보 등을 이용하여 제스쳐 영상을 추적한다. 예컨대, 사람이 움직이면 카메라에 따라서는 사용자의 모습이 잡히지 않을 수도 있으므로 사람이 카메라의 영상에서 사라지는 카메라에 대해서 팬/틸트/줌밍(Pan/Tilt/Zooming) 제어를 통해 카메라를 움직임으로써 사람이 카메라 영상의 중앙에 오도록 한다.
제스쳐 영역추출부(210)는 카메라 제어부(200)로부터 피부색 등의 컬러 정보를 이용해 추적된 제스쳐 영상에서 배경정보를 제거하고 왼손과 오른손의 영역을 분리하여 추출한다. 예컨대, 카메라 제어부(200)가 사람의 살색 부분을 추적하면 사람의 손과 얼굴 부분은 항상 노출되게 있게 되므로 제스쳐 영역추출부(210)는 사람의 얼굴 및 손 부위를 추출한 후 얼굴 영상을 제외시켜 손 영역만의 영상을 얻으며, 또한 얼굴 영상을 기준으로 왼손 및 오른손 영역을 분리하여 추출한다.
제스쳐 인식부(220)는 제스쳐 영역추출(210)에서 연속적으로 추출되는 왼손과 오른손 영역으로부터 양 손의 윤곽선 및 특징추출 기술을 이용하여 왼손 및 오른손 제스쳐를 인식한 후 그 제스쳐 명령어에 해당하는 메뉴 표시 및 포인팅 위치의 이동과 명령어 선택을 수행한다. 여기서 제스쳐 인식 방법은 윤곽선 및 특징추출 기술이외에도 주지되어 있는 다른 여러 가지 기술들을 이용할 수 있다.
명령어 처리부(230)는 제스쳐 인식부(220)에서 인식된 제스쳐 명령어를 자체 프로그램에 의해 해석 및 처리하여 마우스의 명령어와 같이 처리한다.
도 3은 가상 마우스 장치에서 버튼 선택 및 클릭을 위해 왼손 제스쳐에 의해 자동으로 정보가전기기(110)의 화면상에 나타나는 그래픽 사용자 인터페이스 기반의 메뉴 구성도이다.
메뉴는 왼손 제스쳐가 탐지되면 자동으로 구동되어 화면상에 나타나며, 왼손 제스쳐가 더 이상 탐지되지 않으면 화면상에서 자동으로 감추어진다. 그리고, 화면상의 메뉴는 오른손 제스쳐에 의해 포인팅되는 커저의 위치에서 마우스 버튼의 클릭기능(300, 310, 320), 스크롤 버튼기능(330, 340), 전후 화면 이동기능(350, 360) 등을 위해 사용된다. 즉, 300은 마우스의 왼쪽버튼 한번 클릭이며, 310은 마우스의 왼쪽버튼 두번 클릭이며, 320은 마우스의 오른쪽 버튼 클릭이며, 330은 화면을 위로 올리는 스크롤(scroll)버튼 클릭이며, 340은 화면을 아래로 내리는 스크롤 버튼 클릭이며, 350은 이전 화면으로 이동하는 버튼 클릭이며, 360은 다음 화면으로 이동하는 버튼 클릭이다. 한편, 왼손 제스쳐의 움직임은 메뉴 상에서만 표현되며, 포인팅 위치의 이동에 따라 각각의 메뉴 아이콘이 하이라이팅(highlighting) 되고 선택(클릭) 제스쳐가 탐지되면 해당 명령어를 실행하게 된다. 또한, 사용자의 편리성을 위하여 왼손과 오른손의 역할은 초기설정에서 바꿀 수 있다.
도 4는 가상 마우스 장치의 포인팅 및 명령어 선택 기능을 위해 양손 제스쳐에 의해 표현되는 명령어의 실시 예이다.
왼손 제스쳐는 메뉴 상에서 명령어 아이콘의 포인팅(400)과 선택(410)을 위해 사용되며, 오른손 제스쳐는 화면 상에서 마우스 커저의 위치를 이동하고(420) 객체를 선택하여 이동시키기(430) 위해 사용된다. 즉, 400은 메뉴에서의 명령어 아이콘 포인팅을 위한 왼손 제스쳐이며, 410은 메뉴에서의 선택된 아이콘 선택(클릭) 을 위한 왼손 제스쳐이며, 420은 마우스 커져(cursor)의 위치 이동을 위한 오른손 제스쳐이며, 430은 객체(윈도우등) 선택 및 이동을 위한 오른손 제스쳐이다. 따라서 도 3과 같이 자동으로 구동되는 메뉴와 양손의 제스쳐를 이용하면, 도 4에서와 같이 아주 간단한 제스쳐만으로 마우스의 기능을 구현할 수 있다.
도 5는 가상 마우스 장치의 양손 제스쳐에 기반한 가상 마우스 제어 방법을 보이는 흐름도이다.
먼저, 정보가전기기(110)에 연결된 화상 카메라(100)를 이용하여 제스쳐를 입력할 준비가 완료되면, 피부색 등의 컬러 정보를 이용한 제스쳐 추적 과정을 거쳐 최적의 제스쳐 정보를 추출할 수 있도록 카메라의 위치를 보정한다(500 과정). 그리고, 입력된 제스쳐 영상으로 부터 배경영상을 제거함으로서 제스쳐 영역을 분리하고(510 과정), 분리된 왼손과 오른손 영역 각각의 제스쳐 정보를 왼손 제스쳐 처리 프로그램 및 오른손 제스쳐 처리 프로그램으로 전송한다.
이어서, 왼손 제스쳐 처리 프로그램을 구동하여(520 과정) 전송된 제스쳐 정보에서 왼손 제스쳐가 탐지되면(521 과정) 화면상에 메뉴를 자동으로 표시하며(522, 523 과정), 이어서 왼손 제스쳐의 포인팅 동작에 의해 선택된 메뉴의 아이콘을 하이라이팅한다(524 과정). 그리고, 연속적으로 처리되어 전송되는 제스쳐 정보에 의해 하이라이트 되어있는 아이콘에 대한 선택(클릭) 제스쳐가 발생하면(525 과정), 오른손 제스쳐에 의해 포인팅되고 있는 커저의 위치를 탐지하여 선택된 명령을 실행한다(526 과정). 만일 연속적으로 입력되는 영상에서 왼손 제스쳐가 더 이상 탐지되지 않으면 화면상에 나타나 있는 메뉴를 감추고(527, 528 과정) 다시 제 스쳐 추적 과정(500 과정)부터 상기 과정들(521 과정 - 526 과정)을 반복한다.
또한 오른손 제스쳐 처리 프로그램을 구동하여(530 과정) 전송된 제스쳐 정보에서 오른손 제스쳐가 탐지되면(531 과정) 포인팅 제스쳐인지 또는 선택 제스쳐인지를 분류한다(532 과정). 이때 포인팅 제스쳐가 탐지되면 이전 제스쳐가 탐지된 위치와의 변위 및 궤적을 계산하여 제스쳐 이동 위치를 추적하고(533 과정) 화면상에서 커저의 위치를 변경한다(534 과정). 그리고 선택 제스쳐가 탐지되면 현 커져가 위치한 객체를 선택하고(535 과정), 이전 제스쳐가 탐지된 위치와의 변위 및 궤적을 계산하여 화면상에서 객체의 위치를 변경한다(536 과정). 만일 오른손의 제스쳐가 탐지되지 않으면 이전의 커저 위치를 유지하고 다시 제스쳐 추적 과정(500 과정)부터 위의 과정들(531 과정 - 536 과정)을 반복한다.
본 발명은 상술한 실시 예에 한정되지 않으며, 본 발명의 사상 내에서 당업자에 의한 변형이 가능함은 물론이다.
또한 본 발명은 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록 장치를 포함한다. 컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 하드디스크, 플로피디스크, 플래시 메모리, 광 데이터 저장장치 등이 있으며, 또한 캐리어 웨이브(예를 들어 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드로서 저장되고 실행될 수 있다.
상술한 바와 같이 본 발명에 의하면, 양손 제스쳐의 인식과 제스쳐에 의해 자동으로 구동되는 메뉴를 이용하여 기존 마우스 입력장치 수준의 명령어를 효과적으로 처리할 수 있다. 즉, 한 손의 정보만을 이용하여 많은 명령어들을 표현하고 전달하는 방법들에 비하여, 양손의 제스쳐와 함께 자동으로 구동되는 메뉴를 사용하면 제스쳐 명령어의 표현 방법을 단순화함으로서 높은 인식율과 빠른 처리속도를 기대할 수 있다. 또한 사용자에게 보다 자연스럽고 간편한 제스쳐 표현 및 인터페이스 환경을 제공하여 기존의 마우스 입력장치를 효과적으로 대체하여 사용할 수 있다.

Claims (9)

  1. 화상 카메라를 이용한 가상 마우스 구동 방법에 있어서,
    상기 화상 카메라를 통해 입력되는 제스쳐 영상을 추적하는 과정;
    상기 추적된 제스쳐 영상으로부터 배경 영상을 제거하고 왼손과 오른손의 영역을 분리하여 추출하는 과정;
    상기 추출된 오른손 및 왼손 영역으로부터 왼손 및 오른손의 제스쳐를 감지하고, 각각에 의해 표현되는 제스쳐 명령어를 인식하는 과정;
    상기 인식된 제스쳐 명령어를 소정의 대응 명령으로 실행하는 과정을 포함하는 가상 마우스 구동 방법.
  2. 제1항에 있어서, 상기 제스쳐 명령어 인식 과정은 상기 양 손 중에서 어느 한 손의 제스쳐 탐지에 의해 화면상에 메뉴 표시 및 클릭을 인식하고, 상기 다른 손의 제스쳐 탐지에 의해 객체 포인팅 또는 선택을 인식하는 과정을 포함하는 것을 특징으로 하는 가상 마우스 구동 방법.
  3. 제2항에 있어서, 상기 한 손의 제스쳐 명령 인식 과정은 손의 제스쳐가 탐지되면 화면상에 메뉴를 표시하고, 그 손의 제스쳐에 의해 포인팅된 메뉴를 하이라이팅하고, 그 하일라이팅 아이콘에 대한 클릭 제스쳐가 발생하면 포인팅되고 있는 커져의 위치를 탐지하여 선택된 명령을 실행하는 과정을 구비하는 것을 특징으로 하 는 가상 마우스 구동 방법.
  4. 제2항에 있어서, 상기 한 손의 제스쳐 명령 인식 과정에서 손의 제스쳐가 탐지되지 않으면 화면상에 메뉴를 감추는 과정을 더 포함하는 것을 특징으로 하는 가상 마우스 구동 방법.
  5. 제2항에 있어서, 상기 다른 손의 제스쳐 명령 인식 과정은 포인팅 제스쳐이면 제스쳐 이동 위치를 추적하여 화면상의 커져 위치를 이동하고, 선택 제스쳐이면 현재 커져 위치의 객체를 선택하고 제스쳐 이동에 따라 객체의 위치를 변경하는 과정을 구비하는 것을 특징으로 하는 가상 마우스 구동 방법.
  6. 제5항에 있어서, 상기 포인팅 위치는 상기 메뉴상의 일정 범위내에서 이동하는 것임을 특징으로 하는 가상 마우스 구동 방법.
  7. 제5항에 있어서, 상기 커져 위치는 이전 제스쳐가 탐지된 위치와의 변위 및 궤적을 계산하여 변경하는 것임을 특징으로 하는 가상 마우스 구동 방법.
  8. 가상 마우스 장치에 있어서,
    상기 화상 카메라를 통해 입력되는 제스쳐 영상을 추적하는 카메라 제어부;
    상기 카메라 제어부로부터 추적된 제스쳐 영상으로 부터 배경 영상을 제거하 고 왼손과 오른손의 영역을 추출하는 제스쳐 영역 추출부;
    상기 제스쳐 영역 추출부로부터 추출된 상기 추출된 오른손 및 왼손 영역으로부터 윤곽선 및 특징추출을 통해 왼손 및 오른손 제스쳐를 감지하고, 각각에 의해 표현되는 제스쳐 명령어를 인식하는 제스쳐 인식부;
    상기 제스쳐 인식부에서 인식된 제스쳐 명령어를 소정의 대응 명령으로 처리하는 명령어 처리부를 포함하는 가상 마우스 장치.
  9. 제8항에 있어서, 상기 제스쳐 인식부는
    상기 한쪽 손의 제스쳐가 감지되면 화면상에 메뉴를 표시하고 그 포인팅된 메뉴를 하이라이팅 하고, 클릭 제스쳐가 감지되면 커져 위치를 탐지하는 제1손 제스쳐 처리모듈;
    상기 다른 한 손의 제스쳐가 탐지되면 그 제스쳐에 따라 포인팅 또는 선택을 인식하고, 포인팅 제스쳐이면 제스쳐 이동 위치를 추적하여 화면상의 커져 위치를 이동하고, 선택 제스쳐이면 현재 커져 위치의 객체를 선택하고 제스쳐 이동에 따라 객체의 위치를 변경하는 제2손 제스쳐 처리모듈을 구비하는 것을 특징으로 하는 가상 마우스 장치.
KR1020050022932A 2005-03-19 2005-03-19 양손 제스쳐에 기반한 가상 마우스 장치 및 방법 KR100687737B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020050022932A KR100687737B1 (ko) 2005-03-19 2005-03-19 양손 제스쳐에 기반한 가상 마우스 장치 및 방법
US11/251,699 US7849421B2 (en) 2005-03-19 2005-10-17 Virtual mouse driving apparatus and method using two-handed gestures

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020050022932A KR100687737B1 (ko) 2005-03-19 2005-03-19 양손 제스쳐에 기반한 가상 마우스 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20060101071A true KR20060101071A (ko) 2006-09-22
KR100687737B1 KR100687737B1 (ko) 2007-02-27

Family

ID=37009787

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020050022932A KR100687737B1 (ko) 2005-03-19 2005-03-19 양손 제스쳐에 기반한 가상 마우스 장치 및 방법

Country Status (2)

Country Link
US (1) US7849421B2 (ko)
KR (1) KR100687737B1 (ko)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100858358B1 (ko) * 2006-09-29 2008-09-11 김철우 손의 움직임 인식을 이용한 사용자인터페이스 장치 및 방법
KR100862349B1 (ko) * 2007-01-08 2008-10-13 전자부품연구원 제스처 인식 기능을 이용한 반투과 거울 기반 사용자인터페이스 시스템
KR101148484B1 (ko) * 2009-04-23 2012-05-25 히다찌 컨슈머 일렉트로닉스 가부시끼가이샤 입력 장치
US8237654B2 (en) 2007-12-18 2012-08-07 Samsung Electroncis Co., Ltd. Display apparatus and control method thereof
US8938124B2 (en) 2012-05-10 2015-01-20 Pointgrab Ltd. Computer vision based tracking of a hand
KR101528931B1 (ko) * 2009-02-05 2015-06-15 정수영 디지털 정보 디스플레이 제어 장치
KR101536753B1 (ko) * 2013-10-31 2015-07-15 주식회사 골프존 사용자 동작 인식에 기반한 영상 처리 방법 및 시스템
CN106055082A (zh) * 2015-04-10 2016-10-26 三星电子株式会社 用于基于事件显示屏幕的装置和方法
US9563277B2 (en) 2011-03-16 2017-02-07 Samsung Electronics Co., Ltd. Apparatus, system, and method for controlling virtual object
KR20230007109A (ko) * 2021-07-05 2023-01-12 주식회사 피앤씨솔루션 양손 제스처를 이용해 조작 신호를 입력하는 착용형 증강현실 장치 및 양손 제스처를 이용한 착용형 증강현실 장치의 조작 방법

Families Citing this family (136)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8352400B2 (en) 1991-12-23 2013-01-08 Hoffberg Steven M Adaptive pattern recognition based controller apparatus and method and human-factored interface therefore
US7966078B2 (en) 1999-02-01 2011-06-21 Steven Hoffberg Network media appliance system and method
AU2001262835A1 (en) * 2000-05-24 2001-12-03 Phplate Stockholm Ab New method and device
US9323055B2 (en) 2006-05-26 2016-04-26 Exelis, Inc. System and method to display maintenance and operational instructions of an apparatus using augmented reality
US8589824B2 (en) * 2006-07-13 2013-11-19 Northrop Grumman Systems Corporation Gesture recognition interface system
US7701439B2 (en) * 2006-07-13 2010-04-20 Northrop Grumman Corporation Gesture recognition simulation system and method
US8180114B2 (en) * 2006-07-13 2012-05-15 Northrop Grumman Systems Corporation Gesture recognition interface system with vertical display
US9696808B2 (en) * 2006-07-13 2017-07-04 Northrop Grumman Systems Corporation Hand-gesture recognition method
US8972902B2 (en) * 2008-08-22 2015-03-03 Northrop Grumman Systems Corporation Compound gesture recognition
US8234578B2 (en) * 2006-07-25 2012-07-31 Northrop Grumman Systems Corporatiom Networked gesture collaboration system
US7907117B2 (en) * 2006-08-08 2011-03-15 Microsoft Corporation Virtual controller for visual displays
US8432448B2 (en) * 2006-08-10 2013-04-30 Northrop Grumman Systems Corporation Stereo camera intrusion detection system
US9317124B2 (en) * 2006-09-28 2016-04-19 Nokia Technologies Oy Command input by hand gestures captured from camera
JP2008146243A (ja) * 2006-12-07 2008-06-26 Toshiba Corp 情報処理装置、情報処理方法、及びプログラム
CN100449459C (zh) * 2006-12-27 2009-01-07 北京航空航天大学 一种单摄像机虚拟鼠标***的校准方法
US20080218331A1 (en) * 2007-03-08 2008-09-11 Itt Manufacturing Enterprises, Inc. Augmented reality-based system and method to show the location of personnel and sensors inside occluded structures and provide increased situation awareness
US8726194B2 (en) 2007-07-27 2014-05-13 Qualcomm Incorporated Item selection using enhanced control
JP4569613B2 (ja) * 2007-09-19 2010-10-27 ソニー株式会社 画像処理装置および画像処理方法、並びにプログラム
US8005263B2 (en) * 2007-10-26 2011-08-23 Honda Motor Co., Ltd. Hand sign recognition using label assignment
US10146320B2 (en) 2007-10-29 2018-12-04 The Boeing Company Aircraft having gesture-based control for an onboard passenger service unit
US20090109036A1 (en) * 2007-10-29 2009-04-30 The Boeing Company System and Method for Alternative Communication
US8139110B2 (en) * 2007-11-01 2012-03-20 Northrop Grumman Systems Corporation Calibration of a gesture recognition interface system
US9377874B2 (en) * 2007-11-02 2016-06-28 Northrop Grumman Systems Corporation Gesture recognition light and video image projector
TW200935272A (en) * 2007-12-03 2009-08-16 Tse-Hsien Yeh Sensing apparatus and operating method thereof
KR20090061179A (ko) * 2007-12-11 2009-06-16 한국전자통신연구원 데이터 입력 장치 및 이를 이용한 데이터 처리 방법
TW200928892A (en) * 2007-12-28 2009-07-01 Wistron Corp Electronic apparatus and operation method thereof
US20090172606A1 (en) * 2007-12-31 2009-07-02 Motorola, Inc. Method and apparatus for two-handed computer user interface with gesture recognition
WO2009128064A2 (en) * 2008-04-14 2009-10-22 Pointgrab Ltd. Vision based pointing device emulation
DE102008020772A1 (de) * 2008-04-21 2009-10-22 Carl Zeiss 3D Metrology Services Gmbh Darstellung von Ergebnissen einer Vermessung von Werkstücken
JP4384240B2 (ja) * 2008-05-28 2009-12-16 株式会社東芝 画像処理装置、画像処理方法、画像処理プログラム
US8345920B2 (en) * 2008-06-20 2013-01-01 Northrop Grumman Systems Corporation Gesture recognition interface system with a light-diffusive screen
US20110115702A1 (en) * 2008-07-08 2011-05-19 David Seaberg Process for Providing and Editing Instructions, Data, Data Structures, and Algorithms in a Computer System
GB2477044B (en) * 2008-08-22 2012-04-04 Northrop Grumman Systems Corp Compound gesture recognition
US20100088637A1 (en) * 2008-10-07 2010-04-08 Himax Media Solutions, Inc. Display Control Device and Display Control Method
US9134798B2 (en) 2008-12-15 2015-09-15 Microsoft Technology Licensing, Llc Gestures, interactions, and common ground in a surface computing environment
JP4702475B2 (ja) * 2008-12-25 2011-06-15 ソニー株式会社 入力装置、ハンドヘルド装置及び制御方法
US20100199231A1 (en) 2009-01-30 2010-08-05 Microsoft Corporation Predictive determination
US7996793B2 (en) 2009-01-30 2011-08-09 Microsoft Corporation Gesture recognizer system architecture
US8902280B2 (en) * 2009-04-16 2014-12-02 Hewlett-Packard Development Company, L.P. Communicating visual representations in virtual collaboration systems
US20100289912A1 (en) * 2009-05-14 2010-11-18 Sony Ericsson Mobile Communications Ab Camera arrangement with image modification
US8487871B2 (en) 2009-06-01 2013-07-16 Microsoft Corporation Virtual desktop coordinate transformation
JP2011028366A (ja) * 2009-07-22 2011-02-10 Sony Corp 操作制御装置および操作制御方法
US8428368B2 (en) 2009-07-31 2013-04-23 Echostar Technologies L.L.C. Systems and methods for hand gesture control of an electronic device
KR101634355B1 (ko) * 2009-09-18 2016-06-28 삼성전자주식회사 동작 검출 장치 및 방법
GB2483168B (en) * 2009-10-13 2013-06-12 Pointgrab Ltd Computer vision gesture based control of a device
KR20110055062A (ko) * 2009-11-19 2011-05-25 삼성전자주식회사 로봇 시스템 및 그 제어 방법
TWI408610B (zh) * 2009-12-30 2013-09-11 Ind Tech Res Inst 姿勢辨識方法與系統，及其電腦程式產品
TW201135341A (en) * 2010-04-13 2011-10-16 Hon Hai Prec Ind Co Ltd Front projection system and method
US20110304649A1 (en) * 2010-06-10 2011-12-15 Microsoft Corporation Character selection
US9009594B2 (en) * 2010-06-10 2015-04-14 Microsoft Technology Licensing, Llc Content gestures
US8639020B1 (en) 2010-06-16 2014-01-28 Intel Corporation Method and system for modeling subjects from a depth map
KR101298024B1 (ko) * 2010-09-17 2013-08-26 엘지디스플레이 주식회사 사용자 동적 기관 제스처 인식 방법 및 인터페이스와, 이를 사용하는 전기 사용 장치
KR101326230B1 (ko) * 2010-09-17 2013-11-20 한국과학기술원 사용자 동적 기관 제스처 인식 방법 및 인터페이스와, 이를 사용하는 전기 사용 장치
KR101169583B1 (ko) 2010-11-04 2012-07-31 주식회사 매크론 가상마우스 구동방법
US20130283202A1 (en) * 2010-12-30 2013-10-24 Wei Zhou User interface, apparatus and method for gesture recognition
WO2012093394A2 (en) * 2011-01-06 2012-07-12 Pointgrab Ltd. Computer vision based two hand control of content
WO2012108551A1 (en) * 2011-02-08 2012-08-16 Lg Electronics Inc. Display device and method of controlling the same
WO2012108552A1 (en) * 2011-02-08 2012-08-16 Lg Electronics Inc. Display device and control method thereof
TWI443561B (zh) * 2011-02-15 2014-07-01 Hannstar Display Corp 觸控裝置
CN102681701A (zh) * 2011-03-07 2012-09-19 瀚宇彩晶股份有限公司 触控装置
WO2012125596A2 (en) 2011-03-12 2012-09-20 Parshionikar Uday Multipurpose controller for electronic devices, facial expressions management and drowsiness detection
US11048333B2 (en) 2011-06-23 2021-06-29 Intel Corporation System and method for close-range movement tracking
JP6074170B2 (ja) 2011-06-23 2017-02-01 インテル・コーポレーション 近距離動作のトラッキングのシステムおよび方法
WO2013015466A1 (en) * 2011-07-25 2013-01-31 Lg Electronics Inc. Electronic device for displaying three-dimensional image and method of using the same
US9030487B2 (en) 2011-08-01 2015-05-12 Lg Electronics Inc. Electronic device for displaying three-dimensional image and method of using the same
KR101189633B1 (ko) * 2011-08-22 2012-10-10 성균관대학교산학협력단 손가락 움직임에 따른 포인터 제어명령어 인식 방법 및 손가락 움직임에 따라 포인터를 제어하는 모바일 단말
CN102999156A (zh) * 2011-09-14 2013-03-27 杭州新锐信息技术有限公司 一种动作遥控装置、产品及方法
KR20190133080A (ko) 2011-09-19 2019-11-29 아이사이트 모빌 테크놀로지 엘티디 증강 현실 시스템용 터치프리 인터페이스
TWI571772B (zh) 2011-10-31 2017-02-21 財團法人資訊工業策進會 虛擬滑鼠驅動裝置及虛擬滑鼠模擬方法
US9684379B2 (en) * 2011-12-23 2017-06-20 Intel Corporation Computing system utilizing coordinated two-hand command gestures
US10345911B2 (en) 2011-12-23 2019-07-09 Intel Corporation Mechanism to provide visual feedback regarding computing system command gestures
EP2795430A4 (en) * 2011-12-23 2015-08-19 Intel Ip Corp TRANSITION MECHANISM FOR A COMPUTER SYSTEM WITH USER DETECTION
US9678574B2 (en) 2011-12-23 2017-06-13 Intel Corporation Computing system utilizing three-dimensional manipulation command gestures
KR20130078490A (ko) * 2011-12-30 2013-07-10 삼성전자주식회사 전자 장치 및 그의 제어 방법
JP2013164834A (ja) * 2012-01-13 2013-08-22 Sony Corp 画像処理装置および方法、並びにプログラム
US9225891B2 (en) * 2012-02-09 2015-12-29 Samsung Electronics Co., Ltd. Display apparatus and method for controlling display apparatus thereof
US10503373B2 (en) * 2012-03-14 2019-12-10 Sony Interactive Entertainment LLC Visual feedback for highlight-driven gesture user interfaces
US9477303B2 (en) 2012-04-09 2016-10-25 Intel Corporation System and method for combining three-dimensional tracking with a three-dimensional display for a user interface
KR101370022B1 (ko) * 2012-05-02 2014-03-25 주식회사 매크론 동작 인식 리모트 컨트롤러
WO2012126426A2 (zh) * 2012-05-21 2012-09-27 华为技术有限公司 一种非接触式手势控制方法及装置
US20130335587A1 (en) * 2012-06-14 2013-12-19 Sony Mobile Communications, Inc. Terminal device and image capturing method
US20140037135A1 (en) * 2012-07-31 2014-02-06 Omek Interactive, Ltd. Context-driven adjustment of camera parameters
KR102035134B1 (ko) * 2012-09-24 2019-10-22 엘지전자 주식회사 영상표시장치, 및 그 동작방법
TWI454971B (zh) * 2012-12-11 2014-10-01 Pixart Imaging Inc 電子裝置控制方法以及使用此電子裝置控制方法的電子裝置
KR101438615B1 (ko) 2012-12-18 2014-11-03 현대자동차 주식회사 2차원 카메라를 이용한 사용자 인터페이스 조작 시스템 및 방법
US9704350B1 (en) 2013-03-14 2017-07-11 Harmonix Music Systems, Inc. Musical combat game
EP2983064B1 (en) * 2013-04-02 2019-11-27 Sony Corporation Information processing apparatus, information processing method, and program
CN103324285A (zh) * 2013-05-24 2013-09-25 深圳Tcl新技术有限公司 基于手势***的摄像头调整方法及终端
CN103257713B (zh) * 2013-05-31 2016-05-04 华南理工大学 一种手势控制方法
US9310851B2 (en) 2013-06-03 2016-04-12 Amchael Visual Technology Corporation Three-dimensional (3D) human-computer interaction system using computer mouse as a 3D pointing device and an operation method thereof
US9507437B2 (en) 2013-07-16 2016-11-29 Amchael Visual Technology Corporation Algorithms, software and an interaction system that support the operation of an on the fly mouse
US9678583B2 (en) 2013-07-23 2017-06-13 University Of Kentucky Research Foundation 2D and 3D pointing device based on a passive lights detection operation method using one camera
US9390563B2 (en) 2013-08-12 2016-07-12 Air Virtise Llc Augmented reality device
US9201519B2 (en) 2013-08-14 2015-12-01 Amchael Visual Technology Corporation Three-dimensional pointing using one camera and three aligned lights
US10152136B2 (en) * 2013-10-16 2018-12-11 Leap Motion, Inc. Velocity field interaction for free space gesture interface and control
US9740296B2 (en) 2013-12-16 2017-08-22 Leap Motion, Inc. User-defined virtual interaction space and manipulation of virtual cameras in the interaction space
CN103645807B (zh) * 2013-12-23 2017-08-25 努比亚技术有限公司 空中姿态输入方法和装置
RU2014109439A (ru) * 2014-03-12 2015-09-20 ЭлЭсАй Корпорейшн Процессор изображений, содержащий систему распознавания жестов с сопоставлением положения руки, основываясь на признаках контура
KR102265143B1 (ko) * 2014-05-16 2021-06-15 삼성전자주식회사 입력 처리 장치 및 방법
US9575560B2 (en) 2014-06-03 2017-02-21 Google Inc. Radar-based gesture-recognition through a wearable device
US9946373B2 (en) * 2014-07-31 2018-04-17 Dell Products, Lp System and method for using single-display application programs on a multi-display device
US9811164B2 (en) 2014-08-07 2017-11-07 Google Inc. Radar-based gesture sensing and data transmission
US10268321B2 (en) 2014-08-15 2019-04-23 Google Llc Interactive textiles within hard objects
US9778749B2 (en) 2014-08-22 2017-10-03 Google Inc. Occluded gesture recognition
US11169988B2 (en) 2014-08-22 2021-11-09 Google Llc Radar recognition-aided search
USD726199S1 (en) 2014-08-29 2015-04-07 Nike, Inc. Display screen with emoticon
USD723579S1 (en) * 2014-08-29 2015-03-03 Nike, Inc. Display screen with emoticon
USD725129S1 (en) * 2014-08-29 2015-03-24 Nike, Inc. Display screen with emoticon
USD724606S1 (en) * 2014-08-29 2015-03-17 Nike, Inc. Display screen with emoticon
USD725130S1 (en) * 2014-08-29 2015-03-24 Nike, Inc. Display screen with emoticon
USD723577S1 (en) * 2014-08-29 2015-03-03 Nike, Inc. Display screen with emoticon
USD724098S1 (en) 2014-08-29 2015-03-10 Nike, Inc. Display screen with emoticon
USD723578S1 (en) * 2014-08-29 2015-03-03 Nike, Inc. Display screen with emoticon
USD724099S1 (en) * 2014-08-29 2015-03-10 Nike, Inc. Display screen with emoticon
USD725131S1 (en) * 2014-08-29 2015-03-24 Nike, Inc. Display screen with emoticon
USD723046S1 (en) * 2014-08-29 2015-02-24 Nike, Inc. Display screen with emoticon
US9600080B2 (en) 2014-10-02 2017-03-21 Google Inc. Non-line-of-sight radar-based gesture recognition
US10452195B2 (en) 2014-12-30 2019-10-22 Samsung Electronics Co., Ltd. Electronic system with gesture calibration mechanism and method of operation thereof
US9696795B2 (en) 2015-02-13 2017-07-04 Leap Motion, Inc. Systems and methods of creating a realistic grab experience in virtual reality/augmented reality environments
WO2016176574A1 (en) 2015-04-30 2016-11-03 Google Inc. Wide-field radar-based gesture recognition
JP6517356B2 (ja) 2015-04-30 2019-05-22 グーグル エルエルシー タイプに依存しないｒｆ信号表現
EP3885882A1 (en) 2015-04-30 2021-09-29 Google LLC Rf-based micro-motion tracking for gesture tracking and recognition
US9693592B2 (en) 2015-05-27 2017-07-04 Google Inc. Attaching electronic components to interactive textiles
US10088908B1 (en) 2015-05-27 2018-10-02 Google Llc Gesture detection and interactions
US10817065B1 (en) 2015-10-06 2020-10-27 Google Llc Gesture recognition using multiple antenna
US10176641B2 (en) * 2016-03-21 2019-01-08 Microsoft Technology Licensing, Llc Displaying three-dimensional virtual objects based on field of view
WO2017192167A1 (en) 2016-05-03 2017-11-09 Google Llc Connecting an electronic component to an interactive textile
US10175781B2 (en) 2016-05-16 2019-01-08 Google Llc Interactive object with multiple electronics modules
US10285456B2 (en) 2016-05-16 2019-05-14 Google Llc Interactive fabric
US11073980B2 (en) 2016-09-29 2021-07-27 Microsoft Technology Licensing, Llc User interfaces for bi-manual control
US10579150B2 (en) 2016-12-05 2020-03-03 Google Llc Concurrent detection of absolute distance and relative movement for sensing action gestures
CN107422856A (zh) * 2017-07-10 2017-12-01 上海小蚁科技有限公司 用于机器处理用户命令的方法、装置和存储介质
CN107181974A (zh) * 2017-07-18 2017-09-19 无锡路通视信网络股份有限公司 一种机顶盒的手势控制装置及控制方法
US11875012B2 (en) 2018-05-25 2024-01-16 Ultrahaptics IP Two Limited Throwable interface for augmented reality and virtual reality environments
US11907433B2 (en) * 2021-06-21 2024-02-20 Goodrich Corporation Gesture-based systems and methods for aircraft cabin light control
US11782599B1 (en) * 2022-09-14 2023-10-10 Huawei Technologies Co., Ltd. Virtual mouse for electronic touchscreen display

Family Cites Families (46)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE69204045T2 (de) * 1992-02-07 1996-04-18 Ibm Verfahren und Vorrichtung zum optischen Eingang von Befehlen oder Daten.
JP3355708B2 (ja) * 1993-06-29 2002-12-09 カシオ計算機株式会社 コマンド処理装置
US6191773B1 (en) * 1995-04-28 2001-02-20 Matsushita Electric Industrial Co., Ltd. Interface apparatus
US6115482A (en) * 1996-02-13 2000-09-05 Ascent Technology, Inc. Voice-output reading system with gesture-based navigation
US5812118A (en) * 1996-06-25 1998-09-22 International Business Machines Corporation Method, apparatus, and memory for creating at least two virtual pointing devices
ATE232621T1 (de) * 1996-12-20 2003-02-15 Hitachi Europ Ltd Verfahren und system zur erkennung von handgesten
JPH10207602A (ja) 1997-01-21 1998-08-07 Canon Inc 記号入力装置
US6747632B2 (en) * 1997-03-06 2004-06-08 Harmonic Research, Inc. Wireless control device
JP3749369B2 (ja) * 1997-03-21 2006-02-22 株式会社竹中工務店 ハンドポインティング装置
KR100244523B1 (ko) * 1997-05-02 2000-02-01 정선종 가상현실용 실시간 인터페이싱 시스템의 구성 및 그 동작 방법(Real-time interfacing for virtual environment)
US6252598B1 (en) * 1997-07-03 2001-06-26 Lucent Technologies Inc. Video hand image computer interface
US6600480B2 (en) * 1998-12-31 2003-07-29 Anthony James Francis Natoli Virtual reality keyboard system and method
KR100595926B1 (ko) * 1998-01-26 2006-07-05 웨인 웨스터만 수동 입력 통합 방법 및 장치
US6407679B1 (en) * 1998-07-31 2002-06-18 The Research Foundation Of The State University Of New York System and method for entering text in a virtual environment
US6501515B1 (en) * 1998-10-13 2002-12-31 Sony Corporation Remote control system
US7187412B1 (en) * 2000-01-18 2007-03-06 Hewlett-Packard Development Company, L.P. Pointing device for digital camera display
US6624833B1 (en) * 2000-04-17 2003-09-23 Lucent Technologies Inc. Gesture-based input interface system with shadow detection
WO2002027453A2 (en) * 2000-09-26 2002-04-04 Eugenio Bustamante Providing input signals
US7058204B2 (en) * 2000-10-03 2006-06-06 Gesturetek, Inc. Multiple camera control system
DE10063089C1 (de) * 2000-12-18 2002-07-25 Siemens Ag Anwendergesteuerte Verknüpfung von Informationen innerhalb eines Augmented-Reality-Systems
US7030861B1 (en) * 2001-02-10 2006-04-18 Wayne Carl Westerman System and method for packing multi-touch gestures onto a hand
JP2002259989A (ja) 2001-03-02 2002-09-13 Gifu Prefecture ポインティングジェスチャ検出方法及びその装置
US7215322B2 (en) * 2001-05-31 2007-05-08 Siemens Corporate Research, Inc. Input devices for augmented reality applications
US7274800B2 (en) * 2001-07-18 2007-09-25 Intel Corporation Dynamic gesture recognition from stereo sequences
US7007236B2 (en) * 2001-09-14 2006-02-28 Accenture Global Services Gmbh Lab window collaboration
US7680295B2 (en) * 2001-09-17 2010-03-16 National Institute Of Advanced Industrial Science And Technology Hand-gesture based interface apparatus
US20030095154A1 (en) 2001-11-19 2003-05-22 Koninklijke Philips Electronics N.V. Method and apparatus for a gesture-based user interface
JP3997392B2 (ja) 2001-12-13 2007-10-24 セイコーエプソン株式会社 表示装置及び表示装置の入力方法
US7102615B2 (en) * 2002-07-27 2006-09-05 Sony Computer Entertainment Inc. Man-machine interface using a deformable device
IL151255A0 (en) * 2002-08-14 2003-04-10 Ariel Yedidya System and method for interacting with computer using a video-camera image on screen and appurtenances useful therewith
US20040056958A1 (en) * 2002-09-24 2004-03-25 Lee Steven K. Video environment for camera
US20040085334A1 (en) * 2002-10-30 2004-05-06 Mark Reaney System and method for creating and displaying interactive computer charcters on stadium video screens
US20060176274A1 (en) * 2003-02-25 2006-08-10 Chiu-Hao Cheng Photographic type pointer positioning device
US20040179121A1 (en) * 2003-03-12 2004-09-16 Silverstein D. Amnon System and method for displaying captured images according to imaging device position
US8745541B2 (en) * 2003-03-25 2014-06-03 Microsoft Corporation Architecture for controlling a computer using hand gestures
US7665041B2 (en) * 2003-03-25 2010-02-16 Microsoft Corporation Architecture for controlling a computer using hand gestures
EP1477924B1 (en) * 2003-03-31 2007-05-02 HONDA MOTOR CO., Ltd. Gesture recognition apparatus, method and program
US20040196400A1 (en) * 2003-04-07 2004-10-07 Stavely Donald J. Digital camera user interface using hand gestures
JP2004349915A (ja) 2003-05-21 2004-12-09 Matsushita Electric Ind Co Ltd リモートコントロール装置
US20040254982A1 (en) * 2003-06-12 2004-12-16 Hoffman Robert G. Receiving system for video conferencing system
US7559026B2 (en) * 2003-06-20 2009-07-07 Apple Inc. Video conferencing system having focus control
US7995090B2 (en) * 2003-07-28 2011-08-09 Fuji Xerox Co., Ltd. Video enabled tele-presence control host
US7411575B2 (en) * 2003-09-16 2008-08-12 Smart Technologies Ulc Gesture recognition method and touch system incorporating the same
WO2005104010A2 (en) * 2004-04-15 2005-11-03 Gesture Tek, Inc. Tracking bimanual movements
US8560972B2 (en) * 2004-08-10 2013-10-15 Microsoft Corporation Surface UI for gesture-based interaction
US8358277B2 (en) * 2008-03-18 2013-01-22 Microsoft Corporation Virtual keyboard based activation and dismissal

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100858358B1 (ko) * 2006-09-29 2008-09-11 김철우 손의 움직임 인식을 이용한 사용자인터페이스 장치 및 방법
KR100862349B1 (ko) * 2007-01-08 2008-10-13 전자부품연구원 제스처 인식 기능을 이용한 반투과 거울 기반 사용자인터페이스 시스템
US8237654B2 (en) 2007-12-18 2012-08-07 Samsung Electroncis Co., Ltd. Display apparatus and control method thereof
KR101528931B1 (ko) * 2009-02-05 2015-06-15 정수영 디지털 정보 디스플레이 제어 장치
KR101148484B1 (ko) * 2009-04-23 2012-05-25 히다찌 컨슈머 일렉트로닉스 가부시끼가이샤 입력 장치
US9164578B2 (en) 2009-04-23 2015-10-20 Hitachi Maxell, Ltd. Input device for operating graphical user interface
US9411424B2 (en) 2009-04-23 2016-08-09 Hitachi Maxell, Ltd. Input device for operating graphical user interface
US11036301B2 (en) 2009-04-23 2021-06-15 Maxell, Ltd. Input device for motion operating graphical user interface
US9563277B2 (en) 2011-03-16 2017-02-07 Samsung Electronics Co., Ltd. Apparatus, system, and method for controlling virtual object
US8938124B2 (en) 2012-05-10 2015-01-20 Pointgrab Ltd. Computer vision based tracking of a hand
KR101536753B1 (ko) * 2013-10-31 2015-07-15 주식회사 골프존 사용자 동작 인식에 기반한 영상 처리 방법 및 시스템
CN106055082A (zh) * 2015-04-10 2016-10-26 三星电子株式会社 用于基于事件显示屏幕的装置和方法
KR20230007109A (ko) * 2021-07-05 2023-01-12 주식회사 피앤씨솔루션 양손 제스처를 이용해 조작 신호를 입력하는 착용형 증강현실 장치 및 양손 제스처를 이용한 착용형 증강현실 장치의 조작 방법

Also Published As

Publication number Publication date
US7849421B2 (en) 2010-12-07
KR100687737B1 (ko) 2007-02-27
US20060209021A1 (en) 2006-09-21

Similar Documents

Publication Publication Date Title
KR100687737B1 (ko) 양손 제스쳐에 기반한 가상 마우스 장치 및 방법
US9298266B2 (en) Systems and methods for implementing three-dimensional (3D) gesture based graphical user interfaces (GUI) that incorporate gesture reactive interface objects
CN105843491B (zh) 页面快速导航切换方法、装置及终端
CN105229582B (zh) 基于近距离传感器和图像传感器的手势检测
US9507417B2 (en) Systems and methods for implementing head tracking based graphical user interfaces (GUI) that incorporate gesture reactive interface objects
US9569010B2 (en) Gesture-based human machine interface
US8291348B2 (en) Computing device and method for selecting display regions responsive to non-discrete directional input actions and intelligent content analysis
US8373673B2 (en) User interface for initiating activities in an electronic device
US20140306897A1 (en) Virtual keyboard swipe gestures for cursor movement
KR20130105725A (ko) 콘텐츠의 양 손 제어에 기반한 컴퓨터 비전
WO2010008835A1 (en) Enhanced character input using recognized gestures
CN106104450B (zh) 选择图形用户界面某一部分的方法
US10521101B2 (en) Scroll mode for touch/pointing control
EP3598765A1 (en) Display apparatus and controlling method thereof
CN103440033A (zh) 一种基于徒手和单目摄像头实现人机交互的方法和装置
WO2022267760A1 (zh) 按键功能执行方法、装置、设备及存储介质
CN105677194A (zh) 一种对象选择方法及终端
KR100962569B1 (ko) 손의 모양 변화에 기초하여 제어되는 가상 마우스 장치 및그 구동 방법
KR20160097410A (ko) 동작 인식을 통한 비접촉식 입력 인터페이스 제공 방법 및 그 장치
KR101488662B1 (ko) Nui 장치를 통하여 사용자와 상호작용하는 인터페이스 제공방법 및 제공장치
KR101436585B1 (ko) 원 포인트 터치를 이용한 사용자 인터페이스 제공 방법 및 이를 위한 장치
US20190056840A1 (en) Proximal menu generation
CN109753154B (zh) 有屏设备的手势控制方法和装置
CN109739422B (zh) 一种窗口控制方法、装置及设备
US20150268734A1 (en) Gesture recognition method for motion sensing detector

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20130205

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20140123

Year of fee payment: 8

FPAY Annual fee payment

Payment date: 20150126

Year of fee payment: 9

FPAY Annual fee payment

Payment date: 20160127

Year of fee payment: 10

FPAY Annual fee payment

Payment date: 20170124

Year of fee payment: 11

LAPS Lapse due to unpaid annual fee