KR20100030737A - 3ｄ 인터랙션을 위한 영상정보 기반의 마우스 구현 방법 및장치 - Google Patents

3ｄ 인터랙션을 위한 영상정보 기반의 마우스 구현 방법 및장치 Download PDF

Info

Publication number
KR20100030737A
KR20100030737A KR1020080089590A KR20080089590A KR20100030737A KR 20100030737 A KR20100030737 A KR 20100030737A KR 1020080089590 A KR1020080089590 A KR 1020080089590A KR 20080089590 A KR20080089590 A KR 20080089590A KR 20100030737 A KR20100030737 A KR 20100030737A
Authority
KR
South Korea
Prior art keywords
mouse
image
zone
user
image mouse
Prior art date
Application number
KR1020080089590A
Other languages
English (en)
Inventor
이필규
Original Assignee
이필규
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 이필규 filed Critical 이필규
Priority to KR1020080089590A priority Critical patent/KR20100030737A/ko
Publication of KR20100030737A publication Critical patent/KR20100030737A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1662—Details related to the integrated keyboard
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/038—Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • Position Input By Displaying (AREA)

Abstract

본 발명은 영상처리, 인식 기술을 이용한 사용자 인터페이스에 관한 것으로, 사용자가 손, 손가락 또는 신체의 일부를 사용하여 용이하게 2D 또는 3D 인터랙션을 위한 컴퓨터 마우스의 기능을 수행할 수 있도록 하는 영상마우스 장치를 위하여, 컴퓨터의 화면출력장치 전면에 영상마우스 공간이라고 불리는 특정한 영역을 설정하여 손, 손가락, 신체의 일부 등의 오브젝트 이동영역으로 지정하고, 상기 영역 내에 중립 존, 좌측 버튼 존, 우측 버튼 존, 중앙 휠 존을 지정하여서, 중립 존을 중심으로 오브젝트의 움직임 감지분석을 통하여 커서이동 제어, 좌측(우측) 버튼 존의 움직임 감지를 통한 좌측(우측) 클릭, 중앙 휠 존의 움직임 감지를 통한 스크롤 지시의 생성을 수행하여서 기존의 일반 마우스, 터치스크린, 노트북 내장 마우스 등의 기능을 포괄하여 수행할 수 있는 2D 또는 3D 영상마우스 방법 및 장치이다.
본 발명은 기존의 마우스를 사용하기 어려운 열악한 환경의 사용자, 신체 장애자 및 기존 마우스 사용에 의한 신체적인 부작용의 해소에 기여할 수 있게 되며, 특히 유비쿼터스 환경에 적합한 이동 중의 사용자를 위한 인터페이스를 용이하게 지원하고, 2D은 물론 3D 마우스 기능을 저가의 비용으로 제공하게 됨으로써 연관 산업에 활성화에 기여할 수 있게 된다.
영상마우스, 3D 인터랙션, 사용자 인터페이스, 클릭, 스크롤, 중립존

Description

3Ｄ 인터랙션을 위한 영상정보 기반의 마우스 구현 방법 및 장치 {Implementation Method and Device of Image Information based Mouse for 3D interaction}
기존의 컴퓨터마우스는 지속적인 발전, 진화를 거듭하고 있으나, 장기간 사용하는 경우 책상 위에서 사용하는 컴퓨터 마우스나 노트북 컴퓨터 내장형 등 그 사용방법 이 팔목, 손가락 등에 무리를 주는 등 부작용이 있고, 특히, 손, 손가락에 장애를 가진 장애인들에게는 어려움이 있었고, 직접 마우스를 사용하기 어려운 열악한 작업환경, 최근 활성화되고 있는 언제 어디서나 컴퓨팅 리소스에 접근할 수 있는 DID (Digital Information Display), Digital Signage, Interactive glass, Interactive mirror, IPTV 등을 포함하는 유비쿼터스, 모바일 컴퓨팅 시대에는 매우 부적합한 단면을 보이고 있다. 이러한 문제점을 터치 스크린에 의하여 상당 부분 해소해 왔으나, 그 한계가 있으며, 스크린의 대형화 및 비용적인 면에서 어려움이 있다. 디스플레이 장치 설치 위치가 가정이나, 사무실에서 벗어나 대형 마트, 지하철, 일반 시내 등 공공장소로 확장되고, 다양해지며, 2D에서 3D 디스플레이로 전환이 되어가는 추세에 적합한 새로운 사용자 인터페이스 기술이 요구된다.
현존하는 기술로는 이러한 수요를 충족하기에는 상당한 문제점이 있으며, 종래의 대부분의 마우스 장치 또는 터치 팬널은 2D 입력장치로, 최근 부상하는 3D 출력 장치에는 그 한계점이 명백하다는 문제점을 가지고 있다. 따라서, 언제 어느 장소에서나 편리하게 사용할 수 있고, 특히 이동 중에 용이하게 접근 할 수 있으면서 기존의 마우스 기능, 동시에 3D 인터랙션 기능을 수행하기 위하여 사용 공간의 제약을 덜 받고 2D, 3D 사용자 인터페이스를 용이하고 저렴하게 제공할 수 있는 영상인식 기반의 영상마우스를 제안한다.
본 발명이 이루고자 하는 기술적 과제는 2D는 물론 3D 사용자 입력을 지원하는 사용자 입력 장치 및 그 입력 처리 방법인 영상 기반의 영상마우스 방법 및 장치에 대한 것이다. 컴퓨터 마우스의 기능을 일반적인 볼 마우스, 광마우스 대신에 영상정보 장치를 컴퓨터에 유무선으로 연결하여 마우스의 기능을 수행할 수 있도록 하여서, 기존의 마우스보다는 상대적으로 원하는 공간에서 편리하게 영상 마우스를 사용할 수 있도록 하며, 손 장애인의 경우에는 팔, 발 등 신체의 다른 부위를 사용할 수 있도록 하고, 기존의 마우스에 의한 디스플레이 장치 접근이 어려운 작업 환경, 특히 이동 사용 환경에 적합한 2D 또는 3D 영상마우스 기술에 관한 것이다.
상기의 과제를 해결하고자, 본 발명에서는 사용자가 본인의 손, 손가락 또는 신체의 일부를 사용하여 용이하게 컴퓨터 마우스의 기능을 수행할 수 있도록 하는 영상마우스 장치를 위하여, 영상마우스를 위한 특정의 영상마우스 공간 영역을 지정하고, 상기 영역 내에서의 손, 손가락 또는 신체의 일부 등의 오브젝트의 움직임을 캡춰하는 영상마우스 입력부, 캡춰된 영상을 분석하여 일반 또는 확장된 마우스의 제어신호로 해석하는 영상마우스 해석부, 화면출력 장치의 일부에 해석된 마우스 제어 정보를 표시하는 영상 마우스 표시부, 영상마우스 공간의 기준점 또는 견고한 조명환경을 제공하기 위한 지향성 조명부, 영상마우스 공간내의 물체의 움직임 추적, 위치파악의 정확성을 보조하기 위한 움직임 감지 센서부를 전부 또는 일 부 포함하여 장치를 구성하고, 영상인식 기술의 물체 추적, 물체 인식 기술을 통하여 기존의 일반 마우스의 포인팅, 드래깅, 좌 버튼 클릭, 우 번튼 클릭, 중앙 휠에 의한 스크롤 등의 지시를 생성 컴퓨터에 인터페이스 정보를 제공하도록 하는 방법 및 장치를 제시한다.
본 발명은, 기존의 데스크 탑, 노트 내장형 마우스, 터치 스크린의 사용자 인터페이스 방식을 영상정보를 이용하여 대체 수행하게 됨으로써, 앞으로의 유비쿼터스, 모바일 환경에 적합한 사용자 인터페이스를 제공하게 되고, 2D는 물론 용이하게 3D 마우스 기능을 저가의 비용으로 제공하게 됨으로써 U-home, U-Shop, U-Street 등에 적용될 수 있어서 DID, IPTV, Digital Signage와 같이 기존의 TV, 데스크탑 컴퓨터, 노트북 컴퓨터 등 마우스를 통한 인터페이스가 요구되는 연관산업에 활성화할 것으로 기대된다.
또한, 사용자 입장에서는 별도의 도구 없이 사용자가 본인의 손 또는 신체의 일부를 사용하여 본인이 지정한 공간 내에서 용이하게 수행할 수 있으므로 해서, 편의성, 효율성의 향상이 기대되며, 기존의 마우스의 부작용인 손목, 손가락 통증, 자세 기형과 같은 문제점도 상당수준 완화할 수 있으며, 기존의 마우스 또는 터치 스크린의 사용이 어려운 열악한 환경에서도 사용자가 컴퓨터를 용이하게 사용할 수 있는 도구를 제공할 수 있게 되어서, 산업적인 파급 효과가 기대된다.
본 발명의 영상인식 기술을 이용한 2D 또는 3D 사용자 인터페이스를 제공하기 위한 영상마우스 방법 및 장치에 대한 내용으로, 사용자가 본인의 손, 신체의 일부, 또는 간단한 도구 및 장치의 움직임 정보를 생성하여 용이하게 컴퓨터 또는 컴퓨팅 시스템의 마우스의 기능을 수행할 수 있도록 하기 위하여, 영상 마우스를 위한 지정 공간 내의 손, 신체 일부, 또는 간단한 도구 및 장치의 움직임을 캡춰하는 영상마우스 입력부 (100), 캡춰된 영상을 분석하여 일반 또는 확장된 마우스의 제어신호로 해석하는 영상마우스 해석부 (200), 화면출력 장치의 일부에 해석된 마우스 제어 정보를 표시하는 영상 마우스 표시부 (300), 영상마우스 공간의 기준점 또는 견고한 조명환경을 제공하기 위한 지향성 조명부 (400), 움직임 감지 센서부 (500)를 전부 또는 일부 포함하여 구성된다. 여기서 컴퓨팅 시스템은 컴퓨터의 연산능력, 기억능력을 활용하는 모든 시스템을 의미한다.
본 발명에 의하면, 컴퓨터 화면출력 장치 전면에 특정한 공간을 영상마우스 공간 (600 )이라고 설정하고, 손, 손가락, 신체의 일부, 또는 간단한 도구 및 장치 등의 오브젝트의 이동영역으로 설정하고, 상기 영역 내에 중립 존(610), 좌측 버튼 존(620), 우측 버튼 존(640), 중심 휠 존(630)을 지정하여서, 중립 존(610)을 기존으로 이동위치와 이동방향을 포함하는 커서의 움직임을 제어하는 오브젝트 움직임 추적 기능, 움직임을 감지하여 좌측 클릭 지시를 생성하는 좌측 버튼 존(620), 우측 클릭 지시를 생성하는 우측 버튼 존(640), 손가락의 움직임 감지를 통한 스크롤 지시를 생성하는 중심 휠 존(630), 또는 좌우는 물론 상하, 좌우 대각선 스크롤 지시를 생성할 수 있는 확장된 중심 휠 기능을 수행할 수 있는 일반 마우스, 터치 스크린, 노트북 내장 마우스 등의 기능을 포함하는 것을 특징으로 하고, 영상마우 스 공간 3D 마우스의 기능까지 포함하는 영상인식 기반의 영상 마우스 방법 및 장치를 포함한다.
상기 영상마우스 영역 내의 각 존은 변형 또는 새로 지정될 수 있으며 영상마우스 영역은 필요에 따라서 복수영역이 사용될 수 있으며, 동일 지역뿐만이 아니라 분산된 지역에 각각 연동하여 사용될 수 있다.
본 발명의 영상마우스를 이용한 사용자 인터페이스 방법은, 컴퓨터 또는 컴퓨팅 시스템에 장착되어서 해당 사용자가 마우스의 기능을 사용하고자 할 때에 지향성 조명 장치를 포함하는 영상 마우스를 활성화 및 초기화하는 단계, 상기 사용자의 손 또는 신체 일부의 움직임을 영상정보로 캡춰하는 단계(S700), 캡춰된 영상을 분석하는 단계(S720), 상기 영상정보를 이용하여 사용자의 움직임을 해석하여 해당하는 컴퓨터 인터페이스 지시를 생성하는 단계(S740), 상기 지시를 상기 컴퓨터의 마우스 제어 프로그램으로 전달하는 단계(S750), 필요한 경우 상기 지시를 화면의 일부에 출력하는 단계(S760)를 포함한다. 여기에서 사용되는 영상정보에 추가하여 영상마우스의 신뢰도를 향상시키기 위하여 움직임 센서를 이용하여 손이나 신체 일부의 움직임 정보를 획득하여 사용할 수 있으며, 이를 위하여 움직임 센서 정보를 획득하는 단계(S710), 움직임 센서 정보를 분석하는 단계(S720)을 포함할 수 있다.
상기 영상마우스 입력부는 단수 또는 복수개의 카메라로 구성되며, 통상 컴퓨터 또는 컴퓨팅 시스템의 디스플레이 장치 전면에 영상마우스 영역(600)이라고 불리는 특정한 공간을 포함하는 영역의 영상을 캡춰한다. 영상마우스 영역(600)은 사용자가 영상마우스를 통하여 컴퓨터를 조작하는 동안 손, 신체의 일부, 또는 간 단한 도구 내지는 장치의 움직임을 통하여 마우스 제어하는 영상 신호를 발생시키도록 허용된 영역으로, 사전 상기 영역을 지정하는 중립 존(610) 고정 방식 또는 사용자의 지정에 의하여 손 또는 신체의 일부의 이동공간 영역으로 설정하는 중립 존(610) 선언 방식으로 구분된다. 도 3과 같이 상기 영역 내에 중립 존(610)을 기준으로 좌측 버튼 존(620), 우측 버튼 존(640), 중심 휠 존(630)을 지정하며, 중립 존(610)을 기준으로 이동위치와 이동방향을 포함하는 커서의 움직임을 통한 포인팅, 드래깅, 좌 버튼 클릭, 우 버튼 클릭, 중앙 휠 조작 등을 표현하는 영상 신호를 캡춰하는 기능을 가지는 것을 특징으로 한다.
도 3에서 상기 중립 존을 기준으로 x, y 좌표 정보만으로 영상신호를 분석하면 2D 마우스 기능을 하게 되고, 여기에 z 좌표를 추가하면 3D 마우스 기능을 하게 된다.
상기 영상마우스 해석부는(200), 영상마우스 입력부(100)로 부터의 영상입력정보를 통해서 2D 또는 3D 방향 영상추적 기능, 좌측 버튼 존(620), 우측 버튼 존(640), 중심 휠 존(630)에서의 손 또는 신체의 일부의 움직임 감지를 통한 포인팅, 드래깅, 좌측 버튼 클릭, 우측 버튼 클릭, 상하 스크롤, 좌우 스크롤, 좌대각선/우대각선 스크롤, 또는 임의의 방향 스크롤 등의 2D 스크롤, 상기 2D 스크롤에 전후 스크롤, 임의 3D 방향 스크롤을 포함하는 3D 스크롤 등의 마우스 인터페이스 지시를 생성을 수행하며, 이를 통하여 기존의 일반 데스크 탑 컴퓨터의 마우스, 노트북에 내장된 마우스, 터치 스크린의 인터랙션 기능, 그리고 3D 마우스의 기능을 포함하는 것을 특징으로 한다. 여기에 사용되는 영상분석 방법은 기존에 개발된 또는 앞으로 개발될 방법 중에 적절한 방법이 선택되어 적용되어 질 수 있다.
상기 영상마우스 표시부(300)는, 필요한 경우 사용자로 하여금 영상마우스 공간영역 및 해당 존을 확인하게 해주며, 또한 상기 영상마우스 해석부로부터의 영상해석을 통하여 생성된 지시를 화면출력 장치의 일부분 또는 단독의 디스플레이 패널에 표시하여 사용자가 확인할 수 있도록 해서 사용자가 영상마우스 사용시에 오동작을 방지하고 동시에 영상마우스 사용을 용이하게 하는 것을 특징으로 한다.
상기 영상마우스 지향성 조명부(400)는, 적절한 지향성 조명장치를 통하여 적절한 조명, 칼라, 모양을 투시하여서 사용자가 용이하게 영상마우스 영역을 파악할 수 있도록 하고, 사용자가 용이하게 영상마우스의 중립 존(610), 좌측 버튼 존(620), 우측 버튼 존(640), 중앙 휠 존(630)을 확인 또는 구분할 수 있도록 한다. 동시에 영상마우스 영역 내에서 조명에 견고한 영상 처리, 분석을 제공하기 위한 영상 캡춰 환경을 지원하는 것을 특징으로 한다. 여기에 사용되는 지향성 조명장치는 기존에 개발된 또는 앞으로 개발될 방법 중에 적절한 방법이 선택되어 적용되어 질 수 있다.
상기 영상마우스 공간 영역 내에서 위치에 따른 적절한 사운드 발생장치 및/또는 공간 햅틱 장치를 통하여 적절한 사운드 및/또는 햅틱 신호를 발생시켜서 사용자가 용이하게 영상마우스 영역 및 존을 파악할 수 있도록 하여서, 영상마우스의 중립 존(610), 좌측 버튼 존(620), 우측 버튼 존(640), 중앙 휠 존(630)을 확인 또는 구분할 수 있도록 한다. 여기에 사용되는 사운드 및 공간 햅틱 장치는 기존에 개발된 또는 앞으로 개발될 방법 중에 적절한 방법이 선택되어 적용되어 질 수 있다.
상기 영상마우스 움직임 감지 센서부(500)는, 단수 또는 다수개의 적절한 센서를 설치하여 영상마우스 영역(600)내에 움직이는 손 또는 신체의 일부 등을 포함하는 오브젝트의 위치 또는 움직임 정보를 측정하여, 영상마우스 해석부(200)에서 3D 포인팅 정보를 포함한 영상마우스 해석정보를 보다 용이하게 지원하는 것을 특징으로 하며, 여기에 사용되는 센서장치는 기존에 개발된 또는 앞으로 개발될 방법 중에 적절한 방법이 선택되어 적용되어 질 수 있다.
상기 영상 마우스 공간 영역에서 마우스의 존 대신에 키보드 또는 휴대폰 등을 포함하는 입력 자판으로 확장하여 각 키에 해당되는 소정의 존을 설정하여 입력장치로 사용할 수 있다. 여기서 사용자의 편의성을 위하여 상기 지향성 조명 사운드 공간 햅틱 장치를 사용하는 것을 포함한다.
본 발명의 실시 예에 따른 영상마우스 장치를 첨부한 도면을 참고하여 상세하게 설명한다.
도 1은 실시 예에 따른 영상마우스 장치를 도시한 구성도이며, 영상 마우스를 위한 지정 공간(600)의 대상물체의 움직임을 캡춰하는 영상마우스 입력부(100), 캡춰된 영상을 분석하여 일반 또는 확장된 마우스의 제어신호로 해석하는 영상마우스 해석부(200), 화면출력 장치의 일부에 해석된 마우스 제어 정보를 표시하는 영상 마우스 표시부(300), 영상마우스 공간의 기준점 또는 견고한 조명환경을 제공하기 위한 지향성 조명부(400), 움직임 감지 센서부(500)로 구성된다.
사용자가 영상마우스를 이용하여 컴퓨터를 조작하고 싶으면, 컴퓨터 화면출력 장치 전면에 사전에 지정된 또는 사용자의 손의 중심을 중립 존(610)으로 하여 지정하는 영상마우스 공간(600)에서 사용자는 중립 존(610), 좌측 버튼 존(620), 우측 버튼 존(640), 중심 휠 존(630)을 컴퓨터 화면출력장치의 영상마우스 디스플레이 위치에서 각 각 확인한다. 여기서, 영상마우스 공간 및 각 존의 위치를 용이하게 확인하기 위하여 지향성 조명의 소정의 칼라 및 모양, 소정의 사운드를 이용하거나, 해당컴퓨터 출력장치 일부분에 표시되거나 독립적인 표시 판넬에 표시되는 영상 마우스 표시를 사용할 수 있다.
도 3에서, 사용자는 영상마우스 공간(600)내에 오브젝트, 예로서 손을, 중립 존(610)을 기준으로 x, y 평면상에서 상하, 좌우, 좌대각선, 우대각선 방향으로 이동하여 커서의 움직이는 방향을 제어하며, 중립 존(610)으로부터의 움직인 거리 또는 속도를 측정하여 커서의 이동거리를 제어한다. 영상 입력부(100)로부터 캡춰된 영상신호는, 영상마우스 해석부(200)로 전달되며, 영상해석부에서는 상기 영상신호를 해석하여 커서의 이동지시 정보를 생성하며, 상기 이동지시 정보는 컴퓨터의 마우스 제어 프로그램으로 전달되어서, 해당 작업을 수행하도록 한다.
여기서 사용자가 오브젝트의 움직임이 중립 존(610)에서 시작할 때만 효과를 가지도록 하기 위하여 사용자는 커서를 움직일 의도가 없는 경우 현재 사용하고 있는 마우스 평면에서 오브젝트가 움직이는 경우는 커서이동이 효과를 가지도록 하고 오브젝트가 마우스 평면보다 z 축으로 높은 위치에서 움직이게 되면 커서 이동 효과를 주지 않는다.
또 다른 커서 제어 방법은 영상마우스 해석부(200)는 오브젝트의 움직임이 중립 존(610)에서 시작할 때만 효과를 가지도록 하여서, 커서의 의도하지 않은 움직임을 방지한다.
커서의 의도하지 않는 움직임을 방지하고, 사용자가 지속적으로 커서를 움직이고자 할 때에 새로운 중립 존(610) 지정을 위한 소정의 오브젝트의 움직임 또는 변화를 이용한 특정한 영상신호 생성하여, 새로운 영상마우스 공간영역을 설정하는 방법도 가능하다.
3D 마우스의 구현을 위한 3D 커서의 이동은 오브젝트를 x, y 평면에 수직인 z축으로 이동시킴으로서 가능하다. 이 경우, 의도하지 않는 커서의 움직임을 방지하기 위하여 오브젝트의 움직임이 중립 존(610)에서 시작할 때만 효과를 가지도록 하거나, 소정의 영상신호로 커서 움직임 기능의 활성화 또는 비활성화를 제어한다.
도 3에서, 사용자가 마우스의 좌측 또는 우측 버튼을 클릭하려면, 좌 버튼 존(620) 또는 우 버튼 존(640) 에 해당 오브젝트를 위치시키고, 오브젝트를 움직이거나, 위치시킨 오브젝트를 일정시간 유지하거나, 특정 도구 또는 장치를 사용하는 경우에는 해당부위에서 소정의 움직임, 소정의 컬러 또는 모양을 변화시킴으로써, 적절한 영상신호를 발생하여 좌측 또는 우측 버튼의 클릭 지시 명령을 생성한다.
상기 좌측 버튼 클릭의 예로서 인지를 좌 버튼 존(620)에 위치시키고 일반 마우스 클릭하듯이 인지 끝을 움직여주게 되면, 여기서 생성되는 영상신호가 영상입력부(100)에 의하여 캡춰되고, 캡춰된 영상신호는 영상마우스 해석부(200)에 의하여 좌측 버튼 클릭 지시로 해석이 되며, 이 해석된 지시는 해당 컴퓨터의 마우스 제어 프로그램으로 전달되어서 컴퓨터는 해당 작업을 수행하게 된다.
도 3에서, 사용자가 중앙 횔(630)에 의한 상하 스크롤을 실행하고자 하면, 중앙 횔 에 해당 대상물체를 위치시키고 소정의 영상신호를 발생시키면, 영상마우스 입력부(100)에 캡춰된 상기 영상신호는 영상마우스 해석부(200) 중앙 휠 선택 지시를 마우스제어 프로그램에 전달하고, 컴퓨터는 이 정보를 소정의 영상 마우스 표시부에 보여주거나 사운드를 발생시켜서 사용자는 중앙 휠(630)이 선택된 것을 확인한 후 소정의 영상신호를 발생시켜서 상하 스크롤을 수행한다.
도 3에서 사용자는 상기 상하 스크롤과 유사한 방식으로 좌우, 대각선, 또는 보다 세밀한 임의의 방향의 2D 또는 3D 스크롤을 용이하게 수행할 수 있다.
드래깅은 좌 버튼 존에 손가락 끝을 드래깅 대상에 위치시키고 소정의 영상신호를 발생시켜서 좌 버튼 클릭을 수행하고, 상기 커서 이동의 방식을 사용하여, 상기 드래깅 대상을 이동 또는 선택한다.
포인팅은 포인팅 대상에 커서를 위치시킨 다음 좌측 버튼 존에 손가락 끝을 위치시키고, 소정의 영상신호를 발생시켜서 좌 버튼 클릭을 통하여 수행한다.
3D 스크롤은 상기 x, y 평면상에서의 2D 스크롤 수행방법과 유사하게 수행하되, 단 x, y, z 축상의 손의 이동을 포함한다.
본 발명의 실시 예에 따른 영상신호 해석 방법에 대하여 도 4를 도 1과 함께 참고하여 상세하게 설명한다.
영상마우스 해석부(200)에서는 캡쳐된 영상 정보를 영상처리 기술에 의하여 분석하여(210) 좌측 버튼 클릭, 우측 버튼 클릭 중앙휠, 커서이동, 영상신호로부터 영상마우스 정보 해석(230)하여 해당 마우스 제어 지시를 생성한다. 생성된 영상 마우스 지시를 컴퓨터의 마우스 제어 프로그램으로 전달한다.
이상에서 본 발명의 실시 예에 대하여 설명하였지만 본 발명의 효과 및 권리범위는 이에 한정되는 것은 아니고, 다음의 청구범위에서 정의하고 있는 본 발명의 기본 개념을 이용하여 다양하게 여려 형태로 변형하여 실시할 수 있는 권한도 본 발명의 권리범위에 속하는 것이다.
도 1은 본 발명의 실시 예에 따른 3D 영상 마우스 장치의 구성요소인 영상마우스 입력부, 영상마우스 해석부, 영상마우스 표시부, 지향성 조명부, 움직임 감지 센서부의 구성을 개략적으로 도시한 블록 도이다.
도 2는 본 발명의 실시 예에 따른 3D 영상 마우스 방법의 흐름을 도시한 도면이다.
도 3은 본 발명의 실시 예에 따른 3D 마우스 공간 영역의 구성을 도시한 블록 도이다.
도 4는 본 발명의 실시 예에 따른 한 구성요소인 영상 마우스 해석부 내부구성을 도시한 블록 도이다.

Claims (10)

  1. 컴퓨터 또는 컴퓨터의 연산, 기억 기능을 포함하는 시스템에 대한 2D 또는 3D 마우스의 기능을 가지는 사용자 인터페이스를 제공하기 위하여, 영상마우스 공간 영역을 정의하고, 상기 영상마우스 공간에서 손, 손가락 또는 신체의 일부 등 해당 오브젝트의 소정의 움직임을 영상신호로 캡춰하여, 상기 영상신호 해석을 통한 마우스 또는 확장된 마우스의 기능을 제공하는 영상마우스 입력부, 영상마우스 해석부, 영상마우스 표시부, 지향성 조명부, 움직임 감지 센서부를 전부 또는 일부 포함하는 영상마우스 방법 및 장치.
  2. 제 1 항에서,
    상기 영상마우스의 기능은, 2D 및 3D 포인팅, 드래깅, 좌측 버튼 클릭, 우측 버튼 클릭, 상하, 좌우, 대각선 스크롤, 임의 방향의 2D 스크롤, 3D 스크롤 기능을 적어도 하나 이상 포함하는 2D 또는 3D 마우스 기능을 가지는 것을 특징으로 하는 영상마우스 방법 및 장치.
  3. 제 1 항에서,
    상기 영상마우스 입력부는 단수 또는 복수개의 카메라로 구성될 수 있으며, 상기 영상마우스 영역이라고 불리는 특정한 공간을 사전 지정하는 중립 존 고정 방식, 사용자가 생성하는 소정의 영상신호에 의하여 지정되는 중립 존 선언 방식, 또 는 상기 중립 존 고정과 중립 존 선언을 함께 사용하는 혼합 방식을 포함하는 것을 특징으로 하는 2D 또는 3D 영상 마우스 방법 및 장치.
  4. 제 3 항에서,
    상기 영상마우스 공간은 필요에 따라서 복수개가 설정될 수 있고, 상기 영역내의 존은 필요에 따라서 가감될 수 있으며, 그리고 상기 영역내의 각 존의 기능은 필요에 따라서 그 기능을 변형, 확장할 수 있는 것을 특징으로 하는 2D 또는 3D 영상 마우스 방법 및 장치.
  5. 제 1 항에서,
    상기 영상 마우스 영역 내에 상기 중립 존, 좌측 버튼 존, 우측 버튼 존, 중심 휠 존을 지정하여서, 마우스 커서의 움직임, 포인팅, 드래깅, 좌측 버튼 클릭, 우측 버튼 클릭, 중앙 휠 조작 등을 표현하는 소정의 영상 신호들을 캡춰하고, 해석하는 기능을 가지는 것을 특징으로 하는 2D 또는 3D 영상마우스 방법 및 장치.
  6. 제 1 항에서,
    상기 영상마우스 표시부는, 영상마우스 해석부로 부터의 영상해석을 통하여 생성된 지시를 해당 컴퓨터의 화면출력 장치의 일부분 또는 독립적인 출력 팬널을 통하여 사용자가 확인할 수 있도록 표시하여, 사용자가 영상마우스 사용을 용이하게 하는 것을 특징으로 하는 영상인식 기반의 영상 마우스 방법 및 장치.
  7. 제 1 항에서,
    상기 영상마우스 지향성 조명부는, 지향성 조명장치의 칼라, 모양, 칼라변화, 모양변화 등을 이용하여 영상마우스 영역을 표시하거나, 사용자가 용이하게 영상마우스의 중립 존, 좌측 버튼 존, 우측 버튼 존, 중안 휠 존을 확인 또는 구분 할 수 있도록 하며, 동시에 영상마우스 영역 내에서 조명에 견고한 영상 처리, 분석을 하기 위한 영상 캡춰 환경을 지원하는 것을 특징으로 하는 영상인식 기반의 영상 마우스 방법 및 장치.
  8. 제 1 항에서,
    상기 영상마우스 움직임 감지 센서부는, 단수 또는 다수개의 적절한 센서를 설치하여 영상마우스 영역 내에 움직이는 손 또는 신체의 일부의 위치 또는 움직임 정보를 측정하여, 영상마우스 해석부에서 3D 포인팅 정보를 포함한 영상마우스 해석정보를 보다 용이하게 지원하는 것을 특징으로 하는 영상인식 기반의 영상 마우스 방법 및 장치.
  9. 제3항에서,
    각 존에 해당되는 소정의 사운드 및 또는 공간 햅틱신호를 설정하여 화면 또는 표시 팬널에 디스플레이 되는 각존을 선택하는 경우 사용자가 용이하게 영상마우스의 중립 존, 좌측 버튼 존, 우측 버튼 존, 중앙 휠 존을 확인 또는 구분 할 수 있도록 소정의 사운드 또는 공간 햅틱신호 발생하도록 하는 것을 특징으로 하는 영상인식 기반의 영상 마우스 방법 및 장치.
  10. 제3, 7, 8, 9항에서,
    상기 영상 마우스 공간 영역에서 키보드 또는 휴대폰 등을 포함하는 입력 자판으로 확장하여 각 키에 해당되는 소정의 존을 설정하여 입력장치로 사용할 수 있는 특징으로 하는 영상인식 기반의 영상 마우스 방법 및 장치.
KR1020080089590A 2008-09-11 2008-09-11 3ｄ 인터랙션을 위한 영상정보 기반의 마우스 구현 방법 및장치 KR20100030737A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020080089590A KR20100030737A (ko) 2008-09-11 2008-09-11 3ｄ 인터랙션을 위한 영상정보 기반의 마우스 구현 방법 및장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020080089590A KR20100030737A (ko) 2008-09-11 2008-09-11 3ｄ 인터랙션을 위한 영상정보 기반의 마우스 구현 방법 및장치

Publications (1)

Publication Number Publication Date
KR20100030737A true KR20100030737A (ko) 2010-03-19

Family

ID=42180577

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020080089590A KR20100030737A (ko) 2008-09-11 2008-09-11 3ｄ 인터랙션을 위한 영상정보 기반의 마우스 구현 방법 및장치

Country Status (1)

Country Link
KR (1) KR20100030737A (ko)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101227875B1 (ko) * 2011-05-30 2013-01-31 김호진 사용자 동작 기반 디스플레이 장치
WO2013022224A1 (en) * 2011-08-05 2013-02-14 Samsung Electronics Co., Ltd. Electronic apparatus using motion recognition and method for controlling electronic apparatus thereof
US9002714B2 (en) 2011-08-05 2015-04-07 Samsung Electronics Co., Ltd. Method for controlling electronic apparatus based on voice recognition and motion recognition, and electronic apparatus applying the same
KR101635628B1 (ko) * 2015-04-28 2016-07-20 한국과학기술원 기존 2d 그래픽 사용자 인터페이스 환경에 대한 범용 햅틱장치의 상호작용 적용 및 이를 통한 사용자의 행동 특성 데이터 수집 시스템 및 방법

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101227875B1 (ko) * 2011-05-30 2013-01-31 김호진 사용자 동작 기반 디스플레이 장치
WO2013022224A1 (en) * 2011-08-05 2013-02-14 Samsung Electronics Co., Ltd. Electronic apparatus using motion recognition and method for controlling electronic apparatus thereof
US9002714B2 (en) 2011-08-05 2015-04-07 Samsung Electronics Co., Ltd. Method for controlling electronic apparatus based on voice recognition and motion recognition, and electronic apparatus applying the same
US9733895B2 (en) 2011-08-05 2017-08-15 Samsung Electronics Co., Ltd. Method for controlling electronic apparatus based on voice recognition and motion recognition, and electronic apparatus applying the same
KR101635628B1 (ko) * 2015-04-28 2016-07-20 한국과학기술원 기존 2d 그래픽 사용자 인터페이스 환경에 대한 범용 햅틱장치의 상호작용 적용 및 이를 통한 사용자의 행동 특성 데이터 수집 시스템 및 방법

Similar Documents

Publication Publication Date Title
Lee et al. Interaction methods for smart glasses: A survey
US11093086B2 (en) Method and apparatus for data entry input
JP6348211B2 (ja) コンピュータ装置の遠隔制御
US11775076B2 (en) Motion detecting system having multiple sensors
US8432362B2 (en) Keyboards and methods thereof
US20170024017A1 (en) Gesture processing
US9494415B2 (en) Object position determination
US20110298708A1 (en) Virtual Touch Interface
US20030132913A1 (en) Touchless computer input device to control display cursor mark position by using stereovision input from two video cameras
US20130135199A1 (en) System and method for user interaction with projected content
GB2470654A (en) Data input on a virtual device using a set of objects.
US20140267029A1 (en) Method and system of enabling interaction between a user and an electronic device
KR19990011180A (ko) 화상인식을 이용한 메뉴 선택 방법
US20140152566A1 (en) Apparatus and methods for image/sensory processing to control computer operations
KR20100030737A (ko) 3ｄ 인터랙션을 위한 영상정보 기반의 마우스 구현 방법 및장치
GB2517284A (en) Operation input device and input operation processing method
Colaço Sensor design and interaction techniques for gestural input to smart glasses and mobile devices
Lik-Hang et al. Interaction Methods for Smart Glasses: A Survey
Lik-Hang et al. Interaction methods for smart glasses
KR102300290B1 (ko) 카메라를 이용한 손가락 움직임 연동형 스마트 마우스 및 이를 이용한 마우스 커서의 제어방법
US11287897B2 (en) Motion detecting system having multiple sensors
KR20140086250A (ko) 촬영부를 이용한 원격 제어 시스템 및 방법
JP5028676B2 (ja) グラフィカルユーザーインターフェースの操作／制御装置
KR20210004567A (ko) 전자 장치
KR20050045244A (ko) 휴대용 컴퓨터 시스템

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E902 Notification of reason for refusal
E601 Decision to refuse application