KR20070119267A - 무접점 마우스 기능을 가지는 장치 및 방법 - Google Patents

무접점 마우스 기능을 가지는 장치 및 방법 Download PDF

Info

Publication number
KR20070119267A
KR20070119267A KR1020060053660A KR20060053660A KR20070119267A KR 20070119267 A KR20070119267 A KR 20070119267A KR 1020060053660 A KR1020060053660 A KR 1020060053660A KR 20060053660 A KR20060053660 A KR 20060053660A KR 20070119267 A KR20070119267 A KR 20070119267A
Authority
KR
South Korea
Prior art keywords
area
detection area
information
unit
change information
Prior art date
Application number
KR1020060053660A
Other languages
English (en)
Other versions
KR100849532B1 (ko
Inventor
김동진
Original Assignee
엠텍비젼 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엠텍비젼 주식회사 filed Critical 엠텍비젼 주식회사
Priority to KR1020060053660A priority Critical patent/KR100849532B1/ko
Priority to PCT/KR2007/002126 priority patent/WO2007126286A1/en
Priority to US12/298,730 priority patent/US8217895B2/en
Publication of KR20070119267A publication Critical patent/KR20070119267A/ko
Application granted granted Critical
Publication of KR100849532B1 publication Critical patent/KR100849532B1/ko
Priority to US13/529,623 priority patent/US8525790B2/en
Priority to US13/789,120 priority patent/US8610667B2/en
Priority to US13/788,968 priority patent/US8587523B2/en

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Position Input By Displaying (AREA)

Abstract

무접점 마우스 기능을 가지는 장치 및 방법이 개시된다. 본 발명의 실시예에 따른 무접점 마우스 기능을 가진 디지털 장치는 빛을 외부로 방사하는 광원부, 외부 영상에 상응하는 영상 신호를 생성하여 출력하는 카메라부, 영상 신호에 상응하는 영상 데이터를 생성하는 영상 데이터 생성부 및 각 프레임 단위의 영상 데이터에서 방사된 광 중 지시 수단에 반사되어 입력되는 광에 의해 형성된 검출 영역의 위치를 검출하고, 연속된 둘 이상의 프레임을 비교하여 검출 영역의 이동 궤적을 인식하여 상응하는 변화 정보를 생성하여 출력하는 식별부를 포함한다. 여기서, 변화 정보는 상기 디지털 처리 장치의 기능 제어 또는 표시 제어를 위한 입력 신호로 이용될 수 있다. 본 발명에 의하여 디지털 장치의 제조 비용 절감, 디지털 장치의 소형화 및 디자인 상의 다양성을 기할 수 있다.
디지털 장치, 카메라부, 무접점, 마우스

Description

무접점 마우스 기능을 가지는 장치 및 방법{Device having function of non-contact mouse and method thereof}
도 1은 본 발명의 바람직한 일 실시예에 따른 휴대용 멀티미디어 장치의 블록구성도.
도 2는 본 발명의 바람직한 일 실시예에 따른 휴대용 멀티미디어 장치의 외관을 나타낸 도면.
도 3은 본 발명의 바람직한 일 실시예에 따른 휴대용 멀티미디어 장치에서의 무접점 마우스 기능의 사용 상태도.
도 4는 도 3의 무접점 마우스 기능에 따른 포인터 이동의 원리를 예시한 도면.
도 5 내지 도 7은 도 3의 무접점 마우스 기능에 따른 클릭 선택의 원리를 예시한 도면.
도 8은 본 발명의 일 실시예에 따른 무접점 마우스 기능을 이용한 메뉴 선택 방법을 나타내는 흐름도.
도 9은 본 발명의 다른 실시예에 따른 무접점 마우스 기능을 이용한 메뉴 선택 방법을 나타내는 흐름도.
<도면의 주요부분에 대한 부호의 설명>
100 : 휴대용 멀티미디어 장치
110 : 표시부
111 : 메뉴 아이콘 표시 영역
120 : 카메라부
125 : 영상 처리부
130 : 입력부
140 : 광원부
150 : 제어부
155 : 메모리부
400 : 포인터(pointer)
본 발명은 카메라를 이용한 기능 선택 방법에 관한 것으로서, 보다 상세하게는 카메라를 이용한 무접점 마우스 기능을 가지는 장치 및 방법에 관한 것이다.
최근의 전자공학 및 통신공학의 비약적인 발전에 따라 사용자는 컴퓨터, 디지털 카메라 등 디지털 가전기기 또는 이동 통신 단말기 등을 이용하여 인터넷 검 색, 화상 통신, 동영상 또는 음악 재생, 위성방송 시청 등의 다양한 기능을 향유할 수 있게 되었다. 따라서, 사용자가 보다 다양한 기능을 향유하기 위해서는 의도하는 기능을 효율적으로 선택할 수 있는 키 입력 방법이 요망된다.
종래에 기능 선택 방법으로서 가장 널리 이용되는 방법으로는 각종 장치에 구비된 키 패드(key pad)의 다수의 키 버튼을 직접 눌러서 선택하는 방법이 있다. 즉, 사용자는 키 패드의 메뉴 키를 누른 뒤 다시 방향키(또는 커서 이동키)를 수회 조작하여 LCD 화면을 통해 표시되는 해당 메뉴 아이콘(Icon)으로 이동시키고, 선택키를 이용하여 이동된 위치의 메뉴 아이콘을 선택함으로써 해당 기능을 이용할 수 있게 된다.
그러나, 종래의 기능 선택 방법은 사용자가 의도하는 기능을 찾기까지 수회의 버튼 조작을 요하는 문제점이 있다. 특히, 최근의 디지털 장치가 구비하는 방대한 기능에 비하여 실제 빈번히 사용되는 기능은 제한적임에도 불구하고, 해당 기능의 선택을 위해 사용자가 매번 상술한 바와 같은 복잡한 과정을 거쳐야 한다는 것은 번거로운 일이 아닐 수 없다. 결국, 종래의 기능 선택 방법은 버튼 및 메뉴 조작이 서툰 사용자들에게 기능 선택을 위한 많은 시간과 노력을 요구하게 된다.
또한, 종래의 기능 선택 방법은 기능 선택을 위한 키 버튼을 반드시 구비하여야 하므로 각 키 버튼에 대한 별도의 금형 작업을 필요로 한다. 따라서, 디지털 장치의 제조 공정이 복잡해지고 그 제조 단가가 상승하는 문제점이 있다. 아울러, 키 패드가 차지하는 고정적인 면적으로 인해 디지털 장치의 크기 및 디자인상에 제약이 따르는 문제점이 있다.
이외에도 기능 선택 방법으로서 표시부를 통한 터치 스크린(touch screen) 방식 등이 이용될 수 있겠지만, 터치 스크린이 가능한 표시부의 장착에 따른 제조 비용이 증가하는 문제점이 있다.
따라서, 본 발명의 목적은 키 패드 제거를 통해 디지털 장치의 제조 비용을 절감함은 물론, 그 공간적 활용도를 높임으로써 디지털 장치의 소형화 및 디자인 상의 다양성을 기할 수 있는 무접점 마우스 기능을 가지는 장치 및 방법을 제공하기 위한 것이다.
본 발명의 다른 목적은 카메라를 이용하여 사용자가 메뉴 기능을 원격 제어함으로써 의도하는 기능 선택을 보다 간편하게 할 수 있는 무접점 마우스 기능을 가지는 장치 및 방법을 제공하기 위한 것이다.
본 발명의 또 다른 목적은 키 버튼을 통한 기존의 단조로운 기능 선택 방식에서 벗어나 사용자로 하여금 흥미 유발을 할 수 있는 무접점 마우스 기능을 가지는 장치 및 방법을 제공하기 위한 것이다.
본 발명의 또 다른 목적은 구비된 카메라를 범용적으로 이용할 수 있도록 하여 부품 활용도를 극대화할 수 있는 무접점 마우스 기능을 가지는 장치 및 방법을 제공하기 위한 것이다.
본 발명의 이외의 목적들은 하기의 설명을 통해 쉽게 이해될 수 있을 것이다.
상술한 목적을 달성하기 위한 본 발명의 일 측면에 따르면, 무접점 마우스 기능을 수행하기 위한 이미지 시그널 프로세서, 어플리케이션 프로세서 및 디지털 처리장치가 제공된다.
본 발명의 바람직한 일 실시예에 따른 촬상 기능이 구비된 디지털 장치는 빛을 외부로 방사하는 광원부, 외부 영상에 상응하는 영상 신호를 생성하여 출력하는 카메라부, 상기 영상 신호에 상응하는 영상 데이터를 생성하는 영상 데이터 생성부 및 각 프레임 단위의 상기 영상 데이터에서 상기 방사된 광 중 지시 수단에 반사되어 입력되는 광에 의해 형성된 검출 영역의 위치를 검출하고, 연속된 둘 이상의 프레임을 비교하여 상기 검출 영역의 이동 궤적을 인식하여 상응하는 변화 정보를 생성하여 출력하는 식별부를 포함할 수 있다. 여기서, 상기 변화 정보는 상기 디지털 처리 장치의 기능 제어 또는 표시 제어를 위한 입력 신호로 이용될 수 있다.
상기 디지털 처리 장치의 표시부에 디스플레이된 복수의 정보 항목들 중 어느 하나가 상기 변화 정보에 선택된 것으로 표시되거나 상기 변화 정보에 상응하여 이동되는 마우스 커서가 표시될 수 있다.
상기 식별부는 각 프레임 단위로 상기 검출 영역의 면적을 검출하고, 연속된 둘 이상의 프레임을 비교하여 상기 검출 영역의 면적 변화에 상응하는 변화 정보를 생성하여 출력할 수 있다.
제1 방향으로 이동되는 상기 지시수단에 의해 상기 면적이 변화하는 경우, 상기 변화 정보는 표시부에 디스플레이 된 복수의 정보 항목 증 마우스 커서가 위치한 정보 항목의 선택 명령 또는 어느 하나의 선택 명령으로 인식될 수 있다.
상기 제1 방향의 역방향인 제2 방향으로 이동되는 상기 지시수단에 의해 상기 면적이 변화하는 경우, 상기 변화 정보는 상기 선택된 정보 항목의 선택 해제 명령으로 인식될 수 있다.
상기 제1 방향 및 상기 제2 방향은 상기 카메라부의 수직 방향이고, 상기 면적의 변화량이 미리 설정된 비율 이상인 경우 상기 면적이 변화된 것으로 인식될 수 있다.
상기 검출 영역의 면적이 소정의 비율이상으로 증가 후 감소 또는 감소 후 증가되는 경우, 상기 변화정보는 표시부에 디스플레인 된 복수의 정보 항목 중 마우스 커서가 위치한 정보 항목의 선택 명령 또는 선택된 정보 항목의 선택 해제 명령으로 인식될 수 있다.
상기 검출 영역의 면적이 소정의 비율이상으로 증가 후 감소 또는 감소 후 증가가 2회 이상 반복되는 경우, 상기 변화정보는 표시부에 디스플레이 된 복수의 정보 항목 중 마우스 커서가 위치한 정보 항목의 실행 개시 명령으로 인식될 수 있다.
또한, 상기 식별부는 복수의 지시수단 각각에 상응하여 각 프레임 단위로 제 1 검출 영역 및 제 2 검출영역의 면적을 검출하고, 연속된 둘 이상의 프레임을 비교하여 상기 제 1 검출 영역 및 상기 제 2 검출영역의 면적 변화에 상응하는 변화 정보를 생성하여 출력할 수 있다.
상기 제 1 검출영역의 면적이 소정의 비율이상으로 증가 후 감소 또는 감소 후 증가되는 경우, 상기 변화정보는 표시부에 디스플레인 된 복수의 정보 항목 중 마우스 커서가 위치한 정보 항목의 선택 명령 또는 선택된 정보 항목의 선택 해제 명령으로 인식될 수 있다.
상기 제 2 검출영역의 면적이 소정의 비율이상으로 증가 후 감소 또는 감소 후 증가되는 경우, 상기 변화정보는 표시부에 디스플레인 된 복수의 정보 항목 중 마우스 커서가 위치한 정보 항목의 옵션 정보 표시 명령으로 인식될 수 있다.
상기 제 1 검출영역의 면적이 소정의 비율이상으로 증가 후 감소 또는 감소 후 증가가 2회 이상 반복되는 경우, 상기 변화정보는 표시부에 디스플레인 된 복수의 정보 항목 중 마우스 커서가 위치한 정보 항목의 실행 개시 명령으로 인식될 수 있다.
상기 검출 영역의 면적은 상기 검출 영역의 외곽선에 의해 형성된 도형의 넓이 또는 상기 검출 영역에 포함된 픽셀 수일 수 있다.
상기 광원부는 파장 또는 휘도의 빛을 외부로 방사할 수 있다. 상기 식별부는 상기 파장 또는 상기 휘도를 이용하여 상기 영상 데이터에서 상기 검출 영역의 위치를 검출할 수 있다.
상기 디지털 처리 장치는 하나 이상의 키 버튼을 포함하는 키 입력부를 더 포함할 수 있다. 여기서, 미리 설정된 키 버튼의 입력에 의해 상기 광원부, 상기 카메라부 및 상기 식별부가 구동 개시될 수 있다.
상기 영상 데이터는 YUV 데이터 또는 RGB 데이터일 수 있다.
본 발명의 바람직한 다른 실시예에 따른 이미지 시그널 프로세서는 이미지 센서로부터 입력된 영상 신호에 상응하는 영상 데이터를 생성하는 영상 데이터 생성부 및 각 프레임 단위의 상기 영상 데이터에서 미리 지정된 광(光) 성분에 의해 형성된 검출 영역의 위치를 검출하고, 연속된 둘 이상의 프레임을 비교하여 상기 검출 영역의 이동 궤적을 인식하여 상응하는 변화 정보를 생성하여 출력하는 식별부를 포함할 수 있다. 여기서, 상기 검출 영역은 광원부에 의해 외부로 방사된 광 중 지시 수단에 반사되어 입력되는 광에 의해 형성되는 영역일 수 있다.
상기 변화 정보는 상기 이미지 시그널 프로세서를 포함하는 디지털 처리 장치의 기능 제어 또는 표시 제어를 위한 입력 신호로 이용될 수 있다.
상기 식별부는 각 프레임 단위로 상기 검출 영역의 면적을 검출하고, 연속된 둘 이상의 프레임을 비교하여 상기 검출 영역의 면적 변화에 상응하는 변화 정보를 생성하여 출력할 수 있다.
제1 방향으로 이동되는 상기 지시수단에 의해 상기 면적이 변화하는 경우, 상기 변화 정보는 표시부에 디스플레이 된 복수의 정보 항목 증 마우스 커서가 위치한 정보 항목의 선택 명령 또는 어느 하나의 선택 명령으로 인식될 수 있다.
상기 제1 방향의 역방향인 제2 방향으로 이동되는 상기 지시수단에 의해 상기 면적이 변화하는 경우, 상기 변화 정보는 상기 선택된 정보 항목의 선택 해제 명령으로 인식될 수 있다.
상기 제1 방향 및 상기 제2 방향은 상기 카메라부의 수직 방향이고, 상기 면적의 변화량이 미리 설정된 비율 이상인 경우 상기 면적이 변화된 것으로 인식될 수 있다.
상기 검출 영역의 면적이 소정의 비율이상으로 증가 후 감소 또는 감소 후 증가되는 경우, 상기 변화정보는 표시부에 디스플레인 된 복수의 정보 항목 중 마우스 커서가 위치한 정보 항목의 선택 명령 또는 선택된 정보 항목의 선택 해제 명령으로 인식될 수 있다.
상기 검출 영역의 면적이 소정의 비율이상으로 증가 후 감소 또는 감소 후 증가가 2회 이상 반복되는 경우, 상기 변화정보는 표시부에 디스플레이 된 복수의 정보 항목 중 마우스 커서가 위치한 정보 항목의 실행 개시 명령으로 인식될 수 있다.
또한, 상기 식별부는 복수의 지시수단 각각에 상응하여 각 프레임 단위로 제 1 검출 영역 및 제 2 검출영역의 면적을 검출하고, 연속된 둘 이상의 프레임을 비교하여 상기 제 1 검출 영역 및 상기 제 2 검출영역의 면적 변화에 상응하는 변화 정보를 생성하여 출력할 수 있다.
상기 제 1 검출영역의 면적이 소정의 비율이상으로 증가 후 감소 또는 감소 후 증가되는 경우, 상기 변화정보는 표시부에 디스플레인 된 복수의 정보 항목 중 마우스 커서가 위치한 정보 항목의 선택 명령 또는 선택된 정보 항목의 선택 해제 명령으로 인식될 수 있다.
상기 제 2 검출영역의 면적이 소정의 비율이상으로 증가 후 감소 또는 감소 후 증가되는 경우, 상기 변화정보는 표시부에 디스플레인 된 복수의 정보 항목 중 마우스 커서가 위치한 정보 항목의 옵션 정보 표시 명령으로 인식될 수 있다.
상기 제 1 검출영역의 면적이 소정의 비율이상으로 증가 후 감소 또는 감소 후 증가가 2회 이상 반복되는 경우, 상기 변화정보는 표시부에 디스플레인 된 복수의 정보 항목 중 마우스 커서가 위치한 정보 항목의 실행 개시 명령으로 인식될 수 있다.
상기 검출 영역의 면적은 상기 검출 영역의 외곽선에 의해 형성된 도형의 넓이 또는 상기 검출 영역에 포함된 픽셀 수일 수 있다.
상기 광원부는 파장 또는 휘도의 빛을 외부로 방사할 수 있다. 상기 식별부는 상기 파장 또는 상기 휘도를 이용하여 상기 영상 데이터에서 상기 검출 영역의 위치를 검출할 수 있다.
본 발명의 바람직한 또 다른 실시예에 따른 어플리케이션 프로세서는 이미지 시그널 프로세서로부터 외부 영상 신호에 상응하도록 생성된 영상 데이터를 입력받는 수신부 및 각 프레임 단위의 상기 영상 데이터에서 미리 지정된 광(光) 성분에 의해 형성된 검출 영역의 위치를 검출하고, 연속된 둘 이상의 프레임을 비교하여 상기 검출 영역의 이동 궤적을 인식하여 상응하는 변화 정보를 생성하여 출력하는 식별부를 포함할 수 있다. 여기서, 상기 검출 영역은 광원부에 의해 외부로 방사된 광 중 지시 수단에 반사되어 입력되는 광에 의해 형성되는 영역일 수 있다.
상기 변화 정보는 상기 이미지 시그널 프로세서를 포함하는 디지털 처리 장치의 기능 제어 또는 표시 제어를 위한 입력 신호로 이용될 수 있다.
상기 식별부는 각 프레임 단위로 상기 검출 영역의 면적을 검출하고, 연속된 둘 이상의 프레임을 비교하여 상기 검출 영역의 면적 변화에 상응하는 변화 정보를 생성하여 출력할 수 있다.
제1 방향으로 이동되는 상기 지시수단에 의해 상기 면적이 변화하는 경우, 상기 변화 정보는 표시부에 디스플레이 된 복수의 정보 항목 증 마우스 커서가 위치한 정보 항목의 선택 명령 또는 어느 하나의 선택 명령으로 인식될 수 있다.
상기 제1 방향의 역방향인 제2 방향으로 이동되는 상기 지시수단에 의해 상기 면적이 변화하는 경우, 상기 변화 정보는 상기 선택된 정보 항목의 선택 해제 명령으로 인식될 수 있다.
상기 제1 방향 및 상기 제2 방향은 상기 카메라부의 수직 방향이고, 상기 면적의 변화량이 미리 설정된 비율 이상인 경우 상기 면적이 변화된 것으로 인식될 수 있다.
상기 검출 영역의 면적이 소정의 비율이상으로 증가 후 감소 또는 감소 후 증가되는 경우, 상기 변화정보는 표시부에 디스플레인 된 복수의 정보 항목 중 마우스 커서가 위치한 정보 항목의 선택 명령 또는 선택된 정보 항목의 선택 해제 명령으로 인식될 수 있다.
상기 검출 영역의 면적이 소정의 비율이상으로 증가 후 감소 또는 감소 후 증가가 2회 이상 반복되는 경우, 상기 변화정보는 표시부에 디스플레이 된 복수의 정보 항목 중 마우스 커서가 위치한 정보 항목의 실행 개시 명령으로 인식될 수 있다.
또한, 상기 식별부는 복수의 지시수단 각각에 상응하여 각 프레임 단위로 제 1 검출 영역 및 제 2 검출영역의 면적을 검출하고, 연속된 둘 이상의 프레임을 비 교하여 상기 제 1 검출 영역 및 상기 제 2 검출영역의 면적 변화에 상응하는 변화 정보를 생성하여 출력할 수 있다.
상기 제 1 검출영역의 면적이 소정의 비율이상으로 증가 후 감소 또는 감소 후 증가되는 경우, 상기 변화정보는 표시부에 디스플레인 된 복수의 정보 항목 중 마우스 커서가 위치한 정보 항목의 선택 명령 또는 선택된 정보 항목의 선택 해제 명령으로 인식될 수 있다.
상기 제 2 검출영역의 면적이 소정의 비율이상으로 증가 후 감소 또는 감소 후 증가되는 경우, 상기 변화정보는 표시부에 디스플레인 된 복수의 정보 항목 중 마우스 커서가 위치한 정보 항목의 옵션 정보 표시 명령으로 인식될 수 있다.
상기 제 1 검출영역의 면적이 소정의 비율이상으로 증가 후 감소 또는 감소 후 증가가 2회 이상 반복되는 경우, 상기 변화정보는 표시부에 디스플레인 된 복수의 정보 항목 중 마우스 커서가 위치한 정보 항목의 실행 개시 명령으로 인식될 수 있다.
상기 검출 영역의 면적은 상기 검출 영역의 외곽선에 의해 형성된 도형의 넓이 또는 상기 검출 영역에 포함된 픽셀 수일 수 있다.
상기 광원부는 파장 또는 휘도의 빛을 외부로 방사할 수 있다. 상기 식별부는 상기 파장 또는 상기 휘도를 이용하여 상기 영상 데이터에서 상기 검출 영역의 위치를 검출할 수 있다.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 각 도면을 설명하면서 유사한 참조부호를 유사한 구성요소에 대해 사용하였다.
제1, 제2 등과 같이 서수를 포함하는 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되지는 않는다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.
본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르 게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
이하, 첨부된 도면을 참조하여 본 발명에 따른 바람직한 실시예를 상세히 설명하되, 도면 부호에 관계없이 동일하거나 대응하는 구성 요소는 동일한 참조 번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. 본 발명을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.
본 발명에 따른 무접점 마우스 기능을 가지는 장치 및 방법은 카메라 기능을 구비한 일체의 디지털 장치에 적용될 수 있음은 물론이다. 예를 들어, TV, 냉장고, 디지털 카메라, 컴퓨터 등의 디지털 가전 기기 및 이동 통신 단말기 등의 각종 디지털 통신 장치에 이용될 수 있다. 다만, 이하에서는 디지털 장치 중 휴대용 멀티 미디어 장치를 중심으로 설명한다.
도 1은 본 발명의 바람직한 일 실시예에 따른 휴대용 멀티미디어 장치의 블록구성도이다. 여기서, 도 1이 도시하는 각 블록은 설명의 편의를 위해 본 발명에 따른 휴대용 멀티미디어 장치(100)가 수행하는 각 기능별로 구분하여 나타낸 것에 불과하다. 따라서, 각 블록 중 2개 이상이 통합되어 하나의 칩(chip)으로 구현될 수 있음은 물론, 필요에 따라서 더 세분화하여 구현될 수 있음은 자명하다.
도 1을 참조하면, 본 발명에 따른 휴대용 멀티미디어 장치(100)는 표시부(110), 카메라부(120), 영상 처리부(125), 입력부(130), 광원부(140), 제어부(150), 메모리부(155)를 포함한다. 이외에도 본 발명에 따른 휴대용 멀티미디어 장치(100)에는 요구되는 기능에 따라 다른 구성부(예를 들어, 무선 통신 기능을 수행하기 위한 무선부 등)를 더 포함할 수 있음은 물론이다.
입력부(130)는 데이터를 입력 또는 메뉴 기능 선택을 하기 위한 일반적인 사용자 환경(User Interface)을 제공할 수 있다. 다만, 본 발명에서는 무접점 마우스 기능을 이용한 메뉴 선택이 가능하므로, 기존의 디지털 장치에서 메뉴 기능 선택을 위해 구비되던 복수의 키 버튼의 전부 또는 일부가 생략될 수 있게 된다. 이에 대한 상세한 설명은 도 2에서 하기로 한다. 본 발명에 따른 무접점 마우스 기능 모드(즉, 광원부(140)에서 방사(放射)되어 피사체(예를 들어, 손가락 단부)에 의해 반사되어 카메라부(120)로 입력된 빛의 이동 궤적 및/또는 형성 면적을 이용한 제어 명령의 입력)의 수행을 위한 메뉴 항목이 미리 지정될 수 있다. 사용자는 해당 메뉴 항목의 선택에 의해 휴대용 멀티미디어 장치(100)가 무접점 마우스 기능 모드로 진입하도록 할 수 있다. 무접점 마우스 기능 모드로 진입되면 광원부(140). 카메라부(120), 영상 처리부(125) 등이 이에 상응하도록 동작되도록 제어된다.
카메라부(120)는 렌즈부, 이미지 센서부 및 신호 처리부를 포함한다. 렌즈부(미도시)는 피사체로부터 반사된 광을 수집하고, 이미지 센서부(미도시)는 렌즈부에 의해 수집된 광학 영상 신호를 전기적 영상 신호(아날로그 영상 신호임)로 변환하여 출력한다. 신호 처리부(미도시)는 이미지 센서부로부터 입력된 아날로그 영상 신호를 디지털 영상 데이터로 변환하여 출력한다.
여기서, 이미지 센서부로는 CCD(Charge Coupled Device) 센서 또는 CMOS(Complementary Metal-Oxide Semiconductor) 센서 등이 이용될 수 있고, 신호 처리부는 DSP(Digital Signal Processor) 등이 이용될 수 있다.
영상 처리부(125)는 카메라부(120)로부터 입력된 영상 데이터 또는 후술할 메모리부(155)에 저장된 영상 데이터에 대한 다양한 영상 처리를 수행한다. 예를 들어, 영상 처리부(125)는 영상 데이터의 압축 및 복원, 영상 데이터의 크기 또는 밝기(휘도)의 조정, 영상 데이터의 픽셀(fixel)간 보간(interpolation), 영상 데이터의 감마 보정(gamma correction) 또는 색채 보정, RGB 영상 데이터를 YUV 영상 데이터로 변환하는 포맷 변환 등의 영상 처리를 수행할 수 있다. 영상 처리부(125)는 상술한 신호 처리부와 통합적으로 구현되어 카메라부(120)의 일 구성요소로 포함될 수도 있다.
영상 처리부(125)는 RGB 영상 데이터 또는 YUV 영상 데이터를 이용하여 광원 부(140)에 의해 조사된 빛이 지시 수단(예를 들어, 렌즈부 전단에 일정 간격으로 위치한 손가락 등)에 의해 반사되어 형성한 영역(이하, '검출 영역'이라 칭함)의 이동 궤적이나 형성 면적의 변화를 식별하기 위한 식별부(미도시)를 더 포함할 수 있다. 검출 영역은 제 1 검출 영역 및 제 2 검출 영역으로 분할될 수 있으며, 제 1 검출 영역과 제 2 검출영역을 분리하여 검출 영역의 변화를 식별할 수 있다. 예를 들면, 마우스와 동일한 동작을 위하여 제 1 검출 영역의 변화를 마우스의 왼쪽 버튼이 동작된 것으로 인식하고, 제 2 검출 영역의 변화가 마우스의 오른쪽 버튼이 동작된 것으로 인식될 수 있다. 식별부는 제어부(150)에 포함되는 경우 검출 영역의 변화는 제어부(150)에 의해 식별될 것이다. 검출 영역은 영상 처리부(125)에 의해 처리된 각 프레임의 영상 데이터에서 광원부(140)로부터 방사되는 빛의 파장 성분만을 검출함으로써 인식할 수 있다. 이를 위해, 광원부(140)에서 방사되는 빛의 파장은 구비된 광원의 유형에 따라 미리 결정되어야 하며, 검출의 위한 파장 대역은 미리 지정될 수 있다.
검출 영역 변화에 대한 식별은 휴대용 멀티미디어 장치(100)가 프리뷰 모드(Preview mode)로 동작되는 과정에서 수행될 수 있다. 프리뷰 모드란 카메라부(120)를 통해 실시간 입력되는 영상 신호가 표시부(110)를 통해 시각 정보로서 디스플레이되도록 하는 실행 모드를 의미한다. 사용자는 프리뷰 모드에서 표시부(110)에 디스플레이되는 시각 정보를 확인한 후, 미리 지정된 버튼(예를 들어, 셔터(shutter) 버튼)을 선택하여 외부 영상에 상응하는 인코딩된 이미지 데이터가 생성되어 메모리부(155)에 기록(즉, 캡쳐(Capture) 모드의 실행)되도록 할 수 있 다. 프리뷰 모드에서 검출 영역 변화에 대한 식별을 수행하는 이유는 검출 영역의 이동 궤적이나 형성 면적의 변화를 식별하기 위해서는 현재 프레임에 대한 영상 정보뿐 아니라 비교 대상이 되는 이전 프레임들에 대한 영상 정보가 필요하기 때문이다. 이를 위해, 영상 처리부(125)는 각 프레임들에 대한 영상 정보(또는 해당 프레임에서의 검출 영역의 특성(예를 들어, 위치, 크기 등)을 분석한 분석 정보)를 저장하기 위한 메모리를 포함할 수 있다.
영상 처리부(125)는 이미지 시그널 프로세서(Image Signal Processor)와 백엔드 칩(Back End Chip, 또는 어플리케이션 프로세서)으로 분리될 수도 있다. 이미지 시그널 프로세서는 카메라부(120)로부터 입력된 영상 신호를 YUV 데이터로 변환하여 백엔드 칩으로 출력할 수 있다. 백엔드 칩은 입력된 YUV 데이터를 미리 지정된 인코딩 방법에 의해 JPEG나 BMP 등으로 변환하여 메모리부(155)에 저장하거나 메모리부(155)에 저장된 이미지 데이터를 디코딩하여 표시부(110)에 디스플레이되도록 할 수도 있다. 백엔드 칩은 이미지의 확대, 축소, 로테이션 등의 기능도 수행할 수 있다. 물론, 미리 지정된 인코딩 방법에 의해 이미지 데이터를 생성하는 기능은 이미지 시그널 프로세서에 포함될 수도 있을 것이다. 상술한 식별부는 이미지 시그널 프로세서 또는 백엔드 칩에 포함될 수도 있다.
광원부(140)는 제어부(150)의 특정 제어 신호(예를 들어, 무접점 기능 모드의 개시를 위한 제어 신호)에 의해 특정 파장의 빛을 외부로 방사한다. 광원부(140)에서 방사하는 빛의 파장은 미리 결정될 수 있다. 이를 통해 해당 파장에 상응하는 빛 성분만을 투과하는 필터를 이용하는 등의 방법을 이용함으로써, 검출 영역의 인식을 용이하게 할 수 있다. 광원부(140)에서 방사하는 빛은 인체에 무해한 특성을 가지는 것으로 결정함이 바람직하다.
광원부(140)는 제어부(150)의 특정 제어 신호에 의해 상방으로 특정 파장의빛을 조사한다. 조사된 빛은 피사체인 지시 수단(예를 들어, 렌즈부 전단에 일정 간격으로 위치한 손가락 등)에 의해 반사될 수 있다. 여기서, 광원부(140)의 광 조사 각도는 조사한 광이 지시 수단에 반사되어 카메라부(120)의 렌즈부를 통해 입력될 수 있는 각도로 설정될 수 있다. 여기서, 광원부(140)로는 다양한 발광 소자(예를 들어, LED(Light Emitting Diode) 등)가 이용될 수 있다. 예를 들어, 광원부(140)는 적외선 LED일 수 있다.
표시부(110)는 입력부(130)를 통해 입력되는 데이터 또는 카메라부(120)를 통해 입력되는 영상 데이터 등을 화면상에 표시한다. 특히, 본 발명에 따른 표시부(110)는 사용자가 무접점 마우스 기능 모드를 선택한 경우, 휴대용 멀티 미디어 장치(100)가 구비하는 각종 메뉴 기능에 상응하는 메뉴 아이콘(menu icon) 및/또는 메뉴 아이콘으로의 이동을 위한 마우스 커서(cursor)를 표시하게 된다.
여기서, 표시부(110)로는 LCD(Liquid Crystal Display), OLED(Organic Light Emitting Diodes) 등으로 구현될 수 있다. 표시부(110)는 각종 데이터의 표시를 위해 임시 저장하는 별도의 디스플레이 메모리가 더 포함될 수도 있다.
상술한 광원부(140) 및 표시부(120)에 대해서는 도 2를 통해 보다 상세히 설명하기로 한다.
메모리부(155)는 영상 데이터를 포함한 각종 데이터는 물론, 휴대용 멀티미 디어 장치(100)의 전반적인 동작 또는 기능 구동에 필요한 다양한 프로그램, 프로그램 수행에 의해 생성된 데이터 등을 저장한다. 메모리부(155)는 통합 메모리로 구현되거나 복수의 메모리부들(예를 들어, 프로그램 메모리, 데이터 메모리, 영상 메모리 등)로 세분화되어 구현될 수 있다.
제어부(150)는 휴대용 멀티미디어 장치(100)의 전반적인 동작을 제어한다. 예를 들어, 제어부(150)는 입력부(130)를 통해 입력되는 입력 데이터 또는 메모리부(155)에 저장되어 있는 영상 데이터 등의 각종 데이터를 불러들여 표시부(110)로 전달한다. 또한, 제어부(150)는 카메라부(120)의 촬상, 영상 처리부(125)의 영상 처리 및 광원부(140)의 작동 등을 제어할 수 있다.
특히, 본 발명에 따른 식별부를 포함하는 제어부(150)는 카메라부(120)로부터 입력된 영상 데이터에서 지시 수단이 촬상된 영역을 검출(이하, 이를 '검출 영역'이라 함)하고, 영상 데이터의 입력 순서에 따른 검출 영역의 위치 변화를 판별하여 무접점 마우스 기능을 구현해낼 수 있다. 이러한 무접점 마우스 기능의 구현은 이하의 도면에 대한 설명을 통해 구체화될 것이다.
도 2는 본 발명의 바람직한 일 실시예에 따른 휴대용 멀티미디어 장치의 외관 및 무접점 마우스 기능 모드의 사용상태를 나타낸 도면이다.
도 2를 참조하면, 휴대용 멀티미디어 장치(100)는 표시부(110), 카메라부(120), 입력부(130) 및 광원부(140)를 포함한다.
도 2에서는 광원부(140)가 카메라부(120, 즉 외부로 노출된 렌즈부)의 양 측 면에 각각 하나씩 구비된 경우를 예시하고 있지만, 구비 가능한 광원부(140)의 수량은 제한되지 않는다.
또한, 일정한 경우 광원부(140)는 생략될 수도 있다. 예를 들어, 일 단부에 특정 파장 또는 휘도의 빛을 방사할 수 있는 발광부를 구비한 지시 수단(예를 들어, 스타일러스 펜 타입으로 구현된 지시 수단 등)을 이용하여 본 발명에 따른 무접점 마우스 기능 모드에서의 제어 명령 입력이 가능한 경우라면 광원부(140)는 생략될 수 있을 것이다. 이는, 카메라부(120)를 통해 입력되어 영상 처리부(125)에 의해 처리된 각 프레임의 영상 데이터에서 지시 수단에 구비된 발광부로부터 방사된 빛의 파장 또는 휘도에 상응하는 픽셀의 위치 및/또는 범위를 해석함으로써 검출 영역의 변화를 식별할 수 있기 때문이다. 다만, 이하에서는 광원부(140)가 휴대용 멀티미디어 장치(100)에 구비된 경우를 중심으로 설명한다.
여기서, 카메라부(120)가 구비되는 위치는 도 2가 예시하는 위치와 달라도 무방하다. 또한, 카메라부(120)는 본 발명에 따른 무접점 마우스 기능의 수행을 위한 용도 이외에 일반적인 영상 촬상을 위한 용도로도 혼용하여 사용될 수 있음은 물론이다. 다만, 이하에서는 카메라부(120)가 무접점 마우스 기능의 수행을 위한 용도로 사용되는 경우를 중심으로 설명하기로 한다. 이러한 카메라부(120)의 촬상 용도의 구분은 제어부(150)로부터 전달되는 제어 신호의 구분을 통해 쉽게 구별될 수 있을 것이기 때문이다. 이는 영상 처리부(125)가 프리뷰 영상을 표시부(110)에 디스플레이하기 위한 모든 처리를 수행할 필요없이 단지 검출 영역의 변화를 인식하기 위한 동작만을 수행하도록 하여 불필요한 전력 낭비 또는 처리 효율 감소를 억제할 수 있도록 하기 위한 것이다. 이를 위해, 제어부(150)는 카메라부(120) 및/또는 영상 처리부(125)로 현재 입력되는 영상 신호가 어떤 용도로 이용될 것인지에 상응하는 제어 신호를 제공할 수 있다. 예를 들어, 사용자가 무접점 마우스 기능 모드의 실행을 지시한 경우 그에 따른 특정 제어 신호를 카메라부(120) 및/또는 영상 처리부(125)로 전달함으로써 일반적인 영상 촬상(예를 들어, 프리뷰 모드, 캡쳐 모드의 실행)이 아닌 무접점 마우스 기능 모드가 실행되도록 할 수 있다. 마찬가지로, 사용자가 일반적인 영상 촬상을 지시한 경우, 그에 따른 특정 제어 신호를 카메라부(120) 및/또는 영상 처리부(125)로 전달함으로써 검출 영역의 해석 및 변화 인식을 위한 일련의 처리를 수행하지 않도록 함으로써 불필요한 전력 낭비 또는 처리 효율 감소를 억제할 수 있다.
광원부(140)는 미리 설정된 광 조사 각도로 특정 파장의 빛을 조사한다. 조사된 빛은 지시 수단(200)(본 예에서는 사용자의 손가락 단부)에 의해 반사되어 카메라부(120)의 렌즈부로 수집된다. 따라서, 광원부(140)의 광 조사 각도는 휴대용 멀티미디어 장치(100)에서 일정 거리 이격된 지시 수단에 의해 반사된 빛이 카메라부(120)를 통해 입력될 수 있는 각도로 설정되는 것이 바람직하다(도 5 및 도 6 참조).
여기서, 광원부(140)는 제어부(150)에 의한 지시가 있는 경우에만 동작하도록 제어될 수 있다. 예를 들어, 사용자가 입력부(130)의'마우스'버튼(131)을 누르는 등의 방법으로 무접점 마우스 기능 모드를 선택한 경우에만 광원부(140)가 턴온(turn-on)되도록 제어부(150)에 의해 제어될 수 있다. 이를 통해 광원부(140)가 상시 턴온되어 빛을 조사함으로써 발생할 수 있는 배터리의 불필요한 소모를 방지할 수 있게 된다. 카메라부(120)의 동작(촬상) 역시 이와 동일한 방법으로 제어될 수 있을 것이다. 즉, 무접점 마우스 기능 모드가 선택된 경우에만 카메라부(120)를 통한 지시 수단의 영상이 입력될 수 있도록 제어될 수 있다.
물론, 본 발명에 따른 이동 통신 단말기(100)가 별도의 움직임 인식 센서(예를 들어, 모션(motion) 센서 등)를 구비하는 경우에는 무접점 마우스 기능 모드의 선택에 이를 이용할 수도 있을 것이다. 즉, 움직임 인식 센서의 일정 간격 앞에서 사용자가 미리 설정된 특정 동작(예를 들어, 1초 이내에 2회 손을 흔드는 동작 등)을 취하면, 움직임 인식 센서는 이를 감지하여 감지 신호를 제어부(150)로 전달한다. 이때, 제어부(150)는 전달된 감지 신호에 의해 사용자가 무접점 마우스 기능 모드를 선택한 것으로 판단함으로써 광원부(140) 및 카메라부(120)의 동작을 제어할 수도 있을 것이다.
다만, 이하에서는 무접점 마우스 기능 모드의 선택은 입력부(130)의'마우스'버튼(131)을 통해 선택되며, 또한 무접점 마우스 기능 모드로 진입된 경우에만 광원부(140) 및 카메라부(120)가 동작하도록 제어되는 것으로 가정하여 설명한다.
카메라부(120)는 소정의 시간 간격을 두고 지시 수단을 연속 촬영(예를 들어, 프리뷰 모드의 수행)한다. 연속 촬영된 각 프레임의 영상 데이터는 메모리부(155)에 저장될 수 있다. 이와 같이 얻어진 각 프레임의 입력 영상의 해석을 통해 제어부(150)는 지시 수단의 이동 궤적에 따른 무접점 마우스 기능의 인식을 할 수 있게 된다. 각 프레임의 입력 영상의 해석을 통한 무접점 마우스 기능의 인식 방법은 이하의 도면에 대한 설명을 통해 구체화될 것이다. 여기서, 입력 영상은 RGB 영상 데이터가 영상 처리부(125)에 의해 YUV 영상 데이터로 변환된 것일 수 있다.
입력부(130)는 데이터 입력 또는 메뉴 기능 선택을 하기 위한 일반적인 사용자 환경(User Interface)을 제공할 수 있다. 다만, 도 2가 예시하는 본 발명에 따른 입력부(130)에는 일반적인 디지털 장치의 입력부에 배치되는 메뉴 선택을 위한 각종 기능 버튼(예를 들어, 인터넷 접속 버튼, 음악 재생 버튼 등) 및 메뉴 이동을 위한 방향키 버튼 등이 구비되지 않고 있다. 이는 본 발명에서의 메뉴 기능 선택이 무접점 마우스 기능의 이용을 통해 수행될 수 있기 때문이다.
다만, 사용자에게 편의를 제공하기 위해 또는 본 발명에 따른 무접점 마우스 기능을 이용한 메뉴 선택을 통해 인식될 수 없는 기능(예를 들어, 휴대용 멀티 미디어 장치의 전원의 턴온(turn-on) 등)의 수행을 위해 필요한 일부 기능 버튼을 입력부(130)에 구비시킬 수 있음은 물론이다. 즉, 본 발명에 따른 입력부(130)의 구성 또는 형태는 사용자의 요구, 기능 선택의 편리성, 이동 통신 단말기의 디자인 상의 효율 등을 다각적으로 고려하여 결정할 문제로서, 도 2에 예시된 형태 이외에도 다양한 변형이 가능함은 자명하다. 이처럼, 본 발명에 따른 무접점 마우스 기능을 가지는 장치에 의하면, 기능 버튼 등이 존재하던 공간만큼을 제거하거나 다른 용도로 사용할 수 있어 휴대용 멀티미디어 장치의 소형화 및 디자인상의 다양성을 기할 수 있게 된다.
또한, 본 발명에 따른 표시부(110)는 사용자에 의해 무접점 마우스 기능 모 드로 진입된 경우, 메뉴 아이콘(menu icon)들을 화면상의 전부 또는 일부(이하, 이를 '메뉴 아이콘 표시 영역(111)'이라 함)에 표시할 수 있다. 예를 들어, 무접점 마우스 기능 모드로 진입과 동시에 표시부(110)의 초기 화면이 도 2가 예시하는 메뉴 아이콘 표시 영역(111)이 포함된 화면으로 전환될 수 있다. 물론, 메뉴 아이콘 표시 영역(111)이 포함된 화면 자체를 초기 화면으로 이용할 수도 있을 것이다. 이하에서는 무접점 마우스 기능 모드가 선택된 경우 표시부(110)의 화면 전체가 메뉴 아이콘 표시 영역(111)으로 전환되어 표시되는 것으로 가정한다.
여기서, 메뉴 아이콘 표시 영역(111)에는 휴대용 멀티미디어 장치가 구비하고 있는 각 기능에 상응하는 메뉴 아이콘들 중 전부 또는 일부가 표시될 수 있다. 또한, 이러한 메뉴 아이콘 표시 영역(111)에서의 메뉴 아이콘들은 다양한 형태 및 배열을 가질 수 있으며, 도 2에서 예시하는 형태 및 배열에 한정되는 것이 아님은 자명하다.
또한, 메뉴 아이콘 표시 영역(111)에는 메뉴 아이콘들 이외에도 메뉴 아이콘으로의 이동 및 메뉴 아이콘의 선택을 위한 마우스 커서(cursor)(400)가 더 표시될 수 있다. 마우스 커서(400)는 표시부(110)의 화면이 메뉴 아이콘 표시 영역(111)이 포함된 화면으로 전환됨과 동시에 미리 설정된 위치에 표시될 수 있다. 또는 입력 영상으로부터 지시 수단이 최초 검출됨과 동시에 그 검출 위치와 상응하는 메뉴 아이콘 표시 영역(111)의 일 위치에 마우스 커서(400)가 표시되도록 설정될 수 있다. 다만, 이하의 설명에서 마우스 커서(400)는 후자의 방법(즉, 입력 영상으로부터 지시 수단이 최초 검출됨과 동시에 표시됨)에 의해 메뉴 아이콘 표시 영역(111)에 표 시되는 것으로 가정한다. 물론, 마우스 커서(400)는 사용자가 표시 화면에 표시된 임의의 항목(예를 들어, 메뉴 항목, 정보 항목 등)을 선택하기 용이하도록 한 것으로, 만일 지시 수단의 이동 궤적에 따라 활성화되기 위해 표시될 메뉴 항목의 표시 순서(예를 들어, 지시수단이 좌측 또는 우측으로 이동시 현재 표시된 메뉴 항목 좌측 또는 우측의 메뉴 항목이 활성화되기 위해 주된 정보로 표시되도록 하는 표시 형태)가 미리 결정된 경우라면 마우스 커서(400)는 표시되지 않을 수 있을 것이다.
마우스 커서(400)는 카메라부(120) 앞에서의 지시 수단의 움직임(즉, 이동 궤적)에 상응하여 동일한 궤적을 그리면서 메뉴 아이콘 표시 영역(111)에서 움직이게 된다. 즉, 사용자가 마치 유선 마우스를 이용하여 화면상에 표시된 마우스 커서(400)를 이동시키는 것과 같은 효과를 얻어낼 수 있는 것이다. 이는 카메라부(120)로부터 순차 생성되는 각 프레임의 입력 영상에서 지시 수단이 촬상된 영역의 위치 변화의 해석을 통해 구현해낼 수 있다. 이러한 무접점 마우스 기능의 구현 방법은 이하의 도면에 대한 설명을 통해 보다 구체화될 것이다.
도 3은 본 발명의 바람직한 일 실시예에 따른 휴대용 멀티미디어 장치에서의 무접점 마우스 기능의 사용 상태도이다. 도 3은 사용자에 의해 무접점 마우스 기능 모드가 선택된 이후, 사용자가 지시 수단(200)을 이용하여 본 발명에 따른 무접점 마우스 기능을 이용하는 경우를 예시한 것이다. 이하의 도 4 내지 도 7의 경우도 이와 같다. 또한, 지시 수단(200)으로 이용될 수 있는 객체(object)는 별다른 제한이 있는 것은 아니다. 다만, 도 3 내지 도 7에 대한 설명에서는 지시 수단(200)이 사용자의 손가락인 것으로 가정한다.
도 3에서, 참조번호 300은 설명의 편의를 위해 사용자의 손가락 단부를 점(point)으로 나타낸 것이다. 또한, 참조번호 310 및 참조번호 320은 사용자에 의한 손가락 단부의 수평 이동을 나타낸 것이며, 참조번호 330은 손가락 단부의 수직 이동을 나타낸 것이다. 수직 이동과 수평 이동은 예를 들어 카메라부(120)와 지시 수단간의 이격 거리를 판단함으로써 각각 구분될 수 있다.
여기서, 수평 이동이란 카메라부(120)로부터의 수직 거리를 기준으로 하였을 때 후술할 클릭 선택 범위 밖에서의 사용자의 손가락 단부의 모든 움직임 궤적(locus)을 의미한다. 따라서, 도 3에서는 손가락 단부의 수평 이동 중 좌우 이동(참조번호 310) 및 상하 이동(참조번호 320)만을 예시하고 있지만, 수평 이동이란 이에 한정되지 않고 손가락 단부의 움직임에 따른 다양한 궤적 및 방향(예를 들어, 포물선 방향, 회전 방향 등)을 포괄하는 것임은 물론이다. 만약 지시수단(200)으로 두 손가락을 사용하는 경우, 움직임 궤적 및 방향의 파악은 제 1 손가락 및 제 2 손가락의 각 단부의 동일한 지점을 연결한 가상의 라인의 중간을 이동의 중심으로 가정하고 그 이동의 중심의 움직임을 기준으로 지시수단(200)의 움직임 궤적 및 방향을 설정할 수 있다.
또한, 수직 이동이란 후술할 클릭 선택 범위 밖에 위치하던 손가락 단부를 카메라부(120) 앞의 소정의 클릭 선택 범위 내로(예를 들어, 멀어지거나 가깝도록) 위치하게 하는 사용자의 동작을 의미한다. 즉, 수직 이동은 사용자가 카메라부(120) 앞의 소정의 클릭 선택 범위 내의 공간 상에 존재하는 메뉴 기능 선택 및 선택의 해제를 위한 가상의 마우스에서의 왼쪽 버튼 또는 오른쪽 버튼을 클릭(click)하는 것과 동작을 취함을 의미할 수 있다. 또한, 수직 이동을 미리 지정된 시간 내에 반복하는 경우에는 카메라부(120) 앞의 소정의 클릭 선택 범위 내의 공간상에 존재하는 메뉴 기능 실행을 위한 가상의 마우스에서의 왼쪽 버튼을 더블 클릭(double click)하는 것과 같은 동작을 취함을 의미할 수 있다.
이러한 손가락 단부의 움직임(즉, 수평 이동 및 수직 이동)은 카메라부(120)에 의해 소정 시간 간격을 두고 연속 촬영(예를 들어, 프리뷰 모드의 수행)된다. 이때, 제어부(150)는 카메라부(120)로부터 연속 입력되는 각 영상 프레임에서 손가락 단부의 검출 영역을 이용하여 손가락 단부의 움직임(이동) 궤적을 인식해낸다. 이러한 손가락 단부의 이동 궤적은 동일한 궤적을 그리며 표시부(110)의 메뉴 아이콘 표시 영역(111)을 통해 표시되는 마우스 커서를 이동시키게 된다. 이러한 과정을 통해 사용자는 자신이 의도한 메뉴 아이콘의 위치로 마우스 커서를 이동시킬 수 있다. 또한, 사용자는 해당 위치에서 손가락 단부를 수직 이동(참조번호 330)시키는 동작(즉, 가상의 마우스의 왼쪽 또는 오른쪽 버튼을 클릭하는 것과 같은 동작으로 경우에 따라서는 복수의 손가락 단부가 이용되어 어느 한 쪽의 손가락 단부가 상대적으로 가까워지는 경우 보다 편리한 이용이 가능할 수 있음)을 취함으로써 의도하는 기능에 상응하는 해당 메뉴 아이콘을 선택, 선택의 해제 또는 옵션 정보를 표시할 수 있다. 이러한 무접점 마우스 기능의 이용 방법에 대해서는 이하 도 4 내지 도 6을 참조하여 상세히 설명한다.
도 4는 도 3의 무접점 마우스 기능에 따른 마우스 커서 이동의 원리를 예시 한 도면이다. 즉, 도 4는 도 3에서의 손가락 단부의 수평 이동(즉, 소정의 클릭 선택 범위 밖에서의 움직임)에 따른 메뉴 아이콘 표시 영역(111) 상의 마우스 커서(400)의 이동 원리를 나타낸 것이다.
도 4를 참조하면, 사용자가 카메라부(120) 앞에서 손가락 단부(참조번호 300)를 소정의 방향으로 움직임(이동)에 따라 메뉴 아이콘 표시 영역(111)에 표시된 마우스 커서(400)도 동일한 궤적을 그리면서 이동되고 있다. 즉, 본 발명에서 메뉴 아이콘 표시 영역(111)의 마우스 커서(400)는 카메라부(120)로부터 입력된 각 프레임(frame)의 영상 순서대로의 손가락 단부의 검출 영역의 위치 변화에 상응하는 궤적을 가지고 이동하게 되는 것이다.
이러한 각 프레임의 입력 영상 순서대로의 손가락 단부의 검출 영역의 위치 변화는 제어부(150)에 의한 입력 영상의 해석을 통해 이루어진다. 즉, 제어부(150)는 먼저 순차 입력되는 입력 영상 각각에 대하여 손가락 단부의 검출 영역의 위치 변화를 판별해냄으로써 사용자가 의도한 손가락 단부의 이동 궤적을 파악할 수 있다.
여기서, 손가락 단부의 이동 궤적(즉, 입력 영상 순으로의 검출 영역의 위치 변화)의 판별에는 입력 영상으로부터 손가락 단부가 검출된 영역이 차지하는 면적의 중심점(center point)이 이용될 수 있다. 예를 들어, 제어부(150)는 입력 영상마다 손가락 단부가 촬영된 부분으로 판단된 영역에서 그 중심을 이루는 픽셀(fixel)의 위치를 계산하고, 입력 영상 순으로 이러한 중심점의 위치 변화를 계산해냄으로써 손가락 단부의 이동궤적을 판별해낼 수 있을 것이다. 또한, 제어 부(150)는 입력 영상에 손가락의 단부 외의 부분이 촬영되어 손가락 단부의 중심을 판단하기 어려운 경우, 손가락 첫째 마디의 중심을 기준으로 중심점의 픽셀의 위치 및 그 위치 변화를 계산해냄으로써 손가락 단부의 이동궤적을 판별할 수 있다. 또한 제어부(150)는 지시수단(200)으로 두 손가락을 사용한 경우에는 입력 영상에 제 1 손가락 및 제 2 손가락 각 단부가 검출된 영역을 제 1 검출 영역 및 제 2 검출 영역으로 분리하고 각 검출 영역이 차지하는 면적의 중심점을 연결한 가상의 라인의 중간을 이동의 중심점으로 가정하고 그 이동의 중심점을 기준으로 이동 궤적 및 면적 비율을 판별할 수 있다. 만약 입력 영상에 제 1 손가락 및 제 2 손가락의 단부 외의 부분이 촬영된 경우 손가락 첫째 마디의 중심을 기준으로 손가락 단부의 이동 궤적을 판별할 수 있음은 당연하다. 또한, 지시수단(200)으로 두 손가락을 사용한 경우라도 설계자의 설정에 따라 더욱 명확한 검출영역을 가진 제 1 손가락 단부 만을 기준으로 하여 제 1 검출 영역이 차지하는 면적의 중심점을 이동 궤적의 판별에 이용할 수 있다.
또한 이때, 보다 정확히 메뉴 아이콘 표시 영역(111)에 표시되는 마우스 커서(400)를 손가락 단부의 이동 궤적과 동일한 궤적으로 이동시키기 위해, 순차 입력되는 각 프레임의 입력 영상은 제어부(150)의 지시에 따라 영상 처리부(125)를 통해 각각 동일한 소정의 크기를 갖도록 조정될 수 있음은 물론이다. 예를 들어, 각 입력 영상은 영상 처리부(125)에 의해 메뉴 아이콘 표시 영역(111)과 동일한 픽셀수를 갖는 크기로 조정할 수 있다.
도 5 내지 도 7은 본 발명에 따른 무접점 마우스 기능의 동작 원리를 예시한 도면이다. 도 5 내지 도 7은 사용자에 의해 무접점 마우스 기능 모드의 실행이 개시된 후, 사용자가 지시 수단(200)을 이용하여 본 발명에 따른 무접점 마우스 기능이 실행되도록 하는 과정을 예시한 것이다.
여기서, 지시 수단(200)으로 이용될 수 있는 객체(object)는 제한되지 않으며, 광원부(140)로부터 방사되는 빛을 반사시켜 카메라부(120)로 입력할 수 있으면 충분하다. 다만, 이하에서는 지시 수단(200)이 사용자의 손가락인 것으로 가정한다. 또한, 도 5 및 도 6에서는 설명의 편의를 위해 본 발명에 따른 무접점 기능 선택이 가능한 장치 중 카메라부(120)만을 별도로 도시하였다.
사용자는 무접점 마우스 기능 모드의 실행을 지시한 후, 도 5에서와 같이 카메라부(120) 앞에 손가락을 위치시킨다. 이 경우 광원부(140)로부터 방사된 특정 파장의 빛이 사용자의 손가락에 반사되어 카메라부(120)로 입력된다. 카메라부(120)로 입력된 광학적 영상 정보는 영상 신호로 변환되어 영상 처리부(125)로 입력된다. 영상 처리부(125)는 입력된 영상 신호를 검출 영역의 해석 및 변화 인식을 위한 영상 데이터로 변환한다. 변환된 영상 데이터는 예를 들어 YUV 영상 데이터, RGB 데이터 등 중 어느 하나일 수 있다. 카메라부(120)의 뷰 앵글(view angle) 및 광원부(140)의 빛 방사 각도는 미리 지정될 수 있다. 예를 들어, 카메라부(120)의 뷰 앵글(view angle) 및 광원부(140)의 빛 방사 각도는 각각 120도로 설정될 수 있다. 물론, 뷰 앵글(view angle) 및 빛 방사 각도는 다양하게 변형 가능하다.
이때, 광원부(140)로부터 방사된 특정 파장의 빛 중 손가락에 의해 반사된 빛이 렌즈부에 영상으로 맺히게 되며, 반사된 빛이 형성하는 영역은 입력 영상의 다른 부분과 구별되는 정보(예를 들어, 파장이나 휘도가 상이함)를 가질 것이다. 각 프레임의 영상 데이터에서 반사된 빛에 의해 형성된 검출 영역을 인식함으로써 순차적인 프레임간의 검출 영역의 변화 정보(예를 들어, 이동 궤적 및/또는 형성 면적 등)를 인식할 수 있다. 따라서, 검출 영역은 손가락의 이동 궤적 및/또는 이동 방향에 상응하도록 형성될 것이다.
예를 들어, 식별부는 특정 파장의 영역만이 검출되도록 하는 필터링 과정을 수행함으로써 검출 영역을 특정하고 각 프레임간의 검출 영역의 변화 정보를 인식할 수 있을 것이다. 또는 식별부는 각 프레임의 영상 데이터 중에서 특정 휘도 성분을 가지는 영역을 검출함으로써 검출 영역을 특정하고 각 프레임간의 검출 영역의 변화 정보를 인식할 수도 있을 것이다. 검출 영역을 특정하기 위한 파장 또는 휘도의 유효 범위는 미리 지정될 수 있고, 해당 범위 내의 파장 성분 또는 휘도 성분에 상응하는 픽셀들의 위치를 인식함으로써 검출 영역을 특정할 수 있다.
여기서, 검출 영역의 이동 궤적은 예를 들어 반사된 빛에 의해 형성된 검출 영역의 중심점이 각 프레임에서 어떻게 변화하고 있는지를 이용하여 판단될 수 있다. 또한, 검출 영역의 형성 면적은 예를 들어 각 프레임의 영상 데이터에서 검출 영역의 외곽선으로 형성된 도형의 면적을 이용하여 판단되거나, 검출 영역 내에 포함된 픽셀들의 수를 이용하여 판단될 수 있을 것이다.
상술한 검출 영역의 형성 면적이 프레임간에 상이한 경우 이를 표시부(150)의 가상 마우스가 클릭 또는 더블 클릭으로 인식되도록 할 수 있다. 예를 들어, 표 시부(110)에 표시된 복수개의 정보 항목 중 어느 하나를 마우스 커서(400)가 지시하는 상태에서, 검출 영역의 면적이 짧은 시간 내에 증가(즉, 손가락이 짧은 시간내에 렌즈부 방향으로 이동)된 경우 해당 정보 항목이 선택(클릭)된 것으로 인식될 수 있다. 또는 표시부(110)에서 마우스 커서(400)이 선택한 정보 항목을 지시하는 상태에서, 검출 영역의 면적이 짧은 시간 내에 감소(즉, 손가락이 짧은 시간내에 렌즈부의 반대 방향으로 이동)된 경우 해당 메뉴 항목의 선택이 해제된 것으로 인식될 수 있다. 또 다른 예로, 표시부(110)에 표시된 복수개의 정보 항목 중 어느 하나를 마우스 커서(400)가 지시하는 상태에서, 사용자가 손가락으로 버튼을 클릭(click)하는 것과 같은 동작을 취함에 따라, 소정의 시간 내에 입력된 각 영상 프레임에서의 검출 영역이 차지하는 영역이 소정의 비율 이상으로 증가하였다가 다시 감소하는 경우, 해당 정보 항목이 선택 또는 선택된 정보 항목이 해제(마우스에서 왼쪽 버튼을 클릭하는 것과 같은 동작)된 것으로 인식될 수 있다. 소정의 비율은 설계자 또는 사용자에 의해 미리 설정될 수 있다. 또한, 표시부(110)에 표시된 복수개의 정보 항목 중 어느 하나를 마우스 커서(400)가 지시하는 상태에서, 사용자가 손가락으로 버튼을 더블 클릭(double click)하는 것과 같은 동작을 취함에 따라, 소정의 시간 내에 입력된 각 영상 프레임에서의 검출 영역이 차지하는 영역이 소정의 비율 이상으로 증가하였다가 다시 감소하는 것이 반복되는 경우, 해당 정보 항목이 실행 개시(마우스에서 왼쪽 버튼을 더블 클릭하는 것과 같은 동작)된 것으로 인식될 수 있다. 검출 영역의 형성 면적의 증가 또는 감소는 각 프레임 단위로 산출된 형성 면적을 연속된 프레임간에 비교함으로써 판단될 수 있다.
도 6의 경우, 도 5와 비교할 때 사용자의 손가락이 카메라부(120)의 렌즈부쪽으로 보다 근접되어 위치한 것을 알 수 있다. 사용자 손가락의 위치가 도 5의 위치에서 도 6의 위치로 이동한 것이라 가정하면, 사용자의 손가락에 의해 반사된 빛이 형성하는 검출 영역이 각 프레임에서 점차 증가되고 있을 것이다. 이 경우, 식별부는 이에 상응하는 인식 정보를 생성하여 제어부(150)로 입력할 것이고, 제어부(150)는 선택된 메뉴 항목이 선택된 것으로 인식하여 해당 메뉴 항목에 상응하는 기능(또는 어플리케이션)이 구동되도록 할 수 있다. 다만, 사용자가 손가락을 렌즈부에서 일정 거리 이격한 상태에서 무접점 마우스 기능 모드를 이용할 때 손가락의 위치가 상방 또는 하방으로 일정 간격에서 흔들릴 수 있으므로 프레스로 인식하기 위한 기준(즉, 선택 범위)을 미리 설정할 수 있다(도 6에서는 손가락의 위치가 b의 범위 이내인 경우 프레스로 가정). 여기서, 선택 범위는 설계자에 의해 카메라부(120) 앞의 소정의 거리로 미리 설정될 수 있다. 이를 통해, 사용자는 카메라부(120)의 렌즈부 상방에 구현된 가상의 키 버튼을 누르는 것과 같은 동작을 취함으로써 선택된 정보 항목이 선택 또는 실행되도록 할 수 있다. 이때, 제어부(150)는 입력되는 각 영상 프레임에서 손가락의 위치에 따른 검출 영역의 형성 면적 비교를 통해 사용자의 무접점 마우스 기능 선택 여부를 판단하게 된다. 즉, 제어부(150)는 입력 영상에서 손가락이 차지하는 영역의 면적이 연속 입력되는 각 영상 프레임의 순서대로 점차 커지는 경우, 사용자가 임의의 정보 항목 또는 아이콘 등에 대한 선택을 의도한 것으로 인식할 수 있다. 제어부(150)는 미리 설정된 이격 거리 밖에서의 경사진 수평이동으로 인하여 검출 영역의 면적 변화 비율이 크다 할 지라도 수직 이동으로 판별되지 않도록 상대적인 면적 비율뿐만 아니라 절대적인 이격 거리를 측정하여 수직 이동을 판별할 수 있다. 또한, 제어부(150)는 수직 이동을 판별하는 절대적인 이격 거리의 기준을 정하고, 입력되는 영상 프레임의 검출 영역의 거리 좌표를 변환하여(구 좌표계(ρ, φ, θ)에서 직각 좌표계(x, y, z)로 변환) 수직 이동 여부를 판별할 수 있다.
이러한 면적간 크기 변화율을 이용함으로써 사용자가 어떠한 종류의 지시 수단을 이용하는지 또는 이용되는 지시 수단의 크기가 어떠한 지와 상관없이 무접점 마우스 기능을 이용한 정확한 클릭 선택의 인식이 가능해질 것이다.
이상에서는 소정의 시간 이내에 입력된 영상 프레임에서 지시 수단이 촬상된 영역의 면적이 단순히 일정 범위 이상으로 커지는 경우를 클릭 선택한 것으로 판단하였지만, 클릭 선택의 인식 방법은 이에 한정되는 것은 아님은 물론이다. 즉, 상술한 방법 이외에도 각 프레임의 입력 영상에서 지시 수단이 촬상된 영역의 면적 변화를 이용하는 것이라면, 그 구현 방법을 불문하고 본 발명에 이용될 수 있다.
도 7은 본 발명의 일 실시예에 따른 제 1 검출 영역과 제 2 검출 영역을 분리하여 수직이동을 판단하기 위한 예를 도시한 도면이다.
도 7을 참조하면, 영상 처리부(125)에 의해 처리된 영상 데이터의 일부에 대하여 지시수단이 검출되는 영역의 면적 변화의 비율을 판단하기 위하여 검출 영역이 포함되는 영상 데이터의 일부를 분리하여 표시부(110)의 일부분에 창(window, 730)으로 표시할 수 있다. 앞서 설명한 바와 같이 지시 수단으로 복수의 손가락이 이용되는 경우 마우스 커서(cursor)(400)는 해당 손가락들에 의해 인식되는 특정 위치(예를 들어, 중점 위치)에 표시될 수 있을 것이다. 이 경우, 창(730)은 왼쪽 또는 오른쪽의 클릭 여부를 사용자가 인식할 수 있도록 하는 정보 창으로서 기능될 수 있으며, 창(730)의 표시 위치가 제한되지 않음은 당업자에게 자명하다.
이와 같이 무접점 마우스 기능 모드에서 지시 수단의 수직 이동에 따른 면적 변화의 비율을 정확히 인식되도록 하기 위해, 검출 영역이 포함된 영상 데이터의 일부를 소정의 크기 및 형태로 변환시키는 과정이 선행될 수 있다. 이러한 입력 영상의 변환은 제어부(150)의 제어에 의해 영상 처리부(125) 또는 식별부에서 수행될 수 있다.
여기서, 영상 데이터의 일부에는 지시 수단(200)이 둘인 경우(예를 들면, 두 손가락을 지시 수단(200)으로 사용한 경우) 제 1 손가락이 검출된 영역을 제 1 검출 영역(710)으로 설정하고 제 2 손가락이 검출된 영역을 제 2 검출 영역(720)으로 설정되어 표시될 수 있다. 만약, 제 1 검출영역(710)의 면적이 소정의 비율이상으로 증가하였다가 다시 감소하는 방향으로 변화하는 경우, 표시부에 디스플레인 된 복수의 정보 항목 중 마우스 커서가 위치한 정보 항목의 선택 명령 또는 선택된 정보 항목의 선택 해제 명령으로 인식될 수 있다. 또한, 제 1 검출 영역(710)의 면적의 크기 변화가 소정 비율 이상으로 반복되는 경우, 제어부(150)는 사용자에 의해 표시부(110)의 가상 마우스의 왼쪽 버튼이 더블 클릭 동작을 취한 것과 같이 인식될 수 있다. 예를 들면, 제 1 검출영역(710)의 면적이 소정의 비율이상으로 증가하였다가 다시 감소하는 방향으로 반복되는 경우, 표시부에 디스플레인 된 복수의 정보 항목 중 마우스 커서가 위치한 정보 항목의 실행 개시 명령으로 인식될 수 있 다. 반대로 제 2 검출 영역(720)의 면적간 크기 변화율이 소정의 비율 이상인 경우 제어부(150)는 사용자에 의해 표시부(110)의 가상 마우스의 오른쪽 버튼이 클릭 동작을 취한 것과 같이 인식될 수 있다. 예를 들면, 제 2 검출영역(720)의 면적이 소정의 비율이상으로 증가하였다가 다시 감소하는 방향으로 변화하는 경우, 표시부에 디스플레인 된 복수의 정보 항목 중 마우스 커서가 위치한 정보 항목의 옵션 정보 표시 명령으로 인식될 수 있다.
제어부(150)는 지시 수단으로 손가락 단부를 사용한 경우 제 1 검출 영역(710) 및 제 2 검출 영역(720)에 손가락 단부 외의 부분이 촬영된 경우라 할 지라도 손가락 첫째 마디의 중심을 검출영역의 중심으로 하여 이동 궤적 및 면적 비율을 판별할 수 있음은 당연하다.
도 8은 본 발명의 일 실시예에 따른 무접점 마우스 기능을 이용한 메뉴 선택 방법을 나타내는 흐름도이다.
단계 S801에서, 먼저 사용자는 입력부(130)의'마우스'버튼(131)을 누르는 등의 방법으로 휴대용 멀티미디어 장치(100)에서 무접점 마우스 기능 모드를 선택한다.
제어부(150)는 무접점 마우스 기능 모드로의 진입과 동시에 표시부(110), 카메라부(120), 영상 처리부(125) 및 광원부(140) 등 중 하나 이상의 동작을 제어할 수 있다. 예를 들어, 제어부(150)는 카메라부(120)로 외부 영상에 상응하는 영상 신호 출력 개시, 광원부(140)로 턴온을 지시할 수 있다. 또한, 표시부(110)를 통해 초기 화면이 메뉴 아이콘 표시 영역(111)이 포함된 화면으로 전환하여 표시되도록 제어할 수 있다. 여기서, 광원부(140)는 특정 파장 및/또는 휘도의 빛을 조사하고, 카메라부(120)는 실시간 외부 영상에 상응하는 영상 신호를 생성하여 출력하거나 소정의 시간 간격을 두고 피사체를 연속 촬상(예를 들어, 프리뷰 모드의 수행)하게 된다.
단계 S802에서, 사용자는 손가락 등의 지시 수단을 카메라부(120) 앞에 위치시키고, 지시 수단을 수평 이동 또는 수직 이동한다. 지시 수단의 이동에 상응하는 영상 신호가 생성되어 영상 처리부(125)로 입력되고, 영상 처리부(125)는 검출 영역의 변화 정보(예를 들어, 이동 궤적 및/또는 형성 면적의 변화)를 해석하고 생성하기 위한 영상 데이터를 생성하여 출력한다.
단계 S803에서, 식별부는 순차적으로 입력되는 영상 데이터를 각 프레임별로 분석하여 검출 영역의 위치 및 면적을 판별한다. 검출 영역은 광원부(140)로부터 방사된 빛이 지시 수단에 의해 반사되어 카메라부(120)로 입력된 외부 영상의 분석에 의해 인식됨은 앞서 설명한 바와 같다. 여기서, 검출 영역은 광원부(140)에서 방사한 광의 특성(예를 들어, 파장 및/또는 휘도 등)을 이용하여 인식할 수 있음은 앞서 설명한 바와 같다.
단계 S804에서, 식별부는 입력되는 각 영상 프레임에서 앞선 단계를 통해 판별되는 검출 영역의 이동 궤적 및 형성 면적의 순차적인 변화를 이용하여 지시 수단의 이동 궤적(즉, 수평 이동 또는 수직 이동)을 인식한다. 상술한 바와 같이, 식별부는 예를 들어 검출 영역의 중심점 위치 변화를 이용하여 지시 수단의 수평 이 동을 인식할 수 있고, 검출 영역의 면적 증가(또는 변화율)를 이용하여 지시 수단의 수직 이동을 인식할 수 있다.
단계 S805에서 제어부(150)는 식별부에 의해 인식된 검출 영역의 변화 정보를 이용하여 지시 수단이 수평 이동하였는지 여부를 판단한다.
지시 수단이 수평 이동하였다면, 표시부(110)상에 선택된 것으로 표시되는 메뉴 항목(또는 정보 항목)를 다른 것으로 변경하거나 포인터의 위치를 변경시키기 위한 것이므로, 제어부(150)는 S806에서 상응하는 처리가 수행되도록 각 구성 요소를 제어한다.
그러나, 지시 수단이 수직 이동되었다면, 표시부(110)상에 선택된 것으로 표시되는 메뉴 항목(또는 정보 항목) 또는 포인터의 위치에 상응하는 메뉴 항목(또는 정보 항목)의 실행 또는 해제을 위한 것이므로, 제어부(150)는 S807에서 상응하는 처리가 수행되도록 각 구성 요소를 제어한다.
단계 S808에서 제어부(150)는 무접점 마우스 기능 모드가 종료되었는지 여부를 판단한다. 무접점 마우스 기능 모드의 종료는 예를 들어 미리 지정된 기능 버튼 또는 메뉴 항목의 입력에 의해 수행될 수 있을 것이다. 만일 무접점 마우스 기능 모드의 종료가 지시된 경우에는 단계를 종료하고, 그렇지 않은 경우에는 단계 S803으로 다시 진행한다.
도 9은 본 발명의 다른 실시예에 따른 무접점 마우스 기능을 이용한 메뉴 선택 방법을 나타내는 흐름도이다.
단계 S901에서, 먼저 사용자는 입력부(130)의'마우스'버튼(131)을 누르는 등의 방법으로 휴대용 멀티미디어 장치(100)에서 무접점 마우스 기능 모드를 선택한다.
이때, 제어부(150)는 무접점 마우스 기능 모드로의 진입과 동시에 표시부(110), 카메라부(120) 및 광원부(140)의 동작을 제어한다. 즉, 제어부(150)는 카메라부(120)의 촬상 및 광원부(140)의 턴온을 지시하고, 표시부(110)의 초기 화면을 메뉴 아이콘 표시 영역(111)이 포함된 화면으로 전환시킨다. 이에 따라 광원부(140)는 특정 파장의 빛을 조사하고, 카메라부(120)는 소정의 시간 간격을 두고 피사체를 연속 촬상할 수 있다.
단계 S902에서, 사용자는 손가락 등의 지시 수단을 카메라부(120) 앞에 위치시킨다. 이때, 카메라부(120)는 소정의 시간 간격마다 지시 수단을 연속 촬상하여 입력 영상을 출력한다. 즉, 이때 사용자에 의한 지시 수단의 움직임(즉, 이동 궤적)은 순차 입력되는 각 영상 프레임을 통해 구별 가능해 질 것이다(후술할 단계 S904 참조).
단계 S903에서, 제어부(150)는 순차 입력되는 입력 영상에서 지시 수단이 촬상된 영역의 면적 및 위치를 각 프레임별로 판별해낸다. 즉, 제어부(150)는 입력 영상에서 먼저 지시 수단이 촬상된 영역을 검출하고, 검출된 영역의 면적 및 위치를 판별하게 된다. 여기서, 검출 영역은 입력된 영상 데이터를 설계자가 미리 설정한 방식에 따라 제 1 분할 영역(710)과 제 2 분할 영역(720)으로 분할하고 제 1 검출 영역과 제 2 검출 영역 별로 면적 및 위치를 판별할 수 있다.
여기서, 지시 수단의 촬상된 영역의 검출은 입력 영상에서 소정 범위의 값을 갖는 휘도 성분을 추출하는 방법이 이용될 수 있다. 이는 지시 수단이 촬상된 영역은 광원부(140)가 조사하는 특정 파장의 빛이 지시 수단에 반사되어 형성된 것으로서, 입력 영상을 통해 다른 부분과 구별되는 밝기를 갖게 될 것이기 때문이다.
따라서, 이러한 지시 수단이 촬상된 영역의 검출을 용이하게 하기 위하여 입력 영상은 영상 처리부(125)에 의해 YUV 형태의 영상 데이터로 변환될 수 있다. 즉, 제어부(150)는 YUV 형태로 변환된 입력 영상에서 광원부(140)가 조사한 빛에 상응하는 특정 밝기 성분(즉, Y 값)을 검출함으로써 지시 수단이 촬상된 영역을 판별해낼 수 있을 것이다.
물론 이때, 입력 영상으로부터 지시 수단이 촬상된 영역의 검출에는 영상 처리부(125) 내의 특정 영상 필터가 이용될 수도 있다. 예를 들어, 광원부(140)에서 조사되는 빛에 상응하는 소정 범위의 파장 대역만이 통과되도록 설정된 필터를 이용한다면, 보다 정확한 영역 검출이 가능해질 것이다.
지시 수단이 촬상된 영역이 검출되면, 제어부(150)는 검출 영역의 면적 및 위치를 계산한다. 이때, 지시 수단이 촬상된 위치는 앞서 설명한 바와 같이 검출 영역이 차지하는 면적의 중심점으로 설정될 수 있다. 이때, 입력 영상에서 검출된 중심점의 위치에 상응하는 메뉴 아이콘 표시 영역(111)의 일 위치에는 마우스 커서가 표시될 수 있다.
다만, 이러한 중심점의 계산에는 반드시 지시 수단이 촬상된 것으로 판단된 소정 영역 내의 모든 화소를 이용하여야 하는 것은 아니다. 예를 들어, 입력 영상 에서 특정 밝기 성분을 갖는 화소 또는 가장 밝은 순서대로의 화소를 일정 개수(예를 들어, 50개) 선별하여 그 중심을 구함으로써 중심점의 대략적인 위치를 구할 수도 있을 것이다. 이처럼 손가락 단부의 대략적인 위치를 이용하더라도 본 발명에 따른 무접점 마우스 기능의 이용에는 큰 영향이 없을 것이다. 왜냐하면, 검출된 지시 수단의 대략적인 위치에 상응하는 메뉴 아이콘 표시 영역(111) 내의 일 위치에 마우스 커서가 표시될 것이기 때문이다. 즉, 사용자는 표시된 마우스 커서의 위치를 보면서 마우스 커서가 의도하는 메뉴 아이콘이 표시된 위치로 이동되도록 지시 수단을 움직이면 되는 것이다.
단계 S904에서, 제어부(150)는 입력되는 각 영상 프레임에서 앞선 단계를 통해 판별되는 검출 영역의 위치 및 면적의 순차적인 변화를 이용하여 지시 수단의 이동 궤적을 구한다. 즉, 제어부(150)는 검출 영역에서의 중심점의 위치 변화를 계산함으로써 지시 수단의 수평 이동을 인식할 수 있고, 검출 영역의 면적 증가(또는 변화율)를 계산함으로써 지시 수단의 수직 이동을 인식할 수 있다. 지시 수단의 이동 궤적을 구하는 방법에 관하여는 도 4 내지 도 7을 통해 설명하였는바, 이에 대한 상세한 설명은 생략하기로 한다.
단계 S905에서, 지시 수단의 수평 이동 또는 수직 이동에 따라 제어부(150)는 그 이동 궤적에 상응하는 제어 신호를 생성시킨다(단계 S905). 즉, 제어부(150)는 지시 수단의 수평 이동에 따라 커서 이동 신호를 생성하고, 생성된 커서 이동 신호는 표시부(110)의 메뉴 아이콘 표시 영역(111)으로 전달된다. 이러한 커서 이동 신호에 따라 메뉴 아이콘 표시 영역(111)에 표시되는 커서는 지시 수단의 수평 이동 궤적에 상응하는 궤적을 그리면서 이동되게 된다.
또한, 제어부(150)는 지시 수단의 수직 이동에 따라 클릭 신호를 생성한다.
단게 S906에서, 지시 수단이 검출된 영역이 제 1 검출 영역 또는 제 2 검출 영역인지에 따라 제어부(150)는 수직 이동이 마우스의 왼쪽 버튼의 클릭 신호인지 마우스의 오른쪽 버튼 클릭 신호와 같은 기능을 수행하는 지 판단한다. 만약 제 2 검출영역의 면적이 변화하여 클릭 신호를 생성한 경우라면, 마우스의 오른쪽 버튼이 클릭된 것과 같이 선택된 메뉴 아이콘의 옵션 정보가 표시될 수 있다(단계 S909).
단계 S908에서, 제어부(150)는 지시 수단이 검출된 영역이 제 1 검출 영역이고, 제 1 검출 영역의 면적이 소정의 비율로 증가한 후 다시 감소하는 방향으로 반복되는 지 여부에 따라 생성된 클릭 신호가 마우스의 왼쪽 버튼을 클릭 또는 더블 클릭된 것과 같이 메뉴 아이콘 표시 영역(111)에서 마우스 커서가 위치된 해당 메뉴 아이콘에 상응하는 메뉴 기능을 선택 또는 선택된 메뉴 아이콘이 선택 해제되거나(단계 S911), 선택된 메뉴 기능이 실행(단계 S910)하는 것으로 인식될 수 있다.
상술한 과정을 통해, 사용자는 카메라부(120) 앞에서 지시 수단을 수평 또는 수직으로 움직이는 동작을 취함으로써 유선 마우스를 이용하여 의도하는 메뉴 아이콘으로 이동하여 클릭 선택하는 것과 동일한 효과를 얻을 수 있게 된다.
상술한 바와 같이, 본 발명에 따른 무접점 마우스 기능을 가지는 장치 및 방 법에 의하면 키 패드 제거를 통해 디지털 장치의 제조 비용을 절감함은 물론, 그 공간적 활용도를 높임으로써 디지털 장치의 소형화 및 디자인 상의 다양성을 기할 수 있는 효과가 있다.
또한, 본 발명은 카메라를 이용하여 사용자가 메뉴 기능을 원격 제어함으로써 의도하는 기능 선택을 보다 간편하게 할 수 있는 효과가 있다.
또한, 본 발명은 키 버튼을 통한 기존의 단조로운 기능 선택 방식에서 벗어나 사용자로 하여금 흥미 유발을 할 수 있는 효과가 있다.
또한, 본 발명은 구비된 카메라를 범용적으로 이용할 수 있도록 하여 부품 활용도를 극대화할 수 있는 효과가 있다.
상기에서는 본 발명의 바람직한 실시예를 참조하여 설명하였지만, 해당 기술 분야에서 통상의 지식을 가진 자라면 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.

Claims (65)

  1. 촬상 기능이 구비된 디지털 장치에 있어서,
    빛을 외부로 방사하는 광원부;
    외부 영상에 상응하는 영상 신호를 생성하여 출력하는 카메라부;
    상기 영상 신호에 상응하는 영상 데이터를 생성하는 영상 데이터 생성부; 및
    각 프레임 단위의 상기 영상 데이터에서 상기 방사된 광 중 지시수단에 반사되어 입력되는 광에 의해 형성된 검출 영역의 위치를 검출하고, 연속된 둘 이상의 프레임을 비교하여 상기 검출영역의 이동 궤적을 인식하여 상응하는 변화 정보를 생성하여 출력하는 식별부를 포함하되,
    상기 변화 정보는 상기 디지털 처리 장치의 기능 제어 또는 표시 제어를 위한 입력 신호로 이용되는 것을 특징으로 하는 무접점 마우스 기능을 가진 디지털 처리장치.
  2. 제 1항에 있어서,
    상기 디지털 처리 장치의 표시부에 디스플레이된 복수의 정보 항목들 중 어느 하나가 상기 변화 정보에 선택된 것으로 표시되거나 상기 변화 정보에 상응하여 이동되는 마우스 커서가 표시되는 것을 특징으로 하는 디지털 처리 장치.
  3. 제1항에 있어서,
    상기 식별부는 각 프레임 단위로 상기 검출 영역의 면적을 검출하고, 연속된 둘 이상의 프레임을 비교하여 상기 검출 영역의 면적 변화에 상응하는 변화 정보를 생성하여 출력하는 것을 특징으로 하는 무접점 마우스 기능을 가진 디지털 처리장치.
  4. 제3항에 있어서,
    제1 방향으로 이동되는 상기 지시수단에 의해 상기 면적이 변화하는 경우, 상기 변화 정보는 표시부에 디스플레이된 복수의 정보 항목 중 상기 이동 궤적에 상응하는 정보 항목의 선택 명령 또는 실행 개시 명령으로 인식되는 것을 특징으로 하는 무접점 마우스 기능을 가진 디지털 처리장치.
  5. 제4항에 있어서,
    상기 제1 방향의 역방향인 제2 방향으로 이동되는 상기 지시수단에 의해 상기 면적이 변화하는 경우, 상기 변화 정보는 상기 선택된 정보 항목의 선택 해제 명령으로 인식되는 것을 특징으로 하는 무접점 마우스 기능을 가진 디지털 처리 장치.
  6. 제4항 또는 5항에 있어서,
    상기 제1 방향 및 상기 제2 방향은 상기 카메라부의 수직 방향이고, 상기 면적의 변화량이 미리 설정된 비율 이상인 경우 상기 면적이 변화된 것으로 인식하는 것을 특징으로 하는 무접점 마우스 기능을 가진 디지털 처리 장치.
  7. 제3항에 있어서,
    상기 면적이 소정의 비율이상으로 증가 후 감소 또는 감소 후 증가되는 경우, 상기 변화정보는 표시부에 디스플레이 된 복수의 정보 항목 중 마우스 커서가 위치한 정보 항목의 선택 명령 또는 선택된 정보 항목의 선택 해제 명령으로 인식되도록 미리 설정되는 것을 특징으로 하는 무접점 마우스 기능을 가진 디지털 처리장치.
  8. 제3항에 있어서,
    상기 면적이 소정의 비율이상으로 증가 후 감소 또는 감소 후 증가가 2회 이상 반복되는 경우, 상기 변화정보는 표시부에 디스플레이 된 복수의 정보 항목 중 마우스 커서가 위치한 정보 항목의 실행 개시 명령으로 인식되는 것을 특징으로 무 접점 마우스 기능을 가진 디지털 처리 장치.
  9. 제3항에 있어서,
    상기 식별부는 복수의 지시수단 각각에 상응하여 각 프레임 단위로 제 1 검출 영역 및 제 2 검출영역의 면적을 검출하고, 연속된 둘 이상의 프레임을 비교하여 상기 제 1 검출 영역 및 상기 제 2 검출영역의 면적 변화에 상응하는 변화 정보를 생성하여 출력하는 것을 특징으로 하는 무접점 마우스 기능을 가진 디지털 처리장치.
  10. 제 9항에 있어서,
    상기 제 1 검출영역의 면적이 소정의 비율이상으로 증가 후 감소 또는 감소 후 증가되는 경우, 상기 변화정보는 표시부에 디스플레인 된 복수의 정보 항목 중 마우스 커서가 위치한 정보 항목의 선택 명령 또는 선택된 정보 항목의 선택 해제 명령으로 인식되는 것을 특징으로 하는 무접점 마우스 기능을 가진 디지털 처리장치.
  11. 제 9항에 있어서,
    상기 제 2 검출영역의 면적이 소정의 비율이상으로 증가 후 감소 또는 감소 후 증가되는 경우, 상기 변화정보는 표시부에 디스플레인 된 복수의 정보 항목 중 마우스 커서가 위치한 정보 항목의 옵션 정보 표시 명령으로 인식되는 것을 특징으로 하는 무접점 마우스 기능을 가진 디지털 처리장치.
  12. 제9항에 있어서,
    상기 제 1 검출영역의 면적이 소정의 비율이상으로 증가 후 감소 또는 감소 후 증가가 2회 이상 반복되는 경우, 상기 변화정보는 표시부에 디스플레인 된 복수의 정보 항목 중 마우스 커서가 위치한 정보 항목의 실행 개시 명령으로 인식되는 것을 특징으로 하는 무접점 마우스 기능을 가진 디지털 처리 장치.
  13. 제3항에 있어서,
    상기 면적은 상기 검출 영역의 외곽선에 의해 형성된 도형의 넓이 또는 상기검출 영역에 포함된 픽셀 수인 것을 특징으로 하는 무접점 마우스 기능을 가진 디지털 처리 장치.
  14. 제1항에 있어서,
    상기 광원부는 미리 지정된 파장 또는 휘도의 빛을 외부로 방사하는 것을 특징으로 하는 무접점 마우스 기능을 가진 디지털 처리장치.
  15. 제14항에 있어서,
    상기 식별부는 상기 파장 또는 상기 휘도를 이용하여 상기 영상 데이터에서 상기 검출 영역의 위치를 검출하는 것을 특징으로 하는 무접점 마우스 기능을 가진 디지털 처리장치.
  16. 제1항에 있어서,
    하나 이상의 키 버튼을 포함하는 키 입력부를 더 포함하되,
    미리 설정된 키 버튼의 입력에 의해 상기 광원부, 상기 카메라부 및 상기 식별부가 구동 개시되는 것을 특징으로 하는 무접점 마우스 기능을 가진 디지털 처리장치.
  17. 제1항에 있어서,
    상기 광원부, 상기 카메라부, 상기 영상 데이터 생성부 및 상기 식별부는 상기 검출 영역의 위치가 검출될 때까지 주기적으로 구동 개시 및 종료되는 것을 특 징으로 하는 무접점 마우스 기능을 가진 디지털 처리장치.
  18. 제1항에 있어서,
    상기 영상 데이터는 YUV 데이터 또는 RGB 데이터인 것을 특징으로 하는 무접점 마우스 기능을 가진 디지털 처리장치.
  19. 이미지 시그널 프로세서에 있어서,
    이미지 센서로부터 입력된 영상 신호에 상응하는 영상 데이터를 생성하는 영상 데이터 생성부; 및
    각 프레임 단위의 상기 영상 데이터에서 미리 지정된 광(光) 성분에 의해 형성된 검출 영역의 위치를 검출하고, 연속된 둘 이상의 프레임을 비교하여 상기 검출 영역의 이동 궤적을 인식하여 상응하는 변화 정보를 생성하여 출력하는 식별부를 포함하되,
    상기 검출 영역은 광원부에 의해 외부로 방사된 광 중 지시 수단에 반사되어 입력되는 광에 의해 형성되는 영역인 것을 특징으로 하는 이미지 시그널 프로세서.
  20. 제19항에 있어서,
    상기 변화 정보는 상기 이미지 시그널 프로세서를 포함하는 상기 디지털 처리 장치의 기능 제어 또는 표시 제어를 위한 입력 신호로 이용되는 것을 특징으로 하는 이미지 시그널 프로세서.
  21. 제19항에 있어서,
    상기 식별부는 각 프레임 단위로 상기 검출 영역의 면적을 검출하고, 연속된 둘 이상의 프레임을 비교하여 상기 검출 영역의 면적 변화에 상응하는 변화 정보를 생성하여 출력하는 것을 특징으로 하는 이미지 시그널 프로세서.
  22. 제21항에 있어서,
    제1 방향으로 이동되는 상기 지시수단에 의해 상기 면적이 변화하는 경우, 상기 변화 정보는 표시부에 디스플레이 된 복수의 정보 항목 증 상기 이동 궤적에 상응하는 정보 항목의 선택 명령 또는 실행 개시 명령으로 인식되는 것을 특징으로 하는 이미지 시그널 프로세서.
  23. 제22항에 있어서,
    상기 제1 방향의 역방향인 제2 방향으로 이동되는 상기 지시수단에 의해 상 기 면적이 변화하는 경우, 상기 변화 정보는 상기 선택된 정보 항목의 선택 해제 명령으로 인식되는 것을 특징으로 하는 이미지 시그널 프로세서.
  24. 제22항 또는 23항에 있어서,
    상기 제1 방향 및 상기 제2 방향은 상기 카메라부의 수직 방향이고, 상기 면적의 변화량이 미리 설정된 비율 이상인 경우 상기 면적이 변화된 것으로 인식하는 것을 특징으로 하는 이미지 시그널 프로세서.
  25. 제21항에 있어서,
    상기 면적이 소정의 비율이상으로 증가 후 감소 또는 감소 후 증가되는 경우, 상기 변화정보는 표시부에 디스플레인 된 복수의 정보 항목 중 마우스 커서가 위치한 정보 항목의 선택 명령 또는 선택된 정보 항목의 선택 해제 명령으로 인식되는 것을 특징으로 하는 이미지 시그널 프로세서.
  26. 제21항에 있어서,
    상기 면적이 소정의 비율이상으로 증가 후 감소 또는 감소 후 증가가 2회 이상 반복되는 경우, 상기 변화정보는 표시부에 디스플레이 된 복수의 정보 항목 중 마우스 커서가 위치한 정보 항목의 실행 개시 명령으로 인식되는 것을 특징으로 이미지 시그널 프로세서.
  27. 제21항에 있어서,
    상기 식별부는 복수의 지시수단 각각에 상응하여 각 프레임 단위로 제 1 검출 영역 및 제 2 검출영역의 면적을 검출하고, 연속된 둘 이상의 프레임을 비교하여 상기 제 1 검출 영역 및 상기 제 2 검출영역의 면적 변화에 상응하는 변화 정보를 생성하여 출력하는 것을 특징으로 하는 이미지 시그널 프로세서.
  28. 제27항에 있어서,
    상기 제 1 검출영역의 면적이 소정의 비율이상으로 증가 후 감소 또는 감소 후 증가되는 경우, 상기 변화정보는 표시부에 디스플레인 된 복수의 정보 항목 중 마우스 커서가 위치한 정보 항목의 선택 명령 또는 선택된 정보 항목의 선택 해제 명령으로 인식되는 것을 특징으로 하는 이미지 시그널 프로세서.
  29. 제27항에 있어서,
    상기 제 2 검출영역의 면적이 소정의 비율이상으로 증가 후 감소 또는 감소 후 증가되는 경우, 상기 변화정보는 표시부에 디스플레인 된 복수의 정보 항목 중 마우스 커서가 위치한 정보 항목의 옵션 정보 표시 명령으로 인식되는 것을 특징으로 하는 이미지 시그널 프로세서.
  30. 제27항에 있어서,
    상기 제 1 검출영역의 면적이 소정의 비율이상으로 증가 후 감소 또는 감소 후 증가가 2회 이상 반복되는 경우, 상기 변화정보는 표시부에 디스플레인 된 복수의 정보 항목 중 마우스 커서가 위치한 정보 항목의 실행 개시 명령으로 인식되는 것을 특징으로 하는 이미지 시그널 프로세서.
  31. 제21항에 있어서,
    상기 면적은 상기 검출 영역의 외곽선에 의해 형성된 도형의 넓이 또는 상기검출 영역에 포함된 픽셀 수인 것을 특징으로 하는 이미지 시그널 프로세서.
  32. 제19항에 있어서,
    상기 광원부는 미리 지정된 파장 또는 휘도의 빛을 외부로 방사하는 것을 특징으로 하는 이미지 시그널 프로세서.
  33. 제32항에 있어서,
    상기 식별부는 상기 파장 또는 상기 휘도를 이용하여 상기 영상 데이터에서 상기 검출 영역의 위치를 검출하는 것을 특징으로 하는 이미지 시그널 프로세서.
  34. 이미지 시그널 프로세서로부터 외부 영상 신호에 상응하도록 생성된 영상 데이터를 입력받는 수신부; 및
    각 프레임 단위의 상기 영상 데이터에서 미리 지정된 광(光) 성분에 의해 형성된 검출 영역의 위치를 검출하고, 연속된 둘 이상의 프레임을 비교하여 상기 검출 영역의 이동 궤적을 인식하여 상응하는 변화 정보를 생성하여 출력하는 식별부를 포함하되,
    상기 검출 영역은 광원부에 의해 외부로 방사된 광 중 지시 수단에 반사되어 입력되는 광에 의해 형성되는 영역인 것을 특징으로 하는 어플리케이션 프로세서.
  35. 제34항에 있어서,
    상기 변화 정보는 상기 이미지 시그널 프로세서 및 상기 어플리케이션 프로세서를 포함하는 상기 디지털 처리 장치의 기능 제어 또는 표시 제어를 위한 입력 신호로 이용되는 것을 특징으로 하는 어플리케이션 프로세서.
  36. 제34항에 있어서,
    상기 식별부는 각 프레임 단위로 상기 검출 영역의 면적을 검출하고, 연속된 둘 이상의 프레임을 비교하여 상기 검출 영역의 면적 변화에 상응하는 변화 정보를 생성하여 출력하는 것을 특징으로 하는 어플리케이션 프로세서.
  37. 제36항에 있어서,
    제1 방향으로 이동되는 상기 지시수단에 의해 상기 면적이 변화하는 경우, 상기 변화 정보는 표시부에 디스플레이 된 복수의 정보 항목 증 상기 이동 궤적에 상응하는 정보 항목의 선택 명령 또는 실행 개시 명령으로 인식되는 것을 특징으로 하는 어플리케이션 시그널 프로세서.
  38. 제37항에 있어서,
    상기 제1 방향의 역방향인 제2 방향으로 이동되는 상기 지시수단에 의해 상기 면적이 변화하는 경우, 상기 변화 정보는 상기 선택된 정보 항목의 선택 해제 명령으로 인식되는 것을 특징으로 하는 어플리케이션 시그널 프로세서.
  39. 제37항 또는 38항에 있어서,
    상기 제1 방향 및 상기 제2 방향은 상기 카메라부의 수직 방향이고, 상기 면적의 변화량이 미리 설정된 비율 이상인 경우 상기 면적이 변화된 것으로 인식하는 것을 특징으로 하는 어플리케이션 시그널 프로세서.
  40. 제36항에 있어서,
    상기 면적이 소정의 비율이상으로 증가 후 감소 또는 감소 후 증가되는 경우, 상기 변화정보는 표시부에 디스플레인 된 복수의 정보 항목 중 마우스 커서가 위치한 정보 항목의 선택 명령 또는 선택된 정보 항목의 선택 해제 명령으로 인식되는 것을 특징으로 하는 어플리케이션 프로세서.
  41. 제36항에 있어서,
    상기 면적이 소정의 비율이상으로 증가 후 감소 또는 감소 후 증가가 2회 이상 반복되는 경우, 상기 변화정보는 표시부에 디스플레이 된 복수의 정보 항목 중 마우스 커서가 위치한 정보 항목의 실행 개시 명령으로 인식되는 것을 특징으로 어플리케이션 프로세서.
  42. 제36항에 있어서,
    상기 식별부는 복수의 지시수단 각각에 상응하여 각 프레임 단위로 제 1 검출 영역 및 제 2 검출영역의 면적을 검출하고, 연속된 둘 이상의 프레임을 비교하여 상기 제 1 검출 영역 및 상기 제 2 검출영역의 면적 변화에 상응하는 변화 정보를 생성하여 출력하는 것을 특징으로 하는 어플리케이션 프로세서.
  43. 제42항에 있어서,
    상기 제 1 검출영역의 면적이 소정의 비율이상으로 증가 후 감소 또는 감소 후 증가되는 경우, 상기 변화정보는 표시부에 디스플레인 된 복수의 정보 항목 중 마우스 커서가 위치한 정보 항목의 선택 명령 또는 선택된 정보 항목의 선택 해제 명령으로 인식되는 것을 특징으로 하는 어플리케이션 프로세서.
  44. 제42항에 있어서,
    상기 제 2 검출영역의 면적이 소정의 비율이상으로 증가 후 감소 또는 감소 후 증가되는 경우, 상기 변화정보는 표시부에 디스플레인 된 복수의 정보 항목 중 마우스 커서가 위치한 정보 항목의 옵션 정보 표시 명령으로 인식되는 것을 특징으 로 하는 어플리케이션 프로세서.
  45. 제42항에 있어서,
    상기 제 1 검출영역의 면적이 소정의 비율이상으로 증가 후 감소 또는 감소 후 증가가 2회 이상 반복되는 경우, 상기 변화정보는 표시부에 디스플레인 된 복수의 정보 항목 중 마우스 커서가 위치한 정보 항목의 실행 개시 명령으로 인식되는 것을 특징으로 하는 어플리케이션 프로세서.
  46. 제36항에 있어서,
    상기 면적은 상기 검출 영역의 외곽선에 의해 형성된 도형의 넓이 또는 상기검출 영역에 포함된 픽셀 수인 것을 특징으로 하는 어플리케이션 프로세서.
  47. 제34항에 있어서,
    상기 광원부는 미리 지정된 파장 또는 휘도의 빛을 외부로 방사하는 것을 특징으로 하는 어플리케이션 프로세서.
  48. 제47항에 있어서,
    상기 식별부는 상기 파장 또는 상기 휘도를 이용하여 상기 영상 데이터에서 상기 검출 영역의 위치를 검출하는 것을 특징으로 하는 어플리케이션 프로세서.
  49. 촬상 기능이 구비된 디지털 처리 장치가 무접점 마우스 기능을 수행하는 방법에 있어서,
    광원부가 빛을 외부로 방사하는 단계;
    카메라부가 외부 영상에 상응하는 영상 신호를 생성하여 출력하는 단계;
    영상 데이터 생성부가 상기 영상 신호에 상응하는 영상 데이터를 생성하는 단계; 및
    식별부가 각 프레임 단위의 상기 영상 데이터에서 상기 방사된 광 중 지시 수단에 반사되어 입력되는 광에 의해 형성된 검출 영역의 위치를 검출하고, 연속된 둘 이상의 프레임을 비교하여 상기 검출 영역의 이동 궤적을 인식하여 상응하는 변화 정보를 생성하여 출력하는 단계를 포함하되,
    표시부에 디스플레이된 복수의 정보 항목들 중 어느 하나가 상기 변화 정보에 선택된 것으로 표시되거나 상기 변화 정보에 상응하여 이동되는 마우스 커서가 표시되는 것을 특징으로 하는 무접점 마우스 기능 수행 방법.
  50. 제49항에 있어서,
    상기 식별부는 각 프레임 단위로 상기 검출 영역의 면적을 검출하고, 연속된 둘 이상의 프레임을 비교하여 상기 검출 영역의 면적 변화에 상응하는 변화 정보를 생성하여 출력하는 단계를 더 실행하는 것을 특징으로 하는 무접점 마우스 기능 수행 방법.
  51. 제50항에 있어서,
    제1 방향으로 이동되는 상기 지시수단에 의해 상기 면적이 변화하는 경우, 상기 변화 정보는 표시부에 디스플레이 된 복수의 정보 항목 증 상기 이동 궤적에 상응하는 정보 항목의 선택 명령 또는 실행 개시 명령으로 인식되는 것을 특징으로 하는 무접점 마우스 기능 수행 방법.
  52. 제51항에 있어서,
    상기 제1 방향의 역방향인 제2 방향으로 이동되는 상기 지시수단에 의해 상기 면적이 변화하는 경우, 상기 변화 정보는 상기 선택된 정보 항목의 선택 해제 명령으로 인식되는 것을 특징으로 하는 무접점 마우스 기능 수행 방법.
  53. 제51항 또는 제52항에 있어서,
    상기 제1 방향 및 상기 제2 방향은 상기 카메라부의 수직 방향이고, 상기 면적의 변화량이 미리 설정된 비율 이상인 경우 상기 면적이 변화된 것으로 인식하는 것을 특징으로 하는 무접점 마우스 기능 수행 방법.
  54. 제50항에 있어서,
    상기 면적이 소정의 비율이상으로 증가 후 감소 또는 감소 후 증가되는 경우, 상기 변화정보는 표시부에 마우스 커서가 위치한 정보 항목의 선택 명령 또는 선택된 정보 항목의 선택 해제 명령으로 인식되는 것을 특징으로 하는 무접점 마우스 기능 수행 방법.
  55. 제50항에 있어서,
    상기 면적이 소정의 비율이상으로 증가 후 감소 또는 감소 후 증가가 2회 이상 반복되는 경우, 상기 변화정보는 표시부에 마우스 커서가 위치한 정보 항목의 실행 개시 명령으로 인식되는 것을 특징으로 무접점 마우스 기능 수행 방법.
  56. 제50항에 있어서,
    상기 식별부는 복수의 지시수단 각각에 상응하여 각 프레임 단위로 제 1 검출 영역 및 제 2 검출영역의 면적을 검출하고, 연속된 둘 이상의 프레임을 비교하여 상기 제 1 검출 영역 및 상기 제 2 검출영역의 면적 변화에 상응하는 변화 정보를 생성하여 출력하는 것을 특징으로 하는 무접점 마우스 기능 수행 방법.
  57. 제56항에 있어서,
    상기 제 1 검출영역의 소정의 비율이상으로 증가 후 감소 또는 감소 후 증가되는 경우, 상기 변화정보는 표시부에 마우스 커서가 위치한 정보 항목의 선택 명령 또는 선택된 정보 항목의 선택 해제 명령으로 인식되는 것을 특징으로 하는 무접점 마우스 기능 수행 방법.
  58. 제56항에 있어서,
    상기 제 2 검출영역의 면적이 소정의 비율이상으로 증가 후 감소 또는 감소 후 증가되는 경우, 상기 변화정보는 표시부에 마우스 커서가 위치한 정보 항목의 옵션 정보 표시 명령으로 인식되는 것을 특징으로 하는 무접점 마우스 기능 수행 방법.
  59. 제56항에 있어서,
    상기 제 1 검출영역의 면적이 소정의 비율이상으로 증가 후 감소 또는 감소 후 증가가 2회 이상 반복되는 경우, 상기 변화정보는 표시부에 마우스 커서가 위치한 정보 항목의 실행 개시 명령으로 인식되는 것을 특징으로 하는 무접점 마우스 기능 수행 방법.
  60. 제49항에 있어서,
    상기 광원부는 미리 지정된 파장 또는 휘도의 빛을 외부로 방사하는 것을 특징으로 하는 무접점 마우스 기능 수행 방법.
  61. 제60항에 있어서,
    상기 식별부는 상기 파장 또는 상기 휘도를 이용하여 상기 영상 데이터에서 상기 검출 영역의 위치를 검출하는 것을 특징으로 하는 무접점 마우스 기능 수행 방법.
  62. 제50항에 있어서,
    상기 면적은 상기 검출 영역의 외곽선에 의해 형성된 도형의 넓이 또는 상기 검출 영역에 포함된 픽셀 수인 것을 특징으로 하는 무접점 마우스 기능 수행 방법.
  63. 제49항에 있어서,
    상기 광원부, 상기 카메라부, 상기 영상 데이터 생성부 및 상기 식별부는 상기 검출 영역의 위치가 검출될 때까지 주기적으로 상응하는 단계를 반복하는 것을 특징으로 하는 무접점 마우스 기능 수행 방법.
  64. 제49항에 있어서,
    상기 영상 데이터는 YUV 데이터 또는 RGB 데이터인 것을 특징으로 하는 무접점 마우스 기능 수행 방법.
  65. 촬상 기능이 구비된 디지털 처리 장치가 무접점 마우스 기능을 수행하는 방법을 기록한 기록매체에 있어서,
    광원부가 빛을 외부로 방사하는 단계;
    카메라부가 외부 영상에 상응하는 영상 신호를 생성하여 출력하는 단계;
    영상 데이터 생성부가 상기 영상 신호에 상응하는 영상 데이터를 생성하는 단계; 및
    식별부가 각 프레임 단위의 상기 영상 데이터에서 상기 방사된 광 중 지시 수단에 반사되어 입력되는 광에 의해 형성된 검출 영역의 위치를 검출하고, 연속된 둘 이상의 프레임을 비교하여 상기 검출 영역의 이동 궤적을 인식하여 상응하는 변화 정보를 생성하여 출력하는 단계를 포함하되,
    표시부에 상기 변화 정보에 상응하여 이동되는 마우스 커서가 표시되는 무접점 마우스 기능 수행 방법을 기록한 디지털 처리 장치가 판독 가능한 기록매체.
KR1020060053660A 2006-04-28 2006-06-14 무접점 마우스 기능을 가지는 장치 및 방법 KR100849532B1 (ko)

Priority Applications (6)

Application Number Priority Date Filing Date Title
KR1020060053660A KR100849532B1 (ko) 2006-06-14 2006-06-14 무접점 마우스 기능을 가지는 장치 및 방법
PCT/KR2007/002126 WO2007126286A1 (en) 2006-04-28 2007-04-30 Non-contact selection device
US12/298,730 US8217895B2 (en) 2006-04-28 2007-04-30 Non-contact selection device
US13/529,623 US8525790B2 (en) 2006-04-28 2012-06-21 Non-contact selection device
US13/789,120 US8610667B2 (en) 2006-04-28 2013-03-07 Non-contact selection device
US13/788,968 US8587523B2 (en) 2006-04-28 2013-03-07 Non-contact selection device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020060053660A KR100849532B1 (ko) 2006-06-14 2006-06-14 무접점 마우스 기능을 가지는 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20070119267A true KR20070119267A (ko) 2007-12-20
KR100849532B1 KR100849532B1 (ko) 2008-07-31

Family

ID=39137622

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020060053660A KR100849532B1 (ko) 2006-04-28 2006-06-14 무접점 마우스 기능을 가지는 장치 및 방법

Country Status (1)

Country Link
KR (1) KR100849532B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100923815B1 (ko) * 2008-03-06 2009-10-27 한국알프스 주식회사 위치지정도구 입력정보 처리방법 및 처리장치

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100891558B1 (ko) 2009-01-08 2009-04-03 (주)티미스솔루션즈 노터치 마우스 동작 방법
WO2010114530A1 (en) * 2009-03-31 2010-10-07 Hewlett-Packard Development Company, L.P. Signaling device position determination

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002049455A (ja) 2000-08-03 2002-02-15 Sanyo Electric Co Ltd 入力インタフェース装置、及び該装置を具備する携帯情報装置
KR100446236B1 (ko) 2001-07-02 2004-08-30 엘지전자 주식회사 비접촉식 3차원 무선 조이스틱
JP4839432B2 (ja) 2003-12-17 2011-12-21 国立大学法人静岡大学 瞳孔位置検出によるポインティング装置及び方法
KR100687237B1 (ko) 2005-11-11 2007-02-26 엘지전자 주식회사 카메라 렌즈를 이용한 이동통신단말기용 포인팅장치 및 그제어방법
KR100843586B1 (ko) * 2006-06-02 2008-07-04 엠텍비젼 주식회사 무접점 기능을 수행하는 장치 및 방법

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100923815B1 (ko) * 2008-03-06 2009-10-27 한국알프스 주식회사 위치지정도구 입력정보 처리방법 및 처리장치

Also Published As

Publication number Publication date
KR100849532B1 (ko) 2008-07-31

Similar Documents

Publication Publication Date Title
US8217895B2 (en) Non-contact selection device
JP3321053B2 (ja) 情報入力装置及び情報入力方法及び補正データ生成装置
US8648811B2 (en) Remote control system for electronic device and remote control method thereof
US10725554B2 (en) Motion detecting system
CN106105247B (zh) 显示装置及其控制方法
JP5740822B2 (ja) 情報処理装置、情報処理方法およびプログラム
JP5264844B2 (ja) ジェスチャ認識装置及び方法
JP2000222097A (ja) 固体撮像装置
WO2013067849A1 (zh) 人机交互操作指令的触发控制方法和***及激光发射装置
CN102055925A (zh) 支持手势遥控的电视机及其使用方法
JP2010079332A (ja) 遠隔操作装置及び遠隔操作方法
WO2013078989A1 (zh) 人机交互操作指令的触发控制方法和***
US6538645B1 (en) Computer input system utilizing a camera to sense point source
KR101503017B1 (ko) 모션 검출 방법 및 장치
KR100849532B1 (ko) 무접점 마우스 기능을 가지는 장치 및 방법
JP2007088835A (ja) 機器制御装置
KR100843586B1 (ko) 무접점 기능을 수행하는 장치 및 방법
CN104914985A (zh) 手势控制方法及***与视频流处理装置
CN110620955B (zh) 直播***及其直播方法
JP2001008279A (ja) リモートコントローラおよびリモートコントロール方法、並びに媒体、機器および表示方法、並びに媒体
KR20080037315A (ko) 포인터 이동 제어 장치를 포함하는 전자기기
CN111880422B (zh) 设备控制方法及装置、设备、存储介质
US8305460B2 (en) Detection device and image capture system using the same
KR100749481B1 (ko) 무접점 기능을 수행하는 장치 및 방법
WO2001020441A1 (en) Remote control method and apparatus for remote control mouse

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20130626

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20140701

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20150629

Year of fee payment: 8

FPAY Annual fee payment

Payment date: 20160630

Year of fee payment: 9

FPAY Annual fee payment

Payment date: 20180627

Year of fee payment: 11

FPAY Annual fee payment

Payment date: 20190625

Year of fee payment: 12

J202 Request for trial for correction [limitation]