KR100938337B1

KR100938337B1 - 그리기 도구를 가지는 자율 핸드헬드 장치

Info

Publication number: KR100938337B1
Application number: KR1020087004238A
Authority: KR
Inventors: 최준혁; 앨리 밴-아미; 이스라엘 디자트닉; 나탄 린더
Original assignee: 삼성전자주식회사
Priority date: 2005-08-22
Filing date: 2006-08-22
Publication date: 2010-01-22
Also published as: EP1917575A1; WO2007024088A1; US20070067745A1; KR20080027959A; US7808478B2; EP1917575A4

Abstract

자율 핸드헬드 장치가 그림을 전자적으로 편집하는 그리기 기능을 갖는 그리기 모듈과 자기-모션을 감지하는 모션 감지부를 포함한다. 이 자율 핸드헬드 장치는 모션 감지부와 그리기 기능을 연결하도록 설정되고, 그럼으로써 모션 감지부의 감지된 모션이 전자적 편집을 수정할 수 있게 한다.

자기-모션, 모션 벡터, 변위

Description

그리기 도구를 가지는 자율 핸드헬드 장치{AN AUTONOMOUS HANDHELD DEVICE HAVING A　DRAWING TOOL}

본 발명은 사용자로 하여금 휴대용 자율 장치의 그리기 도구 애플리케이션에 방향성 지시를 입력할 수 있게 하는 방법 및 장치에 관한 것으로서, 더욱 상세하게는, 배타적이지는 않지만, 이미지 프로세싱에 기반을 둔 모션(motion) 및 제스처 감지를 이용하여, 사용자로 하여금 제한된 계산 능력을 갖는 휴대용 자율 장치의 애플리케이션에 방향성 지시를 입력할 수 있게 하는 방법 및 장치에 관한 것이다.

복잡한 전자회로의 급격한 소형화와 고-해상도 디스플레이의 출현은 휴대용 프로세서-기반 장치의 수와 종류를 크게 증가시켰다. 그러한 장치들은 핸드헬드 컴퓨터, 이동전화, 호출기 그리고 다른 휴대용 통신 및 계산(computing) 솔루션을 포함한다. 더욱이, 휴대용 자율 장치의 처리 능력, 데이터 저장 용량, 통신 스피드, 및 배터리 수명은 급속하게 발전을 계속하고 있다.

상술한 휴대용 자율 장치들 각각은 일반적으로, 사용자가 그 기능을 제어할 수 있게 해주는 인간-컴퓨터 간 인터페이스(man machine interface; MMI)를 통합하고 있다. 이러한 MMI는 작은 사이즈의 휴대용 자율 장치에 적응되어야 한다. 전통적인 MMI는 사용자가 전화 번호, 연락 이름, 워드프로세서 콘텐츠 등과 같이, 텍스 트 표현을 갖는 데이터를 입력할 수 있는 최소화된 키보드 또는 키패드이다. 이 최소화된 키보드 또는 키패드는 또한 포인팅 디바이스(pointing device)로서 이용될 수 있다.

몇몇 휴대용 자율 장치는, 그들의 텍스트 입력 장치에 더해, 정해진 포인팅 장치들을 통합하고 있다. 예를 들어, 최근에 개발된 이동전화는 일반적으로, 사용자로 하여금 그 휴대용 자율 장치를 조작할 수 있게 하는, 작은 조이스틱 또는 롤러(roller)를 포함한다. 사용자는 상기 포인팅 장치들을 이용하여 상기 장치와 연결된 디스플레이 스크린 상에서 선택을 행함으로써 휴대용 자율 장치를 제어할 수 있다. 예를 들어, 사용자가 포인팅 장치들을 이용하여 상기 디스플레이 스크린 상의 세로 또는 가로 스크롤바를 선택함으로써 보여지는 영역을 스크롤할 수 있다.

통상적으로 이용되는 다른 MMI는 터치스크린이다. 예를 들어 PDA(Personal digital assistant)는 일반적으로 그러한 터치스크린 및 팬-형(pen-like) 포인팅 장치를 통합하고 있으며, 이들은 종종 PDA 상이나 그 옆에 저장된다. 팬-형 포인팅 장치는, 사용 중에, PDA의 디스플레이 영역에 적용되어서, 사용자로 하여금 선택을 행할 수 있게 하거나 PDA 휴대용 자율 장치와 상호작용할 수 있게 한다. 고해상도 LCD 터치스크린은 이동전화 및 휴대용 장치에서 이용될 수 있다. 터치스크린을 이용하는데 있어서의 단점은 그것들이 고가라는 점과, 사진 품질, 특히 최신의 고해상도 LCD 디스플레이의 사진 품질을 떨어뜨리는, 제한된 투명성을 갖는다는 점이다.

복잡한 전자 부품의 급속한 소형화와 비용 절감으로 인해, 최근에는 이미지 센서가 프로센서-기반 휴대용 자율 장치에 통합되었다. PDA, 이동전화, 및 랩톱 컴퓨터는 스틸 및 비디오 이미지를 캡처하는데 이용되는 카메라를 통합하고 있다. 이는 이동전화 핸드셋의 시장 잠재력을 강화하였다.

이미지 센서의 통합은 추가적으로 사용자가 휴대용 프로세서-기반 장치와 인터페이스할 수 있게 해준다. 예를 들어, 이미지 센서의 출력은 오브젝트의 변위를 계산하는데 이용될 수 있다고 알려져 있다. 그러나 그러한 기지의 방법은 여러 가지 제약을 가지고 있는데, 그것들은 그 장면(scene)을 추적하는데 특정 기준에 의존하며, 신뢰성, 확장성(scalable) 및 견고성(robust)이 없을 수 있기 때문이다. 그에 따라, 네비게이션 및 디스플레이가 제한된다. 더욱이, 얻어진 기능이 제한적이며 이는 핸드헬드 장치에서, 이미지 생성 및 편집과 같이 복잡한 동작을 제어하는 것을 어렵게 한다. 따라서 이러한 제한은 프로세서-기반 장치가 변위 검출 프로세스를 이용하여 특정 기능 및 응용을 수행할 수 없게 한다.

따라서 상술한 제한이 없이, 사용자에게 방향성 지시를 입력할 수 있게 하는, 휴대용 프로세서-기반 장치에 대한 요구가 광범위하게 인식되고 있으며, 그러한 장치를 구비한다면 매우 바람직할 것이다.

본 발명의 일 측면에 따르면, 자율 핸드헬드 장치가 제공된다. 이 자율 핸드헬드 장치는 그림을 전자적으로 편집하는 그리기 기능을 갖는 그리기 모듈 및 자기-모션을 감지하는 모션 감지부를 포함한다. 자율 핸드헬드 장치는 모션 감지부를 그리기 기능과 연결하도록 설정되고, 그럼으로써 모션 감지부의 감지된 모션이 전자적 편집을 수정할 수 있게 한다.

바람직하게는, 모션 감지부가 이미지 센서를 포함하며, 또한 모션 감지부는 자율 핸드헬드 장치의 변위 동안에 캡처된 디지털 이미지들을 수신하는 모션 벡터 감지 모듈을 포함하고, 모션 벡터 감지 모듈은 디지털 이미지들에 따라서 이미지 센서의 현재 모션 벡터를 생성하도록 설정되고, 자율 핸드헬드 장치는 현재 모션 벡터에 따라서 전자적 편집을 수정하도록 설정된다.

바람직하게는, 자율 핸드헬드 장치가 디스플레이 장치에 대한 연결을 포함하고, 그림들이 디스플레이 장치에 표시되도록 설정된다.

바람직하게는, 전자적 편집 행위는, 디스플레이 장치 상에 선 그리기와, 디스플레이 장치 상에 그래픽 오브젝트 그리기와, 디스플레이 장치 상에 있는 그래픽 오브젝트에 대한 색상 선택하기와, 디스플레이 장치 상에 있는 그래픽 오브젝트에 대한 선 두께 선택하기와, 디스플레이 장치 상에 있는 그래픽 오브젝트를 도색하기와, 디스플레이 장치 상에 있는 오브젝트에 대한 질감 변경하기와 디스플레이 장치 상에 있는 그래픽 오브젝트의 크기 조정하기로 이루어진 그룹 중에서 적어도 하나를 포함한다.

바람직하게는, 자율 핸드헬드 장치가 현재 모션 벡터를 수신하는 병합 모듈을 더 포함하고, 상기 병합 모듈은 변위 동안에 현재 모션 벡터와 연속적인 모션 벡터 시퀀스를 병합하도록 설정되며, 그리기 모듈은 연속적인 모션 벡터 시퀀스에 따라 그림을 생성하도록 설정된다.

바람직하게, 자율 핸드헬드 장치가 각각의 패턴 샘플 기록이 소정 복수 패턴을 나타내는 복수 개의 패턴 샘플 기록을 저장하는 움직임 패턴 저장소와, 복수 개의 패턴 샘플 기록과 연속적인 모션 벡터 시퀀스 간을 매칭시키는 움직임 패턴 매칭 모듈을 더 포함한다. 그리기 모듈은 매칭에 따라 상기 그림을 생성하도록 설정된다.

더 바람직하게는, 소정 움직임 패턴은 비-선형 움직임 패턴이다.

더 바람직하게는, 움직임 패턴 매칭 모듈은 매칭에 따라 디지털 이미지들이 소정의 움직임 패턴 각각을 따라 촬영되는지를 결정하도록 설정된다.

더 바람직하게는, 병합 모듈은 새로운 기록을 상기 복수 개의 패턴 샘플 기록에 추가하는데 이용되고, 새로운 기록은 디지털 이미지들에 따라 생성된다.

더 바람직하게는, 복수 개의 패턴 샘플 기록의 각각 하나는 모션 벡터의 어레이를 포함한다.

바람직하게는, 그리기 모듈이 매칭에 따라서 디스플레이 장치 상에 문자를 그리도록 설정된다.

본 발명의 일 측면에 따르면, 이미지 센서 입력에 따라서, 디스플레이 장치를 갖는 자율 핸드헬드 장치의 동작을 제어하는 방법이 제공된다. 이 방법은 a) 자율 핸드헬드 장치의 변위 동안에 이미지 센서에 의해 캡처된 디지털 이미지들을 수신하는 단계와, b) 디지털 이미지들에 따라서 자율 핸드헬드 장치의 현재 움직임을 식별하는 단계와, c) 현재 움직임에 따라서 디스플레이 장치 상의 그림을 생성하는 단계를 포함한다.

바람직하게는, c)의 생성하는 단계는, 디스플레이 장치 상에 그래픽 오브젝트 그리는 단계와, 디스플레이 장치 상에 있는 그래픽 오브젝트에 대한 색상 선택하는 단계와, 디스플레이 장치 상에 있는 그래픽 오브젝트에 대한 선 두께 선택하는 단계와, 디스플레이 장치 상에 있는 그래픽 오브젝트를 도색하는 단계와, 디스플레이 장치 상에 있는 오브젝트에 대한 질감 변경하는 단계와, 디스플레이 장치 상에 있는 그래픽 오브젝트의 크기 조정하는 단계로 이루어진 그룹 중에서 적어도 하나를 더 포함한다.

바람직하게는, b)의 식별하는 단계는, i) 디지털 이미지들로부터 배경 장면(scene)을 나타내는 현재의 디지털 이미지를 수신하는 단계와, ii) 현재의 디지털 이미지 내에 제1 영역의 위치를 선택하는 단계와, iii) 디지털 이미지들로부터 배경 장면의 중첩 부분을 나타내는 나중의 디지털 이미지를 수신하는 단계와, iv) 나중 디지털 이미지 내의 제1 영역에 매칭되는 제2 영역의 위치를 식별하는 단계로서, 매칭은 제1 및 제2 영역이 배경 장면(scene) 중에서 동일한 부분을 나타내도록 이루어지는 것인, 식별하는 단계와, v) 제1 영역과 제2 영역 간의 변위에 따라서 자율 핸드헬드 장치의 현재 모션 벡터를 계산하는 단계와, vi) 현재 모션 벡터를 현재 움직임으로써 출력하는 단계를 포함한다.

바람직하게는, 변위 검출 방법은 상기 단계 a), b) 및 c)를 반복하는 단계를 더 포함한다. 반복은 이어서 반복될 수 있다.

바람직하게는 제1 영역이 제1 현재의 디지털 이미지와 중심을 공유하는 사변형 영역이다.

바람직하게는, ii)의 선택하는 단계는 제1 현재의 디지털 이미지의 복수의 잠재적 제1 영역의 콘트라스트 레벨에 따라 수행된다.

바람직하게는, 상기 a) 단계 이전에, 휴대용 자율 장치 조작자에게 감응도 인자를 입력하고 감응도 인자에 따라서 상기 모션 벡터를 조정하는 기능을 제공하는 단계를 더 포함한다.

달리 정의되지 않는 한, 여기에 이용된 모든 기술적 및 과학적 용어들은 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 바와 동일한 의미를 가진다. 여기에 제공된 물질, 방법 및 예는 예시만을 위한 것으로서 제한적인 것을 의도하는 것이 아니다.

본 발명의 방법 및 장치의 구현은 어느 선택된 임무들 또는 단계들을 수동으로, 자동으로, 또는 그들의 조합으로 수행 또는 완료하는 것을 포함한다. 더욱이, 본 발명의 방법 및 장치의 바람직한 실시예의 실제 기계 및 장치에 따라서, 여러 가지 선택된 단계가 하드웨어 또는 모든 펌웨어의 운영 체제 상의 소프트웨어, 또는 그들의 조합에 의해 구현될 수 있다. 예를 들어, 하드웨어에 있어서는, 본 발명의 선택된 단계들이 칩 또는 회로로서 구현될 수 있다. 소프트웨어에 있어서는, 본 발명의 선택된 단계들이 모든 적합한 운영 체제를 이용하는 컴퓨터에 의해 실행되는 복수개의 소프트웨어 지시로서 구현될 수 있다. 어떠한 경우라도, 본 발명의 방법 및 장치의 선택된 단계들이, 복수개의 지시를 실행하는 연산 플랫폼과 같은, 데이터 프로세서에 의해 수행되는 것으로 설명될 수 있다.

도 1은 본 발명의 바람직한 실시예에 따른, 그림의 전자적 편집을 위하여 자 기-모션을 감지하고 수정하도록 설정된 장치를 나타내는 도면.

도 2는 본 발명의 바람직한 실시예에 따른, 오브젝트 변위 감지를 위한 방법의 간략화된 플로우차트.

도 3a는 본 발명의 바람직한 실시예에 따른, 기준 프레임과 사변형 기준 영역을 나타낸 도면.

도 3b는 휴대용 자율 장치에 의해 캡처된, 어느 서라운딩 영역에 있는 기준 프레임과 샘플 프레임을 나타내는 도면.

도 3c는 도 3b의 기준 프레임 내에서 캡처된 서라운딩 영역의 부분을 보여주는 도면.

도 3d는 도 3b의 샘플 프레임 내에서 캡처된 서라운딩 영역의 부분을 보여주는 도면.

도 3e는 도 3b의 사변형 기준 영역의 위치와 선택된 매칭 영역 후보 간의 편차를 보여주는 도면.

도 4는 본 발명의 바람직한 실시예에 따른, 예시적인 블록 매칭 과정의 간략화된 플로우챠트.

도 5는 본 발명의 바람직한 실시예에 따른, 매칭 영역 후보들이 매칭되는 순서를 결정하기 위한 나선형 검색 트랙을 나타내는 도면.

도 6a는 구역 피봇을 갖는 구역으로 분할된 사변형 기준 영역을 가지는 기준 프레임을 나타낸 도면.

도 6b는 본 발명의 바람직한 실시예에 따른, 사변형 기준 영역을 갖는 기준 프레임 및 사변형 참조 영역에 대하여 생성된 예시적인 매칭 영역 후보를 갖는 샘플 프레임을 나타내는 도면.

도 7a는 구역 피봇의 픽셀 값과 픽셀의 포위 스트립을 곱하도록 설정된 마스크를 나타내는 도면.

도 7b는 구역 피봇의 픽셀 값과 픽셀의 포위 스트립을 곱하도록 설정된 다른 마스크를 나타내는 도면.

도 8은 본 발명의 바람직한 실시예에 따른, 사용자로 하여금 방향성 지시를 입력할 수 있게 하는 이미지 센서를 갖는 휴대용 자율 장치를 개략적으로 도시한 도면.

도 9a는 디스플레이된 커서를 제어하기 위하여, 제어 신호를 입력하는데 이용된 이동전화의 변위를 나타내는 예시적인 도면.

도 9b는 디스플레이된 메뉴를 네비게이팅하는데 이용된 이동전화의 변위를 나타내는 예시적인 도면.

도 9c는 이동전화의 스크린 상에 있는 그래픽 오브젝트를 변위시키는데 이용된 이동전화의 변위를 나타내는 예시적인 도면.

도 9d는 이동전화의 스크린 상에 표시된 선을 연장하는데 이용된 이동전화의 변위를 나타내는 예시적인 도면.

도 10은 본 발명의 바람직한 실시예에 따른, 소정 움직임 패턴을 따라 촬영된 디지털 이미지 시퀀스를 애플리케이션에 전달될 수 있는 제어 신호로 변환하는 장치를 개략적으로 나타낸 도면.

도 11은 본 발명의 바람직한 실시예에 따른, 움직임 패턴을 형성하도록 조합된 연속적인 모션 벡터 세트에 대한 예시적인 도면.

도 12는 본 발명의 바람직한 실시예에 따른, 디지털 이미지 시퀀스를 제어 신호로 변환하기 위한 4-단계 과정의 간략화된 플로우차트.

도 13은 본 발명의 바람직한 실시예에 따른, 모션 벡터 시퀀스의 생성을 나타내는 플로우차트.

도 14a는 어느 움직임 패턴을 나타내는 모션 벡터 시퀀스에 대한 예시적인 도면.

도 14b는 도 14a의 모션 벡터 시퀀스에 따라 생성된, 표준화된 모션 벡터 시퀀스에 대한 예시적인 도면.

도 14c는 도 14a의 모션 벡터 시퀀스와 도 14B의 표준화된 모션 벡터 시퀀스에 공통인 패턴을 가지는, 예시적인 문자에 대한 도면.

도 15a는 본 발명의 바람직한 실시예에 따른, 표준화된 모션 벡터 시퀀스를 생성하는 과정에 대한 간략화된 플로우차트.

도 15b는 본 발명의 바람직한 실시예에 따른, 표준화된 모션 벡터 시퀀스를 생성하는 과정에 대한 간략화된 다른 플로우차트.

도 16a는 숫자 "3"자형 움직임 패턴을 따라 촬영된 디지털 이미지 시퀀스에 따라 생성된 표준화된 모션 벡터 시퀀스 및 "3"자형과 "6"자형 움직임 패턴에 각각 매칭되도록 설정된 한 쌍의 패턴 샘플 기록을 나타내는 도면.

도 16b는 각기 도 8a의 움직임 패턴에 대한 다른 패턴 샘플 기록들의 유사도 값을 포함하는 2 개의 표를 나타낸 도면.

도 17은 본 발명의 바람직한 실시예에 따른, 움직임 패턴을 패턴 샘플 저장소로 저장하는 동안과 기록된 움직임 패턴의 사용 동안의 이동전화 및 그의 몇 가지 디스플레이를 나타내는 도면.

도 18a, 18b, 및 18c는 본 발명의 바람직한 실시예에 따른, 휴대용 자율 장치의 움직임 패턴들을 나타낸 도면.

이하, 첨부된 도면을 참조하여 본 발명을 예시만의 목적으로 설명된다. 도면을 상세하게 참조하면, 도시된 특정물은 본 발명의 바람직한 실시예의 예 및 예시적인 논의만을 위한 것이고, 본 발명의 원리 및 개념적 측면의 가장 유용하고 용이하게 이해되는 설명이라고 여겨지는 것을 제공하기 위하여 제시된 것이라는 것을 강조한다. 이와 관련하여, 본 발명의 기본적인 이해를 위해 필요한 것보다 더 상세하게 본 발명의 구조적인 세부사항을 보여주려고 하지 않았으며, 도면과 더불어 취해진 설명은 본 발명의 여러 가지 형태가 실제로 구현될 수 있는 방법을 당업자에게 보여주는 것이다.

본 발명의 실시예는 자율 핸드헬드 장치에 호스팅된 그리기 애플리케이션을 제어하는 장치 및 방법을 포함하며, 배타적이지는 않지만 더욱 상세히는, 제한된 계산 리소스를 갖는 자율 핸드헬드 장치의 애플리케이션에 방향성 지시 및 움직임 패턴을 입력하기 위하여, 예를 들어 디지털 이미지 시퀀스로부터의, 자율 장치의 감지된 모션을 이용하는 장치 및 방법을 포함한다.

본 발명에 따른 장치 및 방법의 원리 및 동작은 도면 및 첨부된 상세한 설명을 참조하여 더 잘 이해될 수 있다. 본 발명의 적어도 하나의 실시예를 상세하게 설명하기에 앞서, 본 발명은 그 응용에 있어서 다음의 상세한 설명에 개시되거나 도면에 도시된 구성의 세부사항 및 구성요소의 배치에 제한되지 않는다고 이해된다. 본 발명은 다른 실시예들 또는 다양한 방식으로 실시되거나 수행될 수 있다. 또한, 여기에 이용된 어구 및 용어는 설명을 위한 것이며, 한정을 위한 것으로 간주되어서는 안 된다.

본 발명의 하나의 실시예는, 이동전화와 같이 이미지 센서를 가지는 자율 핸드헬드 장치이다. 이 장치는 사용자가 그 핸드헬드 장치의 변위를 통해 그림을 생성하거나 편집할 수 있도록 설정된다. 자율 핸드헬드 장치는, 이미지 센서의 변위 동안의 움직임 캡처에 근거하여, 디지털 이미지를 편집하는 모션 벡터 감지 모듈을 포함한다.

모션 감지에 대한 하나의 실시예에서, 모션 벡터 감지 모듈이, 캡처된 디지털 이미지에 따라, 이미지 센서의 현재 모션 벡터를 생성한다. 자율 핸드헬드 장치는, 소형 스크린 및 그리기 모듈과 같은, 디스플레이 장치를 더 포함한다. 모션 벡터 감지 모듈과 연계되는 그리기 모듈이, 상기 현재 모션 벡터에 따라, 그림을 생성하거나 편집한다. 그림은 편집 중에 및 그 이후에 디스플레이 장치에 표시될 수 있다.

본 발명의 하나의 실시예에서, 자율 핸드헬드 장치의 모션 벡터 시퀀스가 캡처되어 단일 그래픽 오브젝트 또는 문자(character)로 번역된다. 이러한 실시예에 서는, 자율 핸드헬드 장치가 바람직하게는 현재 모션 벡터를 수신하는 병합(amalgamating) 모듈을 더 포함한다. 병합 모듈은, 자율 핸드헬드 장치의 변위 동안, 현재 모션 벡터를 연속적인 모션 벡터 시퀀스와 병합한다. 그리기 모듈은 연속적인 모션 벡터 시퀀스에 따라 그림을 생성한다. 바람직하게 자율 핸드헬드 장치는 패턴 샘플 기록을 저장하는 움직임 패턴 저장소를 더 포함한다. 각각의 패턴 샘플 기록은 미리 정해진 움직임 패턴을 나타낸다. 이러한 실시예서는, 자율 핸드헬드 장치가 패턴 샘플 기록 중의 하나와 연속적인 모션 벡터 시퀀스 간을 매칭시킬 수 있다. 매칭은 그리기 모듈 기능 중의 하나를 활성시키는 제어 신호로 받아들여질 수 있다. 예를 들어, 제어 신호는 그림에 더해지는 일정한 그래픽 오브젝트 또는 일정한 캐릭터로 받아들여질 수 있다.

본 발명의 다른 실시예는 디스플레이 장치를 갖는 자율 핸드헬드 장치의 동작을, 이미지 센서의 입력에 따라, 제어하는 방법이다. 이 방법에서는 사용자가 자율 핸드헬드 장치를 변위시킴으로써 그림을 편집할 수 있다. 이 방법은 여러 가지 단계를 포함한다. 첫 번째 단계 동안에는, 자율 핸드헬드 장치의 변위 동안 이미지 센서에 의해 캡처된 디지털 이미지들이 수신된다. 이어, 디지털 이미지들에 따라, 자율 핸드헬드 장치의 현재 움직임 패턴이 식별된다. 현재 움직임 패턴에 근거하여 그리기 동작이 생성되고 현재의 그림이 편집되거나 수정된다.

휴대용 자율 장치는 모든 휴대용 프로세서-기반 장치, 특히 이동전화, PDA, 또는 카메라 또는 유사 촬상 장치를 통합하고 있는 다른 모든 핸드헬드 장치로 이해될 수 있다.

제어 신호는, 통신 장치, 프로세서, 또는 컴퓨터 프로그램과 같은 기능 유닛으로 입력되는, 신호 또는 간섭과 같은 일정한 액션을 개시하는 자극, 입력, 또는 사인(sign)으로 이해될 수 있다.

움직임 패턴은, 대략적으로 또는 정확하게 윤곽을 따르는 트랙을 따르는, 오브젝트의 모든 움직임으로 이해될 수 있다. 상기 윤곽은 문자 형상, 사인 형상, 선 형상, 공간 형상, 오브젝트 상의 형상과 같은, 일정한 형상으로 구성될 수 있다. 움직임 패턴은 또한, 기지의 활동을 수행하는 동안의 기지의 손 제스처, 또는 수족(手足)의 전형적인 움직임 트랙을 따르는, 오브젝트의 모든 움직임으로 이해될 수 있다.

그리기 도구 및 그리기 모듈은, 사용자로 하여금 그림을 그리거나 편집할 수 있게 하는 모든 하드웨어 또는 소프트웨어 모듈로서 이해될 수 있다. 이들 그림은 흑백이나 컬러일 수 있고, 호스팅 휴대용 자율 장치의 메모리에 비트맵, JPEG, GIF, PNG, TIFF 및 PDF 포맷과 같은 각종 포맷의 판독가능한 파일로서 저장될 수 있다. 생성된 그림들은 프린트될 수 있고, 벽지로서 이용될 수 있으며, 다른 문서에 부착될 수 있다. 바람직하게는, 그리기 도구가 이미지를 보거나 편집하는데 이용될 수 있다. 본 발명에서는 상기 도구는 휴대용 자율 장치에 호스팅된다.

이하 도 1을 참조하여 설명하며, 도 1은 본 발명의 바람직한 실시예에 따른 휴대용 자율 장치를 나타낸다. 휴대용 자율 장치(1000)는 그리기 모듈(1001) 및 모션 감지부(1002)를 포함한다. 그리기 모듈(1001)은 그림을 전자적으로 편집하기 위한 다수의 그리기 기능을 구비하며, 가장 기본적인 이미지 편집 루틴(routine)에서 부터 고급 그래픽 패키지에 이를 수 있다. 간결함을 위해, 이하에서는 "편집(editing)"이라는 용어만 사용되고 있지만 '생성(creating)'과 '삭제(deleting)' 또한 필요한 변경을 가하는 것(mutatis mutandis)으로 이해되어야 한다는 것을 유념하여야 한다.

모션 감지부(1002)는 휴대용 자율 장치(1000)의 자기 모션을 감지하도록 설정된다. 그러한 특성에 대한 하나의 예가 아래에서 설명된다. 휴대용 자율 장치(1000)는, 감지된 모션이 그림의 전자 편집을 수정할 수 있도록, 모션 감지부(1002)를 그리기 모듈(1001)의 그리기 기능들과 연결되도록 구성된다. 바람직하게는, 휴대용 자율 장치(1000)가 사용자 인터페이스를 포함하며, 사용자 인터페이스는 사용자가 모션 감지부(1002)의 자기 모션 감지를 개시하고 종료할 수 있도록 설정된다. 이동전화에서는, 예를 들어, 키보드의 정해진 키를 누르거나 이동전화 하우징의 정해진 버튼을 누름으로써 발생되는 단순한 명령 세트를 통해 캡처가 개시될 수 있다. 자기 모션 감지의 개시 및 종료는 버튼을 누르거나 해제함으로써 동작될 수 있다. 대안적으로, 사용자가 버튼을 눌러서 캡처를 개시하고 다시 버튼을 눌러서 캡처를 종료할 수 있다.

후술되는 바와 같이 그리기 모듈 또는 그 기능들을 동작시키기 위하여, 감지된 자기 모션이 바람직하게는 방향성 또는 다른 지시로 변환된다. 이 변환이 사용자가 그리기 모듈의 다른 기능들을 제어할 수 있게 한다. 변환은 또한, 휴대용 자율 장치의 사용자가, 후술되는 바와 같은 사전에 정의된 각종 문자나 표시를 나타내는 신호를, 동일한 방식으로, 입력할 수 있게 한다.

이하에서는 도 2를 참조하여 설명하며, 도 2는 본 발명의 바람직한 실시예에 따른, 사용자가, 휴대용 자율 장치의 변위에 근거하여, 휴대용 자율 장치에 방향성 지시를 입력할 수 있는 방법을 나타내는 플로우차트이다. 도 2는 반복적인 4-단계 변위 감지 과정을 나타내며, 이는 특정한 휴대용 자율 장치의 실시간 모션 벡터를 출력하는 데 이용된다.

모션 벡터는 상기 장치의 틸팅(tilting) 또는 변위의 결과일 수 있다는 것을 유념하여야 한다. 틸팅은 상기 장치의 시각에서 비선형 변화들을 결합하는 것이기 때문에, 이론적으로는 그에 따라 야기되는 변화의 복잡성이 선형 변위에 의해 야기되는 변화의 복잡성 보다 크다. 그러나, 이하에서 설명되는 몇몇 실시예를 이용할 경우에는, 그러한 복잡성의 차이는 무시될 수 있다.

도시된 변위 감지 과정은 하나 이상의 이미지 센서를 통합하고 있는 다양한 휴대용 자율 장치에서 구현될 수 있다. 바람직하게는, 변위 감지 과정이, MMI를 통하여, 다른 용도를 위해 이미 이미지 센서가 갖춰진 휴대용 자율 장치에 통합될 수 있다.

본 발명의 하나의 실시예에서는, 도면부호 5에서와 같이 변위 감지 과정을 개시하기 위하여 정해진 버튼 또는 다른 MMI 제어를 누를 수 있다. 이 개시는 구비된 이미지 센서를 활성시킨다. 휴대용 자율 장치의 계산 유닛은 서라운딩 영역의 캡처된 부분을 나타내는 디지털 이미지를 실시간으로 수신한다. 각각의 수신된 디지털 이미지는, 후술되는 바와 같이, 개별적으로 조사된다는 것을 유념하여야 한다. 1단계 동안, 첫 번째 디지털 이미지가 수신되어 현재 디지털 이미지로서 저장 된다. 도면부호 7에서와 같은 다음 단계 동안, 연속된 디지털 이미지가 다음 디지털 이미지로서 저장된다. 2단계 동안, 현재 디지털 이미지와 다음 디지털 이미지가 휴대용 자율 장치의 모션 벡터를 계산하는데 이용된다. 실제 사용에서는, 변위 감지 과정을 개시하기 위하여, 서라운딩 영역의 2개의 순차적인 디지털 이미지가 캡처된다. 이 2개의 순차적인 디지털 이미지가 모션 벡터의 계산을 위한 베이시스(basis)로서 이용된다. 후속 3단계에서, 모션 벡터가 애플리케이션에서 사용되기 위해 출력된다. 구체적으로, 도면부호 4로 나타낸 바와 같이 그 다음 단계 동안에는, 그 다음의 디지털 이미지가, 도면부호 6으로 나타낸 다음의 반복 단계 동안 휴대용 자율 장치의 모션 벡터를 계산하기 위한, 현재의 디지털 이미지로 된다. 변위 감지 과정은 순환적이며, 주어진 어느 순간이라도 특정한 휴대용 자율 장치의 실시간 모션 벡터를 출력하는 데 이용될 수 있다.

본 발명의 바람직한 실시예에 따른 변위 감지 방법에 대하여 더 상세하게 설명하면 다음과 같다. 1단계 동안, 계산 유닛이 서라운딩 영역 부분을 나타내는 디지털 이미지를 수신하여 현재 이미지로서 저장한다. 이 디지털 이미지는, 각각의 픽셀이 배경(background) 표현 정보(representational information)를 포함하는, 다수의 픽셀을 포함한다. 바람직하게는, 표현 정보가 상기 디지털 이미지 내의 서라운딩 영역의 관련 부분에 대한 국부적인 밝기 및 색상을 나타낸다. 각종 유형의 다수의 색 좌표 중의 어느 것이라도 표현 정보를 나타내기 위해 이용될 수 있다.

상술한 디지털 이미지의 특성이 모션 추정의 품질을 향상시키기 위해 강화될 수 있다. 그러한 강화는, 후술하는 바와 같이, 프레임의 리사이징(resizing) 및 밝 기와 콘트라스트 강화와 같은, 다른 가능한 수정을 포함할 수 있다.

그러한 이미지들을 캡처하는데 통상적으로 이용되는 이미지 센서는 모든 기지의 방식으로 이미지를 캡처할 수 있지만, 전형적으로는 디지털 이미지를 RGB(Red-Green-Blue) 색 좌표로 출력한다. 그러나, 그러한 이미지들을 캡처하는데 이용된 이미지 센서는 또한 디지털 이미지를 YCbCr 색 좌표, CIE L*a*b* (CIELAB) 색 좌표, 또는 다른 모든 다양한 색 좌표, 또는 단순한 그레이레벨(gray level)로 출력할 수 있다.

바람직하게는, 모션 벡터 감지의 계산 복잡성을 줄이기 위해, 그레이스케일 디지털 이미지가 이용된다. 일반적으로, 그레이스케일 디지털 이미지의 각 픽셀은 단일 값을 가진다. 페이스 세그먼트의 각 픽셀의 그레이레벨은 하나의 바이트(0-255)를 이용하여 표현될 수 있으며, 그러한 세그먼트를 분석하는데 있어서의 계산 복잡성은 RGB, HSV, CIELAB, YCbCr 또는 다른 어떤 색 좌표에서 표현된 세그먼트를 분석하는데 있어서의 계산 복잡성 보다 낮다.

바람직하게는, 그레이스케일 디지털 이미지를 이용하는 모션 벡터 감지 과정을 가능하게 하기 위하여, 상기 방법은 바람직하게는 RGB인 디지털 이미지의 색 좌표를 그레이스케일 색 좌표로 변환하는 단계를 포함한다. 변환된 색 좌표는 또한 HSV, CIELAB, YCbCr, 또는 다른 어떤 색 좌표에 의해 표현될 수 있다. 바람직하게는, 그레이스케일 디지털 이미지가 기준으로서 컬러 디지털 이미지를 나타내는 채널 중의 하나를 이용하여 생성될 수 있다. 예를 들어, RGB 색 좌표에서의 R 채널의 값들이 그레이스케일 디지털 이미지를 생성하는데 이용될 수 있다.

바람직하게는, 오리지널 디지털 이미지가 RGB 색 좌표를 이용하여 표현된다면, 오리지널 디지털 이미지의 픽셀 값이 하기 수학식을 이용하여 변환되어 그레이스케일 디지털 이미지를 생성한다.

GS = 0.3R + 0.59G + 0.11B

여기서 GS는 관련 픽셀의 새로운 그레이스케일 값을 나타내고, R은 적색, G는 녹색, 그리고 B는 청색을 나타낸다.

모션 벡터 감지를 향상시키기 위하여, 그레이스케일 디지털 이미지가 더 처리될 수 있다. 축적된 지식에 따르면, 몇몇 이미지 센서에 의해 캡처된 디지털 이미지는 서라운딩 영역의 캡처된 부위의 밝기 레벨을 정확하게 반영하지 않는다. 상기 캡처된 디지털 이미지의 가장자리는, 통상 서라운딩 영역의 관련 부분 보다 덜 정확한 밝기 레벨을 나타내는 경향이 있다. 부정확하게 표현되는 서라운딩 영역의 조도에 의존하는 변위 감지 과정은, 모션 벡터를 잘못 계산하기 쉽다. 모션 벡터를 잘못 계산하는 것을 회피하기 위하여, 밝기 변화 보정(brightness change compensation ;BCC) 마스크가 이용될 수 있다.

BCC 마스크는 그레이스케일 디지털 이미지의 픽셀들의 픽셀 표현 값을 변환하는데 이용된다. 각 픽셀에는 상수 승법 인자(constant multiplicative factor)가 곱해지며, 상수 승법 인자는 그 값이 곱해진 픽셀의 위치에 따라 결정된다. 그레이스케일 디지털 이미지의 중심부에 있는 픽셀의 밝기 레벨이 바람직하게 강화된 것이 아니기 때문에, 중심부의 픽셀에 대략 1과 같은 상수 승법 인자가 곱해진다. 그 레이스케일 디지털 이미지의 중심부에 있는 픽셀은 대부분 밝기 값에서 바람직하지 않은 감소가 일어나는 경향이 있다. 따라서 그레이스케일 디지털 이미지의 코너에 있는 픽셀은 1 보다 큰 값을 가지는 상수 승법 인자가 곱해진다. 그레이스케일 디지털 이미지의 다른 영역의 픽셀은, 그레이스케일 디지털 이미지 중심으로부터의 거리에서 유도된, 상수 승법 인자가 곱해진다. 바람직하게는, 각 픽셀의 값은 다음 세트의 수학식을 이용하여 변환된다.

CenterP = 1

CornerP = 1 + C

MarP = 1 + C·[(X - W/2)²+ (Y - H/2)²]/[(W/2)² + (H/2)²]

여기서 CenterP는 그레이스케일 디지털 이미지 중심부의 픽셀에 곱해지는데 이용된 상수 승법 인자 값을 나타내고, Corner P는 그레이스케일 디지털 이미지의 코너에 있는 픽셀에 곱해지는데 이용된 상수 승법 인자를 나타내며, MarP는 그레이스케일 디지털 이미지의 다른 영역의 픽셀에 곱해지는데 이용된 상수 승법 인자를 나타낸다. C는 상수 인자를 나타낸다. (X, Y)는 그레이스케일 디지털 이미지의 픽셀 좌표를 나타낸다. 그리고 W 및 H는 그레이스케일 디지털 이미지의 폭과 높이를 각각 나타낸다. 바람직하게, C는 0.41과 같다.

바람직하게는, 모션 벡터를 계산하는 동안의 디지털 이미지의 픽셀과 BCC 마스크를 곱하는데 있어서의 계산 복잡성을 줄이기 위해, 각 픽셀에 대한 상수 승법 인자가 사전에 계산되어 미리 정해진 행렬에 저장된다.

2단계에 나타낸 바와 같이, 휴대용 자율 장치의 모션 벡터가 추정된다. 이 추정은 얻어진 2개의 연속하는 그레이스케일 디지털 이미지에 근거하여 계산된다. 앞선 디지털 이미지는 기준 프레임으로 이용되고, 나중의 디지털 이미지는 샘플 프레임으로 이용된다.

이하 도 3a를 참조하여 설명하며, 도 3a는 본 발명의 실시예에 따른, 기준 프레임(100) 및 사변형 기준 영역(101)을 보여준다. 휴대용 자율 장치의 모션 벡터는, 기준 프레임 내의 기준 영역의 위치와 샘플 프레임 내에서 식별되는 매칭(matching) 영역과의 차이에 근거하여 계산된다. 매칭 영역은, 기준 프레임 내의 기준 영역과 샘플 영역 내의 매칭 영역 후보들 간의 유사성을 나타내는 상관 값에 따라 선택된다. 각 매칭 영역 후보의 위치는 휴대용 자율 장치의 위치의 가능한 변화를 반영한다. 기준 영역의 위치와 매칭 영역의 위치 간의 차이에 근거하여, 휴대용 자율 장치의 움직임을 나타내는 모션 벡터가 하기와 같이 계산된다. 이어 모션 벡터는 휴대용 자율 장치의 애플리케이션에 의해 이용되기 위해 전달된다. 따라서 사용자는 휴대용 자율 장치의 각종 애플리케이션을 제어하기 위하여 휴대용 자율 장치를 움직이게할 수 있다.

상관 값을 계산하기 위해서는, 기준 영역에 의해 표현된 서라운딩 영역 부분이 샘플 프레임에서 재현되어야 한다. 그러나, 기준 프레임에 의해 캡처된 서라운딩 영역 부분이 그의 가장자리(102, 103)에 있게 되면, 휴대용 자율 장치의 움직임은 샘플 프레임에 없는 서라운딩 영역 부분에 이르게 될 수 있다. 따라서 가장자리 의 폭은, 감지될 수 있는, 모든 2 개의 연속하는 프레임들 간의 최대 이동을 정의한다. 사변형 기준 영역(101)으로부터의 픽셀을 이용함으로써, 프레임 간의 움직임이 상기 최대 쉬프트 보다 크기 않는 한 그들의 다음 이미지에서 재현될 수 있도록 할 수 있다.

본 발명의 하나의 실시예에서, 사변형 기준 영역(101)은 기준 프레임(100)의 중심부에 정의된다. 바람직하게는, 사변형 기준 영역(101)은 기준 프레임(100) 보다 작으며, 그 중심부에 위치된다. 이 사변형 기준 영역(101)이 샘플 프레임의 매칭 영역 후보들과 매칭되는 기준 영역이다. 사변형 기준 영역(101) 내에서 캡처된 서라운딩 영역 부분은, 기준 프레임(100)의 가장자리 내에서 캡처된 서라운딩 영역 부분 보다 재현될 확률이 더 높다. 바람직하게, 사변형 기준 영역(101)의 길이는 미리 정해진다. 바람직하게는, 기준 프레임의 길이(104, 105)와 가장자리의 길이(102, 103)의 비율은 1:0.125와 1:0.375 사이이다. 상술한 바와 같이, 사변형 기준 영역(101)이 정의되고 나서, 동일한 치수를 갖는 매칭 영역이 샘플 프레임의 경계 내에서 결정된다.

이하 도 3b, 3c, 3d, 및 3e를 참조하여 설명하며, 이들 도면은 기준 프레임(100)과 샘플 프레임(204)에 의해 도시되고 부분적으로 캡처된 서라운딩 영역을 보여준다. 기준 프레임(100)과 사변형 기준 영역(101)은 위의 도 3q에 도시한 것과 유사하다. 그러나, 도 3b-3d에서는 본 발명의 바람직한 실시예에 따른, 샘플 프레임(204), 매칭 영역 후보(202), 및 캡처된 오브젝트 세트를 더 보여준다.

도 2의 2단계에 나타낸 바와 같이, 현재 디지털 이미지와 다음 디지털 이미 지가 휴대용 자율 장치(501)의 모션 벡터를 계산하는데 이용된다. 바람직하게, 위에서 나타낸 바와 같이, 현재 디지털 이미지에서 캡처된 선택된 매칭 영역 후보(202)는, 사변형 기준 영역(101)에 의해 나타낸, 이전 디지털 이미지에서 캡처된 서라운딩 영역의 부분과 유사한 서라운딩 영역의 부분을 나타낸다. 휴대용 자율 장치의 모션 벡터는 사변형 기준 영역(101)의 위치와 샘플 프레임의 매칭 영역 후보 간의 편차에 근거하여 계산된다.

도 3b는 그 이동 방향을 도면부호 503에서와 같은 움직임 방향으로의 휴대용 자율 장치에 의해 캡처된 기준 프레임(100)과 샘플 프레임(204)을 보여준다. 도 3c는 기준 프레임(100) 내에 캡처된 서라운딩 영역의 부분을 보여준다. 도 3d는 샘플 프레임(204) 내에 캡처된 서라운딩 영역의 부분을 보여준다.

기준 프레임(100)과 샘플 프레임(204) 둘 모두는 동일한 시퀀스의 디지털 이미지로부터 유래하는 것이다. 이들 프레임은 동일한 치수를 가지며, 동일한 좌표계를 이용하여 표시될 수 있다. 바람직하게는, 프레임들의 상부 좌측 모서리가 원점이 되는 좌표계가 이용된다.

도 3c 및 3d에 도시한 바와 같이, 사변형 기준 영역(101)과 선택된 매칭 영역 후보(202)는 사용된 좌표계의 원점에 대하여 다른 좌표들에 위치한다. 도 3e는 사변형 기준 영역(101)의 위치와 선택된 매칭 영역 후보(202) 간의 편차(504)를 보여준다. 편차(504)는 휴대용 자율 장치의 움직임 방향과 반대인 모션 벡터를 반영한다. 바람직하게, 이 편차는 2 개 숫자로 이루어진 세트(즉, Mx 및 My)로서 표현되며, 이들 2 개 숫자는 기준 프레임(100)에 있는 서라운딩 영역의 어느 부분을 나 타내는 어느 픽셀(505)의 좌표와 샘플 프레임(204)에 있는 서라운딩 영역의 동일한 부분을 나타내는 대응 픽셀(506) 간의 차이를 나타낸다.

바람직하게, 휴대용 자율 장치에 대해 계산된 모션 벡터는 기준 영역(101)과 선택된 매칭 영역 부호(202) 간의 편차를 나타내는 벡터의 역이다.

도 2의 3단계에 나타낸 바와 같이, 모션 벡터는 휴대용 자율 장치의 애플리케이션에서 이용된다. 그러한 모션 벡터를 이용함으로써, 사용자는 휴대용 자율 장치를 변위시켜서 휴대용 자율 장치의 하나 이상의 애플리케이션에 대한 방향성 지시를 생성할 수 있다. 상기 변위 감지 과정은, 휴대용 자율 장치의 감지된 움직임을 이용하여, 방향성 지시로 해석되는 모션 벡터를 결정한다. 방향성 지시는 휴대용 자율 장치와 연결된 디스플레이 스크린 상의 커서 이미지의 변위와 상관(correlated)될 수 있다. 디스플레이 스크린은 상기 생성 과정 동안 사용자가 그의 그림을 인식할 수 있도록, 가상 블랙보드(virtual blackboard)를 표시하는데 이용될 수 있으며, 이는 아래에서 더 설명된다.

바람직하게, 휴대용 자율 장치의 계산된 모션 벡터는 이미지 센서에 평행한 2 차원 평면에서의 휴대용 자율 장치의 이동을 반영한다.

본 발명의 하나의 실시예에서는, 출력 모션 벡터가, 공간 모션 벡터로서, 3 차원 공간에서의 휴대용 자율 장치의 이동을 반영한다. 공간 모션 벡터를 생성하기 위하여, 평행하지 않는(unparallel) 방식으로 휴대용 자율 장치에 결합된 적어도 2 개의 이미지 센서가 이용된다. 각 이미지 센서는, 후술되는 바와 같이, 2 차원 평면에서 휴대용 자율 장치의 이동을 반영하는 선형 모션 벡터를 생성하는데 이용된 다. 선형 모션 벡터가 평행하지 않는 다른 평면에 위치하기 때문에, 생성된 선형 모션 벡터가 서로 다르고, 각각 평행하지 않는 다른 평면에서 장치의 모션을 반영한다. 바람직하게, 장치의 공간 모션 벡터(x', y', z')는, 2 개의 평행하지 않는 평면에서의 휴대용 자율 장치의 모션을 나타내는 2 개의 선형 모션 벡터(x', y')와 (x', z')를 조합함으로써 결정된다. 2 개의 선형 모션 벡터 각각은 휴대용 자율 장치의 축(X, Y 또는 Z)을 따르는 모션에 관한 정보를 포함한다. 따라서 3 차원 공간에서의 휴대용 자율 장치의 이동을 반영하는 공간 모션 벡터가 용이하게 계산될 수 있다. 바람직하게는, 상기 2 개의 이미지 센서가 휴대용 자율 장치의 표면 상에 서로 직교하도록 위치된다. 2 개의 다른 평면 상에서의 모션을 반영하는 2 개의 모션 벡터에 근거하여, 오브젝트의 공간 모션 벡터를 계산하는 것은 일반적으로 잘 알려져 있고, 따라서 여기서는 자세하게 설명되지 않는다.

본 발명의 하나의 실시예에서는, 모션 벡터에 감응도 인자(sensitivity factor)가 곱해진다. 감응도 인자는 애플리케이션에 대한 휴대용 자율 장치 움직임의 영향을 강화하거나 감쇠하는데 이용된다.

이하에서는 도 4를 참조하여 설명되며, 도 4는 본 발명의 바람직한 실시예에 따른 예시적인 블록 매칭 과정에 대한 플로우챠트를 나타낸다. 도 2의 3단계에 나타낸 바와 같이, 휴대용 자율 장치의 모션 벡터가 휴대용 자율 장치의 애플리케이션에 이용되기 위해 출력된다. 모션 벡터를 계산하기 위하여, 샘플 프레임 내의 매칭 영역이 식별되어야 한다.

본 발명의 하나의 실시예에서는, 블록 매칭 과정이 샘플 프레임 내의 매칭 영역을 선택하는데 이용된다. 바람직하게는, 절대 값 차의 합계(sum of absolute differences ; SAD) 과정이 이용된다. SAD 과정은 사변형 기준 영역(101)과 샘플 프레임 내의 다른 매칭 영역 후보들 간의 유사성을 정량하는데 이용된다. 정량의 결과가 매칭 영역을 결정하는데 이용된다.

도 4에서는, 첫 번째 단계 동안에, 위에서 설명하였고 도면부호 400 및 401에 나타낸 바와 같이, 기준 프레임과 샘플 프레임이 수신된다. 이어서, 도면부호402에서와 같이, 적어도 하나의 기준 영역이 기준 프레임의 경계 내에 정의된다. 바람직하게, 상기 영역은 상술한 사변형 기준 영역의 경계 내에 정의된다. 이어, 도면부호403과 같이, SAD 과정이 매칭 영역 후보들의 왜곡 척도(distortion measure)를 구한다. 왜곡 척도는 관련 매칭 영역 후보와 기준 영역과의 유사성 정도를 반영한다. 바람직하게는, 특정한 매칭 영역 후보와 기준 영역 간의 왜곡 척도를 구하는데 이용된 SAD 과정의 알고리즘이 다음 식에 따라 정의된다.

여기서 B _ref 는 기준 영역을 나타내고, B _cur 는 매칭 영역 후보를 나타내며, (i, j)는 매칭된 픽셀의 좌표를 나타내며, Pw과 Pl는 각각 매칭된 프레임의 폭과 길이의 픽셀 수를 나타낸다. SAD 과정의 각각의 반복 동안, 기준 영역 B _cur (i, j)에서 의 픽셀의 값과 매칭 영역 후보 B _cur (i, j)에서의 픽셀 값 간의 차를 계산함으로써 상관 값이 결정된다. SAD 과정의 결과는 모든 픽셀에 대한 계산된 상관 값의 합이다.

상술한 알고리즘이 모든 매칭 영역 후보의 왜곡 척도 값을 계산하는데 이용된다. 도면부호 404로 나타낸 바와 같이, 상기 SAD 과정을 이용하여 각 매칭 영역 후보가 구해지거나 매칭 영역으로서 적합하지 않다고 확인된 이후에만, 후술되는 바와 같이 최저 왜곡 척도를 가지는 매칭 영역 후보가 선택된다.

만일 L 과 W 가 가장자리 사이즈(도 2에서 102, 103)일 경우에는, (2L + 1) ·(2W + 1) 다른 매칭 영역 후보의 전체(total)가 구해져야 한다. 기준 영역의 사이즈와 관련하여, 그와 같이 포괄적인 매칭 과정은 상당한 양의 연산 리소스를 요구하는 높은 계산 복잡성을 가질 수 있다. 이러한 리소스들이 이동 전화 및 다른 핸드헬드 장치와 같은 휴대용 자율 장치에서 언제나 유효한 것이 아니다. 연산 리소스의 필요량을 줄이기 위하여, 상기 매칭 과정이 최적화되어야 한다. 매칭 영역으로서 적합하지 않은 매칭 영역 후보에 대한 초기 식별 및 제거에 의한 몇 가지 방법들이 최적화에 이용될 수 있다.

본 발명의 하나의 실시예에서는, 최저 왜곡 척도가 현재의 최저 왜곡 척도로서 저장된다. 이 정보가 계산 복잡성을 줄이기 위하여 SDA 과정 동안에 이용될 수 있다. 상술한 바와 같이, 왜곡 척도는 기준 프레임(B _rer )의 픽셀들과 매칭 영역 후보 (B _cur )의 픽셀들 간의 뺄셈의 나머지들의 합이다. 현재의 최저 왜곡 척도가 최대 임계값으로서 이용될 수 있다. SAD 과정 동안에, 상기 나머지들의 합계가 현재의 최저 왜곡 척도와 비교된다. 만일 상기 합계가 현재의 최저 왜곡 척도를 초과한다면, SAD 과정이 중지되고 관련 매칭 영역 후보는 적합하지 않은 것으로 간주된다. 명백하게, 만일 현재의 합계가 이전의 매칭 영역 후보에 대하여 계산된 현재의 최저 왜곡 척도를 초과한다면, 현재의 매칭 영역 후보는 더 높은 왜곡 척도를 갖기 때문에 선택될 수 없다. 상기 나머지들의 합계는, SAD 과정의 모든 단계에서, 그 계산 복잡성을 줄이기 위하여, 현재의 왜곡 척도와 매칭될 수 있다.

이하 도 5를 참조하여 설명하며, 도 5는 본 발명의 바람직한 실시예에 따른, 매칭 영역 후보들이 매칭되는 순서를 결정하기 위한 나선형 검색 트랙(600)을 나타낸다. 상술한 바와 같이, 매칭 영역이 얻어지기 전에, (2L + 1)

(2W + 1)의 다른 매칭 영역 후보의 전체가 상기 SAD 과정을 이용하여 구해지거나 적합하지 않은 것으로 식별되어야 한다. 명백하게 매칭 영역 후보가 완전히 매칭되기 이전에 그것이 적합하지 않은 것으로 판별한다면, SAD 과정의 계산 복잡성이 줄어든다. 상술한 바와 같이, 상기 초기 식별은 현재의 최저 왜곡 척도에 관한 정보에 근거한다. 따라서 만일 최저 왜곡 척도가 매칭 과정의 초기 단계에서 식별된다면, 더 많은 매칭 영역 후보들이, 기준 영역과 모두 매칭되기 이전에, 적합하지 않은 것으로 식별될 수 있다.

최저 왜곡 척도를 갖는 매칭 영역 후보에 대한 식별을 진행하기 위하여, 나선형 검색 트랙(600)이 이용된다. 실험적인 데이터에 근거하여, 매칭 영역은 통상 기준 영역의 부근에 위치된다고 가정한다. 따라서, 매칭 영역 후보의 식별을 진행 하기 위하여, 바람직하게는 인접하지 않은 매칭 영역 후보가 매칭되기 이전에, 인접하는 매칭 영역 후보들이 매칭된다. 바람직하게, 나선형 검색 트랙(600)이 매칭 영역 후보들이 기준 영역과 매칭되는 순서를 결정하는데 이용된다. 나선형 검색 트랙(600)의 각 노드, 예를 들어, 노드(601)는 기준 영역의 좌표와 매칭 영역 후보의 좌표 간의 편차를 포함한다. 예를 들어, 기준 영역의 상부 좌측 픽셀의 좌표가 (x, y)이라면, 6 번째로 매칭되는 매칭 영역 후보의 상부 좌측 픽셀의 좌표는 도면부호 601로 나타낸 (x-1, y+1)이다. 이러한 검색 트랙은 멀리 있는 매칭 영역 후보들이 매칭되기 이전에 가까운 매칭 영역 후보가 매칭되도록 한다.

다시 도 4를 참조하여 설명한다. 도면부호 405로 나타낸 바와 같이, 선택된 매칭 영역 후보가 상술한 바와 같이 휴대용 자율 장치의 모션 벡터를 계산하는데 이용된다. 모션 벡터 감지 과정은 순환적이며, 주어진 어느 시점에서라도 휴대용 자율 장치의 모션 벡터를 출력하도록 설정된다.

상술한 바와 같이, SAD 과정의 어느 반복 동안 이용되는 주어진 샘플 프레임이 SAD 과정의 후속 반복에서 기준 프레임으로서 이용된다.

이하 도 6a 및 6b를 참조하여 설명하며, 도 6a 및 6b는 구역 피봇(pivot)(201)을 갖는 구역(200)들로 분할된 사변형 기준 영역(101)을 가지는 기준 프레임(100)과 유사한 방식으로 분할된 샘플 프레임(204)의 예시적인 매칭 영역 후보(202)를 보여준다. 기준 프레임(100)과 사변형 기준 영역(101)은 위의 도 3a에 도시한 것들과 유사하다. 그러나, 도 6a 및 6b는 본 발명의 바람직한 실시예에 따른 구역(200)들과 피봇(201)들을 더 보여준다.

본 발명의 하나의 실시예에서는, 구역 피봇 매칭 과정이 SAD 과정의 계산 복잡성을 줄이는데 이용된다. 도 4의 402단계에 나타낸 바와 같이, 기준 프레임 내의 적어도 하나의 기준 영역이 선택되어 샘플 프레임의 각각의 영역과 매칭된다. 매칭 영역 후보의 모든 픽셀을 조사하는 데에 따른 높은 계산 복잡성을 줄이기 위하여, 한 세트의 피봇이 비교를 위한 베이스로서 선택된다. 바람직하게는, 도 6a에 도시한 바와 같이, 사변형 기준 영역(101)이 다수 개의 구역으로 분할된다. 상기 구역의 수는 바람직하게는 프레임 사이즈의 파생물이다. 각 구역은 바람직하게는 동일한 사이즈와 형상을 가진다. 구역 피봇(201)은 각 구역(200)의 경계 내에서 선택된다. 바람직하게는, 구역 피봇은 16 픽셀(4 × 4) 사각형이다. 구역 피봇 매칭 과정만을 이용하여, SAD 과정 동안 구역 피봇의 픽셀들의 상관 값이 계산되고 합해진다. 상기 구역 사이즈를 줄이는 것은 상기 과정 결과의 정확성을 높이게 되지만 그 계산 복잡성 또한 높이게 된다는 것을 유념하여야 한다. 따라서 상기 구역의 사이즈는 장치 CPU의 사용량 및 능력과 관련하여 결정될 수 있다.

도 6b는 기준 프레임(100), 사변형 기준 영역(101), 및 사변형 기준 영역(101)에 대하여 생성된 매칭 영역 후보(202)를 갖는 샘플 프레임(204)을 보여준다. 구역 피봇(203) 한 세트가 매칭 영역 후보의 제한된 영역만을 커버하도록 정의된다. 구역 피봇(201)과 구역 피봇(203)의 세트를 정의함으로써 관련 픽셀의 상관 값이 상대적으로 짧은 시간 내에 계산될 수 있다. 매칭된 픽셀 수의 감소는 매칭 과정의 계산 복잡성을 실질적으로 감소시킨다.

이하 도 7a 및 7b를 참조하여 설명하며, 도 7a 및 7b는 구역 피봇(201)의 픽 셀들의 값과 픽셀(302)들의 포위 스트립(encircling strip)을 곱하도록 설정된 각 마스크(300 및 310)를 보여준다. 구역 피봇(201)은 위의 도 6a에 도시된 것과 유사하다. 그러나 도 7a는 본 발명의 바람직한 실시예에 따른 상수 인자를 나타내는 사각형(301)을 더 보여준다.

상술한 바와 같이, 구역 피봇 매칭 과정은 SAD 과정의 계산 복잡성을 실질적으로 줄인다. 그러나, 제한된 수의 픽셀을 갖는 구역 피봇들을 이용하는 것은 항상 신뢰성 있는 결과를 산출하지 않을 수 있다.

예를 들어, 구역 피봇의 픽셀들이 균일한 패턴을 나타내는 디지털 이미지의 부분을 나타낼 경우에, 그것은 일정한 값을 갖는 픽셀들을 포함한다. 만일 균일한 패턴을 나타내는 부분이 상기 구역 피봇에 인접하는 픽셀들을 커버한다면, 하나 이상의 매칭 영역 후보가 동일한 균일 패턴을 나타내는 픽셀들을 포함할 수 있다. 상술한 바와 같이, SAD 과정의 결과는 매칭된 블록의 패턴에 의존한다. 따라서 그러한 매칭 영역 후보들이 매칭될 때, SAD 과정은 동일한 저 왜곡 척도를 산출한다. 명백하게, 이러한 경우에서는, SAD 과정이 매칭 영역을 식별하는데 이용될 수 없고, 휴대용 자율 장치의 모션 벡터가 계산될 수 없다.

구역 피봇 매칭 과정의 품질을 보장하기 위하여, 구역 피봇 선택 과정이 수행된다. 구역 피봇 선택 과정은 어느 구역에서 상대적으로 불균일한 영역에 위치된 구역 피봇(201)을 식별하는데 이용된다. 균일한 패턴들을 가지는 서라운딩 영역의 부분들에서 구역 피봇을 가능한 한 선택하지 않음으로써, 구역 피봇 선택 과정은 구역 피봇 매칭 과정의 정확성을 높이게 된다. 바람직하게는, 이용된 마스크가 36(6 × 6) 개의 동일한 사각형(301)으로 분할된다. 각 사각형(301)은 다른 상수 승법 인자(303)를 나타낸다. 각각의 상수 승법 인자(303)는 관련 픽셀의 값을 곱하는데 이용된다. 바람직하게는, 마스크의 중앙에 있는 상수 승법 인자(303)들은 양의 값을 가지는 반면, 다른 상수 승법 인자(303)들은 음의 값을 가진다. 모든 상수 승법 인자들의 합계는 바람직하게는 제로(zero)이다.

피봇 선택 과정 동안에, 각 구역 피봇(201)이 마스크(300)를 이용하여 구해진다. 중앙에 인접하는 구역 피봇(201)의 픽셀 각각의 값과 구역 피봇을 포위하는 픽셀(302) 각각의 값에 각 상수 인자(303)가 곱해진다. 모든 산출 값의 합계는 서라운딩 영역에서의 관련 부분의 패턴 균일도를 반비례적으로 반영한다. 상기 합계의 절대 값이 클수록, 균일도가 작아진다.

만일 패턴이 균일하고 마스크 내의 픽셀들의 값이 동일하거나 유사한 값을 갖는다면, 모든 산출 값의 합계는 제로이거나 대략적으로 제로이다. 이러한 결과는, 상술한 바와 같이, 음 및 양의 영역(303)에 있는 각 상수 인자들 모두의 합계가 제로이기 때문에 얻어진다. 마스크의 중앙과 마스크의 가장자리는 반대 값을 가진다. 따라서 만일 마스크 내 픽셀들의 값이 불균일한 방식으로 플롯 된다면, 모든 산출 값 합계의 절대 값은 상대적으로 크다. 마스크의 중앙에 있는 양의 픽셀들의 값과 마스크의 가장자리에 있는 음의 픽셀들의 값 간의 차이가 클수록, 모든 산출 값 합계의 절대 값이 커진다. 바람직하게는, 모든 산출 값 합계의 절대 값이, 조사된 잠재적 구역 피봇의 적합성을 반영하는 피봇 적합성 순위로서 저장된다.

실제로는, 각 잠재적 구역 피봇의 픽셀들의 값의 산출 값들이 합해지고, 모 든 산출 값 중에서 가장 높은 피봇 적합성 순위를 가지는 구역 피봇이 구역 피봇으로서 선택된다. 이러한 실시예는 선택된 구역 피봇이 관련 구역 내의 다른 잠재적 구역 피봇들에 대하여 낮은 균일도를 가지는 영역에 위치될 수 있게 한다. 본 발명의 하나의 실시예에서는, 피봇의 균일도가 피봇 적합성 순위로서 저장된다. 바람직하게는, 상기 적합성 순위는 균일도에 대하여 반비례적으로 저장된다. 바람직하게는, 선택된 다른 구역 피봇들의 피봇 적합성 순위들이 구역 피봇 매칭 과정의 순서를 결정하는데 이용될 수 있다. 도 4의 403단계에 나타낸 바와 같이, 구역 피봇들이 기준 프레임의 기준 영역들로서 선택된 이후에, 각 매칭 영역 후보에 대한 왜곡 척도 값이 계산된다. 상술한 바와 같이, SAD 과정 동안에 현재의 최저 왜곡 척도가 계산되어 저장될 수 있다. 계산 복잡성을 줄이기 위하여, 계산 과정 동안 상기 왜곡 척도 값 계산이 중지될 수 있다. 만일 계산된 왜곡 척도 값이 현재의 최저 왜곡 척도를 초과한다면, 상기 계산 과정은 중지될 수 있고, 다음 매칭 영역 후보의 왜곡 값이 계산될 수 있다. 상술한 바와 같이, 높은 적합성 순위를 갖는 구역 피봇들은 상대적으로 불균일한 패턴을 가진다. 그런 점에서, 기준 영역과 매치되지 않는 매칭 영역 후보의 구역 피봇들은 높은 상관 값을 가질 수 있다. 따라서 그러한 구역 피봇들은 낮은 적합성 순위를 가지는 피봇들보다 매칭 영역 후보의 왜곡 척도 값에 대하여 영향을 줄 더 높은 잠재성을 가진다. 따라서 낮은 적합성 순위를 가지는 피봇들에 앞서 높은 적합성 순위를 가지는 피봇들의 값을 합계함으로써, 적합하지 않은 매칭 영역 후보들이 가정상 상대적으로 짧은 시간 내에 식별된다. 따라서 본 발명의 하나의 실시예에서는, 구역 피봇들을 추가하는 순서가 구역 피봇 적합성 순위에 따라서 결정된다. 구역 피봇들은 그들의 적합성 순위에 따라 역순으로 배치되고, 그들의 픽셀의 상관 값들이 상기 합계로 더해진다.

상술한 바와 같이, 구역 피봇 선택 과정 동안에, 각 잠재적 구역 피봇의 각 픽셀 값은, 그것이 상기 합계에 더해지기 전에, 마스크의 각각의 값이 곱해진다.

도 7b는 본 발명의 하나의 실시예에 따른 마스크(310)를 보여주며, 이는 구역 피봇 선택 과정의 계산 복잡성을 줄이기 위하여 이용된다. 이러한 마스크를 이용함으로써, 기준 영역의 픽셀들의 값이, 마스크의 값들이 곱해지기 이전에, 임시적인 합계에 더해진다. 임시 합계의 결과가 왜곡 척도 합계에 더해진다. 도 7b에 도시한 바와 같이, 마스크(310)는 픽셀의 그룹(304)으로, 바람직하게는 4개로 분할된다. 각 그룹의 픽셀들에 동일한 상수 승법 인자(303)가 곱해진다. 바람직하게는, 각 그룹의 픽셀들은 사각형 그룹(304)으로 배치된다. 각 그룹의 모든 픽셀이 합해지고 오직 그 수에만 관련 상수 승법 인자(303)가 곱해진다. 이어 상기 임시 합계가, 상술한 바와 같이, 마스크의 균일도를 반영하도록 합해진다. 명백하게, 이러한 실시예는 픽셀 곱셈의 수를 줄임으로써 수학적 연산의 수를 감소시킨다.

다시 도 4를 참조하여 설명한다. 402단계에서 구역 피봇 세트가 매칭 영역에서 선택되고 정의된 이후에, 403단계에 나타낸 바와 같이, 각 매칭 영역 후보의 왜곡 척도 값이 계산될 수 있다. 매칭된 영역이 제한적이기 때문에, 왜곡 척도 값 계산의 계산 복잡성이 상대적으로 낮다. 최저 왜곡 척도 값을 갖는 매칭 영역 후보가 404단계에서 용이하게 선택되고, 405단계에서 모션 벡터가 계산된다.

출력된 모션 벡터의 신뢰성은 일정하지 않다. 상술한 바와 같이, 캡처된 서 라운딩 영역들이 균일한 패턴을 가질 경우에, 상대적으로 신뢰할 수 없는 출력이 얻어질 수 있다. 상기 구역 피봇 선택 과정은 변위 감지 과정의 품질에 균일한 패턴의 영향을 완전히 끼칠 수 없다. 예를 들어, 만일 균일한 패턴이 하나 이상의 구역을 완전히 커버한다면, 그 구역의 모든 구역 피봇의 픽셀 값들이 합해져서 대략적으로 동일한 바람직하지 못한 결과를 낳는다. 매칭 영역 후보와 동일한 균일 표면을 나타내는 픽셀들을 포함하는 기준 영역 간의 매칭은 신뢰성 있는 모션 벡터를 생성하는데 필요한 정보를 제공하지 못한다.

본 발명의 하나의 실시예에서는, 각각의 출력 모션 벡터에 대하여, 품질도가 계산된다. 품질도는 상기 매칭 영역 후보들의 각 표면의 왜곡 척도에 근거한다. 기준 및 샘플 프레임이 상대적으로 큰 부위의 불균일한 표면을 나타낼 경우에, 대부분의 매칭 영역 후보의 왜곡 척도들은 높다. 상술한 바와 같이, 상기 품질도는 SAD 과정 동안에 계산되는 높은 상관 값의 결과이다. 그러나, 캡처된 이미지들이 상대적으로 큰 균일한 표면을 나타낼 경우에, 대부분의 매칭 영역 후보의 왜곡 척도들은 낮다. 바람직하게는, 일정한 모션 벡터의 품질도는 관련 매칭 영역 후보의 모든 왜곡 척도들의 합계이다. 합계가 커질수록, 모션 벡터의 품질도는 높아진다.

모션 벡터의 품질도를 평가하는 것은 몇몇 애플리케이션에 대하여 실질적으로 유익할 수 있다. 예를 들어, 변위 감지 과정 동안 생성된 모션 벡터를 이용하거나 무시하는지 여부를 결정하기 위해 하나 이상의 임계값이 미리 정해질 수 있다. 다른 실시예에서는, 상기 품질도가 휴대용 자율 장치의 조작자에게 상기 모션 벡터의 신뢰성에 관하여 통보를 할 것인지 여부를 결정하는데 이용될 수 있다. 바람직 하게는, 모션 벡터의 품질도를 나타내는 음성 또는 시각적인 메시지가 조작자에게 전달된다. 시각적인 메시지에 대한 하나의 예로서는 점등 표시 또는 텍스트 메시지를 들 수 있다.

모션 벡터의 품질도의 또 다른 이용은 통상적으로 휴대용 자율 장치의 각각의 이동이 일련의 유사한 그리고 연속적인 모션 벡터에 의해 표현된다는 가정에 근거한다. 따라서, 휴대용 자율 장치의 현재 모션 벡터가 이전 모션 벡터와 동일할 확률이 높다고 가정된다. 바람직하게는, 품질도 저하는 휴대용 자율 장치에게 이전 모션 벡터를 현재 모션 벡터로서 이용할 것을 지시한다. 바람직하게는, 모션 벡터들이 한 번 이상의 반복을 위해 저장된다. 만일 품질도가 소정 임계값 이하로 낮아진다면, 이전에 계산된 모션 벡터가 현재 모션 벡터로서 출력된다. 이러한 실시예는, 균일한 표면을 나타내는 디지털 이미지 시퀀스를 분석함으로써 야기되는, 단지 짧은 오산(miscalculation), 바람직하게는 수 데시세컨드(decisecond) 길이의 오산을 극복하는데 유익할 수 있다.

이하 도 8을 참조하여 설명하며, 도 8은 본 발명의 바람직한 실시예에 따른, 변위 감지 모듈을 가지는 휴대용 자율 장치를 나타낸다. 휴대용 자율 장치(250)는 정해진 이미지 입력 모듈(252)을 통해 이미지 센서로부터의 실시간 디지털 이미지(251)들을 수신한다. 수신된 디지털 이미지(251)들은 이미지 센서로부터 유래하며, 이미지 센서는 씨모스(CMOS:Complementary Metal Oxide Semiconductor) 센서 또는 씨씨디(CCD:Charge-Coulped Device) 센서일 수 있다.

디지털 이미지는 매칭 영역 모듈(254)로 전달되며, 매칭 영역 모듈(254)은 전형적으로 현재 디지털 이미지의 기준 프레임의 경계 내에 있는 기준 영역의 위치를 선택하는데 이용된다. 매칭 영역 모듈(254)은 기준 영역에 매칭되는 영역의 범위를 한정한다. 상기 범위 한정은 보다 더 신속한 기준 영역 분석을 가능하게 하고, 변위 감지 과정의 계산 복잡성을 감소시킨다. 이어, 매칭 영역 모듈(254)이 이후 프레임의 경계 내에 있는 매칭 영역을 식별하는데 이용되며, 이후 프레임은 시간적으로 이후 시점에 수신되는 추가적인 디지털 이미지이다. 매칭 영역과 참조 영역의 위치들이 변위 감지 모듈(255)로 전달된다. 변위 감지 모듈(255)은 기준 영역과 매칭 영역의 위치들에 근거하여 휴대용 자율 장치의 현재 모션 벡터를 생성하는데 이용된다. 상기 모션 벡터에 근거하여, 방향성 지시(256)가 휴대용 자율 장치(250)의 하나 이상의 애플리케이션(257)으로 출력된다. 디스플레이(258)는, 다른 애플리케이션 출력에 따라, 사용자에게 계산된 모션 벡터에 관하여 통보하는데 이용된다.

이하 도 9a, 9b, 9c 및 9d를 참조하여 설명하며, 이들은 변위 감지 과정을 이용하여 그리기 도구의 다른 기능을 제어하는 이동 전화를 도식적으로 나타낸다. 도 2의 단계 3에 나타낸 바와 같이, 변위 감지 과정의 모든 사이클 동안, 모션 벡터가 상기 장치의 변위에 근거하여 출력된다. 도 9a는 휴대용 자율 장치에 저장된 커서 제어 모듈을 포함하는 본 발명의 하나의 실시예를 도시한 도면으로서, 커서 제어 모듈은 모션 벡터가 수신될 때 동작될 수 있는 것이다. 사용자는 간단히 물리적으로 휴대용 자율 장치를 변위시켜서 커서 변위가 그에 의해 인식되도록 할 수 있다. 이동전화의 변위는 도면부호 911로 나타낸다. 휴대용 자율 장치(910)의 변위 는 선택된 모든 2-차원 평면에서 수행될 수 있다. 이동전화 키 중의 하나와 협동하는, 커서가 일정한 그래픽 오브젝트를 선택하거나 이동전화 스크린에 디스플레이된 가상 블랙보드 상에 경계를 표시하는데 이용될 수 있다. 커서는 또한 동일한 방식으로, 장면(scene)이나 윤곽과 같은 일정한 그래픽 오브젝트를 채색하는데 이용될 수 있다. 사용자는 커서를 이용하여 가상 팔레트(palette)의 여러 가지 색상 중에서 선택하여 어느 색상을 지적하고 그것을 이동 전화 스크린에 디스플레이된 목표 위치로 끌어 놓기할 수 있다.

모션 벡터들은 그리기 도구의 다른 기능을 작동시키는데 이용될 수 있다. 예를 들어, 모션 벡터들은 툴바, 대화 상자, 윈도우, 및 옵션의 일부분이 서브-메뉴로 열리는 계층적 메뉴를 네비게이팅(navigate)하는데 이용될 수 있다. 사용자는 따라서 그래픽 오브젝트, 그림 선의 두께, 및 브러쉬 세팅의 관리하고 다른 그림을 브라우징하기 위한 인터페이스로서 변위 감지 과정을 이용할 수 있다.

특정한 예에서는, 도 9b에 도시한 바와 같이, 사용자가 이동전화(912)를 세로로 이동시킴으로써 메뉴를 네비게이팅할 수 있다. 세로방향 축과 평행한 모션 벡터의 방향은 사용자 선택을 반영하는 네비게이션적인 지시로 변환된다.

또 다른 예에서는, 도 9c에 도시한 바와 같이, 사용자가 이동전화(913)를 가로로 이동시킴으로써 이동전화 디스플레이 상의 그래픽 오브젝트(914)를 가로 방향으로 변위시킬 수 있다. 이동전화(913)의 가로 방향 이동은 가로방향 축과 평행한 모션 벡터를 결정하고, 이들은 사용자가 그래픽 오브젝트(914)를 변위시키고자 하는 방향을 반영하는 네비게이션적인 지시로 변환된다. 이동전화(913)의 변위는 또 한 변위된 그래픽 오브젝트의 사이즈, 색상, 선 두께, 선 길이, 또는 형상을 변경하는데 이용될 수 있다.

또 다른 예에서는, 도 9d에 도시한 바와 같이, 사용자가 이동전화(915)를 이동시킴으로써 이동전화 디스플레이에 표시된 선(916)을 생성하고 그것을 연장할 수 있다. 이동전화(915)의 이동은, 사용자가 그려진 선(916)을 연장하고자 하는 방향을 반영하는 네비게이션적인 지시로 변환될 수 있는, 모션 벡터를 결정한다. 이동전화(915)의 변위는 또한, 예를 들어 상술한 바와 같이 커서를 이용하여 끌어 놓기함으로써 선의 색상, 두께, 또는 형상을 변경하는데 이용될 수 있다.

이하 본 발명의 또 다른 실시예를 도시한 도 10을 참조하여 설명한다. 휴대용 자율 장치(250), 디지털 이미지(251), 및 이미지 입력 모듈(252)은 위의 도 8과 같다. 그러나 본 실시예에서는 움직임 패턴 변환기(350)가 추가된다.

바람직하게는, 휴대용 자율 장치(250)가 사용자 인터페이스를 포함하며, 이를 통해 사용자는 디지털 이미지 시퀀스의 캡처를 개시하거나 종료할 수 있다. 이동전화에서는, 예를 들어, 키패드 상의 정해진 키를 누르거나 이동전화의 하우징에 있는 정해진 버튼을 누름으로써 발생되는 간단한 명령 세트를 통해 캡처가 개시될 수 있다. 캡처의 개시와 종료는 버튼을 누르거나 해제함으로써 작동될 수 있다. 대안적으로는, 사용자가 버튼을 눌러서 캡처를 개시하고 상기 버튼을 다시 눌러서 캡처를 종료할 수 있다.

디지털 이미지 시퀀스(251)는 휴대용 자율 장치(250)에 의해 수신되어, 상술한 바와 같이 움직임 패턴 변환기(350)에 의해 방향성 지시로 변환된다. 움직임 패 턴 변환기(350)는 방향성 지시 세트를 움직임 패턴 변환기(350)의 하나 이상의 애플리케이션과 관련된 제어 신호(351)로 변환하는데 이용된다. 움직임 패턴 변환기(350)는 병합 모듈로서 이용되며, 이는 후술되는 바와 같이 변환 장치의 변위 동안에 현재의 모션 벡터와 연속적인 모션 벡터 시퀀스를 병합한다.

변환은 사용자로 하여금 휴대용 자율 장치(250)를 예정된 움직임 패턴을 따라 이동시킴으로서 휴대용 자율 장치(250)의 다른 기능 또는 관련 장치를 제어할 수 있게 해준다. 상기 변환은 또한 휴대용 자율 장치의 사용자로 하여금, 동일한 방식으로, 사전에 정의된, 다른 문자 또는 사인을 나타내는 신호를 입력할 수 있게 한다. 제어 신호(351)는 후술되는 바와 같이 관련 애플리케이션(257)으로 전달된다.

이하 도 11을 참조하여 설명하며, 도 11은 연속적인 모션 벡터(140) 세트의 도식적 표현으로서, 이들이 집합되어 움직임 패턴(141)을 형성한다. 움직임 패턴(141)의 각각의 모션 벡터(140)는 일정한 시간 세그먼트 동안의 변환 장치의 모션을 나타낸다.

상술한 바와 같이, 모션 벡터 생성기와 움직임 패턴 변환기는 연속적인 디지털 이미지를 제어신호로 변환하는데 이용된다. 바람직하게는, 변환 장치가 복수개의 다른 소정 움직임 패턴을 각각의 다른 제어 신호로 변환하도록 설정된다. 이러한 실시예에서는, 결합된 어느 제어 신호 시퀀스에 관한 정보를 움직임 패턴 변환기에 전송하기 위해, 사용자는 변환 장치를 대략적으로 트랙(142)을 따라 이동시키며, 여기서 트랙(142)은 소정 움직임 패턴의 윤곽을 따르는 것이다. 바람직하게는, 소정 움직임 패턴을 식별하고 그것을 어느 제어 신호에 결합하기 위하여, 모션 벡터 생성기는 이미지 프로세싱을 이용한다.

이하 도 12를 참조하여 설명하며, 도 12는 본 발명의 바람직한 실시예에 따른, 연속적인 디지털 이미지를 제어 신호로 변환하기 위한 4-단계 과정을 나타내는 플로우차트이다. 첫 번째 단계(261) 동안, 움직임 패턴 변환기는 연속적인 디지털 이미지를 수신한다. 본 발명의 하나의 실시예에서는, 각각의 디지털 이미지가 복수 개의 컬러 픽셀을 포함하며, 각 픽셀은 색상 정보를 포함한다. 각 픽셀의 색상 정보는 이미지 프로세싱에 이용된다.

262단계 동안에는, 움직임 패턴 변환기에 의해 모션 벡터 시퀀스가 생성된다. 상술한 바와 같이, 연속적인 디지털 이미지가 소정 움직임 패턴을 따라 촬영된다. 연속적인 디지털 이미지가 촬영된 소정 움직임 패턴을 식별하기 위하여, 상기 소정 움직임 패턴을 포함하는 모션 벡터들이 개별적으로 계산되어야 한다. 바람직하게는, 도 3a, 3b 및 도 4와 관련하여 상술된 바와 같이, 모션 벡터 시퀀스 각각이 모션 벡터 생성기에 의해 2 개의 연속적인 디지털 이미지 간의 차이에 근거하여 계산된다.

이하 도 13을 참조하여 설명하며, 도 13은 본 발명의 바람직한 실시예에 다른, 모션 벡터 시퀀스의 생성을 나타내는 플로우차트이다. 모션 벡터 시퀀스의 생성에 대한 첫 번째 351단계에서는, 품질 임계값이 설정된다. 품질 임계값은 일정한 모션 벡터가 유효한 모션 벡터로서 정의되어 있는 추정 품질을 반영한다. 이러한 기능은 모션 벡터 값, 바람직하게는 이전의 모션 벡터에 대한 유효성을 추정하는데 이용되는 기지의 많은 알고리즘의 통합을 용이하게 한다. 품질 임계값은, 355단계로 나타낸, 상기 과정의 다음 단계에서 이용된다.

도면부호 352로 나타낸 다음 단계에서는, 모션 벡터 어레이가 초기화된다. 모션 벡터 어레이는 정의되지 않은 수의 모션 벡터를 저장하도록 설정된다. 바람직하게는, 상기 어레이가 적응성을 보장하도록 동적으로 정의된다. 이어, 상기 과정은 353단계에서와 같이 대기 단계로 들어가며, 여기서는 개시 신호가 수신될 때까지 모션 벡터들이 기록되지 않는다. 바람직하게는, 그러한 개시 신호를 생성하기 위해서는 사용자가 소정 버튼을 눌러야 한다. 개시 신호가 수신된 이후에, 360단계 및 361단계와 같이, 현재 프레임과 다음의 캡처된 프레임이 모션 벡터를 계산할 수 있도록 독출된다. 모션 벡터는 바람직하게는 도 3a-3e와 관련하여 설명된 바와 같이 현재 프레임과 다음의 캡처된 프레임을 이용하여 계산된다. 상기 과정이 반복적이기 때문에, 상술한 바와 같이, 모션 벡터가 바람직하게는 354단계와 같이 모션 벡터 생성기에 의해 2 개의 연속적인 프레임 각각에 대하여 계산된다.

355단계에서는, 이전 단계에서 계산된 품질 임계값이 이제 이용된다. 만일 계산된 모션 벡터의 품질도가 품질 임계값 이하이거나, 356단계에 나타낸 바와 같이 계산된 모션 벡터가 변환 장치의 변위가 없음을 나타낼 경우에는, 다른 모션 벡터가 계산된다. 그러나, 355단계에서 만일 계산된 모션 벡터의 품질도가 품질 임계값 이상이고, 356단계에서는 계산된 모션 벡터가 변환 장치의 변위가 있음을 나타낼 경우에는, 357단계와 같이 계산된 모션 벡터가 모션 벡터 어레이에 추가된다. 다음의 358단계에서는, 종료 신호의 수신이 조사된다. 본 발명의 하나의 실시예에 서는, 사용자가 정해진 버튼을 누름으로써 종료 신호를 생성할 수 있다. 만일 종료 신호가 수신되지 않는다면, 다른 모션 벡터가 계산된다.

상술한 바와 같이, 상기 추가적인 모션 벡터가, 바람직하게는 2 개의 현재 프레임 중의 후자와 이후 프레임으로 이용되는 추가적인 프레임 간의 차이에 따라서 계산된다. 따라서 361단계와 같이, 종료 신호의 수신이 조사되지 않는다면, 상기 2개의 현재 프레임 중의 후자가 다음 캡처 프레임을 가지는 다음 모션 벡터의 계산을 위하여 전송된다. 도 13에 나타낸 바와 같이, 모션 벡터 시퀀스의 획득은 반복적인 방식으로 계산되는 순환 과정이다.

도 13에 나타낸 바와 같이, 개시 신호와 종료 신호의 수신의 기간에서, 모션 벡터들이 순환 방식으로 모션 벡터 어레이에 추가된다. 사용자가 바람직하게는 이들 신호를 생성하는 능력을 갖고 있기 때문에, 상술한 바와 같이, 사용자는 일정한 움직임 패턴을 기록하기 위한 어느 기간의 범위를 정할 수 있다. 이 과정은 359단계와 같이, 연속적인 모션 벡터 시퀀스를 포함하는 모션 벡터 어레이가 생성될 때 종료된다. 상기 생성된 시퀀스는, 상술한 바와 같이, 변환 장치의 변위 동안 수행된 상기 일정한 움직임 패턴을 나타낸다.

다시 도 11을 참조하여 설명하며, 도 11은 소정 트랙(142)을 따라 촬영된 실시간 디지털 이미지에 기반을 둔 모션 벡터 시퀀스(140)를 보여준다. 2 개의 연속적인 점(143) 사이의 각 선(144)은 계산된 모션 벡터를 나타내며, 이는 일정한 시간 세그먼트 동안의 변환 장치의 움직임과 관련된다. 도 11은 본 발명의 바람직한 실시예를 나타내며, 여기서는 움직임 패턴(141)이 'S' 자 형상을 갖는 소정 트랙을 따라 취해진다.

다시 도 12를 참조하여 설명한다. 상술한 바와 같이, 모션 벡터 시퀀스가 연속적인 디지털 이미지에 따라 생성된다. 도면부호 253으로 나타낸, 다음 단계는 모션 벡터 시퀀스를 다수 개의 소정 움직임 패턴 중의 하나와 매칭시키는 것이다. 모션 벡터 시퀀스가 일정한 움직임 패턴을 따라 촬영된 연속적인 디지털 이미지에 따라 생성된다. 사용자는 변환 장치를 이용하여 다수 개의 움직임 패턴을 입력할 수 있다. 각각의 움직임 패턴은 다른 제어 신호를 생성하는데 이용된다. 본 발명의 하나의 실시예에서는, 움직임 패턴 변환기가 패턴 샘플 기록들을 가지는 패턴 샘플 저장소를 포함하며, 각 패턴 샘플 기록은 해당 제어 신호와 연결된다. 바람직하게는, 패턴 샘플의 수는 가변적이며 사용자에 의해 조정될 수 있다. 각 패턴 샘플 기록은 바람직하게 소정 수, 바람직하게는 24 개의 모션 벡터로 이루어진 어레이를 포함한다. 바람직하게는, 공간 모션 벡터 시퀀스가 얻어진다면, 상술한 바와 같이 각 패턴 샘플 기록이 공간 모션 벡터 시퀀스를 포함한다. 모션 벡터는 바람직하게, 균일한 길이를 가지며 이는 바람직하게 유닛으로서 어드레스 지정될 수 있다. 따라서 모션 벡터는 관련된 움직임 패턴을 따르는 방향성 변경만을 반영한다. 각 어레이의 모션 벡터들은 어느 소정 움직임 패턴을 따라 순차적으로 배열될 수 있다. 이러한 움직임 패턴들은 후술하는 바와 같이 통상적인 문자, 통상적인 사인(sign), 통상적인 심벌, 또는 개별적으로 설정된 사인(signature)과 같은 마킹의 형상을 가질 수 있다.

이하 도 14a, 14b, 및 14c를 참조하여 설명하며, 이들은 각각 일정한 움직임 패턴(141)을 결정하는 모션 벡터 시퀀스, 균일한 길이를 가지는 표준화된 모션 벡터 시퀀스(550), 및 예시적인 문자(551)를 나타낸다. 도 14a의 모션 벡터 시퀀스의 도식적 표현은 위의 도 11과 같다.

상술한 바와 같이, 본 발명의 하나의 실시예에서는, 움직임 패턴 변환기가 패턴 샘플 저장소를 포함한다. 이러한 실시예에서는 움직임 패턴 변환기가 획득된 모션 벡터 시퀀스를, 각기 다른 소정 움직임 패턴을 포함하는 다수 개의 패턴 샘플 기록 중의 하나와 매칭시킬 수 있다. 그러나, 균일한 길이의 소정 모션 벡터 시퀀스를 포함하는 패턴 샘플 기록들과는 달리, 획득된 모션 벡터 시퀀스는 도 11에 도시된 바와 같이, 정해지지 않은 수의, 다른 길이들을 갖는 모션 벡터를 포함한다. 본 발명의 하나의 실시예에서는, 획득된 시퀀스의 모션 벡터들이, 패턴 샘플 저장소의 기록들과 비교되기 이전에, 표준화된 벡터들, 바람직하게는 균일한 길이를 가지는 벡터들을 형성하도록 수집되어 조작된다.

이하 도 15a를 참조하여 설명하며, 도 15a는 본 발명의 바람직한 실시예에 따른, 표준화된 모션 벡터 시퀀스를 생성하기 위한 5-단계 과정을 나타내는 플로우차트이다. 아래에서 더 설명되는 바와 같이, 상기 모션 벡터 시퀀스는 일정한 움직임 패턴을 나타내는 모션 벡터 시퀀스를 저장하는 기록들과 매칭된다. 이들 기록은 일정한 움직임을 포함하는 소정 수의 모션 벡터를 가진다. 모션 벡터 시퀀스를 저장된 기록들과 매칭시키기 위하여, 모션 벡터 시퀀스는 이들 기록에 저장된 소정 수의 모션 벡터에 따라 분할되어야 한다. 그러한 분할이 매칭 과정을 가능하게 하며, 이는 아래에서 더 상세하게 설명된다.

첫 번째 611단계 동안에, 상술한 바와 같이 움직임 패턴을 나타내는 모션 벡터 시퀀스가 수신된다. 바람직하게는, 상기 획득된 시퀀스가 다수 개의 기록을 가지는 어레이이며, 여기서 각각의 기록은 특정 길이를 가지는 모션 벡터를 포함하는 것이다.

다음 612단계 동안에는, 움직임 패턴의 길이가 추정된다. 이 추정은 획득된 시퀀스를 포함하는 모션 벡터들의 길이를 합함으로써 행해진다. 움직임 패턴의 길이를 추정함으로써, 613단계에 나타낸 바와 같이, 길이가 통일된 모션 벡터들의 길이가 결정될 수 있다. 획득된 시퀀스의 총 길이는 바람직하게 필요한 모션 벡터 수를 나타내는 소정 수에 의해 나누어진다. 상술한 바와 같이, 패턴 샘플의 각 기록은 소정 수의 모션 벡터, 예를 들어 24개의 모션 벡터를 가지는 어레이를 포함한다. 도면부호 614로 나타낸 다음 단계에서는, 획득된 모션 벡터 시퀀스가 길이-통일된 세그먼트 모션 벡터들로 분할되며, 길이-통일된 세그먼트 모션 벡터들은 나중 패턴 샘플의 각각과 매칭되기 전에 표준화된다. 길이-통일된 모션 벡터의 수는 패턴 샘플에 저장된 모션 벡터의 수와 동등하다. 이 과정 동안, 상기 획득된 시퀀스가 유사한 수의 길이-통일된 모션 벡터들로 분할된다. 바람직하게는, 길이-통일된 모션 벡터 각각의 길이가, 상술한 바와 같이, 움직임 패턴의 길이를 모션 벡터들로서 표현된 소정 수의 세그먼트로 분할함으로써 계산된다. 후술되는 바와 같이, 모션 벡터 시퀀스의 분할(segmentation)이 동일한 길이를 가지는 그룹핑이 되도록 하기 위하여, 상기 계산된 길이가 저장된다.

상술한 바와 같이, 614단계에서는, 획득된 시퀀스 모션 벡터의 총 길이가 상 기 시퀀스의 총 길이에 따라서 추정된 이후에, 상기 획득된 모션 벡터 시퀀스가 표준화된 연속적인 모션 벡터의 세그먼트들로 분할될 수 있다.

이하 도 15b를 참조하여 설명하며, 도 15b는 본 발명의 바람직한 실시예에 따른, 표준화된 모션 벡터 생성 과정을 보다 더 상세하게 도시한 플로우차트이다. 도 15b에서 j 는 현재의 표준화된 모션 벡터의 연속되는 순서를 나타내고, i 는 현재의 모션 벡터의 연속되는 순서를 나타내며, E 는 현재의 모션 벡터의 수를 나타내며, L 은 현재의 모션 벡터의 총 길이를 나타내며, M 은 표준화된 모션 벡터의 수(예로서 24)를 나타내며, N 은 표준화된 모션 벡터를 나타내며, V 는 현재의 모션 벡터를 나타내며, A 는 길이 통일된 모션 벡터의 균일한 길이를 나타내며, C 는 현재의 길이-통일된 모션 벡터를 형성하는 모션 벡터 세그먼트의 현재 길이를 나타내며, 그리고 F 는 균일한 길이(A)와 현재 처리되는 표준화된 모션 벡터(N(j))의 길이 간의 차이를 나타낸다.

처음에, 651단계에 나타낸 바와 같이, 바람직하게는 어레이(V(i))에 저장된 움직임 패턴을 나타내는 모션 벡터 시퀀스가 수신된다. 바람직하게는, 획득된 시퀀스가, 다수 개의 기록을 가지는 어레이이며, 여기서 각 기록은 특정 길이의 모션 벡터를 포함하는 것이다. 모션 벡터 시퀀스가 수신된 이후에, 움직임 패턴의 길이가 추정된다. 652단계 내지 657단계에 나타낸 바와 같이, 길이 추정은 획득된 시퀀스를 포함하는 모션 벡터들의 길이를 합함으로써 행해진다. 654단계 내지 656단계에 나타낸 바와 같이, 상기 합계는 반복 과정으로 수행되며, 여기서 모든 모션 벡터의 길이가 함께 합산되어 단일 변수(L)가 된다. 657단계에 나타낸 바와 같이, 움 직임 패턴의 길이가 추정된 이후에, 획득된 시퀀스의 총 길이(L)가, 필요한 모션 벡터(M) 수를 나타내는 소정 수에 의해 나누어진다. 이 편차(A)의 결과는 균일한 길이이며, 이에 따라 모션 벡터 시퀀스가 분할되어, 662단계 내지 669단계에 나타낸 바와 같이, 표준화된 모션 벡터를 형성한다. 658단계 내지 659단계에 나타낸 바와 같이, 이제 표준화된 모션 벡터 생성 과정에 이용된 다른 변수들이 리셋 된다. 이어, 661단계 내지 671단계와 같이, 표준화된 모션 벡터가 657단계에서 결정된 균일한 길이(A)에 따라 생성되는 서브-과정이다. 이 서브-과정은, 후술되는 바와 같이, 반복적이고 표준화된 연속적인 모션 벡터가 생성될 수 있게 한다. 각각의 서브-과정 반복 동안에, 현재 처리되는 모션 벡터를 나타내는 변수들이 초기화된다. 각각 660단계와 661단계에 나타낸 바와 같이 바람직하게는 현재 처리된 표준화된 벡터 N(j) 및 그의 현재 길이를 나타내는 변수 C 가 초기화된다. 이어, 662단계 내지 665단계에 나타낸 바와 같이, 다수 개의 연속 모션 벡터가 추가되어 현재 처리된 표준화된 모션 벡터 N(j)을 형성한다. 연속하는 모션 벡터들은, 662단계에서 나타낸 바와 같이, 그들의 길이의 합이 균일한 길이 A를 초과하지 않는 한, 계속하여 추가된다. 따라서 다음의 연속 모션 벡터를 연결함으로써 현재 처리되는 세그먼트가 추정된 균일한 길이(A)를 넘도록 연장된다. 추정된 균일한 길이(A)를 초과하지 않도록 하기 위하여, 세그먼트를 포함하는 연결된 연속 모션 벡터의 길이와 표준화된 길이 간의 갭(A-C)이, 666단계 및 667단계에 나타낸 바와 같이, 연속하는 모션 벡터의 부분 F·V(i)에 의해 완성된다. 668단계에 나타낸 바와 같이, 연속하는 모션 벡터의 나머지는 다음의 표준화된 벡터 N(j+1)을 포함하는 첫 번째 벡터로서 추 가되며, 이는 과정(j+1)의 다음 반복 동안 처리된다. 바람직하게는, 669단계에 나타낸 바와 같이, 마지막 모션 벡터 또는 그 일부의 길이가 추가된 이후에, 아래에서 더 설명되는 바와 같이, 새로운 세그먼트(N(j))가 균일한 유닛 사이즈(N(j)=N(j)/Length(N(j)))로 표준화된다. 671단계에 나타낸 바와 같이, 660단계 내지 671단계의 반복적인 서브-과정이, 마지막 모션 벡터가 마지막 세그먼트에 할당될 때까지 계속된다. 따라서 672단계에 나타낸 바와 같이, 표준화된 모션 벡터 생성 과정 동안, 표준화된 벡터 시퀀스, 바람직하게는 어레이가 생성된다. 획득된 모션 벡터 시퀀스의 모션 벡터와는 달리, 표준화된 모션 벡터 시퀀스의 표준화된 모션 벡터들은 균일한 길이를 가진다. 균일한 모션 벡터 생성 과정이 종료된 이후에, 표준화된 모션 벡터 시퀀스가 다수 개의 잠재적인 패턴 샘플 기록과 직접 비교될 수 있다. 도 14b는 그러한 균일한 모션 벡터 시퀀스에 대한 도식적 표현을 나타낸다.

표준화된 모션 벡터 생성 과정 동안, 모션 벡터 길이(N(j)=N(j)/Length(N(j)))에 의해 나눔으로써, 각 모션 벡터가 표준화된다. 특히, 표준화에 있어서 이 부분이 바람직하게는 다음 수학식에 따라 정의된다.

여기서 (x', y')는 표준화된 모션 벡터를 나타내고, (x, y)는 표준화되기 전 에 통일된 모션 벡터 길이(A)를 나타낸다. 모션 벡터들이 상술한 바와 같이 표준화된 이후에, 그것들과 패턴 샘플 기록들의 모션 벡터들 간의 차이가 바람직하게는 각 편차(angular deviation)만을 반영한다. 이 예에서는 상기 벡터들이, 이상에서 설명하고 도 13에서와 같이, 단위 길이(1)로 표준화된다.

이하, 도 16a 및 16b를 참조하여 설명하며, 이들은 본 발명의 바람직한 실시예에 따른, 3 개의 표준화된 모션 벡터 시퀀스에 대한 도식적 그리고 숫자 표현을 나타낸다. 상술한 바와 같이, 모션 벡터 시퀀스가 표준화되었고, 표준화된 모션 벡터 시퀀스가 다수 개의 잠재적 패턴 샘플 기록과 직접 비교될 수 있다.

상술한 바와 같이, 각 패턴 샘플 기록은 소정 수의 표준화된 모션 벡터를 포함한다.

바람직하게는, 일정한 패턴 샘플 기록이 표준화된 모션 벡터 시퀀스에 매칭되는지 여부를 평가하기 위하여, 상관 값 세트가 계산된다. 상기 세트의 각 상관 값은 유사도 값을 나타내며, 이는 표준화된 모션 벡터(x', y')와 평가된 패턴 샘플 기록(Px, Py)의 해당 모션 벡터 간의 유사성을 반영한다. 바람직하게는, 상기 모션 벡터들 양자 모두 동일한 방식으로 표준화되기 때문에, 모션 벡터들 간의 차이는 그들 간의 각 편차만을 반영한다. 바람직하게는, 유사도 값(SLV:Similarity Level Value)이 상관 값으로서 계산된다. 상기 SLV는 바람직하게는 다음 수학식에 따라 정의된다.

SLV = (x'· Px )+ ( y' · Py )

모션 벡터(x',y')와 패턴 샘플 기록(Px,Py) 양자 모두 표준화되기 때문에, 유사도 값들은 -X 과 X 사이이며, 여기서 X는 최고 유사도를 나타내며 -X는 최저 유사도를 나타낸다. X는 바람직하게는 1과 동일하다. 도 7은 예시적인 표준화된 모션 벡터(810) 세트와 대응하는 모션 벡터(811)의 도식적인 표현을 나타낸다. 도시한 바와 같이, 유사도 값(812)은 표준화된 모션 벡터(810) 각각과 그에 대응하는 각각의 모션 벡터(811) 간의 각 편차에 대응한다.

상술한 바와 같이, 모션 벡터 시퀀스는 일정한 패턴 움직임을 정의한다. 상기 모션 벡터들은, 변환 장치의 변위 동안 일정한 트랙을 따라 촬영된 연속적인 디지털 이미지를 반영하는 순차적인 순서로 배열된다. 모든 움직임 패턴 트랙은, 도 11의 도면부호 142로 나타낸, 하나 이상의 선을 따른다. 따라서 일정한 움직임 패턴을 따르는 연속적인 디지털 이미지 스트림을 생성하기 위하여, 상기 변환 장치가 상기 움직임 패턴의 트랙을 따라 변위될 수 있다.

바람직하게는, 일정한 패턴 샘플 기록을 정의하는 모든 모션 벡터의 유사도 값이 합산되어, 표준화된 모션 벡터 시퀀스에 관하여, 패턴 샘플 기록의 유사도를 반영하는 매칭 스코어를 산출한다.

도 16a는 "3"자 형의 움직임 패턴(712)을 따라 촬영된 연속적인 디지털 이미지에 따라 생성되었던 표준화된 모션 벡터 시퀀스를 보여준다. 여기서는 또한 표준화된 모션 벡터와 매칭되도록 설정된 2 개의 예시적인 패턴 샘플 기록을 보여준다. 하나의 예시적인 패턴 샘플 기록(711)은 "3"자형 움직임 패턴을 위해 설정되고, 다른 예시적인 패턴 샘플(710)은 "6"자형 움직임 패턴을 위해 설정된다.

도 16b는 2 개의 표(713과 714)를 나타내며, 이들 각각은 표준화된 모션 벡터 움직임 패턴(712)에 관하여 여러 가지 패턴 샘플 기록들의 유사도 값을 포함한다. 좌측의 표(714)는 "6"자형 움직임 패턴(710)을 위해 설정된 패턴 샘플 기록의 유사도 값을 포함하고, 우측의 표(713)는 "3"자형 움직임 패턴(711)을 위해 설정된 패턴 샘플 기록의 유사도 값을 포함한다. 명백하게, 표준화된 모션 벡터 시퀀스가 "3"자형 움직임 패턴을 나타내기 때문에, 그 벡터들은 움직임 패턴(711)을 위해 설정된 패턴 샘플 기록의 벡터들과 유사하다. 움직임 패턴(713)을 위해 설정된 패턴 샘플 기록의 매칭 스코어는 움직임 패턴(714)을 위한 다른 패턴 샘플 기록의 매칭 스코어 보다 실질적으로 더 높다.

본 발명의 하나의 실시예에서는, 모든 패턴 샘플 기록의 모든 매칭 스코어가 계산된다. 매칭 스코어의 계산에 근거하여, 최고 매칭 스코어를 가지는 패턴 샘플 기록이 표준화된 모션 벡터 시퀀스에 대한 매치로서 선택된다. 다른 실시예에서는, 매칭 임계값이 미리 정의된다. 만일 패턴 샘플 기록이 상기 매칭 임계값 보다 높은 매칭 스코어를 갖는다면, 그 패턴 샘플 기록이 선택되고 다른 패턴 샘플 기록의 매칭 스코어들은 계산되지 않는다.

상기 매칭 임계값은 또한 잘못된 매칭을 회피하는 수단으로서 이용될 수 있다. 상술한 바와 같이, 최고의 매칭 스코어를 갖는 패턴 샘플 기록이 표준화된 모션 벡터 시퀀스에 대한 매치로서 선택된다. 이러한 실시예를 실행함으로써, 정의되지 않거나 다른 어느 패턴 샘플에서 대략적으로 정의된 랜덤한 움직임 패턴이, 표준화된 모션 벡터 시퀀스에 대한 매치로서 선택될 수 있으며, 이는 단지 그것이 최 고의 매칭 스코어를 가지기 때문이다. 그러므로, 이러한 잘못된 매칭을 회피하기 위하여, 최소 매칭 스코어를 결정하는 매칭 임계값이 이용될 수 있다. 바람직하게는, 움직임 패턴 변환기가 에러가 발생 및 바람직하게는 매칭 스코어 또는 에러의 유형을 나타내는 에러 메시지를 출력한다.

상술한 바와 같이, 움직임 패턴 변환기는 패턴 샘플 저장소를 포함한다. 각각의 패턴 샘플 기록은, 상술한 바와 같이, 대응하는 움직임 패턴과 매칭되도록 설정된다. 각각의 패턴 샘플 기록은 제어 신호와 연결된다. 본 발명의 하나의 실시예에서는, 패턴 샘플 저장소가 통상적인 키보드 상에서 이용가능한 모든 문자의 움직임 패턴과 매칭되도록 설정된 패턴 샘플 기록들을 포함한다. 그러한 실시예에서는, 패턴 샘플의 제어 신호들이 변환 장치의 키패드 또는 키보드의 제어 신호들로서 이용될 수 있다. 움직임 패턴 트랙을 따르는 변환 장치의 변위는, 변환 장치의 메모리에 현재 구동중인 프로그램으로 전송되는 이벤트의 통지를 생성한다.

공간 모션 벡터 시퀀스가 계산될 때, 상술한 바와 같이, 공간 움직임 패턴들이 매칭되어 제어 신호를 생성할 수 있다. 이러한 실시예에서는, 각각의 패턴 샘플 기록이, 상술한 바와 같이, 공간 움직임 패턴과 매칭되도록 설정된다.

본 발명의 하나의 실시예에서는, 상기 변환 장치가 통신 인터페이스 모듈을 더 포함하며, 이는 정해진 목적지로의 제어 신호 전송을 용이하게 한다. 예를 들어, 셀룰러 송신기가 원격으로 위치한 장치에 제어 신호를 전송하는데 이용될 수 있다. 고주파 (RF) 송신기와 같은 다른 송신기들이 제어 신호를 전송하는데 이용될 수 있다. 예를 들어, Wi-Fi 또는 IEEE 802.11 사양 송신기 기반의 WLAN(wirless local area networks)를 위한 다른 표준이 제어 신호를 전송하는데 이용될 수 있다. 단거리 디지털 전송의 표준인 블루투스가 상기 RF 통신을 위한 통신 프로토콜로서 이용될 수 있다. 상기 변환 장치는 또한 다른 원격으로 위치한 장치에 유선으로 연결될 수 있다. 유선 연결이 바람직하게는 유선 시리얼 통신을 제공한다. 시리얼 통신은 RS-232 연결, 이더넷 연결, USB 연결, 셀룰러 송수신기 연결, 파이어와이어(Firewire) 연결, USB2 연결, 블루투스 연결, 또는 적외선(IR) 연결을 포함할 수 있다. 바람직하게는, USB 또는 USB2 연결이 변환 장치에 전류를 공급하는 파워 서플라이로서 이용될 수 있다.

그러나, 제어 신호가 표준화된 모션 벡터 시퀀스와 소정 패턴 샘플들 간의 매칭에 따라서 선택되기 때문에, 상기 변환 장치는 패턴 샘플 기록들 중의 하나에 의해 표현되지 않는 움직임 패턴은 식별할 수 없다.

이하 도 17을 참조하여 설명하며, 도 17은 움직임 패턴들을 패턴 샘플 저장소로 저장하는 것과 관련된 과정인 학습 모드 동안과 기록된 움직임 패턴의 사용 동안의 이동전화 및 그의 몇 가지 디스플레이를 나타내는 도면이다. 본 발명의 하나의 실시예에서는, 움직임 패턴 변환기가 움직임 패턴 학습 유닛을 포함한다. 움직임 패턴 학습 유닛은 학습 모드 동안 사용자가 패턴 샘플 저장소의 기록들을 설정할 수 있도록 이루어진다. 학습 모드는 제스처 인식 과정과 여러 가지 방식에서 유사하다. 패턴 샘플 기록들은 개별적으로 설정된 움직임 패턴을 따라 촬영된 연속적인 디지털 이미지와 매칭되도록 설정된다. 학습 모드 동안의 패턴 샘플 기록의 설정은 표준화된 모션 벡터 시퀀스의 생성과 동일한 방식으로 행해진다. 이러한 생 성 과정은 도 13, 15a 및 15b와 관련하여 설명된다.

바람직하게는, 사용자가 변환 장치를 새로운 움직임 패턴을 따라 변위시킴으로써 촬영된 연속적인 디지털 이미지를 캡처함으로써, 또는 패턴 샘플 기록을 그리기 도구의 다른 기능들과 재연결함으로써 패턴 샘플 기록들 중의 하나를 설정한다.

학습 모드 동안에는, 상기 설정은 캡처된 연속 디지털 이미지를 패턴 샘플 기록에 저장된 대응하는 모션 벡터 시퀀스로 변환함으로써 행해진다. 상술한 바와 같이, 상기 대응하는 모션 벡터 시퀀스는 표준화된 모션 벡터 시퀀스의 생성과 동일한 방식으로 생성된다. 사용자는 또한 관련 제어 신호를 패턴 샘플 기록과 연결한다.

도 9는 예시적인 학습 과정을 나타내는 도면으로서, 여기서는 변환 장치가 학습 모드에 있는, 통합된 카메라를 가지는 이동전화(900)이고, 제어 신호는 "C"자형 움직임이다. 도 17에서, 사용자가 움직임 패턴 학습 유닛을 이용하여, 그리기 애플리케이션을 구동하고 빈 그림 공간을 표시하도록 이동전화를 작동시키는 제어 신호로 'C'자형 움직임 패턴(901)을 설정한다. 도면부호 902로 나타낸 바와 같이, 'C'자형 움직임 패턴을 할당하기 위하여, 사용자는 이동전화를 'C'자형 움직임 경로를 따라 이동시킨다. 이어 도면부호 903과 같이, 이동전화 스크린(904)은 사용자가 움직임 패턴에 일정한 기능 또는 그래픽 오브젝트를 할당할 수 있는 메뉴를 표시한다. 이 단계에서, 새로운 패턴 샘플 기록이 할당되어 'C'자형 움직임 패턴과 연결된다. 도면부호 905로 나타낸 다음 단계에서, 이동전화 스크린(904)은 새로운 패턴 샘플 기록의 수신을 나타내는 확인 메시지를 표시한다. 새로운 패턴 샘플 기 록은 사용자로 하여금, 905 및 906과 같이 'C' 제스처를 반복하고 위에서 설명한 바와 같이 저장된 것과 샘플 제스처들을 비교함으로써, 'C'자형 움직임 패턴(901)을 이동전화의 그리기 애플리케이션에 액세스하기 위한 바로가기(shortcut)로 이용할 수 있게 한다. 상기 움직임 패턴을 나타내는, 기록된 모션 벡터 시퀀스는 바람직하게는 균일한 길이를 가지는 표준화된 모션 벡터 시퀀스로 변환된다. 이 변환 과정은 바람직하게는 상술한 변환 과정과 동일하다. 그리기 도구의 다른 모든 기능은 어느 패턴 샘플 기록에도 연결될 수 있다는 것을 유념하여야 한다. 예를 들어, 이동전화로 하여금 그림 복사본을 저장하거나 그것을 일정한 번호에 SMS로 또는 이메일 주소로 전송하도록 하는 제어 신호가 패턴 샘플 기록들 중의 하나와 연결될 수 있다.

상술한 바와 같이, 상기 모션 벡터 시퀀스의 수신에는 제스처를 식별하는 명령이 동반될 수 있다. 이는 패턴 샘플 기록을 매칭하기 위하여 매칭 과정을 개시한다. 패턴 샘플 기록은 그리기 도구의 어느 기능과도 연결될 수 있다. 예를 들어, 모든 패턴은 원 또는 사각형과 같은 특정 형상의 그림과, 또는 특정 색상의 선택과 연결될 수 있다. 따라서 그리기 도구의 모든 기능이, 제스처의 수행에 대하여 그리고 그에 상관적인 반응으로서 수행될 수 있다. 상술한 학습 모드 동안에, 그러한 모션 벡터 시퀀스 또는 제스처가 상기 전화의 모든 기능과 연결될 수 있다.

바람직하게는, 움직임 패턴 학습 유닛이 일정한 패턴 샘플 기록의 소정 움직임 패턴을 재연결하는데 이용된다. 예를 들어, 사용자는 문자 'S'를 타이핑하는 것을 나타내는데 이용된 'S'자형의 소정 움직임 패턴을, 상기 장치에게 그리기 도구 를 종료시키라고 지시하는, 끄기(turn off) 지시로서 재연결할 수 있다.

바람직하게는, 변환 장치는 디스플레이 장치 및 뷰잉(viewing) 모듈과 결합된다. 뷰잉 모듈은 그래픽 사용자 인터페이스(GUI)를 사용자 입력 인터페이스를 표시하는 디스플레이 장치에 출력하도록 설정될 수 있다. 바람직하게는 상기 사용자 입력 인터페이스를 통해 사용자가 일정한 제어 신호를 새로운 패턴 샘플 기록과 연결할 수 있다. 연결된 제어 신호는 사용자 입력 인터페이스를 이용하여 상기 변환 장치의 기능이나 그에 의해 호스팅된 애플리케이션 중의 하나를 입력하거나 선택함으로써 선택된다. 바람직하게는, 상기 사용자 입력 인터페이스는 사용자로 하여금 상기 변환 장치와 통합된 MMI를 이용하여 움직임 패턴을 입력할 수 있게 하고, 그럼으로써 움직임 패턴 변환기와 인터페이스할 수 있게 한다. 사용자는 상기 MMI를 이용하여 새로운 움직임 패턴을 그리고 그것을 패턴 샘플 기록으로서 저장할 수 있다. 일반적으로 잘 알려진 바와 같이, 둘다 변환 장치에 연결되어 있는, 롤러와 같은 통상의 포인팅 장치 및 키패드와 같은 통상의 텍스트 입력 장치를 통하여, 사용자가 정보를 입력하고 선택할 수 있다. 그래픽 사용자 인터페이스를 기반으로 하여 상기 인터페이스를 표시하는 수단은 잘 알려져 있으며, 따라서 여기서는 더 이상 상세히 설명하지 않는다.

바람직하게는, 패턴 샘플 기록들이 외부 소스로부터 업데이트되거나 추가될 수 있다. 하나의 바람직한 예로서, 정해진 애플리케이션은, 사용자로 하여금, 개인 컴퓨터와 같은 호스팅 컴퓨팅 유닛을 이용하여, 패턴 샘플 기록들을 생성하거나 편집할 수 있게 한다. 상기 정해진 애플리케이션은 바람직하게는, 사용자로 하여금 움직임 패턴을 그리고 그를 패턴 샘플 기록으로 저장할 수 있게 하는, 그림 편집기를 포함한다. 이러한 그리기는 바람직하게는 통상의 마우스를 이용하여 행해진다. 저장된 패턴 샘플 기록들은 바람직하게는, 상술한 바와 같이 사용자의 저장소에 로컬적으로 저장된 패턴 샘플 기록들을 업데이트하기 위하여, 이동전화에 전송된다.

이하 도 18a, 18b, 및 18c를 참조하여 설명하며, 이들은 휴대용 자율 장치의 움직임 패턴들에 대한 도면이다. 도 18a는 선형 움직임 패턴으로서, 단일 모션 벡터에 의해 표현될 수 있다. 도 9a-d는 그러한 이동 패턴들을 따르는 이동전화의 이동을 나타낸다. 도 18b는 휴대용 자율 장치의 곡선 움직임 패턴을 나타낸다. 이 이동은 모션 벡터 시퀀스에 의해 표현될 수 있다. 도 18c는 공간 모션 벡터 시퀀스에 의해 표현될 있는 이동 패턴을 나타낸다.

본 발명의 하나의 실시예에서는, 사용자가 휴대용 자율 장치를 이용하여 그리기 도구를 제어할 수 있다. 상술한 바와 같이, 휴대용 자율 장치는 이미지 센서와 바람직하게는 디스플레이 장치를 포함한다. 몇몇 휴대용 자율 장치에서는, 이러한 조합을 통해 사용자가 소정 디스플레이 상이나 캡처된 어느 이미지 상에 그림을 그리거나, 또는 상기 휴대용 자율 장치에 저장된 다른 어떤 이미지를 그릴 수 있다. 하나의 실시예에서는, 상기 휴대용 자율 장치가 휴대용 자율 장치의 스크린 상에 가상의 2 차원 공간을 표시하도록 설정된 애플리케이션을 호스팅한다. 상기 애플리케이션은 특히 그림을 위한 블랙보드를 에뮬레이트할 수 있다. 그리기 도구의 기능들은 상술한 바와 같이 휴대용 자율 장치를 변위시킴으로써 제어될 수 있다. 그리기 도구는, 사용자가 휴대용 자율 장치를 변위시킴으로써 새로운 그림을 그릴 수 있게 하도록 설정된다. 바람직하게는, 휴대용 자율 장치의 변위는, 새로운 그림의 일부로서 그려진, 선으로 변환된다. 더 바람직하게는, 상기 휴대용 자율 장치의 변위가, 가상 블랙보드 상의 그래픽 오브젝트를 이동시키라고 번역되는 제어 신호로 변환된다. 본 발명의 하나의 실시예에서는, 그리기 도구가 일반적으로 다른 그리기 소프트웨어에서 이용가능한 기능들을 수행할 수 있도록 설정되며, 그러한 그리기 소프트웨어는 마이크로소프트 페인트(Microsoft Paint™) 또는 어도비 포토샵(Adobe Photoshop™)과 같은 개인 컴퓨터에서 그림을 생성하도록 지정된 것들을 들 수 있다. 바람직하게는, 휴대용 자율 장치의 변위가 그리기 도구에게 그러한 기능들을 수행할 것을 지시하는 제어 신호로 변환될 수 있다.

휴대용 자율 장치가 모션 벡터 시퀀스를 기록하기 때문에, 그리기 도구는 캡처된 모션 벡터 시퀀스를 그림으로써 모션 벡터를 하나씩 또는 전부 함께 그리도록 설정될 수 있다. 휴대용 자율 장치는 색상 선택, 선 두께 선택, 오브젝트 도색, 질감 변경, 형상 크기 조정 등과 같은 그리기 도구의 다른 기능들을 제어하기 위하여, 변위될 수 있다.

본 발명의 하나의 실시예에서는, 사용자가 휴대용 자율 장치를 이용하여 디스플레이 장치에 표시된 그래픽 오브젝트를 제어한다. 상술한 바와 같이, 휴대용 자율 장치는 디지털 이미지 시퀀스를 그의 이동을 나타내는 현재의 모션 벡터로 변환한다. 현재의 모션 벡터는, 상술한 바와 같이, 제어 신호를 생성하는데 이용될 수 있다. 따라서 그러한 실시예가 디스플레이 장치에 표시된 2 차원 가상공간에서 그래픽 오브젝트를 이동시키는데 이용될 수 있다. 하나의 실시예에서는, 휴대용 자 율 장치가 휴대용 자율 장치의 스크린 상의 2 차원 가상공간을 표시하도록 설정된 애플리케이션을 호스팅한다. 바람직하게는, 휴대용 자율 장치를 변위시킴으로써, 사용자는 그래픽 오브젝트를 선택할 수 있다. 예를 들어, 어느 기하학적 형상을 나타내는 그래픽 오브젝트가 가상 블랙보드를 나타내는 2 차원 공간에서 이동될 수 있다.

본 발명의 하나의 실시예에서는, 그리기 도구가 단어나 다른 사인을 그림에 추가하는데 이용될 수 있다. 그러한 실시예에서는, 패턴 샘플의 제어 신호들이 글자, 숫자, 사인과 같은 각각의 문자를 나타내는 제어 신호들과 연결될 수 있다. 모션 벡터 시퀀스가 계산될 경우에는, 상술한 바와 같이, 움직임 패턴들이 매칭되어 각각의 제어 신호를 생성할 수 있다.

본 발명의 하나의 실시예에서는, 상기 장치가 SMS 편집기 또는 텍스트 편집기를 더 포함한다. 그러한 실시예에서는, 패턴 샘플의 제어 신호들이 글자, 숫자, 사인과 같은 각각의 문자를 나타내는 제어 신호들과 연결될 수 있다. SMS와 텍스트 편집기가 공통으로, 매칭된 문자들이 디스플레이 상의 정해진 텍스트 줄에 표시될 수 있다.

본 발명의 실시예에서의 용어들, 특히 제어 신호, 무선, 이미지 센서, 디지털 이미지, 처리, 계산유닛(computing unit), 그리고 그레이스케일 이미지라는 용어의 범위는 그러한 새로운 기술 모두를 선험적으로 포함하도록 의도된 것이라고 여겨진다.

명료함을 위해 개별 실시예들의 구문으로 설명된 본 발명의 어느 특징들은 또한 단일한 실시예에서 조합되어 제공될 수 있다는 것을 알 수 있다. 역으로, 간결함을 위해, 단일한 실시예의 구문으로 설명된 본 발명의 다양한 특징들이 또한 개별적으로나 모든 적합한 하위 조합으로 제공될 수 있다.

본 발명이 그의 특정한 실시예들과 관련하여 설명되었지만, 많은 대안, 수정 및 변형이 당업자에게 자명하다는 것이 명백하다. 따라서 첨부된 청구항의 사상과 넓은 범위에 속하는, 그러한 대안, 수정 및 변형 모두를 포함하는 것으로 의도한 것이다. 본 설명에서 언급된 모든 공개물, 특허, 특허출원이, 각각 개별적인 공개물, 특허, 또는 특허 출원이 특히 개별적으로 여기에 참조로서 통합되는 것으로 지적된 것과 같은 범위까지, 참조로서 완전히 본 설명에 통합된다. 또한, 본 발명에 기재된 모든 참조의 인용 또는 확인은 그러한 참조가 본 발명에 대한 종래 기술로서 이용된다는 것을 인정하는 것으로 해석되어서는 안 된다.

Claims

자율 핸드헬드 장치에 있어서,

그림을 전자적으로 편집하는 그리기 기능을 갖는 그리기 모듈; 및

자기-모션을 감지하는 모션 감지부를 포함하고,

상기 자율 핸드헬드 장치는, 상기 모션 감지부의 감지된 모션이 상기 전자적 편집을 수정할 수 있도록, 상기 모션 감지부를 상기 그리기 기능과 연결하는 것을 특징으로 하는 자율 핸드헬드 장치.
제1항에 있어서, 상기 모션 감지부는 이미지 센서를 포함하고, 상기 자율 핸드헬드 장치의 변위 동안 캡처된 디지털 이미지를 수신하는 모션 벡터 감지 모듈을 더 포함하며,

상기 모션 벡터 감지 모듈은 상기 디지털 이미지에 따라 상기 이미지 센서의 현재 모션 벡터를 생성하도록 설정되며, 상기 자율 핸드헬드 장치는 상기 현재 모션 벡터에 따라 상기 전자적 편집을 수정하도록 설정된 것을 특징으로 하는 자율 핸드헬드 장치.
제2항에 있어서, 디스플레이 장치에 대한 연결을 더 포함하고,

상기 그림이 상기 디스플레이 장치에 표시되도록 설정된 것을 특징으로 하는 자율 핸드헬드 장치.
제3항에 있어서, 상기 전자적 편집은,

상기 디스플레이 장치 상에 선 그리기; 상기 디스플레이 장치 상에 그래픽 오브젝트 그리기; 상기 디스플레이 장치 상에 있는 그래픽 오브젝트에 대한 색상 선택하기; 상기 디스플레이 장치 상에 있는 그래픽 오브젝트에 대한 선 두께 선택하기; 상기 디스플레이 장치 상에 있는 그래픽 오브젝트를 도색하기; 상기 디스플레이 장치 상에 있는 오브젝트에 대한 질감 변경하기; 및 상기 디스플레이 장치 상에 있는 그래픽 오브젝트의 크기 조정하기로 이루어진 그룹 중에서 적어도 하나를 포함하는 것을 특징으로 하는 자율 핸드헬드 장치.
제3항에 있어서, 상기 전자적 편집은 상기 디스플레이 장치에 표시된 그래픽 오브젝트를 상기 현재 모션 벡터에 따라 이동시키기를 포함하는 것을 특징으로 하는 자율 핸드헬드 장치.
제1항에 있어서, 상기 전자적 편집은, 생성하기, 변경하기, 및 재배치하기로 이루어진 그룹 중 하나를 포함하는 것을 특징으로 하는 자율 핸드헬드 장치.
제3항에 있어서, 상기 디지털 이미지는 배경 표현 정보를 가지는 기준 프레임과 샘플 프레임을 포함하고,

상기 모션 감지 모듈은 상기 기준 프레임의 경계 내에 기준 영역의 위치와 상기 샘플 프레임의 경계 내에 매칭 영역을 선택하는 매칭 영역 모듈과, 상기 기준 영역과 상기 매칭 영역의 상대적 위치에 근거하여 상기 자율 핸드헬드 장치의 상기 현재 모션 벡터를 생성하는 변위 감지 모듈을 포함하고,

상기 디스플레이 장치는 상기 현재 모션 벡터에 따라 디스플레이를 생성하는 것을 특징으로 하는 자율 핸드헬드 장치.
제7항에 있어서, 상기 매칭 영역 모듈은 복수 개의 잠재적인 제1 영역의 불균일도에 따라 기준 영역의 위치를 선택하고,

상기 불균일도는 잠재적 제1 영역의 픽셀 각각의 균일도 값의 파생물인 것을 특징으로 하는 자율 핸드헬드 장치.
제2항에 있어서, 상기 이미지 센서는,

씨모스(CMOS) 센서와 씨씨디(CCD) 센서로 이루어진 그룹 중의 하나를 포함하는 것을 특징으로 하는 자율 핸드헬드 장치.
제1항에 있어서, 상기 자율 핸드헬드 장치는, 모바일 핸드셋, 핸드헬드 장치, 및 프로세서-기반 다기능 휴대용 핸드헬드 장치로 이루어진 그룹 중의 하나인 것을 특징으로 하는 자율 핸드헬드 장치.
제3항에 있어서, 상기 현재 모션 벡터를 수신하는 병합 모듈을 더 포함하고,

상기 병합 모듈은 상기 변위 동안에 상기 현재 모션 벡터와 연속적인 모션 벡터 시퀀스를 병합하도록 설정되며, 상기 그리기 모듈은 상기 연속적인 모션 벡터 시퀀스에 따라 상기 그림을 편집하도록 설정된 것을 특징으로 하는 자율 핸드헬드 장치.
제11항에 있어서,

각각의 패턴 샘플 기록이 소정 움직임 패턴을 나타내는 복수 개의 패턴 샘플 기록을 저장하는 움직임 패턴 저장소; 및

상기 복수 개의 패턴 샘플 기록과 상기 연속적인 모션 벡터 시퀀스 간을 매칭시키는 움직임 패턴 매칭 모듈을 더 포함하고,

상기 그리기 모듈은 상기 매칭에 따라 상기 그림을 편집하도록 설정된 것을 특징으로 하는 자율 핸드헬드 장치.
제12항에 있어서, 상기 소정의 움직임 패턴은 비선형 움직임 패턴인 것을 특징으로 하는 자율 핸드헬드 장치.
제12항에 있어서, 상기 움직임 패턴 매칭 모듈은 상기 매칭에 따라 상기 디지털 이미지들이 소정의 움직임 패턴 각각을 따라 촬영되는지를 결정하도록 설정된 것을 특징으로 하는 자율 핸드헬드 장치.
제12항에 있어서, 상기 병합 모듈은 새로운 기록을 상기 복수 개의 패턴 샘플 기록에 추가하는데 이용되고,

상기 새로운 기록은 상기 디지털 이미지들에 따라 생성되는 것을 특징으로 하는 자율 핸드헬드 장치.
제2항에 있어서, 사용자 인터페이스를 더 포함하고,

상기 사용자 인터페이스는 사용자가 상기 디지털 이미지의 캡처를 개시 및 종료할 수 있도록 설정된 것을 특징으로 하는 자율 핸드헬드 장치.
제12항에 있어서, 상기 복수 개의 패턴 샘플 기록 중의 각 하나는 모션 벡터의 어레이를 포함하는 것을 특징으로 하는 자율 핸드헬드 장치.
제12항에 있어서, 상기 그리기 모듈은,

상기 디스플레이 장치 상에 그래픽 오브젝트 그리기; 상기 디스플레이 장치 상에 있는 그래픽 오브젝트에 대한 색상 선택하기; 상기 디스플레이 장치 상에 있는 그래픽 오브젝트에 대한 선 두께 선택하기; 상기 디스플레이 장치 상에 있는 그래픽 오브젝트를 도색하기; 상기 디스플레이 장치 상에 있는 오브젝트에 대한 질감 변경하기; 및 상기 디스플레이 장치 상에 있는 그래픽 오브젝트의 크기 조정하기로 이루어진 그룹 중에서 적어도 하나를 상기 매칭에 따라 수행하도록 설정된 것을 특징으로 하는 자율 핸드헬드 장치.
제12항에 있어서, 상기 그리기 모듈은 상기 매칭에 따라 디스플레이 장치 상에 문자를 그리도록 설정된 것을 특징으로 하는 자율 핸드헬드 장치.
이미지 센서 입력에 따라서 디스플레이 장치를 갖는 자율 핸드헬드 장치의 동작을 제어하는 방법에 있어서,

a) 상기 자율 핸드헬드 장치의 변위 동안에 이미지 센서에 의해 캡처된 디지털 이미지들을 수신하는 단계;

b) 상기 디지털 이미지들에 따라서 상기 자율 핸드헬드 장치의 현재 움직임을 식별하는 단계; 및

c) 상기 현재 움직임에 따라서 디스플레이 장치 상의 그림을 편집하는 단계를 포함하는 것을 특징으로 하는 자율 핸드헬드 장치의 동작을 제어하는 방법.
제20항에 있어서, 상기 c)의 편집하는 단계는,

상기 디스플레이 장치 상에 그래픽 오브젝트 그리는 단계; 상기 디스플레이 장치 상에 있는 그래픽 오브젝트에 대한 색상 선택하는 단계; 상기 디스플레이 장치 상에 있는 그래픽 오브젝트에 대한 선 두께 선택하는 단계; 상기 디스플레이 장치 상에 있는 그래픽 오브젝트를 도색하는 단계; 상기 디스플레이 장치 상에 있는 오브젝트에 대한 질감 변경하는 단계; 및 상기 디스플레이 장치 상에 있는 그래픽 오브젝트의 크기 조정하는 단계로 이루어진 그룹 중에서 적어도 하나를 더 포함하 는 것을 특징으로 하는 자율 핸드헬드 장치의 동작을 제어하는 방법.
제20항에 있어서, 상기 b)의 식별하는 단계는:

i) 상기 디지털 이미지들로부터 배경 장면(scene)을 나타내는 현재의 디지털 이미지를 수신하는 단계;

ii) 상기 현재의 디지털 이미지 내에 제1 영역의 위치를 선택하는 단계;

iii) 상기 디지털 이미지들로부터 상기 배경 장면의 중첩 부분을 나타내는 나중의 디지털 이미지를 수신하는 단계;

iv) 상기 나중 디지털 이미지 내의 상기 제1 영역에 매칭되는 제2 영역의 위치를 식별하는 단계로서, 상기 매칭은 상기 제1 및 제2 영역이 상기 배경 장면(scene) 중에서 동일한 부분을 나타내도록 이루어지는 것인, 식별하는 단계;

v) 상기 제1 영역과 상기 제2 영역 간의 변위에 따라서 상기 자율 핸드헬드 장치의 현재 모션 벡터를 계산하는 단계; 및

vi) 상기 현재 모션 벡터를 상기 현재 움직임으로써 출력하는 단계를 포함하는 것을 특징으로 하는 자율 핸드헬드 장치의 동작을 제어하는 방법.
제20항에 있어서,

상기 단계 a), b), 및 c)를 반복하는 단계 d)를 더 포함하는 것을 특징으로 하는 자율 핸드헬드 장치의 동작을 제어하는 방법.
제22항에 있어서, 상기 제1 영역은 상기 제1 현재 디지털 이미지와 중심을 공유하는 사변형 영역인 것을 특징으로 하는 자율 핸드헬드 장치의 동작을 제어하는 방법.
제22항에 있어서, 상기 ii)의 선택하는 단계는 상기 제1 현재의 디지털 이미지의 복수의 잠재적 제1 영역의 콘트라스트 레벨에 따라 수행되는 것을 특징으로 하는 자율 핸드헬드 장치의 동작을 제어하는 방법.
제22항에 있어서, 상기 a) 단계 이전에, 휴대용 자율 장치 조작자에게 감응도 인자를 입력하고 상기 감응도 인자에 따라서 상기 모션 벡터를 조정하는 기능을 제공하는 단계를 더 포함하는 것을 특징으로 하는 자율 핸드헬드 장치의 동작을 제어하는 방법.