KR20070004466A - 소형 정보단말기의 디스플레이를 움직여 가상화면 및마우스 커서를 이동 시키는 방법 - Google Patents

Abstract

본 발명에서는 소형 정보단말기의 디스플레이 크기의 제약성을 극복하기 위한 확대된 가상화면을 제공하기 위하여, 고정된 디스플레이 상에 마우스나 키보드 등의 각종 입력 수단에 의하여 가상화면을 이동시켜 사용하던 종래의 개념을 반대로 적용하여 소형 정보단말의 디스플레이를 공간적으로 이동 시 정보단말 장치의 움직임 정보를 정보단말 장치가 인식하여 디스플레이 창에 필요한 가상화면 영역을 나타내거나 확대/축소하는 방법이 고안되었다. 이 방법은 돋보기로 신문을 읽듯이 디스플레이 창을 실제로 필요한 만큼 움직여 가상화면의 다른 영역을 보거나 확대 축소할 수 있게 해 주므로 사용자로 하여금 보다 자연스럽게 가상화면의 정보를 읽을 수 있게 한다. 또한 디스플레이의 이동 정보를 인식하기 위하여 3차원 자이로 센서 또는 함께 장착된 카메라의 영상정보를 사용하는 방법이 제시 되었다. 이 개념으로 마우스 기능을 대치하기 위하여 디스플레이 화면의 한곳(예;중앙)에 가상 커서를 고정 위치 시키고 마우스가 아닌 디스플레이 자체를 이동시켜 커서를 화면 상에서 움직이는 새로운 방법이 함께 고안되었다.

가상화면, 정보단말 이동, 마우스 이동

Description

소형 정보단말기의 디스플레이를 움직여 가상화면 및 마우스 커서를 이동 시키는 방법 {The Vilture Screen and Mouse Curcer Moving Method by Movement of the Display of Hand Helded Information Equipment}

도 1은 본 발명에 따른 소형 정보 단말장치를 이동 시켜 가상화면의 다른영역을 화면에 나타내는 것을 도시한 개략도.

도 2는 본 발명에 따른 본래의 디스플레이 보다 고해상도의 데이타가 메모리에 저장된 상태에서 디스플레이의 전후 이동에 따른 가상화면 축소/확대 사용 개념을 도시한 개략도.

도 3은 본 발명에 따른, 최초 설정 후 디스플레이의 위치 변화에 따른 화면 배율산정 및 화면 표시 절차 흐름도.

도 4는 본 발명에 따른, 자이로 센서의 위치 정보를 이용한 가상화면 제공 방법을 예시한 구성도.

도 5는 본 발명에 따른, 카메라를 이용한 디스플레이의 위치정보 인식 방법에 의한 가상화면 제공 방법을 예시한 구성도.

도 6은 본 발명에 따른, 기준영역을 설정하고 이를 비교 영상과 비교하여 위치 이동 정보를 식별하는 사례를 도시한 개략도.

도 7은 본 발명에 따른, 기준영역을 설정하고 이를 비교 영상과 비교하여 전방으로 위치 이동 정보를 식별하는 사례를 도시한 개략도.

도 8은 본 발명에 따른, 디스플레이에 가상 커서를 소프트적으로 고정 위치 시킨 상태에서 디스플레이 이동에 따른 가상 커서의 화면 상의 이동을 예시한 개념도.

휴대용 소형 정보단말기의 보급과 유무선 통신 수단의 발전은 휴대용 정보단말기를 통한 멀티미디어 정보제공 서비스 시장의 급속한 확대를 가져오고 있다.

이러한 시장의 확대에도 불구 하고 휴대용 정보단말장치는 휴대의 간편성을 유지하기 위하여 소형 디스플레이를 사용하고 있다. 디스플레이 크기의 증대는 정보 가독률을 증가시키지만, 무게와 크기의 증가로 인한 휴대 간편성 저하를 방지하기 위하여 불가피하게도 여전히 작은 크기의 디스플레이를 사용하고 있는 실정이다. 그러나 이 같은 소형 디스플레이는 단위 픽셀의 크기의 제한으로 인하여 가시화면의 해상도가 크게 떨어지며 이는 사용자의 정보 가독률을 저하 시키는 주요 요인이 되고 있다. 핸드폰의 경우는 아주 열악한 디스플레이 환경에서 웹 정보를 제공하기 위하여 웹상의 사진이나 기타 정보의 해상도를 별도의 WAP 규격으로 전환해야 하는 어려움을 가지고 있어 컨텐츠 비지니스 발전의 제약 요인으로 작용하고 있다. 이 같은 문제점을 극복하기 위하여서는 단위 픽셀의 크기를 최소화하기 위한 물리적 접근을 시도하고 있으나 현재의 기술로는 이점을 극복하기 위한 물리적 한계에 직면하고 있으며 실제로 고해상도, 예를 들면 1024 X 768, 소형 디스플레이를 고가로 개발하여도 사람의 눈으로 작은 물체와 글자를 읽는 것이 어려우므로 이 또한 한계를 가지고 있다.

또 다른 접근 방법은 디스플레이 화면의 한계를 극복하기 위하여 소프트적으로 해상도가 확대된 가상 화면을 만들고 마우스나 키보드의 조작을 통하여 가상 화면을 디스플레이 창으로 이동시키는 기술이 개발되어 과거 소형 노트북의 경우에 적용된 바가 있다. 그러나 이 방법은 키보드나 마우스의 조작으로 소형화면에 확대된 가상 화면을 보여줄 수 있다는 장점이 있으나 조작의 불편함과 가시화면 사이의 이동 시에 어색함을 가지고 있다. 이 기술은 화면의 크기나 무게가 이동에 부적합한 당시의 상황에서 모니터가 당연히 고정된 상태에서 가상화면을 이동시키려는 발상에 의한 기술적 구현이었다. 그러나 현재의 휴대용 정보단말기는 과거의 노트북이나 모니터와는 달리 정보단말 장치 자체가 소형 경량화되어 간편하게 이동시킬 수 있으므로 본 발명에서는 이점에 착안하여 휴대용 정보단말에 적합하도록 과거의 개념을 반대로 적용하였다.

즉, 돋보기로 신문을 볼 때와 같이 가상 대상 화면을 정지시키고 정보단말 모니터 자체를 움직여 가상화면의 필요한 부분의 내용을 찾아 보는 보다 인간 중심의 자연스러운 방법을 고안하였다.

본 발명에서는 이러한 기능을 구현하기 위하여 휴대용 정보단말 장치의 움직임을 식별하여 얻어진 정보를 이용하여 디스플레이 창을 필요한 가상화면 영역으로 이동시키는 방법이 제시되었다. 이 방법은 과거의 방법이 가상화면의 다른 영역을 디스플레이 창으로 마우스나 키보드 조작으로 이동시켰던 것에 비하여 디스플레이 창을 실제로 필요한 만큼 움직여 가상화면의 다른 영역을 볼 수 있게 해 주므로 사용자로 하여금 앞에 펼쳐진 가상화면을 창을 움직여 보는 실감을 느끼게 할 수 있다. 직접움직임의 식별은 장치의 상하좌우 이동은 물론 전후 이동 등의 3차원 이동정보의 인식을 위한 경제적인 구현 방법이 필요한데 상하좌우의 이동은 가상화면 상의 이동을 위한 것이고 전후 이동은 가상 화면상의 축소와 확대를 제어하기 위한 것이다.

1. 휴대용 정보단말의 이동정보를 이용한 가상화면 사용 방법

본 발명에서는 소형 정보단말기의 모니터 크기보다 큰 가상의 화면을 보기 위하여 정보단말의 디스플레이를 창으로 하여 이를 공간적으로 이동시켜 가상화면의 다른 영역 내용을 볼 수 있는 새로운 방법을 고안하였다. 또한 정보단말의 디스플레이를 전후로 이동시키고 위치 정보를 식별하여 이 정보를 가상화면을 축소 또는 확대시키는데 사용하는 방법이 함께 고안되었다. 본 고안의 개념을 도 1에서 예를 들어 설명하면 다음과 같다. (1)은 휴대용 정보단말의 디스플레이 창이고 (2)는 정보단말기이다. 현재까지는 이 창의 크기 안에 전체 화면을 띄어 놓고 사용하여 왔다. 예를 들면 핸드폰의 경우는 240X320 픽셀의 해상도를 갖는 QVGA 그래픽 디스플레이를 사용한다. 그러나 본 발명에서는 이 한계를 극복하기 위하여 그래픽 드라이버와 메모리를 이용하여 보다 넓은 가상화면(3)을(예를 들면 1024X768 픽셀) 메모리에 저장하여 놓고 정보단말기 창의 이동 위치를 인식하여 해당 위치의 240X320 픽셀 만큼의 가상화면 영역을 디스플레이(1)의 창에 표시하도록 하였다. 이러한 방법은 마치 정보단말기의 디스플레이어가 이동 위치한 공간에 가상화면이 존재하는 것 같은 효과를 제공한다. 이렇게 하므로서 디스플레이어의 크기의 증가나 해상도 증가를 위한 물리적 투자 없이 사용자의 전면에 가상화면을 전개하여 놓고 사용자가 휴대용 정보단말의 디스플레이어를 돋보기 창처럼 사용하여 이동하므로서 실제 디스플레이의 해상도 보다 큰 해상도의 가상화면을 사용자에게 제공할 수 있다. 이때 확대된 가상화면(3)의 크기는 디스플레이(1)를 사용자의 전면으로 내민 거리에 비례하도록 설정하여야 한다.

또한 도 2와 같이 실제 메모리에 저장된 컨텐츠의 해상도보다 나타내는 가상화면(3)의 크기가 작은 경우, 즉 사용자에 가까운 영역(10)에서는 디스플레이의 위치에 따라 컨텐츠의 실제 해상도를 축소하여 제한된 디스플레이에 표시하고 반대로 실제 컨텐츠의 해상도 보다 더 큰 해상도의 가상화면을 사용할때(영역 (9))는 디스플레이의 위치에 따라 컨텐츠의 해상도를 확대하여 디스플레이에 나타내어 사용할 수 있다. 이를 도 2에서 상세히 설명하면 다음과 같다.

메모리에 저장된 컨텐츠의 해상도를 Rc(4)라고 하고 디스플레이의 해상도를 Rd(5),사용자가 디스플레이를 전후로 이동하여 선택하는 가상화면의 해상도를 Rv(6)라고 하면 디스플레이가 최초의 위치인 d1(7)의 위치에 있을 때는 Rd(5)의 해상도에 Rc(4)의 화면을 축소하여 전체 화면을 표시하게 된다. 이때의 축소 비율은 Rc/Rd=kL (k는 사용자의 환경설정을 위한 비례상수, L은 메모리에 저장된 컨텐츠의 해상도에 해당하는 위치인 d2와 최초의 디스플레이의 위치인 d1과의 거리) 이다. 예를들어, k가 2 이고 컨텐츠의 해상도가 디스플레이의 해상도 보다 10배의 해상도라면 축소 비율은 10이고 거리 L은 5 센치가 된다. 또한 d ≤ L 이면 가상화면의 해상도는 Rv=Rc/k(L-d)가 되고, d ＞ L 이면 Rv=Rc(d-L)*k 가 된다. 이때 디스플레이에 표시 가능한 가상화면의 영역은 Rd/Rv 만큼만 보여주게 되므로 디스플레이를 상하좌우로 이동하므로써 나머지 영역을 볼 수 있게 된다. 만약 컨텐츠의 해상도 Rc(4)가 디스플레이의 해상도 Rd(5)와 같다면 디스플레이의 위치는 d2(8)와 같으므로 디스플레이를 사용자의 전방으로 움직인다는 것은 디지탈 적인 확대를 하는 영역 (9)에서 만 작동하는 경우가 된다.

실제로 이 방법을 정보 단말기에 적용하는 경우는 무한정 확대하는 것은 의미가 없으므로 최대로 확대한 가상화면의 크기를 제한하는 것이 바람직하다. 또한 디스플레이를 상하좌우로 이동 시에 가상화면의 모서리를 벗어난 영역은 의미가 없으므로 디스플레이어가 가상화면의 모서리에 다다르면 화면의 이동을 정지 시켜 더이상의 화면이 없음을 사용자에게 알리는 것이 필요할 것이다. 즉 사전에 설정된 영역 ABCD를 벗어난 영역에서는 화면의 이동을 정지 시키는 것이 필요하다.

도 3 는 상기의 기능을 수행하기 위한 절차도이다. 사용자는 최초 사용 시에 운영 거리 L과 최대 확대 비율을 설정(11)한다. 정보단말의 평소 다른 사용 시의 계산부하를 줄이기 위해서는 버튼 스위치나 키보드로 고안된 방법의 시작을 선택할 수 있다. 기능의 선택은 디스플레이어의 위치정보를 인식하는 모듈을 작동(12) 시켜 이를 프로세서에 통보하고 프로세서는 사용자와 디스플레이어의 거리의 변화에 따른 화면의 비율과 상하좌우 변화에 따른 가상화면에서의 디스플레이어의 위치를 계산하고(13) 이 정보를 사용하여 디스플레이 제어기가 메모리에 위치한 컨텐츠의 일부분을 확대 또는 축소하여(14) 디스플레이어에 보내어 표시(15)하도록 한다.

상기와 같은 방법을 통하여 정보단말기의 디스플레이를 사용자의 앞으로 내밀면 보다 확대된 가상화면의 일부분이 정보단말의 디스플레이 창에 나타나게 함으로써 창에 보이는 화면의 확대효과를 제공하게 된다. 마찬가지로 디스플레이 창을 사용자의 앞으로 당기면 덜 확대된 가상화면의 일부를 창을 통하여 보여 주므로써 마치 화면이 축소되어 보여지는 효과를 제공할 수 있게 된다. 따라서 본 발명은 사용자가 사용자의 전면에 거리에 비례한 가상 화면을 신문처럼 만들어 놓고 마치 돋보기로 신문을 보는 것과 동일한 방법으로 화면을 이동 및 확대시켜 보게 되므로, 휴대용 정보단말 장치의 소형 디스플레이로 인한 가독성의 제약이라는 단점을 극복할 수 있게 한다..

2. 소형 정보단말 장치가 디스플레이 이동정보를 인식하기 위한 방법

가. 3차원 공간위치 인식을 위한 자이로 센서를 이용한 방법

이 방법은 가상화면을 제공하기 위하여 소형 정보단말기에 자이로 센서를 부착하여 사용하는 것이다. 한가지 실시예를 도 4에서 설명하면, 자이로 센서(16)로 부터 얻어진 정보를 프로세서(17)에 전송하고 이를 가공하여 디스플레이의 위치정보를 추출하여 내며 이 결과를 디스플레이 제어기(18)에 전송하므로써 메모리(19)에 저장된 보다 고해상도 화면 데이터의 일부를 디스플레이(20)에 표시하도록 하는 방법이다.

이 방법은 정확한 위치를 식별할 수 있다는 장점이 있으나 자이로 센서 부착에 따른 가격과 부피 및 무게의 상승을 감수하여야 한다.

나. 소형 정보단말기에 부착된 카메라를 이용하는 방법

소형 정보단말기에 부착된 카메라는 사진이나 동영상을 촬영하는 경우 외에는 정보단말기에서 사용을 하지 않는다. 본 발명에서는 이 같이 평시에 사용하지 않는 카메라를 이용하여 디스플레이의 위치 이동 정보를 식별하는 방법을 고안하여 이를 상기 가상화면 제공 방법에 적용토록 제시하였다.

한가지 실시 예를 일반적인 정보단말기 구조인 도 5에서 설명하면 카메라(21)로 부터 입력된 정보는 영상처리를 위하여 전용처리장치(23)를 거쳐 메모리(19)에 저장된다. 본 발명에서는 위치정보 식별요구가 정보단말의 버튼 등의 외부 인터페이스 장치(24)에 의하여 프로세서(17)에 통보되면 프로세서(17)는 아래의 기능을 갖는 전용신호처리 장치(23) 또는 소프트 모듈을 가동시켜 디스플레이의 위치정보를 아래와 같은 방법에 의하여 획득한다.

1) 2차원 평면에서의 상하좌우 이동 식별

카메라에서 입력되는 영상을 일정 시간 간격(또는 프레임 단위)으로 화면을 캡쳐하여 상호 비교를 하고 이를 통하여 이동의 방향을 도출한다. 이를 위한 영상처리 방법의 한가지 실시 예는 도 6에서와 같이 기준 영상의 중심영역에 비교를 위한 N X M 개의 픽셀 크기의 기준 이미지 창(26)을 선정하고(예; 5X5 픽셀 크기) 이 창을 비교 영상(27) 위에서 차례대로 이동을 하면서 창의 크기 만큼의 비교영상과 기준영상의 차이를 도출한다. 이렇게 하여 얻어진 값 중에서 가장 작은 차이값을 갖는 위치와 기준 영상의 중심 위치와의 거리가 디스플레이가 시간 간격 동안에 이동한 방향과 거리(28)를 나타낸다. 이 방법은 이미지 처리 기술상의 상관관계분석(2차원 Correlation) 기법에 해당된다. 즉 비교 이미지를 Y(i,j), 기준 이미지를 X(n,m)이라고 하면 2차원 상관관계 분석한 결과 데이타 W(i,j)는 아래와 같다.

W(i,j)=∑∑[Y(n+i,m+j)-X(n,m)], [ ]는 절대값

단, ∑ 은 각각 n과 m에 대하여 기준 이미지 픽셀의 가로 세로 픽셀 수 N, M 만큼 한다.

이러한 이동정보 식별은 획득되는 영상의 매 앞 뒤 프레임에 계속적으로 적용하므로써 연속적인 위치 이동 정보를 식별하게 할 수 있다.

2) 디스플레이의 사용자 앞뒤로의 이동 식별

정보단말기에 부착된 카메라가 앞뒤로 움직이면 입력되는 영상은 화면의 중심으로부터 확대/축소된 이미지가 입력된다. 따라서 비교 이미지를 점진적으로 축소/확대하면서 기준이미지와 비교하면 차이가 가장 적은 상태의 이미지 확대/축소 상태가 디스플레이의 전후 이동 정보를 가리킨다.

기준 이미지 창의 크기나 확대/축소를 정밀하게 하면 보다 정확한 결과를 얻을 수 있으나 계산량의 증가로 인한 하드웨어에서의 계산 소요시간이 영상 간의 시간 간격 이내에 드는 범위에서 창의 크기와 축소/확대 정밀도를 조절하여 적용하여야 함은 물론이다.

3. 디스플레이 이동 정보로 가상화면을 제공하는 기법을 이용한 가상 마우스와 키보드 구현 방법

가. 가상 커서 사용 방법

소형 정보단말기가 과거의 마우스 크기로 줄어 들게 되므로서 주변 장치의 크기가 장비의 설계에 커다란 영향을 끼치게 되었다. 따라서 이러한 문제점을 극복하기 위하여 본 발명에서는 상기 1,2항에서 고안한 가상화면 제공 방법을 마우스와 키보드에 적용하는 방안을 아래와 같이 고안하였다.

첫째, 정보단말기(31) 디스플레이의 한곳(예;중앙)에 소프트적으로 마우스 커서를 고정적으로 오버레이 시킨다(30)(이하; 가상커서). 단, 필요 시 이 가상커서는 디스플레이가 공간적으로 이동 시에만 나타나게 프로그래밍 하므로써 평시 화면을 가리는 것을 방지할 수 있다.

둘째, 정보단말기를 이동시켜 나타난 가상화면(32) 안에서 클릭이 필요한 위치를 디스플레이 상의 가상커서(33)(예;중앙) 아래에 오도록 한다.

세째, 정보단말기에 위치한 버튼을 클릭하여 가상커서를 클릭한다.

이 방법은 디스플레이와 화면을 고정시키고 마우스를 움직이던 종래의 개념 을 반대로 적용하였다. 즉, 마우스 커서를 디스플레이의 한곳에 위치시키고 디스플레이를 이동시켜 가상화면을 이동시키는 방법으로 클릭이 필요한 곳을 가상 커서 아래로 이동시키는 새로운 개념을 고안하였다. 또한 이 방법은 동일한 개념을 키보드나 키패드에 적용하여 키보드를 대치한 가상키보드에도 사용할 수 있다. 예를 들면 핸드폰이나 PDA 화면에 키패드를 나타내고 핸드폰이나 PDA를 상하좌우로 이동시켜서 가상 커서 상에 필요한 키가 위치하게 하여 이를 클릭 하므로써 물리적인 키패드를 대신 할 수 있다.

나. 가상 커서를 위한 가상화면의 여분 설정방법

상기 방법을 실제로 적용하기 위해 가상 커서를 디스플레이 상의 절대 위치인 한곳에 위치 시에 가상화면을 이동시키면 가상화면의 변두리에 위치한 곳은 가상커서 아래로 이동시키기가 곤란하다. 따라서 이 문제를 극복하기 위하여는 실제화면 밖에 여분영역을 가상화면상에 나타내어 디스플레이를 이동 시에 실제화면의 가장자리까지 가상 커서를 갈 수 있도록 할 수 있다. 그러나 이 방법은 가상화면상 여분의 공간을 위한 메모리 공간을 필요로 하고 화면의 모습을 부자연스럽게 할 수도 있다.

가상화면의 여분공간을 줄이기 위해서는 정보단말기를 사용자 앞으로 내밀어 가상화면을 확대하여 사용하면 디스플레이 변두리와 가상 커서 간의 거리이격효과가 줄어드므로 가상화면의 여분공간 폭을 줄일 수 있다. 예를들면, 실제 제품에 적용 시에는 4배 확대된 가상 화면에서는 디스플레이 폭의 1/4 만큼의 여분의 공간이면 화면의 변두리까지를 중앙에 위치시킨 가상 커서 아래로 이동시킬 수 있다.

본 발명에서 제시한 방법은 마우스나 키패드 등의 인터페이스 장치를 소프트적으로 대신 할 수 있으므로 제조 비용의 절감과 소형/경량화를 실현시킬 수 있다.

다. 디스플레이 이동정보를 이용하여 가상커서를 이동시켜 클릭 방법

가상화면을 확대하지 않고 본래의 화면에서 가상커서를 사용할 경우에는 디스플레이의 이동 정보를 가상커서에 연동시켜 가상커서를 화면 위에서 이동 시키는 방법에 의하여 디스플레이 자체를 마우스로 사용할 수도 있다. 이 방법은 상기 나항의 변두리를 가상커서 아래로 이동 시키기 위하여 여분의 공간을 부여 시의 단점을 제거하기 위하여 사용 될 수 있다. 즉, 디스플레이 창이 가상공간의 변두리를 나타내면 더 이상의 가상화면 이동을 중지하고 이때 부터는 가상 커서를 이동하게 하는 방법을 적용하므로써 상기 나 항에서 기술한 가상화면의 여분의 공간을 나타내는 것을 대신하여 가상 커서로 화면의 변두리에 위치한 클릭바를 클릭 할 수 있게 해준다. 물론 이때 디스플레이 이동과 화면상의 가상커서 이동 속도를 조절 시키므로써 사용자의 편의를 보완할 수 있다.

본 발명은

첫째; 소형 정보단말기의 디스플레이 창의 한계를 극복하고 이를 가상화면으로 확대하여 주므로 보다 넓은 공간에 메뉴나 각종 정보를 표시할 수 있게 해준다. 따라서 이를 핸드폰에 적용 시에는 디스플레이의 크기를 증가시키지 않고도 넓은 화면상에 정보를 제공할 수 있다.

둘째; 돋보기로 신문을 읽듯이 정보단말기를 상하좌우로 이동시키는 사용자의 움직임에 연동 되어 확장된 가상화면을 연속적으로 보여 줄 수 있고 화면확대 및 축소가 필요시에는 정보단말을 단순히 사용자의 전면으로 내밀어 주거나 당겨 주는 동작만으로 화면의 확대 및 축소가 가능하므로 사람이 일상에서 물건이나 정보를 얻는 방법과 매우 유사한 수준의 자연스러움을 제공한다.

셋째; 상기의 기능이 별도의 키 조작이 없이 사용자의 자연스러운 움직임으로 구현이 가능하다.

넷째; 카메라를 이용한 정보단말의 움직임 식별방법은 별도의 하드웨어 추가 없이 정보단말의 움직임을 식별할 수 있어 장비의 소형 경량화는 물론 비용의 증가를 요구하지 않는다.

다섯째; 가상화면을 고정 시키고 정보단말기를 움직여 필요한 화면의 위치를 찾아보는 방법을 마우스나 키패드에 적용 시에는 정보단말기의 마우스나 키패드를 대신 할 수 있어 장비의 소형화/경량화를 강화 시키고 비용을 절감할 수 있다.

Claims (3)

1. 휴대 가능한 정보단말기의 소형 디스플레이 창의 제약을 극복하기 위하여, 확장된 해상도의 가상화면을 공간적으로 정지된 디스플레이 창에 키보드나 마우스에 의하여 이동시켜 가상화면의 필요영역을 보여 주던 과거의 개념과 반대로,

   가상화면을 이동시키지 않고 소형 정보단말기의 디스플레이 창 자체를 공간적으로 이동시켜 가상화면 상의 필요영역을 볼 수 있게 하는 것을 특징으로 하는 가상화면 제공 방법에 있어서

   가. 정보단말기 디스플레이 창이 물리적으로 이동하여 위치한 영역에 해당되는 가상화면 영역의 데이타를 정보단말기 디스플레이 창에 보내기 위하여, 정보단말기의 디스플레이 창의 상하좌우 이동정보를 식별하고 이를 이용하는 것을 특징으로 하는 가상화면 제공방법:

   나. 소형 정보단말기를 사용자의 앞으로 내밀거나 잡아 당기면 디스플레이 창의 이동정보를 식별하여 정보단말기의 디스플레이 창의 화면을 확대하거나 축소시키는 것을 특징으로 하는 가상화면 제공방법

   다. 소형 정보단말기 사용자가 가상화면 제공 모드 선택 시에

   첫째, 디스플레이의 위치정보를 인식하는 모듈을 작동 시키고

   둘째, 위치정보 인식 모듈의 출력을 프로세서 또는 제어 모듈에 전송하고

   세째, 프로세서나 제어 모듈이 사용자와 디스플레이 간의 거리의 변화에 따른 비율과 상하좌우 이차원 이동에 다른 가상화면에서의 디스플레이의 위치를 계산 하며

   네째, 이 정보를 사용하여 디스플레이 제어 모듈을 통제하고 메모리에 위치한 가상화면의 정보의 일부를 확대 또는 축소하여 디스플레이에 보내는 것을 특징으로 하는 소형 정보단말 디스플레이에 가상화면 제공 방법

   라. 상기 가, 나 다 항의 방법을 적용 시에 무한정 가상 화면의 확대는 불필요 하므로 간편히 소형 정보단말을 움직일 수 있는 공간 범위와 그에 따른 가상화면의 해상도 범위를 사전에 설정하고 디스플레이의 위치가 이 범위를 벗어나면 더이상의 가상화면의 변화를 정지시켜 사용자로 하여금 가상화면의 테두리에 디스플레이가 위치하고 있다는 것을 알려 주는 것을 특징으로 하는 가상화면 제공 방법
2. 가상화면을 이동시키지 않고 소형 정보단말기의 디스플레이 창 자체를 공간적으로 이동시켜 가상화면 상의 필요영역을 볼 수 있게 하는 것을 특징으로 하는 가상화면 제공 방법에 있어서

   정보단말기의 물리적 이동 정보를 획득하기 위하여

   가. 자이로 센서를 소형 정보단말기에 부착하고 이 센서의 출력 정보를 프로세서에 전송시켜, 프로세서로 하여금 메모리에 저장된 가상화면의 필요부분을 디스플레이 창으로 전송/ 제어하는데 사용되도록 하는 것을 특징으로 하는 디스플레이 이동 정보 획득방법.

   나. 소형 정보단말에 부착 된 카메라가 촬영한 영상정보를 분석하여 카메라가 부착된 디스플레이 창의 공간적 위치 정보를 획득하는 것을 특징으로 하는 디스 플레이 창 이동정보 획득 방법

   다. 상기 카메라를 이용한 디스플레이 이동정보 획득 방법에 있어서, 상하좌우 평면 이동 정보를 카메라 영상으로 부터 얻어내기 위하여

   첫째, 일정 시간 간격으로 카메라 영상을 캡쳐 하는 단계;

   둘째, 직전에 캡쳐 된 영상의 중앙부분의 일정영역을 기준 영상으로 하는 단계;

   셋째, 다음 프레임에 캡쳐 된 영상을 비교 영상으로 하여 비교 영상과 기준영상의 차이를 도출하고 최소의 차이 값을 갖는 지점을 발견하는 단계;

   넷째, 상기 지점과 중앙 점과의 거리로 카메라(디스플레이 창)의 이동방향과 거리를 식별하는 단계;

   다섯째, 계속 이동정보를 획득하기 위하여 상기 네 가지 과정을 반복하여 지속적으로 수행하는 것을 포함하는 것을 특징으로 하는 디스플레이 이동정보 획득 방법.

   라. 상기 카메라를 이용한 디스플레이 이동정보 획득 방법에 있어서, 사용자의 전면으로 카메라가 부착된 디스플레이를 밀고 당길 경우 디스플레이의 공간 정보를 획득하기 위하여

   첫째, 일정시간 간격으로 카메라 영상을 캡쳐하는 단계;

   둘째, 직전에 캡쳐된 영상의 중앙부분의 일정영역을 기준 영상으로 하는 단계;

   셋째, 이번에 캡쳐 된 영상의 일정부분을 단계적으로 축소/확대하여 기준영 상과 비교를 하여 최소의 오차가 되는 축소/확대 비율을 발견하는 단계;

   넷째, 이 비율정보를 사용하여 카메라가 부착된 디스플레이의 이동 방향과 거리를 식별하는 단계

   다섯째, 계속 이동정보를 획득하기 위하여 상기 네 가지 과정을 반복하여 지속적으로 수행하는 것을 포함하는 것을 특징으로 하는 디스플레이의 전후 이동 정보를 획득하는 방법

   마. 상기 카메라를 이용한 디스플레이 이동정보 획득 방법에 있어서,카메라를 부착한 디스플레이가 2차원 평면과 전후 이동을 복합한 3차원 이동 시에 디스플레이의 공간 정보를 획득하기 위하여

   상기 다항과 라항의 방법을 일정시간 간격으로 캡쳐 된 매 프레임 마다 복합적으로 적용하는 것을 특징으로 하는 디스플레이 3차원 이동 정보 획득 방법
3. 상기 소형 정보단말기의 디스플레이 창 자체를 공간적으로 이동시키고 이 이동정보를 사용하여 소형정보 단말기의 디스플레이 상에 가상화면 상의 필요영역을 볼 수 있게 하는 가상화면 제공 방법을

   정보단말기의 마우스 기능 구현에 적용하기 위하여.

   가. 마우스커서를 디스플레이상에 특정 위치에 고정 시키고 소형 정보단말의 디스플레이를 이동 시켜 마우스 기능을 실현하기 위하여

   첫째, 소형 정보단말기의 디스플레이의 한곳(예; 중앙)을 마우스 커서의 위 치로 고정 설정하고

   둘째, 커서의 이동이 필요할 경우 디스플레이를 상하좌우로 이동시켜 디스플레이에 고정 설정한 커서 아래로 가상화면을 이동시키는 단계;

   셋째, 디스플레 상에 고정된 커서가 가상화면 상의 클릭바 위로 위치 시에 클릭 바에 커서가 위치함을 알리는 표시를 하는 단계;

   네째, 가상화면 상의 클릭바 위에 위치한 커서를 클릭하기 위하여 소형 정보단말기의 버튼 또는 기타 입력 장치를 클릭하는 단계를 포함하는 것을 특징으로 하는 디스플레이 이동에 의한 마우스 기능 구현 방법

   나. 상기 가 항에서 디스플레이의 한곳(예; 중앙)에 고정 위치 된 커서를 화면의 방해를 줄이기 위하여 디스플레이의 이동 시에 만 표시토록 하는 방법

   다. 키보드나 키패드를 가상화면에 소프트적으로 표시하고 상기 가 항의 마우스 기능을 사용하여 화면상의 특정 키패드 이미지를 클릭하여 소형 정보단말의 입력수단으로 사용하는 방법

   라. 상기 가 항의 기능 구현 시 가상화면의 끝이 디스플레이에 표시 되었을 경우 디스플레이의 한곳(예; 중앙)에 위치한 커서를 가상화면의 변두리에 까지 이동 위치 시킬 수 있게 하기 위하여 가상화면의 끝이 디스플레이에 표시 되었을 경우 사용자가 디스플레이를 계속 이동 시키면 가상화면이 아니라 커서를 이동하게 하는 방법

   마. 가상확대화면이 아닌 최초의 화면 상에서, 디스플레이 움직임을 커서에 연동 시키므로써 사용자가 소형정보 단말기를 상하좌우로 이동시켜 커서를 움직이 는 것을 특징으로 하는 마우스 기능 구현 방법

Images