KR20070041570A - 디스플레이를 제어하기 위한 방법과 시스템 - Google Patents

디스플레이를 제어하기 위한 방법과 시스템 Download PDF

Info

Publication number
KR20070041570A
KR20070041570A KR1020077003213A KR20077003213A KR20070041570A KR 20070041570 A KR20070041570 A KR 20070041570A KR 1020077003213 A KR1020077003213 A KR 1020077003213A KR 20077003213 A KR20077003213 A KR 20077003213A KR 20070041570 A KR20070041570 A KR 20070041570A
Authority
KR
South Korea
Prior art keywords
display
pointing device
visual presentation
image
target
Prior art date
Application number
KR1020077003213A
Other languages
English (en)
Other versions
KR101231577B1 (ko
Inventor
에릭 텔렌
홀저 알. 숄
Original Assignee
코닌클리케 필립스 일렉트로닉스 엔.브이.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 코닌클리케 필립스 일렉트로닉스 엔.브이. filed Critical 코닌클리케 필립스 일렉트로닉스 엔.브이.
Publication of KR20070041570A publication Critical patent/KR20070041570A/ko
Application granted granted Critical
Publication of KR101231577B1 publication Critical patent/KR101231577B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Position Input By Displaying (AREA)
  • User Interface Of Digital Computer (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

본 발명은 디스플레이(4)를 제어하기 위한 방법을 설명하고, 이 방법은, 디스플레이(4) 상에 시각적 프레젠테이션(VP)의 일부를 디스플레이하는 단계와, 목표(PT)가 디스플레이(4) 상에 현재 보이는 상기 시각적 프레젠테이션(VP)의 한 부분(14)의 내측 또는 외측에 있을 수 있도록, 카메라(2)를 구비한 포인팅 디바이스(1)를 상기 시각적 프레젠테이션(VP)의 목표(PT)를 나타내기 위해 목표 영역(A)에 조준하는 단계를 포함한다. 상기 포인팅 디바이스(1)에 의해 조준된 영역(A)의 영상(3)이 생성되고, 상기 시각적 프레젠테이션(VP) 내에 목표(PT)의 위치를 결정하도록 해석된다. 상기 목표(PT)를 둘러싸는 상기 시각적 프레젠테이션(VP)의 부분을 디스플레이하기 위해 필요시에 상기 시각적 프레젠테이션(VP)은 조정된다. 본 발명은 또한 이 방법을 적용하기에 적합한 포인팅 디바이스(1), 디스플레이 제어 인터페이스((8, 8', 8"), 그리고 이런 포인팅 디바이스(1)와 디스플레이 제어 인터페이스((8, 8', 8")를 포함하는 시스템에 대해 기술한다.

Description

디스플레이를 제어하기 위한 방법과 시스템{METHOD AND SYSTEM FOR CONTROLLING A DISPLAY}
본 발명은 디스플레이를 제어하기 위한 방법과 시스템과, 이런 시스템을 위한 포인팅 디바이스와 디스플레이 제어 인터페이스에 관한 것이다.
최근에, 전자공학과 컴퓨터의 영역의 발전은 우리의 일상 생활에서 접하는 정보의 더 많은 양의 공급 증가를 야기했다. 누구나 개인용 컴퓨터에 상당량의 정보를 관리할 수 있고, 대부분의 현대 대중 전자 장치는 사용자에게 다양한 옵션과 프로그래밍 능력을 제공한다. 이런 내용과 관련된(content-related) 정보는 일반적으로 텔레비전 스크린, 컴퓨터 모니터 또는 벽과 같은 임의의 종류의 스크린 또는 후방막(backdrop)과 같은 몇몇 종류의 전자 디스플레이 상에 가시적인 형태로 나타낸다. 명확한 예는, 개인 또는 일과 관련된 데이터 및 정보의 모든 집합을 구비한 개인용 컴퓨터의 스크린 상에 도시되는 가상 "데스크탑(desktop)"이다. 공항과 기차 역에서, 사람들은 예를 들어 지도상에서 호텔을 찾거나 티켓을 주문하고 비용을 지불하는 전자 정보 시스템의 디스플레이를 탐색할 수 있다.
가상으로 나타내는 내용과 관련된 정보는 메뉴 체계, 영상, 가상 데스크탑, 지도 등이다. 자주, 디스플레이에 실제로 맞을 수 있는 것 보다는 더 큰 내용과 관 련된 정보가 이용가능하여, 예를 들어 큰 영상을 보는 것은 영상이 디스플레이에 맞도록 영상의 크기를 줄이는 것이 필요하다. 그렇지만, 영상은 이제 너무 작아서 사용자가 영상을 적절히 볼 수 없거나 상세한 부분을 분간할 수 없다. 대안적으로, 사용자는 스크롤 바와 같이 디스플레이 내의 전용 지역에 커서를 움직이고 이후에 마우스 버튼을 클릭하거나 키패드 또는 키보드 상의 적당한 키를 누르는 것을 통해 영상이나 내용의 다른 부분을 수평 또는 수직으로 스크롤 할 수 있다. 마우스 또는 키 클릭은 대게 디스플레이의 내용을 업데이트하기 위해 디스플레이의 제어 유닛에 의해 해석된다.
이런 종류의 디스플레이 제어의 한가지 제한점은 마우스 또는 키 클릭이 원하는 효과를 갖도록 하기 위해 커서가 스크롤 바의 원하는 위치에서 다소 정확하게 이동되어야 한다는 것이다. 게다가, 스크롤링의 방향은 수평 및 수직 방향에 필수로 제한되어, 사용자가 대각선으로 스크롤하고자 할 때, 사용자는, 결과적으로 2배의 노력을 요구하는 수평 및 수직 스크롤링 모두를 결합해야만 한다. 통상, 스크롤링은 일정 속도로 실행되는데, 만일 스크롤될 거리가 상대적으로 적다면 괜찮지만, 만일 사용자가 큰 내용의 먼 곳의 지점을 스크롤하고자 한다면 귀찮을 수 있다. 스크롤 바의 다른 단점은 디스플레이에서 공간을 차지하여, 이는 사용자가 실제로 디스플레이될 영상 또는 시각적 프레젠테이션의 다른 부분을 보기를 원할 때만, 스크롤 바가 필요할지라도, 이용가능한 디스플레이 영역을 감소시킨다는 것이다.
따라서, 본 발명의 목적은 디스플레이를 제어하기 위한 더 편리하고 직관적인 방법을 제공하는 것이다.
이를 위해, 본 발명은 디스플레이를 제어하기 위한 방법을 제공하고, 이 방법은, 디스플레이 상에 시각적 프레젠테이션의 일부를 디스플레이하는 단계와, 목표가 스크린 상에 현재 보이는 상기 시각적 프레젠테이션의 내측 또는 외측에 있을 수 있도록, 상기 시각적 프레젠테이션으로 목표를 나타내기 위해 카메라를 구비한 포인팅 디바이스를 목표 영역에 조준하는 단계를 포함한다. 상기 포인팅 디바이스에 의해 조준된 목표 영역의 영상이 생성되고, 상기 시각적 프레젠테이션 내에서 목표의 위치를 결정하기 위해 이 목표 영역 영상을 해석된다. 디스플에이에 중심이거나 중심 밖일 수 있는, 목표 지점을 둘러싸는 상기 시각적 프레젠테이션의 부분을 디스플레이하기 위해 필요시에 상기 시각적 프레젠테이션은 조정된다.
본 발명에 따른 방법을 사용하는 디스플레이를 제어하기 위한 적합한 시스템은, 포인팅 디바이스가 조준되는 방향으로, 시각적 프레젠테이션에서 목표를 나타내는 목표 영역의 영상을 생성하기 위한 카메라를 포함하고, 여기서 목표는 디스플레이 상에 현재 보이는 시각적 프레젠테이션의 일부의 내측 또는 외측 일 수 있다. 게다가, 시스템은 영상을 분석하기 위한 영상 분석 유닛과, 영상 분석의 결과에 따른 제어 신호를 생성하기 위한 신호 생성 유닛과, 디스플레이에서 시각적 프레젠테이션을 조정하기 위해 제어 신호를 인가하기 위한 디스플레이 제어 유닛을 포함한다.
본 발명에 따른 방법은 포인팅 디바이스를 위한 전혀 새로운 어플리케이션을 연다. 이런 포인팅 디바이스의 도움으로, 사용자는 원하는 내용의 가정된 위치에 포인팅 디바이스를 단순히 조준하는 것에 의해, 단지 수평 또는 수직 뿐만 아니라 모든 원하는 방향으로 디스플레이의 내용을 스크롤되게 할 수 있다. 포인팅 디바이스의 직관적인 어플리케이션과 그 편리한 포인팅 양상은 본 발명을 임의의 종류의 디스플레이를 제어하는데 사용하기 위한 실용적인 툴이도록 결합한다.
종속항과 후속하는 설명은 특히 본 발명의 유리한 실시예들과 특징들을 기술한다.
본 발명에 따른 방법에 사용하기 위한 포인팅 디바이스는 포인팅 디바이스가 조준되는 방향으로 목표 영역의 영상을 생성하기 위한 적어도 하나의 카메라를 포함한다.
카메라는 바람직하게 포인팅 디바이스에 결합되지만, 동등하게 포인팅 디바이스 상에 장착될 수 있고, 바람직하게, 사용자에 의해 목표된 포인팅 디바이스의 전방에 있는 영역의 영상을 생성하는 것과 같은 방식으로 배향된다. 사용자에 의해 조준된 '목표'는 한 지점 또는 지역일 수 있고, '목표 영역'은 카메라에 의해 영상(목표 영역 영상)으로 캡쳐될 수 있는 포인팅 디바이스의 전방 영역이다. 카메라는 기본 방식으로 구성될 수 있거나 줌 기능 또는 특정한 종류의 필터와 같은 강력한 기능을 구비할 수 있다.
바람직하게, 영상을 분석하기 위한 영상 분석 유닛과, 디스플레이를 위한 디스플레이 제어 신호를 생성하기 위한 제어 신호 생성 유닛은 예를 들어 개인용 컴퓨터의 그래픽 카드와 같은 디스플레이 제어 유닛과 협력하는 디스플레이 제어 인터페이스에 결합된다. 이런 디스플레이 제어 인터페이스는 또한 필요시에 디스플레이 제어 신호를 디스플레이 제어 유닛과 통신하기 위한 전송 유닛을 포함한다. 이후에 설명될 것처럼, 디스플레이 제어 인터페이스는 포인팅 디바이스에 결합될 수 있거나 적합한 통신 인터페이스에 의해 포인팅 디바이스와 연동하는 외부 유닛으로 구현될 수 있다.
디스플레이는 후방막 상에 프로젝션, 텔레비전 스크린, 컴퓨터 모니터, 또는 티켓 자동 판매기, 관광 정보대 등과 같은, 정보를 사용자에게 시각적으로 표시하는데 사용되는 임의의 장치의 디스플레이와 같은 임의의 종류의 디스플레이일 수 있다. 디스플레이에 표시될 수 있는 모든 것은 다음에서 "시각적 프레젠테이션(visual presentation)"이라 호칭되고, 데스크 탑 환경, 메뉴 체계, 지도, 사실상 임의의 종류의 영상일 수 있다. 시각적 프레젠테이션의 크기는 디스플레이의 크기에 제한되지 않고, 디스플레이 크기보다 더 크거나 더 작을 수 있다. 그렇지만, 다음에서, 시각적 프레젠테이션이 실제로 디스플레이보다 더 커서, 시각적 프레젠테이션의 단지 일부만이 디스플레이에서 임의의 시간에 나타낼 수 있다고 가정한다.
사용자가 디스플레이 외부의 시각적 프레젠테이션의 목표에 포인팅 디바이스를 조준할 때, 디스플레이의 내용은 바람직하게 원하는 부분을 디스플레이의 가시 영역에 "스크롤링(scrolling)"하는 것에 의해 조정되거나 업데이트된다. 스크롤링은 부드러울 수 있어서, 시각적 프레젠테이션은 디스플레이 상에서 미끄러지게 보일 수 있거나, 스크롤링은 단계적일 수 있어서, 시각적 프레젠테이선은 디스플레이에 걸쳐 단계로 이동된다. 스크롤링은 포인팅 디바이스가 취한 방향을 반영해서(mirrors), 만일 포인팅 디바이스가 "북동쪽" 방향으로 대각선으로 이동되었다면, 즉 디스플레이의 중앙에서 디스플레이의 상부 우측을 너머, 내용 또는 시각적 프레젠테이션은 시각적 프레젠테이션의 목표된 부분을 나타내기 위해 "남서쪽" 방향으로 스크롤 될 것이다. 요약하면, 포인팅 디바이스는 직선뿐만 아니라 임의의 방향으로 이동될 수 있다. 스크롤링은 그 움직임을 연속적으로 반영하기 위해, 포인팅 디바이스가 사용자에 의해 이동되자마자 시작하고, 포인팅 디바이스가 멈추자 마자 정지한다. 대안적으로, 스크롤링은 사용자가 포인팅 디바이스를 움직였을 때 우선 시작하고, 이후에 사용자가 조준하는 것을 마쳤을 때 어떤 방식으로 나타낸다.
본 발명의 바람직한 실시예에서, 스크롤링의 속도는 목표와 디스플레이의 참조 지점 사이의 거리에 의해 결정되어, 사용자가 포인팅 디바이스를 디스플레이로부터 더 멀리 겨눌수록 스크롤링의 속도는 더 빨라진다. 이는 디스플레이의 크기에 비해 매우 큰 시각적 프레젠테이션의 경우에 특히 적합하여, 이 큰 디스플레이에 대한 스크롤링 또는 탐색은 너무 긴 시간이 걸리지 않는다.
본 발명의 추가적인 바람직한 실시예에서, 스크롤링의 속도는 포인팅 디바이스의 이동 속도에 의해 결정된다. 예를 들어, 만일 사용자가 포인팅 디바이스를 디스플레이로부터 천천히 이동한다면, 시각적 프레젠테이션은 원하는 내용을 나타내기 위해 비례적으로 천천히 조정된다. 디스플레이로부터 먼 방향으로 포인팅 디바이스의 빠른 움직임은 디스플레이에서 대응하게 시각적 프레젠테이션의 빠른 업데이트 또는 조정을 야기할 것이다. 움직임의 속도와 포인팅 디바이스에 의해 추적되는 경로는 카메라에 의해 취해진 영상에 적합한 분석 기술 또는 알고리즘을 적용하는 것에 의해 결정될 수 있다. 포인팅 디바이스는 또한 그 상대적 움직임을 감지하고 보고하기 위한 모션 센서를 결합할 수 있다. 이런 모션 센서는 사용자가 정지 상태에서 포인팅 디바이스를 취하거나 이동하자 마자 활성화된다.
본 발명의 대안적인 실시예에서, 시각적 프레젠테이션을 스크롤링하는 것에 의해 디스플레이를 업데이트 하는 대신에, 디스플레이는 스크롤링 없이 즉시 업데이트될 수 있어서, 원본 내용은 포인팅 디바이스에 의해 조준된 목표를 둘러싸는 시각적 프레젠테이션의 부분에 의해 한번에 쉽게 교체된다.
포인팅 디바이스는 바람직하게 디스플레이에서 시각적 프레젠테이션의 조정을 활성화하거나 비활성화하기 위한 제어 입력부를 구비한다. 이런 제어 입력부는, 포인팅 디바이스를 디스플레이부터 멀리 움직여서 원하는 목표로 향하게 할 때 사용자가 누르고 포인팅 디바이스가 원하는 목표에 조준될 때 릴리즈하기 위한 포인팅 디바이스 상의 버튼이다. 버튼이 눌려있는 동안, 스크롤링은 의미있는 기능으로 활성화되고, 시각적 프레젠테이션은 카메라에 의해 기록된 영상에 따라 업데이트된다. 버튼이 릴리즈되자 마자, 포인팅 디바이스는 비활성화 또는 정지 상태로 복귀할 수 있다.
스크롤링 디바이스에 더하여 유용한 것은, 예를 들어, 집중된 광의 빔이 포인팅 디바이스가 조준된 근본적으로 동일한 방향, 바람직하게 카메라에 의해 취해진 목표 영역의 중심에서 발생하도록 포인팅 디바이스 내에 또는 상에 배치된 레이저인, 집중된 광의 빔의 소스이다. 이런 광원은 통상 레이저 포인트와 같은 디바이스에 사용된다. 광 지점은 광의 빔이 그 경로에 있는 물체 상에 충돌할 때마다 나타난다. 여기서, 광 지점은, 광 지점이 사용자에게 그가 포인팅 디바이스를 조준하는 방향을 상당히 정확하게 보여주기 때문에, 포인팅 디바이스를 원하는 목표에 조준하도록 사용자를 도울 수 있다.
전체 시각적 프레젠테이션에서 그 실제 위치에서 디스플레이에 현재 보이는 시각적 프레젠테이션의 부분을, 사용자가 "위치시키는" 것을 돕기 위해, 사용자에게 현재 보이는 시각적 프레젠테이션의 부분 주위에 디스플레이의 윤곽과 함께 한번에 전체의 시각적 프레젠테이션을 보는 가능성을 제공하는 것은 유리하다. 이를 위해, 전체 시각적 프레젠테이션은 디스플레이의 작은 섹션에 적절히 축소되어 보일 수 있거나 디스플레이의 실제 내용을 잠깐 교체할 수 있다. 따라서, 사용자는 쉽게 시각적 프레젠테이션에서 그의 방향을 찾을 수 있고, 상대적으로 큰 시각적 프레젠테이션을 탐색하는 것은 더 쉬워진다. 사용자는 심지어 이런 단계를 개시하기 위해 포인팅 디바이스를 사용한다. 예를 들어, 사용자는 원을 묘사하거나 포인팅 디바이스를 앞 뒤로 가볍게 움직이는 것에 의한 것과 같은 미리 정해진 방식으로 포인팅 디바이스를 흔들 수 있다. 대안적으로, 사용자는 포인팅 디바이스를 디스플레이에 조준하면서 포인팅 디바이스 상의 버튼을 누르거나 디스플레이와 연관된 키패드나 키보드를 통해 적합한 명령을 입력할 수 있다.
전체 화상에서 시각적 프레젠테이션의 가시적 부분을 빨리 위치시키는 다른 방법으로, 포인팅 디바이스는 추가적인 '줌' 기능을 제공할 수 있다. 따라서, 디스플레이에 보이는 시각적 프레젠테이션의 양은 바람직하게 포인팅 디바이스와 디스플레이 사이의 거리에 의해 나타낼 수 있다. 예를 들어, 포인팅 디바이스를 디스플레이에 조준하고 이를 디스플레이로부터 후방으로 이동하는 것에 의해, 시각적 프레젠테이션은 감소되거나 '축소되어' 그 이상이 디스플레이에 나타낼 수 있다. 따라서 사용자는 쉽게 시각적 프레젠테이션에서 그 위치를 찾을 수 있다. 포인팅 디바이스를 디스플레이를 향해 후방으로 이동시키는 것에 의해, 시각적 프레젠테이션의 원래 확대율은 복귀될 수 있다.
사용자가 포인팅 디바이스를 조준하는 목표 또는 목표 지점을 쉽게 결정하기 위해, 디바이스 제어 인터페이스의 영상 분석 유닛은 바람직하게 통상의 영상 처리 기술 또는 컴퓨터 비젼(vision) 알고리즘을 적용하는 것에 의해 포인팅 디바이스의 경로를 추적한다. 목표 영역의 영상은 예를 들어, 부각된 외곽, 코너, 에지 등과 같은 전체 영상 중 단지 중요한 지점과 관련한 영상 데이터를 포함하거나, 화상 품질의 상세한 영상일 수 있다. 영상 분석 유닛에 의해 계산된 경로는 이후에 효과적으로 사용자가 디스플레이에서 보고 싶어하는 시각적 프레젠테이션의 부분을 찾을 수 있도록 시각적 프레젠테이션 상에 효과적으로 "겹친다."
컴퓨터 비젼 알고리즘을 사용한 목표 영역 영상을 처리하는 방법은, 목표 영상에서 구별되는 지점들을 감지하는 단계와, 템플릿(template)에서 대응하는 지점들을 결정하는 단계와, 디스플레이와 연관된 몇몇 참조 지점에 대하여 포인팅 디바이스의 이동 경로를 계산하는 단계를 포함한다. 참조 지점은 디스플레이의 중심, 디스플레이의 코너, 또는 몇몇 다른 적합한 지점일 수 있다. 참조 지점은 고정, 즉 미리 정해져서, 이 한 참조 지점은 항상 포인팅 디바이스의 이동 경로를 계산할 때 사용된다. 대안적으로, 참조 지점은 사용자가 포인팅 행위를 개시할 때 매번 새롭게 한정될 것이다. 이를 위해, 영상 분석 유닛은 제 1 영상 중 하나로부터 적합한 지점을 단순히 취할 것이고 이 지점을 추적 계산을 위한 참조 지점으로 사용할 것이다.
배경이 상당히 변하지 않는 디스플레이에 있어서, 그 배경을 구비한 디스플레이의 영상 또는 템플릿을 갖는 영상 분석 유닛을 제공하는 것이 편리할 것이다. 이제 포인팅 디바이스의 경로를 추적하는 것은 최종 목표 영역 영상을 템플릿들 중 하나에 매치시키는 상대적으로 단순한 임무로 줄어든다. 디스플레이에서 참조 지점에 대해 목표 지점의 상대적인 위치는 이제 쉽게 계산될 수 있고, 시각적 프레젠테이션에서 대응하는 영역은 동일하게 쉽게 찾아지고 디스플레이에 표시될 수 있다.
임의의 위치에 설치될 수 있는 프로젝터의 스크린 또는 후방막과 같은 매 시간마다 디스플레이의 배경이 다를 수 있는 디스플레이의 경우에, 포인팅 디바이스의 경로를 추적하는 단계는 영상 분석 유닛에 적어도 디스플레이를 위한 템플릿, 특히 디스플레이의 에지를 위한 템플릿을 제공하는 것에 의해 단순화될 수 있다. 영상 분석 유닛은 이후에, 포인팅 디바이스가 이동될 때 카메라에 의해 생성되는 연속한 영상을 연속적으로 비교하는 것에 의해, 포인팅 디바이스가 디스플레이의 에지를 횡단하는, 포인팅 디바이스가 이동되는 방향을 결정할 수 있다. 영상 분석 유닛은 이제 쉽게 인식될 수 있는 물체, 또는 지점을 고를 수 있고, 그 지점을 연속한 영상에서 추적할 수 있다. 다수의 이런 지점들은 최종 목표 영역 영상에 도달할 때까지 찾아지고 추적될 수 있다. 이 단계에 의해, 영상 분석 유닛은 목표 지점의 경로를 추적했을 것이고 이 경로를 원하는 내용을 찾기 확인하기 위해 시각적 프레젠테이션에 적용할 것이다. 디스플레이는 이후에 업데이트되고 이 원하는 내용을 나타내기 위해 조정될 수 있다. 포인팅 디바이스의 이동 속도는 또한 이 추적 기술을 사용하는 것에 의해 결정될 수 있어서, 스크롤링의 비례적인 비율이 적용될 수 있다.
목표 지점을 추적하는 다른 방식은 포인팅 디바이스가 움직이는 방향과 이동한 거리를 감지하는 모션 센서를 사용하는 것에 의한다. 디스플레이에서 참조 지점에 대하여 포인팅 디바이스의 움직임은 모션 센서를 사용하여 감지되고, 모션 센서는 포인팅 디바이스에 결합될 수 있거나 사용자가 포인팅 디바이스를 쥐고 있는 손에 심지어 착용ㄱ의 이동 경로를 추적하는 영상 분석 유닛을 돕기 위해 적합한 지점들을 항상 제공하지 않을 수 있다. 디스플레이는 어떤 표식도 없이 평평하고 일정한 표면으로 설정될 수 있다. 이런 상황에서, 만일 적어도 디스플레이의 일 부분이 각각의 목표 영역 영상에서 보여서, 시각적 프레젠테이션의 크기는 이 경우에 디스플레이의 크기와 카메라의 성능에 의해 제한된다면, 영상 분석 유닛은 단지 목표 지점만을 추적할 수 있기 때문에, 모션 센서는 이미 상술한 추적 기술을 돕는데 사용될 수 있다. 이 제한은 포인팅 디바이스의 경로를 추적하기 위해 모션 센서를 사용하는 것에 의해 제거될 수 있다. 초기 영상은 디스플레이에서 참조 지점을 분별하는데 사용될 수 있고, 목표의 경로는 이후에, 사용자가 현재 시각적 프레젠테이션에 원하는 지점에 포인팅 디바이스를 조준하고 있다는 것을 몇몇 방식으로(포인팅 디바이스 상의 버튼을 누르거나 릴리즈하는 것에 의해, 예를 들어, 또는, 미리 정해진 시간 길이 동안 포인팅 디바이스를 정지하여 잡고 있는 것에 의해) 나타낼 때까지, 모션 센서에 의해 공급된 정보를 사용하는 것에 의해 결정될 수 있다. 이 경우에, 만일 사용자가 포인팅 디바이스를 횡 방향으로 그것을 이동시키는 대신에 기울인다면, 순 선형 운동은 포인팅 디바이스와 디스플레이 사이의 거리를 고려하면서, 포인팅 디바이스가 기울어진 각도로부터 유도되어야만 한다.
따라서, 포인팅 디바이스에 의해 조준된 목표 지점에 의해 뒤따르는 경로는 바람직하게 영상에서의 추적 지점들과 모션 센서 정보의 조합을 사용하여 계산될 수 있다.
디스플레이의 템플릿 및/또는 그 배경은 디스플레이 제어 인터페이스의 내부 메모리에 저장될 수 있고, 또는 외부 소스로부터 동일하게 접속될 수 있다. 바람직하게, 디스플레이 제어 인터페이스는 디스플레이를 위한 미리 정해진 템플릿을 예를 들어 내부 또는 외부 메모리, 메모리 스틱, 인트라넷 또는 인터넷으로부터 얻기 위한 적합한 인터페이스를 구비한 접속 유닛을 포함한다. 이 방식으로, 디스플레이의 사용자는 디스플레이가 새로운 장소로 이동될 때마다, 또는 디스플레이의 배경이 변할 때 마다, 예를 들어 디스플레이와 그 배경의 영상을 찍고 이를 디스플레이 제어 인터페이스에 다운로딩하는 것에 의해, 템플릿을 업데이트할 수 있다. 디스플레이의 제조자는 디스플레이를 위한 적합한 템플릿을 공급하고 이를 필요시에 업데이트할 수 있다.
바람직하게, 디스플레이를 제어하기 위한 디스플레이 제어 인터페이스는 포인팅 디바이스에 결합될 수 있다. 이 경우에, 디스플레이 제어 인터페이스는 디스플레이 제어 인터페이스가 카메라로부터 직접 영상을 얻을 수 있기 때문에 수신기를 필요로 하지 않는다. 영상 분석 및 제어 신호 생성은 포인팅 디바이스 내에서 발생할 수 있고, 제어 신호는 적합한 형태로 포인팅 디바이스에서 디스플레이로 직접 전달될 수 있다.
다른 한편으로, 이런 유닛의 성능이, 바람직하게 손에 편안하게 쥐어지도록 구현되는, 포인팅 디바이스의 물리적인 크기에 의해 제한되기 때문에, 이런 영상 분석 유닛은 단지 기초적인 영상 분석에만 충분하고, 반면에 더 큰 유닛을 필요로하는 더 진보된 영상 처리는 제어 신호 생성과 더불어 외부 디스플레이 제어 인터페이스에서 발생한다.
본 발명의 특별히 바람직한 실시예에서, 포인팅 디바이스는 영상을 외부 디스플레이 제어 인터페이스에 전달하기 위한 전송 유닛 또는 전송기뿐만 아니라 디스플레이 제어 인터페이스를 결합한다. 대안적으로, 포인팅 디바이스는 영상 분석과 제어 신호 생성 기능 모두를 분담할 수 있어서, 이런 작업들이 외부 디스플레이 제어 인터페이스에 의해 수행되고, 따라서 포인팅 디바이스가 더 작고 더 소형의 형태로 구현될 수 있도록 된다.
상술한 외부 디스플레이 제어 인터페이스는 독립형 디바이스이거나 이미 존재하는 홈 엔터테인먼트 디바이스, 개인용 컴퓨터에 결합될 수 있거나, 전용 디스플레이 제어 인터페이스로 구현될 수 있거나, 일반적으로 그래픽 카드에서 발견되는 디스플레이 제어 유닛에 결합될 수 있다. 포인팅 디바이스로부터 정보를 수신하기 위해, 외부 디스플레이 제어 인터페이스는 영상을 수신하기 위한 수신 유닛을 구비한다.
명확하게, 디스플레이 제어 인터페이스는 단일 포인팅 디바이스에 사용되는 것으로 제한되지 않는다. 임의의 다수의 다른 포인팅 디바이스는 영상 데이터를 디스플레이 제어 인터페이스로 전송하는데 사용될 수 있다. 단지 한 사용자가 특정한 시간에 디스플레이 상에 제어권을 갖는 것이 일반적으로 바람직하기 때문에, 각각의 포인팅 디바이스는 영상에 따라 임의의 종류의 신원 번호를, 바람직하게 어떤 포인팅 디바이스가 현재 "활성화"인지를 결정하기 위한 임의의 종류의 우선권 또는 대기열 관리를 갖는, 디스플레이 제어 인터페이스에 전송한다. 진보된 구현은 포인팅 디바이스가 또한 영상 데이터와 더불어 인증 코드를 보내는 것을 예견할 수 있어서, 예를 들어 시각적 프레젠테이션의 특정한 영역은 필요한 인증이 없는 사용자에게는 "경계 밖이다." 인증 코드는 포인팅 디바이스에 탑재되거나 적합한 인터페이스를 통해 다운로드될 수 있거나 예를 들어 적합한 제어 입력부에 의한 몇몇 방법으로 사용자에 의해 입력될 수 있다.
본 발명은, 전부, 임의의 종류의 디스플레이를 제어하기 위한 쉽고 유연한 방식을 제공한다. 사용의 편리를 위해 포인팅 디바이스는 사용자에 의해 편안하게 잡힐 수 있는 가늘고 긴 형태의 지팡이 또는 펜의 형태일 수 있다. 사용자는 이제 포인팅 디바이스를 디스플레이로부터 편안한 거리에 위치하면서 목표에 향하게 할 수 있다. 동일하게, 포인팅 디바이스는 권총 형태로 형상화될 수 있다. 게다가, 포인팅 디바이스가 조준되는 영역을 조명하는 역할을 하여 사용자가 어둠에서 조차도 여전히 디스플레이를 제어하기 위해 포인팅 디바이스를 사용하게 하는, 광원이 포인팅 디바이스에 결합되거나 장착될 수 있다.
포인팅 디바이스와 디스플레이 제어 인터페이스는 실제적으로 모든 종류의 환경에서 사용하기 위한 강력한 디스플레이 제어 시스템을 제공하기 위해 결합한다. 예를 들어, 여행객 또는 고객이 포인팅 디바이스를 편리하고 직관적인 방식으로 광범위한 정보 디스플레이들을 탐색하기 위해 사용할 수 있는, 공항 또는 전시장 환경에서 사용될 수 있다는 것이 생각될 수 있다.
본 발명의 다른 목적과 특징은 다음의 수반하는 도면과 더불어 고려될 상세한 설명으로부터 명백해질 것이다. 그렇지만, 도면은 단지 설명의 목적으로만 의도되고 본 발명의 제한을 한정하는 것으로는 의도되지 않는다.
도 1은 본 발명의 실시예에 따른 포인팅 디바이스와 디스플레이 제어 인터페이스를 포함하는 시스템을 개략적으로 도시하는 도면.
도 2은 본 발명의 실시예에 따른 포인팅 디바이스를 개략적으로 도시하는 도면.
도 3은 본 발명의 실시예에 따른 포인팅 디바이스와 디스플레이 제어 인터페이스를 개략적으로 도시하는 도면.
도 4a는 시각적 프레젠테이션을 개략적으로 도시하는 도면.
도 4b는 포인팅 디바이스와 시각적 프레젠테이션의 제 1 부분을 나타내는 디스플레이를 개략적으로 도시하는 도면.
도 4c 내지 도 4f는 시각적 프레젠테이션의 목표 영역 영상을 도시하는 도면.
도 4g는 디스플레이와 시각적 프레젠테이션의 일부가 디스플레이 상에 나타 나는 시각적 프레젠테이션을 개략적으로 도시하는 도면.
도 4h는 시각적 프레젠테이션의 제 2 부분을 나타내는 디스플레이를 개략적으로 도시하는 도면.
도면에서, 동일한 참조 번호는 명세서 전반에 걸쳐 동일한 요소를 참조한다. 설명된 포인팅 디바이스(pointing device)(미도시됨)는 사용자에 의해 쥐어지고 작동된다.
도 1은 디스플레이(4)를 제어하기 위한 시스템(15)을 도시한다. 본 발명에 특히 적합한 어플리케이션은 프로젝터 스크린과 같은 배경막(backdrop) 상에 시각적인 프레젠테이션을 투영하는데 사용되는 '빔형성기(beamer)'를 위한 것이다. 이 경우에, 도면에서의 명확함을 위해, 디스플레이(4)는 개인용 컴퓨터와 같은 디바이스(10)의 모니터이다. 일반적으로, 이런 디바이스(10)는 예를 들어 그래픽카드인, 디스플레이 제어 유닛(5)을 결합한다.
포인팅 디바이스(1)를 디스플레이(4)의 내부 또는 외부 영역에 조준하는 것에 의해, 사용자는 디스플레이될 시각적 프레젠테이션(VP)의 원하는 조정을 나타낼 수 있다. 이런 시각적 프레젠테이션(VP)은 사용자가 조작할 수 있는 메뉴 구성(menu hierarchy)일 수 있거나, 스크린(4) 상에 디스플레이될 임의의 종류의 영상일 수 있다. 이를 위해, 사용자는 그가 전체 시각적 프레젠테이션(VP)을 "볼" 수 있다고 상상하고, 포인팅 디바이스(1)를 그가 디스플레이(4)에 나타내고 싶은 부분에 조준한다. 이 예에서, 사용자는 디스플레이(4) 상의 특정 지점{참조 지점(Pc)이 위치된 곳}을 조준하는 것에 의해 스크롤링(scrolling) 단계를 시작했다고 가정되고, 이후에 포인팅 디바이스(1)를 그가 가정하는 시각적 프레젠테이션이 나타날 원하는 부분인, 디스플레이(4) 왼쪽을 향해 이동한다.
포인팅 디바이스(1)의 카메라(2)는 포인팅 디바이스(1)가 조준되는 방향(D)으로 포인팅 디바이스(1)의 전방에 목표 영역(A)의 영상을 생성한다. 카메라(2)에 의해 생성된 모든 영상은 목표 포인트(PT) 주위에 중심이 맞춰진다. 영상은 포인팅 디바이스(1)의 전송 유닛(12)에 의해 디스플레이 제어 인터페이스(8)에 전송된다.
디스플레이 제어 인터페이스(8)의 수신기(9)는 영상(3)을 수신하고 이를, 영상(3)의 목표 포인트(PT)와 이 경우에 디스플레이(4)의 중심인 참조 포인트(Pc) 사이의 관계를 결정하기 위해, 영상(3)을 분석하는 영상 분석 유닛(6)으로 보낸다. 이를 위해, 이미 설명한 추적 기술(tracking techniques)은 포인팅 디바이스(1)의 경로, 원한다면 움직임의 비율을 결정하기 위해 순차적인 영상(3)의 지점을 확인하고 추적하기 위해 사용된다. 영상 분석의 결과는, 부합되는 제어 신호(17)를 생성하는 제어 신호 생성기(7)에 전달된다. 이들은, 신호(27)를 전송하기 전에 디스플레이 제어 유닛(5)에 전송하기에 적합한 형태의 임의의 필요한 변환을 수행하는, 어플리케이션 인터페이스(11)에 전달된다.
수신된 신호(27)는 개인 컴퓨터(10)의 모니터(4)를 구동할 수 있는 신호를 제공하기 위한 디스플레이 제어 유닛(5)에 의해 처리된다.
사용자는 수평 또는 수직으로 스크롤하는 것에 제한되지 않고, 단순히 포인 팅 디바이스(1)를 적합한 방향으로 조준하는 것에 의해 시각적 프레젠테이션(VP)을 대각선으로 스크롤할 수 있다.
만일 포인팅 디바이스(1)가, 레이저 광의 빔이 근본적으로 포인팅의 방향으로 향하는, 레이저 광원을 구비한다면, 포인팅 디바이스(1)의 '시선(line of sight)'의 물체 상에 부딪칠 때 마다 보일 연속하는 광의 지점은 사용자가 정확하게 원하는 방향을 조준하는 것을 돕는다. 바람직하게, 광의 지점은 정확하게 목표 지점과 일치한다.
디스플레이 제어 인터페이스는 독립형 디바이스일 필요는 없다. 이런 인터페이스의 기능은 포인팅 디바이스 자체에 결합될 수 있다. 도 2는 이런 포인팅 디바이스(1)의 구성 모듈을 더 상세히 도시한다. 카메라(2)는 포인팅의 방향(D)으로 포인팅 디바이스(1)의 전방에 있는 영역의 영상(3)을 생성한다. 포인팅 디바이스(1)는 이 실시예에서 가늘고 긴 형태를 특징으로 하여, 포인팅(P)의 방향은 포인팅 디바이스(1)의 종축과 일치한다. 카메라(2)는, 영상(3)이 사용자(미도시)가 조준하고 있는 포인팅 디바이스(1)의 전방 영역에 생성되도록 포인팅 디바이스의 전방에 위치된다.
이런 영상(3)은 분석될 영상 분석 유닛(6')에 전달된다. 분석의 결과는, 디스플레이를 위한 제어 신호(17)를 생성하는 제어 신호 생성기(7')에 전달된다. 영상 분석 만에 의해 시각적 프레젠테이션(VP)의 원하는 부분을 결정하기 위한 추가 또는 대안으로, 포인팅 디바이스(1)의 모션 센서(16)는 참조 지점에 대해 포인팅 디바이스(1)의 위치 또는 움직임에 대한 정보(18)를 전달할 수 있다. 이 정보(18) 는 스크롤링의 양과 방향을 결정하는데 사용될 수 있거나 영상 분석의 보조수단으로 사용될 수 있다.
이 예에서, 사용자는 포인팅 디바이스(1)에 장착된 버튼과 같은 제어 입력부(13)에 의해 스크롤링 단계를 활성화 또는 비활성화할 수 있다. 사용자는 일반적인 원하는 방향으로 포인팅 디바이스(1)를 조준할 수 있고, 이후에, 사용자가 적합하게 포인팅 디바이스(1)를 조준했을 때, 사용자는 제어 입력부(13)를 누르는 것에 의해 그의 의도를 나타낼 수 있다. 제어 입력부(13)로부터의 적합한 신호(14)는 제어 신호 생성기(7')로 전달되어, 사용자가 시각적 프레젠테이션(VP)의 원하는 부분을 나타냈음을 나타낸다. 제어 신호 생성기(7')는 영상(3), 제어 입력 신호(14) 및/또는 모션 센서 정보(18)에 기초하여 제어 신호(17)를 생성한다. 제어 신호(17)는 예를 들어, 블루투스, 802.11 b, 또는 이동 전화 표준의 무선 방식으로 디스플레이 제어 인터페이스(8')의 어플리케이션 인터페이스(11')에 의해 디스플레이 유닛(미도시)에 전송된다.
포인팅 디바이스(1)는 영상(3)을 계속적으로 생성하고 제어 신호(17)를 전송할 수 있거나, 포인팅 디바이스(1)가 특정한 시간 기간 동안 움직이지 않는 다면 자동으로 작동을 정시시킨다. 이를 위해, 모션 센서(16)는 정지 상태에서 처음 움직였을 때 포인팅 디바이스(1)를 활성화 시키고, 특정한 미리 정해진 시간의 길이 동안 움직임의 변화가 없다면 포인팅 디바이스(1)를 정지 상태로 복귀시켜야 한다. 포인팅 디바이스(1)가 대부분 배터리(미도시)에 의해 구동되기 때문에, 사용자가 실제로 포인팅 디바이스(1)를 시각적 프레젠테이션(VP)의 지점에 조준할 때, 배터 리의 수명을 연장하기 위해, 단지 데이터를 디스플레이 제어 인터페이스에만 전송하는 것이 유리하다.
도 2에 도시된 것처럼, 영상 처리와 신호 제어를 국지적으로 수행할 수 있다는 것은 포인팅 디바이스(1)가 도 1에 도시된 것처럼 개별 디스플레이 제어 인터페이스(8)와 통신할 필요가 없다는 것을 의미한다. 영상 분석의 품질은, 작고 실용적인 형태로 대부분 구현될 포인팅 디바이스(1)의 물리적 크기에 의해 제한되기 때문에, 이 "독립형(stand-alone)" 실시예는 영상 분석의 정확도가 실질적으로 중요하지 않은 상황 또는 포인팅 디바이스(1)가 외부 디스플레이 제어 인터페이스(8)와 통신할 수 없는 상황에서 충분하다.
물론, 이 실시예는 도 1의 단순한 확장이어서, 국지적 디스플레이 제어 인터페이스(8')에 더하여 포인팅 디바이스(1)는 또한 도 1에 도시된 전송 유닛(12)을 구비하여, 그 독립형 기능에 추가하여 외부 디스플레이 제어 인터페이스(8)와 함께 작동하도록 한다.
대안적인 실시예가 도 3에 도시되는데, 여기서 텔레비전과 같은 디바이스(10)의 디스플레이(4)를 위한 디스플레이 제어 인터페이스(8")는 디바이스(10) 자체에 결합된다. 텔레비전(10)의 디스플레이(4)를 제어하기 위한 포인팅 디바이스(1)는 포인팅 디바이스(1)의 카메라(2)에 의해 생성된 목표 영역(A)의 영상(3)을 전송하기 위한 전송 유닛(12)만을 결합할 필요가 있다. 수신기(9")는 영상(3)을 수신하고 이를 영상 분석 유닛(6")으로 전달하고, 여기서 영상(3)은 해석되고 제어 신호 생성기(7")로 전달된다. 여기서, 제어 신호(17)가 생성되어, 시각적 프레젠테 이션(VP)이 텔레비전 스크린(4)에 따라 조정되도록 하는, 텔레비전(10)의 그래픽 카드와 같은 디스플레이 제어 유닛(5)으로 전달된다. 디스플레이 제어 인터페이스(8")는 디스플레이 제어 유닛(5)의 일부거나 그 반대일 수 있다.
도 4a 내지 도 4h는 디스플레이(4)에서 시각적 프레젠테이션(VP)을 스크롤링하는 단계를 더 상세히 설명한다. 사용자는 디스플레이(4) 상의 영상을 관찰한다. 시각적 명확함을 위해, 이 예의 영상 또는 시각적 프레젠테이션(VP)은 체스 게임의 단계의 개략도이다. 시각적 프레젠테이션(VP)은 도 4a에 그 전체가 도시된다.
도 4b에 도시된 것처럼, 단지 시각적 프레젠테이션(VP)의 일부(이 경우에 하단 좌측 코너)는, 텔레비전, 개인용 컴퓨터 등과 같은 디바이스(10)의 디스플레이일 수 있는 디스플레이(4)에 맞을 수 있다. 이 예에서 사용자는 시각적 프레젠테이션(VP)의 상부 우측 코너로 패닝하기(pan)를 희망한다. 이를 위해, 사용자는 포인팅 디바이스를 디스플레이(4)의 한 지점에서, 사용자가 마치 시각적 프레젠테이션(VP)의 그 전체를 "볼" 수 있는 것처럼 시각적 프레젠테이션(VP)의 상향 우측 코너의 가상의 지점으로 이동한다.
사용자가 포인팅 디바이스(1)를 디스플레이(4)로부터 원하는 목표를 향해 이동하는 동안, 카메라(2)는 포인팅 디바이스(1)에 의해 조준된 영역의 연속된 영상을 생성한다. 이 도식에서, 전체 시각적 프레젠테이션(VP)이 도시되는데, 도 4에 도시되지 않은 시각적 프레젠테이션(VP)의 일부는 더 엷은 색이고, 사용자가 포인팅 디바이스(1)를 원하는 목표에 조준할 때 상상하는 '가상의' 시각적 프레젠테이션(VP)을 나타내는 역할만을 한다. 단순함을 위해, 도 4c 내지 도 4f에는 단지 4개 의 이런 영상(3a, 3b, 3c, 3d)만이 도시된다. 실제에서, 카메라(2)의 성능과 원하는 정확도의 정도에 따라, 다수의 영상은 현저히 더 많을 수 있다. 도 4f에 도시된 최종 영상(3d)을 만드는 과정에서 생성된 목표 영역 영상(3a, 3b, 3c)을 도시하는 도 4c 내지 도 4e에서, "과도(transient)" 목표 지점은 P1, P2, P3로 표기된다.
포인팅 디바이스(1)가 이동되는 방향을 결정하기 위해, 영상 분석 유닛은 연속하는 영상으로 대응하는 지점들의 세트를 위치시킨다. 이를 위해, 패턴 매칭 기술이 사용되는데, 디스플레이의 에지 또는 코너를 나타내는 영상은 포인팅 디바이스(1)의 움직임을 추적하기 위해 디스플레이의 템플릿(tampletes)과 비교된다.
디스플레이(4)의 상향 우측 코너는 목표 영역 영상(3a)에 목표 영역 영상 좌표(x1, y1)를 구비한 한 지점을 제공한다. 제 2 영상의 이 동일한 지점은 목표 영역 영상(3b)의 새로운 지점으로 이동했고, 이제 좌표(x2, y2)를 갖는다. 유사하게, 제 3 영상(3c)에서, 디스플레이의 상향 우측 코너는 이제 좌표(x3, y3)를 갖는다. 이 지점이 연속한 영상으로 "이동하는" 것처럼 보이는 방향을 계산하는 것에 의해, 영상 분석 유닛은 포인팅 디바이스(1)의 운동 경로를 계산할 수 있다. 필요하다면, 예를 들어 쉽게 확인될 수 있는 코너와 같은 지점인 새로운 지점들은 확인된다. 여기서, 디스플레이(4)의 상향 우측 코너에 대응하는 지점이 포인팅 디바이스(1)에 의해 조준된 목표 영역으로부터 사라지는 압력을 받기 때문에, 좌표(x4, y4)를 갖는 추가 지점은 목표 영역 영상(3c)에서 확인된다. 최종 영상(3d)에서, 새로운 지점은 "이동했고", 이제 새로운 좌표(X5, Y5)를 갖는다.
최종 영상(3d)이 분석되는 시간까지, 영상 분석 유닛은 도 4g에 도시된 지점들에 의해 이동된 경로를 계산하기에 충분한 시간을 갖고, 따라서, 참조 지점(Pc)에 대한 최종 목표 지점(PT)의 위치를 계산할 수 있다. 이 정보는 차례로 제어 신호 생성기 유닛이, 최종 목표 지점(PT)을 둘러싸는 부분을 도시하기 위해 시각적 프레젠테이션(VP)을 스크롤링하기 위한 요구되는 제어 신호를 생성하도록 한다. 시각적 프레젠테이션(VP)의 원하는 부분은 이제 도 4h에 도시된 것처럼 스크린(4) 상에 도시된다.
비록 본 발명이 바람직한 실시예들과 그 변형들의 형태로 기술되었지만, 다양한 추가 변경과 변동이 본 발명의 범위를 벗어나지 않고 있을 수 있다는 것이 이해될 것이다. 펜 형태의 대안으로, 포인팅 디바이스는 또한, 예를 들어 내장된 카메라를 구비한 PDA이거나 내장된 카메라를 구비한 이동 전화일 수 있다.
명확함을 위해, 본 명세서 전반에 걸쳐, "단수"는 복수의 의미를 배제하지 않고, "포함한다"는 다른 단계나 요소를 배제하지 않는다는 것이 또한 이해되어야 한다. "유닛"은 단일 개체로 전적으로 설명되지 않는 한 다수의 블록 또는 디바이스를 포함할 수 있다.
본 발명을 활용하여, 디스플레이를 제어하기 위한 더 편리하고 직관적인 방법을 제공하는 것을 위한 포인팅 디바이스의 제조가 가능하다.

Claims (13)

  1. 디스플레이(4)를 제어하기 위한 방법으로서,
    -상기 디스플레이(4) 상에 시각적 프레젠테이션(VP)의 일부를 디스플레이하는 단계와,
    -목표(PT)가 상기 디스플레이(4) 상에 현재 보이는 상기 시각적 프레젠테이션(VP)의 한 부분(14)의 내측 또는 외측에 있을 수 있도록, 목표(PT)를 상기 시각적 프레젠테이션(VP) 내에 나타내기 위해 카메라(2)를 구비한 포인팅 디바이스(1)를 목표 영역(A)에 조준하는 단계와,
    -상기 포인팅 디바이스(1)에 의해 조준된 목표 영역(A)의 영상(3)을 생성하는 단계와, 상기 시각적 프레젠테이션(VP) 내에 목표(PT)의 위치를 결정하기 위해 목표 영역 영상(3)을 해석하는 단계와,
    -상기 목표(PT)를 둘러싸는 상기 시각적 프레젠테이션(VP)의 부분을 디스플레이하기 위해 필요시에 상기 시각적 프레젠테이션(VP)을 조정하는 단계를 포함하는, 디스플레이를 제어하기 위한 방법.
  2. 제 1항에 있어서, 상기 목표(PT)를 둘러싸는 상기 시각적 프레젠테이션(VP)의 부분을 디스플레이하기 위한 상기 시각적 프레젠테이션(VP)의 조정 단계는 상기 디스플레이(4)에서 상기 시각적 프레젠테이션(VP)을 스크롤링하는 하는 단계를 포함하는, 디스플레이를 제어하기 위한 방법.
  3. 제 1항 또는 제 2항에 있어서, 상기 디스플레이(4)의 상기 시각적 프레젠테이션(VP)을 스크롤링하는 비율은 상기 디스플레이(4)의 한 지점(Pc)에 대한 목표 영역(A)의 목표(PT)의 위치에 의존하는, 디스플레이를 제어하기 위한 방법.
  4. 제 1항 내지 제 3항 중 어느 한 항에 있어서, 상기 디스플레이(4)의 상기 시각적 프레젠테이션(VP)을 스크롤링하는 비율은 상기 시각적 프레젠테이션(VP)에 대한 상기 포인팅 디바이스(1)의 움직임에 의존하는, 디스플레이를 제어하기 위한 방법.
  5. 제 1항 내지 제 4항 중 어느 한 항에 있어서, 상기 디스플레이(4)에서 볼 수 있는 상기 시각적 프레젠테이션(VP)의 양은 상기 포인팅 디바이스(1)와 상기 디스플레이(4) 사이의 거리에 의해 나타내는, 디스플레이를 제어하기 위한 방법.
  6. 제 1항 내지 제 5항 중 어느 한 항에 따른 방법을 사용하여 디스플레이(4)를 제어하기 위한 시스템(15)으로서,
    -목표(PT)가 스크린(4) 상에 현재 보이는 시각적 프레젠테이션(VP)의 한 부 분(14)의 내측 또는 외측에 있을 수 있도록, 상기 시각적 프레젠테이션(VP)의 목표(PT)를 나타내기 위해, 포인팅 디바이스(1)가 조준되는 방향으로, 목표 영역(A)의 영상(3)을 생성하기 위한 카메라(2)와,
    -상기 영상(3)을 분석하기 위한 영상 분석 유닛(6, 6')과,
    -상기 영상 분석의 결과에 따라 제어 신호(17)를 생성하기 위한 제어 신호 생성 유닛(7, 7')과, 상기 디스플레이(4) 내의 상기 시각적 프레젠테이션(VP)을 조정하기 위해 상기 제어 신호(17)를 인가하기 위한 디스플레이 제어 유닛(5)을 포함하는, 디스플레이를 제어하기 위한 시스템.
  7. 제 6항에 기재된 시스템을 위한 포인팅 디바이스(1)로서, 상기 포인팅 디바이스(1)가 조준되는 방향(D)으로 상기 목표 영역(A)의 영상(3)을 생성하기 위한 카메라(2)를 포함하는, 포인팅 디바이스.
  8. 제 7항에 있어서, 상기 디스플레이 제어 유닛(5)과 상호작용하기 위한 디스플레이 제어 인터페이스(8')를 포함하고, 상기 디스플레이 제어 인터페이스(8')는,
    -상기 영상(3)을 분석하기 위한 영상 분석 유닛(6')과,
    -상기 영상 분석의 결과에 따라 디스플레이 제어 유닛(5)을 위한 제어 신호(17)를 생성하기 위한 제어 신호 생성 유닛(7')과,
    -상기 제어 신호(17)를 상기 디스플레이 제어 유닛(5)에 통신하기 위한 전송 유닛(11')을 포함하는, 포인팅 디바이스.
  9. 제 7항 또는 제 8항에 있어서, 상기 영상(3)에 기초한 디스플레이 제어 유닛(5)을 위한 제어 신호(17)를 생성하는 외부 디스플레이 제어 인터페이스(8)에 영상(3)을 전송하기 위한 전송 유닛(12)을 포함하는, 포인팅 디바이스.
  10. 제 7항 내지 제 9항 중 어느 한 항에 있어서, 상기 포인팅 디바이스(1)의 상대적 움직임을 감지하기 위한 모션 센서(16)를 포함하는, 포인팅 디바이스.
  11. 제 7항 내지 제 10항 중 어느 한 항에 있어서, 상기 디스플레이(4) 내의 시각적 프레젠테이션(VP)의 조정을 활성화하거나 비활성화하기 위한 제어 입력부(13)를 포함하는, 포인팅 디바이스.
  12. 디스플레이 제어 인터페이스(8)로서,
    -포인팅 디바이스(1)로부터 영상(3)을 수신하기 위한 수신 유닛(9)과,
    -상기 영상(3)을 분석하기 위한 영상 분석 유닛(6)과,
    -디스플레이 제어 유닛(5)을 위한 디스플레이 제어 신호(17)를 생성하기 위한 제어 신호 생성 유닛(7)과,
    -상기 디스플레이 제어 신호(17)를 상기 디스플레이 제어 유닛(5)에 통신하기 위한 전송 유닛(11)을 포함하는, 디스플레이 제어 인터페이스.
  13. 디스플레이 제어 유닛(5)으로서,
    -포인팅 디바이스(1)로부터 영상(3)을 수신하기 위한 수신 유닛(9")과,
    -상기 영상(3)을 분석하기 위한 영상 분석 유닛(6")과,
    -디스플레이(4)를 위한 디스플레이 제어 신호(17)를 생성하기 위한 제어 신호 생성 유닛(7")을 포함하는, 디스플레이 제어 유닛.
KR1020077003213A 2004-08-12 2005-08-05 디스플레이를 제어하기 위한 방법과 시스템, 포인팅 디바이스 및 디스플레이 제어 인터페이스 KR101231577B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP04103898 2004-08-12
EP04103898.5 2004-08-12
PCT/IB2005/052614 WO2006018775A2 (en) 2004-08-12 2005-08-05 Method and system for controlling a display

Publications (2)

Publication Number Publication Date
KR20070041570A true KR20070041570A (ko) 2007-04-18
KR101231577B1 KR101231577B1 (ko) 2013-02-08

Family

ID=35907786

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020077003213A KR101231577B1 (ko) 2004-08-12 2005-08-05 디스플레이를 제어하기 위한 방법과 시스템, 포인팅 디바이스 및 디스플레이 제어 인터페이스

Country Status (7)

Country Link
US (1) US9268411B2 (ko)
EP (1) EP1779226B1 (ko)
JP (1) JP4991541B2 (ko)
KR (1) KR101231577B1 (ko)
CN (1) CN101002165B (ko)
TR (1) TR201819463T4 (ko)
WO (1) WO2006018775A2 (ko)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8291346B2 (en) * 2006-11-07 2012-10-16 Apple Inc. 3D remote control system employing absolute and relative position detection
JP4767200B2 (ja) * 2007-03-08 2011-09-07 任天堂株式会社 情報選択装置および情報選択プログラム
JP4964729B2 (ja) 2007-10-01 2012-07-04 任天堂株式会社 画像処理プログラムおよび画像処理装置
US20090169060A1 (en) * 2007-12-26 2009-07-02 Robert Bosch Gmbh Method and apparatus for spatial display and selection
US9110517B2 (en) * 2009-09-14 2015-08-18 Broadcom Corporation System and method for generating screen pointing information in a television
US20110273278A1 (en) * 2010-05-07 2011-11-10 Tod Edward Kurt System and Method for Transmitting Information
US20120194692A1 (en) * 2011-01-31 2012-08-02 Hand Held Products, Inc. Terminal operative for display of electronic record
US20120194415A1 (en) * 2011-01-31 2012-08-02 Honeywell International Inc. Displaying an image
EP2693330A1 (en) * 2012-08-03 2014-02-05 Alcatel Lucent A method, a server and a pointing device for enhancing presentations
US8531518B1 (en) * 2012-08-28 2013-09-10 Google Inc. System and method for capturing videos with a mobile device
JP6398248B2 (ja) * 2014-01-21 2018-10-03 セイコーエプソン株式会社 位置検出システム、及び、位置検出システムの制御方法
US10209871B2 (en) * 2015-10-21 2019-02-19 International Business Machines Corporation Two-dimensional indication in contents
GB201807749D0 (en) * 2018-05-13 2018-06-27 Sinden Andrew James A control device for detection

Family Cites Families (48)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS59206437A (ja) 1983-05-10 1984-11-22 Sumitomo Chem Co Ltd ポリオレフイン成形品への光または放射線硬化樹脂組成物の塗布方法
JPH02306294A (ja) 1989-05-22 1990-12-19 Wacom Co Ltd 位置検出装置及び該位置検出装置を利用した画像表示装置
US5138304A (en) * 1990-08-02 1992-08-11 Hewlett-Packard Company Projected image light pen
JP2790965B2 (ja) * 1992-08-19 1998-08-27 富士通株式会社 光学式ポインティングシステム
US5528263A (en) * 1994-06-15 1996-06-18 Daniel M. Platzker Interactive projected video image display system
JP3517482B2 (ja) 1995-06-08 2004-04-12 キヤノン株式会社 座標検出装置及び方法
US5936618A (en) * 1996-04-19 1999-08-10 U.S. Philips Corporation Information display device with adaptive scroll speed
GB9608770D0 (en) 1996-04-27 1996-07-03 Philips Electronics Nv Projection display system
US5937110A (en) * 1996-12-20 1999-08-10 Xerox Corporation Parallel propagating embedded binary sequences for characterizing objects in N-dimensional address space
JP3937533B2 (ja) * 1997-11-07 2007-06-27 セイコーエプソン株式会社 遠隔座標入力装置および遠隔座標入力方法
US6050690A (en) * 1998-01-08 2000-04-18 Siemens Information And Communication Networks, Inc. Apparatus and method for focusing a projected image
US6057840A (en) * 1998-03-27 2000-05-02 Sony Corporation Of Japan Computer-implemented user interface having semi-transparent scroll bar tool for increased display screen usage
JPH11327433A (ja) * 1998-05-18 1999-11-26 Denso Corp 地図表示装置
JP3287312B2 (ja) * 1998-08-13 2002-06-04 日本電気株式会社 ポインティング装置
EP1133752A1 (de) 1998-10-21 2001-09-19 VLG Virtual Laser Systems GmbH Eingabevorrichtung für einen computer
US6952198B2 (en) 1999-07-06 2005-10-04 Hansen Karl C System and method for communication with enhanced optical pointer
US6727885B1 (en) * 1999-09-07 2004-04-27 Nikon Corporation Graphical user interface and position or attitude detector
US20010010514A1 (en) * 1999-09-07 2001-08-02 Yukinobu Ishino Position detector and attitude detector
US6346933B1 (en) * 1999-09-21 2002-02-12 Seiko Epson Corporation Interactive display presentation system
WO2001052230A1 (en) 2000-01-10 2001-07-19 Ic Tech, Inc. Method and system for interacting with a display
US7187412B1 (en) * 2000-01-18 2007-03-06 Hewlett-Packard Development Company, L.P. Pointing device for digital camera display
KR20010095815A (ko) * 2000-04-12 2001-11-07 홍영표 지도를 이용한 지역별 웹사이트검색시스템 및 그 것을이용한 분양식 전자상거래시스템
US6704000B2 (en) * 2000-11-15 2004-03-09 Blue Iris Technologies Method for remote computer operation via a wireless optical device
JP2002196877A (ja) * 2000-12-25 2002-07-12 Hitachi Ltd イメージセンサを用いた電子機器
US6972776B2 (en) * 2001-03-20 2005-12-06 Agilent Technologies, Inc. Scrolling method using screen pointing device
GB2374663A (en) 2001-04-18 2002-10-23 Nokia Corp Presentation of images
JP3618303B2 (ja) * 2001-04-24 2005-02-09 松下電器産業株式会社 地図表示装置
US7075513B2 (en) * 2001-09-04 2006-07-11 Nokia Corporation Zooming and panning content on a display screen
US20030067441A1 (en) 2001-09-28 2003-04-10 Fuji Photo Optical Co., Ltd. Presentation system using laser pointer
CA2468904C (en) 2001-12-21 2009-06-30 British Telecommunications Public Limited Company Device and method for calculating a location on a display
US7176881B2 (en) * 2002-05-08 2007-02-13 Fujinon Corporation Presentation system, material presenting device, and photographing device for presentation
TWI234105B (en) * 2002-08-30 2005-06-11 Ren-Guang King Pointing device, and scanner, robot, mobile communication device and electronic dictionary using the same
US7502507B2 (en) * 2002-10-31 2009-03-10 Microsoft Corporation Active embedded interaction code
JP2004157839A (ja) 2002-11-07 2004-06-03 Canon Inc 画像登録及び表示方法
JP2004318823A (ja) * 2003-03-28 2004-11-11 Seiko Epson Corp 情報表示システム、情報処理装置、ポインティング装置および情報表示システムにおけるポインタマーク表示方法
US7193608B2 (en) * 2003-05-27 2007-03-20 York University Collaborative pointing devices
JP4035497B2 (ja) * 2003-09-26 2008-01-23 キヤノン株式会社 画像表示システム、画像表示装置、画像表示方法ならびにプログラム
US7420540B2 (en) * 2003-12-01 2008-09-02 Olbrich Craig A Determining positioning and/or relative movement of graphical-user interface element based on display images
RU2006121437A (ru) 2003-12-18 2007-12-27 Конинклейке Филипс Электроникс Н.В. (Nl) Способ и система для управления устройством
US20050162384A1 (en) * 2004-01-28 2005-07-28 Fujinon Corporation Pointing device, method for displaying point image, and program therefor
US7683881B2 (en) * 2004-05-24 2010-03-23 Keytec, Inc. Visual input pointing device for interactive display system
JP4839603B2 (ja) 2004-11-22 2011-12-21 ソニー株式会社 表示装置、表示方法、表示プログラム及び表示プログラムを記録した記録媒体
US7477784B2 (en) * 2005-03-01 2009-01-13 Microsoft Corporation Spatial transforms from displayed codes
TWI281623B (en) * 2005-05-10 2007-05-21 Pixart Imaging Inc Orientation point orientating method of orientation device and device thereof
US7400777B2 (en) * 2005-05-25 2008-07-15 Microsoft Corporation Preprocessing for information pattern analysis
KR101261550B1 (ko) * 2006-02-01 2013-05-06 삼성전자주식회사 가상 영역을 이용한 포인팅 장치, 포인터 디스플레이 장치,포인팅 방법 및 포인터 디스플레이 방법
US7768527B2 (en) * 2006-05-31 2010-08-03 Beihang University Hardware-in-the-loop simulation system and method for computer vision
JP4745316B2 (ja) 2007-11-07 2011-08-10 シャープ株式会社 表示システムおよび指示位置の検出方法

Also Published As

Publication number Publication date
KR101231577B1 (ko) 2013-02-08
EP1779226A2 (en) 2007-05-02
JP4991541B2 (ja) 2012-08-01
EP1779226B1 (en) 2018-10-24
JP2008510215A (ja) 2008-04-03
US20090219303A1 (en) 2009-09-03
CN101002165A (zh) 2007-07-18
WO2006018775A3 (en) 2006-11-16
CN101002165B (zh) 2010-06-23
US9268411B2 (en) 2016-02-23
TR201819463T4 (tr) 2019-01-21
WO2006018775A2 (en) 2006-02-23

Similar Documents

Publication Publication Date Title
KR101231577B1 (ko) 디스플레이를 제어하기 위한 방법과 시스템, 포인팅 디바이스 및 디스플레이 제어 인터페이스
US11816296B2 (en) External user interface for head worn computing
US11886638B2 (en) External user interface for head worn computing
JP5258558B2 (ja) 装置の制御のための方法
KR101151962B1 (ko) 포인터를 사용하지 않는 가상 터치 장치 및 방법
US9952663B2 (en) Method for gesture-based operation control
CN101379455B (zh) 输入装置及其方法
US7834893B2 (en) Mixed-reality presentation system and control method therefor
US7271795B2 (en) Intuitive mobile device interface to virtual spaces
CN114080585A (zh) 在人工现实环境中使用***设备的虚拟用户界面
US20170017323A1 (en) External user interface for head worn computing
US20160025979A1 (en) External user interface for head worn computing
US20070216642A1 (en) System For 3D Rendering Applications Using Hands
US20120229509A1 (en) System and method for user interaction
CN105320274B (zh) 直接三维指向的计算***和追踪指向/输入装置的方法
KR20120136719A (ko) 손과 눈의 3차원 위치정보를 이용한 원거리 스크린 상의 물체지목 및 제어방법
JP2008181199A (ja) 画像表示システム
JPH10336505A (ja) 画像表示装置及び画像表示方法
WO2019127325A1 (zh) 信息处理方法、装置、云处理设备及计算机程序产品
JP7287172B2 (ja) 表示制御装置、表示制御方法、及びプログラム
JP2023168746A (ja) 情報処理装置、情報処理システム、情報処理方法、プログラム
KR20080017194A (ko) 무선 마우스 및 그의 구동 방법
JPWO2020095784A1 (ja) 表示制御装置、プレゼンテーションシステム、表示制御方法、及びプログラム
WO2022208612A1 (ja) ウェアラブル端末装置、プログラムおよび表示方法
JP2023184238A (ja) 情報処理装置、情報処理方法、プログラム

Legal Events

Date Code Title Description
A201 Request for examination
AMND Amendment
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
AMND Amendment
J201 Request for trial against refusal decision
B701 Decision to grant
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20160126

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20170126

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20180124

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20190130

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20200123

Year of fee payment: 8