WO2015050380A1

WO2015050380A1 - 화상 표시 장치 및 그의 포인팅 방법

Info

Publication number: WO2015050380A1
Application number: PCT/KR2014/009273
Authority: WO
Inventors: 오쿠노호장; 히라사와굉우; 무라카미에드워드; 최상언
Original assignee: 삼성전자 주식회사
Priority date: 2013-10-02
Filing date: 2014-10-01
Publication date: 2015-04-09

Abstract

리모콘의 지시 방향과 화면 상의 포인터의 위치가 거의 일치하도록 자동으로 조절하는 화상 표시 장치 및 그 포인팅 방법을 제공한다. 화상 표시 장치는 디스플레이(100)에 대해 설정된 참조 방향(CO)에 대해 상기 리모콘(200)의 지시 방향이 이루는 각도인 참조 각도(AC)를 검출하는 참조 각도 검출부(4)와, 상기 디스플레이(100) 상에 설정된 참조점(PO)으로부터 상기 리모콘(200)을 본 경우의 방향인 리모콘 방향(RD)을 검출하는 리모콘 방향 검출부(3)와, 상기 참조 각도(AC) 및 상기 리모콘 방향(SD)에 기초하여 상기 리모콘(200)으로부터 상기 기준 방향(SD)을 본 경우에 상기 디스플레이(200) 상의 상기 참조점(PO)이 있도록 상기 기준 방향(SD)을 조절하는 기준 방향 조절부(14)를 구비하였다.

Description

화상 표시 장치 및 그의 포인팅 방법

본 발명은 디스플레이 상에 포인터가 표시되도록 제어하는 화상 표시 장치 및 그 포인팅 방법에 관한 것이다.

예를 들어 텔레비전으로 웹사이트를 열람하는 경우, 링크 등을 클릭하기 위해 포인팅 기능을 구비한 텔레비전 리모콘이 이용되는 경우가 있다.

이러한 리모콘은 가속도계나 각속도 센서 등의 모션 센서를 구비하고 있고, 이들 센서 출력으로부터 리모콘의 자세 각도 변화량을 검지하여 이 자세 각도 변화량으로부터 산출되는 포인팅 각도를 디스플레이 상의 포인터 위치로 변환하도록 구성되어 있다(특허문헌 1 참조). 이 경우, 디스플레이 상의 포인터 위치는 리모콘의 자세 각도 변화량에 기초하여 누적적으로 계산되기 때문에 상대 포인팅 방식이라고 불리고 있다.

그런데, 상대 포인팅 방식의 포인팅 장치에서는 리모콘이 지시하고 있는 방향과 디스플레이 상의 포인터 위치가 크게 어긋나 사용자가 자연스러운 사용감을 얻지 못하는 경우가 있다. 이러한 현상은 디스플레이와 리모콘의 상대 위치 관계가 변화하거나 혹은 모션 센서로부터 추정되는 리모콘의 자세 오차가 누적됨으로써 발생한다.

종래의 포인팅 장치의 구체적인 예를 들어 보다 상세하게 설명한다. 도 35에 도시된 바와 같이, 각속도 센서를 구비한 상대 포인팅 방식의 리모콘(200)은, 리모콘(200)의 선단이 지시하고 있는 방향인 지시 방향(PD)을 좌우로 변화시킴으로써 화면 상의 포인터 위치도 좌우로 이동한다.

보다 구체적으로 리모콘(200)에는 기준 방향(SD)이 설정되어 있고, 이 기준 방향(SD)에 대해 지시 방향(PD)이 이루는 각도인 포인팅 각도에 따라 디스플레이(100) 상의 포인터 위치가 결정된다.

또, 도 35에 도시된 디스플레이(100)상의 포인팅 범위와의 사이에서 소정의 대응 관계를 갖게 하여 상기 기준 방향(SD)을 중심으로 한 소정의 입체각으로 조작 각도 범위(CR)가 설정되어 있다. 예를 들면, 조작 각도 범위(CR)를 작게 설정하면 포인터는 리모콘(200)의 움직임에 대해 민감해지고, 조작 각도 범위(CR)를 크게 설정하면 포인터의 움직임은 둔감해진다.

즉, 기준 방향(SD)과 지시 방향(PD)이 일치하는 경우에는 포인터는 화면 중심에 배치되고, 포인팅 각도가 있는 경우에는 설정되어 있는 조작 각도 범위(CR)에 따라 디스플레이(200) 상의 포인터 위치가 변경된다.

도 35의 P1은 리모콘(200)이 디스플레이의 정면에 있는 경우를 나타내고 있고, 이 때 조작 각도 범위(CR)의 중심인 기준 방향(SD)은 화면 중심(PO)에 대해 수직으로 향하고 있다고 한다. 이와 같이 기준 방향(SD)이 화면 중심에 대해 수직인 방향과 일치하는 경우에는, 리모콘(200)의 지시 방향(PD)와 포인터 위치도 양호하게 일치하기 때문에 사용자는 자연스러운 사용감을 얻을 수 있다.

한편, 도 35의 P2에 도시된 바와 같이 도 35의 P1의 설정 그대로 사용자가 우방향으로 이동한 경우, 기준 방향(SD)은 디스플레이의 우단 부근으로 향한 상태가 된다. 도 35의 P2와 같이 리모콘(200)의 지시 방향(PD)이 기준 방향(SD)과 일치하도록 디스플레이(100)의 우단 부근을 향하고 있으면, 도 34의 P1에서의 설정에 의해 포인터는 화면 우단이 아니라 화면 중심에 표시되게 된다. 이와 같이 리모콘(200)의 지시 방향(PD)과 포인터 위치가 크게 어긋나기 때문에 사용자로서는 부자연스럽게 느낀다.

이러한 어긋남이 발생한 경우, 종래의 포인팅 장치에서는 예를 들면 사용자가 리모콘의 지시 방향을 화면 중심으로 향하게 한 후에 리셋 버튼을 누름으로써 강제적으로 리모콘의 지시 방향과 포인터 위치를 일치시킨다. 혹은, 포인터가 디스플레이의 끝까지 이동하면 정지하도록 구성해 두고, 화면단에서 리모콘의 지시 방향과 포인터 위치가 맞도록 사용자가 조절할 수 있도록 한 것이 있다.

또한, 리모콘의 이동에 추종하여 디스플레이 상의 포인터의 표시 위치를 이동시키는 기술도 여러 가지 제안되어 있다(예를 들면, 특허문헌 2~4 참조). 특허문헌 2의 기술에서는, 광학식 지시 장치를 이동하면 수광 장치가 수광 신호의 변화를 연산하여 구한 위치 신호에 따라 포인터의 표시 위치를 이동시키고 있다. 특허문헌 3의 기술에서는, TV가 리모콘의 카메라로 촬상한 촬상 화상 중의 촬상 커서 화상의 좌표와 그 때에 표시되어 있는 표시 커서 화상의 좌표를 비교하여 검출된 표시 화면 상의 리모콘 지시 위치에 표시하기 위한 커서 화상을 생성하고 있다. 특허문헌 4의 기술에서는, 조작부의 포인팅 버튼을 터치 조작하면 TV 수상기가 4개의 LED로부터의 적외선의 수광 강도로부터 구한 리모콘 각도에 따른 TV 화면 상의 위치에 커서를 표시시키고 있다.

선행기술문헌

특허문헌 1:일본공개특허 2002-62981호 공보

특허문헌 2:일본공개특허 2006-155345호 공보

특허문헌 3:일본공개특허 2008-181198호 공보

특허문헌 4:일본공개특허 2008-227605호 공보

그러나, 어떤 포인팅 장치이어도 리모콘의 지시 방향과 디스플레이 상의 포인터 위치가 어긋난 경우에는, 그 때마다 사용자는 상술한 바와 같은 기준 방향의 재설정 조작을 해야만 하여 사용자의 사용감을 해치고 있다.

또한, 디스플레이측에 카메라를 설치함으로써 리모콘의 지시 방향과 화면 상의 포인터 위치를 거의 일치시키는 경우에는, 카메라의 장착 위치 및 촬영 각도를 고려하지 않으면 리모콘의 지시 방향과 화면 상의 포인터 위치를 정밀도 높게 거의 일치시킬 수 없다.

본 발명은 상술한 바와 같은 문제를 감안하여 이루어진 것으로, 리모콘의 지시 방향과 화면 상의 포인터 위치가 거의 일치하도록 자동으로 조절하는 것을 목적으로 한다. 즉, 본 실시형태에서는 리모콘의 위치가 바뀌어도 사용자의 조작을 필요로 하지 않고 리모콘의 조작 각도 범위의 중심 방향이 화면 중심의 방향을 향하는 포인팅 방식을 실현한다.

또한, 디스플레이측에 카메라를 설치함으로써 리모콘의 지시 방향과 화면 상의 포인터 위치를 거의 일치시키는 경우에 이들을 정밀도 높게 거의 일치시키는 것을 다른 목적으로 한다.

이와 같이 본 발명의 포인팅 장치에 의하면, 리모콘의 지시 방향과 화면 상의 포인터 위치가 거의 일치하도록 자동으로 조절하는 것이 가능하게 된다.

도 1은 본 발명의 실시형태에 관한 화상 표시 시스템의 전체 구성도이다.

도 2는 본 발명의 실시형태에서 이용되는 리모콘의 외관을 도시한 도면이다.

도 3 및 4는 본 발명의 실시형태의 동작 개요에 대해 설명하기 위한 도면이다.

도 5는 본 발명의 실시 형태에 관한 화상 표시 장치의 기능 블록도이다.

도 6은 본 발명의 실시 형태에 관한 리모콘 장치의 기능 블록도이다.

도 7은 본 발명에 따른 제1실시 형태에서의 화상 표시 시스템의 기능 블록도이다.

도 8은 본 발명에 따른 제1 실시형태의 화상 표시 장치에서의 리모콘 방향 검출 기구의 동작에 대해 설명하는 도면이다.

도 9은 본 발명에 따른 제1실시형태에서의 각 각도의 관계에서 대해 도시한 도면이다.

도 10은 본 발명의 실시 형태에 관한 화상 표시 장치의 포인팅 방법의 흐름도이다.

도 11은 본 발명의 실시 형태에 관한 리모콘 장치의 리모콘 제어 방법의 흐름도이다.

도 12는 본 발명에 따른 제2실시 형태에서의 화상 표시 시스템의 기능 블록도이다.

도 13은 본 발명에 따른 제3실시 형태에서의 화상 표시 시스템의 기능 블록도이다.

도 14는 본 발명에 따른 제4실시 형태에서의 화상 표시 시스템의 기능 블록도이다.

도 15는 본 발명에 따른 제4 실시형태의 화상 표시 장치에서의 제1리모콘 검출부의 동작에 대해 설명하는 도면이다.

도 16은 본 발명에 따른 제4 실시형태에서의 화상 표시 장치에서의 제1포인팅 각도 산출부의 동작을 설명하는 도면이다.

도 17은 본 발명에 따른 제4 실시형태의 화상 표시 장치에서의 제2리모콘 검출부의 동작에 대해 설명하는 도면이다.

도 18은 본 발명에 따른 제4 실시형태의 화상 표시 장치의 상부에 카메라를 장착한 경우의 제2 리모콘 검출부의 동작을 설명하는 도면이다.

도 19는 본 발명에 따른 제4 실시형태의 화상 표시 장치에서의 제2 포인팅 각도 산출부의 동작을 설명하는 도면이다.

도 20 내지 도 22는 본 발명에 따른 제4 실시형태의 화상 표시 장치에서의 캘리브레이션부의 동작에 대해 설명하는 도면이다.

도 23은 본 발명에 따른 제4 실시형태의 화상 표시 장치의 전체적인 동작 흐름도이다.

도 24는 본 발명에 따른 제1 내지 제4 실시형태에서의 위치 산출부의 기능 블록도이다.

도 25는 포인팅 각도에서 포인팅 좌표 위치로의 변환 규칙이 화상 표시 장치로부터 리모콘까지의 거리에 따라 연속적으로 변화하는 경우의 변환 규칙을 규정하는 그래프의 예이다.

도 26은 본 발명의 그 밖의 실시형태에 관한 참조 방향의 설정 방법을 도시한 사시도 이다.

도 27은 본 발명에 따른 제5 실시형태에서의 화상 표시 시스템의 전체 구성 예를 도시한 도면이다.

도 28은 본 발명에 따른 제5실시 형태에서의 화상 표시 시스템을 구성하는 화상 표시 장치 및 리모콘의 기능 구성 예를 도시한 도면이다.

도 29는 본 발명에 따른 제5실시 형태에서의 기준 자세와 조작 각도의 관계를 나타내는 모식도이다.

도 30은 본 발명에 따른 제5실시 형태에서의 리모콘이 각 에리어를 가리켰을 때 촬상되는 LED의 개수와 위치의 관계를 나타내는 모식도이다.

도 31은 본 발명에 따른 제5실시 형태에서의 화상 표시 장치의 화면에 대해 리모콘이 정면 대향하는 경우에 촬상되는 LED를 나타내는 모식적 사시도이다.

도 32는 본 발명에 따른 제5실시 형태에서의 화상 표시의 장치 화면에 대해 리모콘이 수평축 방향으로 상측으로 회전하는 경우에 촬상되는 LED를 나타내는 모식적 사시도이다.

도 33은 본 발명에 따른 제5실시 형태에서의 화상 표시 장치의 화면에 대해 리모콘이 수평축 방향으로 상측으로 회전함과 동시에, 연직축 방향으로 반시계 방향으로 회전하는 경우에 촬상되는 LED를 나타내는 모식적 사시도이다.

도 34는 본 발명에 따른 제6실시 형태에 관한 화상 표시 장치의 포인팅 방법의 흐름도이다.

도 35는 종래의 화상 표시 장치에서의 포인팅 동작 특징을 도시한 모식도이다.

본 발명은 디스플레이와, 디스플레이에 대해 설정된 참조 방향에 대해 리모콘의 지시 방향이 이루는 각도인 참조 각도를 검출하는 참조 각도 검출부와, 상기 디스플레이 상에 설정된 참조점으로부터 상기 리모콘을 본 경우의 방향인 리모콘 방향을 검출하는 리모콘 방향 검출부와, 상기 참조 각도 및 상기 리모콘 방향에 기초하여 상기 리모콘으로부터 그 리모콘에 설정되는 기준 방향을 본 경우에 상기 디스플레이 상의 상기 참조점이 있도록 그 기준 방향을 조절하는 기준 방향 조절부와, 상기 기준 방향에 대해 상기 리모콘의 지시 방향이 이루는 각도에 따른 포인팅 각도에 기초하여 상기 디스플레이 상의 대응하는 위치에 포인터가 표시되도록 제어하는 제어부를 구비한 화상 표시 장치를 제공한다.

여기서, 「상기 리모콘으로부터 그 리모콘에 설정되는 기준 방향을 본 경우에 상기 디스플레이 상의 상기 참조점이 있다」는 것은, 상기 리모콘으로부터 상기 기준 방향으로 연장되는 가상직선 상에 상기 참조점이 있는 것뿐만 아니라 이 가상직선 근방에 상기 참조점이 있는 상태도 포함하는 개념이다. 다시 말하면, 소정 반경을 가지고 상기 리모콘으로부터 상기 기준 방향으로 연장되는 가상원통 내에 상기 참조점이 있는 상태를 말한다.

또한, 상기 화상 표시 장치에 있어서, 상기 기준 방향 조절부는 소정 시간마다 상기 기준 방향을 조절하도록 구성된 것이어도 된다.

또한, 상기 참조 각도 검출부는 상기 리모콘에 설치된 방위 센서와, 상기 방위 센서가 상기 참조 방향을 나타내는 방위로서 설정된 참조 방위와 상기 방위 센서가 상기 리모콘의 지시 방향을 나타내는 방위인 리모콘 방위에 기초하여 상기 참조 각도를 산출하는 참조 각도 산출부를 구비한 것이어도 된다.

또한, 상기 화상 표시 장치는 상기 리모콘에 설치된 각속도 센서와, 기준 포인팅 각도와 상기 각속도 센서로부터 출력되는 각속도에 기초하여 상기 포인팅 각도를 산출하는 포인팅 각도 산출부를 더 구비하고, 상기 기준 방향 조절부는 상기 기준 방향에 대해 상기 지시 방향이 이루는 각도를 상기 기준 포인팅 각도로서 상기 포인팅 각도 산출부에 설정하도록 구성된 것이어도 된다. 그 경우, 상기 포인팅 각도 산출부는 과거에 상기 기준 방향을 조절하였을 때의 상기 리모콘 방향을 기억하고 있고, 과거 리모콘 방향과 현재 리모콘 방향의 차이가 소정의 문턱값 이상인 경우에 상기 포인팅 각도를 산출하도록 구성된 것이어도 된다.

또한, 상기 화상 표시 장치는 기준 포인팅 각도에 기초하여 상기 포인팅 각도를 산출하는 포인팅 각도 산출부를 더 구비하고, 상기 기준 방향 조절부는 상기 기준 방향에 대해 상기 지시 방향이 이루는 각도를 상기 기준 포인팅 각도로서 상기 포인팅 각도 산출부에 설정하도록 구성된 것이어도 된다.

또, 상기 리모콘 방향 검출부는 상기 디스플레이에 대해 상기 리모콘을 촬상 가능하게 설치된 카메라와, 상기 카메라의 촬상 화상에 기초하여 상기 디스플레이에 수직인 방향에 대해 상기 리모콘 방향이 이루는 각도인 리모콘 방향 각도를 산출하는 리모콘 방향 각도 산출부를 구비한 것이어도 된다.

그 경우, 첫째, 상기 카메라는 상기 디스플레이의 수평 방향 테두리에 그 디스플레이에 수직인 특정 연직면에 평행한 촬영 방향을 가지도록 설치되고, 상기 리모콘 방향 각도 산출부는 상기 카메라의 촬상 화상에 기초하여 상기 디스플레이에 수직인 방향과 상기 리모콘 방향을 수평면에 투영하여 얻어진 방향이 이루는 각도인 제1 리모콘 방향 각도를 산출하는 제1 리모콘 방향 각도 산출부와, 상기 카메라의 촬영 화상과 상기 디스플레이와 상기 촬영 방향이 이루는 각도인 촬영 각도와 상기 카메라부터 상기 리모콘까지의 거리와 상기 디스플레이의 연직 방향의 테두리 길이에 기초하여, 상기 디스플레이에 수직인 방향과 상기 리모콘 방향을 상기 특정 연직면에 투영하여 얻어진 방향이 이루는 각도인 제2 리모콘 방향 각도를 산출하는 제2 리모콘 방향 각도 산출부를 구비하고, 상기 기준 방향 조절부는 상기 참조 각도, 상기 제1 리모콘 방향 각도 및 상기 제2 리모콘 방향 각도에 기초하여 상기 리모콘으로부터 상기 기준 방향을 본 경우에 상기 디스플레이 상의 상기 참조점이 있도록 그 기준 방향을 조절하도록 구성된 것이어도 된다. 또한, 상기 제2 리모콘 방향 각도 산출부는 상기 카메라의 화상에 기초하여 상기 촬영 방향과 상기 카메라에서 상기 리모콘으로의 방향이 이루는 촬영 리모콘 각도를 산출하고, 그 촬영 리모콘 각도와 상기 촬영 각도의 차분과 상기 거리와 상기 길이에 기초하여 상기 제2 리모콘 방향 각도를 산출하도록 구성된 것이어도 된다. 또, 상기 포인팅 장치는 수평 방향을 촬영하도록 설치된 상기 카메라로 상기 리모콘을 촬영함으로써 얻어진 화상과, 상기 촬영 방향을 가지도록 설치된 상기 카메라로 상기 리모콘을 촬영함으로써 얻어진 화상에 기초하여 상기 촬영 각도를 산출하는 촬영 각도 산출부를 더 구비한 것이어도 된다. 또, 상기 카메라는 상기 디스플레이의 상측 테두리의 중앙에 하향의 촬영 방향을 가지도록 설치된 것이어도 된다.

또한, 둘째, 상기 카메라는 상기 디스플레이의 연직 방향 테두리에 수평면에 평행한 촬영 방향을 가지도록 설치되고, 상기 리모콘 방향 각도 산출부는 상기 카메라의 촬상 화상에 기초하여 상기 디스플레이에 수직인 방향과 상기 리모콘 방향을 상기 디스플레이에 수직인 특정 연직면에 투영하여 얻어진 방향이 이루는 각도인 제1 리모콘 방향 각도를 산출하는 제1 리모콘 방향 각도 산출부와, 상기 카메라의 촬영 화상과 상기 디스플레이와 상기 촬영 방향이 이루는 각도인 촬영 각도와 상기 카메라부터 상기 리모콘까지의 거리와 상기 디스플레이의 수평 방향의 테두리 길이에 기초하여, 상기 디스플레이에 수직인 방향과 상기 리모콘 방향을 수평면에 투영하여 얻어진 방향이 이루는 각도인 제2 리모콘 방향 각도를 산출하는 제2 리모콘 방향 각도 산출부를 구비하고, 상기 기준 방향 조절부는 상기 참조 각도, 상기 제1 리모콘 방향 각도 및 상기 제2 리모콘 방향 각도에 기초하여 상기 리모콘으로부터 상기 기준 방향을 본 경우에 상기 디스플레이 상의 상기 참조점이 있도록 그 기준 방향을 조절하도록 구성된 것이어도 된다. 또한, 상기 제2 리모콘 방향 각도 산출부는 상기 카메라의 화상에 기초하여 상기 촬영 방향과 상기 카메라에서 상기 리모콘으로의 방향이 이루는 촬영 리모콘 각도를 산출하고, 그 촬영 리모콘 각도와 상기 촬영 각도의 차분과 상기 거리와 상기 길이에 기초하여 상기 제2 리모콘 방향 각도를 산출하도록 구성된 것이어도 된다. 또, 상기 화상 표시 장치는 상기 특정 연직면에 평행한 방향을 촬영하도록 설치된 상기 카메라로 상기 리모콘을 촬영함으로써 얻어진 화상과, 상기 촬영 방향을 가지도록 설치된 상기 카메라로 상기 리모콘을 촬영함으로써 얻어진 화상에 기초하여 상기 촬영 각도를 산출하는 촬영 각도 산출부를 더 구비한 것이어도 된다.

또, 상기 제어부는 상기 포인팅 각도에 기초하여 상기 디스플레이 상의 대응하는 위치를 산출하는 위치 산출부와, 상기 위치에 포인터가 표시되도록 제어하는 표시 제어부를 구비하고, 상기 위치 산출부는 상기 디스플레이부터 상기 리모콘까지의 거리가 길수록 상기 포인팅 각도의 단위 각도에 대한 상기 참조점부터 상기 위치까지의 거리가 길어지도록 상기 위치를 산출하도록 구성된 것이어도 된다.

또한 본 발명은 디스플레이에 대해 리모콘의 복수의 광원을 촬상 가능하게 설치된 카메라; 상기 카메라에 의해 촬상된 광원의 개수 또는 위치에 따라 상기 리모콘의 촬상시의 방향에 대응하는 촬상시 리모콘 자세를 추정하는 리모콘 자세 추정부; 상기 리모콘의 기준 방향에 대응하는 리모콘의 기준 자세를, 상기 리모콘 자세 추정부에 의해 추정된 촬상시 리모콘의 자세로 캘리브레이션하는 캘리브레이션부; 상기 캘리브레이션된 기준 자세와 상기 리모콘내에 설치된 모션 센서에서 측정된 자세 변화량에 따라 포인팅 위치를 추정하는 포인팅 위치 추정부를 구비하는 화상 표시 장치를 제공한다.

상기 리모콘 자세 추정부는, 화상 중 상기 광원의 개수 및 위치와, 그 화상이 촬상되었을 때의 촬상시 자세와의 대응 관계를 기억하는 대응 관계 기억부; 및 상기 대응 관계 기억부를 참조하고, 상기 카메라에 의해 촬상된 화상 중 상기 광원의 개수 및 위치와 대응하는 촬상시 자세를 출력하는 촬상시 자세 출력부를 구비한 것이어도 된다.

또한, 본 발명은 디스플레이에 대해 설정된 참조 방향에 대해 리모콘의 지시 방향이 이루는 각도인 참조 각도를 검출하는 단계와, 상기 디스플레이 상에 설정된 참조점으로부터 상기 리모콘을 본 경우의 방향인 리모콘 방향을 검출하는 단계와, 상기 참조 각도 및 상기 리모콘 방향에 기초하여 상기 리모콘으로부터 그 리모콘에 설정되는 기준 방향을 본 경우에 상기 디스플레이 상의 상기 참조점이 있도록 그 기준 방향을 조절하는 단계와, 상기 기준 방향에 대해 상기 리모콘의 지시 방향이 이루는 각도에 따른 포인팅 각도에 기초하여 상기 디스플레이 상의 대응하는 위치에 포인터가 표시되도록 제어하는 단계를 포함하는 포인팅 방법도 제공한다.

또한, 본 발명은 디스플레이에 대해 설치된 카메라를 통해 촬상된 리모콘의 광원의 개수 또는 위치에 따라 상기 리모콘의 촬상시의 방향에 대응하는 촬상시 리모콘 자세를 추정하는 단계; 상기 리모콘의 기준 방향에 대응하는 리모콘의 기준 자세를, 상기 추정된 촬상시 리모콘의 자세로 캘리브레이션하는 단계; 상기 캘리브레이션된 기준 자세와 상기 리모콘내에 설치된 모션 센서에서 측정된 자세 변화량에 따라 포인팅 위치를 추정하는 단계; 및 상기 추정된 포인팅 위치에 따라 포인팅 대상 위의 상기 포인팅 위치에 오브젝트를 표시하는 단계를 포함하는 포인팅 방법을 제공한다.

상기 촬상시 리모콘 자세를 추정하는 단계는, 화상 중 상기 광원의 개수 및 위치와, 그 화상이 촬상되었을 때의 촬상시 자세와의 대응 관계를 기억하는 단계; 및 상기 기억된 대응 관계를 참조하고, 상기 카메라에 의해 촬상된 화상 중 상기 광원의 개수 및 위치와 대응하는 촬상시 자세를 출력하는 단계를 구비할 수 있다.

또한, 본 발명은 적어도 하나의 광원을 갖는 발광 소자부; 상기 리모콘 장치가 지시하고 있는 방향을 나타내는 리모콘 방위 값을 센싱하는 방위 센서부; 상기 화상 표시 장치의 포인팅을 조작하는 조작부; 및 상기 조작부의 포인팅 조작에 따라 상기 발광 소자부를 온 시키고 상기 방위 센서부에서 센싱된 리모콘 방위 값을 리모콘 코드로 변조하여 상기 발광 소자부를 통해 상기 화상 표시 장치로 송신하는 제어부를 포함하며, 상기 화상 표시 장치로 송신된 리모콘 방위 값은, 상기 화상 표시 장치가 상기 화상 표시 장치의 디스플레이 상의 포인팅 위치를 결정하는 데 이용되는 것을 특징으로 하는 리모콘 장치를 제공한다.

또한, 본 발명은 포인팅 조작 입력에 따라 발광 소자를 온 시키고 상기 리모콘 장치가 지시하고 있는 방향을 나타내는 리모콘 방위 값을 센싱하는 단계; 상기 센싱된 리모콘 방위값을 리모콘 코드로 변환하는 단계; 및 상기 리모콘 코드를 발광 소자를 통해 상기 화상 표시 장치로 출력하는 단계를 포함하며, 상기 화상 표시 장치로 송신된 리모콘 방위 값은, 상기 화상 표시 장치가 상기 화상 표시 장치의 디스플레이 상의 포인팅 위치를 결정하는 데 이용되는 것을 특징으로 하는 리모콘 제어 방법을 제공한다.

또, 본 발명은 컴퓨터에 디스플레이에 대해 설정된 참조 방향에 대해 리모콘의 지시 방향이 이루는 각도인 참조 각도를 검출하는 기능과, 상기 디스플레이 상에 설정된 참조점으로부터 상기 리모콘을 본 경우의 방향인 리모콘 방향을 검출하는 기능과, 상기 참조 각도 및 상기 리모콘 방향에 기초하여 상기 리모콘으로부터 그 리모콘에 설정되는 기준 방향을 본 경우에 상기 디스플레이 상의 상기 참조점이 있도록 그 기준 방향을 조절하는 기능과, 상기 기준 방향에 대해 상기 리모콘의 지시 방향이 이루는 각도에 따른 포인팅 각도에 기초하여 상기 디스플레이 상의 대응하는 위치에 포인터가 표시되도록 제어하는 기능을 실현시키기 위한 프로그램도 제공한다.

본 발명의 실시형태에 관한 상대 포인팅 방식의 화상 표시 시스템(300)에 대해 설명한다.

화상 표시 시스템(300)은 도 1에 도시된 바와 같이 화상 표시 장치의 일 실시 예에 해당하는 텔레비전(100)과, 상기 텔레비전(100)을 조작하기 위한 기능과 함께 각속도 센서(21) 및 방위 센서(22)를 구비한 리모콘(200)을 구비한 것이다. 텔레비전(100)은 화상 표시 장치의 일례로서, 방송국으로부터 송신된 영상 및 음성을 포함하는 방송 컨텐츠를 수신하여 영상을 화면에 표시함과 동시에 음성을 출력하는 장치이다. 또한, 텔레비전(100)은 방송 컨텐츠 선택 등의 조작을 행하기 위한 화상도 화면에 표시한다

리모콘(200)은, 텔레비전(100)의 화면에 표시된 화상 상에서 방송 컨텐츠 선택 등의 조작을 행하기 위해 사용된다.

또한, 상기 텔레비전(100)의 상측 중앙부에는 상기 리모콘(200)을 촬상하기 위한 카메라(11)가 마련되어 있고, 상기 리모콘(200)의 선단에는 도 2에 도시된 바와 같이 상기 카메라(11)에 의해 그 리모콘(200)의 위치를 명확하게 파악하기 쉽게 하기 위한 LED 마커(23)가 마련되어 있다. 여기서는, LED 마커(23)는 가시광 LED로서 설명한다.

여기서는, 카메라(11)는 가시광 컬러 카메라인 것으로서 설명한다. 또, 화상 표시 장치는 텔레비전에 한정하지 않고, PC, 사이니지 모니터 등에서 이용되는 것이어도 된다. 여기서, 화상 표시 장치란 액정 모니터, 유기 EL 모니터 등을 말한다.

그리고, 이 화상 표시 시스템(300)은, 상기 리모콘(200)에 설정되는 기준 방향(SD)에 대해 그 리모콘(200)의 지시 방향(PD)이 이루는 각도인 포인팅 각도(A2)를 상기 각 속도 센서(21) 및 상기 방위 센서(22)로부터의 출력으로 산출한다. 그리고, 상기 포인팅 장치(300)는, 이 포인팅 각도(A2)에 대해 누적적으로 회전 변환을 행함으로써 상기 리모콘(200)의 지시 방향(PD)이 포인팅하고 있는 점으로서 텔레비전(100)의 화면 상에 포인터(P)를 표시하도록 구성되어 있다.

도 3에는 텔레비전(100)과 리모콘(200)의 위치 관계를 상방으로부터의 시점에서 나타내고 있고, 도 4에는 텔레비전(100)과 리모콘(200)의 위치 관계를 측방으로부터의 시점에서 나타내고 있다.

사용자가 리모콘(200)을 우방향 또는 아래방향으로 평행 이동하여 도 3의 위치(P2) 또는 도 4의 위치(P4)에 부여하였다고 가정하자.

도 3 및 4에 도시된 바와 같이 상기 리모콘(200)에는 상기 기준 방향(SD)에 따른 가상직선을 중심축으로서 소정의 입체각을 가지는 조작 각도 범위(CR)가 설정되어 있고, 이 조작 각도 범위(CR)와 상기 텔레비전(100)의 포인팅 범위는 소정 관계가 설정되어 있다. 즉, 조작 각도 범위(CR)의 크기를 조절함으로써 상기 리모콘(200)의 자세 변화에 대한 포인터(P)의 감도가 조절된다.

여기서, 실시형태의 화상 표시 시스템(300)의 동작에서의 특징점에 대해 도 3 및 도 4에 기초하여 설명하면, 화상 표시 시스템(300)은 상기 리모콘(200)의 위치가 변화해도 도 3 및 도 4의 P1 및 P2에 도시된 바와 같이 기준 방향(SD)인 조작 각도 범위(CR)의 중심축이 항상 텔레비전(100)의 화면 중심(PO)의 방향을 향한다. 이에 의해, 리모콘(200)의 위치에 따르지 않고 항상 리모콘(200)의 지시 방향(PD)이 텔레비전(100)의 화면 상에서 포인팅하고 있는 점과 포인터(P)의 위치를 계속 거의 일치시키도록 되어 있다. 이러한 동작을 실현하기 위한 상세한 구성에 대해 이하에 설명한다.

먼저, 화상 표시 시스템을 구성하고 있는 화상 표시 장치(100) 및 리모콘 장치(200)의 각 동작을 설명한다.

도 5의 화상 표시 장치(100)는 참조 각도 검출부(4), 리모콘 방향 검출부(3), 기준 방향 조절부(14), 제어부(5), 표시부(18)를 구비한다. 또한 제어부(5)는 추후 제1 내지 제4 실시예에 따른 화상 표시 시스템의 설명에서 개시된 위치 산출부(16) 및 표시 제어부(17)를 구비한다.

참조 각도 검출부(4)는 디스플레이에 대해 설정된 참조 방향(CO)에 대해 리모콘(200)의 지시 방향(COM)이 이루는 각도인 참조 각도(AC)를 검출한다. 이때, 리모콘(200)의 지시 방향(COM)은 리모콘(200)에 설치된 방위 센서(22)로부터 검출된다. 더 상세하게, 참조 각도 검출부(4)는, 리모콘(200)의 지시 방향(COM)이 디스플레이에 대해 수직 방향일 경우 리모콘(200)에 설치된 방위 센서(22)가 출력하는 방위값으로 설정된 참조 방위와, 리모콘(200)의 지시 방향(COM)에 대응하여 방위 센서(22)가 출력하고 있는 방위값으로서 설정된 리모콘 방위(COM)값에 기초하여 참조 각도(AC)를 산출한다.

리모콘 방향 검출부(3)는 디스플레이 상에 설정된 참조점(PO)으로부터 리모콘(200)을 본 경우의 방향인 리모콘 방향(RD)을 검출한다. 이때, 리모콘 방향(RD)은 화상 표시 장치(100)에 설치된 카메라(110)에서 촬상된 리모콘의 화상으로부터 검출된다.

기준 방향 조절부(14)는 리모콘(200)으로부터 그 리모콘에 설정되는 기준 방향(SD)을 본 경우에 화상 표시 장치(100)의 디스플레이 상의 참조점(PO)이 있도록 참조 각도 검출부(4)에서 검출된 참조 각도(AC) 및 리모콘 방향 검출부(3)에서 검출된 리모콘 방향(RD)에 기초하여 기준 방향(SD)을 조절한다.

제어부(5)는 기준 방향(SD)에 대해 리모콘의 지시 방향이 이루는 각도에 따른 포인팅 각도에 기초하여 화상 표시 장치(100)의 디스플레이 상의 대응하는 포인팅 위치에 포인터(P)가 표시되도록 제어한다.

따라서 본 발명의 일 실시 예에 따르면, 리모콘(200)에 설치된 방위 센서(22) 및 화상 표시 장치(100)에 설치된 카메라(110)에서 출력되는 리모콘 방향 정보를 이용함으로써 리모콘(200)의 지시 방향(COM)과 화면 상의 포인터(P)의 위치가 거의 일치하도록 자동으로 조절될 수 있다.

발광 소자부(26)는 LED 마커(23)를 구비하여 적어도 하나의 광원을 갖고 발광한다. 상기 적어도 하나의 광원은 소정의 배치 패턴으로 구성될 수 있다.

방위 센서부(22)는 리모콘(200)이 지시하고 있는 방향을 나타내는 리모콘 방위 값을 센싱한다.

옵션으로서 구비된 각속도센서(210)는 리모콘의 움직임에 대응하는 각 속도 값을 센싱한다. 각속도센서(210)는 일 실시 예로 자이로 스코프를 사용할 수 있다.

조작부(25)는 화상 표시 장치의 포인팅을 조작한다.

제어부(24)는 조작부(25)의 포인팅 조작에 따라 발광 소자부(230)의 적어도 하나의 광원을 온(ON) 시키고 방위 센서부(22)에서 센싱된 리모콘 방위 값 및/또는 각 속도 센서(210)로 부터 센싱된 각 속도 값을 리모콘 코드로 변조하여 발광 소자부(230)를 통해 화상 표시 장치(100)로 출력한다.

화상 표시 장치(100)로 송신된 리모콘 방위 값은, 화상 표시 장치(100)가 상기 화상 표시 장치의 디스플레이 상의 포인팅 위치를 결정하는 데 이용된다.

이하에서는, 화상 표시 장치(100) 및 리모콘(200)을 구비한 화상 표시 시스템(300)에서 장치의 포인팅 동작을 설명한다.

제1 실시형태의 화상 표시 시스템(300)의 구성도는 도 7에 도시된 바와 같은 것이 되고, 리모콘 방향 검출부(3), 참조 각도 검출부(4), 기준 방향 조절부(14), 포인팅 각도 산출부(15), 좌표 산출부(16), 표시 제어부(17), 표시부(18)로 구성되어 있다. 각 부에 대해서는 상기 텔레비전(100) 내의 CPU, 메모리, 입출력 수단 등으로 이루어지는 연산 기구(컴퓨터)에서 상기 메모리에 저장되어 있는 포인팅 장치용 프로그램이 실행됨으로써 그 기능이 실현되는 것이다.

각 부에 대해 상기 리모콘(200)으로부터의 입력이 있고 나서 상기 텔레비전(100) 상에 포인터(P)가 중첩된 조작 화면 영상(DP)이 표시되기까지의 동작에 관련하여 설명한다. 또, 이하에서는 X-Z 평면인 수평면을 기준으로 설명을 하지만, Y-Z 평면에 대해서도 마찬가지로 성립된다. 따라서, 본 발명의 포인팅 장치(300)는 좌우 방향 및 상하 방향의 어느 것에 대해서도 기준 방향(SD)이 화면 중심(PO)을 향하도록 조절할 수 있다.

상기 리모콘 방향 검출부(3)는 리모콘 방향 검출부의 일례로서, 도 8에 도시된 바와 같이 상기 텔레비전(100)에 설정된 참조점인 화면 중심(PO)으로부터 상기 리모콘(200)을 본 경우의 방향인 리모콘 방향(RD)을 검출하기 위한 것이다. 이 리모콘 방향(RD)이란, 상기 화면 중심(PO)과 상기 리모콘(200)의 선단 부분을 연결하는 가상직선에 의해서도 정의할 수 있고, 제1 실시형태에서는 이 가상직선이 연장되는 방향과 상기 기준 방향(SD)이 계속 항상 일치하도록 되어 있다.

제1 실시형태에서는, 상기 리모콘 방향 검출 기구(3)는 상기 텔레비전(100)에서 사용자 측으로 향하고 있고, 상기 리모콘(200)의 LED 마커(23)를 촬상하기 위한 카메라(11)와, 상기 카메라(11)로 촬상된 카메라 화상(PIC)에 기초하여 리모콘 방향(RD)을 나타내는 값으로서, 상기 화면 중심(PO)에 대해 수직인 방향에 대해 리모콘 방향(RD)이 이루는 각도인 리모콘 방향 각도(AP)를 산출하는 리모콘 방향 각도 산출부(12)로 구성되어 있다.

상기 리모콘 방향 각도 산출부(12)는 도 8의 (a)에 도시된 카메라 화상(PIC)을 도 8의 (b)에 도시된 바와 같이 2치화하고, 상기 LED 마커(23)만이 강조된 2치화 화상을 생성한다. 그리고, 상기 리모콘 방향 각도 산출부(12)는 2치화 화상에서의 텔레비전(100)의 중심선부터 LED 마커(23)의 검출 위치까지의 이간 거리(DET)를 산출한다. 여기서, 이간 거리(DET)와 도 8의 (c)에 도시된 리모콘 방향 각도(AP) 사이에는 상기 카메라(11)의 특성에 따라 오로지 정해지는 관계가 존재하기 때문에, 상기 리모콘 방향 각도 산출부(12)는 이간 거리(DET)로부터 리모콘 방향 각도(AP)를 산출할 수 있고, 결과적으로 리모콘 방향(RD)을 특정할 수 있다.

또, 제1 실시형태에서는 LED 마커(23)의 밝기에 기초하여 검출을 행하고 있지만, 예를 들어 LED 마커(23)의 색이나 점멸 패턴 등에 기초하여 검출을 행해도 된다. 또한, LED 마커(23) 대신에 반사 마커 등을 이용해도 된다. 또, LED 마커(23)는 하나이어도 되고 2개 이상이어도 되고, LED 마커(23)의 형상은 자유롭게 정해도 된다.

다음에, 상기 참조 각도 검출부(4)에 대해 도 7 및 도 9를 참조하면서 설명한다. 여기서, 도 9에서는 알기 쉽게 하기 위해 조작 각도 범위(CR)에 대해서는 생략하고 있고 상기 기준 방향(SD)만을 도시하고 있지만, 실제로는 도 3, 도 4 및 도 8에 도시한 조작 각도 범위(CR)가 상기 기준 방향(SD)을 중심축으로서 설정하고 있다.

상기 참조 각도 검출 기구(4)는 참조 각도 검출부의 일례로서, 텔레비전(100)에 대해 설정된 참조 방향(CO)에 대해 상기 리모콘(200)의 지시 방향(PD)이 이루는 각도인 참조 각도(AC)를 검출하는 것이다. 여기서, 제1 실시형태에서는 상기 참조 방향(CO)은 텔레비전(100)에 대해 수직인 방향으로 설정하고 있고, 이 참조 방향(CO)에 대해 상기 리모콘(200)의 지시 방향(PD)이 몇 도 기울어져 있는지에 대해 상기 참조 각도 검출부(4)는 검출한다. 즉, 참조 각도(AC)는 텔레비전(100)의 화면에 대해 리모콘(200)의 지시 방향(PD)이 어느 정도 기울어져 있는 상태인지에 대해 상기 참조 방향(CO)을 기준으로 한 절대적인 값으로서 나타내는 것이다.

상기 참조 각도 검출부(4)는 보다 구체적으로 도 7에 도시된 바와 같이 상기 방위 센서(22)와 상기 참조 각도 산출부(13)로 구성되어 있다. 상기 방위 센서(22)는, 리모콘(200)의 선단이 지시하고 있는 방향인 지시 방향(PD)의 방위를 수치로서 출력하는 것이다. 이하에서는, 도 9에 도시된 바와 같이 리모콘(200)의 지시 방향(PD)이 텔레비전(100) 화면에 대해 수직 방향인 참조 방향(CO)으로 향하고 있는 경우에 상기 방위 센서(22)가 출력하는 방위를 참조 방위(CO), 리모콘(200)의 지시 방향(PD)에 대응하여 상기 방위 센서(22)가 현재 출력하고 있는 방위를 리모콘 방위(COM)라고도 부른다. 또, 참조 방위(CO)는 텔레비전(100)을 기동 후 리모콘(200)을 화면에 수직인 방향으로 배치하고, 그 때에 방위 센서(22)가 출력하는 리모콘 방위(COM)의 값을 독출함으로써 미리 설정할 수 있다. 혹은, 텔레비전(100)을 기동 후에 수동으로 설정하는 것이 아니라, 텔레비전(100)에 방위 센서를 마련하는 등 사전에 자동으로 설정되도록 해도 된다.

상기 참조 각도 산출부(13)는, 상기 참조 방위(CO)와 상기 리모콘 방위(COM)의 차이로부터 도 9에 도시된 참조 각도(AC)를 산출하는 것이다. 또, 참조 각도(AC)는 상기 방위 센서(22)에 기초한 값이므로, 리모콘(200)의 지시 방향(PD)에 대해 오로지 정해지는 값이다.

다음에, 상기 리모콘 방향 검출부(3) 및 상기 참조 각도 검출부(4)에서 각각 검출된 리모콘 방향(RD) 및 참조 각도(AC)에 기초하여 상기 기준 방향 조절부(14)에 의해 기준 방향(SD)이 적절히 변경되는 구성에 대해 설명한다.

상기 기준 방향 조절부(14)는, 조작 각도 범위(CR)의 중심인 기준 방향(SD)이 상기 리모콘 방향(RD)이 일치하도록 상기 기준 방향(SD)을 조절하도록 동작하는 것이다. 다시 말하면, 상기 리모콘(200)의 지시 방향(PD)이 상기 화면 중심(PO)을 가리키는 경우에, 기준 방향(SD)과 리모콘 방향(RD)이 일치하도록 기준 방향(SD)의 방향을 적절히 변경하고 있는 것이다.

보다 구체적으로 상기 기준 방향 조절부(14)는, 도 7에 도시된 바와 같이 후술하는 포인팅 각도 산출부(15)에서 초기값으로서 사용되는 기준 포인팅 각도(A1)에 대해, 리모콘 방향(RD)을 나타내는 상기 리모콘 방향 각도(AP)와 상기 참조 각도(AC)로부터 산출하고, 상기 기준 포인팅 각도(A1)를 갱신함으로써 결과적으로 상기 기준 방향(SD)이 화면 중심(PO)을 향하도록 조절하는 것이다.

다음에, 기준 포인팅 각도(A1)에 대해 설명한다.

상기 기준 포인팅 각도(A1)는, 리모콘(200)의 지시 방향(PD)이 화면 중심(PO)을 가리키는 경우에 대해 리모콘(200)의 현재 지시 방향(PD)이 몇 도 기울어져 있는지를 나타내는 값이다. 따라서, 도 9에 도시된 바와 같이 기준 포인팅 각도(A1)는 참조 각도(AC)에서 리모콘 방향 각도(AP)를 뺌으로써 구할 수 있다. 이는 화면 중심(PO)에서 화면에 수직인 선과 참조 방향(CO)이 평행으로 엇각의 관계로부터 명백하다. 또한, 기준 포인팅 각도(A1)는 상기 리모콘 방향 검출부(3) 및 상기 참조 각도 검출부(4)에 의해 참조 방향(CO)을 기준으로서 검출되는 정확한 값이라고도 할 수 있다.

다음에, 상기 포인팅 각도 산출부(15)에 대해 설명한다.

상기 포인팅 각도 산출부(15)는, 상기 기준 포인팅 각도(A1)와 상기 각속도센서(21)로부터 출력되는 각속도에 기초하여 현재 포인팅 각도(A2)를 산출하는 것이다. 즉, 상기 포인팅 각도 산출부(15)는 초기값으로서 상기 기준 포인팅 각도(A1)를 사용하고, 그 값으로부터 상기 각속도센서(21)에서 얻어지는 각속도를 누적적으로 회전 변환을 반복함으로써 현재 포인팅 각도(A2)를 산출하도록 구성되어 있다. 그리고, 상기 포인팅 각도 산출부(15)는 현재 보유하고 있는 포인팅 각도(A2)는 상기 기준 방향 조절부(14)에 의해 소정 시간마다 상기 기준 포인팅 각도(A1)로 치환되도록 되어 있고, 거의 항상 상기 기준 방향(SD)이 화면 중심(PO)을 계속 향한다.

여기서, 상기 포인팅 각도 산출부(15)에서 사용되는 기준 포인팅 각도(A1)는 방위 센서(22)의 출력에 기초하여 산출되는 것으로, 순차적으로 산출되는 현재 포인팅 각도(A2)에 대해서는 각속도센서(21)의 출력에 기초하고 있다. 즉, 포인팅 각도(A2)의 연산에는 방위 센서(22)보다 응답성이 높은 각속도센서(21)를 이용함으로써, 리모콘(200)의 움직임에 대한 포인터(P)의 추종성이 좋아지도록 되어 있다. 각속도센서(21)는 일 실시 예로 자이로스코프를 들 수 있다.

상기 좌표 산출부(16)는 디스플레이 상의 대응하는 위치를 산출하는 위치 산출부의 일례로서, 상기 포인팅 각도(A2)에 기초하여 대응하는 포인팅 좌표 위치(POS)를 산출하는 것이다.

상기 표시 제어부(17)는, 상기 포인팅 좌표 위치(POS)에 기초하여 포인터(P)를 메뉴 화면 등의 기초 화면에 대해 중첩한 조작 화면 영상(DP)을 출력한다. 여기서, 상기 좌표 산출부(16)와 상기 표시 제어부(17)로 이루어지는 부분은 디스플레이 상의 대응하는 위치에 포인터가 표시되도록 제어하는 제어부의 일례이다.

마지막으로, 상기 표시부(18)는 조작 화면 영상(DP)을 텔레비전(100)에 표시시킨다.

이와 같이 제1 실시형태의 화상 표시 장치(300)에 의하면, 상기 리모콘 방향 검출부(3) 및 상기 참조 각도 검출부(4)에 의해 검출되는 리모콘 방향(RD)과 텔레비전(100)을 기준으로 한 절대적인 값인 참조 각도(AC)에 기초하여 리모콘(200)의 기준 방향(SD)이 화면 중심(PO)을 향하고 있는 경우에서의 현재 기준 포인팅 각도(A1)를 산출할 수 있다. 그리고, 이 기준 포인팅 각도(A1)를 상기 포인팅 각도 산출부(15)에서 사용되고 있는 현재 포인팅 각도(A2)로 치환함으로써, 기준 방향(SD)이 화면 중심(PO)으로 향한 상태를 기준으로 한 각도 연산에 자동으로 리셋할 수 있다.

따라서, 텔레비전(100)에 대한 리모콘(200)의 상대 위치가 변화하였다고 해도 상기 포인팅 각도 산출부(15)에서 보유하고 있는 현재 포인팅 각도(A2)가 상기 기준 방향 조절부(14)에 의해 산출되는 기준 포인팅 각도(A1)로 치환됨으로써, 바로 리모콘(200)의 지시 방향(PD)이 화면 상을 포인팅하고 있는 점과 포인터(P)의 화면 상의 위치를 거의 일치시킬 수 있다.

그리고, 상기 기준 방향 조절부(14)는 소정 시간마다 상기 기준 포인팅 각도(A1)를 산출하고, 상기 포인팅 각도 산출부(15)에서 보유하고 있는 포인팅 각도(A2)를 갱신하므로, 결과적으로 기준 방향(SD)이 정기적으로 화면 중심(PO)을 향하도록 조절되게 된다.

따라서, 사용자는 종래와 같이 기준 방향(SD)이 화면 중심(PO)을 향하도록 리셋 동작을 행할 필요가 없다.

이로부터, 사용자는 리모콘(200)에 의해 포인터(P)를 자연스러운 조작감으로 조작하는 것이 가능하게 된다.

단계 110에서, 화상 표시 장치(100)는 디스플레이에 대해 설정된 참조 방향(CO)에 대해 리모콘(200)의 지시 방향(COM)이 이루는 각도인 참조 각도(AC)를 검출한다. 이때, 리모콘(200)의 지시 방향(COM)은 리모콘(200)에 설치된 방위 센서(22)로부터 검출된다.

단계 120에서, 화상 표시 장치(100)는 화상 표시 장치(100)의 디스플레이 상에 설정된 참조점(PO)으로부터 리모콘(200)을 본 경우의 방향인 리모콘 방향(RD)을 검출한다. 이때, 리모콘 방향(RD)은 화상 표시 장치(100)에 설치된 카메라(110)에서 촬상된 리모콘의 화상으로부터 검출된다.

단계 130에서, 화상 표시 장치(100)는 리모콘(200)으로부터 그 리모콘에 설정되는 기준 방향(SD)을 본 경우에 화상 표시 장치(100)의 디스플레이 상의 참조점(PO)이 있도록 참조 각도(AC) 및 리모콘 방향(RD)에 기초하여 기준 방향(SD)을 조절한다.

단계 140에서, 화상 표시 장치(100)는 기준 방향(SD)에 대해 리모콘의 지시 방향이 이루는 각도에 따른 포인팅 각도에 기초하여 화상 표시 장치(100)의 디스플레이 상의 대응하는 포인팅 위치에 포인터(P)가 표시되도록 제어한다.

단계 210에서, 리모콘 장치(200)는 포인팅 메뉴 조작인가를 체크한다.

단계 220에서, 리모콘 장치(200) 포인팅 조작 입력에 따라 발광 소자를 온 시키고 상기 리모콘 장치가 지시하고 있는 방향을 나타내는 리모콘 방위 값을 센싱한다.

단계 250에서, 리모콘 장치(200)는 포인팅 조작 입력이 없으면 다른 키 조작에 따른 코멘드를 통신한다.

단계 230에서, 리모콘 장치(200)는 센싱된 리모콘 방위값을 리모콘 코드로 변환한다.

단계 240에서, 리모콘 코드를 발광 소자를 통해 상기 화상 표시 장치로 출력한다.

따라서, 화상 표시 장치(100)로 송신된 리모콘 방위 값은, 화상 표시 장치(100)가 상기 화상 표시 장치의 디스플레이 상의 포인팅 위치를 결정하는 데 이용된다.

다음에, 본 발명의 제2 실시형태에 관한 화상 표시 시스템(300)에 대해 도 12를 참조하면서 설명한다. 또, 이하의 설명에서는 제1 실시형태에 대응하는 부재에는 같은 부호를 부여하기로 한다.

제1 실시형태의 화상 표시 시스템(300)과 비교하여 제2 실시형태의 화상 표시 시스템(300)은, 상기 리모콘 방향 검출부(3)로부터 출력되는 리모콘 방향 각도(AP)에 대해 상기 포인팅 각도 산출부(15)가 취득하도록 구성되어 있는 점이 다르다.

또한, 상기 포인팅 각도 산출부(15)는, 상기 기준 방향 조절부(14)로부터 출력된 기준 포인팅 각도(A1)로의 치환이 이루어졌을 때의 과거 리모콘 방향 각도(AP)를 기억하고 있다.

그리고, 상기 포인팅 각도 산출부(15)는, 상기 리모콘 방향 검출부(3)로부터 출력된 새로운 리모콘 방향 각도(AP)와 과거 리모콘 방향 각도(AP)를 비교하여 이들이 소정값 이상의 차이를 가지는 경우에 현재 포인팅 각도(A2)를 기준 포인팅 각도(A1)로 치환하는 것을 허가하도록 구성되어 있다.

이러한 제2 실시형태의 포인팅 장치(300)에 의하면, 예를 들어 도 3에 도시된 바와 같이 텔레비전(100)에 대한 리모콘(200)의 상대 위치가 변화하고, 상기 리모콘 방향 검출 기구(3)로부터 출력되는 리모콘 방향 각도(AP)에 소정값 이상의 변화가 생긴 경우에만 기준 방향(SD)의 조절이 행해지도록 할 수 있다.

따라서, 리모콘(200)의 지시 방향(PD)이 화면 상에서 포인팅하고 있는 점과 포인터(P) 위치의 사이에 큰 어긋남이 발생하기 전에 확실히 기준 방향(SD)의 조절을 행하여 이들이 계속 일치하도록 할 수 있다.

다음에, 본 발명의 제3 실시형태에 관한 화상 표시 시스템(300)에 대해 도 13을 참조하면서 설명한다.

제1 실시형태의 화상 표시 시스템(300)과 비교하여 제3 실시형태의 화상 표시 시스템(300)는 상기 각속도센서(21)가 생략되어 있고, 상기 포인팅 각도 산출부(15)는 상기 기준 포인팅 각도(A1)에 기초하여 포인팅 각도(A2)를 산출하도록 구성되어 있는 점이 다르다. 보다 구체적으로 제3 실시형태의 포인팅 장치(300)는, 상기 리모콘 방향 검출부(3)로부터 출력되는 리모콘 방향 각도(AP)와 참조 각도 검출부(4)로부터 출력되는 참조 각도(AC)로 정기적으로 산출되는 기준 포인팅 각도(A1)를 그대로 포인팅 각도(A2)로서 상기 포인팅 각도 산출부(15)가 출력하도록 구성되어 있다.

이러한 것이면, 리모콘(200)에 마련하는 센서를 하나로 하여 비용을 저감하면서 기준 방향(SD)이 화면 중심(PO)을 항상 향하도록 하여 리모콘(200)의 지시 방향(PD)과 포인터(P)의 위치가 계속 일치하도록 할 수 있다.

텔레비전(100)은 상술한 바와 같이 카메라(11)를 구비한다. 또한, 도시한 바와 같이, 제1 리모콘 검출부(120)와 제2 리모콘 검출부(121)와 캘리브레이션부(122)와 제1 포인팅 각도 산출부(140)와 제2 포인팅 각도 산출부(141)와 포인팅 각도 갱신부(150)와 좌표 산출부(16)와 표시 제어부(17)와 표시부(18)를 구비한다.

카메라(11)는 텔레비전(100)의 화면측(시청자측)의 풍경을 촬영함으로써 카메라 화상(PIC)을 생성하고, 카메라 화상(PIC)을 제1 리모콘 검출부(120) 및 제2 리모콘 검출부(121)에 출력한다. 본 실시형태에서는 촬영 수단의 일례로서 카메라(11)를 마련하고 있다.

제1 리모콘 검출부(120)는, 카메라(11)가 출력한 카메라 화상(PIC)으로부터 리모콘(200)에 탑재되는 LED 마커를 검출한다. 그리고, 텔레비전(100)의 화면에 수직인 방향과 화면 중심(PO)에서 리모콘(200)으로의 방향의 수평 성분(수평면에 투영한 성분)이 이루는 각도인 리모콘 방향 각도(APh)를 산출하여 제1 포인팅 각도 산출부(140)에 출력한다. 본 실시형태에서는, 디스플레이에 수직인 방향과 리모콘 방향을 하나의 면에 투영하여 얻어진 방향이 이루는 각도인 제1 리모콘 방향 각도의 일례로서 리모콘 방향 각도(APh)를 이용하고 있고, 제1 리모콘 방향 각도를 산출하는 제1 리모콘 방향 각도 산출부의 일례로서 제1 리모콘 검출부(120)를 마련하고 있다. 이 제1 리모콘 검출부(120)의 동작에 대해서는 나중에 자세하게 설명한다.

제2 리모콘 검출부(121)는, 카메라(11)가 출력한 카메라 화상(PIC)으로부터 리모콘(200)에 탑재되는 LED 마커를 검출한다. 그리고, 텔레비전(100)의 화면에 수직인 방향과 화면 중심(PO)에서 리모콘(200)으로의 방향의 수직 성분(화면 중심(PO)을 지나가고 화면에 수직인 연직면에 투영한 성분)이 이루는 각도인 리모콘 방향 각도(APv)를 산출하여 제2 포인팅 각도 산출부(141)에 출력한다. 그 때, 제2 리모콘 검출부(121)는 텔레비전(100)의 화면과 카메라(11)의 촬영 방향이 이루는 촬영 각도(APbase)를 이용한다. 본 실시형태에서는, 디스플레이에 수직인 방향과 리모콘 방향을 다른 면에 투영하여 얻어진 방향이 이루는 각도인 제2 리모콘 방향 각도의 일례로서 리모콘 방향 각도(APv)를 이용하고 있고, 제2 리모콘 방향 각도를 산출하는 제2 리모콘 방향 각도 산출부의 일례로서 제2 리모콘 검출부(121)를 마련하고 있다. 이 제2 리모콘 검출부(121)의 동작에 대해서도 나중에 자세하게 설명한다. 본 실시형태에서는, 리모콘 방향 검출부의 일례로서 카메라(11)와 제1 리모콘 검출부(120)와 제2 리모콘 검출부(121)로 이루어지는 부분을 마련하고 있다.

캘리브레이션부(122)는, 제2 리모콘 검출부(121)에서 이용되는 촬영 각도(APbase)를 사전에 계산하여 설정해 둔다. 본 실시형태에서는, 촬영 각도 산출부의 일례로서 캘리브레이션부(122)를 마련하고 있다. 이 캘리브레이션부(122)의 동작에 대해서도 나중에 자세하게 설명한다.

제1 포인팅 각도 산출부(140)는, 리모콘 방향 각도(APh)와 리모콘(200)이 출력하는 방위(COM)의 수평 성분인 리모콘 방위(COMh)에 기초하여 기준 포인팅 각도(A1h)를 산출하여 포인팅 각도 갱신부(150)에 출력한다. 이 제1 포인팅 각도 산출부(140)의 동작에 대해서도 나중에 자세하게 설명한다.

제2 포인팅 각도 산출부(141)는, 리모콘 방향 각도(APv)와 리모콘(200)이 출력하는 방위(COM)의 수직 성분인 리모콘 방위(COMv)에 기초하여 기준 포인팅 각도(A1v)를 산출하여 포인팅 각도 갱신부(150)에 출력한다. 이 제2 포인팅 각도 산출부(141)의 동작에 대해서도 나중에 자세하게 설명한다. 본 실시형태에서는, 참조 각도 검출부 및 기준 방향 조절부의 일례로서 제1 포인팅 각도 산출부(140)와 제2 포인팅 각도 산출부(141)로 이루어지는 부분을 마련하고 있다.

포인팅 각도 갱신부(150)는, 리모콘(200)이 출력하는 각속도(GYR)와 제1 포인팅 각도 산출부(140)가 출력하는 기준 포인팅 각도(A1h) 및 제2 포인팅 각도 산출부(141)가 출력하는 기준 포인팅 각도(A1v)를 합성한 기준 포인팅 각도(A1)에 기초하여 포인팅 각도(A2)를 산출하여 좌표 산출부(16)에 출력한다. 기본적으로 현재 보유하고 있는 포인팅 각도(A2)를 각속도(GYR)에 기초하여 누적적으로 회전 변환을 행함으로써 새로운 포인팅 각도(A2)로 갱신한다. 그리고, 소정의 타이밍에서 포인팅 각도(A2)의 값을 기준 포인팅 각도(A1)의 값으로 치환하는 리셋 동작을 행한다. 그 후, 다시 각속도(GYR)에 기초하여 누적적으로 회전 변환을 반복하여 포인팅 각도(A2)를 갱신해 간다. 여기서, 리셋 동작을 행하는 소정의 타이밍으로서는, 예를 들어 사용자의 조작 위치가 바뀐 타이밍을 생각할 수 있다. 이 경우, 사용자의 조작 위치가 바뀐 것은, 예를 들어 카메라 화상(PIC)에서의 사용자의 화상 위치가 바뀐 것으로부터 판단하면 된다. 단, 리셋 동작은 이러한 타이밍에 한정하지 않고, 예를 들어 일정 시간 간격으로 정기적으로 행하도록 해도 된다. 포인팅 각도 갱신부(150)는, 이와 같이 하여 사용자의 조작 위치가 바뀐 경우이어도 리모콘(200)의 조작 각도 범위의 중심 방향과 리모콘(200)이 화면 중심(PO)을 향하는 방향을 일치시킨다. 본 실시형태에서는, 포인팅 각도를 산출하는 포인팅 각도 산출부의 일례로서 포인팅 각도 갱신부(150)를 마련하고 있다.

좌표 산출부(16)는, 포인팅 각도(A2)에 기초하여 텔레비전(100)의 화면 상의 포인팅 좌표 위치(POS)를 산출하여 표시 제어부(17)에 출력한다. 본 실시형태에서는, 디스플레이 상의 대응하는 위치를 산출하는 위치 산출부의 일례로서 좌표 산출부(16)를 마련하고 있다.

표시 제어부(17)는, 포인팅 좌표 위치(POS)에 기초하여 포인터를 메뉴 화면에 중첩한 조작 화면 영상(DP)을 생성하여 표시부(18)에 출력한다. 본 실시형태에서는, 디스플레이 상의 대응하는 위치에 포인터가 표시되도록 제어하는 제어부의 일례로서 좌표 산출부(16)와 표시 제어부(17)로 이루어지는 부분을 마련하고 있다.

표시부(18)는, 조작 화면 영상(DP)을 텔레비전(100)의 화면에 표시한다. 본 실시형태에서는, 화상을 표시 화면에 표시하는 표시 수단의 일례로서 표시부(18)를 마련하고 있다.

또한, 리모콘(200)은 각속도센서(21)와 가속도 센서 및 지자기 센서(220)를 구비한다.

각속도센서(21)는, 예를 들어 회전하는 물체에 가해지는 관성력을 검출함으로써 물체의 각속도를 검출하는 자이로스코프이다. 여기서는, 리모콘(200)의 각속도(GYR)를 검출하여 포인팅 각도 갱신부(150)에 출력한다.

가속도 센서 및 지자기 센서(220)는, 예를 들어 미소한 가동부의 약간의 움직임에 의한 정전용량의 변화를 검출함으로써 가속도를 검출하는 가속도 센서와, 예를 들어 자기 센서 소자를 이용하여 지자기의 방향을 검출하는 지자기 센서를 포함하는 자세 센서이다. 여기서는, 리모콘(200)의 자세에 기초하여 리모콘(200)의 방위(COM)를 검출하고, 그 수평 성분인 리모콘 방위(COMh)를 제1 포인팅 각도 산출부(140)에 출력하고, 그 수직 성분인 리모콘 방위(COMv)를 제2 포인팅 각도 산출부(141)에 출력한다.

다음에, 제1 리모콘 검출부(120)의 동작을 자세하게 설명한다. 도 15는 제1 리모콘 검출부(120)의 동작에 대해 설명하기 위한 도면이다.

도 15의 (a)는 카메라 화상(PIC)을 나타낸다. 제1 리모콘 검출부(120)는, 카메라 화상(PIC)에 대해 소정의 문턱값으로 2치화 처리를 행함으로써 도 15의 (b)에 도시된 바와 같은 2치화 화상을 얻는다. 이에 의해, 제1 리모콘 검출부(120)는 LED 마커(23)의 영역을 검출하고, 화상 중심을 기준으로 하여 LED 마커(23)의 화상 상의 검출 위치(DETh)를 구한다. 도 15의 (c)는 텔레비전(100)과 리모콘(200)의 위치 관계를 상방으로부터의 시점에서 나타낸 도면이며, 텔레비전(100)의 화면에 수직인 방향을 기준으로서 각도(APh)의 방향으로 리모콘(200)이 존재하는 모습을 나타낸다. 여기서, LED 마커(23)의 화상 상의 검출 위치(DETh)와 리모콘 방향 각도(APh)의 관계는 카메라(11) 특성에 따라 정해지기 때문에, 제1 리모콘 검출부(120)는 검출 위치(DETh)로부터 리모콘 방향 각도(APh)를 산출한다. 구체적으로 도 15의 (b)의 화상의 좌단부터 우단까지의 길이가 화각에 대응하는 것을 이용하여 화상 중심부터 검출 위치(DETh)까지의 길이에 대응하는 리모콘 방향 각도(APh)를 산출한다.

또, 상기에서는 LED의 밝기에 기초하여 LED를 검출하였지만, LED의 색에 기초하여 LED를 검출해도 되고 LED의 점멸 패턴에 기초하여 LED를 검출해도 된다. 또한, LED 마커 대신에 반사 마커를 이용해도 된다. 나아가 LED 마커(23)는 하나이어도 되고 2개 이상이어도 되며, 또한 LED 마커(23)의 형상은 자유롭게 정해도 된다.

다음에, 제1 포인팅 각도 산출부(140)의 동작을 자세하게 설명한다. 도 16은 도 15의 (c)와 마찬가지로 텔레비전(100)과 리모콘(200)의 위치 관계를 상방으로부터의 시점에서 나타낸 도면이다. 또, 도면이 번잡해지는 것을 막기 위해 조작 각도 범위는 생략하고 있다. 도면 중에서, 벡터(COMh)는 가속도 및 지자기 센서(220)로부터 출력되는 리모콘 방위이다. 또한, 벡터(COh)는 텔레비전(100)의 화면에 수직인 참조 방향이다. 나아가 도 15의 (c)와 마찬가지로 텔레비전(100)에서 보았을 때의 리모콘 방향 각도는 APh이다.

도 16에서, 리모콘(200)이 텔레비전(100)의 화면 중심(PO)을 향한 방향을 리모콘(200)의 조작 각도 범위의 중심 방향으로 하고자 한다. 이를 위해서는 참조 방향(COh)으로부터 각도(APh)만큼 회전시킨 방향이 리모콘(200)의 조작 각도 범위의 중심 방향이 되면 좋다. 참조 방향(COh)으로부터 각도(APh)만큼 회전시킨 방향을 리모콘(200)이 향하였을 때, 리모콘(200)은 화면 중심(PO)의 방향을 지시한다. 그래서, 제1 포인팅 각도 산출부(140)는 리모콘 방위(COMh)와 참조 방향(COh)이 이루는 각도(ACh)를 구하고, 리모콘(200)과 화면 중심(PO)을 연결하는 방향과 리모콘 방위(COMh)가 이루는 기준 포인팅 각도(A1h)를 각도(ACh)에서 각도(APh)를 뺌으로써 구한다.

또, 벡터(COh)는 텔레비전(100)을 기동 후 리모콘(200)을 화면에 수직인 방향으로 배치하고, 그 때에 가속도 센서 및 지자기 센서(220)가 출력하는 리모콘 방위(COMh)의 값을 독출함으로써 미리 설정할 수 있다. 혹은, 텔레비전(100)을 기동 후에 수동으로 설정하는 것이 아니라, 텔레비전(100)에 방위 센서를 마련하는 등 사전에 자동으로 설정되도록 해도 된다. 여기서는, 벡터(COh)는 텔레비전(100)의 화면에 수직인 방향으로서 설명하였지만, 기준이 되는 방향이면 되기 때문에 텔레비전(100)의 화면에 평행한 방향 등 다른 방향이어도 된다.

다음에, 제2 리모콘 검출부(121)의 동작을 자세하게 설명한다. 상술한 제1 리모콘 검출부(120)는 수평 방향에 대해 처리를 행하는 것이었지만, 이 제2 리모콘 검출부(121)는 연직 방향에 대해 마찬가지의 처리를 행하는 것이다. 도 17은 제2 리모콘 검출부(121)의 동작에 대해 설명하기 위한 도면이다.

도 17의 (a)는 카메라 화상(PIC)을 나타낸다. 제2 리모콘 검출부(121)는, 카메라 화상(PIC)에 대해 소정의 문턱값으로 2치화 처리를 행함으로써 도 17의 (b)에 도시된 바와 같은 2치화 화상을 얻는다. 이에 의해, 제2 리모콘 검출부(121)는 LED 마커(23)의 영역을 검출하고, 화상 중심을 기준으로 하여 LED 마커(23)의 화상 상의 검출 위치(DETv)를 구한다. 도 17의 (c)는 텔레비전(100)과 리모콘(200)의 위치 관계를 측방으로부터의 시점에서 나타낸 도면이며, 텔레비전(100)의 화면에 수직인 방향을 기준으로서 각도(APv)의 방향으로 리모콘(200)이 존재하는 모습을 나타낸다. 여기서, LED 마커(23)의 화상 상의 검출 위치(DETv)와 리모콘 방향 각도(APv)의 관계는 카메라(11) 특성에 따라 정해지기 때문에, 제2 리모콘 검출부(121)는 검출 위치(DETv)로부터 리모콘 방향 각도(APv)를 산출한다. 구체적으로 도 17의 (b)의 화상의 상단부터 하단까지의 길이가 화각에 대응하는 것을 이용하여 화상 중심부터 검출 위치(DETv)까지의 길이에 대응하는 리모콘 방향 각도(APv)를 산출한다.

그런데, 제1 리모콘 검출부(120)는 수평 방향에 대해 화면 중앙에 카메라(11)를 장착하는 것을 전제로 하였지만, 제2 리모콘 검출부(121)를 이대로 한 것은 연직 방향에 대해서도 화면 중앙에 카메라(11)를 장착하는 것을 전제로 하게 된다. 그러나, 그러면 카메라(11)를 화면 중심(PO)에 장착하게 되기 때문에, 카메라(11)를 텔레비전(100)의 상부 또는 하부 프레임에 장착하는 것으로서 제2 리모콘 검출부(121)의 동작을 수정할 필요가 있다.

그래서, 본 실시형태에서는 카메라(11)를 텔레비전(100)의 상부 프레임의 중앙에 장착하는 것으로 한다. 도 1에서도 카메라(11)를 텔레비전(100)의 상부 프레임의 중앙에 장착한 예를 나타내었다.

여기서, 카메라(11)를 텔레비전(100)의 상부에 장착한 경우의 제2 리모콘 검출부(121)의 동작을 자세하게 설명한다. 도 18은 텔레비전(100)과 리모콘(200)의 위치 관계를 측방으로부터의 시점에서 나타낸 도면이며, 텔레비전(100)의 화면에 수직인 방향을 기준으로서 각도(APv)의 방향으로 리모콘(200)이 존재하는 모습을 나타낸다. 또, 도면이 번잡해지는 것을 막기 위해 조작 각도 범위는 생략하고 있다. 제2 리모콘 검출부(121)는, 도 17의 (c)에서는 카메라(11) 특성에 따라 정해지는 검출 위치(DETv)와 리모콘 방향 각도(APv)의 관계에만 기초하여 검출 위치(DETv)로부터 리모콘 방향 각도(APv)를 구하였지만, 카메라(11)가 텔레비전(100)의 상부에 장착된 경우에 검출 위치(DETv)로부터 리모콘 방향 각도(APv)를 구하기 위해서는 다음 보정이 필요하게 된다.

즉, 우선, 제2 리모콘 검출부(121)는 카메라(11)부터 리모콘(200)까지의 거리(L1)를 구한다. 예를 들면, 카메라 화상(PIC) 상의 LED 마커(23)의 면적(S)은 거리(L1)의 제곱에 반비례하므로, 면적(S)과 거리(L1)의 관계를 룩업 테이블에 보유해 두고, 이 룩업 테이블을 참조함으로써 거리(L1)를 구하면 된다. 혹은, 리모콘(200)에 2개의 LED 마커(23)를 마련하였다고 하면, 카메라 화상(PIC) 상의 2개의 LED 마커(23)의 간격(D)은 거리(L1)에 반비례하므로, 간격(D)과 거리(L1)의 관계를 룩업 테이블에 보유해 두고, 이 룩업 테이블을 참조함으로써 거리(L1)를 구해도 된다.

다음에, 제2 리모콘 검출부(121)는 리모콘(200)부터 텔레비전(100)까지의 거리(L2)를 「L2=L1×sin(APbase-APbefore)」에 의해 산출한다. 여기서, APbase는 카메라(11)의 촬영 방향이 화면과 이루는 각도(이하, 「촬영 각도」라고 함)이다. 본 실시형태에서는, 카메라(11)를 텔레비전(100)의 상부에 장착하고 있으므로 촬영 각도는 내려본 각이 되지만, 카메라(11)를 텔레비전(100)의 하부에 장착하면 촬영 각도는 올려본 각이 된다. 또한, APbefore는 카메라(11)의 촬영 방향과 카메라(11)에서 리모콘(200)으로의 방향이 이루는 각도(촬영 리모콘 각도)이며, 카메라 화상(PIC) 상의 검출 위치(DETv)로부터 구해진다.

또한, 제2 리모콘 검출부(121)는, 리모콘(200)에서 텔레비전(100)으로 내린 수선의 발과 카메라(11)의 거리(L3)를 「L3=L1×cos(APbase-APbefore)」에 의해 산출한다.

다음에, 제2 리모콘 검출부(121)는, 리모콘(200)에서 텔레비전(100)으로 내린 수선의 발과 텔레비전 화면의 중심(PO)의 거리(L4)를 「L4=L3-H/2」로 구한다. 여기서, H는 텔레비전(100)의 높이이다.

이상에 의해, 제2 리모콘 검출부(121)는 리모콘 방향 각도(APv)를 「APv=arctan(L4/L2)」에 의해 구한다.

다음에, 제2 포인팅 각도 산출부(141)의 동작을 자세하게 설명한다. 도 19는 도 17의 (c)와 마찬가지로 텔레비전(100)과 리모콘(200)의 위치 관계를 측방으로부터의 시점에서 나타낸 도면이다. 또, 도면이 번잡해지는 것을 막기 위해 조작 각도 범위는 생략하고 있다. 도면 중에서, 벡터(COMv)는 가속도 및 지자기 센서(220)로부터 출력되는 리모콘 방위이다. 또한, 벡터(COv)는 텔레비전(100)의 화면에 수직인 참조 방향이다. 나아가 도 17의 (c)와 마찬가지로 텔레비전(100)에서 보았을 때의 리모콘 방향 각도는 APv이다.

도 19에서, 리모콘(200)이 텔레비전(100)의 화면 중심(PO)을 향한 방향을 리모콘(200)의 조작 각도 범위의 중심 방향으로 하고자 한다. 이를 위해서는 참조 방향(COh)으로부터 각도(APv)만큼 회전시킨 방향이 리모콘(200)의 조작 각도 범위의 중심 방향이 되면 좋다. 참조 방향(COh)으로부터 각도(APv)만큼 회전시킨 방향을 리모콘(200)이 향하였을 때, 리모콘(200)은 화면 중심(PO)의 방향을 지시한다. 그래서, 제2 포인팅 각도 산출부(141)는 리모콘 방위(COMv)와 참조 방향(COh)이 이루는 각도(ACv)를 구하고, 리모콘(200)과 화면 중심(PO)을 연결하는 방향과 리모콘 방위(COMv)가 이루는 기준 포인팅 각도(A1v)를 각도(ACv)에서 각도(APv)를 뺌으로써 구한다.

또, 벡터(COv)는 텔레비전(100)을 기동 후 리모콘(200)을 화면에 수직인 방향으로 배치하고, 그 때에 가속도 센서 및 지자기 센서(220)가 출력하는 리모콘 방위(COMv)의 값을 독출함으로써 미리 설정할 수 있다. 혹은, 텔레비전(100)을 기동 후에 수동으로 설정하는 것이 아니라, 텔레비전(100)에 방위 센서를 마련하는 등 사전에 자동으로 설정되도록 해도 된다. 여기서는, 벡터(COv)는 텔레비전(100)의 화면에 수직인 방향으로서 설명하였지만, 기준이 되는 방향이면 되기 때문에 텔레비전(100)의 화면에 평행한 방향 등 다른 방향이어도 된다.

다음에, 캘리브레이션부(122)의 동작을 자세하게 설명한다. 즉, 카메라(11)의 촬영 경사 각도의 계산 방법에 대해 설명한다. 우선, 도 20에 도시된 바와 같이, 카메라(11)를 촬영 방향이 수평이 되도록 텔레비전(100)의 상부 프레임에 장착한 상태로 캘리브레이션부(122)는 시야 내의 리모콘(200)의 연직 방향 위치를 기억한다. 다음에, 도 21에 도시된 바와 같이, 카메라(11)의 촬영 각도가 원하는 각도가 되도록 조정한 상태로 캘리브레이션부(122)는 다시 시야 내의 리모콘(200)의 연직 방향 위치를 기억한다. 이에 의해, 캘리브레이션부(122)는, 도 22에 도시된 바와 같이 카메라(11)의 연직 방향의 화각(θ)과 화상 상에서의 리모콘(200)의 이동량(ΔD)을 이용하여 카메라(11)의 촬영 각도를 「θ×ΔD/N」으로 한다. 여기서, N은 연직 방향 화각에 대응하는 화소수이다. 또, 연직 방향 화각은 이미지 센서의 크기와 카메라(11)의 초점 거리로부터 산출해도 되고 실측값으로부터 구해도 된다. 여기서, 실측값이란 카메라(11)를 이용하여 실험적으로 연직 방향 화각을 계측한 결과이며, 이를 기억하는 구성으로 해도 된다.

또한, 상기에서는 화상 상에서의 리모콘(200)의 이동량(ΔD)을 이용하여 카메라(11)의 촬영 각도를 산출하는 방법을 나타내었지만, 화상 상의 배경 이동량을 이용해도 된다. 카메라(11)가 수평인 경우의 배경 화상을 촬영하여 기억해 두고 카메라(11)의 촬영 각도를 조정한 후의 배경 화상과 비교함으로써 배경 화상의 이동량(ΔD)을 구할 수 있고, 마찬가지로 하여 카메라(11)의 촬영 각도를 산출할 수 있다.

혹은, 인코더라고 불리는 각도를 계측하는 센서를 이용해도 된다. 인코더를 카메라(11)의 각도 조정 부분에 장착함으로써 직접적으로 각도를 계측할 수 있다.

또, 지금까지 카메라(11) 및 LED 마커(23)는 각각 가시광 카메라 및 가시광 LED인 것으로서 설명하였지만, 이에 한정되지 않는다. 예를 들면, 각각 적외광 카메라 및 적외광 LED이어도 된다.

다음에, 본 제4실시형태에서의 텔레비전(100)의 전체적인 동작을 설명한다. 도 23은 텔레비전(100)의 전체적인 동작예를 도시한 흐름도이다.

도시한 바와 같이, 텔레비전(100)에서는, 우선, 카메라(11)가 텔레비전(100)의 화면측(시청자측) 풍경을 촬영함으로써 카메라 화상(PIC)을 생성한다(단계 301). 그러면, 제1 리모콘 검출부(120)가 단계 301에서 생성된 카메라 화상(PIC)에 기초하여 텔레비전(100)의 화면에 수직인 방향과 화면 중심(PO)에서 리모콘(200)으로의 방향의 수평 성분이 이루는 각도인 리모콘 방향 각도(APh)를 산출하고(단계 302), 제2 리모콘 검출부(121)가 단계 301에서 생성된 카메라 화상(PIC)과 텔레비전(100)의 화면과 카메라(11)의 촬영 방향이 이루는 촬영 각도에 기초하여, 텔레비전(100)의 화면에 수직인 방향과 화면 중심(PO)에서 리모콘(200)으로의 방향의 수직 성분이 이루는 각도인 리모콘 방향 각도(APv)를 산출한다(단계 303).

다음에, 제1 포인팅 각도 산출부(140)가 단계 302에서 산출된 리모콘 방향 각도(APh)와 리모콘(200)이 출력하는 지시 방향의 수평 성분인 리모콘 방위(COMh)에 기초하여 기준 포인팅 각도(A1h)를 산출하고(단계 304), 제2 포인팅 각도 산출부(141)가 단계 303에서 산출된 리모콘 방향 각도(APv)와 리모콘(200)이 출력하는 지시 방향의 수직 성분인 리모콘 방위(COMv)에 기초하여 기준 포인팅 각도(A1v)를 산출한다(단계 305). 그러면, 포인팅 각도 갱신부(150)가 리모콘(200)이 출력하는 각속도(GYR)와 단계 304에서 산출된 기준 포인팅 각도(A1h) 및 단계 305에서 산출된 기준 포인팅 각도(A1v)를 합성한 기준 포인팅 각도(A1)에 기초하여 포인팅 각도(A2)를 산출한다(단계 306).

다음에, 좌표 산출부(16)가 포인팅 각도(A2)에 기초하여 텔레비전(100)의 화면 상의 포인팅 좌표 위치(POS)를 산출한다(단계 307). 그러면, 표시 제어부(17)가 단계 307에서 산출된 포인팅 좌표 위치(POS)에 기초하여 포인터를 메뉴 화면에 중첩한 조작 화면 영상(DP)을 생성한다(단계 308). 그리고, 표시부(18)가 단계 308에서 생성된 조작 화면 영상(DP)을 텔레비전(100)의 화면에 표시한다.

또, 본 실시형태에서는 카메라(11)를 텔레비전(100)의 상부 또는 하부 프레임에 장착하는 것으로 하고, 제1 리모콘 검출부(120) 및 제1 포인팅 각도 산출부(140)가 수평면 상에서 처리를 행하며, 제2 리모콘 검출부(121) 및 제2 포인팅 각도 산출부(141)가 텔레비전(100)의 화면에 수직인 연직면 상에서 처리를 행하도록 하였다. 그러나, 카메라(11)를 텔레비전(100)의 좌측 또는 우측 프레임에 장착하는 것으로 하고, 제1 리모콘 검출부(120) 및 제1 포인팅 각도 산출부(140)가 텔레비전(100)의 화면에 수직인 연직면 상에서 처리를 행하며, 제2 리모콘 검출부(121) 및 제2 포인팅 각도 산출부(141)가 수평면 상에서 처리를 행하도록 해도 된다. 또, 카메라(11)를 텔레비전(100)의 상부 또는 하부 프레임에 장착하는 경우는 수평면이 하나의 면인 일례이며, 텔레비전(100)의 화면에 수직인 연직면이 다른 면인 일례이지만, 카메라(11)를 텔레비전(100)의 좌측 또는 우측 프레임에 장착하는 경우는 텔레비전(100)의 화면에 수직인 연직면이 하나의 면인 일례이며, 수평면이 다른 면인 일례이다.

또한, 본 실시형태에서는 카메라(11)를 텔레비전(100)의 프레임 중앙에 장착하는 것으로 하였다. 여기서, 프레임 중앙은 프레임 중점인 것이 이상적이기는 하지만, 반드시 프레임 중점일 필요는 없다. 카메라(11)가 시청자 측을 촬영함으로써 생성된 카메라 화상(PIC) 상에서 카메라(11)의 장착 위치의 프레임 중점으로부터의 어긋남은 보정할 수 있기 때문이다.

나아가 본 실시형태에서는 카메라 화상(PIC) 중의 LED 마커(23)의 면적(S)이나 LED 마커(23)끼리의 간격을 기초로 카메라(11)와 리모콘(200)의 거리(L1)를 계측하였지만, 다른 방법을 이용해도 된다.

예를 들면, 스테레오 카메라를 이용하는 방법으로도 된다. 일반적으로 스테레오 카메라는, 좌우 또는 상하로 나열된 2대의 카메라의 시차 정보를 이용하여 대상물까지의 깊이 정보(거리)를 얻을 수 있는 카메라이다. 그리고, 카메라 전방의 물체까지의 거리를 화상으로 나타낸 거리 화상을 얻을 수 있다. 예를 들어 이미 텔레비전(100)의 상변 중앙에 카메라(11)를 설치하고 있는 경우에는, 하변 중앙에 1대의 카메라(110)를 더 설치함으로써 스테레오 카메라를 구성할 수 있다. 이미 구비하고 있는 카메라(11)로부터의 카메라 화상(PIC)에서 리모콘(200)의 좌표를 알고 있기 때문에, 거리 화상 중의 같은 좌표의 데이터를 참조함으로써 카메라(11)와 리모콘(200)의 거리(L1)를 계측할 수 있다.

혹은, 거리 화상 센서를 이용하는 방법으로도 된다. 이것도 거리 화상을 얻기 위한 센서이기 때문에, 마찬가지로 하여 카메라(11)와 리모콘(200)의 거리(L1)를 계측할 수 있다. 예를 들면, 거리 화상 센서에는 광의 도착 시간 차이를 이용하는 TOF(타임 오브 플라이트) 방식의 것, 특정 패턴 형상의 적외광을 조사하여 그 패턴 형상의 왜곡을 기초로 물체까지의 거리를 계산하는 스트럭처드 라이트 방식의 것 등이 있다.

혹은, 초음파를 이용하는 방법으로도 된다. 리모콘(200)에 초음파 발신기를 구비하고, 텔레비전(100)의 다른 위치에 2개의 초음파 수신기를 구비하고, 리모콘(200)의 초음파 발신기로부터 초음파를 발신하여 2개의 초음파 수신기에서 수신되는 초음파 파형의 위상차와 2개의 초음파 수신기의 간격에 기초하여 삼각측량 원리로부터 카메라(11)와 리모콘(200)의 거리(L1)를 계측할 수 있다. 또한, 초음파 수신기는 3개 이상이어도 되고, 3개 이상으로 하면 보다 정밀도가 높은 계측이 가능하게 된다.

혹은, 전파를 이용하는 방법으로도 된다. 초음파를 이용하는 경우와 마찬가지로 리모콘(200)에 전파 발신기, 텔레비전(100)의 다른 위치에 2개의 전파 수신기를 구비하고, 리모콘(200)으로부터 전파를 발신하여 2개의 전파 수신기에서 수신되는 전파의 위상차로부터 삼각측량 원리로부터 카메라(11)와 리모콘(200)의 거리(L1)를 계측할 수 있다. 또한, 전파 수신기는 3개 이상이어도 되고, 3개 이상으로 하면 보다 높은 정밀도의 계측이 가능하게 된다.

또한, 이 제4 실시형태는 제1 실시형태를 기초로 한 구성을 갖는 것으로 하였지만, 제2 실시형태 또는 제3 실시형태를 기초로 한 구성을 갖는 것으로 해도 된다. 즉, 제2 실시형태와 마찬가지로 포인팅 각도 갱신부(150)가 제1 리모콘 검출부(120) 및 제2 리모콘 검출부(121)로부터 리모콘 방향 각도(APh) 및 리모콘 방향 각도(APv)를 취득하는 구성으로 해도 되고, 제3 실시형태와 마찬가지로 각속도센서 (21)를 마련하지 않은 구성으로 해도 된다.

도 24는 이 화상 표시 장치(100)에서의 위치 산출부(16)의 기능 구성 예를 도시한 도면이다. 즉, 본 발명의 실시형태는 상술한 제1 실시형태에서 제4 실시형태의 각 실시형태에서의 위치 산출부(16)에 해당된다.

도시한 바와 같이, 위치 산출부(16)는 변환 테이블 기억부(161)와 거리 취득부(162)와 좌표 결정부(163)와 좌표 출력부(164)를 구비한다.

변환 테이블 기억부(161)는, 포인팅 각도(A2)를 포인팅 좌표 위치(POS)로 변환할 때에 참조되는 변환 테이블을 기억한다. 이 변환 테이블은, 포인팅 각도(A2)가 어떠한 각도인 경우에 포인팅 좌표 위치(POS)로서 어떠한 좌표 위치를 산출하는지를 정의한 테이블이다. 변환 테이블은 하나이어도 되지만, 이 제5 실시형태에서는 텔레비전(100)부터 리모콘(200)까지의 거리에 대응하여 복수의 변환 테이블을 기억하는 것으로 한다. 예를 들면, 텔레비전(100)부터 리모콘(200)까지의 거리가 DR 이상인 경우의 장거리용 변환 테이블과, 텔레비전(100)부터 리모콘(200)까지의 거리가 DR 이하인 경우의 단거리용 변환 테이블을 기억한다.

거리 취득부(162)는, 텔레비전(100)부터 리모콘(200)까지의 거리를 취득한다. 제1 실시형태 내지 제3 실시형태에서는, 리모콘 방향 각도 산출부(12)가 리모콘 방향 각도(AP)를 산출할 때에 제4 실시형태에서 제2 리모콘 검출부(121)가 행하고 있는 것과 마찬가지의 방법에 의해 카메라(11)부터 리모콘(200)까지의 거리도 산출할 수 있으므로, 이 거리를 텔레비전(100)부터 리모콘(200)까지의 거리로서 취득하면 된다. 또한, 제4 실시형태에서는 제2 리모콘 검출부(121)가 카메라(11)부터 리모콘(200)까지의 거리(L1)를 산출하고 있으므로, 이 거리를 텔레비전(100)부터 리모콘(200)까지의 거리로서 취득하면 된다. 혹은, 카메라(11)부터 리모콘(200)까지의 거리를 그대로 텔레비전(100)부터 리모콘(200)까지의 거리로서 취득하는 것이 아니라, 카메라(11)부터 리모콘(200)까지의 거리에 기초하여 예를 들어 화면 중심(PO)부터 리모콘(200)까지의 거리를 산출하고, 이 거리를 텔레비전(100)부터 리모콘(200)까지의 거리로서 취득해도 된다.

좌표 결정부(163)는, 거리 취득부(162)가 취득한 거리에 따라 변환 테이블 기억부(161)로부터 해당하는 변환 테이블을 독출한다. 그리고, 이 변환 테이블을 이용하여 포인팅 각도(A2)에 대응하는 포인팅 좌표 위치(POS)를 결정한다. 예를 들어 거리 취득부(162)가 취득한 거리가 DR 이상이면, 장거리용 변환 테이블을 이용하여 포인팅 좌표 위치(POS)를 결정하고, 거리 취득부(162)가 취득한 거리가 DR 이하이면, 단거리용 변환 테이블을 이용하여 포인팅 좌표 위치(POS)를 결정한다.

좌표 출력부(164)는, 좌표 결정부(163)가 결정한 포인팅 좌표 위치(POS)를 표시 제어부(17)에 출력한다.

그런데, 지금까지 좌표 결정부(163)는 거리 취득부(162)가 취득한 거리에 따라 변환 테이블 기억부(161)에 기억된 복수의 변환 테이블 중 어느 하나를 선택하고 이를 이용하여 포인팅 각도(A2)를 포인팅 좌표 위치(POS)로 변환하는 것으로 하였다. 즉, 포인팅 각도(A2)에서 포인팅 좌표 위치(POS)로의 변환 규칙이 텔레비전(100)부터 리모콘(200)까지의 거리에 따라 단계적으로 변화하도록 하였다. 그러나, 이러한 변환 규칙은 연속적으로 변화하도록 해도 된다. 도 25는 이러한 연속적으로 변화하는 변환 규칙을 규정하는 그래프의 예이다. 이 그래프에서는 가로축이 텔레비전(100)부터 리모콘(200)까지의 거리를 나타내고 있고, 세로축이 포인팅 각도(A2)의 단위 각도당 화면 중심(PO)부터 포인팅 좌표 위치(POS)까지의 화소수(거리에 상당)를 나타내고 있다. 예를 들면, 거리 취득부(162)로부터 취득한 거리가 DRX라고 하자. 그러면, 도시한 바와 같이, 좌표 결정부(163)는 단위 각도(α)당 화소수가 PX인 것을 나타내는 (PX/α)를 취득한다. 그리고, 좌표 결정부(163)는 (PX/α)에 포인팅 각도(A2)를 곱함으로써 구한 화소수에 기초하여 포인팅 좌표 위치(POS)를 산출한다.

그 밖의 실시형태에 대해 설명한다.

제1 실시형태에서는, 참조 방향에 대해서는 텔레비전의 화면에 대해 수직인 방향으로 설정하였지만, 예를 들면 도 26에 도시된 바와 같이 화면에 대해 기울어져 설정해도 된다. 이러한 것이어도 기준 포인팅 각도는 텔레비전 화면에 대한 참조 방향의 경사각을 이미 알고 있으면 산출할 수 있고, 기준 방향의 조절을 행할 수 있다. 또한, 화면에 대해 평행하게 참조 방향을 설정해도 된다.

도 27에 도시한 바와 같이, 본 실시 형태의 화상 표시 시스템(300)는 포인팅 대상인 텔레비전(100)과, 상기 텔레비전(100)에 설치된 카메라(13)와, 텔레비전(100)을 조작하기 위한 리모콘(200)을 이용하여 구성되어 있고, 텔레비전 화면 중의 임의의 점을 사용자가 리모콘(200)으로 포인팅할 목적으로 사용되는 것이다.

보다 구체적으로는, 이 화상 표시 시스템(300)은 상기 리모콘(200) 내에 가속도 센서(32), 각속도 센서(33)라는 모션 센서를 구비한 것이고, 사용자에 의한 리모콘(200)의 지시 방향(PL)(가상 지시 직선)의 변화를 상기 모션 센서로부터 측정하도록 구성되어 있다. 그리고, 상기 포인팅 장치(100)는 측정치로부터 현재 리모콘(200)에 의해 지시되고 있는 것으로 추정되는 포인팅점에 텔레비전 화면 상의 점에 오브젝트를 표시, 이동시키도록 구성되어 있다.

또한, 본 실시 형태의 화상 표시 시스템(300)은, 이른바 상대 포인팅 방식의 것이지만, 포인팅 위치의 추정의 기초가 되는 상기 리모콘(200)의 기준 자세의 캘리브레이션이 자동적으로 행해지도록 되어 있고, 캘리브레이션 개시를 위해 사용자가 특수한 동작을 행할 필요가 없게 되어 있다.

본 실시 형태의 화상 표시 시스템(300)를 구성하는 각 부에 대해 도 28의 기능 블록도를 참조하면서 설명하기로 한다. 또한 텔레비전(100) 및 리모콘(200) 본래의 기능에 관한 구성에 대해서는 설명을 생략하고 있다.

상기 화상 표시 시스템(300)의 물리적인 구성으로는, 상기 리모콘(200)과, 상기 카메라(11)와, 상기 텔레비전(100) 내에 부가된 연산 기구(E)로 이루어진다. 상기 연산 기구(E)는 상기 리모콘(200)으로 측정된 상기 리모콘(200)의 움직임, 자세 변화에 따라 포인팅 위치를 추정하고, 텔레비전 화면 중에 표시되는 오브젝트인 커서의 위치를 이동 및 표시시키는 것이다. 또한, 상기 연산 기구(E)는 상기 카메라(11)로 촬상되는 화상에 따라 포인팅 위치의 추정의 기초가 되는 상기 리모콘(200)의 기준 자세를 캘리브레이션한다.

각 부의 상세에 대해 설명하기로 한다. 상기 리모콘(200)은 내부에 자세 변화량을 측정하는 자세 변화량 측정부(30)를 구비하고, 그 선단부에 상기 카메라(11)로 상기 리모콘(200)을 촬상할 때의 마커가 되는 마커부(M)를 구비한 것이다. 상기 자세 변화량 측정부(30)는 지자기 센서(31)와 모션 센서인 가속도 센서(32) 및 각속도 센서(33)로 이루어진다. 또한, 상기 리모콘(200)은 개략적으로 가는 직육면체 형상을 가지고 있고, 그 일측면에 채널 선택 등에 이용되는 조작 버튼이 배열되어 있고, 그 선단면이 향하는 방향을 지시 방향(PL)으로서 각 센서에 의해 검출되도록 하고 있다.

상기 지자기 센서(31)는 지자기에 따라 상기 리모콘(200)이 수평면 내에서 지시하는 방향을 검출하기 위한 것이다. 본 실시 형태에서는 이 지자기 센서(31)가 나타내고 있는 방향을 수평면 내의 회전을 검출하기 위한 기준으로서 취득하도록 하고 있다. 또한 사용자가 상기 리모콘(200)의 지시 방향(PL)을 변화시켰을 때의 자세 변화에 대해서는 이 지자기 센서(31)가 아니라, 시간 분해 능력이 뛰어난 상기 모션 센서에 의해 측정하도록 하고 있다.

상기 가속도 센서(32)는 상기 리모콘(200)이 사용자에 의해 작동되었을 때의 가속도를 측정하기 위한 것이다. 이 가속도는 상기 각속도 센서(33)로 측정된 각속도를 보상하기 위해 이용된다.

상기 각속도 센서(33)는 상기 리모콘(200)의 양단면을 지나는 중심축을 롤 축, 조작 버튼이 배열되지 않은 대향하는 이측면에 수직한 축을 피치축(수평축), 조작 버튼이 배열된 측면에 수직한 축을 요잉축(연직축)으로 정의한 경우, 피치축 방향의 각속도(피칭)와 요잉(yawing)축 방향의 각속도를 측정하는 것이다. 즉, 이 각속도 센서(33)는 피치축 및 요잉축 방향의 각속도를 검출할 수 있도록 2개의 검출 소자를 구비한 것이다.

상기 마커부(M)는 상기 리모콘(200)의 선단부에서 개략 직육면체 형상의 내부 공간 내에 수용된 4개의 광원이고, 각각 발광색이 다른 LED(1)와, 상기 복수의 LED(1)와 동수의 개구부(21)를 갖는 차광체(2)로 이루어진다.

상기 4개의 LED(1)는 리모콘(200)의 선단면에 수직한 방향에서 보았을 경우에 개략 정사각형을 이루도록 배치되어 있다. 또한 본 실시 형태에서는 4색 LED(1)를 이용하고 있지만 모두 동색의 것을 이용해도 무방하다.

상기 차광체(2)는 상기 복수의 LED(1)의 광사출측으로 소정 거리 이간됨과 동시에, 각 개구부(21)가 각 LED(1)의 광축 상에 배치되어 있다. 즉, 각 개구부(21)도 리모콘(200)의 선단면에 수직한 방향에서 보았을 경우에 개략 정사각형을 이루도록 배치되어 있다. 후술하는 바와 같이, 이 마커 기구(M)는 텔레비전 화면에 대해 정면 대향하는 경우에는 4개의 LED(1)로부터의 광이 상기 카메라(11)로 촬상되어 리모콘(200)이 텔레비전 화면에 대해 소정의 각도로 경사진 자세를 가지고 있는 경우에는, 그 경사 방향에 따라 상기 카메라(11)에 의해 촬상되는 LED(1)의 개수 및 위치가 변화한다.

상기 카메라(11)는 상기 텔레비전(100)의 상부 베젤 중앙부에 배치되어 있고, 텔레비전 화면에 대해 수직한 방향을 향해 촬상하도록 하고 있다. 즉, 이 카메라(11)는 소정의 촬상 범위를 입체각으로 가지고 있고, 주로 텔레비전 화면에 대해 수직한 방향으로 진행하는 광 중 카메라(11) 내로 입사되는 것만이 밝게 촬상되게 된다.

상기 연산 기구(E)는 CPU, 메모리, 입출력 기기, A/D, D/A 컨버터 등을 구비한 이른바 컴퓨터로서, 각종 기기가 협업하여 상기 메모리에 격납되어 있는 화상 표시 시스템(300)용 프로그램이 실행되므로써 포인팅 위치 추정을 위한 포인팅 각도 산출부(15)와 위치 산출부(16), 리모콘 자세 추정부(6), 캘리브레이션부(7)로서의 기능을 발휘하도록 구성되어 있다.

우선, 기본적인 포인팅 위치의 산출에 관련된 각 부에 대해 설명하기로 한다.

상기 포인팅 위치 추정부(4)는 상기 리모콘(200)의 기준 자세와, 상기 지자기 센서(31), 상기 가속도 센서(32), 상기 각속도 센서(33)로 측정되는 상기 리모콘(200)의 자세 변화량에 따라 텔레비전 화면 상의 포인팅 위치(좌표)를 산출하는 것이다. 상기 포인팅 위치 추정부(4)는 상기 리모콘(200)이 기준 자세인 경우의 지시 방향(PL)을 기준 지시 방향(BPL)으로 하고, 이 기준 지시 방향(BPL)에 대해 현재의 지시 방향(PL)이 이루는 피치각 및 요잉각인 포인팅 각도(θ)를 산출하는 포인팅 각도 산출부(15)와, 상기 포인팅 각도 산출부(41)에서 산출된 포인팅 각도(θ)에 따라 현재의 지시 방향(PL)과 상기 텔레비젼 화면이 교차하는 점인 포인팅점을 산출하는 좌표 산출부(42)로 구성되어 있다.

상기 포인팅 각도 산출부(15)에 있어서의 포인팅 각도(θ)의 산출에 대해 상술한다. 상기 리모콘(200)에는 도 29(a)에 도시한 바와 같이, 상기 기준 자세인 경우의 기준 지시 방향(BPL)을 중심으로 하는 입체각에 의해 각도 변화를 조작 입력으로 받아들이는 조작 각도 범위(CR)가 미리 설정되어 있다. 예컨대, 리모콘(200)이 텔레비전 화면에 대해 정면으로 대향 하고 있고, 기준 지시 방향(BPL)이 텔레비전 화면의 중앙을 가리키고 있는 경우에는, 그 기준 자세로부터 요잉각 또는 피치각을 변화시켜 지시 방향(PL)이 가리키는 점이 베젤의 상하 좌우의 근방이 되는 각도를 바탕으로 조작 각도 범위(CR)를 설정하고 있다.

또한 도 29(a)에 도시한 기준 자세는 일예로서, 후술하는 기준 방향 조절부(7)에 의해 상기 리모콘(200)의 지시 방향(PL)에 따라 9종류의 기준 자세로 캘리브레이션 되도록 하고 있다.

그리고, 이 포인팅 각도 산출부(15)는, 도 29(b)에 도시한 바와 같이, 조작 각도 범위(CR) 내에서 현재의 지시 방향(PL)이 기준 자세시의 기준 지시 방향(BPL)에 대해 이루는 각도를 산출한다. 구체적으로는, 상기 기준 자세의 상태로부터 상기 각도 변화량 측정부(30)에 의해 얻어지는 보정 후의 각속도를 누적적으로 적분해 감으로써 차례로 현재의 지시 방향(PL)과 기준 지시 방향(BPL)이 이루는 각도인 포인팅 각도(θ)를 산출한다.

상기 위치 산출부(16)는 상기 기준 지시 방향(BPL)이 텔레비전 화면 상에서 가리키는 것으로 추정되는 기준점과 현재의 포인팅 각도(θ)에 따라 현재의 지시 방향(PL)이 텔레비전 화면 상에서 가리키는 것으로 추정되는 포인팅점의 좌표를 산출하는 것이다.

도 28에 도시한 상기 표시부(18)는 상기 위치 산출부(42)에서 산출된 포인팅 위치의 텔레비전 화면 상의 좌표로 커서를 이동 표시하게 하는 것이다.

이어서, 상기 포인팅 위치의 추정의 기초가 되는 기준 자세의 캘리브레이션에 관한 각 부에 대해 도 28 및 도 30 등을 참조하면서 설명하기로 한다.

상기 촬상시 자세 추정부(6)는 상기 카메라(11)에 의해 촬상된 화상 중 상기 LED(1)의 개수 또는 위치에 따라 상기 피조작체의 촬상시의 자세인 촬상시 자세를 추정하는 것이다. 보다 구체적으로는, 상기 리모콘 자세 추정부(6)는 상기 텔레비젼 화면의 중앙부에 마련된 9개의 정사각형 에리어(A)에 대해 어느 것을 리모콘(200)의 지시 방향(PL)이 지시하는지를 판별하고, 그 에리어(A)를 지시하기 위해 필요한 자세를 추정한다. 상기 9개의 에리어(A)는 도 27 등에 도시한 바와 같이 상하 방향으로 3개분, 좌우 방향으로 3개분, 정사각형으로 나란히 있는 것이다. 또한 도 27의 각 에리어(A)에 대해 부여한 번호는 이하의 설명 및 도면에 등장하는 번호와 대응시키고 있다. 그리고, 각 에리어(A)를 상기 리모콘(200)의 지시 방향(PL)이 지시하는 상태에서 상기 카메라(11)가 촬상한 화상 중에 나타나는 상기 LED(1)의 개수 및 위치는, 도 30에 도시한 바와 같이 각각이 고유한 것이 된다. 이러한 지시되고 있는 에리어(A)와, 화상 중의 LED(1)의 개수 및 위치 사이에 고유의 관계가 나타나는 것은, 상기 마커부(M)의 구성에 의해 야기될 수 있는 것이지만, 상세에 대해서는 후술하기로 한다.

상기 리모콘 자세 추정부(6)의 구성에 대해 상술하면, 화상 중 상기 LED(1)의 개수 및 위치와, 그 화상이 촬상되었을 때의 촬상시 자세와의 대응 관계를 기억하는 대응 관계 기억부(61)와, 상기 대응 관계 기억부(61)를 참조하여 상기 카메라(11)에 의해 촬상된 화상 중 상기 LED(1)의 개수 및 위치와 대응되는 촬상시 자세를 출력하는 자세 출력부(62)로 구성되어 있다.

상기 대응 관계 기억부(61)는, 도 30에 도시한 리모콘(200)이 지시하는 에리어(A)와, 그 에리어(A)를 가리키는 경우에 촬상된 화상을 각각 기준 화상으로서 기억하는 것이다. 또한, 각 기준 화상이 촬상되었을 때, 리모콘(200)의 자세에 대해서도 각 화상과 관련지어 기억하고 있다. 예컨대, 리모콘(200)이 텔레비전 화면 중앙부의 5번의 에리어(A)를 가리키는 경우에는, 리모콘(200)은 텔레비전 화면과 정면으로 대향하고 있으므로, 5번의 에리어(A)를 가리키는 경우의 화상과 관련지어, 피치각 및 요잉각을 제로로서 기억하고 있다. 또한, 상기 대응 관계 기억부(61)는 2번, 8번의 에리어(A)를 리모콘(200)이 가리키는 경우의 화상과 관련지어, 피치각을 소정치, 요잉각을 제로로서 기억하고 있고, 4번, 6번의 에리어(A)를 리모콘(200)이 가리키는 경우의 기준 화상에 대해서는, 피치각을 제로, 요잉각을 소정치로서 기억하고 있다. 그 외에, 1번, 3번, 7번, 9번의 대각 에리어(A)의 기준 화상에 대해서도 각각 고유의 피치각 및 요잉각을 리모콘(200)의 자세로서 관련지어 기억하고 있다.

상기 자세 출력부(62)는 촬상된 화상 중의 LED(1)의 수 및 화상 중의 위치와 패턴이 일치하는 것을 상기 대응 관계 기억부(61)로부터 취득하고, 그 화상에 관련되어 있는 자세를 상기 촬상시 자세로서 출력하도록 하고 있다. 예컨대, 상기 대응 관계 기억부(61)에 기억되어 있는 기준 화상과, 현재 촬상되고 있는 화상이 완벽하게 매칭되지 않는 경우에는, 가장 가까운 기준 화상과 관련된 자세를 그대로 촬상시 자세로서 사용해도 된다. 기준 화상 중의 LED(1)의 위치와, 현재 촬상되고 있는 LED(1)의 위치에 따라 관련된 자세를 보정하여 촬상시 화상으로 해도 된다.

상기 캘리브레이션부(7)는 상기 기준 자세를 상기 자세 추정부(6)에 의해 추정된 촬상시 자세로 캘리브레이션하도록 구성되어 있다. 이 캘리브레이션부(7)에 의한 캘리브레이션은 소정 시간 마다 행해지게 되어 있다.

이어서, 본 실시 형태의 상기 마커부(M)를 이용하므로써 각 에리어(A)를 지시한 상태에서 촬상되는 화상 중의 LED(1)의 개수 및 위치가 고유하게 되는 이유에 대해 설명한다. 또한 본 실시 형태의 화상 표시 시스템(100)에서 실제로 각 에리어(A)를 지시한 상태에서 촬상했을 때의 사진을 도 30에 개시하고 있다. 이후의 설명에서는 각 LED(1)에 대해 구별이 되도록, 텔레비전측으로부터 리모콘(200)의 선단면을 본 경우, 좌상부에 배치되어 있는 LED(1)를 LED(1)(녹), 우상부에 배치되어 있는 LED(1)를 LED(백), 좌하부에 배치되어 있는 LED(1)를 LED(적), 우하부에 배치되어 있는 LED(1)를 LED(청)라고도 호칭한다.

우선, 상기 리모콘(200)이 텔레비전 화면에 정면으로 대향하고 있고, 중앙의 5번의 에리어(A)를 가리키는 경우에 대해 도 31을 참조하여 설명한다. 이 경우, 각 색 LED(1)로부터 사출된 광은 자신의 광축 상에 있는 개구부(21)를 통해 나가게 되므로, 4색 모두 상기 카메라(13)에 의해 촬상되게 된다.

이어서, 상기 리모콘(200)이 5번의 에리어(A)를 가리키는 상태로부터 피치각이 상향 변화하여 2번의 에리어(A)를 가리키는 경우에 대해 도 32를 참조하여 설명하기로 한다. 이 경우, 상기 리모콘(200)이 경사져 있으므로, 4개의 LED(1) 중 좌상부에 있는 LED(녹)로부터 사출된 광은 좌하부에 있는 LED(백)의 광축 상에 있는 좌하부의 개구부(21)를 통해 2번의 에리어(A)에 도달하고, 우상부에 있는 LED(백)로부터 사출된 광은, 우하부에 있는 LED(청)의 광축 상에 있는 우하부의 개구부(21)를 통해 2번의 에리어(A)에 도달한다. 한편, 좌하부와 우하부에 있는 LED(적), LED(청)은 어떠한 개구부(21)를 통하더라도 2번의 에리어(A)에 도달하지 못하고, 모두 상기 차광체(2)에 의해 차광되게 된다. 따라서, 도 30, 31에 도시한 바와 같이, 화상 중의 하측에 2개의 LED(1)만이 촬상되게 된다. 이 2번의 에리어(A)를 가리키는 경우에 발생하는 현상은 5번의 에리어(A)에 대해 상하 좌우 방향에 있는 4번, 6번, 8번의 에리어(A)에 대해서도 마찬가지로 성립되고, 각각 2개의 LED(1)만이 촬상되는 점에서 공통된다. 보다 구체적으로는, 2번에 대해서는 화상 중의 하반부, 4번에 대해서는 화상 중의 우반부, 6번에 대해서는 화상 중의 좌반부, 8번에 대해서는 화상 중의 상반부의 위치에 LED(1)가 2개 촬상되므로, 5번의 에리어(A)에 대해 상하 좌우 방향의 에리어(A)를 리모콘(200)으로 가리켰을 경우에 각각을 개별적으로 판별할 수 있음을 알 수 있다.

이어서 상기 리모콘(200)이 5번의 에리어(A)를 가리키는 상태로부터 피치각이 상향 변화되고, 또한 요잉각이 반시계 방향으로 변화되어 3번의 에리어(A)가 지시되는 경우에 대해 도 33을 참조하여 설명한다. 이 경우, 도 32에 도시한 바와 같이 4개의 LED(1) 중 우상부에 있는 LED(백)가 그 대각선 상에 있는 LED(적)의 광축 상에 개구되는 개구부(21)를 통해 3번의 에리어(A)에 도달할 수 있다. 한편, 그 외의 3개의 LED(1)에 대해서는 어떠한 개구부(21)를 통하더라도 3번의 에리어(A)에 도달하지 못하고, 상기 차광체(2)에 의해 차광되게 된다. 따라서, 도 30, 31에 도시한 바와 같이, 화상 중의 좌하부에 하나의 LED(1)만이 촬상되게 된다. 이 3번의 에리어(A)를 가리키는 경우에 발생하는 현상은 1번, 7번, 9번의 에리어(A)에 대해서도 마찬가지로 성립되고, 각각 1개의 LED(1)만이 촬상되는 점에서 공통된다. 보다 구체적으로는, 1번에 대해서는 화상 중의 우하 부분, 3번에 대해서는 좌하 부분, 7번에 대해서는 우상 부분, 9번에 대해서는 좌상 부분에 LED(1)가 1개 촬상되므로, 각 에리어(A)를 리모콘(200)으로 가리켰을 경우, 각각을 개별적으로 판별할 수 있다.

이와 같이 본 실시 형태의 마커 기구(M)에 의하면, 각 에리어(A)를 리모콘(200)으로 가리켰을 경우에 촬상되는 화상 중의 LED(1)의 개수 및 위치가 고유한 것이 되므로, 그 촬상된 화상에 따라 상기 촬상시 리모콘 자세를 상기 리모콘 자세 추정부(6)에서 추정할 수 있다.

즉, 화상에 따라 현재의 리모콘(200)의 절대적인 자세를 패턴 판별로부터 추정할 수 있으므로, 사용자가 지정된 자세로 리모콘(200)을 움직이지 않아도 이 추정된 촬상시 화상에 따라 포인팅 위치를 추정하는 기초가 되는 기준 자세를 캘리브레이션할 수 있다.

따라서, 본 실시 형태의 화상 표시 시스템(300)에 의하면, 종래와 같이 사용자에 의한 캘리브레이션 개시 동작을 필요로 하지 않으므로, 자동으로 정기적으로 기준 자세를 캘리브레이션할 수 있다. 이에 따라, 사용자가 사용하는 동안에 상기 리모콘(200)의 지시 방향(PL)이 지시하는 점과, 추정되는 포인팅점 사이의 큰 괴리를 막아, 각 점을 항상 거의 일치된 상태로 유지할 수 있다.

또한, 상술한 바와 같은 화상 중의 LED(1)의 개수와 위치에 따른 패턴 매칭에 의해 리모콘(200)의 촬상시 자세를 추정하므로, 연산 부하를 낮게 하면서, 자세의 추정 정도를 높일 수 있다.

그 외의 실시 형태에 대해 설명한다.

상기 실시 형태에서는 텔레비전과 리모콘을 이용한 포인팅 장치에 대해 설명하였지만, 프로젝터나 PC 등을 이용한 기타의 상대 포인팅 방식의 포인팅 장치에도 본 발명을 동일하게 이용할 수 있다.

상기 실시 형태에서는 텔레비전에 카메라가 설치되어 있고, 리모콘에 마커 기구가 설치되어 있지만, 이 관계는 반대가 되어도 무방하다. 또한, 마커 기구의 광원은 4개로 한정되는 것은 아니며, 복수여도 무방하다. 즉, 카메라로 촬상되는 화상 중의 광원의 개수 및 위치가 상기 피조작체의 지시 방향에 따라 고유의 관계에 있도록 설정되어 있으면 된다.

상기 실시 형태에서는 현재 리모콘이 지시하고 있는 에리어에 따라 각각 다른 기준 자세로 캘리브레이션되고 있는데, 예컨대, 현재 리모콘이 지시하고 있는 에리어에 따라 아울러 조작 가능 범위에 대해 동일하게 적절히 변경하도록 해도 무방하다.

도 34는 본 발명에 따른 제5실시 형태에 관한 화상 표시 장치의 포인팅 방법의 흐름도이다.

단계 310에서, 화상 표시 장치(100)는 촬상된 리모콘(200)의 광원의 개수 또는 위치에 따라 리모콘(200)의 촬상시의 방향에 대응하는 촬상시 리모콘 자세를 추정한다.

단계 320에서, 화상 표시 장치(100)는 리모콘(200)의 기준 방향에 대응하는 리모콘의 기준 자세를, 상기 추정된 촬상시 리모콘의 자세로 캘리브레이션 한다.

단계 330에서, 화상 표시 장치(100)는 캘리브레이션된 기준 자세와 상기 리모콘내에 설치된 모션 센서에서 측정된 자세 변화량에 따라 포인팅 위치를 추정한다.

단계 340에서, 화상 표시 장치(100)는 추정된 포인팅 위치에 따라 포인팅 대상 위의 상기 포인팅 위치에 오브젝트를 표시한다.

이와 같이 본 발명의 제5실시예에 의한 화상 표시 장치에 의하면, 상기 카메라(11)로 촬상되는 화상 중의 광원의 수 및 위치에 따라 상기 피조작체의 촬상시 자세를 추정하고, 그 촬상시 자세에 따라 포인팅 위치의 추정의 기초가 되는 기준 자세를 캘리브레이션하므로, 캘리브레이션 동작을 모두 자동화할 수 있게 된다. 즉, 캘리브레이션 전에 사용자가 상기 피조작체를 기준 자세로 유지하거나, 적절히 캘리브레이션의 개시를 위한 트리거로서 특수 동작을 실시하거나 할 필요를 없앨 수 있다. 또한, 정기적으로 기준 자세를 캘리브레이션할 수 있으므로, 상기 피조작체의 지시 방향이 지시하는 위치와, 추정되는 포인팅 위치와의 사이에 크게 괴리가 발생하기 전에 다시 일치시킬 수 있으므로, 상대 포인팅 방식이라 하더라도 실질적으로 각 점을 계속 일치시킬 수 있게 된다.

그 밖의 실시형태에 대해 설명한다.

상기 각 실시형태에서는 포인팅 장치를 텔레비전과 리모콘 사이에서 구성하였지만, 예를 들어 그 밖의 디스플레이와 리모콘 사이에서 포인팅 장치를 구성해도 된다. 또한, 디스플레이를 프로젝터 등에 의해 구성하고, 그 투영 화면 상에 포인터를 표시하도록 해도 된다.

상기 리모콘 방향 검출 기구(제4 실시형태에 있어서는 카메라, 제1 리모콘 검출부 및 제2 리모콘 검출부로 이루어지는 기구)에 대해서는, 카메라와 LED 마커를 이용한 것 이외이어도 된다. 예를 들어 디스플레이의 양단에 음파 또는 전파 발생원을 마련해 두고, 삼각측량 요령으로 디스플레이에 대한 리모콘의 상대 위치를 검출할 수 있도록 하고, 상기 리모콘 방향 각도를 산출할 수 있도록 구성한 것이어도 된다.

예를 들면, 초음파를 이용하는 방법으로도 된다. 리모콘에 초음파 발신기를 구비하고, 텔레비전의 다른 위치에 2개의 초음파 수신기를 구비하고, 리모콘의 초음파 발신기로부터 초음파를 발신하여 2개의 초음파 수신기에서 수신되는 초음파 파형의 위상차와 2개의 초음파 수신기의 간격에 기초하여 삼각측량 원리로부터 텔레비전에서 본 리모콘 방향을 계측할 수 있다. 또한, 초음파 수신기는 3개 이상으로도 되고, 3개 이상으로 하면 보다 정밀도가 높은 계측이 가능하게 된다.

혹은, 전파를 이용하는 방법으로도 된다. 초음파를 이용하는 경우와 마찬가지로 리모콘에 전파 발신기, 텔레비전의 다른 위치에 2개의 전파 수신기를 구비하고, 리모콘으로부터 전파를 발신하여 2개의 전파 수신기에서 수신되는 전파의 위상차로부터 삼각측량 원리로부터 텔레비전에서 본 리모콘 방향을 계측할 수 있다. 또한, 전파 수신기는 3개 이상으로도 되고, 3개 이상으로 하면 보다 높은 정밀도의 계측이 가능하게 된다.

마찬가지로 상기 참조 각도 검출 기구에 대해서도 방위 센서를 이용한 것에 한정되지 않고, 예를 들어 전파나 음파를 이용하여 리모콘의 선단과 후단의 3차원 위치를 검출하고, 이들 2개의 좌표로부터 그 지시 방향을 직접 측정할 수 있도록 해도 된다.

상기 각 실시형태에서는, 현재 사용되고 있는 포인팅 각도를 기준 포인팅 각도로 치환함으로써 기준 방향이 화면 중심을 향하도록 구성하였지만, 그 밖의 좌표 변화 등의 연산 방법에 의해 기준 방향이 조절되도록 해도 된다. 요컨대 상기 기준 방향과 상기 참조 각도에 기초하여 기준 방향이 조절되는 것이면 된다.

상기 실시형태에서는 참조점으로서 화면 중심을 설정하였지만, 예를 들어 디스플레이 상의 화면 중심 이외의 점을 참조점으로서 설정해도 된다.

기타 본 발명의 취지에 반하지 않는 한 여러 가지 실시형태의 변형이나 조합을 행해도 된다.

본 발명은, 디스플레이 상에 포인터가 표시되도록 제어하는 화상 표시 장치에 관한 것으로서, 일반적으로 텔레비젼 시스템에 적용할 수 있다.

Claims

디스플레이에 대해 설정된 참조 방향에 대해 리모콘의 지시 방향이 이루는 각도인 참조 각도를 검출하는 참조 각도 검출부;

상기 디스플레이 상에 설정된 참조점으로부터 상기 리모콘을 본 경우의 방향인 리모콘 방향을 검출하는 리모콘 방향 검출부;

상기 리모콘으로부터 상기 리모콘에 설정되는 기준 방향을 본 경우에 상기 디스플레이 상의 상기 참조 점이 있도록 상기 참조 각도 및 상기 리모콘 방향에 기초하여 상기 기준 방향을 조절하는 기준 방향 조절부; 및

상기 기준 방향에 대해 상기 리모콘의 지시 방향이 이루는 각도에 따른 포인팅 각도에 기초하여 상기 디스플레이 상의 대응하는 위치에 포인터가 표시되도록 제어하는 제어부를 포함하는 화상 표시 장치.
제1항에 있어서,

상기 참조 각도 검출부는,

상기 리모콘의 지시 방향이 상기 디스플레이에 대해 수직 방향일 경우 상기 리모콘에 설치된 방위 센서가 출력하는 방위값으로 설정된 참조 방위와, 상기 리모콘의 지시 방향에 대응하여 상기 방위 센서가 출력하고 있는 방위값으로서 설정된 리모콘 방위에 기초하여 상기 참조 각도를 산출하는 참조 각도 산출부를 구비한 것을 특징으로 하는 화상 표시 장치.
제1항에 있어서,

기준 포인팅 각도와 상기 리모콘에 설치된 각속도 센서로부터 출력되는 각속도에 기초하여 상기 포인팅 각도를 산출하는 포인팅 각도 산출부를 더 구비하고,

상기 기준 방향 조절부는, 상기 기준 방향에 대해 상기 지시 방향이 이루는 각도를 상기 기준 포인팅 각도로서 상기 포인팅 각도 산출부에 설정하는 것을 특징으로 하는 화상 표시 장치.
제3항에 있어서,

상기 포인팅 각도 산출부는 과거에 상기 기준 방향을 조절하였을 때의 상기 리모콘 방향을 기억하고 있고, 과거 리모콘 방향과 현재 리모콘 방향의 차이가 소정의 문턱값 이상인 경우에 상기 포인팅 각도를 산출하는 것을 특징으로 하는 화상 표시 장치.
제1항에 있어서,

상기 리모콘 방향 검출부는, 상기 디스플레이에 대해 상기 리모콘을 촬상 가능하게 설치된 카메라;

상기 카메라의 촬상 화상에 기초하여 상기 디스플레이에 수직인 방향에 대해 상기 리모콘 방향이 이루는 각도인 리모콘 방향 각도를 산출하는 리모콘 방향 각도 산출부를 구비한 것을 특징으로 하는 화상 표시 장치.
제5항에 있어서,

상기 카메라는, 상기 디스플레이의 수평 방향 테두리에 그 디스플레이에 수직인 특정 연직면에 평행한 촬영 방향을 가지도록 설치되고,

상기 리모콘 방향 각도 산출부는,

상기 카메라의 촬상 화상에 기초하여 상기 디스플레이에 수직인 방향과 상기 리모콘 방향을 수평면에 투영하여 얻어진 방향이 이루는 각도인 제1 리모콘 방향 각도를 산출하는 제1 리모콘 검출부;

상기 카메라의 촬영 화상과, 상기 디스플레이와 상기 촬영 방향이 이루는 각도인 촬영 각도와, 상기 카메라부터 상기 리모콘까지의 거리와, 상기 디스플레이의 연직 방향의 테두리 길이에 기초하여, 상기 디스플레이에 수직인 방향과 상기 리모콘 방향을 상기 특정 연직면에 투영하여 얻어진 방향이 이루는 각도인 제2 리모콘 방향 각도를 산출하는 제2 리모콘 검출부를 구비하고,

상기 기준 방향 조절부는, 상기 참조 각도, 상기 제1 리모콘 방향 각도 및 상기 제2 리모콘 방향 각도에 기초하여 상기 리모콘으로부터 상기 기준 방향을 본 경우에 상기 디스플레이 상의 상기 참조점이 있도록 그 기준 방향을 조절하는 것을 특징으로 하는 화상 표시 장치.
제1항에 있어서,

상기 제어부는,

상기 포인팅 각도에 기초하여 상기 디스플레이 상의 대응하는 위치를 산출하는 위치 산출부; 및

상기 위치에 포인터가 표시되도록 제어하는 표시 제어부를 구비하고,

상기 위치 산출부는, 상기 디스플레이부터 상기 리모콘까지의 거리가 길수록 상기 포인팅 각도의 단위 각도에 대한 상기 참조점부터 상기 위치까지의 거리가 길어지도록 상기 위치를 산출하는 것을 특징으로 하는 화상 표시 장치.
디스플레이에 대해, 소정의 배치 패턴을 갖는 복수의 광원을 구비한 리모콘의 광원을 촬상 가능하게 설치된 카메라;

상기 카메라에 의해 촬상된 광원의 개수 또는 위치에 따라 상기 리모콘의 촬상시의 자세인 촬상시 리모콘 자세를 추정하는 리모콘 자세 추정부;

상기 리모콘의 기준 자세를, 상기 리모콘 자세 추정부에 의해 추정된 촬상시 리모콘의 자세로 캘리브레이션하는 캘리브레이션부;

상기 캘리브레이션된 기준 자세와 상기 리모콘내에 설치된 모션 센서에서 측정된 자세 변화량에 따라 포인팅 위치를 추정하는 포인팅 위치 추정부를 구비하는 화상 표시 장치.
제8항에 있어서,

상기 리모콘 자세 추정부는

화상 중 상기 광원의 개수 및 위치와, 그 화상이 촬상되었을 때의 촬상시 자세와의 대응 관계를 기억하는 대응 관계 기억부; 및

상기 대응 관계 기억부를 참조하고, 상기 카메라에 의해 촬상된 화상 중 상기 광원의 개수 및 위치와 대응하는 촬상 시 자세를 출력하는 촬상시 자세 출력부를 구비한 것을 특징으로 화상 표시 장치.
디스플레이에 대해 설정된 참조 방향에 대해 리모콘의 지시 방향이 이루는 각도인 참조 각도를 검출하는 단계;

상기 디스플레이 상에 설정된 참조점으로부터 상기 리모콘을 본 경우의 방향인 리모콘 방향을 검출하는 단계;

상기 리모콘으로부터 그 리모콘에 설정되는 기준 방향을 본 경우에 상기 디스플레이 상의 상기 참조점이 있도록 상기 참조 각도 및 상기 리모콘 방향에 기초하여 상기 기준 방향을 조절하는 단계; 및

상기 기준 방향에 대해 상기 리모콘의 지시 방향이 이루는 각도에 따른 포인팅 각도에 기초하여 상기 디스플레이 상의 대응하는 위치에 포인터가 표시되도록 제어하는 단계를 포함하는 것을 특징으로 하는 포인팅 방법.
제10항에 있어서,

상기 참조 각도를 검출하는 단계는, 상기 리모콘의 지시 방향이 상기 디스플레이에 대해 수직 방향일 경우 상기 리모콘에 설치된 방위 센서가 출력하는 방위로서 설정된 참조 방위와, 상기 리모콘의 지시 방향에 대응하여 상기 방위 센서가 출력하고 있는 방위로서 설정된 리모콘 방위에 기초하여 상기 참조 각도를 산출하는 것을 특징으로 하는 포인팅 방법.
제10항에 있어서,

기준 포인팅 각도와 상기 리모콘에 설치된 각속도 센서로부터 출력되는 각속도에 기초하여 상기 포인팅 각도를 산출하는 단계를 더 구비하고,

상기 기준 방향에 대해 상기 지시 방향이 이루는 각도를 상기 기준 포인팅 각도로서 설정하는 것을 특징으로 하는 포인팅 방법.
제10항에 있어서,

상기 리모콘 방향을 검출하는 단계는, 상기 디스플레이에 대해 상기 리모콘을 촬상 가능하게 설치된 카메라의 촬상 화상에 기초하여 상기 디스플레이에 수직인 방향에 대해 상기 리모콘 방향이 이루는 각도인 리모콘 방향 각도를 산출하는 단계를 포함하는 것을 특징으로 하는 포인팅 방법.
제13항에 있어서,

상기 카메라는, 특정 수평면 및 상기 디스플레이에 수직인 특정 연직면 중 하나의 면에 평행한 상기 디스플레이의 테두리에 그 특정 수평면 및 그 특정 연직면 중 그 하나의 면과는 다른 면에 평행한 촬영 방향을 가지도록 설치되고,

상기 리모콘 방향 각도를 산출하는 단계는,

상기 카메라의 촬영 화상에 기초하여 상기 디스플레이에 수직인 방향과 상기 리모콘 방향을 상기 하나의 면에 투영하여 얻어진 방향이 이루는 각도인 제1 리모콘 방향 각도를 산출하는 단계;

상기 카메라의 촬영 화상과, 상기 디스플레이와 상기 촬영 방향이 이루는 각도인 촬영 각도와, 상기 카메라부터 상기 리모콘까지의 거리와, 상기 다른 면에 평행한 상기 디스플레이의 테두리 길이에 기초하여, 상기 디스플레이에 수직인 방향과 상기 리모콘 방향을 상기 다른 면에 투영하여 얻어진 방향이 이루는 각도인 제2 리모콘 방향 각도를 산출하는 단계를 포함하고,

상기 기준 방향을 조절하는 단계는, 상기 참조 각도, 상기 제1 리모콘 방향 각도 및 상기 제2 리모콘 방향 각도에 기초하여 상기 리모콘으로부터 상기 기준 방향을 본 경우에 상기 디스플레이 상의 상기 참조점이 있도록 그 기준 방향을 조절하는 단계를 포함하는 것을 특징으로 하는 포인팅 방법.
제10항에 있어서,

상기 기준 방향을 조절하는 단계는, 소정 시간마다 상기 기준 방향을 조절하는 것을 특징으로 하는 포인팅 방법.
제10항에 있어서,

상기 제어 단계는,

상기 포인팅 각도에 기초하여 상기 디스플레이 상의 대응하는 위치를 산출하는 단계; 및

상기 위치에 포인터가 표시되도록 제어하는 단계를 구비하고,

상기 위치 산출 단계는, 상기 디스플레이부터 상기 리모콘까지의 거리가 길수록 상기 포인팅 각도의 단위 각도에 대한 상기 참조점부터 상기 위치까지의 거리가 길어지도록 상기 위치를 산출하는 것을 특징으로 하는 포인팅 방법.
디스플레이에 대해 설치된 카메라를 통해 촬상된 리모콘의 광원의 개수 또는 위치에 따라 상기 리모콘의 촬상시의 자세인 촬상시 리모콘 자세를 추정하는 단계;

상기 리모콘의 기준 자세를, 상기 추정된 촬상시 리모콘의 자세로 캘리브레이션하는 단계;

상기 캘리브레이션된 기준 자세와 상기 리모콘내에 설치된 모션 센서에서 측정된 자세 변화량에 따라 포인팅 위치를 추정하는 단계; 및

상기 추정된 포인팅 위치에 따라 포인팅 대상 위의 상기 포인팅 위치에 오브젝트를 표시하는 단계를 포함하는 포인팅 방법.
제17항에 있어서, 상기 촬상시 리모콘 자세를 추정하는 단계는,

화상 중 상기 광원의 개수 및 위치와, 그 화상이 촬상되었을 때의 촬상시 자세와의 대응 관계를 기억하는 단계; 및

상기 기억된 대응 관계를 참조하고, 상기 카메라에 의해 촬상된 화상 중 상기 광원의 개수 및 위치와 대응하는 촬상시 자세를 출력하는 단계를 구비하는 것을 특징으로 하는 포인팅 방법.
화상 표시 장치를 포인팅하는 리모콘 장치에 있어서,

적어도 하나의 광원을 갖는 발광 소자부;

상기 리모콘 장치가 지시하고 있는 방향을 나타내는 리모콘 방위 값을 센싱하는 방위 센서부;

상기 화상 표시 장치의 포인팅을 조작하는 조작부; 및

상기 조작부의 포인팅 조작에 따라 발광 소자의 적어도 하나의 광원을 온 시키고 상기 방위 센서부에서 센싱된 리모콘 방위 값을 리모콘 코드로 변조하여 상기 발광 소자부를 통해 상기 화상 표시 장치로 송신하는 제어부를 포함하며,

상기 화상 표시 장치로 송신된 리모콘 방위 값은, 상기 화상 표시 장치가 상기 화상 표시 장치의 디스플레이 상의 포인팅 위치를 결정하는 데 이용되는 것을 특징으로 하는 리모콘 장치.
화상 표시 장치를 포인팅하는 리모콘 장치의 제어 방법에 있어서,

포인팅 조작 입력에 따라 발광 소자의 적어도 하나의 광원을 온 시키고 상기 리모콘 장치가 지시하고 있는 방향을 나타내는 리모콘 방위 값을 센싱하는 단계;

상기 센싱된 리모콘 방위값을 리모콘 코드로 변환하는 단계; 및

상기 리모콘 코드를 발광 소자를 통해 상기 화상 표시 장치로 출력하는 단계를 포함하며,

상기 화상 표시 장치로 송신된 리모콘 방위 값은, 상기 화상 표시 장치가 상기 화상 표시 장치의 디스플레이 상의 포인팅 위치를 결정하는 데 이용되는 것을 특징으로 하는 리모콘 제어 방법.