KR20040027561A

KR20040027561A - 카메라 기반의 지시 장치를 갖는 텔레비전 시스템, 및 그동작 방법

Info

Publication number: KR20040027561A
Application number: KR1020040009271A
Authority: KR
Inventors: 이기혁; 정윤경; 손미숙
Original assignee: 학교법인 한국정보통신학원
Priority date: 2004-02-12
Filing date: 2004-02-12
Publication date: 2004-04-01

Abstract

본 발명은 원격에서 텔레비전(TV)의 스크린 커서 및 GUI 를 직접 제어하기 위한 카메라 기반의 지시 장치를 갖는 텔레비전 시스템, 및 그 동작 방법에 관한 것이다. 본 발명에 따른 카메라 기반의 지시 장치를 갖는 텔레비전 시스템은, 소정의 영상을 디스플레이하고, 스크린 커서에 의해 X축과 Y축 위치 데이터가 선택되는 텔레비전; 텔레비전의 좌우에 부착되어 이미지를 방출하는 두 개의 발광소자; 및 내장된 카메라를 통해 두 개의 발광소자의 위치를 감지하여 텔레비전 방향에 대한 자신의 상대적 각도를 파악하고, 텔레비전의 스크린 커서 위치와 GUI(Graphic User Interface)를 조작하는 지시 장치를 포함한다. 본 발명에 따르면, 카메라를 구비한 원격 지시 장치를 직접 텔레비전의 스크린 커서 위치와 GUI를 제어함으로써 보다 자연스러운 제어가 가능하고, 또한, TV 방향에 대하여 휴대용 원격 지시 장치의 상대적인 위치 정보를 이용하여 텔레비전의 스크린 커서를 직접 제어함으로써 조작의 직접성(directness)을 가질 수 있다.

Description

카메라 기반의 지시 장치를 갖는 텔레비전 시스템, 및 그 동작 방법 {A TV system with a camera-based pointing device, and an acting method thereof}

본 발명은 카메라 기반의 지시 장치를 갖는 텔레비전 시스템, 및 그 동작 방법에 관한 것으로, 보다 구체적으로, 원격에서 텔레비전(TV)상의 스크린 커서 및GUI를 직접 제어하기 위한 카메라 기반의 지시 장치를 갖는 텔레비전 시스템, 및 그 동작 방법에 관한 것이다.

종래 기술로서, 대한민국 특허출원번호 제2001-7008457호(국제출원일: 2000년 10월 10일)에는 "스마트 전자 프로그램 가이드를 포함하는 디지털 텔레비전 및 그 동작 방법"이라는 명칭의 발명이 개시되어 있다.

구체적으로, 대한민국 특허출원번호 제2001-7008457호의 발명에 따른 디지털 텔레비전 시스템(digital television; DTV)은, X축 및 Y축 위치 데이터를 생성하는 원격 제어기, 및 이러한 X축 및 Y축 위치 데이터에 응답하여 위치 데이터를 수신하고, 그 위치 데이터에 응답하여 문자 데이터를 생성하며, 상기 문자 데이터에 근접한 문자 스트링(string)에 대한 전자 프로그램 가이드(electronic program guide; EPG) 데이터를 검색하여 검색 결과를 생성하고, 또한 DTV의 스크린에 검색 결과를 출력하는 전자 프로그램 가이드(EPG) 제어기를 포함한다.

하지만, 이러한 디지털 텔레비전 시스템은, 원격 제어기의 트랙볼의 이동에 응답하여 X축 및 Y축 위치 데이터를 위치 데이터로 변환하는 단계, 및 상기 X 축 및 Y축 위치 데이터에 포함된 문자 데이터를 인식하는 단계 등의 복잡한 과정이 필요하다는 문제점이 있다.

한편, 종래 기술로서, 일본 미쓰비시 전기 연구소의 손 동작에 의한 텔레비전 제어(Television control by hand gesture) 시스템의 경우, 손 동작에 대한 영상 데이터를 가지고 있다가 실제 카메라에 맺히는 손 모양을 비교하여 각각의 손 동작에 따라 TV를 제어하는 방법을 사용하고 있다.

하지만, 이러한 손 동작에 의한 텔레비전 제어 시스템의 경우, 손 모양에 대한 영상 데이터와 실제 사용자의 손 모양을 비교하는 과정이 필요하므로 자연스러운 제어가 이루어지지 않는다는 문제점이 있다.

상기 문제점을 해결하기 위한 본 발명의 목적은 카메라를 내장한 휴대용 원격 지시 장치를 이용하여 텔레비전 상의 스크린 커서 및 GUI를 제어함으로써 보다 자연스러운 제어가 가능한 카메라 기반의 지시 장치를 갖는 텔레비전 시스템, 및 그 동작 방법을 제공하기 위한 것이다.

또한, 본 발명의 다른 목적은 카메라를 내장한 휴대용 원격 지시 장치의 상대적인 위치 정보를 이용하여 직접적으로 텔레비전 상의 스크린 커서 및 GUI를 용이하게 제어할 수 있는 카메라 기반의 지시 장치를 갖는 텔레비전 시스템, 및 그 동작 방법을 제공하기 위한 것이다.

도 1은 본 발명의 실시예에 따른 카메라 기반의 지시 장치를 갖는 텔레비전 시스템의 개략적인 구성도이다.

도 2는 본 발명의 실시예에 따른 두개의 LED 위치와 촬상 소자면 상의 대응되는 LED 이미지의 위치 관계를 나타내는 도면이다.

도 3a 및 도 3b는 각각 본 발명의 실시예에 따른 촬상 소자상의 두 LED 이미지가 나란한 경우, 및 그렇지 않은 경우를 나타내는 도면이다.

도 4는 본 발명의 실시예에 따른 카메라 기반의 지시 장치를 갖는 텔레비전 시스템의 세부 구성도이다.

도 5는 본 발명의 실시예에 따른 카메라 기반의 지시 장치를 갖는 텔레비전 시스템의 동작 방법의 순서도이다.

상기 목적을 달성하기 위한 수단으로서, 본 발명에 따른 카메라 기반의 지시 장치를 갖는 텔레비전 시스템은,

소정의 영상을 디스플레이하고, 스크린 커서에 의해 X축과 Y축 위치 데이터가 선택되는 텔레비전;

상기 텔레비전의 좌우에 부착되어 이미지를 방출하는 두 개의 발광소자; 및

내장된 카메라를 통해 상기 두 개의 발광소자의 위치를 감지하여 상기 텔레비전 방향에 대한 자신의 상대적 각도, 비틀어짐, 및 거리를 파악하고, 상기 텔레비전의 스크린 커서 위치와 GUI(Graphic user Interface)를 조작하는 지시 장치

를 포함하는 특징이 있다.

여기서, 상기 지시 장치는, 상기 발광소자의 위치에 따라 상기 텔레비전 방향에 대한 상기 카메라의 상대적 각도, 비틀어짐, 및 거리를 결정하며, 상기 상대적 각도에 따라 상기 텔레비전의 스크린 커서의 위치를 결정하고 GUI를 직접 제어하는 것을 특징으로 한다.

여기서, 상기 발광소자는 비컨(Beacon) 역할을 하는 발광 다이오드(Light Emitting Diode: LED)인 것을 특징으로 하며, 적외선 발광 다이오드인 것이 바람직하다.

여기서, 상기 지시 장치는 휴대 가능한 원격 지시 장치인 것을 특징으로 한다.

여기서, 상기 지시 장치는,

상기 두 개의 발광소자의 이미지를 촬영하여 그 위치를 검출하는 카메라;

상기 검출된 발광소자의 위치에 따라 상기 텔레비전 방향에 대한 상기 카메라의 상대적 각도, 비틀어짐, 거리를 결정하며, 상기 상대적 각도, 비틀어짐, 거리에 따라 상기 텔레비전의 스크린 커서의 위치를 결정하고 상기 스크린 커서를 구동하는 신호 및 기타 GUI 조작 신호를 출력하는 원격 제어부;

상기 원격 제어부로부터 출력되는 신호를 적외선 신호로 구동하기 위한 적외선 구동기; 및

상기 적외선 신호를 상기 텔레비전으로 전송하는 적외선 신호 송신기

를 포함할 수 있다.

여기서, 상기 카메라는, 상기 두 개의 발광소자의 이미지를 검출하는 광각 렌즈; 및 상기 광각 렌즈를 통과한 이미지를 전기적인 신호로 변환하는 전하결합소자(CCD)를 포함할 수 있다.

한편, 상기 목적을 달성하기 위한 다른 수단으로서, 본 발명에 따른 카메라 기반의 지시 장치를 갖는 텔레비전 시스템의 동작 방법은,

a) 상기 원격 지시 장치 내의 카메라 렌즈를 통해 제1 및 제2 적외선 LED 위치 이미지 위치를 검출하는 단계;

b) 상기 검출된 LED 위치 이미지를 상기 카메라의 CCD를 통해 전기적인 신호로 변환하는 단계;

c) 상기 LED 위치에 대응하는 전기신호에 따라 상기 텔레비전 방향에 대한 상기 카메라의 상대적 각도, 비틀어짐, 거리를 결정하는 단계;

d) 상기 카메라의 상대적 각도에 대응하는 텔레비전의 스크린 커서의 위치 및 기타 GUI 조작 메시지를 결정하는 단계;

e) 상기 결정된 커서 위치에 대응하는 적외선 신호를 원격 지시 장치의 신호 구동기로 구동하는 단계;

f) 상기 적외선 신호를 적외선 신호 송신기를 통해 상기 텔레비전의 적외선 신호 수신기에 전송하는 단계; 및

g) 상기 전송된 적외선 신호에 따라 텔레비전의 스크린 커서 및 GUI를 직접 제어하는 단계

를 포함하는 특징이 있다.

여기서, 상기 원격 지시 장치는, 상기 카메라를 이용하여 상기 텔레비전 방향에 대한 상기 지시 장치의 방향을 결정하고, 상기 방향 정보를 이용해 상기 텔레비전의 스크린 커서를 이동시킬 수 있는 것을 특징으로 한다.

여기서, 상기 방향 정보는, 상기 제1 및 제2 LED의 위치에 대응하여, 상기 텔레비전의 스크린 커서의 위치, 상기 카메라의 광축을 중심으로 상기 원격 지시 장치의 비틀어진 각도, 및 상기 텔레비전과 카메라 사이의 거리인 것을 특징으로 한다.

여기서, 상기 원격 지시 장치는, 자신을 비틀어 상기 텔레비전의 스크린 객체의 평면상의 각도를 조절할 수 있는 것을 특징으로 한다.

여기서, 상기 원격 지시 장치는 상기 텔레비전을 향해 가까워지거나 멀어지는 동작을 감지하여 상기 텔레비전의 GUI를 조작하는 것을 특징으로 하며, 상기 GUI는 상기 텔레비전 스크린의 줌 인 또는 줌 아웃일 수 있다.

여기서, 상기 제1 및 제2 LED의 이미지가 포화되어 있는 경우, 상기 LED 이미지의 값이 너무 작아지지 않는 범위에서 상기 카메라의 노출 시간을 줄이는 것이 바람직하다.

본 발명에 따르면, 휴대용 원격 지시 장치에 내장된 카메라를 통하여 LED의 위치를 검출하고, 그 위치로부터 TV 방향에 대한 카메라의 상하좌우의 상대적 각도를 결정하며, 그 각도에 따라 TV의 스크린 커서의 위치를 결정하고, 이때 계산된 스크린 커서의 위치가 적외선 신호를 이용하여 TV로 전달됨으로써, 휴대용 지시 장치의 상대적인 위치 정보를 이용하여 TV의 스크린 커서를 직접 제어할 수 있다.

이하, 첨부된 도면을 참조하여 본 발명의 실시예에 따른 카메라 기반의 지시 장치를 갖는 텔레비전 시스템, 및 그 동작 방법을 상세히 설명한다.

도 1은 본 발명의 실시예에 따른 카메라 기반의 지시 장치를 갖는 텔레비전 시스템의 구성도이다.

도 1을 참조하면, 본 발명의 실시예에 따른 카메라 기반의 지시 장치를 갖는 텔레비전 시스템은 적어도 두 개의 LED(110, 120), 적외선 신호 수신기(130)를 포함한 TV(100), 및 카메라(210)와 적외선 신호 송신기(220)를 내장하는 휴대 가능한 원격 지시 장치(200)로 구성될 수 있다.

여기서, 상기 TV(100)는 소정의 영상을 디스플레이하고, 스크린 커서에 의해 X축과 Y축 위치 데이터가 선택되며, 상기 두 개의 발광소자(110, 120)는 상기 TV(100)의 좌우에 부착되어 이미지를 방출하게 되고, 상기 지시 장치(200)는 내장된 카메라(210)를 통해 상기 두 개의 발광소자(110, 120)의 위치를 감지하여 상기 TV(100) 방향에 대한 자신의 상대적 각도를 파악하고, 상기 TV(100)의 스크린 커서 위치와 GUI(Graphic user Interface)를 조작하게 된다. 이때, 상기 적어도 두 개의 LED(110, 120)는 상기 TV(100)의 좌우에 부착되거나, 또는 내장될 수 있다.

구체적으로, 상기 두 개의 LED(110, 120)는 상기 TV(100)의 좌우에 위치하여 비컨(Beacon)의 역할을 하고, 두 LED(110, 120)의 위치를 상기 휴대용 지시 장치(200)에 내장된 카메라(210)가 감지하게 된다. 여기서, 상기 비컨은 지리적인 정위치를 표시하기 위해 사용되는 표지를 말한다.

또한, 상기 휴대용 지시 장치(200)는 상기 카메라(210)에 의하여 감지된 두 LED(110, 120)의 위치를 이용하여 상기 TV(100) 방향에 대응하는 휴대용 지시 장치(200)의 방향을 결정하고, 그 방향 정보를 적절히 변환함으로써 상기 TV(100)의 스크린 커서 위치를 결정한다.

또한, 상기 휴대용 지시 장치(200)에 내장된 적외선 신호 송신기(220)를 통하여 상기 스크린 커서의 위치, 및 상기 휴대용 지시 장치(200)에 포함된 여러 조작 버튼들의 온/오프 정보가 송출된다.

또한, 상기 TV(100)에 위치한 적외선 신호 수신기(230)는 상기 휴대용 지시 장치(200)에 내장된 적외선 신호 송신기(220)로부터의 정보를 수신하여 상기 TV(100)의 GUI(Graphic User Interface)(도시되지 않음) 시스템으로 전송한다.

결과적으로, 상기 휴대용 지시 장치(200)의 각도에 따라 상기 TV(100)의 스크린 커서가 움직이고, 상기 휴대용 지시 장치(200)에 내장된 조작 버튼을 누름으로써 컴퓨터용 마우스를 이용하는 경우와 같은 조작을 가능하게 한다.

도 2는 본 발명의 실시예에 따른 두개의 LED의 위치와 촬상 소자면상의 대응되는 LED 이미지의 위치 관계를 나타내는 도면이다.

도 2를 참조하면, 먼저, 상기 카메라(210)의 광축이 상기 TV(100)를 향하는 방향과 일치하지 않은 경우의 예를 나타낸다.

여기서, 상기 카메라(210)가 인식하는 좌표 (x, y) 는 상기 휴대용 지시 장치(200)의 카메라(210)에 내장된 렌즈(230)를 통과한 두 이미지의 위치 (x ₁ , y ₁ ) 와 (x ₂ , y ₂ ) 의 중점을 나타내며, 이때, 상기 광축의 기울기가 크지 않을 경우에는 근사적으로 두 LED(110, 120)의 중점인 상기 TV(100) 화면의 중심에 대응된다. 또한, 상기 좌표 (x, y) 는 상기 휴대용 지시 장치의 상하좌우의 기울기 각도에 근사적으로 비례한다. 예를 들어, 상기 휴대용 지시 장치(200)가 상기 TV(100)의 오른쪽을 가리키면 x 좌표는 증가하고, 상기 TV(100)의 위쪽을 가리키면 y 좌표가 증가한다. 여기서, 도 2의 촬상 소자면상의 좌표축은x축이 지면과 평행하게 아래로,y축은 지면을 뚫고 들어가는 방향을 나타낸다.

따라서 상기 좌표 (x, y) 에 비례하는 값으로 상기 TV(100)의 스크린 커서 의 좌표를 결정하면, 상기 휴대용 지시 장치(200)의 기울기에 비례하도록 상기 스크린 커서를 위치시킬 수 있다. 이때, 상기 좌표 (x, y) 는 두 이미지의 위치 (x ₁ , y ₁ ) 와 (x ₂ , y ₂ ) 의 중점이므로, 다음과 같은 수학식 1로 주어질 수 있다.

또한, 상기 TV(100)의 스크린 커서의 좌표 (X, Y) 는 다음과 같은 수학식 2로 결정할 수 있다.

여기서, 상기 α 는 비례 상수를 나타낸다.

한편, 도 3a 및 도 3b는 각각 본 발명의 실시예에 따른 촬상 소자상의 두 LED(110, 120) 이미지가 나란한 경우, 및 그렇지 않은 경우를 나타내는 도면이다.

먼저, 도 3b와 같이 나란하지 않을 경우, 도 3의 각도 θ 는 상기 휴대용 지시 장치(200)를 카메라(210)의 광축을 중심으로 오른쪽으로 돌릴 때 증가하고, 이와는 반대로 왼쪽으로 돌릴 때 감소하게 된다. 즉, 상기 각도 θ 는 상기 휴대용 지시 장치(200)의 비틀어짐에 비례하는 값을 가진다.

상기 각도 θ 의 값은 두 LED(110, 120) 이미지의 좌표 (x ₁ , y ₁ ) 와 (x ₂ , y ₂ ) 값에 의하여 다음과 같은 수학식 3으로 결정될 수 있다.

도 3을 다시 참조하면, 두 LED(110, 120) 이미지 사이의 거리는 상기 카메라(210)와 TV(100) 사이의 거리에 근사적으로 반비례하게 된다. 이때, 상기 카메라(210)와 TV(100) 사이의 거리를d라고 하면, 상기d는 두 LED(110, 120) 이미지의 좌표 (x ₁ , y ₁ ) 와 (x ₂ , y ₂ ) 의 값에 의하여 다음과 같은 수학식 4로 결정될 수 있다.

여기서, β 는 상기 카메라(210)의 초점 거리에 의하여 결정되는 양의 상수를 나타낸다.

이하, 도 4 및 도 5를 참조하여, 본 발명의 실시예에 따른 카메라 기반의 지시 장치를 갖는 텔레비전 시스템, 및 그 동작 방법을 설명하기로 한다.

도 4는 본 발명의 실시예에 따른 카메라 기반의 지시 장치를 갖는 텔레비전 시스템의 세부 구성도이고, 도 5는 본 발명의 실시예에 따른 카메라 기반의 지시 장치를 갖는 텔레비전 시스템의 동작 방법의 순서도이다.

먼저, 도 4를 참조하면, 본 발명의 실시예에 따른 카메라 기반의 지시 장치를 갖는 텔레비전 시스템은 전술한 바와 같이, 텔레비전(100)과 원격 지시 장치(200)로 이루어지며, 여기서, 상기 텔레비전(100)은 제1 및 제2 적외선 LED(110, 120), 적외선 신호 수신기(130), 증폭기(140), 제어부(150), 메모리(160), 스크린커서 오버레이 장치(170) 및 온스크린 디스플레이(OSD: 180)를 포함하며, 상기 원격 지시장치는 광각 렌즈(211)와 전하결합소자(Charge Coupled Device: CCD)(212)를 구비하는 카메라(210), 적외선 신호 송신기(220), 조작부(230), 원격 제어부(240) 및 적외선 구동기(250)를 포함할 수 있다.

상기 TV(100)의 스크린 커서의 X 및 Y 좌표를 구하기 위해서, 상기 제1 및 제2 적외선 LED(110, 120)는 상기 TV(100)의 좌우에 위치하여 지리적인 정위치를 나타내는 표지 역할을 하도록 적외선 이미지를 방출하게 된다.

상기 카메라(210)는 상기 광각 렌즈(211)를 통해 상기 제1 및 제2 적외선 LED(110, 120)의 이미지를 검출하고, 상기 CCD(212)를 통해 전기적인 신호로 변환하게 된다.

상기 조작부(230)는 상기 원격 지시 장치(200)를 조작하기 위한 여러 개의 버튼으로 이루어질 수 있다.

상기 원격 제어부(240)는 상기 조작부(230)의 버튼 입력에 대응하여 상기 원격 지시 장치(200)를 제어하거나, 또는 상기 LED(110, 120) 위치에 대응하는 상기 CCD(212)를 통해 입력되는 전기적인 신호에 따라 상기 텔레비전(100) 방향에 대한 상기 카메라(210)의 상대적 각도를 결정하고, 또한, 상기 카메라(210)의 상대적 각도에 대응하는 상기 TV(100) 스크린 커서의 위치를 결정하게 된다.

상기 적외선 구동기(250)는 상기 결정된 커서 위치에 대응하는 적외선 신호가 상기 TV(100)에서 수신할 수 있도록 구동시킨다.

상기 적외선 신호 송신기(220)는 상기 적외선 구동기(250)에 의해 구동된 적외선 신호를 상기 TV(100)의 적외선 신호 수신기(130)로 송신하게 된다.

한편, 상기 TV(100)에 내장되는 적외선 신호 수신기(130)는 상기 적외선 신호를 수신하며, 상기 증폭기(140)는 상기 적외선 신호를 소정의 이득으로 증폭하게 된다.

상기 TV(100)에 내장되는 제어부는 상기 메모리(160)에 저장된 데이터를 이용하여 상기 수신된 적외선 신호를 스크린 커서 좌표값으로 계산하게 되고, 또한 상기 TV(100)의 스크린에 메뉴 등을 디스플레이 할 수 있는 OSD 데이터를 출력하게 된다.

상기 스크린 커서 오버레이 장치(170)는 상기 제어부(150)로부터 출력되는OSD 데이터 및 커서 좌표값을 수신하여 RGB 신호를 생성하게 된다.

또한, 상기 OSD(180)는 상기 스크린 커서 오버레이 장치(170)로부터 출력되는 신호들을 디스플레이 한다.

도 5를 참조하면, 본 발명의 실시예에 따른 원격 지시 장치를 갖는 텔레비전 시스템을 동작시키는 방법은, 먼저, 상기 원격 지시 장치(200) 내의 카메라(210)의 광각 렌즈(211)를 통해 상기 제1 및 제2 적외선 LED(110, 120) 위치 이미지 위치를 검출하고(S511), 이후, 상기 검출된 LED(100, 120) 위치 이미지를 CCD(212)를 통해 전기적인 신호로 변환하게 된다(S512).

다음으로, 상기 LED(100, 120) 위치에 대응하는 전기신호에 따라 상기 텔레비전(100) 방향에 대한 상기 카메라(210)의 상대적 각도를 결정하고(S513), 이후, 상기 카메라(210)의 상대적 각도에 대응하는 상기 텔레비전(100) 스크린 커서의 위치를 결정하게 된다(S514).

다음으로, 상기 결정된 커서 위치에 대응하는 적외선 신호를 상기 원격 지시 장치(200)의 적외선 구동기(250)로 구동하며(S515), 이후, 상기 적외선 신호를 적외선 신호 송신기(220)를 통해 상기 텔레비전(100)의 적외선 신호 수신기(130)에 전송하게 된다(S516).

따라서 상기 전송된 적외선 신호에 따라 상기 텔레비전(100)의 스크린 커서를 직접 제어하게 되며(S517), 전술한 바와 같이 제어부(150)의 제어에 의해 스크린 오버레이 장치(170)를 거쳐 상기 OSD(180)를 통해 출력하게 된다.

한편, 전술한 본 발명에 따른 좌표 인식 원리를 참조하여, LED 이미지의 위치를 파악하는 알고리즘을 설명하면 다음과 같다.

먼저, 촬상 소자상의 두 LED 이미지의 좌표 (x ₁ , y ₁ ) 와 (x ₂ , y ₂ ) 는 LED 이미지의 밝기가 화면이나 배경에 비하여 월등히 높기 때문에 상기 카메라에서 얻어진 화상을 디지털 처리하도록 간단한 이진화를 이용하여 쉽게 구할 수 있다.

실제 적용에 있어서는, 밝은 LED가 화면 좌우에 위치하게 되면 시청을 방해할 수 있으므로 적외선 LED를 이용한다. 이러한 경우에, 상기 적외선 LED의 이미지는 상기 카메라가 컬러 카메라인 경우에 통상적으로 적색(R) 이미지 플레인(Plain)에 가장 선명하게 나타나게 된다.

따라서 상기 카메라 화상에서 적색(R) 플레인만을 이용해서 구할 수 있다. 이때, 화상의 RGB 값을 각각 r(x, y), g(x, y), b(x, y) 라고 하면, 상기 이진화의 결과인 이진 함수 f(x, y) 는 다음과 같은 수학식 5에 의하여 결정될 수 있다. 여기서, 각 이진 함수의 값은 0 또는 1을 갖는다.

여기서, 역치R은 0과 1 사이의 적절한 값이다. 바람직하기로는, f(x, y) 는 LED의 상에 해당하는 두 개의 작은 영역에만 1의 값을 갖고, 나머지 영역은 0을 갖는 것이다. 이때, 두 영역 각각의 중심점은 기본적인 이미지 프로세싱 과정인 레이블링(labeling)과 센트로이드(centroid) 계산을 거쳐서 쉽게 결정할 수 있다.

본 발명의 실시예에 따라, 간단한 역치 변환이 효과적이지 않을 경우에는 다음과 같은 방법들을 추가할 수 있다.

먼저, 상기 LED 이미지가 포화되어 있는 경우, 상기 카메라의 노출 시간을 줄이면 화면 전체적인 밝기는 줄어들지만, 반면에 상기 LED 이미지는 여전히 높은 값을 가지게 된다. 이때, 상기 LED 이미지의 값이 너무 작아지지 않는 범위에서 상기 노출 시간을 줄이면 이진화를 보다 용이하게 수행할 수 있다.

이러한 이진 함수 f(x, y) 를 구하는 이진화 과정을 상세히 설명하면 다음과 같다.

먼저, 상기 LED 이미지를 RGB에서 HSV로 변환하여 색상 함수 h(x, y) 를 구하고, 상기 h(x, y) 가 적색에 가까워야 하는 조건을 이진 함수 f(x, y) 의 결정에 추가한다. 즉, 다음과 같은 수학식 6으로 나타낼 수 있다.

여기서, H 는 0과 1 사이의 적절한 값이다.

그런데, 위의 방법들을 적용함에도 불구하고 이진화된 이미지 f(x, y) 에 여전히 두 개 이상의 영역이 남을 경우에, 상기 영역의 크기나 형태와 같은 특성을 이용하여 가장 가능성 높은 두 영역을 선택하게 된다.

한편, 본 발명의 실시예에 따라, GUI를 조절하는 방법을 설명하면 다음과 같다.

전술한 수학식 1 내지 4를 이용하여, 촬상 소자상의 두 LED의 좌표 (x ₁ , y ₁ ) , (x ₂ , y ₂ ) 이 주어지면, 상기 TV의 스크린 커서의 위치 (X, Y) , 카메라의 광축을 중심으로 휴대용 지시 장치의 비틀어짐의 각도를 나타내는 θ , 및 상기 TV와 카메라 사이의 거리에 비례하는 값인d를 모두 구할 수 있다.

따라서 상기와 같이 구해진 값들을 이용하여, 상기 휴대용 지시 장치는 다음과 같은 TV 조작을 수행할 수 있다.

먼저, 상기 휴대용 지시 장치가 향하는 방향으로 상기 TV의 스크린 커서를 움직일 수 있고, 또한, 상기 휴대용 지시 장치를 비틀어 스크린 객체의 자세에 따른 평면상의 각도를 조절함으로써, 볼륨 조절을 위한 회전 손잡이와 같은 GUI 제어를 쉽게 조작할 수 있다.

또한, 휴대용 지시 장치를 TV를 향하여 움직이거나 멀리하는 제스처를 감지하여 GUI 조작에 이용할 수 있는데, 예를 들면, 화면의 줌 인이나 줌 아웃을 위하여 이용하거나, 게임과 같은 상황에서 물체의 진행 방향, 예를 들어, 화면에 수직인 방향으로의 물체 이동에 이용할 수 있다.

결국, 본 발명의 실시예에 따르면, 휴대용 원격 지시 장치에 내장된 카메라를 통하여 LED의 위치를 검출하고, 그 위치로부터 TV 방향에 대한 카메라의 상하좌우의 상대적 각도를 결정하며, 그 각도에 따라 TV의 스크린 커서의 위치를 결정하고, 이때 계산된 스크린 커서의 위치가 적외선 신호를 이용하여 TV로 전달됨으로써, 휴대용 지시 장치의 상대적인 위치 정보를 이용하여 TV의 스크린 커서를 직접 제어할 수 있다.

이상의 설명에서 본 발명은 특정의 실시예와 관련하여 도시 및 설명하였지만, 특허청구범위에 의해 나타난 발명의 사상 및 영역으로부터 벗어나지 않는 한도 내에서 다양한 개조 및 변화가 가능하다는 것을 당업계에서 통상의 지식을 가진 자라면 누구나 쉽게 알 수 있을 것이다.

본 발명에 따르면, 카메라를 구비한 휴대용 지시 장치를 직접 텔레비전의 스크린 커서 위치와 GUI를 제어함으로써 보다 자연스러운 제어가 가능하고, 또한, TV 방향에 대하여 휴대용 원격 지시 장치의 상대적인 위치 정보를 이용하여 텔레비전의 스크린 커서를 직접 제어함으로써 조작의 직접성(directness)을 가질 수 있다.

Claims

소정의 영상을 디스플레이하고, 스크린 커서에 의해 X축과 Y축 위치 데이터가 선택되는 텔레비전;

상기 텔레비전의 좌우에 부착되어 이미지를 방출하는 두 개의 발광소자; 및

내장된 카메라를 통해 상기 두 개의 발광소자의 위치를 감지하여 상기 텔레비전 방향에 대한 자신의 상대적 각도, 비틀어짐, 및 거리를 파악하고, 상기 텔레비전의 스크린 커서 위치와 GUI(Graphic User Interface)를 조작하는 지시 장치

를 포함하는 카메라 기반의 지시 장치를 갖는 텔레비전 시스템.
제1항에 있어서,

상기 지시 장치는, 상기 발광소자의 위치에 따라 상기 텔레비전 방향에 대한 상기 카메라의 상대적 각도, 비틀어짐, 및 거리를 결정하며, 상기 상대적 각도에 따라 상기 텔레비전의 스크린 커서의 위치를 결정하고 GUI를 직접 제어하는 것을 특징으로 하는 카메라 기반의 지시 장치를 갖는 텔레비전 시스템.
제1항에 있어서,

상기 발광소자는 비컨(Beacon) 역할을 하는 발광 다이오드(Light Emitting Diode: LED)인 것을 특징으로 하는 카메라 기반의 지시 장치를 갖는 텔레비전 시스템.
제3항에 있어서,

상기 발광 다이오드는 적외선 발광 다이오드인 것을 특징으로 하는 카메라 기반의 지시 장치를 갖는 텔레비전 시스템.
제1항에 있어서,

상기 지시 장치는 휴대 가능한 원격 지시 장치인 것을 특징으로 하는 카메라 기반의 지시 장치를 갖는 텔레비전 시스템.
제1항에 있어서, 상기 지시 장치는,

상기 두 개의 발광소자의 이미지를 촬영하여 그 위치를 검출하는 카메라;

상기 검출된 발광소자의 위치에 따라 상기 텔레비전 방향에 대한 상기 카메라의 상대적 각도, 비틀어짐, 거리를 결정하며, 상기 상대적 각도, 비틀어짐, 거리에 따라 상기 텔레비전의 스크린 커서의 위치를 결정하고 상기 스크린 커서를 구동하는 신호 및 기타 GUI 조작 신호를 출력하는 원격 제어부;

상기 원격 제어부로부터 출력되는 신호를 적외선 신호로 구동하기 위한 적외선 구동기; 및

상기 적외선 신호를 상기 텔레비전으로 전송하는 적외선 신호 송신기

를 포함하는 카메라 기반의 지시 장치를 갖는 텔레비전 시스템.
제6항에 있어서, 상기 카메라는,

상기 두 개의 발광소자의 이미지를 검출하는 광각 렌즈; 및

상기 광각 렌즈를 통과한 이미지를 전기적인 신호로 변환하는 전하결합소자(CCD)

를 포함하는 카메라 기반의 지시 장치를 갖는 텔레비전 시스템.
원격 지시 장치를 갖는 텔레비전 시스템을 동작시키는 방법에 있어서,

a) 상기 원격 지시 장치 내의 카메라 렌즈를 통해 제1 및 제2 적외선 LED 위치 이미지 위치를 검출하는 단계;

b) 상기 검출된 LED 위치 이미지를 상기 카메라의 CCD를 통해 전기적인 신호로 변환하는 단계;

c) 상기 LED 위치에 대응하는 전기신호에 따라 상기 텔레비전 방향에 대한 상기 카메라의 상대적 각도, 비틀어짐, 거리를 결정하는 단계;

d) 상기 카메라의 상대적 각도에 대응하는 텔레비전의 스크린 커서의 위치 및 기타 GUI 조작 메시지를 결정하는 단계;

e) 상기 결정된 커서 위치에 대응하는 적외선 신호를 원격 지시 장치의 신호 구동기로 구동하는 단계;

f) 상기 적외선 신호를 적외선 신호 송신기를 통해 상기 텔레비전의 적외선 신호 수신기에 전송하는 단계; 및

g) 상기 전송된 적외선 신호에 따라 텔레비전의 스크린 커서 및 GUI를 직접제어하는 단계

를 포함하는 카메라 기반의 지시 장치를 갖는 텔레비전 시스템의 동작 방법.
제8항에 있어서,

상기 원격 지시 장치는, 상기 카메라를 이용하여 상기 텔레비전 방향에 대한 상기 지시 장치의 방향을 결정하고, 상기 방향 정보를 이용해 상기 텔레비전의 스크린 커서를 이동시킬 수 있는 것을 특징으로 하는 카메라 기반의 지시 장치를 갖는 텔레비전 시스템의 동작 방법.
제9항에 있어서,

상기 방향 정보는, 상기 제1 및 제2 LED의 위치에 대응하여, 상기 텔레비전의 스크린 커서의 위치, 상기 카메라의 광축을 중심으로 상기 원격 지시 장치의 비틀어진 각도, 및 상기 텔레비전과 카메라 사이의 거리인 것을 특징으로 하는 카메라 기반의 지시 장치를 갖는 텔레비전 시스템의 동작 방법.
제8항에 있어서,

상기 원격 지시 장치는, 자신을 비틀어 상기 텔레비전의 스크린 객체의 평면상의 각도를 조절할 수 있는 것을 특징으로 하는 카메라 기반의 지시 장치를 갖는 텔레비전 시스템의 동작 방법.
제8항에 있어서,

상기 원격 지시 장치는 상기 텔레비전을 향해 가까워지거나 멀어지는 동작을 감지하여 상기 텔레비전의 GUI를 조작하는 것을 특징으로 하는 카메라 기반의 지시 장치를 갖는 텔레비전 시스템의 동작 방법.
제12항에 있어서,

상기 GUI는 상기 텔레비전 스크린의 줌 인 또는 줌 아웃인 것을 특징으로 하는 카메라 기반의 지시 장치를 갖는 텔레비전 시스템의 동작 방법.
제8항에 있어서,

상기 제1 및 제2 LED의 이미지가 포화되어 있는 경우, 상기 LED 이미지의 값이 너무 작아지지 않는 범위에서 상기 카메라의 노출 시간을 줄이는 것을 특징으로 하는 카메라 기반의 지시 장치를 갖는 텔레비전 시스템의 동작 방법.