KR101382359B1 - 동적으로 외부 영상을 내부 영상에 합성하기 위한 노래 반주 장치 및 노래 반주 시스템 - Google Patents

Abstract

본 발명은, 노래 반주 장치를 사용하는 사용자의 움직임에 반응하여 사용자가 나타나는 여러 카메라의 외부 영상을 동적으로 선택하여 노래 반주 장치의 내부 영상과 합성할 수 있도록 하는, 동적으로 외부 영상을 내부 영상에 합성하기 위한 노래 반주 장치 및 노래 반주 시스템에 관한 것이다.
본 발명을 이용함으로써, 노래 반주 장치의 부가 가치를 높이고 노래 반주 장치를 이용하는 사용자에게 편리한 노래 환경을 제공하는 효과가 있다.

Description

동적으로 외부 영상을 내부 영상에 합성하기 위한 노래 반주 장치 및 노래 반주 시스템{A KARAOKE APPARATUS AND A KARAOKE SYSTEM FOR DYNAMICALLY SYNTHESIZING EXTERNAL VIDEO TO THE INTERNAL VIDEO}

본 발명은 동적으로 외부 영상을 내부 영상에 합성하기 위한 노래 반주 장치 및 노래 반주 시스템에 관한 것으로서, 구체적으로는 노래 반주 장치를 사용하는 사용자의 움직임에 반응하여 사용자가 나타나는 여러 카메라의 외부 영상을 동적으로 선택하여 노래 반주 장치의 내부 영상과 합성할 수 있도록 하는, 동적으로 외부 영상을 내부 영상에 합성하기 위한 노래 반주 장치 및 노래 반주 시스템에 관한 것이다.

노래 반주 장치는 노래방 등에 설치되어 사용자가 선곡한 곡을 재생하고 이에 따라 배경 영상이나 가사 이미지를 디스플레이한다. 이러한 배경 영상이나 가사 이미지는 노래 반주 장치에 일반적으로 저장되어 있고 사용자의 선곡에 따라 재생된다.

한편 노래 반주 장치를 이용하는 사용자들은 다양한 그리고 고품질의 서비스를 노래 반주 장치에 요구한다. 이러한 요구는 음악이나 영상의 품질에 대한 향상일 수도 있다. 혹은 사용자 자신이 부른 곡의 녹음 파일 혹은 영상을 기록한 녹화 파일일 수 있다. 또는 사용자 자신이 부르는 모습을 노래 반주 장치에 디스플레이되어 자신의 모습을 직접 보면서 부른 것 등일 수 있다.

이러한 기능의 노래 반주 장치로의 접목은 노래 반주 장치의 부가가치를 높일 수 있고 사용자에게는 좀 더 즐겁게 노래를 부를 수 있도록 하는 환경을 제공한다.

녹음 파일의 경우에는 노래 반주 장치 내에서 마이크로부터 수신된 음성을 노래 반주 장치에서 출력되는 음악 신호에 합성하고 이를 예를 들어 MP3 파일 등으로 녹음함으로써 쉽게 이루어진다.

반면에 녹화 파일이나 자신의 모습을 직접 보면서 부른 것을 디스플레이하기 위해서는 여러 고려가 필요하다.

예를 들어 사용자는 고정된 위치에 위치 않고 움직이면서 노래를 부르게 된다. 이는 노래방에서의 노래 부르는 위치의 변경과 함께 방향의 변경을 포함한다.

이와 같은 자신의 모습을 노래 반주 장치의 디스플레이에 디스플레이하는 방법으로 마이크에 카메라를 부착하여 이 카메라로부터 수신된 영상을 배경 영상에 합성하는 방법이 알려져 있다. 하지만 이러한 방법은 항상 근접된 사용자의 모습만이 보이고 사용자의 움직임에 따라 영상 또한 흔들리게 되어 실효적이지 못하다.

따라서, 사용자의 위치 변경이나 방향 변경을 수반하는 움직임에 따라서 동적으로 사용자의 모습을 배경 영상에 표시할 수 있고 또한 이러한 합성된 영상을 사용자에게 제공할 수 있도록 하는, 동적으로 외부 영상을 내부 영상에 합성하기 위한 노래 반주 장치 및 노래 반주 시스템이 필요하다.

본 발명은, 상술한 문제점을 해결하기 위해서 안출한 것으로서, 노래 반주 장치의 부가 가치를 높이고 노래 반주 장치를 이용하는 사용자에게 편리한 노래 환경을 제공하는 데 그 목적이 있다.

또한 본 발명은, 사용자의 위치 변경이나 방향 변경과 같은 움직임에 따라 사용자의 움직임을 추적하고 이에 따라 선택된 카메라에 의한 외부 영상이 노래 반주 장치의 배경 영상에 합성되도록 하는 노래 반주 장치 및 노래 반주 시스템을 제공하는 데 그 목적이 있다.

또한 본 발명은, 사용자의 움직임의 추적에 따라 카메라의 촬상 영역을 동적으로 변경하여 사용자의 영상을 잘 포착할 수 있도록 하는 노래 반주 장치 및 노래 반주 시스템을 제공하는 데 그 목적이 있다.

또한 본 발명은, 사용자를 포착하고 있는 여러 카메라 중에서 사용자를 가장 잘 나타내는 영상을 가진 카메라의 외부 영상으로 합성되도록 하여 고품질의 영상을 표시하고 녹화되도록 하는 노래 반주 장치 및 노래 반주 시스템을 제공하는 데 그 목적이 있다.

본 발명에서 이루고자 하는 기술적 과제들은 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급하지 않은 또 다른 기술적 과제들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.

상기와 같은 목적을 달성하기 위한, 동적으로 외부 영상을 내부 영상에 합성하기 위한 노래 반주 장치는, 마이크의 위치를 추정할 수 있도록 하는 제어 데이터를 수신하여 수신된 제어 데이터로부터 상기 마이크의 위치를 추정하는 위치 추정부와 위치 추정부에 의해 추정된 마이크의 위치에 기초하여 지정된 기준에 따라 복수의 카메라 중 하나 이상의 카메라의 외부 영상을 선택하는 카메라 선택부와 선택된 외부 영상을 노래 반주 장치에 의해서 생성된 내부 영상에 합성하는 영상 합성부를 포함한다.

또한 상기와 같은 목적을 달성하기 위한, 동적으로 외부 영상을 내부 영상에 합성하기 위한 노래 반주 장치는, 복수의 카메라 각각의 촬상 영역을 위치 추정부에 의해 추정된 마이크의 위치에 기초하여 변경하는 카메라 제어부를 더 포함하고, 카메라 선택부는, 추정된 마이크의 위치를 지정된 촬상 영역에서 캡쳐링된 하나 이상의 카메라로부터의 외부 영상에서 인식된 마이크의 식별 마크의 크기 또는 위치에 기초하여 조정하여 마이크의 위치를 더 결정한다.

또한 상기와 같은 목적을 달성하기 위한, 동적으로 외부 영상을 내부 영상에 합성하기 위한 노래 반주 시스템은, 노래 반주 장치에 연결되어 노래 반주 장치의 제어하에 촬상 영역을 변경하는 복수의 카메라와 노래 반주 장치가 마이크의 위치를 결정할 수 있도록 하는 무선 신호를 송출하는 마이크를 포함하고 또한 마이크의 위치를 결정할 수 있도록 하는 제어 데이터를 수신하여 수신된 제어 데이터로부터 상기 마이크의 위치를 결정하는 위치 결정부와 상기 위치 결정부에 의해 결정된 마이크의 위치에 기초하여 지정된 기준에 따라 복수의 카메라 중 하나 이상의 카메라의 외부 영상을 선택하는 카메라 선택부와 선택된 외부 영상을 노래 반주 장치에 의해서 생성된 내부 영상에 합성하는 영상 합성부를 포함하는 노래 반주 장치를 포함하여, 노래 반주 장치가, 무선 신호로부터 결정된 제어 데이터에 기초하여 마이크의 위치를 결정하고 결정된 마이크의 위치를 포함하도록 하는 촬상 영역으로 변경하도록, 복수의 카메라 중 하나 이상의 카메라를 제어한다.

상기와 같은 본 발명에 따른 동적으로 외부 영상을 내부 영상에 합성하기 위한 노래 반주 장치 및 노래 반주 시스템은, 노래 반주 장치의 부가 가치를 높이고 노래 반주 장치를 이용하는 사용자에게 편리한 노래 환경을 제공하는 효과가 있다.

또한 상기와 같은 본 발명에 따른 동적으로 외부 영상을 내부 영상에 합성하기 위한 노래 반주 장치 및 노래 반주 시스템은, 사용자의 위치 변경이나 방향 변경과 같은 움직임에 따라 사용자의 움직임을 추적하고 이에 따라 선택된 카메라에 의한 외부 영상이 노래 반주 장치의 배경 영상에 합성되도록 하는 효과가 있다.

또한 상기와 같은 본 발명에 따른 동적으로 외부 영상을 내부 영상에 합성하기 위한 노래 반주 장치 및 노래 반주 시스템은, 사용자의 움직임의 추적에 따라 카메라의 촬상 영역을 동적으로 변경하여 사용자의 영상을 잘 포착할 수 있도록 하는 효과가 있다.

또한 상기와 같은 본 발명에 따른 동적으로 외부 영상을 내부 영상에 합성하기 위한 노래 반주 장치 및 노래 반주 시스템은, 사용자를 포착하고 있는 여러 카메라 중에서 사용자를 가장 잘 나타내는 영상을 가진 카메라의 외부 영상으로 합성되도록 하여 고품질의 영상을 표시하고 녹화되도록 하는 효과가 있다.

본 발명에서 얻을 수 있는 효과는 이상에서 언급한 효과들로 제한되지 않으며, 언급하지 않은 또 다른 효과들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.

도 1은 본 발명에 따른 동적으로 외부 영상을 내부 영상에 합성하기 위한 노래 반주 시스템의 예시적인 시스템 블록도를 도시한 도면이다.
도 2는 마이크에 부착되거나 인쇄되는 식별 마크의 예시적인 형태와 마이크에 내장되는 예시적인 하드웨어 블록도를 도시한 도면이다.
도 3은 노래 반주 장치의 예시적인 하드웨어 블록도를 도시한 도면이다.
도 4는 본 발명에 따른 동적으로 외부 영상을 내부 영상에 합성하기 위한 노래 반주 장치의 예시적인 기능 블록도를 도시한 도면이다.

상술한 목적, 특징 및 장점은 첨부된 도면을 참조하여 상세하게 후술 되어 있는 상세한 설명을 통하여 더욱 명확해 질 것이며, 그에 따라 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명의 기술적 사상을 용이하게 실시할 수 있을 것이다. 또한, 본 발명을 설명함에 있어서 본 발명과 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에 그 상세한 설명을 생략하기로 한다. 이하, 첨부된 도면을 참조하여 본 발명에 따른 바람직한 실시 예를 상세히 설명하기로 한다.

도 1은 본 발명에 따른 동적으로 외부 영상을 내부 영상에 합성하기 위한 노래 반주 시스템의 예시적인 시스템 블록도를 도시한 도면이다. 이러한 도 1의 시스템 블록도는 노래 반주 장치(100)가 설치된 다른 공간과 분리되어 있는 하나의 노래방 내에서 설치될 수 있다.

도 1에 따르면, 이 노래 반주 시스템은, 노래 반주 장치(100)와 하나 이상의 카메라(200)와 하나 이상의 마이크(300)와 디스플레이(400)를 포함한다.

이러한 시스템 블록도에서는, 필요에 따라 일부 시스템 블록을 생략될 수도 있고 혹은 도 1에 도시되지 않은 다른 시스템 블록이 더 포함되도록 구성될 수 있다.

도 1의 각 시스템 블록들을 살펴보면, 노래 반주 장치(100)는, 사용자의 선곡에 따라 선곡된 미디 음악과 같은 음악을 재생하여 출력하고 선곡된 곡에 대응하는 동영상과 자막 등을 출력하여 사용자가 선곡된 곡을 부를 수 있도록 하는 장치이다.

이러한 노래 반주 장치(100)는, 유선 또는 무선 네트워크로 연결된 복수의 카메라(200)로부터 영상(비디오) 신호를 수신하고, 수신된 영상 신호에서 사용자의 영상 영역을 추출하여 내장된 배경 동영상에 합성할 수 있도록 한다.

또한 노래 반주 장치(100)는, 마이크(300)로부터 발신된 무선 신호를 직접 수신하거나, 복수의 카메라(200)가 무선 신호를 수신하여 이 무선 신호의 신호 세기에 대한 정보를 수신하여, 수신된 무선 신호 혹은 카메라(200)로부터 수신된 신호 세기 정보에 따라 마이크(300)의 위치를 결정하고 이에 따라 복수의 카메라(200)의 촬상 영역이 이 마이크(300)의 위치를 포함하도록 각 카메라(200)를 제어한다.

노래 반주 장치(100)에 관한 보다더 상세한 설명은 도 3 내지 도 4를 통해 살펴보도록 한다.

카메라(200)는, 노래방 내에 고정된 위치에 설치되어 노래방 내의 일정한 (촬상) 영역의 영상을 정지영상 또는 동영상의 형태로 캡쳐링(capturing)하고, 캡쳐링된 영상을 유선 또는 무선 네트워크를 통해 연결된 노래 반주 장치(100)로 전송한다.

또한 카메라(200)는, 모터 등과 같은 구동 장치를 구비하여, 유선 또는 무선 네트워크를 통해 연결된 노래 반주 장치(100)의 제어하에 이 카메라(200)의 촬상 영역을 변경할 수 있다.

여기서 이 촬상 영역은, 예를 들어 카메라의 렌즈에 의해서 수신(캡쳐링)될 수 있는 예를 들어 직사각형의 영역을 나타내고, 이 직사각형의 영역은 3차원의 공간 영역(카메라의 렌즈로부터의 원근(또는 거리)을 포함하는)이 2차원상에 맵핑되어 표현되는 영역이다.

또한 카메라(200)는, 그 구현예에 따라서는 마이크(300)로부터 발신된 무선 신호를 수신하여, 수신된 무선 신호의 신호 세기 정보를 생성하고, 생성된 신호 세기 정보를 노래 반주 장치(100)로 전송할 수 있다. 이러한 무선 신호는 주기적으로 발생하는 신호일 수 있고, 예를 들어 지그비(Zigbee)나 블루투스(Bluetooth) 등과 같은 근거리 무선 통신 네트워크의 포맷의 신호일 수 있다.

따라서 복수의 카메라(200) 각각은, 하나의 마이크(300) 또는 복수의 마이크(300)의 움직임에 따른 노래 반주 장치(100)에 의한 제어에 의해 마이크(300)의 영상을 포함할 수 있도록 그 촬상 영역을 변경할 수 있다.

마이크(300)는, 유선 또는 무선의 네트워크를 통해 노래 반주 장치(100)에 연결되어 사용자의 음성을 증폭하여 증폭된 음성을 유선 또는 무선 네트워크를 통해 노래 반주 장치(100)로 전달한다.

이러한 마이크(300)는, 또한 이 마이크(300)의 위치를 식별 또는 결정하기 위해서 이용될 수 있는 무선 신호를 송출한다. 이러한 무선 신호는 예를 들어 지그비나 블루투스 등과 같은 통신 프로토콜에 따르는 무선 신호이거나 혹은 노래 반주 시스템 내에서 미리 약속된 통신 프로토콜에 따르는 무선 신호일 수 있다.

이러한 무선 신호는 마이크(300)의 위치를 결정(또는 추정)하기 위해 각 마이크(300)의 식별자를 포함할 수 있고 이에 더하여 무선 신호는, 노래방 내의 일정한 지점 또는 위치를 나타내는 좌표 정보(예를 들어 3차원의 좌표)를 더 포함하도록 구성될 수 있다.

이와 같은 무선 신호는, 지정된 일정한 주기에 따라 주기적으로 발생하고, 복수의 카메라(200)로 및/또는 노래 반주 장치(100)로 전송된다.

마이크(300)에 대한 보다더 구체적인 설명은 도 2를 통해서 살펴보도록 한다.

디스플레이(400)는, 노래 반주 장치(100)에 연결되어 노래 반주 장치(100)에서 출력된 영상을 수신하여 수신된 영상을 사용자가 볼수 있도록 출력하는 장치이다. 이러한 디스플레이(400)에 표시되는 영상은, 배경 영상과 같은 동영상, 이 배경 영상 위에 표시되는 자막 영상, 이 배경 영상 위의 디스플레이(400) 내의 지정된 위치 영역에 표시되고, 복수의 카메라(200) 또는 복수의 카메라(200) 중에서 선택된 카메라(200)로부터의 영상인 외부 영상을 포함한다.

이와 같은 디스플레이(400)는 예를 들어 TV 등일 수 있다.

이와 같은 노래 반주 시스템은, 각각의 카메라(200)의 촬상 영역을 변경하도록 각 카메라(200)를 제어할 수 있고, 각 카메라(200)에서 사용자의 영상을 용이하게 추출할 수 있고 추출된 외부 영상을 노래 반주 장치(100)의 내부 영상에 합성하여 사용자가 노래를 부르는 모습을 디스플레이(400)에 표출할 수 있고 이에 따라 녹화할 수 있도록 한다.

도 2는 마이크(300)에 부착되거나 인쇄되는 식별 마크(301)의 예시적인 형태(도 2의 (a))와 마이크(300)에 내장되는 예시적인 하드웨어 블록도(도 2의 (b))를 도시한 도면이다. 도 2의 (a)의 식별 마크(301)는, 마이크(300)의 손잡이 부분에 인쇄되거나 부착되고 예를 들어 손잡이 부분 전체에 혹은 손잡이 부분 중 일부(예를 들어 손잡이 부분의 끝 부분)에 인쇄되거나 부착된다.

이와 같은 식별 마크(301)는, 노래 반주 장치(100)에 의해서 식별될 수 있도록 하는 마크로서 단일 색상으로 혹은 도 2의 (a)와 같이 복수의 색상을 이용한 일정한 이미지 패턴으로 구성될 수 있다.

만일 일정한 이미지 패턴으로 이 식별 마크(301)가 구성되는 경우에는, 이 식별 마크(301)의 각 블록은 지정된 폭(width)과 높이(height)를 가질 수 있다.

복수의 카메라(200)로부터 출력된 영상으로부터 이러한 식별 마크(301)의 식별은, 노래 반주 장치(100)로 하여금 어떠한 카메라(200)로부터 출력된 영상을 선택하여 디스플레이(400)에 출력되는 내부 영상에 합성할 것인지를 결정하기 위해서 이용되어 질 수 있다.

더욱이 식별 마크(301)가 이미지 패턴으로 구성되어 폭과 높이를 알고 있는 경우에는 여러 식별 마크(301)를 포함하는 여러 카메라(200)의 외부 영상 중에서 어떠한 외부 영상이 가장 사용자의 모습을 잘 표현하고 있는지를 결정하기 위해서 사용되어 질 수 있다.

따라서 식별 마크(301)를 포함하는 외부 영상을 디스플레이(400)에 합성하여 사용자의 방향이나 위치를 이동하는 움직임에 상관없이 용이하게 사용자의 얼굴 등을 디스플레이(400)에 표시할 수 있도록 한다.

도 2의 (b)에 따르는 하드웨어 블록도를 살펴보면, 마이크(300)는, 동작 감지 센서(303)와 프로그램 메모리(305)와 무선 신호 발신기(307)와 마이크 제어 프로세서(309)를 포함한다. 이러한 도 2의 (b)의 하드웨어 블록도는 마이크(300) 내에 내장된다.

이러한 마이크(300)의 하드웨어 블록도에서는, 필요에 따라 또는 구현예에 따라 일부 하드웨어 블록이 생략될 수도 있고 혹은 도 2에 도시되지 않은 다른 하드웨어 블록이 더 포함되도록 구성될 수도 있다. 예를 들어 동작 감지 센서(303)는 그 구현예에 따라 생략될 수 있다.

마이크(300)의 각 하드웨어 블록들을 살펴보면, 동작 감지 센서(303)는, 마이크(300)의 움직임을 감지하는 예를 들어 3축(X축, Y축, Z축)의 자이로스코프 센서일 수 있다.

그리고 이 동작 감지 센서(303)는, 마이크(300)의 움직임에 따른 센싱 신호를 마이크(300)에 내장되는 마이크 제어 프로세서(309)에 전달하고 이로부터 노래방 내에서의 마이크(300)의 특정 위치를 결정할 수 있도록 한다. 이와 같은 동작 감지 센서(303)는 그 구현예에 따라 생략될 수 있다.

프로그램 메모리(305)는, 무선 신호를 발생하기 위한 및/또는 마이크(300)의 위치를 결정하기 위한 프로그램을 저장하고 예를 들어 전원이 제공되지 않는 경우에도 데이터가 소멸되지 않는 낸드(Nand) 플래쉬(Flash)나 노어(Nor) 플래쉬 타입의 메모리일 수 있다.

무선 신호 발신기(307)는, 지정된 무선 통신 프로토콜에 따라 마이크 제어 프로세서(309)의 제어하에 주기적으로 무선 신호를 발생하여 외부로 출력한다. 이러한 무선 신호 발신기(307)는 지정된 무선 대역의 주파수(예를 들어 900MHz, 1.5GHz 등)를 이용하여 무선 신호를 출력할 수 있다.

또한 무선 신호 발신기(307)는, 안테나를 더 구비할 수 있어, 노래 반주 장치(100) 등으로부터 수신된 무선의 제어 신호를 수신하여 이를 마이크 제어 프로세서(309)로 전달할 수 있다.

마이크 제어 프로세서(309)는, 프로그램 메모리(305)에 저장된 프로그램을 이용하여, 무선 신호에 포함될 무선 데이터 패킷을 생성하고 생성된 무선 데이터 패킷을 주기적으로(예를 들어 1초 등) 무선 신호 발신기(307)로 전송하여 무선 신호를 발생하도록 하는, 마이컴, CPU 등과 같은 프로세서이다.

이러한 무선 데이터 패킷은 지정된 무선 통신 프로토콜(예를 들어 지그비나 블루투스 등) 상의 패킷의 포맷으로 구성되고, 예를 들어 비콘(Beacon) 패킷이거나 혹은 데이터를 전송하기 위한 패킷일 수 있다.

이 마이크 제어 프로세서(309)는, 또한 동작 감지 센서(303)로부터 센싱된 신호를 더 수신할 수 있고, 이에 따라 노래방 내에서 이 마이크(300)가 위치하는 지점을 나타내는 좌표를 생성할 수 있다. 이러한 좌표는 예를 들어 노래방 내의 영역을 일정한 크기로 구획하여 어떤 구역 내에 있는 지를 나타내는 3차원 상의 좌표일 수 있다.

그리고 마이크 제어 프로세서(309)는, 이러한 좌표 정보를 무선 데이터 패킷에 더 포함하여 무선 신호 발신기(307)로 출력할 수 있다.

여기서 마이크 제어 프로세서(309)는, 기준이 되는 좌표를 설정할 수 있다. 예를 들어 마이크(300)는, 노래 반주 장치(100) 옆 등에 마이크(300)의 거치대에 비치될 수 있다. 이 거치대에 마이크 제어 프로세서(309)가 인식할 수 있는 입력 신호(예를 들어 마이크 제어 프로세서(309)의 GPIO 포트를 이용하여 입력되는 일정한 기준 신호(5V 등))를 수신한 경우에 이 입력 신호에 따라 특정 기준이 되는 좌표를 설정하고 이후 마이크(300)가 움직이는 경우에 이 기준 좌표로부터 변경된 좌표를 생성할 수 있다.

또는 무선 신호 발신기(307)를 통해, 노래 반주 장치(100)로부터 마이크(300)의 좌표 정보를 수신할 수 있다. 이러한 좌표 정보는, 마이크 제어 프로세서(309)가 발신한 특정 좌표 정보에 대응하여 수정된 좌표 정보일 수 있다. 이러한 수신된 좌표 정보를 이용하여 마이크 제어 프로세서(309)는 초기의 기준 좌표를 설정하거나 또는 이미 생성한 좌표 정보를 수신된 좌표 정보를 이용하여 수정할 수 있다.

여기서, 이 마이크(300)의 위치를 추정하거나 결정하기 위한 방법으로서 여러 가지 있을 수 있는 데, 예를 들어 무선 신호의 신호 세기 정보(카메라(200)가 신호 세기 정보를 노래 반주 장치(100)로 전송하는 경우)를 이용하거나 혹은 동작 감지 센서(303)를 이용하여 3차원의 좌표 정보를 직접 노래 반주 장치(100)로 전송하는 경우로 나눌 수 있을 것이다.

이 구현예에 따라 노래 반주 시스템 내의 각 시스템 블록의 필요한 구성 요소는 상이할 수 있어, 신호 세기 정보만을 이용하는 경우에는 각 카메라(200)는 무선 신호의 신호 세기 정보를 생성하도록 구성되고 마이크(300)는 동작 감지 센서(303)를 생략할 수 있을 것이다. 반면에 좌표 정보를 이용하는 경우에는 각 카메라(200)의 무선 신호의 신호 세기 정보의 생성을 생략하도록 구성될 수 있을 것이다.

한편 마이크 제어 프로세서(309)는, 사용자로부터 수신된 음성을 무선으로 전송하는 경우에 음성을 위한 무선용 음성 데이터 패킷을 생성하여 생성된 데이터 패킷을 무선 신호 발신기(307)로 전송할 수 있다. 이와 같은 경우에 좌표 정보가 이 생성된 음성 데이터 패킷에 더 포함하도록 구성될 수 있거나 또는 앞서 살펴본 마이크(300)의 위치를 추정하거나 결정하기 위한 무선 데이터 패킷의 생성을 생략하고 이 음성 데이터 패킷으로 대처할 수도 있다.

도 2에서 살펴본 바와 같은 이러한 마이크(300)는 용이하게 외부 영상에서 이 마이크(300)를 식별할 수 있도록 하고 또한 마이크(300)의 위치를 알 수 있도록 하여, 외부 영상에서의 마이크(300)를 검색하기 위한 검색 영역을 줄일 수 있도록 한다.

도 3은 노래 반주 장치(100)의 예시적인 하드웨어 블록도를 도시한 도면이다.

도 3에 따르면, 이 노래 반주 장치(100)는, 외부 영상 수신 포트(101)와 외부 영상 처리 프로세서(103)와 휘발성 메모리(105)와 비휘발성 메모리(107)와 하드 디스크(109)와 유선 통신 인터페이스(111)와 무선 통신 인터페이스(113)와 오디오 출력 인터페이스(115)와 비디오 출력 인터페이스(117)와 제어 프로세서(119)와, 각 하드웨어 블록들을 연결하기 위한 시스템 버스/제어 버스(121)를 포함한다.

이러한 하드웨어 블록도에서는, 필요에 따라 일부 하드웨어 블록이 생략될 수도 있고 혹은 도 3에 도시되지 않은 다른 하드웨어 블록이 더 포함되도록 구성될 수도 있다.

도 3의 각 하드웨어 블록들을 간단히 살펴보면, 외부 영상 수신 포트(101)는, 복수의 카메라(200)로부터 출력된 외부 영상을 수신받기 위한 포트이다. 이러한 외부 영상 수신 포트(101)는, 유선으로 카메라(200)로부터 출력된 아날로그 또는 디지털의 외부 영상을 수신하고 이를 외부 영상 처리 프로세서(103)로 전달한다.

외부 영상 처리 프로세서(103)는, DSP나 CPU 등과 같은 실행 유닛을 구비하여, 복수의 카메라(200)로부터 수신된 외부 영상을 처리한다. 이러한 외부 영상 처리 프로세서(103)는 필요에 따라 생략될 수 있고, 생략되는 경우 제어 프로세서(119)에 의해 외부 영상 처리 프로세서(103)에서 수행되는 기능을 수행하도록 구성될 수 있다.

외부 영상 처리 프로세서(103)에서 수행될 수 있는 기능에 대해서는 도 4를 통해서 좀 더 살펴보도록 한다.

휘발성 메모리(105)는, 디램(DRAM) 타입과 같은 데이터를 임시로 저장할 수 있는 메모리이다. 이러한 휘발성 메모리(105)는 외부 영상으로부터의 이미지 프레임이나 각종 프로그램 등을 임시로 저장할 수 있도록 한다.

비휘발성 메모리(107)는, 부팅 프로그램 등과 같은 노래 반주 장치(100)의 초기화 등에 필요한 프로그램이나 설정 데이터를 영구히 저장할 수 있도록 하는 예를 플래쉬나 롬(ROM) 타입의 메모리이다.

하드 디스크(109)는, 대용량 저장 매체로서 각종 데이터와 프로그램 등을 저장한다. 이 하드 디스크(109)는 선곡된 곡의 연주의 배경 영상으로 이용되는 동영상 파일, 선곡된 곡에 대응하는 미디 파일, 선곡된 곡에 이용될 수 있는 압축된 음악 파일 등을 저장할 수 있고, 이에 더하여 사용자의 요청에 따라 녹화되는 녹화 파일을 또한 더 저장할 수 있다.

유선 통신 인터페이스(111)는, 유선 통신 프로토콜을 이용하여 외부의 기기와 데이터나 제어 데이터를 송수신할 수 있는 인터페이스이다. 이러한 유선 통신 인터페이스(111)는 유선 통신 프로토콜에서 요구하는 예를 들어 물리층(Physical Layer)의 통신 프로토콜을 구현하거나 혹은 물리층의 상위층의 통신 프로토콜을 구현하기 위한 변환기 등을 포함할 수 있다.

이러한 유선 통신 프로토콜에는, 예를 들어 USB, RS232, RS485 등과 같은 통신 프로토콜을 포함하거나 혹은 전용의 통신 프로토콜을 포함할 수 있다. 이와 같은 유선 통신 인터페이스(111)를 이용하여 카메라(200) 등과 제어 데이터 등을 송수신할 수 있다.

카메라(200)와 유선으로 통신이 이루어지는 경우에 비록 도 3에서는 외부 영상 수신 포트(101)와 유선 통신 인터페이스(111)가 별도로 도식화되어 있으나 이에 국한될 필요는 없고 예를 들어 외부 영상 수신 포트(101)가 유선 통신 인터페이스(111)에 통합되도록 구성될 수 있다.

무선 통신 인터페이스(113)는, 무선 통신 프로토콜을 이용하여 외부의 기기와 데이터나 제어 데이터를 송수신할 수 있는 인터페이스이다. 이러한 무선 통신 인터페이스(113)는 무선 통신 프로토콜에서 요구하는 예를 들어 물리층(Physical Layer)의 통신 프로토콜을 구현하거나 혹은 물리층의 상위층의 통신 프로토콜을 구현하기 위한 변환기 등을 포함할 수 있다.

이러한 무선 통신 프로토콜에는, 예를 들어 지그비, 블루투스, 무선 랜 등과 같은 통신 프로토콜을 포함하거나 혹은 전용의 무선 통신 프로토콜을 포함할 수 있다. 이와 같은 무선 통신 인터페이스(113)를 이용하여 카메라(200)나 마이크(300)와 제어 데이터 등을 송수신할 수 있다.

오디오 출력 인터페이스(115)는, 제어 프로세서(119)의 제어하에 디지털의 오디오 신호를 외부 스피커 등의 입력 포맷에 적합한 포맷으로 변환하여 스피커 등으로 출력한다. 이러한 오디오 출력 인터페이스(115)는 외부 스피커의 입력 포맷에 부합하는 오디오 DAC(Digital Analog Converter)나 변환기를 포함할 수 있다.

비디오 출력 인터페이스(117)는, 제어 프로세서(119)의 제어하에 이미지 또는 영상을 출력한다. 이러한 비디오 출력 인터페이스(117)는 노래 반주 장치(100) 외부의 TV 등과 같은 디스플레이(400)의 비디오 입력 포맷에 부합하는 비디오 포맷으로 제어 프로세서(119) 등으로부터 수신된 이미지 또는 영상을 변환하여 외부의 디스플레이(400)로 출력한다.

제어 프로세서(119)는, 도 3의 각 하드웨어 블록을 제어하기 위한 CPU 등과 같은 프로그램을 수행할 수 있는 실행 유닛을 구비한 프로세서이다.

이러한 제어 프로세서(119)는 예를 들어 비휘발성 메모리(107)나 하드 디스크(109) 등에 저장된 각종 프로그램을 이용하여 각 하드웨어 블록을 이용하거나 제어한다. 예를 들어 제어 프로세서(119)는 버튼이나 원격 리모콘 등을 수신하는 입력 인터페이스(미도시)를 통해 선곡된 곡에 대응하는 미디 파일과 가사 파일과 동영상 파일을 하드 디스크(109) 등으로부터 검색하고, 검색된 각 파일들을 지정된 파일 포맷에 따라 디코딩하여 오디오 출력 인터페이스(115)와 비디오 출력 인터페이스(117)를 통해 출력하여 스피커나 외부의 디스플레이(400)에 오디오 또는 비디오로서 출력한다.

또한 제어 프로세서(119)는, 무선 통신 인터페이스(113)를 마이크(300)로부터 좌표 정보를 포함하는 무선 신호를 수신하고(거나) 무선 통신 인터페이스(113)나 유선 통신 인터페이스(111)를 통해 카메라(200)로부터 마이크(300)의 위치를 결정 또는 추정하기 위한 신호 세기 정보를 수신하여 이로부터 마이크(300)의 위치를 추정하거나 결정할 수 있다.

또한 제어 프로세서(119)는 결정되거나 추정된 마이크(300)의 위치로부터 이 마이크(300)의 위치를 포함하는 촬상 영역을 가진 하나 이상의 카메라(200)를 선택하고 선택된 외부 영상이 배경 영상으로 디코딩된 배경 영상에 합성되도록 제어할 수 있다.

이러한 제어 프로세서(119)에 이루어지는 기능에 대해서는, 도 4를 통해서 상세히 살펴보도록 한다.

시스템 버스/제어 버스(121)는, 각 하드웨어 블록들에서 생성되는 데이터나 제어 신호를 다른 블록으로 전송할 수 있도록 한다. 이러한 시스템 버스/제어 버스(121)는 병렬 버스이거나 시리얼(serial) 버스일 수 있다.

도 4는 본 발명에 따른 동적으로 외부 영상을 내부 영상에 합성하기 위한 노래 반주 장치(100)의 예시적인 기능 블록도를 도시한 도면이다. 여기서는 하드웨어 블록과의 구별을 위해서 기능 블록도의 각 기능 블록을 도면 부호 150 이후의 번호로 부여하도록 한다.

도 4에 따르면, 이 노래 반주 장치(100)는, 위치 추정부(151)와 카메라 선택부(153)와 카메라 제어부(155)와 내부 영상 생성부(157)와 영상 합성부(159)와 영상 출력부(161)와 음악 신호 생성부(163)와 음성 수신부(165)와 오디오 합성부(167)와 녹화부(169)와 오디오 출력부(171)를 포함한다.

이러한 기능 블록도에서는, 필요에 따라 일부 기능 블록이 생략될 수도 있고 혹은 도 4에 도시되지 않은 다른 기능 블록이 더 포함되도록 구성될 수도 있다.

이러한 기능 블록도는 도 3의 예시적인 하드웨어 블록도 상에서 구현되고, 바람직하게는 도 3의 외부 영상 처리 프로세서(103) 및/또는 제어 프로세서(119)에 로딩되는 프로그램을 이용하여 각 하드웨어 블록을 제어함으로써 구현될 수 있고 이에 따라 외부 영상 처리 프로세서(103)가 없는 경우에는 제어 프로세서(119)에 의해서, 외부 영상 처리 프로세서(103)가 있는 경우에는 이 기능 블록도 중 일부의 블록(예를 들어 카메라 선택부(153)나 영상 합성부(159))이 외부 영상 처리 프로세서(103)에 의해서 나머지 블록들이 제어 프로세서(119)에 의해서 수행되도록 구성할 수 있다.

도 4의 각 기능 블록들을 살펴보면, 위치 추정부(151)는, 하나 이상의 마이크(300)의 위치를 노래방 내의 영역 상에서 임시로 결정하거나 추정한다. 이 위치 추정부(151)에서 추정되는(결정되는) 위치는 마이크(300)의 정확한 일치가 아닐 수 있고 이후 카메라 선택부(153)나 이 위치 추정부(151)에 의해서 수정될 수 있는 여지를 가지는 위치를 나타내는 것을 의미할 수 있다.

이러한 위치 추정부(151)는 복수의 카메라(200)로부터 수신된 마이크(300)가 주기적으로 발신한 무선 신호의 신호 세기 정보나 마이크(300)로부터 주기적으로(또는 비주기적으로) 발신한 무선 신호에 포함되는 3차원의 좌표 정보와 같은 제어 데이터를 수신한다. 그리고 위치 추정부(151)는 이와 같은 제어 데이터로부터 각각의 마이크(300)의 위치를 추정하거나 결정한다.

이 위치 추정부(151)에서 결정되거나 추정되는 마이크(300)의 위치는 마이크(300)의 정확한 위치가 아닐 수 있고 또는 마이크(300)의 위치가 일정한 영역으로 결정되는 것일 수 있다.

여기서 신호 세기 정보를 이용하여 마이크(300)의 위치를 결정하는 경우에는, 각 카메라(200)의 노래방에 설치된 위치를 고려하여, 각 카메라(200)의 위치에서 수신된 신호 세기 정보를 예를 들어 유클리드 거리를 적용하여 마이크(300)의 위치를 결정할 수 있다. 또는 복수의 카메라(200)에 각각에 대하여 신호 세기 정보의 범위 내와 대응하는 위치를 나타내는 맵핑 테이블을 구성하여, 맵핑 테이블 내에서 수신된 각각의 카메라(200)의 신호 세기 정보를 검색함(예를 들어 카메라(200)가 3개인 경우에, 3개의 신호 세기 정보에 대하여 하나의 위치가 맵핑되도록)으로써 마이크(300)의 위치를 결정할 수 있다.

카메라 선택부(153)는, 위치 추정부(151)에 의해 결정된(또는 추정된) 마이크(300)의 위치에 기초하여 지정된 기준에 따라 연결된 복수의 카메라(200) 중 하나 이상의 카메라(200)의 외부 영상을 선택한다.

즉 카메라 선택부(153)는, 위치 추정부(151)에 의해 추정된 마이크(300)의 위치로부터 일정한 영역(예를 들어 정사각형 영역) 내를 각각의 외부 영상으로부터 검색하여 특정 카메라(200)의 외부 영상을 선택할 수 있다.

예를 들어 카메라 선택부(153)는, 복수의 카메라(200) 각각의 외부 영상의 촬상 영역(카메라 렌즈에 의해서 3차원 영상이 2차원 이미지 또는 영상으로 투영되는 공간 영역)이 결정된 마이크(300)의 위치를 포함하는 지를 결정하고, 만일 포함하는 경우에 이 외부 영상의 마이크(300)가 존재할 것으로 인식되는 위치(즉 위치 추정부(151)에 의해서 추정된 위치)를 중심으로한 일정한 영역 내에서, 마이크(300)의 식별 마크(301)가 있는(인식되는) 지를 결정할 수 있다.

그리고 카메라 선택부(153)는 식별 마크(301)가 있는 하나 이상의 카메라(200)의 외부 영상에 대해서, 이 식별 마크(301)에 포함되는 이미지 패턴의 각 블록의 폭이나 높이와 같은 크기를 결정하여, 블록의 크기가 지정된 일정한 범위 내(3차원의 원근을 고려 - 즉 폭과 높이가 크기에 따라 카메라로부터의 거리를 결정할 수 있다.)인 외부 영상의 대응하는 카메라(200)를 선택할 수 있다.

또는 이에 더하여 혹은 별도로 식별 마크(301)가 있는 하나 이상의 카메라(200)의 외부 영상에 대해서, 이 식별 마크(301)에 포함되는 이미지 패턴 주위의 영역에서 피부색(손이나 얼굴의 피부색)과 같은 픽셀의 색상이 외부 영상에 있는 지에 기초하여 대응하는 카메라(200)를 선택할 수도 있다.

여기서, 이러한 카메라(200)의 선택 과정을 통해서, 마이크(300)의 위치는 보다더 정확히 결정될 수 있다. 각 카메라(200)의 현재의 촬상 영역은 노래방의 공간 영역 내에서의 일정한 영역(예를 들어 3차원의 영역)을 나타내는 것이고, 마이크(300)의 식별 마크(301)는 이 촬상 영역 내의 한 방향(즉 카메라(200)의 위치에 따라 X축과 Y축과 Z축의 조합으로된 방향)을 나타내고, 식별 마크(301)의 크기는 이 한 방향에서의 거리를 나타내므로, 이러한 정보를 활용하여 마이크(300)의 위치는 보다더 정확히 결정될 수 있다.

이와 같이 여러 기준의 조합으로 마이크(300)의 위치를 보다더 정확히 결정할 수 있도록 하고 또한 복수의 카메라 중에서 하나 이상의 카메라의 외부 영상을 선택할 수 있도록 한다.

물론 이러한 마이크(300) 위치의 정확한 결정 과정은 카메라 선택부(153)에서 이루어질 수도 있으나, 위치 추정부(151)에서 이루어질 수도 있다. 이러한 경우에 카메라 선택부(153)에서의 결정 과정은 생략될 수 있고, 위치 추정부(151)가 외부 영상을 수신하여 정확한 위치의 결정 과정을 진행할 수 있다.

그리고 이렇게 결정된 마이크(300)의 위치 정보(좌표 정보)는 무선 통신 인터페이스(113)를 통해 마이크(300)로 전송될 수 있다.

노래방에서는 마이크(300)가 복수개가 있을 수 있으므로, 각각의 마이크(300)에 대해서 위치가 결정되고 카메라(200)가 선택될 수 있도록 위치 추정부(151)와 카메라 선택부(153)가 구성될 수 있을 것이다.

한편 카메라 선택부(153)의 카메라 선택은 시간의 흐름에 따라 달라질 수 있다. 예를 들어 제 1 시점에서는 복수의 카메라(200) 중 하나인 제 1 카메라(200)가 가장 좋은 사용자 모습을 담고 있어서 선택(앞서 살펴본 여러 기준을 이용하여)될 수 있으나, 사용자의 움직임 또는 이동에 따라 제 1 시점 이후의 제 2 시점에서 다른 카메라(200)인 제 2 카메라(200)가 가장 좋은 모습을 담고 있어 선택될 수 있을 것이다.

카메라 제어부(155)는, 위치 추정부(151)에 의해 추정된 마이크(300)의 위치에 기초하여 연결된 복수의 카메라(200) 각각의 촬상 영역을 변경한다.

이를 위해 카메라 제어부(155)는 위치 추정부(151)로부터 또는(대안으로) 카메라 선택부(153)로부터 결정된 마이크(300)의 위치를 수신하고, 이 수신된 마이크(300)의 위치를 각 카메라(200)가 촬상 영역에 포함하도록 또는 촬상 영역에 포함되지 않는 경우에는 인접하도록 각 카메라(200)에 대해서 연결된 무선 또는 유선의 통신 인터페이스(111, 113)를 통해 각 카메라(200)의 모터를 제어하여 촬상 영역을 변경한다.

내부 영상 생성부(157)는, 사용자에 의해 선곡된 곡에 대응하는 동영상 파일을 디코딩하여 배경 영상과 같은 내부 영상을 생성한다. 이러한 내부 영상은 자막 영상을 더 포함할 수 있다.

영상 합성부(159)는, 카메라 선택부(153)에 의해서 선택된 카메라(200)의 대응하는 외부 영상을 내부 영상 생성부(157)에서 생성된 내부 영상에 합성한다.

여기서 외부 영상은 내부 영상의 지정된 영역에 지정된 크기로 합성된다. 이를 위해 영상 합성부(159)는, 외부 영상을 클립핑(clipping)하고 클립핑된 영역의 외부 영상이 지정된 영역에 합성된다. 이 클립핑은 예를 들어 외부 영상에서 사용자 모습(특히 사용자의 얼굴 부분을 포함하는)을 담고 있는 사용자 영역을 식별하여 이 사용자 영역을 추출함으로써 이루어질 수 있다.

이러한 클립핑은, 예를 들어 사람의 안면 인식(얼굴과 머리의 인식)을 통해서 이루어질 수 있다. 또는(대안으로) 배경 영역을 외부 영상에서 식별하여 사용자 영역을 추출할 수도 있다. 이러한 배경 영역은 각 카메라(200)에 대해서 각 촬상 영역에 대해 미리 노래방에 대해 촬영하여 기록되어 있는 배경 사진과의 비교로 결정될 수 있다. 혹은 크로마-키(chroma-key) 기법 등을 이용하여 이루어질 수도 있다.

이와 같이 클립핑되는 사용자의 영역은, 사용자 얼굴을 수용하는 타원형의 형태를 취하거나 정사각형 또는 직사각형의 형태를 취할 수 있다. 또는 사용자의 영역은 사용자의 얼굴과 몸통의 일부만을 포함하는 형태로 구성될 수도 있다.

앞서 살펴본 바와 같이, 제 1 시점에서는 제 1 카메라(200)가 선택될 수 있고 제 2 시점에서는 제 2 카메라(200)가 선택되어 질 수 있으므로, 영상 합성부(159)는, 제 1 카메라(200)가 선택이 취소되고 제 2 카메라(200)가 선택되어 지는 제 2 시점부터 지정된 일정한 시간 동안(예를 들어 10초 등)에, 제 1 카메라(200)의 외부 영상을 클립핑하고 또한 제 2 카메라(200)의 외부 영상을 클립핑하여 이 두 클립핑된 사용자 영역의 영역을 내부 영상의 지정된 영역에 오브랩(예를 들어 페이드인(fade-in), 페이드아웃(fade-out))되도록 구성할 수 있다.

이에 따라 영상 합성부(159)는, 지정된 일정한 시간 동안, 제 1 카메라(200)의 클립핑된 사용자 영역의 영상을 이 시간이 경과함에 따라 반비례하는 비율로 오브랩하고 반면에 제 2 카메라(200)의 클립핑된 사용자 영역의 영상을 비례하는 비율로 오브랩하여, 자연스러운 카메라 영상의 화면 전환이 이루어지도록 할 수 있다.

영상 출력부(161)는, 영상 합성부(159)에서 합성된 영상을 외부 디스플레이(400)로 비디오 출력 인터페이스(117)를 통해 출력한다.

음악 신호 생성부(163)는, 선곡된 곡에 대응하는 미디 파일이나 음악 파일을 디코딩하여 디지털 또는 아날로그의 음악 신호를 생성한다.

음성 수신부(165)는, 마이크(300)를 통해 음성 신호를 수신하고 이 음성 신호를 이후 오디오 합성부(167)의 입력 포맷에 따라 변환한다. 이러한 입력 포맷의 변환은 아날로그 음악 신호로부터 디지털의 음악 신호로의 변환을 포함한다.

오디오 합성부(167)는, 음악 신호 생성부(163)로부터 생성된 음악 신호와 음성 수신부(165)로부터 수신된 음성 신호를 합성하여 합성된 오디오 신호를 출력한다.

오디오 출력부(171)는, 오디오 합성부(167)에서 합성된 오디오 신호를 외부의 스피커 등을 통해 출력한다.

녹화부(169)는, 사용자의 녹화 요청에 따라, 영상 합성부(159)에서 합성된 영상과 오디오 합성부(167)에서 합성된 오디오 신호를 지정된 포맷에 따라 인코딩하여 녹화 파일의 형태로 하드 디스크(109) 등에 저장한다.

이러한 지정된 포맷은 동영상과 오디오를 함께 포맷팅할 수 있는 압축 포맷일 수 있다.

이렇게 저장된 녹화 파일 등은 사용자 등에게 제공될 수 있다. 예를 들어 무선 통신 인터페이스(113)를 통해 사용자가 휴대하고 있는 스마트폰 등에 녹화 파일을 전송하거나 혹은 사용자가 미리 알고 있고 사용자로 등록된 특정 서버로 이 녹화 파일을 전송할 수도 있다.

이와 같은 도 4의 기능 블록도를 통해, 사용자의 노래를 부르는 모습을 노래 반주 장치(100)의 내부 영상에 합성할 수 있도록 하고, 사용자를 가장 잘 표현할 수 있는 있는 영상이 선택될 수 있도록 하고 사용자의 이동이나 움직임을 트랙킹하여 사용자의 영상이 표현되고 녹화될 수 있도록 한다.

이상에서 설명한 본 발명은, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 있어 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 여러 가지 치환, 변형 및 변경이 가능하므로 전술한 실시 예 및 첨부된 도면에 의해 한정되는 것이 아니다.

100 : 노래 반주 장치
101 : 외부 영상 수신 포트 103 : 외부 영상 처리 프로세서
105 : 휘발성 메모리 107 : 비휘발성 메모리
109 : 하드 디스크 111 : 유선 통신 인터페이스
113 : 무선 통신 인터페이스 115 : 오디오 출력 인터페이스
117 : 비디오 출력 인터페이스 119 : 제어 프로세서
121 : 시스템 버스/제어 버스
151 : 위치 추정부 153 : 카메라 선택부
155 : 카메라 제어부 157 : 내부 영상 생성부
159 : 영상 합성부 161 : 영상 출력부
163 : 음악 신호 생성부 165 : 음성 수신부
167 : 오디오 합성부 169 : 녹화부
171 : 오디오 출력부
200 : 카메라
300 : 마이크
301 : 식별 마크 303 : 동작 감지 센서
305 : 프로그램 메모리 307 : 무선 신호 발신기
309 : 마이크 제어 프로세서
400 : 디스플레이

Claims (7)

1. 동적으로 외부 영상을 내부 영상에 합성하기 위한 노래 반주 장치로서,
   마이크의 움직임에 따른 상기 마이크의 위치를 추정할 수 있도록 하는 제어 데이터를 수신하여 수신된 제어 데이터로부터 상기 마이크의 위치를 추정하는 위치 추정부;
   상기 위치 추정부에 의해 추정된 마이크의 위치에 기초하여, 복수의 카메라 각각의 촬상 영역을 상기 마이크의 위치를 포함하도록 또는 상기 마이크의 위치에 인접하도록 변경하는 카메라 제어부;
   상기 노래 반주 장치에서 선곡된 곡에 대응하는 음악 신호와 상기 마이크로부터 수신된 음성 신호가 합성된 오디오 신호를 출력하는 오디오 출력부;
   상기 위치 추정부에 의해 추정된 마이크의 위치에 기초하여 지정된 기준에 따라 상기 복수의 카메라 중 하나 이상의 카메라의 외부 영상을 선택하는 카메라 선택부; 및
   선택된 외부 영상을 노래 반주 장치에 의해서 상기 선곡된 곡에 대응하여 생성된 내부 영상에 합성하는 영상 합성부;를 포함하는,
   노래 반주 장치.
2. 제1항에 있어서,
   상기 제어 데이터는, 마이크로부터 주기적으로 발신된 무선 신호의 신호 세기 정보를 포함하거나 마이크에서 주기적으로 생성된 3차원의 좌표 정보를 포함하는,
   노래 반주 장치.
3. 제1항에 있어서,
   상기 지정된 기준은, 복수의 카메라 각각과 결정된 마이크의 위치 사이의 거리, 각 카메라로부터의 외부 영상에서의 마이크의 식별 마크 인식 여부, 및 각 카메라로부터의 외부 영상에서 결정된 마이크의 위치에 인접하는 영역에서 픽셀의 값 중 복수의 조합으로 구성되며,
   상기 카메라 선택부는, 상기 지정된 기준에 따라 상기 복수의 카메라 중 하나의 카메라의 외부 영상을 상기 마이크에 대해 선택하는,
   노래 반주 장치.
4. 제1항에 있어서,
   상기 카메라 선택부는, 추정된 마이크의 위치를 지정된 촬상 영역에서 캡쳐링된 하나 이상의 카메라로부터의 외부 영상에서 인식된 마이크의 식별 마크의 크기 또는 위치에 기초하여 조정하여 마이크의 위치를 더 결정하는,
   노래 반주 장치.
5. 제1항에 있어서,
   상기 카메라 선택부는, 제 1 시점에 복수의 카메라 중 제 1 카메라를 선택하고 상기 제 1 시점에 후속하는 제 2 시점에 복수의 카메라 중 제 2 카메라를 선택하며,
   상기 영상 합성부는, 제 1 시점 이후로 선택된 상기 제 1 카메라의 외부 영상에서 사용자 영역을 식별하고, 제 2 시점 이후로 선택된 상기 제 2 카메라의 외부 영상에서 사용자 영역을 식별하여, 식별된 사용자 영역을 상기 내부 영상의 지정된 위치 영역에 합성하며,
   상기 영상 합성부는, 제 2 시점 이후 지정된 시간 동안, 상기 제 1 카메라의 외부 영상의 영역을 상기 지정된 위치 영역에 시간의 경과에 반비례하는 비율로 합성하는,
   노래 반주 장치.
6. 동적으로 외부 영상을 내부 영상에 합성하기 위한 노래 반주 시스템으로서,
   노래 반주 장치에 연결되어 상기 노래 반주 장치의 제어하에 촬상 영역을 변경하는 복수의 카메라;
   상기 노래 반주 장치가 마이크의 위치를 결정할 수 있도록 하는 무선 신호를 송출하는 마이크; 및
   제1항에 따른 노래 반주 장치;를 포함하며,
   상기 노래 반주 장치는, 상기 무선 신호로부터 결정된 제어 데이터에 기초하여 상기 마이크의 위치를 결정하고 결정된 마이크의 위치를 포함하는 촬상 영역으로 변경하도록, 복수의 카메라 중 하나 이상의 카메라를 제어하는,
   노래 반주 시스템.
7. 제6항에 있어서,
   상기 제어 데이터는, 마이크로부터 주기적으로 발신된 무선 신호의 신호 세기 정보를 포함하며,
   상기 노래 반주 장치는, 복수의 카메라 각각으로부터 상기 신호 세기 정보를 수신하여 각 카메라에서 수신된 신호 세기에 따라서 마이크에 대한 3차원의 위치를 결정하는,
   노래 반주 시스템.
   

Images