KR101808452B1 - 하이브리드 ｖｒ 노래방 시스템 - Google Patents

Abstract

본 발명은 하이브리드 노래방 서비스 방법에 관한 것이다.
본 발명에 따르면 노래방에서 노래방 디스플레이를 통해서 재생되는 노래방 영상, HMD 스크린을 통해서 재생되는 미리 제작된 VR 노래방 콘텐츠, 노래방 바닥에 설치된 AR 마커의 인식을 통한 AR 노래방 콘텐츠가 하이브리드 방식으로 제공된다. 본 발명에서는 또한 노래부르는 사용자가 노래를 드는 사용자가 다함께 즐길 수 있는 방법론을 제공하기도 한다. 본 발명에서 사용자는 VR 콘텐츠의 일부가 되지는 않는다. 본 발명의 서비스 방법은 사용자를 가상현실의 일부 구성으로 오브젝트화하지 않고, 가상현실을 바라보는 관점만을 필수 구성으로 삼는다.

Description

하이브리드 ＶＲ 노래방 시스템{HYBRID VR KARAOKE SYSTEM}

본 발명은 노래방 시스템에 관하여, 더욱 자세하게는 VR(Virtual Reality) 기술을 이용한 노래방 시스템에 관한다.

VR 노래방 시스템에 관한 일반적인 사항에 대해서는 대한민국 공개특허 제2008-0106676호가 개시하고 있다. 이 특허문헌에서는 노래방 서버와 이 노래방 서버에 연결되는 노래방 클라이언트의 관계를 설명하면서, 노래방 서버를 VR 노래방 서로 구현하되, VR 노래방 서비스 시스템에서는 동작인식 카메라와 얼굴 인식 서버, 그리고 벽걸이 TV를 추가적으로 구성해서 노래하는 동안 사용자가 선택한 가상 캐릭터가 나오는 가상 무대를 대형 프로젝트 스크린에 출력하며, 벽걸이 TV에는 동영상 카메라로 촬영된 노래하는 사용자의 모습을 출력하는 시스템을 특징적으로 개시하였다.

일반적으로 노래방에는 마이크와 연결되는 노래방기기가 있고 디스플레이 기기가 있다. 사용자들은 노래방 기기를 이용해서 곡을 선별한다. 그러면 디스플레이 기기의 화면을 통해서 저장되어 있는 영상과 가사가 재생되고, 영상과 동기화된 반주 음악을 따라 사용자가 노래를 부르게 된다. 이처럼 간단한 시스템에서 상기 특허문헌을 구현하려면 모든 노래방 시스템을 전면적으로 재구성해야 한다. 경제성을 고려하지 않은 채 모든 기술 솔루션을 사용할 수 있다고 가정한다면 무엇을 못하겠는가 요컨대 상기 특허문헌의 기술특징은 산업상 이용 가능성이 현저히 낮다. 산업주체의 자원은 제한되어 있어서 상상하는 것이 현실이 되지는 못한다. 특히 상기 특허문헌에 기재된 기술은 노래를 부르는 사람의 얼굴을 인식해서 그/그녀의 모습이 가상의 화면에 출력되는 기술을 구현하겠다고 했기 때문에, 그 발명이 해결하려는 과제를 현실적으로 달성하기 힘들게 만들고 말았다.

본 발명의 발명자는 이러한 문제를 해결하기 위해서 오랫동안 연구하고 노력한 끝에 본 발명을 완성하기에 이르렀다. 모든 문제점은 종래기술이 노래를 부르는 주체가 가상현실에 등장해야 함을 전제로 했기 때문이다. 본 발명은 그런 전제를 버린다.

.

본 발명은 노래를 부르는 사용자가, VR 콘텐츠의 한 부분이 되는, 즉 가상현실의 주체로 등장하는 전제를 버리는 대신에, 가상현실을 바라보는 관점만을 택했다. 즉 사용자는 관점만 있지 가상현실의 주체가 아니다. 가상현실의 무대를 바라보는 관점, 가상현실의 관중을 바라보는 관점, 가상현실의 미리 제작된 다양한 오브젝트를 바라보는 관점만이 고려된다. 따라서 종래기술처럼 노래를 부르는 사용자를 콘텐츠로서 인식하기 위한 일체의 수단은 불필요해진다.

본 발명의 목적은 가상현실 콘텐츠가 구현된 새로운 노래방 서비스를 제공함에 있다.

본 발명의 다른 목적은 가상현실 콘텐츠를 제공함에 더해서 증강현실을 체험할 수 있는 방법도 추가적으로 제공함에 있다.

본 발명의 또 다른 목적은 노래를 부르는 사람만 만족하지 않고 노래방에 있는 다른 사람과도 공감할 수 있는 방법을 제공함에 있다.

한편, 본 발명의 명시되지 않은 또 다른 목적들은 하기의 상세한 설명 및 그 효과로부터 용이하게 추론할 수 있는 범위 내에서 추가적으로 고려될 것이다.

.

위와 같은 목적을 달성하기 위해서 본 발명은 하이브리드 노래방 서비스 방법에 있어서,

리모컨이 노래방 디스플레이 화면에서 노래 선곡을 하며 VR 모드를 추가 선택하는 단계;

노래방 디바이스가 수신된 선곡 신호에 따라 선곡된 노래에 대한 노래방 영상을 노래방 디스플레이로, 음향을 스피커로 출력되도록 호출하되, 선곡된 노래에 대해서 미리 제작된 VR 콘텐츠를 호출하여 무선망을 통해서 헤드 마운티드 디스플레이로 전송하는 단계; 및

헤드 마운티드 디스플레이가 상기 노래방 디바이스를 통해서 실시간으로 수신되는 VR 콘텐츠를 헤드 마운티드 디스플레이의 스크린으로 출력하는 단계;를 포함하고,

(1) 상기 노래방 디바이스와 헤드 마운티드 디스플레이 상호 간에 송수신되는 상기 VR 콘텐츠는 영상 콘텐트 위에 별도로 제작된 가사 콘텐트가 동기화되어 오버레이 되는 영상으로 구성되며,

(2) 상기 노래방 디바이스는 상기 노래방 영상 및 상기 VR 콘텐츠와 스피커로 출력되는 음향을 동기화하며,

(3) 상기 헤드 마운티드 디스플레이의 스크린을 통해서 상기 VR 콘텐츠가 재생되는 동안, 상기 노래방 디스플레이를 통해서 선곡된 영상의 노래방 콘텐츠도 재생하는 것을 특징으로 한다.

본 발명의 바람직한 어느 실시예에 따른 하이브리드 노래방 서비스 방법에 있어서, 상기 VR 콘텐츠는 헤드 마운티드 디스플레이의 스크린의 일부 영역에서만 출력되도록 하고, 스크린의 나머지 영역에서는 헤드 마운티드 디스플레이의 카메라 모듈이 실시간으로 촬영하는 영상을 출력되도록 하는 것이 좋다.

또한, 본 발명의 바람직한 다른 실시예에 따른 하이브리드 노래방 서비스 방법에 있어서, 노래방 바닥에 AR 마커를 설치하고,

선곡된 노래에 대한 미리 제작된 AR 콘텐츠가 있는 경우, 상기 헤드 마운티드 디스플레이의 카메라 모듈이 상기 AR 마커를 인식하여, 상기 AR 콘텐츠를 스크린으로 출력되도록 하는 것이 좋다.

.

본 발명에 따르면 노래방에서 가상현실이나 증강현실을 체험하며 노래를 부를 수 있는 장점이 있다. 또한 가상현실 체험을 노래방에서 함에 있어서 노래를 부르는 사용자가 가상현실의 주체로 참여하는 것이 아니라 관점만으로 구성되어 있기 때문에 매우 경제적으로 시스템 구성을 하는 것이 가능하다.

또한 본 발명의 바람직한 실시예에서는 노래를 부르는 사용자가 가상현실을 즐기면서도 동시에 관람하는 다른 사용자와 공감할 수 있다는 장점이 있다.

한편, 여기에서 명시적으로 언급되지 않은 효과라 하더라도, 본 발명의 기술적 특징에 의해 기대되는 이하의 명세서에서 기재된 효과 및 그 잠정적인 효과는 본 발명의 명세서에 기재된 것과 같이 취급됨을 첨언한다.

.

도 1은 본 발명의 바람직한 일 실시예에 따른 전체 시스템 구성 예를 나타내는 도면이다.
도 2는 본 발명의 HMD(200)의 내부 전자적 구성을 예시하는 도면이다.
도 3은 본 발명의 실시예에 따른 하이브리드 노래방의 여러 개념을 개략적으로 나타내었다.
도 4는 본 발명의 바람직한 일 실시예에 따라 하이브리드 노래방 서비스 방법의 프로세스를 전체적으로 나타내는 도면이다.
※ 첨부된 도면은 본 발명의 기술사상에 대한 이해를 위하여 참조로서 예시된 것임을 밝히며, 그것에 의해 본 발명의 권리범위가 제한되지는 아니한다.
.

본 발명을 설명함에 있어서 관련된 공지기능에 대하여 이 분야의 기술자에게 자명한 사항으로서 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략한다.

도 1은 본 발명의 방법을 구현하는 어느 실시예에 따른 개략적인 네트워크 시스템 구성을 나타내었다. 노래방에는 노래방 시스템(100)이 구축되어 있다. 그리고 이 노래방 시스템(100)이 외부의 노래방 서비스 서버(10)와 통신망을 통해서 데이터 통신한다. 바람직하게는 VR 콘텐츠의 안정적인 전송을 위해서 대용량 콘텐츠 전송의 QoS가 보장되는 전용회선을 사용하는 것이 좋다.

N(N은 1보다 큰 정수)개의 노래방 시스템(100)이 노래방 서비스 서버(10)와 실시간으로 데이터 통신하게 되며, 1개의 노래방 계정에서 M(M은 1보다 큰 정수)개의 노래방 시스템(100)이 구축되어 상기 노래방 서비스 서버(10)와 통신하게 되며, 노래방 서비스 서버(10)는 노래방 플랫폼을 관리하게 되지만, 설명의 편의를 위해서 본 발명에서는 임의의 한 개의 노래방 시스템(100)에 대해서 설명한다.

노래방 서비스 서버(10)는 멀티미디어 콘텐츠를 저장하고 관리하며, 각 노래방 시스템(100)과 통신하면서 멀티미디어 콘텐츠를 실시간으로 전송하는 역할을 한다. 통신망을 통해서 멀티미디어 콘텐츠를 대규모로 전송하고 수많은 노래방 시스템(100)에서 이루어지는 다양한 이벤트를 실시간으로 처리해야 하기 때문에 보통 복수의 서버군으로 이루어질 수 있다.

또한 노래방 서비스 서버(10)는 노래방 서비스를 제공하는 데 필요한 다양한 서버 기능, 예컨대 다양한 데이터 통신, 동영상 스트리밍, 보안, 저작권 관리, 조회, 인증, 기록, 결제, 매니지먼트, 데이터베이스 기능 등이 서버(10)에 포함될 것이다.

또한 서버 운영에 필요한 데이터베이스가 구축될 수 있다. 특히 본 발명에서는 노래방 콘텐츠를 저장하는 데이터베이스(11)와 VR 콘텐츠를 저장하는 데이터베이스(13)와 AR 콘텐츠를 저장하는 데이터베이스(15)가 포함될 수 있다. 데이터베이스(11)에 저장되는 노래방 콘텐츠는 흔히 노래방 디스플레이(130)에서 재생되는 노래방 영상과 사운드를 지칭하므로 공지의 영역이다. 홀로그램 서비스를 제공하기 위한 AR 콘텐츠를 저장하는 데이터베이스(15)는 본 발명의 바람직한 어느 실시예에 따른 하이브리드 노래방에서 사용된다. 데이터베이스(11, 13)는 필수적이다.

본 발명의 VR 콘텐츠 데이터베이스(13)에 미리 저장되는 VR 콘텐츠는 바람직하게는 VR 영상과 가사 자막 파일로 구별되며, 그러므로 VR 콘텐츠 데이터베이스(13)는 VR 영상을 저장하는 데이터베이스와 가사 자막 파일을 저장하는 데이터베이스로 구별되어 통합 관리될 수 있다. VR 영상은 CG로 미리 제작될 수 있으며, 실제 방송/콘서트장에서 무대 부분과 관객부분으로 나눠 촬영하여 합성되는 실사 VR 영상으로 제작될 수도 있다.

그 밖에 노래방 사용자(사업자) 계정, DRM 관리, 로그, 과금 등에 관한 데이터베이스가 더 포함될 수 있다. 하나의 서버가 모든 데이터베이스를 관리할 수도 있겠지만, 여러 서버가 API를 통해서 네트워크 내에 상이한 위치에 있는 데이터베이스에 접근하도록 플랫폼 설계를 할 수 있다.

노래방 시스템(100)은 노래방 디바이스(110)와 스피커(120)와 노래방 디스플레이(130)를 포함한다(마이크 미도시).

노래방 디바이스(110)는 상기 외부 서버와 전용회선을 통해서 통신하는 통신 모듈과 헤드 마운티드 디스플레이(Head Mounted Display: HMD)(200)와 근거리 무선 통신할 수 있는 통신 모듈을 포함한다. 근거리 무선통신 모듈은 바람직하게는 GiGA Wifi를 통해서 VR 콘텐츠를 HMD(200)로 전송하도록 하는 것이 좋다. 또한, 도시하지 않았지만, 노래방 서비스를 제공하기 위해 필요한 제어부와 전원부와 메모리를 포함함은 물론이다. 특히 제어부는 노래방 서비스 서버(10)와의 통신 관계에서는 클라이언트로 기능하며, HMD(200)와의 통신 관계에서는 서버로 기능하고, 사운드와 VR 콘텐츠의 싱크를 조정한다.

스피커(120)는 10.2Ch 사운드를 출력하는 것이 좋다. 디스플레이(130)를 통해서 노래방 콘텐츠 데이터베이스(11)에 저장되어 있는 노래방 영상이 출력된다. 도 1에는 도시되지 않았으나, 사용자가 노래를 부르기 위한 마이크가 추가됨은 물론이다.

노래를 부르면서 VR 콘텐츠를 보기 위해서 사용자는 HMD(200)를 착용한다. HMD(200)는 VR 플레이어가 설치되어 있다. 실시예에 따라서는 AR 플레이어도 더 포함한다.

도 2는 본 발명의 바람직한 어느 실시예에 따른 HMD(200)의 내부 전자적 구성을 개략적으로 나타낸다. 프로세서(210), 메모리(220), 카메라 모듈(230), 무선통신 모듈(250), 스크린(240)을 포함한다. 필수적이거나 선택적인 구성들, 예컨대 입력장치, 커넥터, 스피커, 센서, 전원부 등의 구성은 생략되었다. 또한 HMD(200)의 외부적인 요소, 렌즈와 렌즈 메커니즘, 하드웨어 액세서리 등은 공지된 것을 이용할 수 있다.

메모리(220)에는 디바이스에서 사용되는 컴퓨터 코드 및 데이터를 저장하는 장소를 제공한다. 예를 들어 메모리(220)는 기본적인 입출력 시스템, 운영 체제, 다양한 프로그램들, 애플리케이션들, 또는 디바이스에서 실행되는 사용자 인터페이스 기능들, 프로세서 기능들 등을 필수적으로 혹은 선택적으로 포함하는 임의의 다른 루틴들과 같은 디바이스용 펌웨어를 저장할 수 있다.

특히 본 발명에 있어서, 메모리(220)에는 클라이언트 애플리케이션(225)과 플레이어들이 저장되어 있다. 상기 애플리케이션(225)을 구성하는 명령어들은 프로세서(210)에 의해서 실행될 때 애플리케이션(225)이 정한 동작을 프로세서로 하여금 수행케 한다. 상기 플레이어들에 있어서, 상기 클라이언트 애플리케이션(225)과 통신하여 콘텐츠를 스크린(240)을 통해서 재생하는 VR 플레이어를 포함한다. 추가적인 실시예에서는 AR 플레이어를 포함할 수 있다.

카메라 모듈(230)은 HMD(200) 전방의 영상을 촬영하며, 상기 무선통신 모듈(250)은 바람직하게는 GiGA Wifi를 통해서 상기 노래방 디바이스(110)와 무선통신한다.

프로세서(210)는 애플리케이션(225)과 함께 컴퓨터 코드를 실행하고 데이터를 생성 및 사용하는 동작을 실행한다. 또한 프로세서(210)는 일련의 명령어를 사용하여 디바이스의 컴포넌트들 간의 입력 및 출력 데이터의 수신 및 처리를 할 수 있다. 또한, 이러한 프로세서(210)는 노래방 디바이스와 통신하여 VR 콘텐츠를 수신하여 VR 플레이어를 통해 스크린(240)의 일부 영역 또는 전체 영역을 통해서 재생하는 동작, 카메라 모듈(230)에서 촬영한 영상을 스크린(240)의 일부 영역을 통해서 출력하는 동작, 카메라 모듈(230)이 노래방의 AR 마커를 인식하면 AR 콘텐츠를 수신하여 AR 플레이어를 통해 출력하는 동작 등의 명령을 처리한다.

이러한 HMD(200) 장치는 내부 전자적 구성이 완성품으로 구성된 전자장치여도 좋고, 스마트폰 등의 디바이스를 장착하여 사용하는 장치여도 좋다.

.

이제 본 발명의 시스템과 디바이스 구성은 당업자에게 명확하게 밝혀졌다. 이제부터 본 발명의 하이브리드 노래방의 여러 실시예를 개시한다.

도 3은 본 발명에서 사용되는 하이브리드 노래방의 세 가지 실시예를 제안한다. 즉 본 발명의 <하이브리드 노래방>은 세 가지 개념의 하이브리드를 포함한다.

제 1 하이브리드 노래방은 도 3(a)가 나타낸다. 노래방 디스플레이(130)에서는 노래방 영상이 재생된다. 그리고 사용자의 HMD(200)를 통해서는 상기 노래방 영상의 곡에 대해서 미리 제작된 VR 콘텐츠가 재생된다. 이 하이브리드 노래방은 예를 들면 3인의 사용자, 즉 리, 로버트, 김이 있다고 가정하자. 리가 리모컨으로 노래방 디바이스를 통해서 어떤 곡을 선정했다. 그리고 선정된 곡에 대해서 VR 모드를 선택했다. 그러면 로버트와 김은 노래방 디스플레이(130)를 통해서 재생되는 노래방 영상을 감상하며 노래하기에 참여한다. 동시에 리는 HMD(200)를 통해서 재생되는 VR 콘텐츠를 감상하며 노래하기에 참여한다. 리는 마이크를 들고 노래할 것이다. 일반 노래방 영상과 VR 영상의 하이브리드 노래방이다.

제 1 하이브리드 노래방 시나리오에서 리는 HMD(200)를 통해서 VR 영상을 보고 있다. 이 경우 <노래방에서 사용자가 함께 즐긴다는 관점에서> 문제가 발생할 수 있다. HMD(200) 착용자 리는 VR 콘텐츠를 보느라 로버트와 김을 볼 수 없다. 즉 2인 이상이 노래방에서 노래를 부를 때 HMD(200)의 착용으로 말미암아 오히려 노래방 현장감이 떨어질 수 있다. 제 2 하이브리드 노래방은 노래를 부르는 사용자와 앉아 있는 다른 사용자와 소통할 수 있는 방법을 제시한다.

이 실시예에서 HMD(200)의 스크린을 제 1 영역과 제 2 영역으로 구별해서, 제 1 영역(245)은 VR 콘텐츠가 플레이되는 영역으로 구성하고 제 2 영역(247, 249)은 HMD의 카메라 모듈을 통해서 실시간으로 입수되는 영역으로 구성한다. 도 3(b)와 같다. 그러면 노래를 부르는 리는 제 1 영역(245)을 통해서 VR 영상을 볼 수 있고, 동시에 제 2 영역(247, 249)을 통해서 다른 사용자 로버트와 김을 볼 수 있다. 그렇게 함으로써 노래방 현장감을 증진할 수 있다.

더욱 바람직하게는 제 1 영역의 VR 영상과 제 2 영역의 다른 사용자의 영상을 자연스럽게 영상으로 결합되도록 하는 것이 좋다. VR 영상을 제작할 때 노래를 부르는 무대와 관객석으로 구별해서 실사 영상을 제작할 수 있다. 이때 노래를 부르는 무대 부분을 VR 영상 영역으로 설정하고, 반대편을 관객석으로 설정한다. 그리고 관객석으로 설정된 영역에 HMD 카메라 모듈에서 촬영되는 영상을 출력해줌으로써 노래를 부르는 사용자와 앉아 있는 사용자의 소통을 보장할 수 있다. 이런 실시예에서 바람직하게는 HMD의 지향점을 인지하기 위해서 프로세서가 센서의 감지 데이터를 수신하여 처리하는 것이 요청된다. 사용자는 노래부르면서 움직이기 때문이다.

제 3 하이브리드 노래방은 도 3에 제시되어 있는 것처럼, VR 노래방과 AR 노래방의 결합을 시도한 것이다. 본 실시예에서는 노래방 실내 바닥에 증강현실을 구현하는 기준 좌표판(AR Marker)이 설치되어 있다. HMD은 카메라 모듈을 통해서 상기 AR 마커를 인식해서, AR 플레이어(2253)을 통해서 미리 제작되어 있는 AR 콘텐츠를 스크린으로 출력한다. 그러면 예컨대 선택된 곡의 가수가 홀로그램으로 구현되어 사용자는 마치 가수와 함께 노래하는 경험을 할 수 있다.

도 3(c)에 도시되어 있는 플레이어의 layer 구조에 대해서 추가적으로 설명한다.

바람직하게는 VR 플레이어(2251)를 두 개의 레이어로 구성하고, 레이어 1에는 VR 영상이 재생되도록 하고, 레이어 2에는 가사 자막 파일을 표시하도록 하는 것이 좋다. 이렇게 함으로써 사용자가 움직여도 HMD의 VR 플레이어(2251)의 일정한 위치에 자막이 계속 위치할 수 있다. VR 영상과 자막 smi 파일은 각각 별도로 제작되며 노래방 기기에 설치된 VR PaaS(Platform as a Serve)를 통해서 HMD에 제공된다. 그리고 레이어 2의 가사 자막 파일을 레이어 1의 Time Code값과 동기화하여 오버레이(Overlay)하여 구성한다.

본 발명의 바람직한 다른 실시예에서는 VR Pass에서 VR 영상과 가사자막을 합성하여 합성/스티칭(stitching)된 영상을 HMD로 전송해서 VR 플레이어(2251)로 출력하도록 구성할 수 있다. 이런 구성에서는 사용자는 특정 방향을 바라볼 때에만 해당 음악의 가사가 보이게 된다.

위와 같은 VR 플레이어(2251)의 VR 영상과 가사자막 파일의 결합 구성들은 도 3(a) 및 도 3(b)의 실시예에서도 마찬가지로 적용된다.

AR 플레이어(2253)도 두 개의 레이어로 구성될 수 있다. 레이어 1은 캠 레이어이다. HMD의 카메라 모듈을 통해 입수되는 영상을 이 레이어에 표시한다. 레이어 2는 홀로그램 영역이다. VR PaaS에서 전송되는 AR 영상이 특정한 위치값에 노출되도록 구성한다. 이로써 선택 곡의 가수가 홀로그램으로 구현되어 가수와 함께 노래하는 경험을 누릴 수 있다.

제 3 하이브리드 노래방은 AR 플레이어와 VR 플레이어가 동시에 실행되도록 하는 구성보다는, 사용자가 노래방 디바이스에서 <VR 모드> 또는 <AR 모드>를 선택하도록 하는 구성이 더 바람직하다. 물론 VR 콘텐츠 또는 AR 콘텐츠가 미리 제작돼서 HMD에 제공될 수 있어야 한다. 제 3 하이브리드 노래방에서 노래방 디스플레이를 통해서 도 3(a)처럼 노래방 영상이 재생될 수 있고, 그렇다면 그것은 제 1 및 제 3 하이브리드 노래방 서비스의 융합 구성이라 하겠다.

.

도 4는 본 발명에 따른 하이브리드 노래방 서비스 방법의 개략적인 프로세스를 나타낸다. 도면에서는 주로 제 1 하이브리드 노래방의 구성에 기초해서 나타냈으나, 기본 구조는 위에서 설명한 나머지 하이브리드 개념에서도 마찬가지다.

먼저, 리모컨이 노래방 디스플레이 화면에서 노래 선곡을 한다(S100). 바람직하게는 <VR 모드> 또는 <AR 모드>를 추가 선택한다.

S100 단계에 따라 노래 선곡이 이루어지면 노래방 디바이스는 수신된 선곡 신호에 따라 하이브리드 노래방 서비스 준비 단계에 돌입한다(S110). 이 S110 단계에서 노래방 디바이스는 통신모듈을 이용해서 콘텐츠를 저장하고 있는 외부 서버와 실시간으로 통신하여 콘텐츠를 제공받는다. 그래서 선곡된 노래에 대한 노래방 영상을 노래방 디스플레이로, 음향을 스피커로 출력되도록 호출한다. VR 모드가 선택되었다면 미리 제작된 VR 콘텐츠를 호출하여 Wifi망을 통해서 HMD로 실시간 전송한다.

상기 S100 단계에서 AR 모드가 선택되었다면 이번에는 미리 제작된 AR 콘텐츠를 호출하여 HMD로 실시간 전송한다.

다음으로 HMD가 노래방 디바이스에서 기가 와이파이망으로 전송되는 VR 콘텐츠를 수신하여 VR 플레이어를 통해서 스크린으로 출력한다(S120). 이때 동시에 노래방 디스플레이를 통해서 노래방 영상이 재생된다. 그리고 노래방 영상과 VR 콘텐츠와 스피커로 출력되는 음향은 서로 동기화된다. AR 모드가 선택되었다면 HMD의 카메라 모듈이 AR 마커를 인식하는 절차가 상기 S110 단계 이전에 실행되는 것이 좋다.

참고로, 본 발명의 일 실시예에 따른 하이브리드 노래방 서비스 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독가능매체에 기록될 수 있다. 상기 컴퓨터 판독가능매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용가능한 것일 수도 있다. 컴퓨터 판독가능매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM, DVD와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체, 및 ROM, RAM, 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함될 수 있다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급언어코드를 포함한다. 상술한 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.

한편 본 명세서에서는 서버(10)를 통해서 콘텐츠가 노래방 디바이스(110)으로 실시간으로 전송되는 구성을 위주로 설명했으나 노래방 디바이스(110)가 저장매체에 콘텐츠를 미리 다운로드 받아서 노래 선곡 시에 HMD(200)로 전송하는 것도 본 발명의 보호범위에 포함됨을 첨언한다.

본 발명의 보호범위가 이상에서 명시적으로 설명한 실시예의 기재와 표현에 제한되는 것은 아니다. 또한, 본 발명이 속하는 기술분야에서 자명한 변경이나 치환으로 말미암아 본 발명이 보호범위가 제한될 수도 없음을 다시 한 번 첨언한다.

Claims (3)

1. 리모컨을 통해 노래방 디스플레이 화면에서 노래 선곡을 입력 받으며 VR 모드 추가 선택을 입력 받는 단계;
   노래방 디바이스가 수신된 선곡 신호에 따라 선곡된 노래에 대한 노래방 영상을 노래방 디스플레이로, 음향을 스피커로 출력되도록 호출하되, 선곡된 노래에 대해서 미리 제작된 VR 콘텐츠를 호출하여 무선망을 통해서 헤드 마운티드 디스플레이로 전송하는 단계; 및
   헤드 마운티드 디스플레이가 상기 노래방 디바이스를 통해서 실시간으로 수신되는 VR 콘텐츠를 헤드 마운티드 디스플레이의 스크린으로 출력하는 단계;를 포함하고,
   상기 VR 콘텐츠는 헤드 마운티드 디스플레이에 의해 인식되는 스크린의 일부 영역에서만 출력되도록 하고, 스크린의 나머지 영역에서는 헤드 마운티드 디스플레이의 카메라 모듈이 실시간으로 촬영하는 영상이 출력되도록 하고,
   (1) 상기 노래방 디바이스와 헤드 마운티드 디스플레이 상호 간에 송수신되는 상기 VR 콘텐츠는 사용자가 무대 또는 관중을 바라보는 관점의 영상 콘텐트 위에 별도로 제작된 가사 콘텐트가 동기화되어 오버레이 되는 영상으로 구성되며,
   (2) 상기 노래방 디바이스는 상기 노래방 영상 및 상기 VR 콘텐츠와 스피커로 출력되는 음향을 동기화하며,
   (3) 상기 헤드 마운티드 디스플레이의 스크린을 통해서 상기 VR 콘텐츠가 재생되는 동안, 상기 노래방 디스플레이를 통해서 선곡된 영상의 노래방 콘텐츠도 재생하는 것을 특징으로 하는, 하이브리드 노래방 서비스 방법.
   
2. 삭제
3. 제1항에 있어서,
   노래방 바닥에 AR 마커를 설치하고,
   선곡된 노래에 대한 미리 제작된 AR 콘텐츠가 있는 경우, 상기 헤드 마운티드 디스플레이의 카메라 모듈이 상기 AR 마커를 인식하여, 상기 AR 콘텐츠를 스크린으로 출력되도록 하는, 하이브리드 노래방 서비스 방법.

Images