KR20200041839A - 방송 시청을 위한 가상 현실 사용자 인터페이스 제공 방법 및 장치 - Google Patents
방송 시청을 위한 가상 현실 사용자 인터페이스 제공 방법 및 장치 Download PDFInfo
- Publication number
- KR20200041839A KR20200041839A KR1020200022185A KR20200022185A KR20200041839A KR 20200041839 A KR20200041839 A KR 20200041839A KR 1020200022185 A KR1020200022185 A KR 1020200022185A KR 20200022185 A KR20200022185 A KR 20200022185A KR 20200041839 A KR20200041839 A KR 20200041839A
- Authority
- KR
- South Korea
- Prior art keywords
- broadcast
- virtual reality
- user
- virtual
- real
- Prior art date
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/81—Monomedia components thereof
- H04N21/8166—Monomedia components thereof involving executable data, e.g. software
- H04N21/8173—End-user applications, e.g. Web browser, game
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/47—End-user applications
- H04N21/478—Supplemental services, e.g. displaying phone caller identification, shopping application
- H04N21/4781—Games
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/47—End-user applications
- H04N21/482—End-user interface for program selection
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/47—End-user applications
- H04N21/485—End-user interface for client configuration
- H04N21/4854—End-user interface for client configuration for modifying image parameters, e.g. image brightness, contrast
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/81—Monomedia components thereof
- H04N21/816—Monomedia components thereof involving special video data, e.g 3D video
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Human Computer Interaction (AREA)
- General Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Information Transfer Between Computers (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
본 발명의 일 실시예에 따른 가상 현실 방송 시청을 위한 사용자 인터페이스 제공 방법 및 장치가 제공된다. 가상 현실 방송 시청을 위한 사용자 인터페이스 제공 방법은, 방송 관리 서버로부터 방송 제공자의 실시간 스트리밍 방송을 시청하기 위해 가상 현실로 구현한 가상 개인 공간을 나타내는 제1 가상 현실 영상 데이터를 수신하는 단계; 상기 수신된 제1 가상 현실 영상 데이터를 디스플레이를 통해서 표시하는 단계; 및 상기 방송 제공자의 실시간 스트리밍 방송에 관련하여 기 설정된 조건의 이벤트가 발생되면 상기 발생된 이벤트에 대응하는 가상 현실 효과 객체를 상기 가상 개인 공간에 표시하는 단계를 포함한다.
Description
본 발명은 방송 시청을 위한 가상 현실 사용자 인터페이스를 제공하는 방법 및 장치에 관한 것이다.
일반적으로 가상 현실(Virtual Reality, VR)은 사용자에게 실제와 유사한 공간적, 시간적 체험이 가능하도록 만들어진 가상의 특정 환경이나 상황 등을 의미한다. 사용자는 가상현실을 제공하는 디바이스를 이용하여 가상 현실에 몰입하거나 디바이스의 조작 또는 명령을 통해 가상 현실 속에서 구현된 오브젝트와의 상호 작용을 할 수 있다.
최근 사물 인터넷을 포함하여 다양한 정보 통신 기기들의 기능이 발전함에 따라 가상 현실 관련 기술이 상용화되고, 이를 위한 다양한 보급형 HMD(Head Mounted Display) 장비가 보급되어 가상 현실 관련 콘텐츠의 공급 및 수요도 증가하고 있다.
더 나아가, 인터넷의 보급이 급속도로 확산되면서 통신과 방송을 결합하여 인터넷을 통해 방송 영상 데이터를 송신하도록 하는 인터넷 방송을 시청하는 방송 시청자의 수가 급격히 늘고 있으며, 이에 따라 가상 현실과 인터넷 방송이 결합된 콘텐츠의 공급 및 수요도 또한 증가하고 있다.
따라서, 가상 현실과 인터넷 방송이 결합된 가상 현실 방송 콘텐츠를 여러 형태로 제공하여 사용자가 보다 다양한 방송 시청 체험이 가능하도록 하는 방법이 요구된다.
본 발명이 해결하고자 하는 과제는 방송 시청을 위한 가상 현실 사용자 인터페이스 제공 방법 및 장치를 제공하는 것이다.
구체적으로, 본 발명이 해결하고자 하는 과제는 사용자가 방송 시청을 위해 보다 다양한 체험을 할 수 있도록 구현된 가상 현실 사용자 인터페이스를 제공하는 방법 및 장치를 제공하는 것이다.
본 발명의 과제들은 이상에서 언급한 과제들로 제한되지 않으며, 언급되지 않은 또 다른 과제들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
전술한 바와 같은 과제를 해결하기 위하여 본 발명의 일 실시예에 따른 가상 현실 방송 시청을 위한 사용자 인터페이스 제공 방법 및 장치가 제공된다. 가상 현실 방송 시청을 위한 사용자 인터페이스 제공 방법은, 방송 관리 서버로부터 방송 제공자의 실시간 스트리밍 방송을 시청하기 위해 가상 현실로 구현한 가상 개인 공간을 나타내는 제1 가상 현실 영상 데이터를 수신하는 단계; 상기 수신된 제1 가상 현실 영상 데이터를 디스플레이를 통해서 표시하는 단계; 및 상기 방송 제공자의 실시간 스트리밍 방송에 관련하여 기 설정된 조건의 이벤트가 발생되면 상기 발생된 이벤트에 대응하는 가상 현실 효과 객체를 상기 가상 개인 공간에 표시하는 단계를 포함한다.
가상 현실 방송 시청을 위한 사용자 인터페이스 제공 장치는, 통신 인터페이스, 디스플레이, 및 상기 통신 인터페이스 및 상기 디스플레이와 연결된 프로세서를 포함하고, 상기 프로세서는, 상기 통신 인터페이스를 통해서 방송 관리 서버로부터 방송 제공자의 실시간 스트리밍 방송을 시청하기 위해 가상 현실로 구현한 가상 개인 공간을 나타내는 제1 가상 현실 영상 데이터를 수신하고, 상기 수신된 제1 가상 현실 영상 데이터를 상기 디스플레이를 통해서 표시하고, 상기 방송 제공자의 실시간 스트리밍 방송에 관련하여 기 설정된 조건의 이벤트가 발생되면 상기 발생된 이벤트에 대응하는 가상 현실 효과 객체를 상기 가상 개인 공간에 표시한다.
기타 실시예의 구체적인 사항들은 상세한 설명 및 도면들에 포함되어 있다.
본 발명은 사용자가 가상 현실로 구현된 사용자의 가상 개인 공간을 통해서 방송 제공자가 제공하는 실시간 스트리밍 방송 영상을 시청함으로써, 사용자에게 방송 시청 시 보다 다양한 공간적, 시간적 체험이 가능하도록 한다.
본 발명에 따른 효과는 이상에서 예시된 내용에 의해 제한되지 않으며, 더욱 다양한 효과들이 본 명세서 내에 포함되어 있다.
도 1 및 도 2는 본 발명의 일 실시예에 따른 가상 현실 방송 시스템을 설명하기 위한 개략도들이다.
도 3 및 도 4는 본 발명의 실시예에 따른 사용자 단말을 설명하기 위한 개략도들이다.
도 5는 본 발명의 실시예에 따른 방송 제공 장치를 설명하기 위한 개략도이다.
도 6은 본 발명의 실시예에 따른 방송 관리 서버를 설명하기 위한 개략도이다.
도 7은 본 발명의 실시예에 따른 사용자 단말에서 가상 현실 방송을 시청하기 위한 사용자 인터페이스를 제공하는 방법을 설명하기 위한 개략적인 순서도이다.
도 8은 본 발명의 실시예에 따른 사용자의 가상 개인 공간을 나타내는 제1 가상 현실 영상 데이터를 설명하기 위한 예시도이다.
도 9a 및 도 9b는 본 발명의 실시예에 따른 메인 인터페이스 영역의 그래픽 화면들을 설명하기 위한 예시도들이다.
도 10a, 도 10b, 도 11a, 도 11b, 도 11c, 도 11d, 도 11e, 도 11f, 도 11g, 도 12, 도 13 및 도 14는 본 발명의 실시예에 따른 서브 인터페이스 영역의 인터페이스 화면들을 설명하기 위한 예시도들이다.
도 15 내지 도 17은 본 발명의 일 실시예에 따른 BJ의 가상 개인 공간을 나타내는 제2 가상 현실 영상 데이터를 설명하기 위한 예시도들이다.
도 18은 본 발명의 일 실시예에 따른 사용자의 가상 개인 공간을 나타내는 제1 가상 현실 영상 데이터를 설명하기 위한 예시도이다.
도 19는 본 발명의 일 실시예에 따른 서브 인터페이스 영역의 친구 찾기 아이콘에 관련된 인터페이스 화면을 설명하기 위한 예시도이다.
도 20은 본 발명의 일 실시예에 따른 사용자의 가상 개인 공간을 나타내는 제1 가상 현실 영상 데이터를 설명하기 위한 예시도이다.
도 3 및 도 4는 본 발명의 실시예에 따른 사용자 단말을 설명하기 위한 개략도들이다.
도 5는 본 발명의 실시예에 따른 방송 제공 장치를 설명하기 위한 개략도이다.
도 6은 본 발명의 실시예에 따른 방송 관리 서버를 설명하기 위한 개략도이다.
도 7은 본 발명의 실시예에 따른 사용자 단말에서 가상 현실 방송을 시청하기 위한 사용자 인터페이스를 제공하는 방법을 설명하기 위한 개략적인 순서도이다.
도 8은 본 발명의 실시예에 따른 사용자의 가상 개인 공간을 나타내는 제1 가상 현실 영상 데이터를 설명하기 위한 예시도이다.
도 9a 및 도 9b는 본 발명의 실시예에 따른 메인 인터페이스 영역의 그래픽 화면들을 설명하기 위한 예시도들이다.
도 10a, 도 10b, 도 11a, 도 11b, 도 11c, 도 11d, 도 11e, 도 11f, 도 11g, 도 12, 도 13 및 도 14는 본 발명의 실시예에 따른 서브 인터페이스 영역의 인터페이스 화면들을 설명하기 위한 예시도들이다.
도 15 내지 도 17은 본 발명의 일 실시예에 따른 BJ의 가상 개인 공간을 나타내는 제2 가상 현실 영상 데이터를 설명하기 위한 예시도들이다.
도 18은 본 발명의 일 실시예에 따른 사용자의 가상 개인 공간을 나타내는 제1 가상 현실 영상 데이터를 설명하기 위한 예시도이다.
도 19는 본 발명의 일 실시예에 따른 서브 인터페이스 영역의 친구 찾기 아이콘에 관련된 인터페이스 화면을 설명하기 위한 예시도이다.
도 20은 본 발명의 일 실시예에 따른 사용자의 가상 개인 공간을 나타내는 제1 가상 현실 영상 데이터를 설명하기 위한 예시도이다.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나, 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 것이며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다.
비록 제1, 제2 등이 다양한 구성요소들을 서술하기 위해서 사용되나, 이들 구성요소들은 이들 용어에 의해 제한되지 않음은 물론이다. 이들 용어들은 단지 하나의 구성요소를 다른 구성요소와 구별하기 위하여 사용하는 것이다. 따라서 이하에서 언급되는 제1 구성요소는 본 발명의 기술적 사상 내에서 제2 구성요소일 수도 있음은 물론이다.
명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다.
본 발명의 여러 실시예들의 각각 특징들이 부분적으로 또는 전체적으로 서로 결합 또는 조합 가능하며, 당업자가 충분히 이해할 수 있듯이 기술적으로 다양한 연동 및 구동이 가능하며, 각 실시예들이 서로에 대하여 독립적으로 실시 가능할 수도 있고 연관 관계로 함께 실시 가능할 수도 있다.
본 명세서에서, BJ(Broadcasting Jockey)는 인터넷 방송을 하는 모든 사용자를 포함하는 방송 콘텐츠 제공자일 수 있다. 예를 들어, BJ는 방송 스트리머(streamer)일 수 있다.
본 명세서에서, 가상 현실 장치는 가상 현실 영상을 제공하도록 구성된 모든 장치를 포함할 수 있다. 예를 들어, 가상 현실 장치는 사용자의 신체 일부에 접촉/착용되고, 가상 현실 영상을 출력하는 HMD(Head Mounted Display) 장치일 수 있다. 예를 들어, 가상 현실 장치는 디스플레이가 구비되지 않은 경우 가상 현실 영상을 출력하는 영상 출력 장치가 포함될 수 있다.
본 명세서에서, 가상 현실 공간(예: 가상 개인 공간)에 다양한 그래픽 화면들, 인터페이스 화면들 및 그래픽 객체들 중 적어도 하나가 표시되는 동작은 HMD 장치가 가상 현실 공간과 그 가상 현실 공간에 다양한 그래픽 화면들, 인터페이스 화면들 및 그래픽 객체들 중 적어도 하나가 표시되도록 구현된 가상 현실 영상을 디스플레이에 통해서 표시하는 동작일 수 있다.
본 명세서에서, 사용자가 다른 사용자의 가상 개인 공간을 방문하는 동작은 HMD 장치가 사용자가 다른 사용자의 가상 개인 공간으로 이동하듯이 표현 또는 구현된 가상 현실 영상을 디스플레이를 통해서 표시하는 동작일 수 있다.
본 명세서에서, 가상 현실 영상 데이터는 사용자를 중심으로 수평 및 상하 360도 전시선 방향을 3차원 그래픽으로 랜더링한 영상일 수 있다. 또한, 가상 현실 데이터는 사용자의 시선을 중심으로 일부 영역만을 랜더링하고, 사용자의 시선에 변경되면 변경된 시선에 대응하는 화면 영역을 주변 영역의 분석을 통해 예측하여 예측된 정보를 바탕으로 사용자의 변경된 시선에 대응하는 화면 영역을 랜더링한 영상일 수도 있다. 이러한 가상 현실 영상 데이터는 상술한 바 이외에 다양한 방식으로 구현될 수 있다. 다양한 실시예에서 가상 현실 영상 데이터는 1인칭 시점 또는 3인칭 시점의 영상일 수 있다.
이하, 첨부된 도면을 참조하여 본 발명의 다양한 실시예들을 상세히 설명한다.
도 1 및 도 2는 본 발명의 일 실시예에 따른 가상 현실 방송 시스템을 설명하기 위한 개략도들이다.
도 1를 참조하면, 가상 현실 방송 시스템은 방송 시청자가 방송 시청을 위해 장착 가능한 제1 HMD 장치(100), 상기 제1 HMD 장치(100)와 유선/무선으로 연결되어 스트리밍 방송 데이터를 제1 HMD 장치(100)로 전달하는 전자 장치(200), 스트리밍 방송을 제공하는 BJ의 방송 제공 장치(300), 촬영 장치(400), BJ가 장착 가능한 제2 HMD 장치(410) 및 BJ의 방송 영상 데이터를 관리하는 방송 관리 서버(500)를 포함할 수 있다. 여기서, 가상 현실 방송 시스템은 BJ의 실시간 스트리밍 방송을 시청하기 위해 가상 현실로 구현한 사용자의 가상 개인 공간을 제공하여 사용자가 가상 개인 공간을 통해서 BJ의 실시간 스트리밍 방송 또는 주문형 비디오(Video On Demand, VOD)를 시청하거나, 방송 콘텐츠에 관련된 가상 현실 객체(VR object)를 사용자의 가상 개인 공간에 배치하여 꾸미는 등의 개인 방송 시청을 위한 가상 공간을 제공하는 시스템이다.
제1 HMD 장치(100)는 사용자의 머리에 장착되어 사용자가 실제와 유사한 공간적, 시간적 체험이 가능하도록 사용자에게 가상 현실 영상을 제공할 수 있는 가상 체험 장치일 수 있다.
구체적으로, 제1 HMD 장치(100)는 사용자의 머리에 착용 가능한 구조로 형성되고, 가상 현실 영상의 처리를 제1 HMD 장치(100) 내부에서 수행하는 형태로 구현되거나 도 1b와 같이 제1 HMD 장치(100)의 일부에 가상 현실 영상을 제공하는 영상 출력 장치(200)가 장착되고, 장착된 영상 출력 장치(200) 내부에서 가상 현실을 위한 영상 처리를 수행하는 형태로 구현될 수 있다.
제1 HMD 장치(100)가 디스플레이를 구비하는 경우 사용자가 제1 HMD 장치(100)를 착용할 시 가상 현실 영상을 확인할 수 있도록 디스플레이의 일면이 사용자의 얼굴에 대향 배치될 수 있다.
제1 HMD 장치(100)의 일측에는 사용자의 시선 데이터를 획득하는 적어도 하나의 센서(미도시)가 형성될 수 있다. 예를 들어, 적어도 하나의 센서는 사용자의 시선을 추적하는 시선 추적 센서를 포함할 수 있다. 다양한 실시예에서 적어도 시선 추적 센서는 사용자의 눈 또는 얼굴을 촬영 가능한 위치 또는 사용자의 피부에 접촉 가능한 위치에 형성되고, 사용자가 제1 HMD 장치(100)를 착용할 시 사용자의 눈 또는 얼굴을 촬영하고, 촬영된 영상을 분석하여 사용자의 시선 데이터를 획득할 수 있다.
제1 HMD 장치(100)는 획득된 시선 데이터에 기반하여 사용자의 시점에 대응하는 가상 현실 영상을 디스플레이를 통해서 표시할 수 있다. 예를 들어, 제1 HMD 장치(100)를 착용한 사용자가 움직이는 경우 제1 HMD 장치(100)는 시선 추적 센서를 통해서 사용자의 움직임에 따른 시선 변화를 감지하고, 시선 변화에 따라 사용자의 시선이 바라보는 방향에 해당하는 가상 현실 영상을 디스플레이를 통해서 표시할 수 있다. 다양한 실시예에서 사용자의 시점은 1인칭 시점 또는 3인칭 시점일 수 있다.
제1 HMD 장치(100)는 조작 가능한 외부의 입력 장치(예: 컨트롤러 등)와 연결되고, 사용자가 제1 HMD 장치(100)와 연결된 입력 장치를 조작하여 가상 현실 영상 내의 사용자 인터페이스를 제어할 수 있다.
다양한 실시예에서 제1 HMD 장치(100)는 타측에 사용자의 시선 방향에 따른 영상을 촬영하기 위한 카메라 모듈(미도시)을 구비할 수도 있다. 구체적으로, 카메라 모듈은 사용자의 시선 방향에 따른 사용자의 전방 영상을 촬영할 수 있다. 예를 들어, 촬영된 영상은 사용자의 전방에 위치하고, 조작 가능한 입력 장치 및 이를 조작하는 사용자의 손에 관한 영상일 수 있다. 상기 제1 HMD 장치(100)는 촬영된 전방 영상 중 사용자의 손을 랜더링하여 가상 현실 영상에 표시하거나 가상 현실 영상 화면의 일부 영역을 시스루(see-through) 영역으로 전환하여 사용자의 손이 표시되도록 할 수도 있다. 이를 통해서, 사용자는 제1 HMD 장치(100)를 착용한 경우에도 전방에 위치한 키보드 또는 마우스 등과 같은 입력 장치를 용이하게 이용할 수 있다.
제1 HMD 장치(100)는 방송 시청을 위해 가상 현실로 구현된 사용자의 가상 개인 공간을 나타내는 제1 가상 현실 영상을 디스플레이를 통해서 표시할 수 있다. 상기 가상 개인 공간은 특정 BJ의 방송 시청을 위한 메인 인터페이스 영역 및 방송 시청에 관한 다양한 기능에 관련된 서브 인터페이스 영역을 포함할 수 있다. 예를 들어, 제1 가상 현실 영상은 가상 개인 공간의 배경 영역이 표시되는 제1 레이어, 메인 인터페이스 영역이 표시되는 제2 레이어 및 서브 인터페이스 영역이 표시되는 제3 레이어가 합성된 영상일 수 있다.
상기 사용자의 가상 개인 공간의 메인 인터페이스 영역은 BJ의 실시간 스트리밍 방송을 재생하기 위한 제1 그래픽 화면 및 상기 실시간 스트리밍 방송을 동시에 시청하는 방송 시청자들간의 실시간 채팅을 나타내는 제2 그래픽 화면을 포함할 수 있다. 다양한 실시예에서 메인 인터페이스 영역은 제3 그래픽 화면을 더 포함할 수 있다. 다양한 실시예에서 제1 그래픽 화면은 복수개로 구현될 수 있다. 구체적으로, 제1 HMD 장치(100)는 전자 장치(200)와 무선 또는 유선으로 연결되어 전자 장치(200)로부터 BJ의 실시간 스트리밍 방송 영상 및 실시간 스트리밍 방송을 시청중인 방송 시청자들간의 채팅 데이터를 수신하여 수신된 실시간 스트리밍 방송 영상을 제1 그래픽 화면에 표시하고, 수신된 채팅 데이터를 제2 그래픽 화면에 표시할 수 있다. 상기 제2 그래픽 화면은 방송 시청자들의 채팅 내용을 나타내는 채팅 표시 영역 및 사용자의 채팅 입력을 위한 채팅 입력 영역을 포함할 수 있다.
상기 사용자의 가상 개인 공간의 서브 인터페이스 영역은 적어도 하나의 BJ의 실시간 스트리밍 방송에 관련된 영상 목록 또는 VOD 영상 목록을 나타내는 제1 인터페이스 화면, 및 방송 시청 또는 개인 가상 공간에 대한 적어도 하나의 기능에 관련된 제2 인터페이스 화면을 포함할 수 있다. 상기 제1 인터페이스 화면은 사용자에 의해서 선택되거나 즐겨찾기로 등록된 적어도 하나의 BJ의 실시간 스트리밍 방송 영상에 관련된 썸네일 이미지 또는 썸네일 동영상 등과 같은 그래픽 객체를 포함할 수 있다. 상기 제2 인터페이스 화면은 사용자에 의해서 선택되거나 즐겨찾기로 등록된 적어도 하나의 BJ의 VOD 영상에 관련된 썸네일 이미지 또는 썸네일 동영상 등과 같은 그래픽 객체를 포함할 수 있다. 상기 제3 인터페이스 화면은 방송 영상을 재생하는 그래픽 화면을 설정하기 위한 기능, 실시간 방송 목록을 설정하기 위한 기능, VOD 영상 목록을 설정하기 위한 기능 및 특정 BJ에 관련된 후원 기능(예: BJ에 관한 유료 아이템 구매 등) 또는 사용자의 가상 개인 공간을 설정하기 위한 다양한 기능에 관련된 메뉴 아이콘 등과 같은 그래픽 객체들을 포함할 수 있다. 예를 들어, 가상 개인 공간을 설정하기 위한 다양한 기능은 제1 그래픽 화면의 개수, 크기, 스킨, 재생 영상의 종류 또는 해상도 등을 설정하기 위한 기능, 제2 그래픽 화면의 크기 또는 온/오프 등을 설정하기 위한 기능 등과 같이 메인 인터페이스 영역을 설정하기 위한 기능을 포함할 수 있다. 상기 다양한 기능은 실시간 스트리밍 방송을 시청하기 위한 BJ를 선택하는 기능 및 실시간 스트리밍 영상 목록을 구성하는 기능 등과 같이 제1 인터페이스 화면을 구성하기 위한 기능, VOD 영상을 시청하기 위한 BJ를 선택하는 기능 및 VOD 영상 목록을 구성하는 기능 등과 같이 제2 인터페이스 화면을 구성하기 위한 기능을 더 포함할 수 있다. 상기 다양한 기능은 방송 시청을 위한 유료 아이템의 구매 또는 선물, 아바타 또는 가상 개인 공간을 꾸미기 위한 유료 아이템의 구매 또는 선물 및 구매하거나 선물받은 유료 아이템을 가상 개인 공간에 배치하거나, 아바타를 꾸미기 위한 기능 등과 같이 제3 인터페이스 화면에 관한 기능을 더 포함할 수 있다.
다양한 실시예에서 서브 인터페이스 영역은 방송 시청에 관련된 커뮤니티 공간(예: 게시판 등)을 나타내는 제4 인터페이스 화면, 유료 아이템을 구매하거나 선물받은 내역을 나타내는 제5 인터페이스 화면 또는 즐겨찾기한 적어도 하나의 BJ에 대한 목록을 나타내는 제6 인터페이스 화면을 더 포함할 수 있다. 예를 들어, 제4 인터페이스 화면은 사용자가 자신의 가상 개인 공간에 위치하는 경우 사용자의 가상 개인 공간의 공지사항 또는 게시판 등을 나타낼 수 있고, 사용자가 BJ의 가상 개인 공간에 방문한 경우 BJ의 가상 개인 공간의 공지사항 또는 게시판 등을 나타낼 수 있다. 다양한 실시예에서 제4 인터페이스 화면은 사용자에 의해서 선택된 커뮤니티 공간을 나타낼 수 있다.
상기 제1 HMD 장치(100)는 실시간 스트리밍 방송에 관련하여 기 설정된 조건의 이벤트가 발생되면 발생된 이벤트에 대응하는 가상 현실 효과 객체를 가상 개인 공간에 표시할 수 있다. 상기 가상 현실 효과 객체는 입체적 공간 연출 효과로서, 배경 음악 또는 효과음과 같은 음성 효과가 더 포함될 수 있다. 예를 들어, 기 설정된 조건의 이벤트는 사용자가 BJ를 후원하기 위한 유료 아이템을 구매하거나, BJ에 관한 후원 기능을 이용한 정도를 나타내는 후원 기여도가 높은 사용자가 채팅에 참여하거나, BJ에 의해서 설정된 광고 콘텐츠를 이용하는 이벤트 등을 포함할 수 있다. 상기 제1 HMD 장치(100)는 제3 인터페이스 화면을 통해서 BJ에 관한 유료 아이템을 구매하기 위한 후원 기능에 대응하는 메뉴 아이콘의 선택이 있으면 유료 아이템 구매를 위한 아이템 구매 인터페이스 화면을 표시하고, 아이템 구매 인터페이스 화면을 통해서 특정 유료 아이템이 구매되면 구매된 유료 아이템에 대응하여 가상 현실로 구현된 가상 현실 효과 객체를 가상 개인 공간에 표시할 수 있다. 다양한 실시예에서 제1 HMD 장치(100)는 다른 사용자가 유료 아이템을 구매한 경우에도 해당 유료 아이템에 대응하는 가상 현실 효과 객체를 사용자의 가상 개인 공간에 표시할 수 있다. 이러한 가상 현실 효과 객체는 사용자의 가상 개인 공간뿐만 아니라 BJ의 방송을 시청하는 시청자들의 가상 개인 공간에도 동일하게 표시될 수 있다.
다양한 실시예에서 제1 HMD 장치(100)는 사용자의 개인 가상 공간 이외에 다른 사용자(예: BJ)의 가상 개인 공간(예: 가상 개인 공간)에 방문하기 위한 요청에 따라 사용자가 방문자로서 다른 사용자의 가상 개인 공간을 체험할 수 있도록 구현된 제2 가상 현실 영상 데이터를 방송 관리 서버(400)로부터 수신하고, 수신된 제2 가상 현실 영상 데이터를 디스플레이를 통해서 표시할 수 있다. 예를 들어, 제2 가상 현실 영상 데이터는 BJ에 의해서 설정된 가상 개인 공간의 배경 영역이 표시되는 제1 레이어, BJ의 가상 개인 공간의 메인 인터페이스 영역이 표시되는 제2 레이어 및 BJ의 가상 개인 공간에 관련된 서브 인터페이스 영역이 표시되는 제3 레이어가 합성된 영상 데이터일 수 있다. 상기 서브 인터페이스 영역은 BJ의 가상 개인 공간에 관련하여 사용자에게 제공될 수 있는 다양한 기능들에 대한 인터페이스 화면이 포함될 수 있다.
상기 제2 가상 현실 영상 데이터는 BJ에 의해서 설정된 방송 영상을 재생하기 위한 메인 인터페이스 영역 및 사용자가 방문한 BJ의 개인 방송 공간에 대한 다양한 기능에 관련된 서브 인터페이스 영역을 포함할 수 있다. 상기 사용자가 방문한 BJ의 가상 개인 공간의 메인 인터페이스 영역은 BJ에 의해서 설정된 방송 영상(예: BJ의 실시간 스트리밍 방송, 방송 다시보기 영상, 하이트라이트 영상 또는 시청자가 제작한 VOD 영상 등)을 재생하기 위한 제1 그래픽 화면 및 해당 방송 영상에 관련된 채팅을 나타내는 제2 그래픽 화면을 포함할 수 있다. 방송 영상이 실시간 스트리밍 방송 영상 데이터인 경우 제2 그래픽 화면을 통해서 실시간 채팅 데이터가 표시되고, 방송 영상이 VOD 영상 데이터인 경우 해당 VOD 영상에 대응하여 저장된 채팅 데이터가 제2 그래픽 화면을 통해서 표시될 수 있다. 다양한 실시예에서 메인 인터페이스 영역은 BJ의 방송에 관한 커뮤니티 공간(예: 공지사항, 게시판 등)을 나타내는 제3 그래픽 화면 또는 BJ의 방송 다시보기 영상, 하이트라이트 영상, 시청자가 제작한 VOD 영상 등의 영상 목록을 나타내는 제4 그래픽 화면을 더 포함할 수 있다. 예를 들어, 제3 그래픽 화면의 커뮤니티 공간은 사용자에 의해서 선택된 사용자의 가상 개인 공간의 게시판 등 또는 사용자가 즐겨찾기한 BJ의 가상 개인 공간의 게시판 등 일 수 있다.
상기 사용자가 방문한 BJ의 가상 개인 공간의 서브 인터페이스 영역은 사용자에 의해서 설정된 BJ의 실시간 스트리밍 방송에 관련된 영상 목록을 나타내는 제1 인터페이스 화면, 사용자에 의해서 설정된 BJ의 VOD 영상 목록을 나타내는 제2 인터페이스 화면 및 BJ의 가상 개인 공간에 대한 다양한 기능에 관련된 제3 인터페이스 화면을 포함할 수 있다. 예를 들어, BJ의 가상 개인 공간에 대한 다양한 기능은 BJ에 관련된 후원 기능(예: BJ의 방송에 관한 유료 아이템 구매 및 BJ의 아바타 또는 가상 개인 공간을 꾸미기 위한 유료 아이템 선물 등)을 포함할 수 있다. 다양한 실시예에서 제2 가상 현실 영상 데이터는 사용자가 BJ에 관한 유료 아이템 구매 또는 선물 등과 같은 후원 기능을 이용한 정도(예: 후원 기여도)에 따라 BJ에 의해서 사용자 등급별로 설정된 가상 개인 공간을 나타낼 수 있다. 상기 서브 인터페이스 영역은 사용자가 다른 사용자의 가상 개인 공간에 방문할 경우 사용자에 대응하여 함께 이동되며, 서브 인터페이스 영역의 일부 기능은 다른 사용자의 가상 개인 공간에서 비활성화되거나, 서브 인터페이스 영역 내 일부 인터페이스 화면이 비활성화 또는 비표시될 수 있다.
전자 장치(200)는 방송 제공 장치(300) 또는 방송 관리 서버(500)로부터 수신된 방송 스트리밍 데이터를 유선/무선으로 연결된 제1 HMD 장치(100)로 전달할 수 있다. 상기 전자 장치(200)는 제1 HMD 장치(100)로부터의 다양한 요청을 방송 제공 장치(300) 또는 방송 관리 서버(500)로 전달하고, 다양한 요청에 대한 응답을 방송 제공 장치(300) 또는 방송 관리 서버(500)로부터 수신하여 제1 HMD 장치(100)로 전달할 수 있다.
상기 전자 장치(200)는 방송 제공 장치(300) 또는 방송 관리 서버(500)로부터 방송 시청을 위해 가상 현실로 구현한 사용자의 가상 개인 공간을 나타내는 제1 가상 현실 영상 데이터를 수신하고, 수신된 제1 가상 현실 영상 데이터를 제1 HMD 장치(100)로 전달할 수 있다.
다양한 실시예에서 전자 장치(200)는 다른 사용자의 가상 개인 공간을 방문하기 위한 요청에 따라 방송 관리 서버(500)로 해당 요청을 전달하고, 방송 관리 서버(500)로부터 다른 사용자의 가상 개인 공간을 방문자로서 체험할 수 있도록 구현된 제2 가상 현실 영상 데이터를 수신한 후 수신된 제2 가상 현실 영상 데이터를 제1 HMD 장치(100)로 전달할 수 있다.
다양한 실시예에서 전자 장치(200)는 디스플레이를 구비하여 방송 제공 장치(300) 또는 방송 관리 서버(500)로부터 수신된 방송 데이터(예: 스트리밍 데이터 또는 VOD 데이터)를 디스플레이를 통해서 표시할 수 있다. 이와 같이 방송 데이터를 화면에 표시하는 중에 제1 HMD 장치(100)로부터 가상 현실 영상 시청을 위한 요청이 수신되면 전자 장치(200)는 해당 요청을 방송 관리 서버(500)로 전달하고, 요청에 대한 응답으로 방송 관리 서버(500)로부터 제1 가상 현실 영상 데이터를 수신할 수 있다. 상기 전자 장치(200)는 방송 관리 서버(500)로부터 수신된 제1 가상 현실 영상 데이터를 제1 HMD 장치(100)로 전달할 수 있다. 예를 들어, 가상 현실 영상 시청을 위한 요청은 사용자가 제1 HMD 장치(100)를 장착한 것을 나타내는 감지 신호일 수 있다. 상기 제1 HMD 장치(100)로부터 감지 신호가 수신되면 전자 장치(200)는 요청 신호를 방송 관리 서버(500)로 전달하고, 방송 관리 서버(500)로부터 제1 가상 현실 영상 데이터가 수신되면 수신된 제1 가상 현실 영상 데이터를 제1 HMD 장치(100)로 전달할 수 있다. 이때, 전자 장치(200)는 디스플레이를 통해서 방송 스트리밍 데이터에 대한 표시를 중단할 수도 있다.
다양한 실시예에서 전자 장치(200)는 방송 시청을 위한 가상 현실 영상 데이터(예: 제1 또는 제2 가상 현실 영상 데이터)를 생성할 수 있는 프로그램 또는 어플리케이션 등을 저장하고, 제1 HMD 장치(100)로부터의 요청에 따라 상기 프로그램 또는 어플리케이션 등을 실행하여 가상 현실 영상 데이터를 생성한 후 생성된 가상 현실 영상 데이터를 제1 HMD 장치(100)로 전달할 수 있다.
방송 제공 장치(300)는 BJ의 요청에 따라 방송 데이터(예: 실시간 스트리밍 데이터)를 방송 제공 장치(300)에 접속된 적어도 하나의 사용자 단말(예: 제1 HMD 장치(100) 또는 전자 장치(200))로 전송(예: 브로드캐스팅)하거나 방송 관리 서버(500)로 전달할 수 있다. 예를 들어, 방송 제공 장치(300)는 방송을 위한 방송 플랫폼(예: 방송 프로그램 또는 어플리케이션)을 이용하여 촬영 장치(예: 화상 카메라)(400)를 통해서 입력된 영상 신호를 기록하고, 기록된 영상 신호를 실시간 스트리밍으로 적어도 하나의 사용자 단말 또는 방송 관리 서버(500)로 전송할 수 있다.
다양한 실시예에서 방송 제공 장치(300)는 제2 HMD 장치(410) 또는 제2 HMD 장치(410)에 구비된 영상 출력 장치(미도시)와 연결되고, BJ가 제2 HMD 장치(410)를 착용하면 가상 현실로 구현된 BJ의 가상 개인 공간을 나타내는 제3 가상 현실 영상 데이터를 방송 관리 서버(500)로부터 수신하여 BJ가 착용한 제2 HMD 장치(410) 또는 제2 HMD 장치(410)에 구비된 영상 출력 장치로 전달할 수 있다.
BJ가 착용한 제2 HMD 장치(410) 또는 제2 HMD 장치(410)에 구비된 영상 출력 장치는 방송 제공 장치(300)로부터 수신된 제3 가상 현실 영상 데이터를 디스플레이를 통해서 표시할 수 있다. 상기 BJ의 가상 개인 공간은 BJ에 의해서 설정된 방송 영상을 재생하기 위한 메인 인터페이스 영역 및 BJ의 가상 개인 공간을 설정하기 위한 다양한 기능에 관련된 서브 인터페이스 영역을 포함할 수 있다. 예를 들어, 제3 가상 현실 영상 데이터는 BJ의 가상 개인 공간의 배경 영역이 표시되는 제1 레이어, BJ의 가상 개인 공간에 대한 메인 인터페이스 영역이 표시되는 제2 레이어 및 BJ의 가상 개인 공간에 대한 다양한 기능에 관련된 서브 인터페이스 영역이 표시되는 제3 레이어가 합성된 영상 데이터일 수 있다.
상기 BJ의 가상 개인 공간의 메인 인터페이스 영역은 BJ의 방송 다시보기 영상, 하이트라이트 영상, 시청자가 제작한 VOD 영상 등의 방송 영상을 재생하기 위한 제1 그래픽 화면 및 해당 영상들 각각에 대응하는 채팅 데이터를 나타내는 제2 그래픽 화면을 포함할 수 있다. 다양한 실시예에서 BJ의 가상 개인 공간의 메인 인터페이스 영역은 BJ의 방송에 관련된 커뮤니티 공간(예: 공지사항, 게시판 등)을 나타내는 제3 그래픽 화면 또는 BJ의 방송 다시보기 영상, 하이트라이트 영상, 시청자가 제작한 VOD 영상 등의 영상 목록을 나타내는 제4 그래픽 화면을 더 포함할 수 있다. 다양한 실시예에서 제1 그래픽 화면은 복수개로 구현되어 BJ에 의해서 선택된 실시간 스트리밍 방송 영상, 방송 다시보기 영상, 방송 하이라이트 영상 및 시청자가 제작한 VOD들 중 적어도 둘 이상이 재생될 수 있다.
상기 BJ의 가상 개인 공간의 서브 인터페이스 영역은 실시간 스트리밍 방송 영상, 방송 다시보기 영상, 방송 하이라이트 영상, 시청자 VOD 영상 또는 실시간 스트리밍 방송 영역의 재생을 설정하기 위한 제1 인터페이스 화면 및 BJ의 가상 개인 공간을 설정하기 위한 다양한 기능에 관련된 제2 인터페이스 화면을 포함할 수 있다. 예를 들어, BJ의 가상 개인 공간을 설정하기 위한 다양한 기능은 제1 그래픽 화면의 개수, 크기, 재생 영상의 종류 또는 해상도 등을 설정하기 위한 기능, 제2 그래픽 화면의 크기 또는 온/오프 등을 설정하기 위한 기능, 제3 그래픽 화면의 크기, 배치, 구조 등을 설정하기 위한 기능, 제4 그래픽 화면의 크기, 영상 목록의 개수, 목록 표시 방법 등을 설정하기 위한 기능, 아바타 또는 개인 방송 공간을 꾸미기 위한 유료 아이템의 구매 또는 선물 등의 기능 및 구매하거나 선물받은 유료 아이템을 가상 개인 공간에 배치하기 위한 기능 등을 포함할 수 있다.
방송 관리 서버(500)는 방송 제공 장치(300)로부터 BJ의 방송 데이터(예: 실시간 스트리밍 데이터)를 수신하고, 수신된 방송 데이터를 방송 관리 서버(500)에 접속된 적어도 하나의 사용자 단말(예: 제1 HMD 장치(100) 또는 전자 장치(200))로 전달할 수 있다.
상기 방송 관리 서버(500)는 적어도 하나의 사용자 단말로부터의 요청에 따라 방송 제공 장치(300)로부터 수신된 실시간 스트리밍 방송을 시청하기 위해 가상 현실로 구현된 사용자의 가상 개인 공간을 나타내는 제1 가상 현실 영상 데이터를 생성하고, 생성된 제1 가상 현실 영상 데이터를 적어도 하나의 사용자 단말로 전달할 수 있다. 예를 들어, 방송 관리 서버(500)는 사용자의 가상 개인 공간의 배경 영역이 표시되는 제1 레이어, 방송 시청을 위한 메인 인터페이스 영역이 표시되는 제2 레이어 및 방송 시청에 관한 다양한 기능에 관련된 서브 인터페이스 영역이 표시되는 제3 레이어를 합성하여 제1 가상 현실 영상 데이터를 생성할 수 있다.
다양한 실시예에서 방송 관리 서버(500)는 적어도 하나의 사용자 단말로부터의 요청에 따라 BJ의 가상 개인 공간을 나타내는 제2 가상 현실 영상 데이터를 적어도 하나의 사용자 단말로 전달할 수 있다. 상기 제2 가상 현실 영상 데이터는 사용자가 방문자로서 BJ의 가상 개인 공간을 체험할 수 있도록 구성된 다양한 인터페이스 영역을 포함할 수 있다. 예를 들어, 제2 가상 현실 영상 데이터는 BJ의 가상 개인 공간의 배경 영역이 표시되는 제1 레이어, BJ의 가상 개인 공간의 메인 인터페이스 영역이 표시되는 제2 레이어 및 BJ의 가상 개인 공간에 관련하여 사용자에게 제공될 수 있는 다양한 기능에 관련된 서브 인터페이스 영역이 표시되는 제3 레이어가 합성된 영상 데이터일 수 있다.
다양한 실시예에서 BJ의 가상 개인 공간은 사용자 등급별로 서로 다르게 나타낼 수 있다. 구체적으로, 방송 관리 서버(500)는 사용자들의 후원 기여도에 따라 사용자들을 후원 기여도가 높은 등급(예: 제1 등급)에서 낮은 등급(예: 제3 등급) 순으로 분류할 수 있다. 상기 방송 관리 서버(500)는 BJ가 사용자 등급별로 서로 다른 가상 개인 공간을 설정하도록 설정 인터페이스 화면을 제공할 수 있다. 예를 들어, 제1 사용자가 BJ의 가상 개인 공간에 방문한 경우 방송 관리 서버(500)는 제1 사용자의 후원 기여도 등급을 확인하고, 제1 사용자가 '1등급'으로 분류되는 경우 BJ에 의해서 '1등급'으로 분류된 사용자에게 제공되도록 BJ에 의해서 설정된 가상 개인 공간을 나타내는 제2 가상 현실 영상 데이터를 제공할 수 있다. 제1 등급의 사용자에게 제공되는 BJ의 가상 개인 공간은 제3 등급의 사용자에게 제공되는 BJ의 가상 개인 공간과 그래픽 화면이 배치된 개수, 크기 및 해상도, 가상 개인 공간의 구조, 배경 스킨, 가상 현실 객체의 배치, 종류 등이 다를 수 있다.
다양한 실시예에서 BJ의 가상 개인 공간은 제1 인원수의 방송 시청자가 참여중인 제1 채팅방(예: 본방)에 대응하는 가상 개인 공간과 제2 인원수의 방송 시청자가 참여중인 제2 채팅방(예: 중계방)에 대응하는 가상 개인 공간이 제공될 수 있다. 예를 들어, 방송 관리 서버(500)는 BJ의 가상 개인 공간에 방문할 수 있는 인원을 제1 인원수로 설정하고, 제1 인원수의 방송 시청자가 BJ의 가상 개인 공간에 방문한 경우 제1 인원수의 방송 시청자에게 BJ에 의해서 설정된 BJ의 제1 가상 개인 공간을 나타내는 제2 가상 현실 영상 데이터를 제공하고, 그 외 방송 시청자들에게 BJ에 의해서 설정된 BJ의 제2 가상 개인 공간을 나타내는 제2 가상 현실 영상 데이터를 제공할 수 있다. 이러한 BJ의 제1 가상 개인 공간과 BJ의 제2 가상 개인 공간은 BJ에 의해서 서로 동일하게 설정될 수 있으나, 서로 다르게 설정될 수도 있다.
다양한 실시예에서 방송 관리 서버(500)는 방송 제공 장치(300)로부터의 요청에 따라 가상 현실로 구현된 BJ의 가상 개인 공간을 나타내는 제3 가상 현실 영상 데이터를 생성하고, 생성된 제3 가상 현실 영상 데이터를 방송 제공 장치(300)로 전달할 수 있다. 예를 들어, 방송 관리 서버(500)는 BJ의 가상 개인 공간의 배경 영역이 표시되는 제1 레이어, BJ의 가상 개인 공간에 대한 메인 인터페이스 영역이 표시되는 제2 레이어 및 BJ의 가상 개인 공간에 관련하여 BJ에게 제공될 수 있는 다양한 기능에 관련된 서브 인터페이스 영역이 표시되는 제3 레이어를 합성하여 제3 가상 현실 영상 데이터를 생성할 수 있다. 다양한 실시예에서 사용자에게 제공되는 BJ의 가상 개인 공간과 BJ에게 제공되는 가상 개인 공간은 서로 다를 수 있다.
다양한 실시예에서 가상 현실 영상 데이터가 1인칭 시점인 경우 가상 현실 내에 구현되는 사용자의 모습은 1인칭 시점에서 보이는 아바타 형태로 구현되거나, 사용자의 실제 모습을 랜더링한 형태로 제공될 수 있다.
다양한 실시예에서 가상 현실 영상 데이터가 3인칭 시점인 경우 가상 현실 내에 구현되는 사용자의 모습은 아바타 형태의 3차원 그래픽 객체로 구현될 수 있다. 이러한 경우 사용자의 아바타는 미리 정해진 아바타로 사용자에게 제공되거나, 다양한 형태의 아바타들 중 사용자에 의해서 어느 하나가 선택될 수 있다. 다양한 실시예에서 사용자의 아바타는 얼굴, 눈, 코, 입, 귀 등의 형태를 선택하거나, 머리 형태, 머리색 등을 선택하거나, 신체 부위의 형태를 선택하는 등의 사용자가 원하는 아바타 형태로 제공될 수 있다. 다양한 실시예에서 사용자의 아바타는 사용자의 실제 모습을 랜더링한 형태로 제공될 수도 있다. 예를 들어, 사용자의 얼굴을 랜더링하거나, 사용자의 신체 전체를 랜더링한 형태로 제공될 수 있다.
다음으로 도 2를 참조하면, 가상 현실 방송 시스템은 제1 HMD 장치(100), 방송 제공 장치(300), 방송 관리 장치(500) 및 상기 제1 HMD 장치(100)에 장착되고 방송 관리 장치(500)를 통해서 수신된 가상 현실 영상 데이터를 출력하는 영상 출력 장치(600)을 포함할 수 있다.
영상 출력 장치(600)는 방송 시청자(즉, 사용자)가 온라인상에서 BJ의 방송을 시청할 수 있도록 사용자 인터페이스를 제공하는 장치로서, 방송 시청을 위한 어플리케이션 또는 프로그램 등이 설치된 스마트폰, 태블릿 PC 등일 수 있다. 해당 어플리케이션 또는 프로그램 등은 방송 관리 서버(500)와 적어도 하나의 사용자 단말(예: 제1 HMD 장치(100) 또는 영상 출력 장치(600))을 서로 접속시킬 수 있다. 방송 시청자는 어플리케이션을 이용하여 온라인 상에서 다른 방송 시청자들과 함께 방송을 시청하면서 채팅창 또는 게시판 등과 같은 소통 영역을 통해서 서로 소통할 수 있다.
상기 영상 출력 장치(600)는 방송 시청자의 요청에 따라 방송 시청을 위해 가상 현실로 구현된 방송 시청자의 가상 개인 공간을 나타내는 제1 가상 현실 영상 데이터를 영상 출력 장치(600)의 디스플레이를 통해서 표시할 수 있다. 구체적으로, 영상 출력 장치(600)는 어플리케이션을 통해서 방송 시청자로부터 가상 현실 방송을 시청하기 위한 요청이 있으면 방송 관리 서버(500)로 요청을 전달하고, 방송 관리 서버(500)로부터 제1 가상 현실 영상 데이터를 수신할 수 있다. 영상 출력 장치(600)는 수신된 제1 가상 현실 영상 데이터를 디스플레이를 통해서 표시할 수 있다.
다양한 실시예에서 영상 출력 장치(600)는 방송 시청자의 요청에 따라 BJ의 가상 개인 공간을 체험할 수 있도록 구현된 다양한 인터페이스 영역을 포함하는 제2 가상 현실 데이터를 영상 출력 장치(600)의 디스플레이를 통해서 표시할 수 있다. 구체적으로, 영상 출력 장치(600)는 어플리케이션을 통해서 방송 시청자로부터 BJ의 가상 개인 공간을 방문하기 위한 요청이 있으면 방송 관리 서버(500)로 요청을 전달하고, 방송 관리 서버(500)로부터 제2 가상 현실 영상 데이터를 수신할 수 있다. 예를 들어, 제2 가상 현실 영상 데이터는 방송 시청자의 후원 기여도 등급에 의해서 BJ에 의해 설정된 가상 개인 공간을 나타낼 수 있다. 상기 영상 출력 장치(600)는 수신된 제2 가상 현실 영상 데이터를 디스플레이를 통해서 표시할 수 있다.
상기 영상 출력 장치(600)는 제1 HMD 장치(100)로부터 사용자의 시선 데이터를 수신하고, 수신된 시선 데이터에 기반하여 사용자의 시점에 대응하는 가상 현실 영상 데이터(예: 제1 또는 제2 가상 현실 영상 데이터)를 디스플레이를 통해서 표시할 수 있다.
다양한 실시예에서 영상 출력 장치(600)는 사용자의 시선 방향에 따른 영상을 촬영하기 위한 카메라 모듈을 구비할 수 있다. 예를 들어, 카메라 모듈은 영상 출력 장치(600)의 후면(예: 디스플레이가 배치된 전면의 반대쪽)에 구비되어 사용자의 전방 영상을 촬영할 수 있다. 상기 촬영된 전방 영상은 사용자의 전방에 위치한 조작 가능한 입력 장치 및 입력 장치를 조작하는 사용자의 손에 관한 영상일 수 있다. 영상 출력 장치(600)는 촬영된 전방 영상을 가상 현실 영상 화면 상에서 팝업 형태로 표시하거나 가상 현실 영상 화면의 일부 영역을 시스루 영역으로 전환하여 표시할 수도 있다.
도 3 및 도 4는 본 발명의 실시예에 따른 사용자 단말을 설명하기 위한 개략도들이다.
도 3을 참조하면, 사용자 단말은 디스플레이를 구비하는 제1 HMD 장치(100)일 수 있다. 상기 제1 HMD 장치(100)는 통신 인터페이스(110), 디스플레이(120), 메모리(130), 센서(140) 및 프로세서(150)를 포함한다. 다양한 실시예에서 제1 HMD 장치(100)는 입력 장치(550)와 유선/무선 통신으로 연결될 수 있다.
통신 인터페이스(110)는 제1 HMD 장치(100)가 외부 장치와 통신 가능하도록 연결한다. 통신 인터페이스(110)는 유/무선 통신을 이용하여 전자 장치(200)와 연결할 수 있다. 상기 통신 인터페이스(110)는 BJ의 실시간 방송 시청을 위한 요청을 전자 장치(200)로 전달하고, 전자 장치(200)로부터 BJ의 실시간 스트리밍 방송 영상 데이터를 수신할 수 있다. 상기 통신 인터페이스(110)는 방송 시청을 위해 가상 현실로 구현된 가상 개인 공간을 나타내는 제1 가상 현실 영상 데이터의 요청을 전자 장치(200)로 전달하고, 전자 장치(200)로부터 제1 가상 현실 영상 데이터를 수신할 수 있다. 상기 통신 인터페이스(110)는 다른 사용자의 가상 개인 공간에 대한 방문 요청을 전자 장치(200)로 전달하고, 전자 장치(200)로부터 BJ의 가상 개인 공간을 나타내는 제2 가상 현실 영상 데이터를 수신할 수 있다. 다양한 실시예에서 통신 인터페이스(110)는 센서(140)를 통해서 획득된 사용자의 시선 데이터를 전자 장치(200)로 전달할 수도 있다.
디스플레이(120)는 사용자에게 각종 콘텐츠(예: 텍스트, 이미지, 비디오, 아이콘, 배너 또는 심볼 등)를 표시할 수 있다. 구체적으로, 디스플레이(120)는 통신 인터페이스(110)를 통해서 수신된 방송 데이터(예: 실시간 스트리밍 영상 또는 VOD 영상 등), 제1 가상 현실 영상 데이터 또는 제2 가상 현실 영상 데이터를 표시할 수 있다.
메모리(130)는 가상 현실 영상 데이터를 표시하기 위해 사용되는 다양한 데이터를 저장할 수 있다. 구체적으로, 메모리(130)는 제1 또는 제2 가상 현실 영상 데이터를 저장하고, 제1 또는 제2 가상 현실 영상 데이터를 표시하기 위해 사용되는 어플리케이션, 프로그램 또는 위젯 등을 저장할 수 있다. 또한, 메모리(130)는 센서(140)를 통해서 획득된 시선 데이터를 저장할 수 있다.
센서(140)는 사용자의 시선을 추적하는 시선 추적 센서를 포함하고, 시선 추적 센서를 통해서 사용자의 시선을 감지하여 감지 신호를 출력할 수 있다. 예를 들어, 시선 추적 센서는 사용자의 눈 또는 얼굴을 촬영하는 카메라 센서를 포함하고, 카메라 센서를 통해서 촬영된 영상을 분석하여 사용자의 시선에 대한 위치 좌표를 나타내는 시선 데이터를 출력할 수 있다. 다양한 실시예에서 사용자의 시선을 추적하기 위해 다양한 방식이 사용될 수 있으며, 영상 분석 이외에 콘택트 렌즈 방식(거울 내장 콘택트 렌즈의 반사된 빛이나, 코일 내장 콘택트 렌즈의 자기장을 이용하는 시선 추적 방식) 또는 센서 부착 방식(눈 주위에 센서를 부착하여 눈의 움직임에 따른 전기장을 이용하는 시선 추적 방식) 등을 이용하여 사용자의 시선을 추적할 수 있다.
프로세서(150)는 통신 인터페이스(110), 디스플레이(120), 메모리(130) 및 센서(140)와 동작 가능하게 연결되며, 사용자의 가상 개인 공간을 나타내는 제1 가상 현실 영상 데이터 또는 BJ의 가상 개인 공간을 나타내는 제2 가상 현실 영상 데이터를 표시하기 위한 다양한 명령들을 수행할 수 있다.
구체적으로, 프로세서(150)는 사용자의 방송 시청을 위한 어플리케이션 실행 요청에 따라 방송 시청을 위한 어플리케이션을 실행하고, 가상 현실 방송 시청을 위한 요청이 수신되면 통신 인터페이스(110)를 통해서 전자 장치(200)로 가상 현실 방송 시청을 위한 요청을 전달할 수 있다. 상기 프로세서(150)는 전자 장치(200)로부터 가상 현실 방송 시청을 위해 가상 현실로 구현된 사용자의 가상 개인 공간을 나타내는 제1 가상 현실 영상 데이터를 수신하여 디스플레이(120)를 통해서 표시할 수 있다.
상기 사용자의 가상 개인 공간은 사용자가 시청하고자 하는 특정 BJ의 방송 시청을 위한 메인 인터페이스 영역 및 방송 시청에 관한 다양한 기능에 관련된 서브 인터페이스 영역을 포함할 수 있다. 상기 메인 인터페이스 영역은 BJ의 실시간 스트리밍 방송을 재생하기 위한 제1 그래픽 화면 및 상기 실시간 스트리밍 방송을 동시에 시청하는 방송 시청자들간의 실시간 채팅을 나타내는 제2 그래픽 화면을 포함할 수 있다. 다양한 실시예에서 메인 인터페이스 영역은 방송 시청에 관련된 커뮤니티 공간(예: 게시판 등)을 나타내는 제3 그래픽 화면을 더 포함할 수 있다. 예를 들어, 제3 그래픽 화면은 BJ의 방송 시청에 관련된 BJ의 가상 개인 공간의 게시판 등일 수 있다. 다양한 실시예에서 제1 그래픽 화면은 복수의 재생 화면들을 포함할 수 있다. 예를 들어, 복수의 재생 화면들은 하나의 메인 재생 화면 및 하나 이상의 서브 재생 화면을 포함할 수 있다. 상기 프로세서(150)는 메인 재생 화면을 통해서 특정 BJ가 제공하는 제1 실시간 스트리밍 방송 데이터를 재생하고, 하나 이상의 서브 재생 화면을 통해서 특정 BJ가 제공하는 제2 실시간 스트리밍 방송 데이터를 재생할 수 있다. 상기 서브 인터페이스 영역은 적어도 하나의 BJ의 실시간 스트리밍 방송에 관련된 영상 목록을 나타내는 제1 인터페이스 화면, 특정 BJ의 VOD 영상 목록을 나타내는 제2 인터페이스 화면, 및 방송 시청 또는 개인 가상 공간에 대한 적어도 하나의 기능에 관련된 제3 인터페이스 화면을 포함할 수 있다.
상기 프로세서(150)는 실시간 스트리밍 방송에 관련하여 기 설정된 조건의 이벤트가 발생되면 발생된 이벤트에 대응하는 가상 현실 효과 객체를 가상 개인 공간에 표시할 수 있다. 상기 기 설정된 조건의 이벤트는 사용자가 BJ에 관한 유료 아이템을 구매하는 이벤트, BJ에 관한 후원 기여도가 높은 사용자가 채팅에 참여하는 이벤트 또는 사용자가 BJ에 의해서 설정된 광고 콘텐츠를 이용하거나 광고 콘텐츠를 이용한 이후에 실시간 스트리밍 방송의 채팅에 참여하는 이벤트 등을 포함할 수 있다. 예를 들어, 프로세서(150)는 사용자에 의해서 유료 아이템이 구매된 경우 해당 유료 아이템에 대응하는 가상 현실 효과 객체를 가상 개인 공간에 표시할 수 있다. 상기 가상 현실 효과 객체는 3차원 그래픽 객체 및 음성 데이터를 포함할 수 있다. 또한, 사용자가 채팅에 참여하는 경우 사용자의 BJ에 대한 후원 기여도가 특정 후원 기여도에 해당하면 특정 후원 기여도에 대응하는 가상 현실 효과 객체를 가상 개인 공간에 표시할 수 있다. 또한, 사용자가 실시간 스트리밍 시청 중 BJ의 방송에 관련된 광고 콘텐츠를 이용하는 경우(예: 광고 배너 또는 이미지를 선택하거나 광고 관련 이벤트에 참여하는 등) 프로세서(150)는 이에 대응하는 가상 현실 효과 객체를 가상 개인 공간에 표시할 수 있다. 상술한 가상 현실 효과 객체들은 BJ의 방송을 시청하는 복수의 방송 시청자의 가상 개인 공간 또는 복수의 방송 시청자들이 방문한 BJ의 가상 개인 공간에 동시에 표시될 수 있다.
다양한 실시예에서 프로세서(150)는 센서(140)를 통해서 사용자의 움직임에 따른 시선 변화를 감지하고, 사용자의 시선이 바라보는 방향에 해당하는 가상 현실 영상 데이터의 적어도 일부를 디스플레이를 통해서 표시할 수 있다. 다양한 실시예에서 프로세서(150)는 사용자의 다양한 시선 방향에 해당하는 가상 현실 영상 데이터를 전자 장치(200)로부터 수신하거나, 사용자의 시선에 해당하는 일부의 가상 현실 영상 데이터를 수신하고 사용자의 시선이 변경되면 변경된 시선에 해당하는 다른 일부의 가상 현실 영상 데이터를 전자 장치(200)로부터 수신할 수도 있다.
다양한 실시예에서 프로세서(150)는 입력 장치(550)를 통해서 채팅 입력을 위한 요청이 있으면 가상 현실 영상 화면의 특정 위치에 채팅 입력을 위한 가상 키보드 영역을 표시할 수 있다. 상기 가상 키보드 영역은 하나 이상의 문자 및 숫자 등을 입력을 위한 복수의 키 영역들이 포함될 수 있다. 상기 프로세서(150)는 입력 장치(550)를 통해서 가상 키보드 영역 중 특정 키 영역에 관련된 선택이 감지되면 선택된 키 영역에 대응하는 문자 또는 숫자 등을 입력 값으로서 채팅 입력 영역을 통해서 입력하여 입력된 문자 또는 숫자 등을 채팅 표시 영역에 표시할 수 있다.
다양한 실시예에서 HMD 장치(110)가 카메라 모듈(미도시)을 구비하는 경우 사용자의 전방에 키보드와 같이 채팅 입력을 위한 입력 장치(550)가 위치하면 프로세서(150)는 카메라 모듈을 통해서 촬영된 사용자의 전방 영상 중 사용자의 손을 랜더링하여 가상 현실 영상에 표시하거나 가상 현실 영상 화면의 일부 영역을 전환하여 사용자의 손이 표시되도록 할 수도 있다.
다양한 실시예에서 사용자의 가상 개인 공간은 사용자뿐만 아니라 사용자가 초대한 다른 사용자(또는 다른 방송 시청자)도 함께 참여 가능하도록 구현될 수 있다. 예를 들어, 사용자가 특정 BJ의 실시간 스트리밍 방송을 다른 사용자들과 함께 시청하고자 할 경우 프로세서(150)는 사용자가 다른 사용자들로 초대 메시지를 전달하기 위한 인터페이스 화면을 제공할 수 있다. 이러한 인터페이스 화면을 통해서 사용자가 초대 메시지를 다른 사용자들로 전달하고, 다른 사용자들로부터 초대를 승인하는 응답 메시지가 수신되면 프로세서(150)는 방송 제공 서버(500)로부터 사용자의 가상 개인 공간 내에 사용자뿐만 아니라 사용자가 초대한 다른 사용자들이 참여하도록 구현된 제1 가상 현실 영상 데이터를 수신할 수 있다.
다양한 실시예에서 프로세서(150)는 BJ의 가상 개인 공간에 방문하기 위한 요청이 있으면 통신 인터페이스(110)를 통해서 전자 장치(200)로 BJ의 가상 개인 공간을 방문하기 위한 요청을 전달할 수 있다. 상기 프로세서(150)는 전자 장치(200)로부터 사용자가 방문자로서 BJ의 가상 개인 공간을 체험할 수 있도록 구성된 제2 가상 현실 영상 데이터를 수신하여 디스플레이(120)를 통해서 표시할 수 있다. 상기 제2 가상 현실 영상 데이터는 BJ에 의해서 설정된 방송 영상(예: BJ의 실시간 스트리밍 영상, 다시보기 영상, 하이트라이트 영상 또는 시청자가 제작한 VOD 영상 등)을 재생하기 위한 메인 인터페이스 영역 및 BJ의 가상 개인 공간에 대한 다양한 기능에 관련된 서브 인터페이스 영역을 포함할 수 있다. 상기 메인 인터페이스 영역은 BJ에 의해서 설정된 방송 영상을 재생하기 위한 제1 그래픽 화면 및 해당 방송 영상에 관련된 채팅 데이터를 나타내는 제2 그래픽 화면을 포함할 수 있다. 다양한 실시예에서 메인 인터페이스 영역은 BJ의 방송에 관련된 커뮤니티 공간(예: 공지사항, 게시판 등)을 나타내는 제3 그래픽 화면 또는 BJ의 방송 다시보기 영상, 하이트라이트 영상, 시청자가 제작한 VOD 영상 등의 영상 목록을 나타내는 제4 그래픽 화면을 더 포함할 수 있다. 상기 서브 인터페이스 영역은 방송 다시보기 영상, 방송 하이라이트 영상, 시청자 VOD 영상 또는 실시간 스트리밍 방송 영역의 재생을 설정하기 위한 제1 인터페이스 화면 및 BJ의 가상 개인 공간에 관련하여 사용자에게 제공되는 다양한 기능에 관련된 제2 인터페이스 화면을 포함할 수 있다. 예를 들어, 다양한 기능은 아바타 또는 개인 방송 공간을 꾸미기 위한 유료 아이템의 구매 또는 선물 등의 기능 및 구매하거나 선물받은 유료 아이템을 가상 개인 공간에 배치하기 위한 기능 등을 포함할 수 있다.
다양한 실시예에서 프로세서(150)는 입력 장치(550)를 통해서 BJ의 가상 개인 공간에 방문하기 위한 사용자의 요청이 있으면 전자 장치(200)로부터 사용자의 후원 기여도에 따라 BJ에 의해서 사용자 등급별로 서로 다르게 설정된 가상 개인 공간을 나타내는 제2 가상 현실 영상 데이터를 수신할 수 있다. 구체적으로, 프로세서(150)는 전자 장치(200)로 BJ의 가상 개인 공간을 방문하기 위한 요청을 전달하고, 전자 장치(200)로부터 사용자의 후원 기여도에 해당하여 BJ에 의해서 설정된 가상 개인 공간을 나타내는 제2 가상 현실 영상 데이터를 수신하여 디스플레이(120)를 통해서 표시할 수 있다. 예를 들어, 후원 기여도가 높은 사용자에게 제공되도록 설정된 가상 개인 공간은 후원 기여도가 낮은 사용자에게 제공되도록 설정된 가상 개인 공간과 그래픽 화면이 배치된 개수, 크기 및 해상도, 가상 개인 공간의 구조, 배경 스킨, 가상 현실 객체의 배치, 종류 등이 서로 다를 수 있다.
다양한 실시예에서 프로세서(150)는 사용자 요청에 따라 BJ의 방송에 관한 적어도 하나의 유료 아이템을 구매하기 위한 제3 인터페이스 화면을 표시하고, 사용자에 의해서 특정 유료 아이템이 선택되면 선택된 유료 아이템에 대한 결제 동작을 수행할 수 있다. 유료 아이템에 대한 결제가 완료되면 프로세서(150)는 해당 유료 아이템에 대응하는 가상 현실 효과 객체를 사용자가 방문중인 BJ의 가상 개인 공간에 표시할 수 있다.
다양한 실시예에서 프로세서(150)는 사용자가 BJ의 실시간 스트리밍 방송 시청을 위해 BJ의 가상 개인 공간에 방문하여 채팅에 참여할 경우 사용자가 BJ에 대한 후원 기여도가 특정 후원 기여도에 해당하면 특정 후원 기여도에 대응하는 가상 현실 효과 객체를 사용자가 방문 중인 BJ의 가상 개인 공간에 표시할 수 있다.
다양한 실시예에서 프로세서(150)는 사용자가 BJ의 실시간 스트리밍 방송 시청을 위해 BJ의 가상 개인 공간에 방문하여 BJ의 방송에 관련된 광고 이벤트에 참여할 경우 이에 대응하는 가상 현실 효과 객체를 사용자가 방문 중인 BJ의 가상 개인 공간에 표시할 수 있다.
상술한 가상 현실 효과 객체들은 BJ의 방송을 시청하는 복수의 방송 시청자의 가상 개인 공간 또는 복수의 방송 시청자들이 방문한 BJ의 가상 개인 공간에 동시에 표시될 수 있다.
다양한 실시예에서 입력 장치(550)는 제1 HMD 장치(100)와 유/무선 통신으로 연결되고, 사용자의 그립을 감지하거나, 사용자의 움직임을 감지하기 위한 센서(미도시)를 포함할 수 있다. 상기 입력 장치(550)는 버튼을 더 구비하여 버튼 입력에 따른 버튼 입력 신호를 제1 HMD 장치(100)로 전달할 수 있다. 상기 제1 HMD 장치(100)는 입력 장치(550)의 움직임에 대응하는 포인터를 디스플레이(120)를 통해서 표시할 수 있다.
상기 제1 HMD 장치(100)는 입력 장치(550)로부터 수신되는 센서의 감지 신호에 따라 디스플레이(120)를 통해서 표시되는 가상 개인 공간 내 포인터를 이동시켜 표시할 수 있다. 또한, 제1 HMD 장치(100)는 포인터의 위치 및 입력 장치(550)로부터 수신된 버튼 입력 신호에 따라 가상 현실 공간 내에 특정 객체(예: 그래픽 화면, 인터페이스 화면, 가상 현실 객체 등)을 선택할 수 있다.
다음으로 도 4를 참조하면, 사용자 단말은 제1 HMD 장치(100)가 디스플레이를 구비하지 않은 경우 제1 HMD 장치(100)에 장착되는 영상 출력 장치(600)를 더 포함할 수 있다. 상기 제1 HMD 장치(100)는 통신 인터페이스(110), 메모리(130), 센서(140) 및 프로세서(150)를 포함하고, 상기 영상 출력 장치(600)는 통신 인터페이스(610), 디스플레이(620), 메모리(630) 및 프로세서(640)를 포함할 수 있다.
먼저, 제1 HMD 장치(100)에 관련하여 통신 인터페이스(110)는 유/무선 통신을 이용하여 전자 장치(200) 및 영상 출력 장치(600)와 연결할 수 있다. 또한, 통신 인터페이스(110)는 센서(140)를 통해서 획득된 사용자의 시선 데이터를 영상 출력 장치(600)로 전달할 수 있다. 다양한 실시예에서 통신 인터페이스(110)는 입력 장치(550)와 유선/무선 통신을 이용하여 연결할 수도 있다.
메모리(130)는 센서(140)를 통해서 획득된 시선 데이터를 저장할 수 있다.
센서(140)는 도 3에서 살펴본 바와 같이 사용자의 시선을 추적하는 시선 추적 센서를 포함할 수 있다. 예를 들어, 시선 추적 센서는 사용자의 눈 또는 얼굴을 촬영하는 카메라 센서(미도시)를 포함하고, 카메라 센서를 통해서 촬영된 영상을 분석하여 사용자의 시선에 대한 위치 좌표를 나타내는 시선 데이터를 출력할 수 있다.
프로세서(150)는 도 3에서 살펴본 바와 같이 통신 인터페이스(110), 디스플레이(120), 메모리(130) 및 센서(140)와 동작 가능하게 연결되며, 센서(140)를 통해서 획득된 시선 데이터를 영상 출력 장치(200)로 전달할 수 있다. 구체적으로, 프로세서(150)는 센서(140)를 통해서 사용자의 시선 변화에 따른 시선 데이터를 획득하고, 획득된 시선 데이터를 영상 출력 장치(200)로 전달할 수 있다.
다양한 실시예에서 프로세서(150)는 영상 출력 장치(600)를 통해서 입력을 위한 요청이 수신되면 유선/무선 통신을 이용하여 입력 장치(550)와 연결을 수행하고, 입력 장치(550)로부터 특정 키 영역에 대응하는 입력 신호를 수신하고, 수신된 입력 신호를 영상 출력 장치(600)로 전달할 수 있다.
다음으로, 영상 출력 장치(600)에 관련하여 통신 인터페이스(610)는 제1 HMD 장치(100)와 유선 또는 무선 통신을 이용하여 연결할 수 있다. 상기 통신 인터페이스(610)는 방송 제공 장치(300) 또는 방송 관리 장치(500)와 무선 통신을 이용하여 연결할 수 있다. 상기 통신 인터페이스(610)는 방송 시청을 위해 가상 현실로 구현된 가상 개인 공간을 나타내는 제1 가상 현실 영상 데이터의 요청을 방송 제공 장치(300) 또는 방송 관리 서버(500)로 전달하고, 방송 제공 장치(300) 또는 방송 관리 서버(500)로부터 제1 가상 현실 영상 데이터를 수신할 수 있다. 상기 통신 인터페이스(610)는 다른 사용자의 가상 개인 공간에 대한 방문 요청을 방송 제공 장치(300) 또는 방송 관리 서버(500)로 전달하고, 방송 제공 장치(300) 또는 방송 관리 서버(500)로부터 다른 사용자의 가상 개인 공간을 나타내는 제2 가상 현실 영상 데이터를 수신할 수 있다. 다양한 실시예에서 통신 인터페이스(610)는 제1 HMD 장치(100)로부터 사용자의 시선 데이터 또는 입력 장치(550)로부터의 입력 신호를 수신할 수 있다. 다양한 실시예에서 통신 인터페이스(610)는 제1 HMD 장치(100)로부터 영상 출력 장치(600)가 제1 HMD 장치(100)에 장착됨을 나타내는 신호를 수신할 수도 있다.
디스플레이(620)는 사용자에게 각종 콘텐츠(예: 텍스트, 이미지, 비디오, 아이콘, 배너 또는 심볼 등)를 표시할 수 있다. 구체적으로, 디스플레이(520)는 통신 인터페이스(610)를 통해서 수신된 제1 가상 현실 영상 데이터 또는 제2 가상 현실 영상 데이터를 표시할 수 있다.
메모리(630)는 가상 현실 영상 데이터를 표시하기 위해 사용되는 다양한 데이터를 저장할 수 있다. 구체적으로, 메모리(630)는 제1 가상 현실 영상 데이터 또는 제2 가상 현실 영상 데이터를 저장하고, 제1 또는 제2 가상 현실 영상 데이터를 표시하기 위해 사용되는 어플리케이션, 프로그램 또는 위젯 등을 저장할 수 있다. 또한, 메모리(630)는 제1 HMD 장치(100)를 통해서 수신된 시선 데이터를 저장할 수 있다.
프로세서(640)는 통신 인터페이스(610), 디스플레이(620) 및 메모리(630)와 동작 가능하게 연결되며, 사용자의 가상 개인 공간을 나타내는 제1 가상 현실 영상 데이터 또는 다른 사용자의 가상 개인 공간을 나타내는 제2 가상 현실 영상 데이터를 표시하기 위한 다양한 명령들을 수행할 수 있다.
구체적으로, 프로세서(640)는 사용자의 어플리케이션 실행 요청에 따라 어플리케이션 실행 요청에 따라 방송 시청을 위한 어플리케이션을 실행하고, 가상 현실 방송 시청을 위한 요청이 수신되면 통신 인터페이스(610)를 통해서 방송 관리 장치(500)로 가상 현실 방송 시청을 위한 요청을 전달할 수 있다. 예를 들어, 가상 현실 방송 시청을 위한 요청은 제1 HMD 장치(100)로부터 영상 출력 장치(600)가 제1 HMD 장치(100)에 장착됨을 나타내는 신호를 수신하는 경우를 포함할 수 있다. 상기 프로세서(640)는 방송 관리 장치(500)로부터 가상 현실 방송 시청을 위해 가상 현실로 구현된 사용자의 가상 개인 공간을 나타내는 제1 가상 현실 영상 데이터를 수신하고, 수신된 제1 가상 현실 영상 데이터를 디스플레이(620)를 통해서 표시할 수 있다. 상기 제1 가상 현실 영상 데이터는 사용자의 다양한 시선 방향에 해당하는 가상 현실 영상 데이터 또는 사용자의 시선 방향에 해당하는 일부의 가상 현실 영상 데이터일 수 있다.
다양한 실시예에서 프로세서(640)는 실시간 스트리밍 방송에 관련하여 기 설정된 조건의 이벤트가 발생되면 발생된 이벤트에 대응하는 효과 객체를 사용자의 가상 개인 공간에 표시할 수 있다. 상기 기 설정된 조건의 이벤트는 실시간 스트리밍 방송을 시청하는 사용자가 BJ에 관한 유료 아이템을 구매하는 이벤트, BJ에 관한 후원 기여도가 높은 사용자가 BJ의 실시간 스트리밍 방송의 채팅에 참여하는 이벤트, 실시간 스트리밍 방송을 시청하는 사용자가 BJ에 의해서 설정된 광고 콘텐츠를 이용하거나 광고 콘텐츠를 이용한 이후에 실시간 스트리밍 방송의 채팅에 참여하는 이벤트 등을 포함할 수 있다. 예를 들어, BJ의 실시간 방송을 시청중인 사용자가 BJ의 실시간 방송에 관한 유료 아이템을 구매하는 경우 프로세서(640)는 구매된 유료 아이템에 대응하는 가상 현실 효과 객체를 사용자의 가상 개인 공간에 표시할 수 있다. 또한, BJ의 실시간 방송을 시청중인 사용자가 실시간 방송 채팅에 참여하는 경우 해당 사용자의 후원 기여도가 특정 후원 기여도에 해당하면 프로세서(640)는 특정 후원 기여도에 대응하는 가상 현실 효과 객체를 사용자의 가상 개인 공간에 표시할 수 있다. 또한, BJ의 실시간 방송을 시청중인 사용자가 BJ에 의해서 설정된 광고 콘텐츠를 이용하거나 광고 콘텐츠를 이용한 이후에 실시간 스트리밍 방송의 채팅에 참여한 경우 프로세서(640)는 광고 콘텐츠 이용에 대응하는 가상 현실 효과 객체를 사용자의 가상 개인 공간에 표시할 수 있다.
다양한 실시예에서 프로세서(640)는 입력 장치(550)를 통해서 BJ의 가상 개인 공간에 방문하기 위한 사용자의 요청이 있으면 통신 인터페이스(610)를 통해서 해당 요청을 방송 관리 장치(500)로 전달할 수 있다. 방송 관리 장치(500)로부터 사용자가 방문자로서 BJ의 가상 개인 공간을 체험할 수 있도록 설정된 제2 가상 현실 영상 데이터가 수신되면 프로세서(640)는 수신된 제2 가상 현실 영상 데이터를 디스플레이(620)를 통해서 표시할 수 있다. 예를 들어, 제2 가상 현실 영상 데이터는 사용자의 후원 기여도에 따라 BJ에 의해서 사용자 등급별로 서로 다르게 설정된 가상 개인 공간을 나타낼 수 있다. 상기 제2 가상 현실 영상 데이터는 BJ에 의해서 설정된 방송 영상(예: BJ의 실시간 스트리밍 영상, 다시보기 영상, 하이트라이트 영상 또는 시청자가 제작한 VOD 영상 등)을 재생하기 위한 메인 인터페이스 영역 및 BJ의 가상 개인 공간에 관련하여 사용자에게 제공될 수 있는 다양한 기능에 관련된 서브 인터페이스 영역을 포함할 수 있다. 상기 메인 인터페이스 영역은 BJ가 실시간 스트리밍 방송을 하는 경우 BJ에 의해서 설정된 실시간 스트리밍 방송을 재생하기 위한 제1 그래픽 화면 및 실시간 스트리밍 방송의 채팅 내용 영역 및 채팅 입력 영역을 나타내는 제2 그래픽 화면이 포함할 수 있다.
다양한 실시예에서 프로세서(640)는 실시간 스트리밍 방송에 관련하여 기 설정된 조건의 이벤트가 발생되면 발생된 이벤트에 대응하는 가상 현실 효과 객체를 사용자가 방문한 BJ의 개인 방송 공간에 표시할 수 있다. 상기 기 설정된 조건의 이벤트는 실시간 스트리밍 방송을 시청하는 사용자가 BJ에 관한 유료 아이템을 구매하는 이벤트, BJ에 관한 후원 기여도가 특정 후원 기여도에 해당하는 사용자가 BJ의 실시간 스트리밍 방송의 채팅에 참여하는 이벤트, 실시간 스트리밍 방송을 시청하는 사용자가 BJ에 의해서 설정된 광고 콘텐츠를 이용하거나 광고 콘텐츠를 이용한 이후에 실시간 스트리밍 방송의 채팅에 참여하는 이벤트 등을 포함할 수 있다. 예를 들어, BJ의 실시간 방송을 시청중인 사용자가 BJ의 실시간 방송에 관한 유료 아이템을 구매하는 경우 프로세서(640)는 구매된 유료 아이템에 대응하는 가상 현실 효과 객체를 사용자가 방문중인 BJ의 가상 개인 공간에 표시할 수 있다. 또한, BJ의 실시간 방송을 시청중인 사용자가 실시간 방송 채팅에 참여하는 경우 해당 사용자의 후원 기여도가 특정 후원 기여도에 해당하는 경우 프로세서(640)는 특정 후원 기여도에 대응하는 가상 현실 효과 객체를 사용자가 방문중인 BJ의 가상 개인 공간에 표시할 수 있다. 또한, BJ의 실시간 방송을 시청중인 사용자가 BJ에 의해서 설정된 광고 콘텐츠를 이용하거나 광고 콘텐츠를 이용한 이후에 실시간 스트리밍 방송의 채팅에 참여한 경우 프로세서(640)는 광고 이벤트 참여에 대응하는 가상 현실 효과 객체를 사용자가 방문중인 BJ의 가상 개인 공간에 표시할 수 있다. 예를 들어, 광고 콘텐츠를 이용하는 동작은 BJ의 방송에 관련된 광고 배너 또는 광고 이미지를 선택하거나 광고 이벤트에 참여하는 동작 등을 포함할 수 있다.
상술한 가상 현실 효과 객체들은 BJ의 실시간 스트리밍 방송을 함께 시청중인 다른 방송 시청자의 가상 개인 공간 또는 BJ의 실시간 스트리밍 방송을 시청하기 위해 다른 방송 시청자가 BJ의 개인 방송 공간에 방문중인 경우 해당 개인 방송 공간에 동일하게 동시에 표시될 수 있다.
도 5는 본 발명의 실시예에 따른 방송 제공 장치를 설명하기 위한 개략도이다. 도 5를 참조하면, 방송 제공 장치(300)는 통신 인터페이스(310), 디스플레이(320), 메모리(330) 및 프로세서(340)를 포함할 수 있다. 상기 방송 제공 장치(300)는 BJ 방송을 위한 촬영 장치(400) 또는 디스플레이가 구비된 제2 HMD 장치(410)가 연결될 수 있다.
통신 인터페이스(310)는 방송 제공 장치(300)가 외부 장치와 통신 가능하도록 연결한다. 통신 인터페이스(310)는 유/무선 통신을 이용하여 전자 장치(200), 방송 관리 장치(500), 촬영 장치(400) 또는 제2 HMD 장치(410)와 연결할 수 있다. 상기 통신 인터페이스(310)는 BJ의 방송 데이터(예: 실시간 스트리밍 영상 또는 VOD 영상)를 방송 제공 장치(300)에 접속된 적어도 하나의 사용자 단말(예: 제1 HMD 장치(100) 또는 전자 장치(200))로 전송(예: 브로드캐스팅)하거나 방송 관리 서버(500)로 전달할 수 있다. 상기 통신 인터페이스(310)는 촬영 장치(400)로부터 영상 신호를 수신하거나 제2 HMD 장치(410)로 BJ의 가상 개인 공간을 나타내는 제3 가상 현실 영상 데이터를 전달할 수 있다. 여기서, 제3 가상 현실 영상 데이터는 BJ에게 제공하기 위해 BJ 가상 개인 공간을 가상 현실로 구현한 가상 현실 영상일 수 있다. 상기 BJ에게 제공되는 BJ의 가상 개인 공간은 사용자에게 제공되는 BJ의 가상 개인 공간과 서로 다를 수 있다.
디스플레이(320)는 사용자(예: BJ)에게 각종 콘텐츠(예: 텍스트, 이미지, 비디오, 아이콘, 배너 또는 심볼 등)를 표시할 수 있다. 구체적으로, 디스플레이(320)는 방송 시청을 위한 플랫폼(예: 방송 프로그램 또는 어플리케이션)에 대한 실행 화면을 표시할 수 있다.
메모리(330)는 방송을 위한 다양한 데이터를 저장할 수 있다. 구체적으로, 메모리(330)는 방송 송출을 위한 플랫폼(예: 방송 프로그램 또는 어플리케이션)을 저장하고, 촬영 장치(400)로부터 수신된 영상 신호를 저장할 수 있다.
프로세서(340)는 통신 인터페이스(310), 디스플레이(320) 및 메모리(330)와 동작 가능하게 연결되며, 방송을 위한 다양한 명령들을 수행할 수 있다. 구체적으로, 프로세서(340)는 BJ의 방송을 위한 어플리케이션 실행 요청에 따라 방송 송출을 위한 플랫폼(예: 방송 프로그램 또는 어플리케이션)을 이용하여 촬영 장치(400)를 통해서 입력된 영상 신호를 기록하고, 기록된 영상 신호를 실시간 스트리밍으로 적어도 하나의 사용자 단말(예: 전자 장치(200) 또는 영상 출력 장치(600)) 또는 방송 관리 서버(500)로 전송할 수 있다.
다양한 실시예에서 프로세서(340)는 통신 인터페이스(310)를 통해서 제2 HMD 장치(410)로부터 가상 현실로 구현된 BJ의 가상 개인 공간을 나타내는 제3 가상 현실 영상 데이터의 표시에 대한 요청을 수신하고, 해당 요청을 방송 관리 서버(500)로 전달할 수 있다. 방송 관리 서버(500)로부터 제3 가상 현실 영상 데이터가 수신되면 프로세서(340)는 수신된 제3 가상 현실 영상 데이터를 제2 HMD 장치(410)로 전달할 수 있다. 예를 들어, 프로세서(340)는 제2 HMD 장치(410)로부터 BJ가 제2 HMD 장치(410)를 장착함을 나타내는 신호가 수신되면 방송 관리 서버(500)로 제3 가상 현실 영상 데이터에 대한 요청을 전달할 수 있다.
제2 HMD 장치(410)는 디스플레이(미도시)를 구비하고, 방송 제공 장치(300)로부터 수신된 제3 가상 현실 영상 데이터를 디스플레이를 통해서 표시할 수 있다. 상기 BJ의 가상 개인 공간은 BJ에 의해서 설정된 방송 영상을 재생하기 위한 메인 인터페이스 영역 및 BJ의 가상 개인 공간을 설정하기 위한 다양한 기능에 관련된 서브 인터페이스 영역을 포함할 수 있다. 예를 들어, 제3 가상 현실 영상 데이터는 BJ의 가상 개인 공간의 배경 영역이 표시되는 제1 레이어, BJ의 가상 개인 공간에 대한 메인 인터페이스 영역이 표시되는 제2 레이어 및 BJ의 가상 개인 공간에 관련하여 BJ에게 제공될 수 있는 다양한 기능에 관련된 서브 인터페이스 영역이 표시되는 제3 레이어가 합성된 영상 데이터일 수 있다.
상기 BJ의 가상 개인 공간의 메인 인터페이스 영역은 BJ의 방송 다시보기 영상, 하이트라이트 영상, 시청자가 제작한 VOD 영상 등의 방송 영상을 재생하기 위한 제1 그래픽 화면 및 해당 영상에 대응하는 채팅 데이터를 나타내는 제2 그래픽 화면을 포함할 수 있다. 다양한 실시예에서 메인 인터페이스 영역은 BJ의 방송에 관련된 커뮤니티 공간(예: 공지사항, 게시판 등)을 나타내는 제3 그래픽 화면, 또는 BJ의 방송 다시보기 영상, 하이트라이트 영상, 시청자가 제작한 VOD 영상 등의 영상 목록을 나타내는 제4 그래픽 화면을 더 포함할 수 있다. 다양한 실시예에서 제1 그래픽 화면은 복수개로 구현되어 BJ에 의해서 선택된 방송 다시보기 영상, 방송 하이라이트 영상 및 시청자가 제작한 VOD들 중 적어도 둘 이상이 재생될 수 있다.
상기 BJ의 가상 개인 공간의 서브 인터페이스 영역은 방송 다시보기 영상, 방송 하이라이트 영상 또는 시청자 VOD 영상의 재생을 설정하기 위한 제1 인터페이스 화면 및 BJ의 가상 개인 공간을 설정하기 위해 BJ에게 제공될 수 있는 다양한 기능에 관련된 제2 인터페이스 화면을 포함할 수 있다. 예를 들어, BJ의 가상 개인 공간을 설정하기 위한 다양한 기능은 제1 그래픽 화면의 개수, 크기 또는 해상도 등을 설정하기 위한 기능, 제2 그래픽 화면의 크기 또는 온/오프 등을 설정하기 위한 기능, 커뮤니티 공간을 나타내는 제3 그래픽 화면의 크기, 배치, 구조 등을 설정하기 위한 기능, 제4 그래픽 화면의 크기, 영상 목록의 개수, 목록 표시 방법 등을 설정하기 위한 기능, 아바타 또는개인 방송 공간을 꾸미기 위한 유료 아이템의 구매 또는 선물 등의 기능 및 구매하거나 선물받은 유료 아이템을 가상 개인 공간에 배치하기 위한 기능 등을 포함할 수 있다. 이를 통해서, 제2 HMD 장치(410)는 사용자의 요청에 의해 제2 인터페이스 화면을 통해서 제1 그래픽 화면의 개수, 크기 재생 영상의 종류 또는 해상도 등을 설정하거나, 제2 그래픽 화면의 크기 또는 온/오프 등을 설정하거나, 제3 그래픽 화면의 크기, 배치, 구조 등을 설정하거나, 제4 그래픽 화면의 크기, 영상 목록의 개수, 목록 표시 방법 등을 설정하거나, 유료 아이템의 구매 또는 선물 등을 수행하거나, 구매하거나 선물받은 유료 아이템을 가상 개인 공간에 배치할 수 있다.
다양한 실시예에서 영상 제공 장치(300)는 메모리(330)가 가상 현실 영상 데이터를 생성하기 위한 어플리케이션 또는 프로그램 등을 더 저장하고, 해당 어플리케이션 또는 프로그램 등을 이용하여 제1, 제2 및 제3 가상 현실 영상 데이터를 생성할 수도 있다. 이와 같이 생성된 제1 및 제2 가상 현실 영상 데이터는 방송 관리 서버(500)를 통해서 전자 장치(200) 또는 영상 출력 장치(600)로 전달될 수 있다.
도 6은 본 발명의 실시예에 따른 방송 관리 서버를 설명하기 위한 개략도이다. 도 6을 참조하면, 방송 관리 서버(500)는 통신 인터페이스(510), 가상 현실 영상 처리부(520), 메모리(530) 및 프로세서(540)를 포함할 수 있다.
통신 인터페이스(510)는 방송 관리 서버(500)가 외부 장치와 통신 가능하도록 연결한다. 통신 인터페이스(510)는 유/무선 통신을 이용하여 제1 HMD 장치(100), 전자 장치(200), 방송 제공 장치(300), 제2 HMD 장치(410) 또는 영상 출력 장치(600)와 연결되어 다양한 정보를 송수신할 수 있다. 구체적으로, 통신 인터페이스(510)는 전자 장치(200) 또는 영상 출력 장치(600)로부터 제1 가상 현실 영상 데이터의 요청 또는 제2 가상 현실 영상 데이터의 요청을 수신하고, 전자 장치(200) 또는 영상 출력 장치(600)로 제1 가상 현실 영상 데이터 또는 제2 가상 현실 영상 데이터를 전달할 수 있다. 상기 통신 인터페이스(510)는 제2 HMD 장치(410)에 장착된 영상 출력 장치(600) 또는 방송 제공 장치(300)로부터 제3 가상 현실 영상 데이터의 요청을 수신하고, 제2 HMD 장치(410)에 장착된 영상 출력 장치(600) 또는 방송 제공 장치(300)로 제3 가상 현실 영상 데이터를 전달할 수 있다. 다양한 실시예에서 통신 인터페이스(510)는 제1 HMD 장치(100) 또는 전자 장치(200)로부터 사용자의 가상 개인 공간에 관한 다양한 설정 정보를 수신할 수 있다. 다양한 실시예에서 통신 인터페이스(510)는 영상 제공 장치(300) 또는 제2 HMD 장치(410)로부터 BJ의 가상 개인 공간 또는 가상 개인 공간에 관한 다양한 설정 정보를 수신할 수 있다. 다양한 실시예에서 BJ에게 제공되는 BJ의 가상 개인 공간 및 사용자에게 제공되는 BJ의 가상 개인 공간은 서로 동일할 수 있으나, BJ가 사용자별로 서로 다른 형태의 가상 개인 공간을 설정한 경우 사용자에게 제공되는 BJ의 가상 개인 공간은 사용자별로 다를 수 있고, BJ의 설정에 따라 BJ에게 제공되는 BJ의 가상 개인 공간과 사용자에게 제공되는 BJ의 가상 개인 공간은 서로 다를 수 있다.
가상 현실 영상 처리부(520)는 방송 시청자가 방송 시청이 가능하도록 가상 현실로 구현된 가상 개인 공간을 나타내는 제1 가상 현실 영상 데이터, 방송 시청자가 방문자로서 BJ의 가상 개인 공간을 체험할 수 있도록 가상 현실로 구현된 BJ의 가상 개인 공간을 나타내는 제2 가상 현실 영상 데이터 및 BJ에게 제공될 수 있도록 가상 현실로 구현된 BJ의 가상 개인 공간을 나타내는 제3 가상 현실 영상 데이터를 생성할 수 있다. 구체적으로, 가상 현실 영상 처리부(520)는 제1 가상 현실 영상 데이터를 생성하기 위해 사용자의 가상 개인 공간의 배경 영역을 제1 레이어에 할당하고, 메인 인터페이스 영역을 제2 레이어에 할당하고, 서브 인터페이스 영역을 제3 레이어에 할당할 수 있다. 예를 들어, 가상 개인 공간의 배경 영역은 사용자에 의해서 설정된 가상 개인 공간을 꾸미기 위한 벽지, 마루, 장판, 소파, 의자, 탁자, 액자, 책장 등의 인테리어 관련 소품 등과 같은 다양한 가상 현실 객체들을 포함할 수 있다. 상기 가상 현실 영상 처리부(520)는 방송 제공 장치(300)로부터 수신된 실시간 스트리밍 방송 데이터를 메인 인터페이스 영역의 제1 그래픽 화면에 표시되도록 제2 레이어에 할당할 수 있다. 다양한 실시예에서 제1 그래픽 화면이 둘 이상인 경우 가상 현실 영상 처리부(520)는 방송 제공 장치(300)로부터 수신된 둘 이상의 실시간 스트리밍 방송 데이터를 둘 이상의 제1 그래픽 화면 각각에 표시되도록 제2 레이어에 할당할 수 있다. 상기 가상 현실 영상 처리부(520)는 제1 레이어, 제2 레이어 및 제3 레이어를 합성한 제1 가상 현실 영상 데이터를 생성할 수 있다.
상기 가상 현실 영상 처리부(520)는 제1 가상 현실 영상 데이터에 관하여 상술한 바와 유사하게 제2 가상 현실 영상 데이터 및 제3 가상 현실 영상 데이터를 생성할 수 있다. 구체적으로, 가상 현실 영상 처리부(520)는 제2 가상 현실 영상 데이터를 생성하기 위해 BJ의 가상 개인 공간의 배경 영역을 제1 레이어에 할당하고, 메인 인터페이스 영역을 제2 레이어에 할당하고, 서브 인터페이스 영역을 제3 레이어에 할당할 수 있다. 상기 가상 현실 영상 처리부(520)는 제1 레이어, 제2 레이어 및 제3 레이어를 합성한 제2 가상 현실 영상 데이터를 생성할 수 있다. 또한, 가상 현실 영상 처리부(520)는 제3 가상 현실 영상 데이터를 생성하기 위해 BJ의 가상 개인 공간의 배경 영역을 제1 레이어에 할당하고, 메인 인터페이스 영역을 제2 레이어에 할당하고, 서브 인터페이스 영역을 제3 레이어에 할당할 수 있다. 상기 가상 현실 영상 처리부(520)는 제1 레이어, 제2 레이어 및 제3 레이어를 합성한 제3 가상 현실 영상 데이터를 생성할 수 있다.
다양한 실시예에서 가상 현실 영상 처리부(520)는 사용자 단말을 통해서 사용자가 특정 사용자들을 초대하고, 초대한 특정 사용자들이 사용자의 가상 개인 공간에 참여하기 위한 요청에 따라 사용자 및 사용자가 초대한 다른 사용자들이 사용자의 가상 개인 공간에 참여하도록 구현된 제1 가상 현실 영상 데이터를 생성할 수 있다. 이러한 제1 가상 현실 영상 데이터는 사용자의 가상 현실 내 아바타와 초대된 다른 사용자들 각각의 가상 현실 내 아바타가 함께 사용자의 가상 개인 공간에 있는 듯한 체험을 할 수 있도록 구현될 수 있다.다양한 실시예에서 가상 현실 영상 처리부(520)는 사용자 단말로부터 수신된 사용자의 가상 개인 공간에 관한 다양한 설정 정보에 기반하여 제1 그래픽 화면의 개수, 크기, 재생 영상의 종류 또는 해상도 등을 변경하거나, 제2 그래픽 화면의 크기를 변경하거나, 제2 그래픽 화면을 온/오프하거나, 영상 목록을 설정 또는 변경하거나, 유료 아이템 구매 또는 선물에 따른 가상 개인 공간의 꾸미기에 의해 가상 개인 공간의 벽, 바닥, 인테리어 소품 등을 변경하는 등의 변경된 설정이 적용되도록 제1 가상 현실 영상 데이터를 생성할 수 있다. 다양한 실시예에서 가상 현실 영상 처리부(520)는 영상 제공 장치(300)로부터 수신된 BJ의 가상 개인 공간 또는 가상 개인 공간에 관한 다양한 설정 정보에 기반하여 변경된 설정이 적용되도록 제2 가상 현실 영상 데이터 또는 제3 가상 현실 영상 데이터를 생성할 수 있다.
메모리(530)는 실시간 스트리밍 방송 영상 데이터 또는 VOD 영상 데이터를 제공하거나 가상 현실 영상 데이터를 생성하기 위해 사용되는 다양한 데이터를 저장할 수 있다. 구체적으로, 메모리(530)는 가상 현실 영상 처리부(520)를 통해서 생성된 제1, 제2 및 제3 가상 현실 영상 데이터를 저장할 수 있다. 상기 메모리(530)는 사용자 단말 또는 영상 제공 장치(300)로부터 수신된 다양한 설정 정보를 저장할 수 있다. 또한, 메모리(530)는 BJ 식별자별로 실시간 스트리밍 영상 데이터, VOD 영상 데이터, 다시보기 영상 데이터, 하이라이트 영상 데이터, 시청자 제작 영상 등을 저장할 수 있다.
프로세서(540)는 통신 인터페이스(510), 가상 현실 영상 처리부(520) 및 메모리(530)와 동작 가능하게 연결되며, 실시간 스트리밍 방송 영상 또는 VOD 영상을 제공하거나 제1, 제2 또는 제3 가상 현실 영상 데이터를 생성하기 위한 다양한 명령들을 수행할 수 있다. 구체적으로, 프로세서(540)는 통신 인터페이스(510)를 통해서 제1, 제2 또는 제3 가상 현실 영상 데이터에 대한 요청을 수신하고, 가상 현실 영상 처리부(520)를 통해서 생성된 제1 또는 제2 가상 현실 영상 데이터를 제1 HMD 장치(100) 또는 영상 출력 장치(600)로 전달하거나 생성된 제3 가상 현실 영상 데이터를 제2 HMD 장치(410) 또는 영상 제공 장치(300)로 전달할 수 있다.
다양한 실시예에서 별도의 가상 현실 영상 처리부를 구비하지 않고, 프로세서(540)가 가상 현실 영상 처리부(520)의 동작을 수행할 수도 있다.
도 7은 본 발명의 실시예에 따른 사용자 단말에서 가상 현실 방송을 시청하기 위한 사용자 인터페이스를 제공하는 방법을 설명하기 위한 개략적인 순서도이다.
도 7을 참조하면, 사용자 단말(예: 제1 HMD 장치(100) 또는 영상 출력 장치(600))은 방송 관리 서버(300)로부터 방송 제공자(예: BJ)의 실시간 스트리밍 방송을 시청하기 위해 가상 현실로 구현한 사용자의 가상 개인 공간을 나타내는 제1 가상 현실 데이터를 수신하고(S700), 수신된 제1 가상 현실 데이터를 사용자 단말의 디스플레이를 통해서 표시할 수 있다(S710). 방송 제공자의 실시간 스트리밍 방송에 관련하여 기 설정된 조건의 이벤트가 발생되면 사용자 단말은 발생된 이벤트에 대응하는 가상 현실 효과 객체를 가상 개인 공간에 표시할 수 있다(S720).
하기에서는 제1 HMD 장치(100)의 디스플레이(120) 및 영상 출력 장치(600)의 디스플레이(620)를 통해서 표시되는 제1 가상 현실 영상 데이터에 대해서 도 8, 도 9a, 도 9b, 도 10a, 도 10b, 도 11a, 도 11b, 도 11c, 도 11d, 도 11e, 도 11f, 도 12, 도 13 및 도 14를 참조하여 구체적으로 설명하도록 한다. 하기에서 설명하는 동작들은 HMD 장치(100)의 프로세서(150) 또는 영상 출력 장치(600)의 프로세서(640)에 의해서 수행될 수 있다.
도 8은 본 발명의 일 실시예에 따른 사용자의 가상 개인 공간을 나타내는 제1 가상 현실 영상 데이터를 설명하기 위한 예시도이다.
도 8을 참조하면, 제1 가상 현실 영상 데이터의 가상 개인 공간(800)은 실시간 스트리밍 방송 영상을 재생하기 위한 3개의 제1 그래픽 화면(802, 804, 806) 및 방송 시청자들의 실시간 채팅을 나타내는 제2 그래픽 화면(808)을 포함하는 메인 인터페이스 영역(810)이 포함될 수 있다. 다양한 실시예에서 메인 인터페이스 영역(810)은 사용자가 즐겨찾기한 BJ의 VOD 영상들 중 가장 인기가 많은(예: 조회수가 높거나 좋아요 표시가 많은) 영상을 재생하기 위한 제3 그래픽 화면(812)을 더 포함할 수도 있다. 상기 그래픽 화면들은 입력 장치(550)(예: 컨트롤러)에 의해서 크기가 조절되거나 위치가 변경되거나 가상 개인 공간 내에서 사용자가 인지하는 거리가 조절될 수 있다. 예를 들어, 사용자의 컨트롤러 조작에 의해서 컨트롤러의 포인터가 그래픽 화면의 상단 바에 위치하고, 컨트롤러의 버튼이 입력된 상태에서 포인터가 특정 위치로 이동한 후 버튼 입력이 중지되면 특정 위치로 그래픽 화면이 이동될 수 있다. 또한, 사용자의 컨트롤러 조작에 의해서 컨트롤러의 포인터가 그래픽 화면의 모서리 부분에 위치하고, 컨트롤러의 버튼이 클릭된 상태에서 컨트롤러가 이동되면 컨트롤러의 이동에 따라 그래픽 화면의 크기도 조절될 수 있다. 또한, 사용자의 컨트롤러 조작에 의해서 그래픽 화면들이 회전하거나 최소화될 수 있다. 최소화의 경우 그래픽 화면이 미리 설정된 크기의 썸네일 동영상으로 전환되어 표시될 수 있다.
상기 가상 개인 공간(800)은 실시간 스트리밍 방송에 관련된 영상 목록 또는 VOD 영상 목록을 나타내는 인터페이스 화면(814) 및 방송 시청 또는 가상 개인 공간에 관한 다양한 기능에 관련된 인터페이스 화면들(816, 818, 820, 822)을 포함하는 서브 인터페이스 영역(824)이 포함될 수 있다. 이러한 인터페이스 화면들(816, 818, 820, 822)은 도 8와 같이 최소화 상태로 전환되어 바(bar) 형태의 아이콘들로 표시될 수 있다.
상기 가상 개인 공간(800)의 메인 인터페이스 영역(810)에 대해서 도 9a 및 도 9b를 참조하여 하기에서 좀 더 상세히 설명하고, 서브 인터페이스 영역(824)에 대해서 도 10a, 도 10b, 도 11a, 도 11b, 도 11c, 도 11d, 도 11e, 도 11f, 도 12, 도 13 및 도 14를 참조하여 하기에서 좀 더 상세히 설명하도록 한다.
도 9a 및 도 9b는 본 발명의 일 실시예에 따른 메인 인터페이스 영역의 그래픽 화면들을 설명하기 위한 예시도들이다.
도 8 및 도 9a를 참조하면, 메인 인터페이스 영역(810)은 BJ의 실시간 스트리밍 방송 영상 데이터를 재생하기 위한 제1 그래픽 화면(802) 및 실시간 스트리밍 방송을 시청하는 방송 시청자들의 채팅 데이터를 나타내는 제2 그래픽 화면(808)을 포함할 수 있다. 상기 제1 그래픽 화면(802)은 실시간 스트리밍 방송 영상 데이터가 표시되는 표시 영역(900) 및 표시 제어 및 음량 조절을 위한 아이콘들이 포함되는 비표시 영역(910)을 포함할 수 있다. 상기 비표시 영역(910)은 영상 재생, 일시 정지 및 정지를 위한 제1 아이콘(912), 음량 조절을 위한 제2 아이콘(914) 및 채팅 온오프를 위한 제3 아이콘(916)을 포함할 수 있다. 상기 제2 그래픽 화면(808)은 채팅 내용이 표시되는 채팅 표시 영역(920), 채팅 설정을 위한 설정 아이콘들(922) 및 채팅 입력을 위한 채팅 입력 아이콘(924)을 포함할 수 있다. 상기 설정 아이콘들(922)은 채팅에 참여한 방송 시청자들에 대한 목록을 나타내는 기능, 채팅에 관한 다양한 기능(예: 이모티콘 표시/비표시, 귓속말 수신/비수신, 닉네임 변경, 채팅 지우기 등) 및 채팅창 삭제 기능에 대응될 수 있다. 사용자의 컨트롤러 조작에 의해 상기 채팅 입력 아이콘(924)이 선택되면 도 9b와 같이 입력을 위한 채팅 입력 영역(926) 및 가상 키보드 영역(928)이 표시될 수 있다. 예를 들어, 컨트롤러의 포인터가 가상 키보드 영역의 특정 키 영역에 위치하고, 컨트롤러의 버튼이 클릭되면 해당 키 영역에 대응하는 문자가 채팅 입력 영역(926)에 입력될 수 있다. 다양한 실시예에서 채팅 입력 영역(926) 및 가상 키보드 영역(928)은 가상 개인 공간 내에서 사용자가 제1 그래픽 화면(802) 및 제2 그래픽 화면(808)까지의 거리보다 더 가까운 거리로 인지하도록 표시될 수 있다.
다양한 실시예에서 도 9a에서 설명한 바와 같이 사용자의 컨트롤러 조작으로 인해 채팅 온오프를 위한 제3 아이콘(916)이 선택되면 도 9c와 같이 제2 그래픽 화면(808)의 표시가 종료되고, 표시 영역(900)의 특정 위치에 제1 그래픽 화면(802)을 최소화하기 위한 제1 아이콘(930) 및 제1 그래픽 화면(802)의 표시를 종료하기 위한 제2 아이콘(932)이 표시될 수 있다. 예를 들어, 사용자의 컨트롤러 조작에 의해 제1 아이콘(930)이 선택되면 제1 그래픽 화면(802)이 썸네일 동영상이 재생 가능한 특정 크기로 변환될 수 있다.
도 10a, 도 10b, 도 11a, 도 11b, 도 11c, 도 11d, 도 11e, 도 11f, 도 12, 도 13 및 도 14는 본 발명의 일 실시예에 따른 서브 인터페이스 영역의 아이콘들에 관련된 인터페이스 화면들을 설명하기 위한 예시도들이다.
도 8 및 도 10a를 참조하면, 서브 인터페이스 영역(824)은 실시간 스트리밍 방송에 관련된 영상 목록 또는 VOD 영상 목록을 나타내는 제1 인터페이스 화면(814), 가상 개인 공간에 관련된 다양한 기능에 관련된 제2 인터페이스 화면(816), 방송 시청에 관련된 커뮤니티 공간인 게시판을 나타내는 제3 인터페이스 화면(818), 유료 아이템을 구매하거나 선물받은 내역을 나타내는 제4 인터페이스 화면(820) 및 즐겨찾기한 BJ에 대한 방송 목록을 나타내는 제5 인터페이스 화면(822)을 포함할 수 있다.
상기 제1 인터페이스 화면(814)은 즐겨찾기한 적어도 하나의 BJ에 대한 실시간 스트리밍 방송 영상 목록을 나타내기 위한 제1 아이콘(1000), VOD 영상 목록을 나타내기 위한 제2 아이콘(1002), 방송 카테고리를 선택하기 위한 제3 아이콘(1004) 및 영상 목록에 포함된 적어도 하나의 영상에 관한 썸네일 이미지(또는 썸네일 동영상)(1008)를 포함하는 영상 목록 화면(1006)을 포함할 수 있다. 사용자의 컨트롤러 조작에 의해서 제1 아이콘(1000)이 선택되면 특정 카테고리(예: 게임)에 관련하여 현재 실시간 스트리밍 방송중이거나 즐겨찾기한 적어도 하나의 BJ의 방송에 관한 썸네일 이미지들이 영상 목록 화면(1006)에 표시될 수 있다. 또한, 제2 아이콘(1002)이 선택되면 즐겨찾기한 적어도 하나의 BJ의 VOD 영상에 관한 썸네일 이미지들이 영상 목록 화면(1006)에 표시될 수 있다. 제3 아이콘(1004)이 선택되면 도 10b와 같이 방송 관련 카테고리를 선택하기 위한 선택 화면(1010)이 표시되고, 방송 관련 카테고리 중 게임에 대응하는 메뉴(1012)가 선택되면 게임 관련 카테고리를 선택하기 위한 선택 영역(1014)이 표시될 수 있다.
도 8 및 도 11a를 참조하면, 제2 인터페이스 화면(816)은 제1 그래픽 화면(802, 804, 806)에 관련하여 화면 추가, 크기 변경, 위치 변경, 회전 등과 같은 설정을 위한 제1 아이콘(예: 화면 설정)(1100), 실시간 스트리밍 방송 영상 목록 또는 VOD 영상 목록을 설정하기 위한 제2 아이콘(예: 영상 목록 설정)(1102), 가상 개인 공간을 꾸미기 위한 제3 아이콘(예: 인테리어 설정)(1104) 및 방송 시청 또는 BJ 후원을 위한 유료 아이템을 구매하기 위한 제4 아이콘(예: 아이템 구매)(1106)를 포함할 수 있다. 사용자의 컨트롤러 조작에 의해 제1 아이콘(1100)이 선택되면 도 11b와 같이 화면 설정을 위한 설정 화면(1107)이 표시될 수 있다. 상기 설정 화면(1107)은 영상 재생을 위한 그래픽 화면을 메인 인터페이스 영역(810)에 추가하기 위한 제1 아이콘(예: 화면 추가)(1108), 메인 인터페이스 영역(810)에 위치한 그래픽 화면의 크기를 변경하기 위한 제2 아이콘(예: 화면크기 변경)(1110) 및 그래픽 화면의 해상도를 변경하기 위한 제3 아이콘(예: 해상도 변경)(1112)를 포함할 수 있다. 다양한 실시예에서 설정 화면은 그래픽 화면의 프레임을 변경하기 위한 아이콘(미도시)도 추가될 수 있다. 예를 들어, 그래픽 화면의 프레임은 사용자의 가상 개인 공간에 배치될 수 있는 액자, TV, 그림 등과 같이 이미지를 표시할 수 있는 표시 영역이 구비된 다양한 가상 현실 객체의 프레임으로 변환될 수 있다. 예를 들어, TV로 변경되는 경우 TV의 브라운관에 해당하는 영역에 방송 영상이 재생되고, 액자로 변경되는 경우 액자 프레임을 제외한 영역에 방송 영상이 재생되도록 그래픽 화면이 구현될 수 있다.
사용자의 컨트롤러 조작에 의해 제1 아이콘(1108)이 선택되면 그래픽 화면이 위치한 메인 인터페이스 영역(810) 중 그래픽 화면이 위치한 영역을 제외한 영역의 특정 위치에 특정 크기로 그래픽 화면이 추가될 수 있다. 여기서, 추가되는 그래픽 화면은 기존에 위치하는 그래픽 화면과 겹치지 않도록 적절한 위치에 적절한 크기로 표시될 수 있다.
사용자의 컨트롤러 조작에 의해 제2 아이콘(1110)이 선택되면 메인 인터페이스 영역(810)에 위치한 그래픽 화면의 크기를 변경하기 위해 그래픽 화면을 제외한 다른 객체들이 비활성화될 수 있다. 이후 사용자의 컨트롤러 조작에 의해 포인터가 그래픽 화면의 모서리에 위치하고, 컨트롤러의 버튼이 클릭된 상태에서 사용자의 컨트롤러 이동에 의해 그래픽 화면의 크기가 변경될 수 있다. 다양한 실시예에서 그래픽 화면은 사용자의 컨트롤러 조작에 의해서 위치도 변경될 수 있다. 사용자의 컨트롤러 조작에 의해 포인터가 그래픽 화면을 제외한 비활성화된 영역에 위치하면 변경된 크기의 그래픽 화면이 표시되고, 비활성화된 영역이 다시 활성화될 수 있다.
사용자의 컨트롤러 조작에 의해 제3 아이콘(1112)이 선택되면 해상도 선택을 위한 선택 화면(1114)이 표시될 수 있다. 다양한 실시예에서 그래픽 화면이 둘 이상인 경우 사용자의 컨트롤러 조작에 의해서 포인터가 그래픽 화면의 특정 영역에 위치하여 해당 그래픽 화면의 가장자리가 하이라이트되면 해당 그래픽 화면이 선택되고, 선택된 그래픽 화면의 해상도를 변경하기 위한 선택 화면이 표시될 수 있다.
다시 도 11a로 돌아와서 제2 아이콘(1102)이 선택되면 도 11c 또는 도 11d와 같은 영상 목록 설정을 위한 설정 화면(1115)이 표시될 수 있다.
도 11c는 본 발명의 일 실시예에 따라 사용자에 의해서 선택된 BJ에 대한 실시간 스트리밍 방송 영상 목록을 설정하기 위한 예시도이다.
도 11c를 참조하면, 설정 화면(1115)은 방송 카테고리를 나타내는 제1 영역(1116), 특정 방송 카테고리(예: 게임)(1118)가 선택되면 해당 방송 카테고리에 관한 적어도 하나의 BJ를 나타내는 제2 영역(1120), BJ를 선택하기 위한 선택 키 영역들(1122), 선택된 BJ를 나타내는 제3 영역(1124) 및 설정을 확인 또는 취소하기 위한 키 영역들(예: 확인 키, 취소 키)(1126)을 포함할 수 있다. BJ 목록을 나타내는 제2 영역(1120)은 특정 카테고리에 관련된 BJ 식별 정보(예: 아이디)를 포함할 수 있다. 사용자의 컨트롤러 조작에 의해 포인터가 특정 아이디에 위치하여 특정 아이디의 가장자리가 하이라이트되고, 선택 키(1122)가 선택되면 특정 아이디가 선택되어 제3 영역(1124)에 표시될 수 있다. 이후 확인 키가 선택되면 BJ아프리카1, BJ아프리카3, BJ아프리카8에 대한 실시간 스트리밍 방송 영상 목록이 표시되도록 설정 정보가 저장될 수 있다. 이와 같이 적어도 하나의 BJ가 선택되면 선택된 적어도 하나의 BJ(예: BJ아프리카1, BJ아프리카3, BJ아프리카8)에 대한 실시간 스트리밍 방송 영상 목록이 도 10a와 같이 표시될 수 있다.
도 11d는 본 발명의 일 실시예에 따라 사용자에 의해서 선택된 BJ의 VOD 영상 목록을 설정하기 위한 예시도이다.
도 11d를 참조하면, 설정 화면(1115)은 방송 카테고리를 나타내는 제1 영역(1128), 특정 카테고리(예: 게임)(1130)가 선택되면 해당 카테고리에 관한 적어도 하나의 BJ를 나타내는 제2 영역(1132), 선택된 BJ의 VOD 영상 목록을 나타내는 제3 영역(1134) 및 설정을 확인 또는 취소하기 위한 키 영역들(예: 확인 키, 취소 키)(1136)을 포함할 수 있다. 예를 들어, 제3 영역(1134)은 선택된 'BJ 아프리카3'의 적어도 하나의 VOD 영상의 썸네일 이미지가 표시될 수 있다. 사용자의 컨트롤러 조작에 의해 포인터가 특정 썸네일 이미지에 위치하여 특정 썸네일 이미지의 가장자리가 하이라이트되고, 확인 키가 선택되면 특정 썸네일 이미지가 선택될 수 있다. 이와 같이 'BJ 아프리카3'의 적어도 하나의 VOD 영상이 선택되면 선택된 적어도 하나의 VOD 영상(예: 영상1, 영상4, 영상5)에 대한 목록이 도 10a와 같이 표시될 수 있다.
다양한 실시예에서 실시간 스트리밍 방송 영상 목록 또는 VOD 영상 목록은 사용자에 의해서 설정되지 않아도 사용자가 많이 시청한 BJ 또는 해당 BJ와 유사한 방송 카테고리의 다른 BJ에 대한 실시간 스트리밍 방송 영상이 추천 영상으로 포함되거나, 사용자가 많이 시청한 VOD 영상과 유사한 방송 카테고리의 다른 VOD 영상이 추천 영상으로 포함될 수 있다.
다시 도 11a로 돌아와서 제3 아이콘(1104)이 선택되면 도 11e와 같이 가상 개인 공간을 꾸미기 위한 설정 화면(1137)이 표시될 수 있다. 상기 설정 화면(1137)은 가상 개인 공간의 벽, 바닥을 꾸미기 위한 벽지, 바닥 재질 및 가상 개인 공간에 배치하기 위한 가구, 인테리어 소품들에 대한 카테고리를 나타내는 제1 영역(1138), 특정 카테고리(예: 가구)(1140)가 선택되면 선택된 특정 카테고리에 대한 적어도 하나의 가상 현실 객체를 나타내는 제2 영역(1142) 및 설정을 확인 또는 취소하기 위한 키 영역들(예: 확인 키, 취소 키)(1144)을 포함할 수 있다. 상기 적어도 하나의 가상 현실 객체는 소파, 탁자, 침대, 옷장 등이 가상 현실에 최적화되도록 모델링된 3차원 그래픽 객체일 수 있다. 상기 제2 영역(1142)은 가구에 관한 적어도 하나의 썸네일 이미지를 포함할 수 있다. 사용자의 컨트롤러 조작에 의해 포인터가 소파에 해당하는 썸네일 이미지(1146)에 위치하여 썸네일 이미지(1146)의 가장자리가 하이라이트되고, 확인 키가 선택되면 해당 소파에 해당하는 가상 현실 객체가 선택될 수 있다. 소파에 해당하는 가상 현실 객체가 선택되면 가상 개인 공간에 선택된 가상 현실 객체가 표시될 수 있다. 사용자의 컨트롤러의 포인터가 표시된 가상 현실 객체에 위치하고, 컨트롤러의 버튼이 클릭된 상태에서 사용자의 컨트롤러 이동에 의해 가상 개안 공간 내 가상 현실 객체를 이동시킬 수 있다. 예를 들어, 사용자의 컨트롤러 이동에 의해 가상 현실 객체가 가상 개인 공간의 특정 영역에 위치하고, 컨트롤러의 버튼 입력이 중지되면 도 11f와 같이 소파에 해당하는 가상 현실 객체(1148)가 가상 개인 공간(800)에 배치될 수 있다.
다시 도 11a로 돌아와서 제4 아이콘(1106)이 선택되면 도 11g와 같이 방송 시청 또는 BJ 후원을 위한 유료 아이템을 구매하기 위한 설정 화면(1149)이 표시될 수 있다. 상기 설정 화면(1149)은 다양한 유료 아이템에 관한 카테고리(예: 별풍선, 스티커, 초콜릿, 스프레이, 인테리어 소품 등)를 나타내는 제1 영역(1150), 유료 아이템에 관한 특정 카테고리(예: 별풍선)(1152)가 선택되면 선택된 카테고리에 대한 적어도 하나의 유료 아이템을 나타내는 제2 영역(1154) 및 설정을 확인 또는 취소하기 위한 키 영역들(예: 확인 키, 취소 키)(1156)을 포함할 수 있다. 예를 들어, 다양한 유료 아이템은 스포츠 또는 e-스포츠에 관련된 스티커, 아이콘, 스프레이, 전광판, 깃발, 훌리건 등을 가상 현실 객체로서 구현한 아이템을 포함할 수 있다. 다양한 실시예에서 유료 아이템은 BJ 또는 특정 콘텐츠(예: 먹방 콘텐츠, 게임 콘텐츠, 스포츠 콘텐츠 등)에 관련된 별풍선, 스티커, 초콜릿, 스프레이, 인테리어 소품 등일 수 있다. 상기 제2 영역(1158)은 적어도 하나의 유료 아이템에 관한 이미지 및 해당 유료 아이템을 구매하기 위한 버튼이 포함된 그래픽 객체들이 표시될 수 있다. 예를 들어, 사용자의 컨트롤러 조작에 의해 특정 유료 아이템을 구매하기 위한 버튼(1158)이 선택되면 선택된 유료 아이템을 구매하기 위한 결제 동작이 수행될 수 있다. 유료 아이템 구매를 위한 결제 동작은 일반적인 기술이므로, 구체적인 설명은 생략하도록 한다. 유료 아이템이 구매되면 도 8과 같이 구매된 유료 아이템에 대응하는 가상 현실 효과 객체(826)가 가상 개인 공간 내 특정 위치에 표시될 수 있다. 예를 들어, 별풍선들이 가상 개인 공간을 날아다니는 시각적인 효과와 함께 폭죽이 터지는 효과음이 출력될 수 있다.
다양한 실시예에서 유료 아이템은 제시된 실시예에 한정되지 않으며, 사용자의 아바타를 꾸미기 위한 다양한 꾸미기 아이템이 더 포함될 수 있다. 예를 들어, 사용자의 아바타를 꾸미기 위한 꾸미기 아이템은 옷, 악세서리, 신발, 모자, 가방, 기타 잡화 등과 같은 아이템을 포함하거나, 아바타 일부를 변경하기 위한 아이템(예: 헤어 스타일 변경, 헤어 색상 변경, 눈, 코, 입 등 변경) 등을 포함할 수 있다. 이와 같이 아바타를 꾸미기 위한 아이템 또한 BJ 또는 특정 콘텐츠(예: 먹방 콘텐츠, 게임 콘텐츠, 스포츠 콘텐츠 등)에 관련하여 제공될 수 있다.
도 8 및 도 12를 참조하면, 제3 인터페이스 화면(818)은 도 8과 같이 바 형태의 아이콘으로 최소화된 상태에서 도 12와 같은 디폴트 상태로 변환된 인터페이스 화면일 수 있다. 예를 들어, 제3 인터페이스 화면(818)은 상단에 최소화 상태로 전환되거나 최소화 상태에서 디폴트 상태로 전환되기 위한 아이콘을 더 포함할 수 있다.
상기 제3 인터페이스 화면(818)은 게시판 카테고리(예: 공지사항, 방송편성표, 수다방 및 추천 게시판 등)을 나타내는 제1 영역(1200) 및 특정 게시판 카테고리(예: 수다방)(1202)가 선택되면 선택된 게시판 카테고리에 관한 게시글을 나타내는 제2 영역(1204)을 포함할 수 있다. 상기 제2 영역에 포함되는 게시글은 제목, 글쓴이 아이디, 글쓴 날짜, 조회수, 추천수 및 댓글 등을 나타내는 그래픽 객체로서 표시될 수 있다.
도 8 및 도 13을 참조하면, 제4 인터페이스 화면(820)은 도 8과 같이 바 형태의 아이콘으로 최소화된 상태에서 도 13과 같은 디폴트 상태로 변환된 인터페이스 화면일 수 있다. 예를 들어, 제4 인터페이스 화면(820)은 상단에 최소화 상태로 전환되거나 최소화 상태에서 디폴트 상태로 전환되기 위한 아이콘을 더 포함할 수 있다.
상기 제4 인터페이스 화면(820)은 사용자가 보유중인 유료 아이템 목록(1300)을 나타내는 제1 영역(1302) 및 사용자가 다른 사용자로부터 선물받은 유료 아이템 목록(1304)을 나타내는 제2 영역(1306)을 포함할 수 있다. 상기 제1 영역(1302)은 방송 시청 또는 가상 개인 공간을 꾸미기 위한 유료 아이템을 나타내는 그래픽 객체가 포함될 수 있다.
도 8 및 도 14를 참조하면, 제5 인터페이스 화면(822)은 도 8과 같이 바 형태의 아이콘으로 최소화된 상태에서 도 14와 같은 디폴트 상태로 변환된 인터페이스 화면일 수 있다. 예를 들어, 제5 인터페이스 화면(822)은 상단에 최소화 상태로 전환되거나 최소화 상태에서 디폴트 상태로 전환되기 위한 아이콘을 더 포함할 수 있다.
상기 제5 인터페이스 화면(822)은 즐겨찾기한 적어도 하나의 BJ에 대한 방송 목록을 나타내는 그래픽 객체들(1400, 1402, 1404)이 포함될 수 있다. 각각의 그래픽 객체들(1400, 1402, 1404)은 BJ에 관련된 이미지, BJ의 아이디를 나타내는 텍스트, BJ의 가상 개인 공간으로 이동하기 위한 버튼(예: 이동 버튼)(1406, 1408, 1410)을 포함할 수 있다. 예를 들어, 사용자의 컨트롤러 조작에 의해 특정 이동 버튼(1406)이 선택되면 해당 BJ의 가상 개인 공간을 나타내는 가상 현실 영상이 표시될 수 있다. 또한, BJ가 실시간 스트리밍 방송을 하는 경우 해당 BJ의 실시간 스트리밍 방송을 시청하기 위한 아이콘(예: LIVE 시청하기 아이콘)(1412, 1414)이 더 포함될 수 있다. 예를 들어, 사용자의 컨트롤러 조작에 의해 'BJ아프리카8'의 LIVE 시청하기 아이콘(1414)이 선택되면 'BJ아프리카8'의 실시간 스트리밍 방송 영상이 메인 인터페이스 영역(810)의 제1 그래픽 화면(802)에 표시되고, 해당 실시간 스트리밍 방송에 관한 실시간 채팅이 제2 그래픽 화면(808)에 표시될 수 있다.
상기에서 설명한 인터페이스 화면들은 최소화를 위한 버튼을 더 구비하고, 사용자의 컨트롤러 조작에 의해서 최소화 버튼이 선택되면 상단 바(bar)를 제외한 나머지 영역이 표시되지 않을 수 있다. 최소화 버튼이 다시 선택되면 기존의 인터페이스 화면들이 다시 표시될 수 있다.
도 15 내지 도 17은 본 발명의 일 실시예에 따른 BJ의 가상 개인 공간을 나타내는 제2 가상 현실 영상 데이터를 설명하기 위한 예시도들이다. 하기에서는 스포츠 중계 또는 e-스포츠(e-sports) 중계 등의 실시간 스트리밍 중계 방송을 복수의 방송 시청자들이 동시에(또는 함께) 시청하기 위한 실시 예를 설명하도록 한다.
도 15를 참조하면, 스포츠 중계 방송 또는 e-스포츠 중계 방송을 위한 BJ의 가상 개인 공간(1500)은 실시간 스트리밍 중계 방송을 재생하기 위한 제1 그래픽 화면(1502) 및 중계 방송을 시청하는 방송 시청자들의 실시간 채팅을 나타내는 제2 그래픽 화면(1504)을 포함하는 메인 인터페이스 영역(1506)이 포함될 수 있다. 상기 메인 인터페이스 영역(1506)은 중계 방송 영상을 재생하는 제1 그래픽 화면(1502) 이외에 스포츠 중계 또는 e-스포츠 중계에 관련된 다양한 방송 영상을 재생하기 위한 복수의 그래픽 화면들(1508, 1510)이 더 포함될 수 있다. 예를 들어, 복수의 그래픽 화면들은 스포츠 중계를 위해서 다양한 카메라를 통해서 촬영된 방송 영상들이 표시되거나, 스포츠에 참여중인 선수들 각각을 촬영한 방송 영상들이 표시될 수 있다. 다양한 실시예에서 BJ의 가상 개인 공간(1500)은 방송 시청자가 실제로 스포츠 경기 관람석에 앉아있는 체험이 가능하도록 스포츠 관중석(1512)과 같이 구현될 수 있다. 다양한 실시예에서 BJ의 가상 개인 공간(1500)은 방송을 시청중인 복수의 방송 시청자들 각각에 대응하는 아바타가 스포츠 관중석(1512)에 앉아있도록 하는 체험이 가능하도록 구현될 수도 있다. 이를 통해서, 사용자는 다른 방송 시청자들과 함께 스포츠 또는 e-스포츠를 실제로 관람하는 듯한 가상 체험을 할 수 있다.
사용자의 컨트롤러 조작에 의해 유료 아이템 구매하거나 BJ의 가상 개인 공간에 후원 기여도가 높은 사용자가 채팅에 참여하는 등의 이벤트가 발생되면 해당 이벤트에 대응하는 가상 현실 효과 객체(1514)가 BJ의 가상 개인 공간(1500) 내에 표시될 수 있다. 상기 가상 현실 효과 객체(1514)는 사용자뿐만 아니라 BJ의 가상 개인 공간(1500)에 방문중인 모든 방송 시청자들에게 공통적으로 보이도록 구현될 수 있다.
도 16을 참조하면, BJ의 가상 개인 공간(1500)에 표시된 가상 현실 효과 객체(1514)는 일정 시간이 지나면 가상 개인 공간(150)의 일부 영역으로 이동하여 계속적으로 표시될 수 있다. 예를 들어, 기 설정된 이벤트가 발생되면 복수의 풍선들로 이루어진 가상 현실 효과 객체(1514)가 가상 개인 공간(1500)의 특정 위치에 표시되고, 이러한 복수의 풍선들이 가상 개인 공간(1500)의 상단 영역(1600, 1610)으로 이동하여 계속적으로 표시될 수 있다. 다양한 실시예에서 사용자의 컨트롤러 조작에 의해 가상 개인 공간 내 포인터를 이동시켜 풍선들 중 어느 하나를 선택하는 경우 선택된 풍선이 터지도록 하는 또다른 가상 현실 효과가 나타날 수도 있다. 이를 통해서 사용자가 가상 현실 내 배치된 가상 현실 객체들과의 상호 작용을 통해서 다양한 가상 체험을 할 수 있다.
다양한 실시예에서 BJ에 대한 후원 기여도가 높은 사용자의 컨트롤러 조작에 의해 제2 그래픽 화면(1504)을 통해서 후원 기여도가 높은 사용자만 사용할 수 있는 전용 아이콘을 입력하거나, 사용자가 채팅을 위한 채팅 전용 스티커 등과 같은 유료 아이템을 구매하고 구매된 유료 아이템을 입력하는 경우 도 16과 같이 사용자의 가상 현실 속 아바타 위에 입력된 전용 아이콘 또는 유료 아이템이 포함된 말풍선(1620, 1630)이 표시될 수 있다. 이와 같은 말풍선들은 사용자에 의해서 표시되거나 비표시되도록 설정될 수 있다. 또한, 이러한 말풍선들은 일정 시간 동안 일정 수만큼 표시되도록 설정될 수 있다.
다양한 실시예에서 BJ의 가상 개인 공간(1500)에 참여한 사용자들 중 적어도 하나의 사용자간의 음성 채팅이 수행될 수 있다. 예를 들어, 제2 그래픽 화면(1504)은 음성 채팅을 위한 아이콘을 더 포함할 수 있다. 사용자의 제1 HMD 장치(100)가 마이크를 더 포함하고, 사용자의 컨트롤러 조작에 의해서 해당 아이콘이 선택되면 마이크를 통해서 획득된 음성 신호가 음성 채팅에 참여중인 적어도 하나의 다른 시청자의 HMD 장치로 전달될 수 있다. 이러한 경우 사용자가 음성 채팅에 참여중임을 나타내기 위한 아이콘이 BJ의 가상 개인 공간(1500)에 표시될 수 있다. 예를 들어, 사용자가 음성 채팅에 참여중임을 나타내기 위한 아이콘은 마이크 이미지 아이콘일 수 있고, 해당 마이크 이미지 아이콘이 BJ의 가상 개인 공간(1500)의 특정 위치에 표시될 수 있다. 다양한 실시예에서 사용자가 실제로 마이크를 이용하여 음성 채팅에 참여하는 듯한 체험이 가능하도록 사용자의 음성 출력을 나타내기 위해 3차원 그래픽 마이크 이미지가 BJ의 가상 개인 공간(1500) 상에 표시될 수도 있다.
다양한 실시예에서 다른 시청자의 HMD 장치로부터 음성 신호가 수신되면 사용자가 착용중인 제1 HMD 장치(100)의 스피커를 통해서 수신된 음성 신호가 출력되고, 도 16과 같이 다른 사용자의 아바타 상에 음성 채팅을 나타내기 위한 스피커 아이콘이 포함된 말풍선(1640)이 표시될 수 있다. 이러한 말풍선(1640)은 음성 채팅에 참여중인 적어도 하나의 사용자의 HMD 장치를 통해서 동시에 표시될 수 있다.
다양한 실시예에서 음성 채팅은 BJ에 의해서 선택된 적어도 하나의 방송 시청자 또는 BJ의 후원 기여도에 따른 적어도 하나의 방송 시청자에 한하여 수행될 수 있다. 예를 들어, 선택된 방송 시청자 또는 후원 기여도에 해당하는 방송 시청자에 한하여 제2 그래픽 화면(1504) 상에 음성 채팅을 위한 아이콘이 표시될 수 있다.
다양한 실시예에서 음성 채팅은 특정 사용자의 음성 출력을 온오프할 수 있다. 예를 들어, 음성 채팅에 참여중인 특정 사용자의 아바타 주변에 음성 출력을 알리는 스피커 아이콘이 표시되고, 사용자의 컨트롤러 조작에 의해서 해당 스피커 아이콘이 선택되면 해당 음성 출력을 오프하기 위한 아이콘으로 변환되어 특정 사용자의 음성 출력이 차단될 수 있다. 사용자의 컨트롤러 조작에 의해서 해당 아이콘이 다시 선택되면 해당 음성 출력을 온하기 위한 아이콘으로 변환되어 특정 사용자의 음성이 출력될 수 있다.
도 17을 참조하면, 사용자의 컨트롤러 조작에 의해 도 11g와 같은 설정 화면(1149)을 통해서 유료 아이템(1700, 1710, 1720)이 구매되고, 구매된 유료 아이템(1700, 1710, 1720)이 BJ의 개인 가상 공간(1500) 내 특정 영역에 표시될 수 있다. 예를 들어, 사용자의 컨트롤러 조작에 의해 설정 화면(1149)을 통해서 스포츠 또는 e-스포츠에 관련된 특정 선수 또는 팀 등을 응원하기 위한 유료 아이템(예: 응원 스티커 또는 스프레이 등)이 구매되고, 구매한 유료 아이템이 특정 위치에 배치될 수 있다. 다양한 실시예에서 스포츠 또는 e-스포츠에 관한 응원을 위해 방송 시청자들 각각에 대응하는 아바타의 손에 응원봉과 같은 가상 현실 객체(1730)가 쥐어지도록 구현될 수도 있다. 이를 통해서, 스포츠 중계 방송 또는 e-스포츠 중계 방송을 시청하는 방송 시청자가 다른 방송 시청자들과 함께 응원봉을 쥐고 응원하는 듯한 가상 체험을 할 수 있다.
도 18은 본 발명의 일 실시예에 따른 사용자의 가상 개인 공간을 나타내는 제1 가상 현실 영상 데이터를 설명하기 위한 예시도이다. 이하에서는 사용자가 가상 개인 공간에 친구를 초대하여 초대한 친구와 함께 방송 시청을 하기 위한 실시예를 설명하도록 한다.
도 18을 참조하면, 제1 가상 현실 영상 데이터의 가상 개인 공간(800)은 도 8을 참조하여 상술힌 바와 같이 실시간 스트리밍 방송 영상을 재생하기 위한 3개의 제1 그래픽 화면(802, 804, 806) 및 방송 시청자들의 실시간 채팅을 나타내는 제2 그래픽 화면(808)을 포함하는 메인 인터페이스 영역(810)이 포함될 수 있다. 또한, 가상 개인 공간(800)은 실시간 스트리밍 방송에 관련된 영상 목록 또는 VOD 영상 목록을 나타내는 인터페이스 화면(814) 및 방송 시청 또는 가상 개인 공간에 관한 다양한 기능에 관련된 인터페이스 화면들(816, 818, 820, 822)을 포함하는 서브 인터페이스 영역(824)이 포함되고, 사용자의 친구로 설정된 다른 사용자를 사용자의 가상 개인 공간에 초대하기 위한 기능에 관련된 제6 인터페이스 화면(1800)이 포함될 수 있다. 이러한 제6 인터페이스 화면(1800)은 도 8을 참조하여 상술한 바와 같이 최소화 상태로 전환되어 바 형태의 아이콘으로 표시될 수 있다. 상기 추가된 제6 인터페이스 화면(1800)에 대해서 도 19를 참조하여 하기에서 좀 더 상세하게 설명하도록 한다.
도 19는 본 발명의 일 실시예에 따른 서브 인터페이스 영역의 친구 찾기 아이콘에 관련된 인터페이스 화면을 설명하기 위한 예시도이다.
도 18 및 도 19를 참조하면, 제6 인터페이스 화면(1800)은 도 18과 같이 바 형태의 아이콘으로 최소화된 상태에서 도 19와 같은 디폴트 상태로 변환된 인터페이스 화면일 수 있다. 예를 들어, 제6 인터페이스 화면(1800)은 상단에 최소화 상태로 전환되거나 최소화 상태에서 디폴트 상태로 전환되기 위한 아이콘을 더 포함할 수 있다.
상기 제6 인터페이스 화면(1800)은 사용자의 친구 목록을 나타내는 제1 영역(1802) 및 사용자의 가상 개인 공간에 초대하고자 하는 친구에게 초대 요청을 위한 메시지 작성 영역을 나타내는 제2 영역(1804)을 포함할 수 있다. 상기 제1 영역(1802)은 사용자에 의해서 친구로 설정된 다른 사용자의 식별 정보(예: 아이디)가 포함되고, 초대하고자 하는 친구가 친구 목록에 존재하지 않은 경우 친구를 추가하기 위한 기능에 대응하는 친구 추가 아이콘을 더 포함할 수 있다. 상기 제6 인터페이스 화면(1800)은 제2 영역(1804)의 메시지 작성 영역을 통해서 작성된 친구 초대 메시지를 전송하기 위한 제1 아이콘(예: 초대하기)(1806) 및 이를 취소하기 위한 제2 아이콘(예: 취소)(1808)을 더 포함할 수 있다. 예를 들어, 사용자의 컨트롤러 조작에 의해 친구 목록의 특정 아이디(예: 아이디1)가 선택되고, 제2 영역(1804)의 메시지 작성 영역을 통해서 텍스트 등이 입력된 후 제1 아이콘(1806)이 선택되면 선택된 '아이디1'에 대응하는 다른 사용자의 HMD 장치로 초대 메시지가 전송될 수 있다. 상기 초대 메시지는 다른 사용자의 가상 개인 공간의 특정 위치에 그래픽 객체로 표시될 수 있다. 상기 초대 메시지를 나타내는 그래픽 객체는 초대를 승인 또는 거절하기 위한 기능에 대응하는 아이콘들이 더 포함될 수 있다.
다양한 실시예에서 친구 초대를 위한 인터페이스 화면은 상술한 바와 같이 한정되지 않는다. 예를 들어, 친구 초대를 위한 인터페이스 화면은 사용자가 친구로 설정한 적어도 하나의 다른 사용자의 프로필 이미지와 함께 초대 기능에 대응하는 아이콘이 포함될 수 있다. 사용자의 컨트롤러 조작에 의해서 특정 사용자의 프로필 이미지와 함께 초대 기능에 대응하는 아이콘이 선택되면 초대 요청 메시지가 특정 사용자의 HMD 장치로 전송될 수 있다. 다른 사용자에 의해서 초대가 승인되면 초대를 승인한 다른 사용자의 아바타가 사용자의 가상 개인 공간(800)에 표시될 수 있다. 이에 대해서 구체적으로 도 20을 참조하여 하기에서 설명하도록 한다.
도 20은 본 발명의 일 실시예에 따른 사용자의 가상 개인 공간을 나타내는 제1 가상 현실 영상 데이터를 설명하기 위한 예시도이다. 하기에서는 사용자가 사용자의 친구로 설정된 다른 사용자를 사용자의 가상 개인 공간에 초대하여 스트리밍 방송 또는 VOD 방송을 함께 시청하기 위한 실시 예를 설명하도록 한다.
도 18 내지 도 20을 참조하면, 도 19에서 상술한 바와 같이 다른 사용자에 의해서 초대가 승락이 되면 도 20과 같이 초대를 승락한 다른 사용자의 아바타(1900)가 사용자의 가상 개인 공간(800)의 특정 위치에 표시될 수 있다. 예를 들어, 사용자가 사용자의 가상 개인 공간에서 스포츠 또는 e-스포츠 중계를 친구들과 함께 시청하고자 할 경우 친구 초대 기능에 해당하는 제6 인터페이스 화면(1800)을 통해서 다른 사용자에게 초대 메시지가 전송될 수 있다. 이러한 초대 메시지는 다른 사용자의 가상 개인 공간의 특정 위치에 팝업 형태의 인터페이스 화면으로 표시될 수 있다. 상기 인터페이스 화면은 사용자가 작성한 초대 메시지 내용과 함께 초대를 승락하기 위한 아이콘 및 초대를 거절하기 위한 아이콘이 포함될 수 있다. 다른 사용자에 의해서 초대를 승락하기 위한 아이콘이 선택되면 사용자의 가상 개인 공간(800)에 초대를 승락한 다른 사용자의 아바타가 특정 위치(예: 소파(1148))에 위치하도록 표시될 수 있다. 이러한 경우 초대를 승락한 다른 사용자는 자신의 HMD 장치의 디스플레이를 통해서 사용자의 가상 개인 공간(800) 내 소파(1148)에 앉아 있는 듯한 가상 체험을 할 수 있다. 사용자의 가상 개인 공간(800)에는 사용자의 아바타도 함께 표시될 수 있다. 이러한 경우 사용자가 착용중인 제1 HMD 장치(100)의 디스플레이(120)는 도 20과 같이 다른 사용자의 아바타가 사용자의 가상 개인 공간(800)에 배치된 소파(1148)에 앉아 있는 제1 가상 현실 영상 데이터를 표시할 수 있다. 이를 통해서 사용자 및 다른 사용자는 사용자의 가상 개인 공간(800)에서 함께 방송을 시청하는 듯한 가상 체험을 할 수 있다.
이와 같이 본 발명은 사용자가 가상 현실로 구현된 사용자의 가상 개인 공간을 통해서 방송 제공자가 제공하는 실시간 스트리밍 방송 영상을 시청함으로써, 사용자에게 방송 시청 시 보다 다양한 공간적, 시간적 체험이 가능하도록 한다.
본 발명의 실시예에 따른 장치 및 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다.
컴퓨터 판독 가능 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 분야 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media) 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 또한 상술한 매체는 프로그램 명령, 데이터 구조 등을 지정하는 신호를 전송하는 반송파를 포함하는 광 또는 금속선, 도파관 등의 전송 매체일 수도 있다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다.
상술한 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상 첨부된 도면을 참조하여 본 발명의 실시예들을 더욱 상세하게 설명하였으나, 본 발명은 반드시 이러한 실시예로 국한되는 것은 아니고, 본 발명의 기술사상을 벗어나지 않는 범위 내에서 다양하게 변형 실시될 수 있다. 따라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 그러므로, 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
100: 제1 HMD 장치
200: 전자 장치
300: 방송 제공 장치
400: 촬영 장치
410: 제2 HMD 장치
500: 방송 관리 서버
550: 입력 장치
600: 영상 출력 장치
200: 전자 장치
300: 방송 제공 장치
400: 촬영 장치
410: 제2 HMD 장치
500: 방송 관리 서버
550: 입력 장치
600: 영상 출력 장치
Claims (14)
- 방송 관리 서버로부터 방송 제공자의 실시간 스트리밍 방송을 시청하기 위해 가상 현실로 구현한 가상 개인 공간을 나타내는 제1 가상 현실 영상 데이터를 수신하는 단계;
상기 수신된 제1 가상 현실 영상 데이터를 디스플레이를 통해서 표시하는 단계; 및
상기 방송 제공자의 실시간 스트리밍 방송에 관련하여 기 설정된 조건의 이벤트가 발생되면 상기 발생된 이벤트에 대응하는 가상 현실 효과 객체를 상기 가상 개인 공간에 표시하는 단계를 포함하는, 방송 시청을 위한 가상 현실 사용자 인터페이스 제공 방법. - 제1항에 있어서, 상기 기 설정된 조건의 이벤트는,
상기 실시간 스트리밍 방송을 시청하는 방송 시청자가 상기 방송 제공자에 대한 유료 아이템을 구매하는 이벤트 또는 상기 유료 아이템을 구매하는 정도를 나타내는 후원 기여도가 기 설정된 레벨 이상인 방송 시청자가 상기 실시간 스트리밍 방송의 채팅에 참여하는 이벤트를 포함하는, 방송 시청을 위한 가상 현실 사용자 인터페이스 제공 방법. - 제1항에 있어서, 상기 제1 가상 현실 영상 데이터는,
상기 실시간 스트리밍 방송 시청을 위한 메인 인터페이스 영역 및 상기 실시간 스트리밍 방송 시청에 관한 복수의 기능들에 관련된 서브 인터페이스 영역을 포함하는, 방송 시청을 위한 가상 현실 사용자 인터페이스 제공 방법. - 제3항에 있어서, 상기 메인 인터페이스 영역은,
상기 방송 제공자의 실시간 스트리밍 방송 영상을 재생하는 제1 그래픽 화면 및 상기 실시간 스트리밍 방송을 동시에 시청하는 방송 시청자들간의 실시간 채팅을 나타내는 제2 그래픽 화면을 포함하는, 방송 시청을 위한 가상 현실 사용자 인터페이스 제공 방법. - 제3항에 있어서, 상기 서브 인터페이스 영역은,
적어도 하나의 방송 제공자의 실시간 스트리밍 방송 영상 또는 VOD(Video On Demand) 영상에 관한 목록을 나타내는 제1 인터페이스 화면 및 상기 가상 개인 공간을 설정하기 위한 제2 인터페이스 화면을 포함하는, 방송 시청을 위한 가상 현실 사용자 인터페이스 제공 방법. - 제1항에 있어서,
사용자의 요청에 따라 상기 방송 제공자의 가상 개인 공간을 나타내는 제2 가상 현실 영상 데이터를 수신하는 단계; 및
상기 수신된 제2 가상 현실 영상 데이터를 상기 디스플레이를 통해서 표시하는 단계를 더 포함하는, 방송 시청을 위한 가상 현실 사용자 인터페이스 제공 방법. - 제6항에 있어서, 상기 방송 제공자의 가상 개인 공간은,
상기 방송 제공자에 의해서 사용자별로 서로 다른 형태로 제공되는, 방송 시청을 위한 가상 현실 사용자 인터페이스 제공 방법. - 통신 인터페이스;
디스플레이; 및
상기 통신 인터페이스 및 상기 디스플레이와 연결된 프로세서를 포함하고,
상기 프로세서는,
상기 통신 인터페이스를 통해서 방송 관리 서버로부터 방송 제공자의 실시간 스트리밍 방송을 시청하기 위해 가상 현실로 구현한 가상 개인 공간을 나타내는 제1 가상 현실 영상 데이터를 수신하고,
상기 수신된 제1 가상 현실 영상 데이터를 상기 디스플레이를 통해서 표시하고,
상기 방송 제공자의 실시간 스트리밍 방송에 관련하여 기 설정된 조건의 이벤트가 발생되면 상기 발생된 이벤트에 대응하는 가상 현실 효과 객체를 상기 가상 개인 공간에 표시하는, 방송 시청을 위한 가상 현실 사용자 인터페이스 제공 장치. - 제8항에 있어서, 상기 기 설정된 조건의 이벤트는,
상기 실시간 스트리밍 방송을 시청하는 방송 시청자가 상기 방송 제공자에 대한 유료 아이템을 구매하는 이벤트 또는 상기 유료 아이템을 구매하는 정도를 나타내는 후원 기여도가 기 설정된 레벨 이상인 방송 시청자가 상기 실시간 스트리밍 방송의 채팅에 참여하는 이벤트를 포함하는, 방송 시청을 위한 가상 현실 사용자 인터페이스 제공 장치. - 제8항에 있어서, 상기 제1 가상 현실 영상 데이터는,
상기 실시간 스트리밍 방송 시청을 위한 메인 인터페이스 영역 및 상기 실시간 스트리밍 방송 시청에 관한 복수의 기능들에 관련된 서브 인터페이스 영역을 포함하는, 방송 시청을 위한 가상 현실 사용자 인터페이스 제공 장치. - 제10항에 있어서, 상기 메인 인터페이스 영역은,
상기 방송 제공자의 실시간 스트리밍 방송 영상을 재생하는 제1 그래픽 화면 및 상기 실시간 스트리밍 방송을 동시에 시청하는 방송 시청자들간의 실시간 채팅을 나타내는 제2 그래픽 화면을 포함하는, 방송 시청을 위한 가상 현실 사용자 인터페이스 제공 장치. - 제10항에 있어서, 상기 서브 인터페이스 영역은,
적어도 하나의 방송 제공자의 실시간 스트리밍 방송 영상 또는 VOD(Video On Demand) 영상에 관한 목록을 나타내는 제1 인터페이스 화면 및 상기 가상 개인 공간을 설정하기 위한 제2 인터페이스 화면을 포함하는, 방송 시청을 위한 가상 현실 사용자 인터페이스 제공 장치. - 제8항에 있어서, 상기 프로세서는,
사용자의 요청에 따라 상기 방송 제공자의 가상 개인 공간을 나타내는 제2 가상 현실 영상 데이터를 수신하고,
상기 수신된 제2 가상 현실 영상 데이터를 상기 디스플레이를 통해서 표시하는, 방송 시청을 위한 가상 현실 사용자 인터페이스 제공 장치. - 제13항에 있어서, 상기 방송 제공자의 가상 개인 공간은,
상기 방송 제공자에 의해서 사용자별로 서로 다른 형태로 제공되는, 방송 시청을 위한 가상 현실 사용자 인터페이스 제공 장치.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020200022185A KR20200041839A (ko) | 2020-02-24 | 2020-02-24 | 방송 시청을 위한 가상 현실 사용자 인터페이스 제공 방법 및 장치 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020200022185A KR20200041839A (ko) | 2020-02-24 | 2020-02-24 | 방송 시청을 위한 가상 현실 사용자 인터페이스 제공 방법 및 장치 |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020180121524A Division KR102082670B1 (ko) | 2018-10-12 | 2018-10-12 | 방송 시청을 위한 가상 현실 사용자 인터페이스 제공 방법 및 장치 |
Publications (1)
Publication Number | Publication Date |
---|---|
KR20200041839A true KR20200041839A (ko) | 2020-04-22 |
Family
ID=70473014
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020200022185A KR20200041839A (ko) | 2020-02-24 | 2020-02-24 | 방송 시청을 위한 가상 현실 사용자 인터페이스 제공 방법 및 장치 |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR20200041839A (ko) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20210158653A (ko) * | 2020-06-24 | 2021-12-31 | 주식회사 버블트리 | 현실세계 데이터의 가상화시스템 및 방법 |
KR20220090751A (ko) * | 2020-12-23 | 2022-06-30 | 주식회사 씨제이이엔엠 | 증강현실 방송 서비스를 제공하는 양방향 방송 시스템 및 방법 |
KR20230028910A (ko) * | 2021-08-23 | 2023-03-03 | 주식회사 샵팬픽 | 서버, 화면 출력 방법 및 화면 출력 방법을 실행시키도록 기록매체에 저장된 컴퓨터 프로그램 |
-
2020
- 2020-02-24 KR KR1020200022185A patent/KR20200041839A/ko active Application Filing
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20210158653A (ko) * | 2020-06-24 | 2021-12-31 | 주식회사 버블트리 | 현실세계 데이터의 가상화시스템 및 방법 |
KR20220090751A (ko) * | 2020-12-23 | 2022-06-30 | 주식회사 씨제이이엔엠 | 증강현실 방송 서비스를 제공하는 양방향 방송 시스템 및 방법 |
KR20230028910A (ko) * | 2021-08-23 | 2023-03-03 | 주식회사 샵팬픽 | 서버, 화면 출력 방법 및 화면 출력 방법을 실행시키도록 기록매체에 저장된 컴퓨터 프로그램 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111148554B (zh) | 现实世界空间的虚拟现实呈现 | |
US11605203B2 (en) | Creation and use of virtual places | |
WO2020138107A1 (ja) | 配信ユーザの動きに基づいて生成されるキャラクタオブジェクトのアニメーションを含む動画をライブ配信する動画配信システム、動画配信方法及び動画配信プログラム | |
KR102585051B1 (ko) | 액터의 움직임에 기초하여 생성되는 캐릭터 오브젝트의 애니메이션을 포함하는 동화상을 배신하는 동화상 배신 시스템, 동화상 배신 방법 및 동화상 배신 프로그램 | |
US20110225515A1 (en) | Sharing emotional reactions to social media | |
US20110225519A1 (en) | Social media platform for simulating a live experience | |
KR20200041839A (ko) | 방송 시청을 위한 가상 현실 사용자 인터페이스 제공 방법 및 장치 | |
US20110225498A1 (en) | Personalized avatars in a virtual social venue | |
EP3829730B1 (en) | System and method for providing a computer-generated environment | |
US20110225518A1 (en) | Friends toolbar for a virtual social venue | |
CN106933357A (zh) | 一种基于可穿戴混合现实设备的全息广告播放***及方法 | |
KR102082670B1 (ko) | 방송 시청을 위한 가상 현실 사용자 인터페이스 제공 방법 및 장치 | |
KR20220028067A (ko) | 가상 환경에서 사용자 특정 광고 | |
WO2022259253A1 (en) | System and method for providing interactive multi-user parallel real and virtual 3d environments | |
Krekhov et al. | Silhouette games: An interactive one-way mirror approach to watching players in vr | |
KR20220065388A (ko) | 전자 스포츠 경기에 관한 증강 현실 인터페이스 제공 장치 및 방법 | |
JP7293329B1 (ja) | 情報処理装置、情報処理方法、及びプログラム | |
KR102452584B1 (ko) | 서드 파티의 가상 현실 콘텐츠를 제공하기 위한 장치 및 방법 | |
JP2023050679A (ja) | プログラム、情報処理方法、サーバ及びサーバの情報処理方法 | |
KR102196994B1 (ko) | 서드 파티의 가상 현실 콘텐츠를 제공하기 위한 장치 및 방법 | |
JP6831027B1 (ja) | 配信システム、動画生成装置、および動画生成方法 | |
JP2024016015A (ja) | プログラム、情報処理方法、及び情報処理装置 | |
JP2024004560A (ja) | プログラム、情報処理方法、及び情報処理装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A107 | Divisional application of patent |