KR102568021B1 - 증강현실 방송 서비스를 제공하는 양방향 방송 시스템 및 방법 - Google Patents
증강현실 방송 서비스를 제공하는 양방향 방송 시스템 및 방법 Download PDFInfo
- Publication number
- KR102568021B1 KR102568021B1 KR1020200181587A KR20200181587A KR102568021B1 KR 102568021 B1 KR102568021 B1 KR 102568021B1 KR 1020200181587 A KR1020200181587 A KR 1020200181587A KR 20200181587 A KR20200181587 A KR 20200181587A KR 102568021 B1 KR102568021 B1 KR 102568021B1
- Authority
- KR
- South Korea
- Prior art keywords
- broadcast
- data
- broadcasting
- image
- viewers
- Prior art date
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
- H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/27—Server based end-user applications
- H04N21/274—Storing end-user multimedia data in response to end-user request, e.g. network recorder
- H04N21/2743—Video hosting of uploaded data from client
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/47—End-user applications
- H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
- H04N21/47202—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for requesting content on demand, e.g. video on demand
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/81—Monomedia components thereof
- H04N21/816—Monomedia components thereof involving special video data, e.g 3D video
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/85—Assembly of content; Generation of multimedia applications
- H04N21/854—Content authoring
- H04N21/8545—Content authoring for generating interactive applications
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Databases & Information Systems (AREA)
- Human Computer Interaction (AREA)
- Computer Security & Cryptography (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Information Transfer Between Computers (AREA)
Abstract
본 발명은 증강현실 방송 서비스를 제공하기 위한 양방향 방송 시스템 및 이를 이용한 증강현실 방송 서비스 제공 방법에 관한 것이다. 구체적으로, 객체가 위치한 공간에 대한 영상을 획득하는 촬영 장치 및 상기 영상을 시청하는 방송 시청자들의 방송 참여 데이터를 수집하고, 상기 방송 참여 데이터를 기초로 상기 영상에 표시될 그래픽 객체를 결정하는 방송 제작 서버를 포함함으로써, 관객들과 예술가가 소통하면서 관객들이 직접 콘텐츠 제작에 참여하는 것과 같은 경험을 제공할 수 있게 하는 양방향 방송 시스템에 관한 것이다.
Description
본 발명은 증강현실 방송 서비스를 제공하기 위한 양방향 방송 시스템 및 이를 이용한 증강현실 방송 서비스 제공 방법에 관한 것이다. 보다 구체적으로는 실시간으로 진행되는 공연을 중계하면서 이를 시청하는 시청자들의 반응을 그래픽으로 조합함으로써 관객과 소통할 수 있는 증강현실 방송 서비스를 제공하는 장치, 시스템 및 양방향 방송 제공 방법에 관한 것이다.
인터넷 라이브 방송은 방송 서버가 방송 콘텐츠를 네트워크로 전송하면 다수의 클라이언트가 해당 콘텐츠를 수신하는 동시에 재생하는 방식으로, 통상 라이브 스트리밍 서비스로 불린다.
라이브 스트리밍 서비스는 하나의 클라이언트가 원하는 콘텐츠를 실시간으로 제공하는 VOD(Video On Demand) 서비스와는 다르게, 하나의 콘텐츠를 동일한 다수의 클라이언트에 동시 제공할 수 있으며, 이러한 서비스를 구현할 수 있도록 하는 플랫폼을 스트리밍 서비스 플랫폼이라 한다.
최근 이러한 스트리밍 서비스 플랫폼을 이용하는 사용자(클라이언트)가 기하 급수적으로 증가함에 따라, 방송 환경도 그에 발맞춰 빠르게 변화하고 있다. 즉, 일방적인 정보만을 제공했던 지상파, 위성, 케이블 방송 시스템에서 더 나아가 유/무선 네트워크를 이용한 인터넷 멀티미디어 방송 시스템(IPTV)의 보급이 확산되고 있으며, 양방향 방송 서비스에 대한 관심이 커지고 있다.
현재 양방향 방송 서비스를 위한 데이터 송수신은 방송국 서버에서 제작한 영상, 음성, 기능, 화면 배치 정보 등을 스트림으로 생성하고, 시청자에게 제공 받은 텍스트 또는 이미지를 단순히 조합하는 것에 그치고 있어, 실질적인 양방향 방송이라 할 수 없으며, 그에 따라 시청자들의 흥미를 유발시키기에 한계가 있다.
아울러, AR(Augmented Reality) 콘텐츠와 같이 양방향 방송 서비스를 적용 가능하면서도 시청자들의 흥미를 유발시킬 수 있는 다양한 콘텐츠를 제작하기 위해서는 고가의 장비가 필요하고, 각 장비 간의 연결이 복잡하여, 기존의 방송 시스템만으로는 다양한 소재의 콘텐츠를 제작하기 어려운 문제점이 있으며, 이는 결국, 다양한 콘텐츠를 원하는 방송 시청자들을 만족시켜주지 못한다는 또 다른 문제점을 가져오게 된다.
이에 본 발명은 실시간으로 진행되는 공연에 관객들의 반응을 방송 화면 내 가상의 그래픽으로 결합하여, 공연 무대 위에선 예술가와 관객이 소통하는 하나의 양방향 방송 서비스를 제공하는 장치, 시스템 및 그 방법을 제안한다.
본 발명은 생방송이 진행되는 동안 실시간 방송 시청자 수, 댓글 수, 댓글 내용 등의 시청자 반응을 수집하고, 수집된 반응을 토대로 생방송 화면에 시청자 반응에 대한 그래픽 객체가 표시되도록 함으로써, 관객들과 예술가가 소통하면서 관객들이 직접 콘텐츠 제작에 참여하는 것과 같은 경험을 제공할 수 있는 양방향 방송 시스템 및 방법을 제공하는 것을 목적으로 한다.
동시에 본 발명은 방송 영상을 촬영하는 촬영 장치를 통해 객체의 움직임을 확인하고, 그에 따라 그래픽 객체를 이동시키거나 미리 설정된 특수 효과에 따라 표시되게 함으로써, 관객들의 흥미를 배가시킬 수 있는 양방향 방송 시스템 및 방법을 제공하는 것을 목적으로 한다.
또한 본 발명은 객체를 인식할 수 있는 다양한 휴대 단말만으로도 방송 서비스를 위한 영상을 획득 가능하게 함으로써, 방송 시스템을 구축하기 위한 비용을 최소화할 수 있으며, 보다 다양한 분야의 영상 및 그에 따른 방송 서비스를 제공할 수 있는 양방향 방송 시스템 및 방법을 제공하는 것을 목적으로 한다.
한편, 본 발명이 해결하고자 하는 과제는 앞서 언급한 것에 그치지 않으며, 언급되지 않은 또 다른 과제들은 후술하게 될 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.
위와 같은 문제점을 해결하기 위하여, 본 발명에 따른 양방향 방송 시스템은 객체가 위치한 공간에 대한 영상을 획득하는 촬영 장치; 및 상기 영상을 시청하는 방송 시청자들의 방송 참여 데이터를 수집하고, 상기 영상으로부터 획득 가능한 데이터 또는 상기 방송 시청자들의 방송 참여 데이터를 기초로 상기 영상에 표시될 그래픽 객체를 결정하는 방송 제작 서버; 를 포함한다.
또한, 상기 양방향 방송 시스템에 있어서 상기 방송 참여 데이터는, 상기 영상을 시청하는 방송 시청자 수, 방송 시청자의 응답 수, 호감 표시 수, 방송 시청자의 식별 데이터, 방송 시청자의 채팅 데이터 및 방송 시청자의 그래픽 객체 구매 데이터 중 적어도 하나를 포함할 수 있다.
또한, 상기 양방향 방송 시스템에 있어서 상기 영상으로부터 획득 가능한 데이터는, 상기 영상 내 객체의 식별 데이터, 상기 객체 별 움직임에 대한 트래킹 데이터, 및 상기 객체가 위치한 공간에 대한 3차원 공간 데이터 중 적어도 하나를 포함할 수 있다.
또한, 상기 양방향 방송 시스템에 있어서 상기 방송 제작 서버는, 상기 영상으로부터 획득 가능한 데이터 또는 방송 참여 데이터가 미리 설정된 조건을 만족하는 경우, 상기 영상에 표시될 그래픽 객체의 종류, 색상, 크기, 음향, 특수 효과 및 이동 경로 중 어느 하나의 출력 속성 정보를 결정하는 것을 특징으로 할 수 있다.
또한, 상기 양방향 방송 시스템에 있어서 상기 방송 제작 서버는, 상기 객체가 소지한 마이크를 통해 상기 객체의 음성 데이터를 획득하고, 상기 방송 참여 데이터 중 상기 음성 데이터가 획득되는 시간과 동일한 시간에 수집된 방송 참여 데이터를 상기 객체와 매핑시키는 것을 특징으로 할 수 있다.
또한, 상기 양방향 방송 시스템에 있어서 상기 방송 제작 서버는, 상기 채팅 데이터에서 상기 객체와 연관된 텍스트가 존재하는 경우, 상기 텍스트를 나타내는 그래픽 객체의 표시 범위를 상기 객체의 트래킹 데이터와 매핑시키는 것을 특징으로 할 수 있다.
또한, 상기 양방향 방송 시스템에 있어서 상기 방송 제작 서버는, 상기 영상을 통해 획득된 데이터와 상기 그래픽 객체를 기초로 방송 콘텐츠를 생성하는 것을 특징으로 할 수 있다.
또한, 상기 양방향 방송 시스템에 있어서 상기 방송 제작 서버는, 상기 객체 주변에 배치된 그래픽 객체의 종류를 확인하고, 해당 객체와 상기 객체의 움직임에 따라 상기 그래픽 객체가 교차 배치되는 경우, 상기 그래픽 객체의 출력 속성 정보를 변경하는 것을 특징으로 할 수 있다.
또한, 상기 양방향 방송 시스템에 있어서 상기 방송 제작 서버는, 방송에 참여하는 객체 별로 스트리밍 채널을 생성하고, 상기 채널을 기초로 상기 방송 참여 데이터를 분류하는 것을 특징으로 할 수 있다.
또한, 상기 양방향 방송 시스템에 있어서 상기 촬영 장치를 통해 획득된 영상과 상기 방송 제작 서버에 의해 결정된 그래픽 객체를 혼합하여 방송 콘텐츠를 생성하고, 상기 방송 콘텐츠를 출력하는 영상 믹서; 를 더 포함할 수 있다.
한편, 본 발명의 또 다른 실시예에 따른 양방향 방송 서비스 제공 방법은, 객체가 위치한 공간에 대한 영상을 획득하는 단계; 상기 영상을 시청하는 방송 시청자들의 방송 참여 데이터를 수집하는 단계; 및 상기 영상으로부터 획득 가능한 데이터 또는 상기 방송 참여 데이터를 기초로 그래픽 객체를 결정하는 단계; 를 포함할 수 있다.
또한, 상기 양방향 방송 서비스 제공 방법은, 상기 결정하는 단계 이후에, 상기 그래픽 객체를 상기 영상에 혼합한 방송 콘텐츠를 생성하여 방송국 서버 또는 스트리밍 서버로 송신하는 단계; 를 더 포함할 수 있다.
또한, 상기 양방향 방송 서비스 제공 방법에 있어서 상기 영상으로부터 획득 가능한 데이터는, 상기 영상 내 객체의 식별 데이터, 상기 객체 별 움직임에 대한 트래킹 데이터, 및 상기 객체가 위치한 공간에 대한 3차원 공간 데이터 중 적어도 하나를 포함할 수 있다.
또한, 상기 양방향 방송 서비스 제공 방법에 있어서 상기 방송 참여 데이터는, 상기 영상을 시청하는 방송 시청자 수, 방송 시청자의 응답 수, 호감 표시 수, 방송 시청자의 식별 데이터, 방송 시청자의 채팅 데이터 및 방송 시청자의 그래픽 객체 구매 데이터 중 적어도 하나를 포함할 수 있다.
또한, 상기 양방향 방송 서비스 제공 방법에 있어서 상기 결정하는 단계는, 상기 방송 참여 데이터가 미리 설정된 조건을 만족하는 경우, 상기 영상에 표시될 그래픽 객체의 종류, 색상, 크기, 음향, 특수 효과 및 이동 경로 중 어느 하나의 속성 정보를 결정하는 단계일 수 있다.
또한, 상기 양방향 방송 서비스 제공 방법에 있어서 상기 수집하는 단계는, 방송에 참여하는 객체 별로 스트리밍 채널을 생성하고, 상기 스트리밍 채널을 기초로 상기 방송 참여 데이터를 분류하는 단계, 를 더 포함할 수 있다.
본 발명에 따르면 일방적으로 영상을 제공하는 방송 시스템이 아닌, 시청자들의 반응을 그래픽 객체로 변환하고 이를 즉시 생방송에 송출되게 함으로써, 시청자가 원하는 방향으로의 양방향 방송을 제작할 수 있다는 효과가 있으며, 시청자와 공연 예술가가 하나의 방송 콘텐츠를 만드는 경험을 할 수 있는 효과도 있다.
또한 본 발명에 따르면 방송 중 객체의 움직임에 맞게 그래픽 객체를 이동시키고, 각종 동작에 따라 특수 효과를 제공함으로써 관객들의 흥미를 배가시킬 수 있는 효과가 있다.
또한 본 발명에 따르면 객체 데이터 또는 공간 데이터를 포함하는 영상에 시청자의 반응이 적용된 그래픽 객체를 삽입하여 콘텐츠를 생성 및 방송하는 일련의 과정을 구현하기 위해, 고가의 장비를 필요로 하지 않아 전체 시스템 구축 비용을 최소화할 수 있는 효과가 있다.
본 발명의 효과들은 이상에서 언급한 효과들로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.
도 1은 본 발명이 제안하는 증강현실 방송 서비스의 구현 예를 도시한 것이다.
도 2는 본 발명에 따른 양방향 방송 시스템의 개략적인 구성을 도시한 것이다.
도 3은 본 발명에 따른 방송 제작 서버의 개략적인 구성을 도시한 것이다.
도 4는 본 발명에 따른 방송 제작 서버에서 증강현실 방송 서비스를 제공하기 위한 개략적인 흐름을 도시한 것이다.
도 5 및 도 6은 본 발명에 따른 양방향 방송 서비스의 실제 구현 예를 도시한 것이다.
도 7은 본 발명에 따른 양방향 방송 서비스를 제공하기 위한 인터페이스 화면의 실제 구현 예를 도시한 것이다.
도 2는 본 발명에 따른 양방향 방송 시스템의 개략적인 구성을 도시한 것이다.
도 3은 본 발명에 따른 방송 제작 서버의 개략적인 구성을 도시한 것이다.
도 4는 본 발명에 따른 방송 제작 서버에서 증강현실 방송 서비스를 제공하기 위한 개략적인 흐름을 도시한 것이다.
도 5 및 도 6은 본 발명에 따른 양방향 방송 서비스의 실제 구현 예를 도시한 것이다.
도 7은 본 발명에 따른 양방향 방송 서비스를 제공하기 위한 인터페이스 화면의 실제 구현 예를 도시한 것이다.
본 발명의 목적과 기술적 구성 및 그에 따른 작용 효과에 관한 자세한 사항은 본 발명의 명세서에 첨부된 도면에 의거한 이하의 상세한 설명에 의해 보다 명확하게 이해될 것이다. 첨부된 도면을 참조하여 본 발명에 따른 실시예를 상세하게 설명한다.
본 명세서에서 개시되는 실시예들은 본 발명의 범위를 한정하는 것으로 해석되거나 이용되지 않아야 할 것이다. 이 분야의 통상의 기술자에게 본 명세서의 실시예를 포함한 설명은 다양한 응용을 갖는다는 것이 당연하다. 따라서, 본 발명의 상세한 설명에 기재된 임의의 실시예들은 본 발명을 보다 잘 설명하기 위한 예시적인 것이며 본 발명의 범위가 실시예들로 한정되는 것을 의도하지 않는다.
도면에 표시되고 아래에 설명되는 기능 블록들은 가능한 구현의 예들일 뿐이다. 다른 구현들에서는 상세한 설명의 사상 및 범위를 벗어나지 않는 범위에서 다른 기능 블록들이 사용될 수 있다. 또한, 본 발명의 하나 이상의 기능 블록이 개별 블록들로 표시되지만, 본 발명의 기능 블록들 중 하나 이상은 동일 기능을 실행하는 다양한 하드웨어 및 소프트웨어 구성들의 조합일 수 있다.
또한, 어떤 구성요소들을 포함한다는 표현은 “개방형”의 표현으로서 해당 구성요소들이 존재하는 것을 단순히 지칭할 뿐이며, 추가적인 구성요소들을 배제하는 것으로 이해되어서는 안 된다.
나아가 어떤 구성요소가 다른 구성요소에 “연결되어” 있다거나 “접속되어” 있다고 언급될 때에는, 그 다른 구성요소에 직접적으로 연결 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 한다.
도 1과 도 2를 참조하여 본 발명에 따른 증강현실 방송 서비스를 제공하는 양방향 방송 시스템에 대해 살펴보기로 한다.
먼저, 도 1은 본 발명이 제안하는 증강현실 방송 서비스의 구현 예를 도시한 것이다.
도 1을 살펴보면, 본 발명의 양방향 방송 시스템(1000)은 방송국 서버(20) 또는 스트리밍 서버(30)를 통해 무대 연출이 진행되는 공간(1)을 실시간으로 방송하면서, 방송을 시청하는 시청자(10)들의 반응을 방송 화면 내 그래픽 객체로 띄워줄 수 있다. 구체적으로, 실시간 방송은 촬영 장치(100)가 촬영한 영상을 토대로 진행되며, 방송 제작 서버(200)는 시청자(10)들의 반응을 수집하고, 이를 방송 화면 상에서 다수의 그래픽 객체(a)(b)(c)(d)로 표시될 수 있도록 제어할 수 있다. 여기서, 그래픽 객체는 이미지 형태를 기본으로 하되, 추가로 텍스트, 오디오 형태로 구현될 수 있다. 예를 들어, (a) 그래픽 객체가 나타나거나 사라지는 경우, (d) 그래픽 객체 내 숫자가 올라가거나 내려가는 경우 또는 어느 하나의 객체(A')가 (b) 그래픽 객체와 교차 배치되는 경우에 오디오 효과가 출력될 수 있으며, 어느 하나의 객체(B)에 대한 시청자(10)의 채팅 데이터가 획득되는 경우 텍스트를 포함하는 (c) 그래픽 객체가 출력될 수 있다.
아울러, 방송 제작 서버(200)는 공간(1)에 배치된 객체(A')(A")(B) 별로 시청자들의 반응을 구분하여 수집할 수 있는데, 여기서의 객체는 방송 출연자, 공연 무대 가수, 사회자 등의 사람, 공간(1)을 특정 지을 수 있는 조형물 등 다양한 사람, 사물, 동물 등을 포함할 수 있다. 다만, 설명의 편의를 위해 이하에서 설명하는 객체는 사람인 것으로 가정한다. 방송 제작 서버(200)는 객체 별로 시청자들의 반응을 구분함에 따라, 객체의 위치와 대응되는 위치에 그래픽 객체를 표시할 수 있으며, 그래픽 객체의 표시와 그 위치에 관하여는 아래에서 더 상세히 설명하기로 한다.
도 2는 본 발명에 따른 양방향 방송 시스템의 개략적인 구성을 도시한 것이다.
도 2를 참조하면, 증강현실 방송 서비스를 제공하는 양방향 방송 시스템(1000)은 촬영 장치(100), 방송 제작 서버(200), 영상 믹서(300) 및 시청자 단말(400)을 포함할 수 있다.
촬영 장치(100)는 객체가 위치한 공간에 대한 영상을 획득할 수 있다. 촬영 장치(100)는 객체를 인식하고, 촬영 공간의 각 지점 위치 좌표, 3차원 공간 정보, 거리 정보를 획득하기 위한 Lidar 센서나 ToF(Time Of Flight) 센서를 포함할 수 있으며, 촬영 장치(100)가 획득한 영상을 통해 방송 제작 서버(200)는 객체의 식별 데이터, 상기 객체 별 움직임에 대한 트래킹 데이터 및 상기 객체가 위치한 공간에 대한 3차원 공간 데이터 중 적어도 하나의 데이터를 획득할 수 있다.
본 발명에서 촬영 장치(100)는 객체, 공간의 데이터를 획득할 수 있는 다양한 종류의 촬영 장치를 포함할 수 있으며, 일 예로 방송용 카메라(예. ENG카메라)는 물론, 카메라를 구비한 스마트 폰, 웹캠(Webcam), 캠코더 등이 촬영 장치(100)가 될 수도 있다. 아울러, 촬영 장치(100)는 유/무선 네트워크를 이용하여 획득한 영상을 방송 제작 서버(200)로 전달할 수 있다.
방송 제작 서버(200)는 증강현실 방송 서비스를 제공하기 위한 방송 콘텐츠를 생성할 수 있는 서버로서, 하나의 서버 장치일 수 있거나, 경우에 따라 여러 대의 서버들로 구성된 시스템일 수 있다. 구체적으로, 방송 제작 서버(200)는 영상을 시청하는 방송 시청자들의 방송 참여 데이터를 수집하고, 방송 참여 데이터를 기초로 영상에 표시될 그래픽 객체를 결정할 수 있다. 여기서, 방송 참여 데이터란 방송 시청자들을 통해 얻을 수 있는 모든 데이터의 총칭으로, 방송 제작 서버(200)는 방송 채널 또는 스트리밍 채널을 통해 실시간으로 영상을 업로드함으로써 획득되는, 채널 접속자 수, 시청률, 댓글 수, 호감 표시 수, 댓글 내용, 유료 아이템 구매 정보 등을 포함할 수 있다.
방송 제작 서버(200)는 방송 참여 데이터가 미리 설정된 조건을 만족하는지 확인하고, 조건이 충족되었을 때 영상에 표시될 그래픽 객체를 결정하고, 객체와 공간의 위치를 고려하여 이를 방송 화면에 표시할 수 있다. 이와 같이, 방송 제작 서버(200)는 종래 시청자들의 반응을 단순히 출력하는 것에서 나아가, 기 설정된 조건이 만족될 시에, 미리 제작된 그래픽 객체를 이용하여 표시함으로써, 시청자들의 반응, 의도가 방송에 반영될 수 있으며, 방송에 참여한 객체는 그래픽 객체를 통해 방송을 진행할 수 있어, 진정한 양방향 방송 서비스가 이루어질 수 있다는 점에서 차이가 있다.
한편, 방송 제작 서버(200)는 영상에 대한 시청자들의 반응을 수집하기 위해, 방송 채널 플랫폼(방송국 서버(20)) 또는 스트리밍 채널 플랫폼(스트리밍 서버(30))으로부터 여러 API(Application Programming Interface)를 제공 받을 수 있다. 예를 들어, 방송 제작 서버(200)는 영상을 송출하기 위해 방송을 설정하기 위한 API, 시청자 반응을 수집하기 위한 API를 제공 받을 수 있다.
영상 믹서(300)는 촬영 장치(100), 방송 제작 서버(200)로부터 전달 받은 모든 데이터를 취합하여 방송에 송출될 방송 콘텐츠를 최종 생성하는 방송 제작자의 장치로서, 방송 제작자는 영상 믹서(300)를 통해 촬영 장치(100)를 통해 획득된 영상과 방송 제작 서버(200)에 의해 결정된 그래픽 객체를 혼합하여 방송 콘텐츠를 생성하고, 이를 출력할 수 있다. 예를 들어, 영상 믹서(300)는 개별 연결된 촬영 장치(100)와 방송 제작 서버(200)로부터 영상 및 그래픽 객체 표시 데이터를 제공 받아 하나의 방송 콘텐츠를 생성한 후, 이를 방송 신호로 출력할 수 있으며, 다른 예를 들어, 방송 제작 서버(200)에 의해 전달 받은 방송 콘텐츠를 컨버터(미도시)를 사용하여 방송 신호로 변환하여 출력할 수도 있다. 즉, 방송 제작자는 영상 믹서(300)를 통해 방송 제작 서버(200)에 의해 이미 완성된 증강현실 방송 서비스용 방송 콘텐츠를 확인하고, 이를 방송 채널, 스트리밍 채널로 즉시 출력할 수 있어, 시청자의 반응을 일일이 확인하고, 부적절한 내용을 필터링하는 번거로운 과정을 생략할 수 있다.
한편, 촬영 장치(100)와 방송 제작 서버(200) 그리고 영상 믹서(400)는 서로 간에 물리적 커넥터(connector)를 통해 연결될 수 있다. 예를 들어, 커넥터는 HDMI(high definition multimedia interface) 커넥터, USB(universal serial bus) 커넥터, SD 카드 커넥터, SDI(Serial Digital Interface) 커넥터 또는 오디오 커넥터 등을 포함할 수 있다.
시청자 단말(400)은 증강현실 방송 서비스를 이용하는 시청자가 소지한 단말로서, 스마트 폰, PC, 태블릿 PC 등 다양한 전자 장치를 포함할 수 있다. 시청자는 방송 제작 서버(200)가 생성한 스트리밍 채널 또는 방송 채널에 접속하고, 방송을 시청하면서 방송에 대한 의견을 제공하거나, 관심을 표현할 수 있으며, 질문에 대한 답을 남길 수 있다. 여기서, 관심의 표현이나 텍스트를 남기는 동작은 스트리밍 채널 또는 방송 채널에 활성화된 댓글 창에 댓글을 입력함으로써 수행되거나, 방송 화면에 표시된 번호로 문자를 송신함으로써 수행될 수 있다.
지금까지 본 발명의 증강현실 방송 서비스를 제공하는 양방향 방송 시스템(1000)에 대하여 개략적으로 살펴보았으며, 이하에서는 증강현실을 구현하기 위한 그래픽 객체를 결정하는 방송 제작 서버(200)에 대하여 설명하도록 한다.
도 3은 본 발명에 따른 방송 제작 서버의 개략적인 구성을 도시한 것이다.
도 3을 참조하면, 방송 제작 서버(200)는 통신부(210), 입력부(220), 출력부(230), 저장부(240) 및 프로세서(250)를 포함할 수 있다.
통신부(210)는 유/무선 네트워크를 이용하여 촬영 장치(100), 영상 믹서(300), 시청자 단말(400), 방송국 서버(20) 및 스트리밍 서버(30)로부터 다양한 데이터를 송수신할 수 있다. 예를 들어, 통신부(210)는 촬영 장치(100)로부터 객체의 식별 데이터, 객체 별 움직임에 대한 트래킹 데이터 및 객체가 위치한 공간에 대한 3차원 공간 데이터 등의 데이터를 포함하는 영상을 수신할 수 있으며, 시청자 단말(400)로부터 방송 시청자의 채팅 데이터, 그래픽 객체 구매 데이터 등의 방송 참여 데이터를 수신할 수 있고, 영상 믹서(300), 방송국 서버(20) 또는 스트리밍 서버(30)로 영상과 그래픽 객체가 혼합된 방송 콘텐츠를 송신할 수 있다.
입력부(220)는 방송 제작자로부터 증강현실 방송 서비스를 제공하기 위한 각종 설정 정보를 획득할 수 있다. 구체적으로, 입력부(220)는 증강현실 방송 서비스를 제공하는 방송 채널 또는 스트리밍 채널 정보를 획득하거나, 방송 제작자의 그래픽 객체 출력 속성 정보를 획득할 수 있다. 예를 들어, 입력부(220)는 방송 제작자로부터 스트리밍 채널을 생성하기 위한 식별 정보와 함께 방송에 참여하는 객체 별로 서로 다른 스트리밍 채널(라이브 채널)을 생성하기 위한 정보를 획득할 수 있으며, 방송 송신 속도 정보를 획득할 수 있다. 다른 예를 들어, 입력부(220)는 방송 제작자로부터 증강현실 방송 서비스가 제공되는 동안 출연하는 방송 참가자(객체) 정보와 객체와 연관된 텍스트를 새롭게 획득할 수 있다. 여기서, 텍스트는 그래픽 객체가 표시될 조건을 의미할 수 있다. 일 예로, 입력부(220)는 방송 제작자로부터 12월 12일 방송하는 증강현실 방송 서비스에 출연하는 방송 출연자 정보와 방송 출연자의 이름, 별명, 유행어 등의 텍스트 정보를 획득할 수 있으며, 이는 그래픽 객체를 결정하기 위해 사용될 수 있다. 또 다른 예를 들어, 입력부(220)는 방송 제작자로부터 그래픽 객체가 표시될 조건을 획득하거나, 어느 하나의 조건을 충족하였을 시에 방송 시청자가 시각적, 청각적으로 확인 가능한 그래픽 객체의 출력 속성 정보를 획득할 수 있다. 아울러, 출력 속성 정보란 그래픽 객체의 종류, 색상, 크기 등의 이미지, 음향, 화면 내 이동 경로 등을 포함할 수 있다.
출력부(230)는 증강현실 방송 서비스를 제공하기 위한 인터페이스와 방송서비스에 표시될 그래픽 객체를 시각적, 청각적으로 출력할 수 있다. 출력부(230)를 통해 방송 제작자는 방송에 표시될 그래픽 객체를 편집할 수 있으며, 영상에 표시될 그래픽 객체의 위치 등을 조정할 수 있다. 아울러, 출력부(230)는 사용자의 터치 입력을 인식할 수 있으며, 그에 따라, 출력부(230)는 입력부(220)와 하나의 물리적 구성 요소로 이루어질 수 있다. 참고로, 상기 출력부(230)를 통해 출력 내지 송출되는 인터페이스 또는 객체 등은 후술하게 될 저장부(240)에 저장된 것일 수 있다.
저장부(240)는 그래픽 객체를 결정하기 위한 각종 출력 속성 정보, 조건 정보 등을 저장할 수 있다. 구체적으로, 저장부(240)는 방송 참여 데이터의 종류 별로 표시 가능한 각종 그래픽 객체 정보를 저장할 수 있다. 예를 들어, 저장부(240)는 수치로 나타나는 방송 참여 데이터의 경우, 단계적으로 변화하는 그래픽 객체의 이미지를 저장할 수 있으며, 텍스트로 나타나는 방송 참여 데이터의 경우, 방송 시청자의 식별 정보 및 텍스트가 삽입될 그래픽 객체의 이미지를 저장할 수 있고, 소정의 금액을 지불한 방송 참여 데이터의 경우, 금액에 따라 상이한 그래픽 객체의 이미지를 저장할 수 있다. 또한, 저장부(240)는 그래픽 객체가 표시되거나 전환되기 위한 기준 정보를 저장할 수 있다. 예를 들어, 저장부(240)는 그래픽 객체가 표시되기 위한 방송 시청자 수, 시청률, 댓글 수, 호감 표시 수, 채팅, 댓글 내용, 그래픽 객체의 이미지가 순차적으로 전환되기 위한 시청자 수, 시청률, 댓글 수, 호감 표시 수, 유료 아이템 구매 정보 등을 저장할 수 있다.
아울러, 저장부(240)는 증강현실 방송 서비스가 제공되는 어느 하나의 방송 콘텐츠와 관련하여 출연자 정보(객체 정보), 출연자 별 출연 시간 정보 등을 저장할 수 있으며, 출연자 별 마이크(미도시) 식별 정보를 저장할 수도 있다.
한편, 저장부(240)는 각종 데이터, 명령 및 정보를 저장할 수 있는 휘발성 또는 비휘발성 기록 매체를 포함할 수 있다. 예를 들어, 저장부(240)는 플래시 메모리 타입, 하드디스크 타입, 멀티미디어 카드 마이크로 타입, 카드 타입의 메모리(예를 들어 SD 또는 XD 메모리 등), 램, SRAM, 롬, EEPROM, PROM, 네트워크 저장 스토리지, 클라우드 중 적어도 하나의 타입의 저장매체를 포함할 수 있다.
다른 한편, 저장부(240)에는 방송 제공 서버(200)의 동작을 위한 명령어들이 기록되어 있을 수 있으며, 저장부(240)에는 증강현실 방송 서비스를 제공하기 위한 프로그램이 기록되어 있을 수 있다. 프로그램은 프로세서(250)에 의해 실행될 때, 출력부(230)에서 사용자 인터페이스를 제공하고, 사용자 입력에 따른 적절한 메시지(데이터)를 출력하도록 하는 명령어 또는 프로그램 코드를 저장하는 기록 매체를 포함할 수 있다.
프로세서(250)는 통신부(210), 입력부(220), 출력부(230) 및 저장부(240)와 동작 가능하게 연결되어, 방송 제공 서버(200)의 전반적인 동작을 제어하며, 그래픽 객체를 결정하고 방송 콘텐츠를 생성하기 위한 다양한 명령들을 수행할 수 있다.
프로세서(250)는 통신부(210)를 통해 객체가 위치한 공간에 대한 영상을 획득하고, 방송 채널 또는 스트리밍 채널에 업로드되어 이를 실시간으로 시청하는 방송 시청자들의 방송 참여 데이터를 수집할 수 있다. 여기서, 방송 참여 데이터란 방송 시청자들을 통해 얻을 수 있는 모든 데이터의 총칭으로, 방송 제작 서버(200)는 방송 채널 또는 스트리밍 채널을 통해 실시간으로 영상을 업로드함으로써 획득되는, 채널 접속자 수, 시청률, 댓글 수, 호감 표시 수, 댓글 내용, 유료 아이템 구매 정보 등을 포함할 수 있다.
아울러, 프로세서(250)는 방송에 참여하는 객체 별로 스트리밍 채널을 생성할 수 있으며, 채널을 기초로 방송 참여 데이터를 분류할 수 있다. 예를 들어, 프로세서(250)는 1번 참가자, 2번 참가자, 3번 참가자를 응원하는 스트리밍 채널을 분리 생성함으로써, 하나의 방송에서 수집되는 방송 참여 데이터를 분류할 수 있으며, 해당 채널을 통해 수집된 방송 참여 데이터는 각각의 참가자(객체)에 매핑시킬 수 있다. 이와 같이, 방송 참여 데이터를 채널 별로 분류함에 따라, 수 만개의 방송 참여 데이터에 대한 그래픽 객체를 특정 객체나 위치에 한정시키기 위해 사용되는 연산량을 큰 폭으로 줄일 수 있다.
한편, 증강현실 방송 서비스를 구현하기 위한 필수 요소인 그래픽 객체를 결정하기 위해서는, 객체와 영상에 관한 공간 데이터가 필수적이다. 그에 따라, 프로세서(250)는 영상을 통해 객체의 식별 데이터, 객체 별 움직임에 대한 트래킹 데이터 및 객체가 위치한 공간에 대한 3차원 공간 데이터 중 적어도 하나의 데이터를 획득할 수 있다. 예를 들어, 프로세서(250)는 영상 속에 다수의 멤버를 포함하는 하나의 그룹이 존재하는 경우, 각 멤버를 식별하고, 멤버 별 트래킹 데이터를 획득할 수 있으며, 무대의 중심 좌표, 가장자리 영역 좌표 등의 공간 데이터를 획득할 수 있다. 또 다른 한편, 프로세서(250)로서는 영상으로부터 객체의 식별 데이터, 트래킹 데이터, 및 3차원 공간 데이터를 개별적으로 추출 및 획득해 내는 데에 상당한 연산이 필요하여 자칫 지연현상이 발생할 수도 있는데, 본 발명에 따른 양방향 방송 시스템에서는 촬영 장치(100), 즉 방송용 카메라에 화각이 연동되도록 세팅된 뎁스(depth) 카메라를 더 구비시킴으로써 객체(사람)의 식별 데이터 및 3차원 공간 데이터가 동시에 획득되도록 할 수 있다. 즉, 프로세서(250)는 영상으로부터 객체의 식별 데이터 또는 3차원 공간 데이터를 별개로 추출하기 위한 연산을 할 필요 없이 촬영 장치(100) 및 뎁스 카메라에 의해 촬영 및 인식된 영상으로부터 객체의 식별 데이터 및 3차원 공간 데이터를 매칭된 채로 획득할 수 있게 되므로 연산량을 줄일 수 있게 된다.
그래픽 객체와 관련된 모든 데이터를 획득하였다면, 프로세서(250)는 방송 참여 데이터가 미리 설정된 조건을 만족하는지 판단하고, 판단 결과 미리 설정된 조건을 만족하는 경우 영상에 표시될 그래픽 객체를 결정할 수 있다. 이때, 미리 설정된 조건은 방송 제작자/사회자의 시청자 채팅 데이터 요청, 채널 접속자 수 10,000명/20,000명/50,000명 이상, 시청률 1.3% 이상, 호감 표시 수 100,000 이상, 질문에 대한 정답으로 "56" 텍스트를 포함하는 채팅 데이터를 수신하는 경우, 유료 그래픽 객체를 구매하는 경우 등 다양한 조건을 포함할 수 있다.
또한, 프로세서(250)가 그래픽 객체를 결정한다고 하는 것은 그래픽 객체의 이미지, 오디오 정보를 결정하고, 이동 경로를 결정하는 것으로 이해될 수 있으며, 보다 구체적으로는 영상에 표시될 그래픽 객체의 종류, 색상, 크기, 음향 및 이동 경로 중 어느 하나의 출력 속성 정보를 결정하는 것으로 이해될 수 있다.
그 중에서도, 프로세서(250)는 그래픽 객체의 표시 범위, 즉 위치를 지정하기 위해 방송 시청자의 방송 참여 데이터를 활용할 수 있다. 구체적으로, 프로세서(250)는 채팅 데이터에서 객체와 연관된 텍스트가 존재하는 경우, 텍스트를 나타내는 그래픽 객체의 표시 범위를 객체의 트래킹 데이터와 매핑시킬 수 있다. 예를 들어, 프로세서(250)는 다수의 채팅 데이터 중 Z 객체의 이름, 별명, 유행어와 관련된 채팅 데이터가 존재하는 경우, 해당 채팅 데이터를 그래픽 객체로 표시하면서, 그 움직임을 영상 속에 식별된 Z 객체의 움직임과 매핑시킬 수 있다.
이 외에도, 프로세서(250)는 객체가 소지한 마이크(미도시)를 통해 객체의 음성 데이터를 획득하고, 방송 참여 데이터 중 음성 데이터가 획득되는 시간과 동일한 시간에 수집된 방송 참여 데이터를 마이크를 소지한 객체와 매핑시킬 수 있다. 예를 들어, 프로세서(250)는 M 객체가 일방적으로 질문을 하는 시간 동안 수집된 방송 참여 데이터를 그래픽 객체로 표시하는 과정에서 그 위치를 M 객체와 인접한 위치로 매핑시킴으로써, M 객체와 시청자가 서로 퀴즈를 맞추며 방송을 진행하는 듯한 체험을 할 수 있다.
방송 참여 데이터가 상술한 예와 같은 조건을 충족함에 따라, 프로세서(250)는 그래픽 객체를 결정하게 되며, 영상에 지정된 출력 속성 정보에 맞는 그래픽 객체를 혼합하여 방송 콘텐츠를 생성할 수 있다. 생성된 방송 콘텐츠는 방송국 서버(20) 또는 스트리밍 서버(30)로 송신되고, 시청자들은 자신이 소지한 시청자 단말(400)을 통해 생성된 증강현실 방송 서비스를 감상할 수 있다.
한편, 프로세서(250)에 의해 그래픽 객체가 결정되고, 그래픽 객체가 지정된 위치에 배치되어 있는 동안, 방송에 참여하는 객체의 행동과 그래픽 객체의 출력 속성 정보에 따라 그래픽 객체가 변형될 수 있다. 여기서, 출력 속성 정보는 그래픽 객체에 지정된 특수 효과 정보로서, 영상 속의 객체가 이동함에 따라 객체와 그래픽 객체가 하나의 영상 프레임 안에서 교차 배치되는 경우, 그래픽 객체가 사라지거나 상하/좌우로 이동하거나, 그래픽 객체 상에 또 다른 그래픽 객체가 덧입혀지는 각종 특수 효과가 발생할 수 있다.
지금까지 본 발명의 증강현실 방송 서비스를 구현하기 위한 방송 제작 서버(200)에 대하여 살펴보았다. 본 발명에 따르면, 방송 제작 서버(200)는 일방적으로 영상을 제공하는 방송 시스템이 아닌, 시청자들의 반응을 그래픽 객체로 변환하고 이를 즉시 생방송에 송출되게 함으로써, 시청자가 원하는 방향으로의 양방향 방송을 제작할 수 있다는 효과가 있다.
도 4는 본 발명에 따른 방송 제작 서버에서 증강현실 방송 서비스를 제공하기 위한 개략적인 흐름을 도시한 것이다.
도 4를 참조하면, 방송 제작 서버(200)는 객체가 위치한 공간에 대한 영상을 획득한다(S110). 방송 제작 서버(200)는 해당 영상을 통해 객체의 식별 데이터, 객체 별 움직임에 대한 트래킹 데이터 및 객체가 위치한 공간에 대한 3차원 공간 데이터 중 적어도 하나의 데이터를 획득할 수 있으며, 이를 토대로 이후 그래픽 객체의 위치 및 종류를 결정할 수 있다.
S110 단계 이후, 방송 제작 서버(200)는 영상을 시청하는 방송 시청자들의 방송 참여 데이터를 수집한다(S120). 구체적으로, 영상은 방송 채널 또는 스트리밍 채널에 업로드되며, 방송 제작 서버(200)는 방송 채널을 통해 수신한 문자 또는 채팅 창 내 댓글을 통해 방송 참여 데이터를 수집할 수 있다. 여기서, 방송 참여 데이터란 방송 시청자들을 통해 얻을 수 있는 모든 데이터의 총칭으로, 방송 제작 서버(200)는 방송 채널 또는 스트리밍 채널을 통해 실시간으로 영상을 업로드함으로써 획득되는, 채널 접속자 수, 시청률, 댓글 수, 호감 표시 수, 댓글 내용, 유료 아이템 구매 정보 등을 포함할 수 있다.
한편, 증강현실 방송 서비스의 규모에 따라 방송 참여 데이터의 양은 무한히 증가할 수 있으므로, 방송 제작 서버(200)는 방송에 참여하는 객체 별로 스트리밍 채널을 생성하여, 채널 별로 방송 참여 데이터를 분류함으로써, 그래픽 객체를 위치나 이동 경로를 결정하기 위해 방송 참여 데이터를 일일이 분류하는 작업을 생략할 수 있다.
S120 단계 이후, 방송 제작 서버(200)는 영상으로부터 획득 가능한 데이터 또는 방송 참여 데이터 중 적어도 하나를 기초로 그래픽 객체를 결정한다(S130).바람직하게는, 방송 제작 서버(200)는 영상 속에서 획득한 데이터와 방송 참여 데이터를 조합하여 그래픽 객체를 결정할 수 있으며, 보다 구체적으로 방송 제작 서버(200)는 영상으로부터 획득한 데이터 또는 방송 참여 데이터가 미리 설정된 조건을 만족하는 경우, 영상에 표시될 그래픽 객체의 종류, 색상, 크기, 음향, 특수 효과 및 이동 경로 중 어느 하나의 속정 정보를 결정할 수 있다. 여기서, 영상으로부터 획득한 데이터에 있어서의 미리 설정된 조건이란, 영상 내에서 객체들(멤버들)이 화면 내 차지하는 면적이 기 설정값 이하여서 그래픽 객체를 표시할 수 있는 화면 내 영역이 충분한 경우, 객체들에 대한 트래킹 데이터를 참조할 때 객체들이 기 설정된 움직임을 행한 경우, 객체들이 3차원 공간 내에서 정해진 위치로부터 벗어나거나 정해진 위치에 서는 경우 등이 포함될 수 있다. 또한, 방송 참여 데이터에 있어서의 미리 설정된 조건이란 목표 수치를 달성한 경우, 특정 텍스트를 수신하는 경우, 유료 그래픽 객체를 구매하는 경우 등 다양한 조건을 포함할 수 있다.
S130 단계 이후, 방송 제작 서버(200)는 그래픽 객체를 영상에 혼합한 방송 콘텐츠를 생성하여 방송국 서버(20) 또는 스트리밍 서버(30)로 송신한다(S140). 즉, 최종적으로 방송 시청자는 본인의 호응이나 텍스트가 실제로 방송 화면에 반영된 모습을 확인할 수 있으며, 그에 따라 방송의 흥미가 배가될 수 있다.
S110 단계 내지 S140 단계들을 실제 방송 서비스 제공 환경에 적용시켜 본다면, S110 단계는 5인으로 구성되어 있는 A 아이돌 그룹의 무대공연을 촬영함으로써 영상을 획득하는 단계일 수 있으며, 방송 제작 서버(200)는 이렇게 획득된 영상으로부터 A 아이돌 그룹의 각 멤버들을 식별한 멤버 별 식별 데이터(객체의 식별 데이터), 각 멤버들의 움직임을 트래킹하는 트래킹 데이터, 또는 각 멤버들이 위치한 공간에 대한 3차원 공간 데이터 중 적어도 하나의 데이터를 획득할 수 있다.
또한, S120 단계는 A 아이돌 그룹의 무대공연 영상을 시청하고 있는 다수 시청자들의 단말기들로부터 방송 참여 데이터, 예를 들어 관련 댓글, 유료 아이템 구매 정보, 접속자 수, 호감(좋아요) 개수 등이 수집되는 단계일 수 있다.
이 때, 방송 제작 서버(200)는 각 멤버 별로 생성되어 있는 스트리밍 채널을 통하여 각 멤버들에 대한 방송 참여 데이터를 수집할 수 있으며, 이렇게 객체 별 채널을 활용함으로써 대량의 방송 참여 데이터를 상대적으로 쉽게 처리할 수 있게 된다. 한편, 각 멤버 별 스트리밍 채널이 존재하지 않더라도 방송 제작 서버(200)는 상기 방송 참여 데이터 중 특정 멤버를 향한 것임을 식별할 수 있는 정보들, 예를 들어 댓글 내용 중 포함되어 있는 특정 멤버의 이름/별칭/애칭, 특정 멤버 이름을 포함하는 태그(해시태그) 등을 추출해 냄으로써 상기 방송 참여 데이터들을 각 멤버 별로 분류할 수 있게 구현할 수도 있다.
S130 단계는, 상기 방송 제작 서버(200)가 영상으로부터 획득 가능한 데이터 또는 방송 참여 데이터 중 적어도 하나를 기초로 그래픽 객체를 결정하는 단계로, 예를 들어 A 아이돌 그룹 멤버들이 화면 내에서 차지하는 면적이 50% 이하로 낮아지는 경우 방송 제작 서버(200)는 A 아이돌 그룹 멤버들이 차지하고 있는 영역 외의 영역에 3차원적으로 표현된 그룹명이 출력되도록 그래픽 객체를 결정할 수 있으며, 또는 A 아이돌 그룹 멤버들 중 어느 멤버에 대한 응원 메시지가 수신된 경우에는 화면 상에서 해당 멤버 측면으로 메시지를 출력되도록 그래픽 객체를 결정할 수도 있다.
도 5 및 도 6은 본 발명에 따른 양방향 방송 서비스의 실제 구현 예를 도시한 것이다.
도 5a를 참조하면, 방송 시청자는 시청자 단말(400)을 통해 점선을 제외한 그래픽 객체(51)가 존재하는 영상을 시청할 수 있다. 도 5a에서의 그래픽 객체(51)는 현재 영상에 등장하고 있는 그룹의 그룹명이나 이는 다른 콘텐츠로 변경 표시될 수 있다. 또한 여기서, 그래픽 객체(51)는 채널 접속자 수, 시청률, 댓글 수, 호감 표시 수, 유료 아이템 구매 정보 등에 따라 새롭게 전환되어 표시될 수도 있다.
한편, 방송 화면 중앙에 배치된 객체의 움직임에 따라 그래픽 객체(51)도 함께 변형될 수 있다. 예를 들어, 객체가 그래픽 객체(51)가 배치되어 있는 1번 영역으로 진입하여 두 객체가 교차 배치되는 경우, 그래픽 객체가 2번, 3번, 4번 영역으로 이동하거나, 사라질 수 있다.
도 5b 역시 도 5a와 유사하게 그룹명이 영상 내에 출력되는 실제 구현 예를 도시한 것이나, 도 5b는 방송 시청자들로부터 수신된 방송 참여 데이터의 양이 많이 쌓일수록, 다시 말해 영상 내 그룹을 응원하는 문자 메시지, 채팅 메시지, 좋아요 등이 많이 쌓일수록 그룹명(52)이 완성되어 가는 구현예를 도시한 것으로, 이처럼 본 발명에 따른 양방향 방송 서비스는 방송 참여 데이터와 연계하여 다양한 그래픽 객체들을 출력시킬 수 있다.
다음으로 도 6을 참조하면, 방송 시청자는 시청자 단말(400)을 통해 자신이 작성한 채팅 데이터에 대한 그래픽 객체(63)(64)가 존재하는 영상을 시청할 수 있다. 채팅 데이터에 대한 그래픽 객체(63)(64)는 특정 객체(C')(C")의 주변 영역에 배치되며, 이는 채팅 데이터에 특정 객체(C')(C")에 대한 정보를 포함하고 있을 경우, 자동으로 그 위치가 지정될 수 있다.
한편, 객체(C')(C") 상에 배치된 또 다른 그래픽 객체(61)(62)는 방송 제작자에 의해 삽입될 수 있다.
도 7은 본 발명에 따른 양방향 방송 서비스를 제공하기 위한 인터페이스 화면의 실제 구현 예를 도시한 것이다.
방송 제작자는 방송 제작 서버(200)의 인터페이스를 통해 가장 먼저 증강현실 방송 서비스를 제공하기 위한 메뉴(70)를 선택할 수 있으며, 도 7에서는 증강현실 방송 서비스 중 하나인 영상챗 서비스(슈퍼챗 서비스)를 제공하기 위해 메뉴가 선택되는 모습을 도시한 것이다. 영상챗 서비스 메뉴가 선택된 후에는 특정 스트리밍 플랫폼(71; 예: YouTube)이 선택될 수 있으며, 선택된 스트리밍 플랫폼에 대한 정보(예: 로그인 정보 등)가 정보입력란(72)을 통해 입력될 수 있다. 이 때 스트리밍 플랫폼은 방송 시청자들로부터의 방송 참여 데이터를 수집하기 위한 채널일 수 있다. 스트리밍 플랫폼이 선택된 후에는 방송 시청자들로부터 영상챗 서비스를 제공하는 데에 필요한 소스들, 즉 아이디 및 내용을 포함하는 방송 참여 데이터들을 수신할 수 있다. 이 때 수신되는 방송 참여 데이터들은 인터페이스(200) 중 임의의 영역(73) 내에 출력되도록 구현될 수 있다. 참고로 인터페이스(200) 내 임의의 영역(73)은 인터페이스 설계자의 의도에 따라 다른 방식으로 표시될 수도 있음을 이해한다. 한편, 방송 참여 데이터들이 수신된 후에는 미리 생성해 둔 그래픽 객체(74)가 상기 수신되는 방송 참여 데이터와 연계하여 출력되도록 제어될 수도 있다. 예를 들어, OX 투표를 댓글로 받아 댓글이 아이돌 그룹 멤버의 움직임에 맞추어 측면에 표시되도록 하는 그래픽 객체, 쌓인 댓글 수만큼 빈 공간이 채워지는 형태의 그래픽 객체 등이 상기 방송 참여 데이터와 연계하여 출력되도록 제어될 수 있다.
이상 증강현실 방송 서비스를 제공하는 양방향 방송 시스템에 대해 살펴보았다. 본 발명은 상술한 특정의 실시예 및 응용예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 구별되어 이해되어서는 안 될 것이다.
1000: 양방향 방송 시스템
10: 시청자
20: 방송국 서버
30: 스트리밍 서버
100: 촬영 장치
200: 방송 제작 서버
210: 통신부
220: 입력부
230: 출력부
240: 저장부
250: 프로세서
300: 영상 믹서
400: 시청자 단말
10: 시청자
20: 방송국 서버
30: 스트리밍 서버
100: 촬영 장치
200: 방송 제작 서버
210: 통신부
220: 입력부
230: 출력부
240: 저장부
250: 프로세서
300: 영상 믹서
400: 시청자 단말
Claims (16)
- 복수의 객체들이 위치한 공간에 대한 영상을 획득하는 촬영 장치; 및
상기 영상을 시청하는 방송 시청자들의 방송 참여 데이터를 수집하고, 상기 영상으로부터 획득 가능한 데이터 및 상기 방송 시청자들의 방송 참여 데이터를 기초로 상기 영상에 표시될 그래픽 객체를 결정하는 방송 제작 서버; 를 포함하며,
상기 영상으로부터 획득 가능한 데이터는 상기 영상 내 객체들의 식별 데이터 및 상기 객체들 별 움직임에 대한 트래킹 데이터를 포함하고,
상기 방송 제작 서버는, 상기 방송 참여 데이터 중 특정 객체와 관련된 방송 참여 데이터 - 상기 특정 객체와 관련된 방송 참여 데이터는, 특정 객체의 이름, 별칭, 애칭, 또는 해시태그를 포함함 - 가 존재하면, 해당 방송 참여 데이터를 상기 특정 객체의 움직임과 매핑시켜 상기 영상 내에서 그래픽 객체로 표시하는 것을 특징으로 하는,
양방향 방송 시스템.
- 제1항에 있어서,
상기 방송 참여 데이터는,
상기 영상을 시청하는 방송 시청자 수, 방송 시청자의 응답 수, 호감 표시 수, 방송 시청자의 식별 데이터, 방송 시청자의 채팅 데이터 및 방송 시청자의 그래픽 객체 구매 데이터 중 적어도 하나를 포함하는,
양방향 방송 시스템.
- 제1항에 있어서,
상기 영상으로부터 획득 가능한 데이터는,
상기 객체들이 위치한 공간에 대한 3차원 공간 데이터를 더 포함하는,
양방향 방송 시스템.
- 제2항 또는 제3항에 있어서,
상기 방송 제작 서버는,
상기 영상으로부터 획득 가능한 데이터 또는 방송 참여 데이터가 미리 설정된 조건을 만족하는 경우, 상기 영상에 표시될 그래픽 객체의 종류, 색상, 크기, 음향, 특수 효과 및 이동 경로 중 어느 하나의 출력 속성 정보를 결정하는,
양방향 방송 시스템.
- 제4항에 있어서,
상기 방송 제작 서버는,
상기 객체가 소지한 마이크를 통해 임의 객체의 음성 데이터를 더 획득하고,
상기 방송 참여 데이터 중 상기 음성 데이터가 획득되는 시간과 동일한 시간에 수집된 방송 참여 데이터를 상기 객체와 매핑시키는,
양방향 방송 시스템.
- 제2항에 있어서,
상기 방송 제작 서버는,
상기 채팅 데이터에서 임의 객체와 연관된 텍스트가 존재하는 경우, 상기 텍스트를 나타내는 그래픽 객체의 표시 범위를 상기 객체의 트래킹 데이터와 매핑시키는,
양방향 방송 시스템.
- 제1항에 있어서,
상기 방송 제작 서버는,
상기 영상을 통해 획득된 데이터와 상기 그래픽 객체를 기초로 방송 콘텐츠를 생성하는,
양방향 방송 시스템.
- 제1항에 있어서,
상기 방송 제작 서버는,
상기 객체 주변에 배치된 그래픽 객체의 종류를 확인하고, 해당 객체와 상기 객체의 움직임에 따라 상기 그래픽 객체가 교차 배치되는 경우, 상기 그래픽 객체의 출력 속성 정보를 변경하는,
양방향 방송 시스템.
- 제1항에 있어서,
상기 방송 제작 서버는,
방송에 참여하는 객체 별로 스트리밍 채널을 생성하고, 상기 채널을 기초로 상기 방송 참여 데이터를 분류하는,
양방향 방송 시스템.
- 제1항에 있어서,
상기 촬영 장치를 통해 획득된 영상과 상기 방송 제작 서버에 의해 결정된 그래픽 객체를 혼합하여 방송 콘텐츠를 생성하고, 상기 방송 콘텐츠를 출력하는 영상 믹서; 를 더 포함하는,
양방향 방송 시스템.
- 방송 제작 서버가 수행하는 양방향 방송 서비스 제공 방법으로서,
복수의 객체들이 위치한 공간에 대한 영상을 획득하는 단계;
상기 영상을 시청하는 방송 시청자들의 방송 참여 데이터를 수집하는 단계; 및
상기 영상으로부터 획득 가능한 데이터 및 상기 방송 참여 데이터를 기초로 그래픽 객체를 결정하는 단계; 를 포함하며,
상기 영상으로부터 획득 가능한 데이터는 상기 영상 내 객체들의 식별 데이터 및 상기 객체들 별 움직임에 대한 트래킹 데이터를 포함하고,
상기 방송 제작 서버는, 상기 방송 참여 데이터 중 특정 객체와 관련된 방송 참여 데이터 - 상기 특정 객체와 관련된 방송 참여 데이터는, 특정 객체의 이름, 별칭, 애칭, 또는 해시태그를 포함함 - 가 존재하면, 해당 방송 참여 데이터를 상기 특정 객체의 움직임과 매핑시켜 상기 영상 내에서 그래픽 객체로 표시하는 것을 특징으로 하는,
양방향 방송 서비스 제공 방법.
- 제11항에 있어서,
상기 결정하는 단계 이후에,
상기 그래픽 객체를 상기 영상에 혼합한 방송 콘텐츠를 생성하여 방송국 서버 또는 스트리밍 서버로 송신하는 단계; 를 더 포함하는,
양방향 방송 서비스 제공 방법.
- 제11항에 있어서,
상기 영상으로부터 획득 가능한 데이터는,
상기 객체가 위치한 공간에 대한 3차원 공간 데이터를 더 포함하는,
양방향 방송 서비스 제공 방법.
- 제11항에 있어서,
상기 방송 참여 데이터는,
상기 영상을 시청하는 방송 시청자 수, 방송 시청자의 응답 수, 호감 표시 수, 방송 시청자의 식별 데이터, 방송 시청자의 채팅 데이터 및 방송 시청자의 그래픽 객체 구매 데이터 중 적어도 하나를 포함하는,
양방향 방송 서비스 제공 방법.
- 제13항 또는 제14항에 있어서,
상기 결정하는 단계는,
상기 방송 참여 데이터가 미리 설정된 조건을 만족하는 경우, 상기 영상에 표시될 그래픽 객체의 종류, 색상, 크기, 음향, 특수 효과 및 이동 경로 중 어느 하나의 속성 정보를 결정하는 단계인,
양방향 방송 서비스 제공 방법.
- 제11항에 있어서,
상기 수집하는 단계는,
방송에 참여하는 객체 별로 스트리밍 채널을 생성하고, 상기 스트리밍 채널을 기초로 상기 방송 참여 데이터를 분류하는 단계, 를 더 포함하는,
양방향 방송 서비스 제공 방법.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020200181587A KR102568021B1 (ko) | 2020-12-23 | 2020-12-23 | 증강현실 방송 서비스를 제공하는 양방향 방송 시스템 및 방법 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020200181587A KR102568021B1 (ko) | 2020-12-23 | 2020-12-23 | 증강현실 방송 서비스를 제공하는 양방향 방송 시스템 및 방법 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20220090751A KR20220090751A (ko) | 2022-06-30 |
| KR102568021B1 true KR102568021B1 (ko) | 2023-08-17 |
Family
ID=82215280
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020200181587A KR102568021B1 (ko) | 2020-12-23 | 2020-12-23 | 증강현실 방송 서비스를 제공하는 양방향 방송 시스템 및 방법 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102568021B1 (ko) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2024071692A1 (ko) * | 2022-09-29 | 2024-04-04 | 삼성전자 주식회사 | 전자 장치 및 그 동작 방법 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101915786B1 (ko) | 2017-09-01 | 2018-11-09 | (주)비버스팩토리 | 아바타를 이용한 인터넷 방송 참여 서비스 시스템 및 방법 |
| KR102163695B1 (ko) | 2019-04-16 | 2020-10-08 | 주식회사 팀그릿 | 인터넷을 통한 실시간 참여형 스트리밍 서비스 제공 방법 및 그 장치 |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101369273B1 (ko) | 2012-05-25 | 2014-03-25 | 주식회사 미래지기 | 양방향 라이브 방송 시스템 및 방법 |
| KR20140004341A (ko) * | 2012-07-02 | 2014-01-13 | 한국전자통신연구원 | 시청자 선택형 증강방송 서비스 제공 장치 및 방법 |
| KR20170081517A (ko) * | 2016-01-04 | 2017-07-12 | 한국전자통신연구원 | 시청자의 참여가 가능한 양방향 방송 제공 서버 및 방법 |
| KR20200041839A (ko) * | 2020-02-24 | 2020-04-22 | 주식회사 아프리카티비 | 방송 시청을 위한 가상 현실 사용자 인터페이스 제공 방법 및 장치 |
-
2020
- 2020-12-23 KR KR1020200181587A patent/KR102568021B1/ko active IP Right Grant
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101915786B1 (ko) | 2017-09-01 | 2018-11-09 | (주)비버스팩토리 | 아바타를 이용한 인터넷 방송 참여 서비스 시스템 및 방법 |
| KR102163695B1 (ko) | 2019-04-16 | 2020-10-08 | 주식회사 팀그릿 | 인터넷을 통한 실시간 참여형 스트리밍 서비스 제공 방법 및 그 장치 |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20220090751A (ko) | 2022-06-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN106792246B (zh) | 一种融合式虚拟场景互动的方法及*** | |
| US8112490B2 (en) | System and method for providing a virtual environment with shared video on demand | |
| US9751015B2 (en) | Augmented reality videogame broadcast programming | |
| US8665374B2 (en) | Interactive video insertions, and applications thereof | |
| CN109327741B (zh) | 游戏直播方法、装置和*** | |
| US20150124171A1 (en) | Multiple vantage point viewing platform and user interface | |
| US20070122786A1 (en) | Video karaoke system | |
| US20180227501A1 (en) | Multiple vantage point viewing platform and user interface | |
| KR101915786B1 (ko) | 아바타를 이용한 인터넷 방송 참여 서비스 시스템 및 방법 | |
| CN108322474B (zh) | 基于共享桌面的虚拟现实***、相关装置及方法 | |
| KR20150105058A (ko) | 온라인을 이용한 혼합현실형 가상 공연 시스템 | |
| CN112770135B (zh) | 基于直播的内容讲解方法、装置、电子设备及存储介质 | |
| KR101369273B1 (ko) | 양방향 라이브 방송 시스템 및 방법 | |
| US20110035767A1 (en) | Iptv remote broadcasting system for audience participation and service providing method thereof | |
| US9930094B2 (en) | Content complex providing server for a group of terminals | |
| KR20210084248A (ko) | Vr 컨텐츠 중계 플랫폼 제공 방법 및 그 장치 | |
| KR102568021B1 (ko) | 증강현실 방송 서비스를 제공하는 양방향 방송 시스템 및 방법 | |
| KR102081067B1 (ko) | 스튜디오 환경에서의 비디오 믹싱 플랫폼 | |
| KR20180092411A (ko) | 다원 방송 송출 방법 및 장치 | |
| KR101295002B1 (ko) | Ｓｎｓ 정보를 이용한 파노라마 영상 인터페이스 제공 시스템 및 방법 | |
| KR20220077781A (ko) | 멀티채널 미디어 송수신 방법 및 시스템 | |
| EP4376385A1 (en) | System and method enabling live broadcasting sessions in virtual environments | |
| CN117939183B (zh) | 多机位自由视角导播方法、*** | |
| Yu et al. | AVPUC: Automatic video production with user customization | |
| Series | Collection of usage scenarios and current statuses of advanced immersive audio-visual systems |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E902 | Notification of reason for refusal | ||
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |