KR101573676B1 - Method of providing metadata-based object-oriented virtual-viewpoint broadcasting service and computer-readable recording medium for the same - Google Patents
Method of providing metadata-based object-oriented virtual-viewpoint broadcasting service and computer-readable recording medium for the same Download PDFInfo
- Publication number
- KR101573676B1 KR101573676B1 KR1020140109442A KR20140109442A KR101573676B1 KR 101573676 B1 KR101573676 B1 KR 101573676B1 KR 1020140109442 A KR1020140109442 A KR 1020140109442A KR 20140109442 A KR20140109442 A KR 20140109442A KR 101573676 B1 KR101573676 B1 KR 101573676B1
- Authority
- KR
- South Korea
- Prior art keywords
- image
- client terminal
- broadcast
- individual
- oriented
- Prior art date
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
- H04N21/258—Client or end-user data management, e.g. managing client capabilities, user preferences or demographics, processing of multiple end-users preferences to derive collaborative data
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/41—Structure of client; Structure of client peripherals
- H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
- H04N21/4227—Providing Remote input by a user located remotely from the client device, e.g. at work
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/441—Acquiring end-user identification, e.g. using personal code sent by the remote control or by inserting a card
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Databases & Information Systems (AREA)
- Computer Graphics (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Abstract
Description
본 발명은 클라이언트 단말(예: IPTV)에 맞춤형(특정의 객체 중심)의 영상 서비스를 제공하는 기술이다. 더욱 상세하게는 본 발명은 방송서버가 개별 객체를 위주로 구현한 객체중심 영상데이터를 클라이어트 단말에 제공하면 사용자는 클라이언트 단말의 메뉴를 조작하여 자신이 원하는 객체 위주로 방송 영상을 서비스 받을 수 있도록 하는 기술이다.The present invention is a technique for providing a customized (specific object-oriented) video service to a client terminal (e.g., IPTV). More specifically, the present invention provides a technique for providing a client terminal with object-centered image data in which a broadcasting server implements individual objects, thereby allowing a user to operate a menu of a client terminal to receive a broadcast image of a desired object .
또한, 본 발명은 방송서버가 특정 객체에 대해 다양한 각도에서 촬영된 가상 시점 영상데이터를 클라이언트 단말에 제공하면 사용자는 클라이언트 단말의 메뉴를 조작하여 자신이 원하는 객체에 대해 다양한 각도의 가상시점 영상을 시청할 수 있도록 하는 기술이다.In addition, the present invention provides a client terminal with virtual viewpoint image data captured at various angles with respect to a specific object by a broadcasting server, and a user operates a menu of a client terminal to view virtual viewpoint images at various angles with respect to a desired object Technology.
최근 멀티미디어 기술의 발전에 따라 다양한 저작권자로부터 제작된 다수의 멀티미디어 콘텐츠가 서버로부터 사용자의 클라이언트 단말(예: IPTV)에 다양한 매체(예:인터넷, 공중파, 케이블, 위성)를 통해 공급되고 있다.2. Description of the Related Art [0002] With the recent development of multimedia technology, a plurality of multimedia contents produced from various copyright owners are supplied from a server to a user's client terminal (for example, IPTV) through various media such as the Internet, air waves, cable and satellite.
그러나, 서버에서 클라이언트 단말에 제공되는 영상은 대부분 한 가지 패턴으로 제공되는 것이 현실이다. 예를 들어, 쇼트트랙 경기를 방송하는 경우 쇼트트랙 경기장에는 여러 대의 카메라가 배치되어 트랙 내의 모든 선수를 촬영하지만, 방송 서비스에서 우선순위를 두는 것은 선두그룹의 선두,가끔 넘어지는 선수, 관중석 등 일률적인 영상이 제공될 뿐이다.However, it is a reality that the image provided to the client terminal in the server is mostly provided in one pattern. For example, when a short-track game is broadcasted, several cameras are placed on the short-track stadium to shoot all the players in the track, but prioritizing the broadcast service is the first group leader, occasionally falling players, Is provided.
예를 들어, 시청자가 쇼트트랙 경기를 시청하는 중에 자신이 선호하는 특정 선수의 모습을 지속적으로 보고 싶지만, 그 선수가 선두 그룹에 속해 있지 않거나 방송사의 선호도에 맞지 않는 경우에는 방송 영상에 제대로 드러나지 않는다. 이처럼 종래기술의 방송영상은 방송사의 우선순위에 따라 선별되며, 여러 시청자의 다양한 기호를 반영하지 못하는 단점이 있다.For example, while a viewer is watching a short-track game, they would like to continue to see their favorite player, but if the player does not belong to the leader group or does not fit the preference of the broadcaster, . As described above, the broadcast image of the prior art is sorted according to the priorities of the broadcasting company and has a disadvantage that it can not reflect various symbols of various viewers.
또한, 특정 선수의 동작을 여러 각도에서 보고 싶기도 하지만 한정된 방송 서비스의 영상 스트림에서는 그와 같은 점을 수용하기 어려운 단점이 있고, 특히 사용자가 클라이언트 단말의 메뉴 조작으로 그와 같은 목적을 달성하기 어려운 것이 현재의 실정이다.
In addition, although it is desired to view the operation of a specific player from various angles, it is difficult to accommodate such a point in a video stream of a limited broadcasting service. Especially, when a user has difficulty in achieving such a purpose by menu operation of a client terminal This is the current situation.
삭제delete
본 발명은 상기한 점을 감안하여 제안된 것으로, 본 발명의 목적은 클라이언트 단말의 조작으로 전체영상에서 원하는 객체 중심으로 영상 서비스를 받을 수 있도록 복수의 객체 중에 개별 객체 위주로 영상을 구현한 객체중심 영상을 클라이언트 단말에 제공한다.
SUMMARY OF THE INVENTION The present invention has been made in view of the above problems, and it is an object of the present invention to provide an object-centered image To the client terminal.
상기의 목적을 달성하기 위하여 본 발명에 따른 객체중심 영상에 대한 메타데이터 기반의 객체기반 방송 서비스 시스템은 복수의 객체가 동작하는 하나의 이벤트에서 개별 객체중심으로 영상을 구현하고 개별 객체중심 영상에 대한 메타데이터를 통해 개별 객체기반의 방송 서비스를 제공하는 기술로서, 촬영한 영상 스트림을 제공하는 복수 개의 카메라; 복수의 객체가 동작하는 하나의 이벤트에서 복수 개의 카메라가 촬영한 복수 개의 영상 스트림을 제공받아 저장하고 이벤트에 참여하는 하나이상의 객체에 대한 피처데이터를 제공받아 저장하는 메모리부와, 피처데이터를 참조하여 복수 개의 영상 스트림으로부터 개별 객체에 대한 객체중심 영상 컴포넌트를 탐색하는 정보 처리부와, 탐색된 객체중심 영상 컴포넌트를 연결함으로써 개별 객체에 대한 객체중심 영상을 생성하고 생성된 객체중심 영상에 대해 영상 식별을 위한 메타데이터를 삽입하며 객체중심 영상을 먹싱하여 방송 스트림을 생성하는 데이터 생성부와, 방송 스트림을 클라이언트 단말에 제공하는 데이터 전송부를 구비하는 방송서버;를 포함하여 구성된다.According to an embodiment of the present invention, there is provided an object-based broadcast service system based on metadata for an object-oriented image, the method comprising: generating an image based on an individual object in one event in which a plurality of objects operate; A technology for providing a broadcast service based on an individual object through metadata, comprising: a plurality of cameras providing a captured video stream; A memory unit for receiving and storing a plurality of video streams captured by a plurality of cameras in a single event in which a plurality of objects operate and receiving and storing feature data for one or more objects participating in an event; An information processing unit for searching an object-oriented image component of an individual object from a plurality of video streams, an object-centered image generating unit for generating an object-oriented image for each object by connecting the object-oriented image- And a broadcast server having a data generation unit for inserting metadata and generating a broadcast stream by mobilizing an object-oriented image, and a data transmission unit for providing a broadcast stream to a client terminal.
이때, 데이터 생성부는, 객체중심 영상을 기초하여 개별 객체에 대해 복수의 각도에서 가상으로 바라보는 가상 시점 영상을 생성하고 생성된 가상 시점 영상에 대해 영상 식별을 위한 메타데이터를 삽입하고, 데이터 전송부는, 생성된 가상 시점 영상을 객체 중심 영상과 함께 먹싱하여 방송 스트림을 생성하여 클라이언트 단말에 제공하도록 구성될 수 있다.At this time, the data generation unit generates a virtual viewpoint image viewed from a plurality of angles with respect to an individual object based on the object-centered image, inserts metadata for image identification into the generated virtual viewpoint image, and the data transfer unit , And the generated virtual view image may be muxed together with the object center image to generate a broadcast stream and provide the generated broadcast stream to the client terminal.
본 발명에 따른 객체중심 영상에 대한 메타데이터 기반의 객체기반 방송 서비스 방법은 복수의 객체가 동작하는 하나의 이벤트에서 개별 객체중심으로 영상을 구현하고 개별 객체중심 영상에 대한 메타데이터를 통해 개별 객체기반의 방송 서비스를 제공하는 기술로서, (a) 방송서버가 하나의 이벤트에 대해 복수 개의 카메라가 촬영한 복수 개의 영상 스트림을 제공받는 단계; (b) 방송서버가 이벤트에 참여하는 하나이상의 객체에 대한 피처데이터를 제공받는 단계; (c) 방송서버가 피처데이터를 참조하여 복수 개의 영상 스트림으로부터 개별 객체에 대한 객체중심 영상 컴포넌트를 탐색하는 단계; (d) 방송서버가 탐색된 객체중심 영상 컴포넌트를 연결함으로서 개별 객체에 대한 객체중심 영상을 생성하는 단계; (e) 방송서버가 생성된 객체중심 영상에 대해 영상 식별을 위한 메타데이터를 삽입하는 단계;를 포함하여 구성된다.The object-based broadcast service method based on metadata of an object-oriented image according to the present invention implements an image centered on an individual object in one event in which a plurality of objects operate, (A) a broadcast server receiving a plurality of video streams captured by a plurality of cameras for one event; (b) the broadcast server is provided with feature data for one or more objects participating in the event; (c) the broadcast server refers to the feature data to search for object-oriented image components for an individual object from a plurality of video streams; (d) generating an object-oriented image for an individual object by connecting the object-oriented image components detected by the broadcast server; (e) inserting metadata for image identification into the object-oriented image generated by the broadcast server.
그리고, 본 발명은, (f) 방송서버가 생성된 객체중심 영상을 먹싱하여 방송 스트림을 생성하는 단계; (g) 방송서버가 방송 스트림을 클라이언트 단말에 제공하는 단계; (h) 클라이언트 단말이 사용자 조작에 대응하여 특정 객체에 대한 선택 입력을 식별하는 단계; (i) 클라이언트 단말이 방송 스트림으로부터 메타데이터를 참조하여 선택된 객체에 대한 객체중심 영상을 추출하는 단계; (j) 클라이언트 단말이 추출된 객체중심 영상을 디스플레이 출력하는 단계;를 더 포함하여 구성됨이 바람직하다.The method may further include: (f) generating a broadcast stream by mobilizing the object-oriented image generated by the broadcast server; (g) providing a broadcast stream to a client terminal; (h) the client terminal identifying a selection input for a particular object in response to a user operation; (i) extracting an object-oriented image of a selected object by referring to metadata from a broadcast stream of the client terminal; (j) displaying and outputting the object-oriented image extracted by the client terminal.
또한, 본 발명은, 방송서버가 복수 개의 카메라에 대한 레이아웃 정보를 제공받는 단계;를 더 포함하여 구성되고, 이때 (c) 단계는 방송서버가 복수 개의 영상 스트림 중 레이아웃 정보에 기초하여 근접성에 따라 선택한 일부의 영상 스트림으로부터 개별 객체에 대한 객체중심 영상 컴포넌트를 탐색하도록 구성됨이 바람직하다.According to another aspect of the present invention, there is provided a method of providing layout information for a plurality of cameras, the method comprising the steps of: (a) And to search for object-oriented image components for an individual object from a selected portion of the video stream.
또한, 본 발명은 단계 (d)와 상기 단계 (e) 사이에, 방송서버가 객체중심 영상을 기초하여 개별 객체에 대해 복수의 각도에서 가상으로 바라보는 가상 시점 영상을 생성하는 단계; 방송서버가 생성된 가상 시점 영상에 대해 영상 식별을 위한 메타데이터를 삽입하는 단계;를 더 포함하여 구성되고, 이때 단계 (f)에서 생성된 가상 시점 영상을 객체중심 영상과 함께 먹싱하여 방송 스트림을 생성하도록 구성됨이 바람직하다.
The present invention also provides a method of generating a virtual viewpoint image between a step (d) and a step (e) in which a broadcast server views a virtual object image at a plurality of angles with respect to an individual object based on an object- And inserting meta data for image identification into the virtual viewpoint image generated by the broadcast server, wherein the virtual viewpoint image generated in step (f) is muxed together with the object centroid image to generate a broadcast stream Or the like.
본 발명에 따르면 방송서버로부터 제공받은 영상데이터를 통한 클라이언트 단말(예: IPTV)의 스포츠 방송 재생 중 사용자가 특정 선수(객체)를 중심으로 시청을 하고 싶은 경우에 메뉴 조작으로 해당 선수를 선택하면 해당 선수 위주로 방송을 시청할 수 있는 장점이 있다.According to the present invention, when a user wants to watch a particular player (object) while playing a sports broadcast of a client terminal (e.g., IPTV) through video data provided from a broadcasting server, There is an advantage that the player can mainly watch the broadcast.
또한, 본 발명에 따르면 방송서버로부터 제공받은 영상데이터에 대해 사용자가 클라이언트 단말의 메뉴 조작으로 특정 선수의 동작에 대해 가상 시점 영상을 선택하면 그에 대응하여 해당 동작에 대해 여러 각도에서 관찰하면서 시청할 수도 있는 장점도 있다.
In addition, according to the present invention, when a user selects a virtual view image with respect to an operation of a specific athlete by menu operation of a client terminal with respect to image data provided from a broadcasting server, There are also advantages.
[도 1]은 본 발명의 방송 서비스 시스템을 도시한 블록구성도.
[도 2]는 쇼트트랙 경기장에 복수 개의 카메라가 배치된 상태의 예시도.
[도 3]은 [도 2]와 같은 경기장에서 4명의 선수가 경주할 때 개별 카메라가 촬영한 영상 스트림을 나타낸 예시도.
[도 4]는 [도 3]에서 4명 중 1명의 선수에 대한 객체중심 영상 컴포넌트를 시간대별로 나타낸 예시도.
[도 5]는 [도 4]로부터 객체중심 영상 컴포넌트를 연결하여 객체중심 영상을 생성하는 과정을 나타낸 예시도.
[도 6]은 본 발명에 따른 객체중심 영상에 대한 메타데이터 기반의 객체기반 방송 서비스 과정을 나타낸 순서도.
[도 7]은 [도 6]의 프로세스를를 통해 생성된 객체중심 영상을 기반으로 클라이언트 단말 상에서 특정 객체(선수)를 중심으로 영상이 디스플레이 출력되는 상태의 예시도.
[도 8]은 가상 시점을 제공하기 위해 설치된 복수 개의 카메라로부터 제공받은 복수 개의 영상 스트림으로부터 특정 객체에 대한 객체중심 영상 컴포넌트를 추출하여 나타낸 예시도.
[도 9]는 가상 시점 영상을 생성하여 클라이언트 단말에 구현된 상태의 예시도.1 is a block diagram showing a broadcast service system of the present invention;
Fig. 2 is an exemplary view showing a state in which a plurality of cameras are arranged in a short-track field.
[Fig. 3] is an exemplary view showing a video stream taken by an individual camera when four athletes race in the stadium as shown in [Fig. 2].
FIG. 4 is an exemplary view showing object-oriented image components for one of four players in the time domain in FIG. 3;
FIG. 5 is a diagram illustrating a process of generating an object-centered image by connecting object-oriented image components from FIG. 4;
FIG. 6 is a flowchart illustrating an object-based broadcast service process based on metadata for object-oriented images according to the present invention. FIG.
FIG. 7 is an exemplary view illustrating a state in which an image is displayed on a specific object (player) on a client terminal based on an object-centered image generated through the process of FIG. 6;
FIG. 8 is an exemplary view illustrating an object-oriented image component extracted from a plurality of video streams provided from a plurality of cameras installed to provide a virtual viewpoint; FIG.
FIG. 9 is an example of a state in which a virtual viewpoint image is generated and implemented in a client terminal; FIG.
이하, 도면을 참조하여 본 발명을 상세히 설명한다.Hereinafter, the present invention will be described in detail with reference to the drawings.
[도 1]은 본 발명의 영상 서비스 시스템을 도시한 블록구성도이다. [도 1]을 참조하면, 본 발명에 따른 객체기반 방송 서비스 시스템은 클라이언트 단말(300,310,320,330,340)이 요청한 특정의 객체중심 영상을 제공하도록 하는 기술로서, 복수의 객체가 동작하는 하나의 이벤트, 즉 소정 장소(예:쇼트트랙 경기장, 골프 코스, 축구경기장)에 설치되는 복수 개의 카메라(110,120,130,140)와 방송서버(200)로 구성된다. 방송서버(200)와 클라이언트 단말(310)을 연결하는 매체는 지상파, 위성, 케이블, 인터넷 등이 될 수 있다.1 is a block diagram showing a video service system of the present invention. 1, the object-based broadcasting service system according to the present invention is a technique for providing a specific object-oriented image requested by
복수 개의 카메라(110,120,130,140)가 쇼트트랙 경기장에 설치되는 경우에는 트랙을 따라 소정 간격을 두고 설치될 수 있으며 바람직하게는 트랙을 따라 도는 모든 순위의 선수들을 촬영할 수 있도록 배치된다. 그래서 클라이언트 단말(300,310,320,330,340)로부터 순위에 관계없이 특정 선수를 중심으로 영상을 시청하고 싶은 경우 개별 카메라로부터 촬영된 객체중심 영상을 [도 7]과 같이 선택적으로 편집할 수 있으므로 사용자는 클라이언트 단말을 통해 원하는 선수 위주로 시청할 수 있게 된다.When a plurality of
또한, 이처럼 복수 개의 카메라(110,120,130,140)가 골프 코스나 축구경기장에 설치되는 경우에 추가로 [도 8]와 같이 선수의 동작을 다양한 각도에서 촬영하는 구성을 구비함이 바람직하다. 이와 같이 다중의 카메라로부터 다양한 각도의 가상시점 영상을 획득함으로써 이를 토대로 [도 9]와 같이 가상 시점 영상을 구현할 수도 있다.In addition, when a plurality of
방송서버(200)는 복수 개의 카메라로부터 획득한 복수의 영상 스트림으로부터 객체중심 영상과 가상 시점 영상을 생성하여 클라이언트 단말에 전송하며, 메모리부(210), 정보 처리부(220), 데이터 생성부(230), 데이터 전송부(240)를 포함하여 구성된다.The broadcast server 200 generates an object center image and a virtual view image from a plurality of video streams obtained from a plurality of cameras and transmits the object center image and the virtual view image to the client terminal. The broadcast server 200 includes a
메모리부(210)는 복수의 객체가 동작하는 하나의 이벤트에서 복수 개의 카메라가 촬영한 복수 개의 영상 스트림을 제공받아 저장하고 이벤트에 참여하는 개별 객체에 대한 피처데이터(특징 데이터, 예: 이름, 신장, 유니폼 디자인, 유니폼 색상, 백넘버, 국가, 나이, 성별 등)를 제공받아 저장한다. 메모리부(210)는 이들 피처데이터를 저장하는 공간을 제공하는 모듈로서 램(RAM), 롬(ROM), 플래시메모리, MRAM(자성체 램), PRAM(상변화 램), FRAM(강유전체 램), 웹디스크, 클라우드 디스크 등으로 다양하게 구성될 수 있다.The
정보 처리부(220)는 메모리부(210)에 저장된 피처데이터(feature data)를 참조하여 복수 개의 영상 스트림으로부터 개별 객체가 포착된 객체중심 영상 컴포넌트를 탐색한다.The information processing unit 220 refers to feature data stored in the
데이터 생성부(230)는 위 탐색된 객체중심 영상 컴포넌트를 시간에 맞도록 적절히 연결함으로서 개별 객체에 대한 객체중심 영상을 생성한다. 그리고, 그 생성된 객체중심 영상에 대해 영상 식별을 위한 메타데이터를 삽입하며 객체중심 영상을 먹싱하여 방송 스트림을 생성한다.The
또한, 데이터 생성부(230)는 객체중심 영상을 기초하여 개별 객체에 대해 복수의 각도에서 가상으로 바라보는 가상 시점 영상을 생성하고, 그 생성된 가상 시점 영상에 대해 영상 식별을 위한 메타데이터를 삽입하며, 가상 시점 영상을 먹싱하여 방송 스트림을 생성한다.Also, the
데이터 전송부(240)는 이와 같은 과정을 통해 생성된 방송 스트림을 클라이언트 단말에 제공한다.The data transmission unit 240 provides the generated broadcast stream to the client terminal.
이때, 클라이언트 단말(300,310,320,330,340)은 방송서버(200)로부터 객체중심 영상과 가상 시점 영상에 대한 방송 스트림을 제공받는다. 그리고, 사용자 조작에 대응하여 특정 객체에 대한 선택 입력을 식별한 후, 방송 스트림으로부터 메타데이터를 참조하여 위 선택된 객체에 대한 객체중심 영상을 추출하여 [도 7] 내지 [도 9]와 같이 디스플레이 출력한다. 클라이언트 단말(300,310,320,330,340)은 디지털 TV, 디지털 셋톱박스, 스마트폰, 스마트박스, 스마트패드, HDMI 동글 등과 같이 다양한 제품으로 구현될 수 있다.At this time, the
한편, 방송서버(200)는 객체중심 영상과 가상 시점 영상 외에도 종래기술에 따른 전체영상을 클라이언트 단말에 제공할 수 있으며, 클라이언트 단말은 특별한 메뉴 조작 없이 전체영상을 표시할 수 있다.
Meanwhile, the broadcast server 200 can provide the entire image according to the conventional technique to the client terminal in addition to the object-centered image and the virtual viewpoint image, and the client terminal can display the entire image without any special menu operation.
[도 2]는 본 발명의 일 구현예로서 쇼트트랙 경기장에 복수 개의 카메라가 배치된 상태의 예시도이다. [도 2]를 참조하면, 트랙(T)을 따라 복수 개의 카메라가 설치되어 있고, 방송서버(200)가 트랙(T)을 따라 배치된 카메라의 레이아웃 정보를 미리 제공받아 저장해 둘 수 있다.2 is an exemplary view illustrating a state in which a plurality of cameras are arranged in a short track stadium according to an embodiment of the present invention. Referring to FIG. 2, a plurality of cameras are installed along a track T, and the broadcast server 200 can receive and store layout information of cameras arranged along the track T in advance.
이렇게 복수 개의 카메라에 대한 레이아웃 정보를 제공받은 상태에서 복수 개의 영상 스트림 중 레이아웃 정보에 기초하여 객체로부터 근접한 카메라를 선택한 후, 그 선택된 카메라로부터 제공받은 영상 스트림으로부터 개별 객체에 대한 객체중심 영상 컴포넌트를 탐색한다.
In the state that the layout information for the plurality of cameras is provided in this way, a camera close to the object is selected based on the layout information among the plurality of video streams, and an object-oriented image component for the individual object is searched do.
[도 3]은 [도 2]와 같은 경기장에서 4명의 선수가 경주할 때 개별 카메라가 촬영한 영상 스트림을 나타낸 예시도이다. [도 2]와 같이 카메라가 "CAM01"부터 "CAM16"까지 순차적으로 배치되었을 때 시간대별로 각각의 카메라는 각각의 선수(객체 1, 2, 3, 4)가 트랙(T)을 도는 상태를 촬영하여 [도 3]과 같이 객체(선수)중심 영상을 획득한다.[Fig. 3] is an exemplary view showing a video stream taken by an individual camera when four athletes race in the stadium as shown in [Fig. 2]. As shown in Fig. 2, when cameras are sequentially arranged from "CAM01" to "CAM16 ", each camera in each time frame shoots a state in which each player (
여기서, 번호 "1", "2", "3", "4"는 선수의 백넘버라고 가정하고, "t=0" 내지 "t=15"는 시간의 흐름을 나타낸다.Here, it is assumed that the numbers "1", "2", "3" and "4" are the player's cabin number, and "t = 0" to "t = 15"
먼저 "CAM01"에서는 t=0에서 t=4까지는 1번 선수, 2번 선수, 3번 선수, 4번 선수가 모두 촬영되고, t=4에서 t=5까지는 앞의 3명의 선수는 속도를 내며 사라지고 4번 선수만 뒤쳐져서 촬영되었다.First, in the "CAM01", all the
그리고 "CAM01"에 바로 다음에 배치된 "CAM02"에서는 t=3에서 t=7까지는 1번 선수, 2번 선수, 3번 선수가 촬영되고 t=7부터 t=8까지는 4번 선수가 추가로 화면에 등장하면서 1번 선수, 2번 선수, 3번 선수, 4번 선수가 모두 촬영된다. t=3 내지 t=7 구간에서 뒤쳐져있던 4번 선수가 속도를 내면서 t=7 내지 t=8 구간에서는 4명의 선수가 경합을 벌이고 있는 상황을 나타낸다.In the "CAM02" placed immediately after "CAM01",
그리고, t=7 시간대에서 "CAM02"와 "CAM03"에서 1번 선수, 2번 선수, 3번 선수가 동시에 촬영됨을 알 수 있다. 이처럼 인접하는 카메라 사이에는 동 시간대에 객체(선수)가 겹쳐져 촬영되기 때문에 방송서버(200)는 겹쳐져 촬영되는 구간에서 객체중심 영상 컴포넌트를 실시간 제공받는 경우 어느 카메라로부터 제공받아야 하는지 선택해야만 한다.It can be seen that the
이처럼 방송서버(200)는 복수의 카메라가 생성하는 복수의 방송스트림에 대해 피처데이터에 기초하여 개별 객체를 탐색하고, 이를 통해 개별 객체에 대한 객체중심 영상 컴포넌트를 도출한다. 그리고, 이들 객체중심 영상 컴포넌트를 객체별로 구분하여 다룸으로써 개별 객체에 대한 객체중심 영상을 획득할 수 있다. 이때, 방송서버(200)가 각 카메라의 레이아웃 정보를 미리 제공받고 이를 기초하여 이전 시간에서 객체로부터의 근접성에 따라 인접한 카메라의 방송스트림을 중심으로 객체 탐색 과정을 수행하면 연산량을 감소시킬 수 있고, 이를 통해 리얼타임을 보장하기가 상대적으로 수월해진다.
As described above, the broadcast server 200 searches for individual objects based on feature data for a plurality of broadcast streams generated by a plurality of cameras, and thereby derives object-oriented image components for individual objects. In addition, object-centered images of individual objects can be obtained by classifying and handling these object-oriented image components by object. At this time, if the broadcasting server 200 is provided with the layout information of each camera in advance and performs an object searching process based on the proximity of the object from the object at the previous time based on the broadcasting stream of the adjacent camera, This makes it relatively easy to ensure real-time.
[도 4]는 [도 3]의 구현 예에서 4명의 선수 중에서 1번 선수에 대한 객체중심 영상 컴포넌트를 시간대별로 나타낸 예시도이고, [도 5]는 [도 4]로부터 이들 객체중심 영상 컴포넌트를 연결하여 1번 선수에 대한 객체중심 영상을 생성하는 과정을 개념적으로 나타낸 예시도이다.FIG. 4 is an exemplary view illustrating an object-oriented image component for the first player among the four players in the embodiment of FIG. 3 according to a time zone, and FIG. 5 illustrates the object- And generating an object-oriented image for the first player by connecting the object-centered image.
먼저, [도 3]의 구현 예에서 예컨대 1번 선수(객체)에 대한 객체중심 영상 컴포넌트를 탐색하면 [도 4]에 나타낸 바와 같이 각 시간대별로 객체중심 영상 컴포넌트가 나타난다.3, an object-oriented image component is displayed for each time zone as shown in FIG. 4, for example.
이어서, [도 5]에 나타낸 바와 같이 1번 선수(객체)가 발견되는 영상, 즉 1번 선수에 대한 객체중심 영상 컴포넌트를 시간대별로 연속적으로 선택하게 되면 1번 선수에 대한 객체중심 영상을 생성할 수 있다. Then, as shown in FIG. 5, if an image in which the first player (object) is found, that is, the object-centered image component for the first player is successively selected by time zone, the object-centered image for the first player is generated .
이때, t=3 내지 t=4에서와 같이 "CAM01"과 "CAM02"의 방송스트림에 모두 발견되는 경우에 소정의 평가(evaluation) 척도를 적용하여 이들 중에서 하나의 객체중심 영상 컴포넌트를 선택하는 기술 및 둘다 멀티앵글로 한 화면 내에 제시하는 기술에 대해서는 다양하게 구현할 수 있다.In this case, when both of "CAM01" and "CAM02" are found in the broadcast stream at t = 3 to t = 4, a predetermined evaluation evaluation scale is applied to select one of the object- And techniques for presenting both in a multi-angle screen.
그리고, 이와 같은 패턴으로 2번 선수, 3번 선수, 4번 선수의 객체중심 영상을 생성할 수 있다.Then, the object-centered image of the player 2,
이처럼 개별 객체에 대한 객체중심 영상을 생성하면서, 방송서버(200)는 각각의 객체중심 영상에 대해 영상 식별을 위한 메타데이터를 삽입한다. 이렇게 생성된 각각의 객체중심 영상을 먹싱하여 방송 스트림을 생성하고 전달매체를 통해 클라이언트 단말에 전송한다.
In this way, the broadcasting server 200 inserts the metadata for image identification for each object-centered image while generating the object-oriented image for the individual object. The generated object-centered images are muxed to generate a broadcast stream and transmitted to the client terminal through a delivery medium.
[도 6]는 본 발명에 따른 객체중심 영상에 대한 메타데이터 기반의 객체기반 방송 서비스 과정을 나타낸 순서도이다. [도 6]을 참조하여 본 발명에 따른 객체중심 영상에 대한 메타데이터 기반의 객체기반 방송 서비스 과정을 구체적으로 설명하면 다음과 같다.FIG. 6 is a flowchart illustrating an object-based broadcasting service process based on metadata for object-oriented images according to the present invention. Referring to FIG. 6, a metadata-based object-based broadcast service process for object-oriented images according to the present invention will be described in detail.
단계 S110 : 복수의 객체가 동작하는 하나의 이벤트, 즉 소정 장소(예: 쇼트트랙 경기장, 골프 코스, 축구경기장)에 설치된 복수 개의 카메라가 각각의 해당 각도에서 피사체(예: 쇼트트랙 선수, 골프선수, 축구선수)를 촬영하여 [도 3]과 같이 개별 영상을 획득한다.Step S110: A plurality of cameras installed in a predetermined place (e.g., a short-track stadium, a golf course, a football stadium) in which a plurality of objects operate, , A soccer player), and acquires individual images as shown in FIG.
그리고, 방송서버(200)가 하나의 이벤트에 대해 복수 개의 카메라가 촬영한 복수 개의 영상 스트림과 이벤트에 참여하는 하나이상의 객체에 대한 피처데이터(예: 이름, 신장, 유니폼 디자인, 유니폼 색상, 백넘버, 국가, 나이, 성별 등)를 제공받는다.Then, the broadcast server 200 transmits a plurality of video streams captured by a plurality of cameras to one event and feature data (e.g., name, height, uniform design, uniform color, Country, age, sex, etc.).
단계 S120 : 이어서, 방송서버(200)는 피처데이터를 참조하여 복수 개의 영상 스트림으로부터 [도 4]와 같이 개별 객체에 대한 객체중심 영상 컴포넌트를 탐색한다.Step S120: Next, the broadcast server 200 refers to the feature data and searches for object-oriented image components for individual objects from a plurality of video streams as shown in FIG.
단계 S130 : 방송서버(200)는 탐색된 객체중심 영상 컴포넌트를 [도 5]와 같이 연결함으로써 개별 객체에 대한 객체중심 영상을 생성한다. 이어서, 그 생성된 객체중심 영상에 대해 해당 영상 식별을 위한 메타데이터를 삽입한다. 한편, 방송서버(200)는 단계 S130에서 생성된 객체중심 영상을 기초하여 개별 객체에 대해 복수의 각도에서 가상으로 바라보는 가상 시점 영상을 생성하고, 그 생성된 가상 시점 영상에 대해 해당 영상의 식별을 위한 메타데이터를 삽입한다.Step S130: The broadcasting server 200 creates an object-oriented image for the individual object by connecting the searched object-oriented image components as shown in [Fig. 5]. Then, the metadata for the image identification is inserted into the generated object-oriented image. On the other hand, the broadcasting server 200 generates a virtual viewpoint image viewed from a plurality of angles with respect to an individual object based on the object-centered image generated in step S130, and identifies the corresponding image to the generated virtual viewpoint image And inserts the metadata for.
단계 S140 : 그리고, 방송서버(200)는 생성된 객체중심 영상을 먹싱하여 방송 스트림을 생성한 후 클라이언트 단말에 제공한다.Step S140: The broadcasting server 200 generates a broadcasting stream by middling the generated object-oriented image, and provides it to the client terminal.
이때, 방송서버(200)는 객체중심 영상과 단계 S140에서 생성된 가상 시점 영상을 함께 먹싱하여 방송 스트림을 생성할 수 있다.At this time, the broadcast server 200 can generate a broadcast stream by mixing the object-centered image and the virtual viewpoint image generated in step S140 together.
단계 S150, S160, S170 : 클라이언트 단말은 사용자 조작에 대응하여 특정 객체에 대한 선택 입력을 식별하고, 이어서 방송 스트림으로부터 메타데이터를 참조하여 선택된 객체에 대한 객체중심 영상을 추출한다. 그리고, 그 추출된 객체중심 영상을 디스플레이 출력한다.Steps S150, S160, and S170: The client terminal identifies a selection input for a specific object in response to a user operation, and then extracts an object-centered image for the selected object by referring to the metadata from the broadcast stream. Then, the extracted object-centered image is displayed and output.
한편, 방송서버(200)는 복수 개의 카메라에 대한 레이아웃 정보를 제공받고, 복수 개의 카메라로부터 제공받은 복수 개의 영상 스트림 중 레이아웃 정보에 기초하여 근접성에 따라 선택한 일부의 영상 스트림으로부터 개별 객체에 대한 객체중심 영상 컴포넌트를 탐색하도록 구성됨이 바람직하다.On the other hand, the broadcast server 200 receives layout information on a plurality of cameras, and extracts, based on the layout information among a plurality of video streams provided from a plurality of cameras, object center It is preferable to be configured to search for an image component.
즉, [도 2]를 참조하면 트랙(T)에 배치된 카메라의 위치를 레이아웃 정보로부터 알고 있기 때문에 "CAM03"으로부터 영상 스트림을 받은 후에는 "CAM03"와 근접하는 "CAM04" 또는 "CAM05"로부터 객체중심 영상 컴포넌트를 탐색하도록 제어할 수 있게 된다.
2, since the position of the camera disposed on the track T is known from the layout information, after receiving the video stream from "CAM03 "," CAM04 "or" CAM05 " It is possible to control to search for object-oriented image components.
[도 7]은 [도 6]의 프로세스를 통해 생성된 객체중심 영상을 기반으로 클라이언트 단말 상에서 특정 객체(선수)를 중심으로 영상(객체중심 영상)이 디스플레이 출력되는 상태의 예시도이다.FIG. 7 is an exemplary view illustrating a state in which an image (object centered image) is displayed on a client terminal based on a specific object (player) based on the object center image generated through the process of FIG.
[도 7]은 방송서버(200)가 [도 5]와 같이 객체중심 영상 컴포넌트를 연결하여 객체중심 영상을 생성한 후, 이를 방송 스트림으로 클라이언트 단말에 전송하면 클라이언트 단말이 이를 수신하여 사용자 선택입력에 의해 선택된 객체에 대한 객체중심 영상을 추출한 후 디스플레이 출력한 상태를 나타낸다. 이때, 방송 스트림에 포함된 복수의 객체중심 영상으로부터 사용자가 선택한 특정 객체에 대한 객체중심 영상을 구분하는 과정은 방송서버(200)가 삽입한 메타데이터를 참조하여 클라이언트가 수행한다.[7] Referring to FIG. 7, when the broadcast server 200 generates an object-oriented image by connecting object-oriented image components as shown in FIG. 5 and transmits the object-oriented image to a client terminal in a broadcast stream, And displays the object-centered image of the selected object. At this time, the process of dividing the object-oriented image of the specific object selected by the user from the plurality of object-oriented images included in the broadcast stream is performed by the client referring to the metadata inserted by the broadcast server 200.
이를 통해 클라이언트 사용자는 클라이언트 단말(예: IPTV)의 스포츠 방송 재생 중 소망하는 특정 선수(객체)를 중심으로 시청할 수 있게 된다.
Thus, the client user can view the video on the basis of a specific player (object) desired during playing a sports broadcast on a client terminal (e.g., IPTV).
[도 8]은 가상 시점을 제공하기 위해 설치된 복수 개의 카메라로부터 제공받은 복수 개의 영상 스트림으로부터 특정 객체에 대한 객체중심 영상 컴포넌트를 추출하여 나타낸 예시도이고, [도 9]는 가상 시점 영상을 생성하여 클라이언트 단말에 구현된 상태의 예시도이다.FIG. 8 is an exemplary view illustrating an object-oriented image component extracted from a plurality of video streams provided from a plurality of cameras installed to provide a virtual viewpoint, FIG. FIG. 8 is an exemplary diagram of a state implemented in a client terminal; FIG.
[도 8]을 참조하면, 골프 코스에 "타이거 우즈" 선수의 스윙 동작을 여러 대의 카메라가 여러 각도에서 동시에 촬영할 수 있다. 이렇게 여러 대의 카메라에서 촬영한 영상을 통해 방송서버(200)는 해당 선수의 가상 시점 영상을 생성하여 클라이언트 단말에 방송 스트림으로 전송하며, 클라이언트 단말은 방송 스트림으로부터 가상 시점 영상의 메타데이터를 참조하여 선택된 객체에 대한 가상 시점 영상을 추출한 후 [도 9]와 같이 디스플레이 출력할 수 있다.Referring to FIG. 8, a plurality of cameras can simultaneously photograph a swinging motion of a "Tiger Woods" player on a golf course at various angles. The broadcast server 200 generates a virtual viewpoint image of the corresponding player through the video images captured by the plurality of cameras, and transmits the virtual viewpoint image to the client terminal in a broadcast stream. The client terminal refers to the metadata of the virtual viewpoint image from the broadcast stream, The virtual view image of the object can be extracted and displayed as shown in FIG.
여기서, [도 8]은 골프 코스에서 "타이거 우즈" 선수의 스윙 동작을 여러 대의 카메라가 여러 각도에서 동시에 촬영한 것을 표시하였고, [도 9]는 축구경기장에서 특정 선수의 볼 터치 동작을 가상 시점 영상으로 디스플레이 출력한 것이다. 즉, [도 8]을 토대로 [도 9]에서 "타이거 우즈" 선수에 대한 가상 시점 영상을 디스플레이 출력할 수 있고, [도 9]의 특정 선수에 대한 가상 시점 영상도 [도 8]과 같은 과정을 거쳐 구현할 수 있다.
FIG. 8 shows that the swing motion of the "Tiger Woods" player on the golf course was simultaneously photographed by a plurality of cameras at various angles, FIG. 9 shows a ball touch operation of a specific player in a soccer field, It is display output by video. In other words, the virtual viewpoint image for the "Tiger Woods" player can be displayed and output on the basis of FIG. 8 (FIG. 9) . ≪ / RTI >
본 발명은 또한 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드의 형태로 구현하는 것이 가능하다. 이때, 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록 장치를 포함한다.The present invention can also be embodied in the form of computer readable code on a computer readable recording medium. At this time, the computer-readable recording medium includes all kinds of recording apparatuses in which data that can be read by a computer system is stored.
컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기테이프, 플로피디스크, 광 데이터 저장장치 등이 있으며, 캐리어웨이브(예: 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산된 방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다. 그리고 본 발명을 구현하기 위한 기능적인 프로그램, 코드, 코드 세그먼트들은 본 발명이 속하는 기술 분야의 프로그래머들에 의해 용이하게 추론될 수 있다.Examples of the computer-readable recording medium include a ROM, a RAM, a CD-ROM, a magnetic tape, a floppy disk, an optical data storage, and the like, and may be implemented in the form of a carrier wave . The computer-readable recording medium can also be stored and executed by a computer-readable code in a distributed manner on a networked computer system. And functional programs, codes, and code segments for implementing the present invention can be easily deduced by programmers skilled in the art to which the present invention belongs.
이상과 같이, 본 명세서와 도면에는 본 발명의 실시예에 대하여 개시하였으며, 비록 특정 용어들이 사용되었으나 이는 단지 본 발명의 기술 내용을 쉽게 설명하고 발명의 이해를 돕기 위한 일반적인 의미에서 사용된 것이지, 본 발명의 범위를 한정하고자 하는 것은 아니다. 여기에 개시된 실시예 외에도 본 발명의 기술적 사상에 바탕을 둔 다른 변형예가 가능하다는 것은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 자명하다.
As described above, the embodiments of the present invention have been disclosed in the present specification and drawings, and although specific terms have been used, they have been used only in a general sense to easily describe the technical contents of the present invention and to facilitate understanding of the invention. And is not intended to limit the scope of the invention. It will be apparent to those skilled in the art that other modifications based on the technical idea of the present invention are possible in addition to the embodiments disclosed herein.
110 내지 140 : 카메라
200 : 방송서버
210 : 메모리부
220 : 정보 처리부
230 : 데이터 생성부
240 : 데이터 전송부
300 내지 340 : 클라이언트 단말110 to 140: camera
200: Broadcast server
210:
220: Information processor
230:
240: Data transfer unit
300 to 340: client terminal
Claims (7)
방송서버가 상기 이벤트가 벌어지는 전체 공간을 미리 설정된 레이아웃에 따라 분할하여 촬영하도록 배치된 복수 개의 카메라로부터 각자 촬영한 복수 개의 영상 스트림을 제공받는 단계;
상기 방송서버가 상기 복수 개의 카메라에 대한 레이아웃 정보를 제공받는 단계;
상기 방송서버가 상기 이벤트에 참여하는 하나이상의 객체에 대하여 비주얼의 특징에 관한 피처데이터를 제공받는 단계;
상기 방송서버가 상기 복수 개의 영상 스트림에 대해 상기 피처데이터에 기초하여 개별 객체를 탐색함으로써 개별 객체에 대하여 시간대별로 일련의 객체중심 영상 컴포넌트를 획득하는 단계;
상기 방송서버가 상기 레이아웃 정보에 기초하여 이전 시간에서 개별 객체가 발견된 카메라로부터 근접한 카메라의 방송스트림을 중심으로 개별 객체에 대한 탐색을 수행하는 단계;
상기 방송서버가 상기 개별 객체에 대해 획득된 일련의 객체중심 영상 컴포넌트를 동작 시간에 맞추어 연결함으로써 상기 개별 객체에 대한 객체중심 영상을 생성하는 단계;
상기 방송서버가 상기 객체중심 영상을 식별하기 위한 제 1 메타데이터를 삽입하는 단계;
상기 방송서버가 상기 개별 객체에 대한 객체중심 영상에 기초하여 상기 개별 객체에 대하여 복수의 각도에서 가상으로 바라보는 가상 시점 영상을 생성하는 단계;
상기 방송서버가 상기 가상 시점 영상을 식별하기 위한 제 2 메타데이터를 삽입하는 단계;
상기 방송서버가 상기 객체중심 영상 및 상기 가상 시점 영상을 먹싱하여 방송 스트림을 생성하는 단계;
를 포함하여 구성되는 메타데이터 기반의 객체기반 가상시점 방송 서비스 방법.
There is provided a method of providing an image based on an individual object in a single event in which a plurality of objects operate and providing an individual object-based virtual point-of-view broadcasting service through metadata about the object-
Receiving a plurality of video streams each of which is shot from a plurality of cameras arranged to divide and photograph the entire space in which the event occurs according to a predetermined layout;
Receiving the layout information for the plurality of cameras from the broadcasting server;
The broadcast server receiving feature data on a feature of a visual for one or more objects participating in the event;
Acquiring a series of object-oriented image components for each individual object by time in the broadcast server by searching individual objects based on the feature data for the plurality of image streams;
Performing a search for an individual object based on a broadcast stream of a nearby camera from a camera in which an individual object is found at a previous time based on the layout information;
Generating an object-oriented image for the individual object by connecting the set of object-oriented image components obtained for the individual object with the operation time according to the broadcast server;
Inserting first metadata for identifying the object centered image by the broadcast server;
Generating a virtual viewpoint image in which the broadcast server views virtual views of the individual objects at a plurality of angles based on the object centered images of the individual objects;
Inserting second metadata for identifying the virtual viewpoint image by the broadcast server;
Generating a broadcast stream by broadcasting the object-centered image and the virtual viewpoint image;
Based virtual point-of-view broadcast service method.
상기 방송서버가 상기 방송 스트림을 클라이언트 단말에 제공하는 단계;
상기 클라이언트 단말이 사용자 조작에 대응하여 특정 객체에 대한 선택 입력을 식별하는 단계;
상기 클라이언트 단말이 상기 방송 스트림에 포함된 상기 제 1 메타데이터를 참조하여 상기 선택된 객체에 대한 객체중심 영상을 상기 방송 스트림으로부터 획득하는 단계;
상기 클라이언트 단말이 상기 획득된 객체중심 영상을 디스플레이 출력하는 단계;
상기 클라이언트 단말이 사용자 조작에 대응하여 특정 시점에 대한 선택 입력을 식별하는 단계;
상기 클라이언트 단말이 상기 방송 스트림에 포함된 상기 제 2 메타데이터를 참조하여 상기 선택된 객체 및 상기 선택된 시점에 대한 가상 시점 영상을 상기 방송 스트림으로부터 획득하는 단계;
상기 클라이언트 단말이 상기 획득된 객체중심 영상을 디스플레이 출력하는 단계;
를 더 포함하여 구성되는 메타데이터 기반의 객체기반 가상시점 방송 서비스 방법.
The method of claim 3,
Providing the broadcast stream to a client terminal;
The client terminal identifying a selection input for a particular object in response to a user operation;
The client terminal acquiring an object-oriented image of the selected object from the broadcast stream by referring to the first metadata included in the broadcast stream;
Displaying the obtained object-oriented image on the client terminal;
The client terminal identifying a selection input for a particular time point in response to a user operation;
Obtaining a virtual viewpoint image of the selected object and the selected viewpoint from the broadcast stream by referring to the second metadata included in the broadcast stream;
Displaying the obtained object-oriented image on the client terminal;
Based virtual-point broadcasting service method.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020140109442A KR101573676B1 (en) | 2014-08-22 | 2014-08-22 | Method of providing metadata-based object-oriented virtual-viewpoint broadcasting service and computer-readable recording medium for the same |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020140109442A KR101573676B1 (en) | 2014-08-22 | 2014-08-22 | Method of providing metadata-based object-oriented virtual-viewpoint broadcasting service and computer-readable recording medium for the same |
Publications (1)
Publication Number | Publication Date |
---|---|
KR101573676B1 true KR101573676B1 (en) | 2015-12-11 |
Family
ID=55020658
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020140109442A KR101573676B1 (en) | 2014-08-22 | 2014-08-22 | Method of providing metadata-based object-oriented virtual-viewpoint broadcasting service and computer-readable recording medium for the same |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR101573676B1 (en) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20210033759A (en) * | 2019-09-19 | 2021-03-29 | 에스케이텔레콤 주식회사 | Method and Apparatus for Automatic Tracking and Replaying Images Based on Artificial Intelligence |
KR102392908B1 (en) * | 2021-01-13 | 2022-04-29 | 서울여자대학교 산학협력단 | Method, Apparatus and System for Providing of Free Viewpoint Video Service |
-
2014
- 2014-08-22 KR KR1020140109442A patent/KR101573676B1/en active IP Right Grant
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20210033759A (en) * | 2019-09-19 | 2021-03-29 | 에스케이텔레콤 주식회사 | Method and Apparatus for Automatic Tracking and Replaying Images Based on Artificial Intelligence |
KR102276636B1 (en) * | 2019-09-19 | 2021-07-12 | 에스케이텔레콤 주식회사 | Method and Apparatus for Automatic Tracking and Replaying Images Based on Artificial Intelligence |
KR102392908B1 (en) * | 2021-01-13 | 2022-04-29 | 서울여자대학교 산학협력단 | Method, Apparatus and System for Providing of Free Viewpoint Video Service |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11006160B2 (en) | Event prediction enhancements | |
WO2018036456A1 (en) | Method and device for tracking and recognizing commodity in video image and displaying commodity information | |
CN102263907B (en) | Play control method of competition video, and generation method and device for clip information of competition video | |
US9654844B2 (en) | Methods and apparatus for content interaction | |
US8665374B2 (en) | Interactive video insertions, and applications thereof | |
US10311917B2 (en) | Systems and methods for featuring a person in a video using performance data associated with the person | |
US20140282677A1 (en) | Second screen application linked to media content delivery | |
US9197911B2 (en) | Method and apparatus for providing interaction packages to users based on metadata associated with content | |
US20130191869A1 (en) | TV Social Network Advertising | |
CN102290082A (en) | Method and device for processing brilliant video replay clip | |
US11630862B2 (en) | Multimedia focalization | |
CN112533003B (en) | Video processing system, device and method | |
CN112312142B (en) | Video playing control method and device and computer readable storage medium | |
CN108293140A (en) | The detection of public medium section | |
US20130120544A1 (en) | Method and device for providing supplementary content in 3d communication system | |
US11528537B2 (en) | Systems and methods for graphical data presentation during a sporting event broadcast | |
Mase et al. | Socially assisted multi-view video viewer | |
KR20160122253A (en) | Browsing videos via a segment list | |
EP2515548A1 (en) | A competition tracking system | |
KR101573676B1 (en) | Method of providing metadata-based object-oriented virtual-viewpoint broadcasting service and computer-readable recording medium for the same | |
US20220053245A1 (en) | Systems and methods for augmenting video content | |
US20160212485A1 (en) | On demand information for video | |
CN112287771A (en) | Method, apparatus, server and medium for detecting video event | |
CN107578306A (en) | Commodity in track identification video image and the method and apparatus for showing merchandise news | |
CN114288645A (en) | Picture generation method, system, device and computer storage medium |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant | ||
FPAY | Annual fee payment |
Payment date: 20181119 Year of fee payment: 4 |
|
FPAY | Annual fee payment |
Payment date: 20191016 Year of fee payment: 5 |