KR101573676B1 - 메타데이터 기반의 객체기반 가상시점 방송 서비스 방법 및 이를 위한 기록매체 - Google Patents

메타데이터 기반의 객체기반 가상시점 방송 서비스 방법 및 이를 위한 기록매체 Download PDF

Info

Publication number
KR101573676B1
KR101573676B1 KR1020140109442A KR20140109442A KR101573676B1 KR 101573676 B1 KR101573676 B1 KR 101573676B1 KR 1020140109442 A KR1020140109442 A KR 1020140109442A KR 20140109442 A KR20140109442 A KR 20140109442A KR 101573676 B1 KR101573676 B1 KR 101573676B1
Authority
KR
South Korea
Prior art keywords
image
client terminal
broadcast
individual
oriented
Prior art date
Application number
KR1020140109442A
Other languages
English (en)
Inventor
이석필
김철민
윤홍수
Original Assignee
가온미디어 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 가온미디어 주식회사 filed Critical 가온미디어 주식회사
Priority to KR1020140109442A priority Critical patent/KR101573676B1/ko
Application granted granted Critical
Publication of KR101573676B1 publication Critical patent/KR101573676B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/258—Client or end-user data management, e.g. managing client capabilities, user preferences or demographics, processing of multiple end-users preferences to derive collaborative data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/4227—Providing Remote input by a user located remotely from the client device, e.g. at work
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/441—Acquiring end-user identification, e.g. using personal code sent by the remote control or by inserting a card

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Computer Graphics (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

본 발명은 클라이언트 단말(예: IPTV)에 맞춤형(특정의 객체 중심)의 영상 서비스를 제공하는 기술로서, 방송서버가 개별 객체를 위주로 구현한 객체중심 영상데이터를 클라이어트 단말에 제공하면 사용자는 클라이언트 단말의 메뉴를 조작하여 원하는 객체 위주로 촬영된 영상을 서비스받을 수 있도록 하고, 또한 방송서버가 특정 객체에 대해 다양한 각도에서 촬영된 가상 시점 영상데이터를 클라이언트 단말에 제공하면 사용자는 클라이언트 단말의 메뉴를 조작하여 원하는 객체에 대해 다양한 각도의 가상시점 영상을 시청할 수 있도록 하는 기술이다. 본 발명에 따르면, 방송서버로부터 제공받은 영상데이터를 통한 클라이언트 단말의 스포츠 방송 재생 중 사용자가 특정 선수(객체)를 중심으로 시청을 하고 싶은 경우 메뉴 조작으로 해당 선수를 선택하면 해당 선수 위주로 방송을 시청할 수 있는 장점이 있다.

Description

메타데이터 기반의 객체기반 가상시점 방송 서비스 방법 및 이를 위한 기록매체 {Method of providing metadata-based object-oriented virtual-viewpoint broadcasting service and computer-readable recording medium for the same}
본 발명은 클라이언트 단말(예: IPTV)에 맞춤형(특정의 객체 중심)의 영상 서비스를 제공하는 기술이다. 더욱 상세하게는 본 발명은 방송서버가 개별 객체를 위주로 구현한 객체중심 영상데이터를 클라이어트 단말에 제공하면 사용자는 클라이언트 단말의 메뉴를 조작하여 자신이 원하는 객체 위주로 방송 영상을 서비스 받을 수 있도록 하는 기술이다.
또한, 본 발명은 방송서버가 특정 객체에 대해 다양한 각도에서 촬영된 가상 시점 영상데이터를 클라이언트 단말에 제공하면 사용자는 클라이언트 단말의 메뉴를 조작하여 자신이 원하는 객체에 대해 다양한 각도의 가상시점 영상을 시청할 수 있도록 하는 기술이다.
최근 멀티미디어 기술의 발전에 따라 다양한 저작권자로부터 제작된 다수의 멀티미디어 콘텐츠가 서버로부터 사용자의 클라이언트 단말(예: IPTV)에 다양한 매체(예:인터넷, 공중파, 케이블, 위성)를 통해 공급되고 있다.
그러나, 서버에서 클라이언트 단말에 제공되는 영상은 대부분 한 가지 패턴으로 제공되는 것이 현실이다. 예를 들어, 쇼트트랙 경기를 방송하는 경우 쇼트트랙 경기장에는 여러 대의 카메라가 배치되어 트랙 내의 모든 선수를 촬영하지만, 방송 서비스에서 우선순위를 두는 것은 선두그룹의 선두,가끔 넘어지는 선수, 관중석 등 일률적인 영상이 제공될 뿐이다.
예를 들어, 시청자가 쇼트트랙 경기를 시청하는 중에 자신이 선호하는 특정 선수의 모습을 지속적으로 보고 싶지만, 그 선수가 선두 그룹에 속해 있지 않거나 방송사의 선호도에 맞지 않는 경우에는 방송 영상에 제대로 드러나지 않는다. 이처럼 종래기술의 방송영상은 방송사의 우선순위에 따라 선별되며, 여러 시청자의 다양한 기호를 반영하지 못하는 단점이 있다.
또한, 특정 선수의 동작을 여러 각도에서 보고 싶기도 하지만 한정된 방송 서비스의 영상 스트림에서는 그와 같은 점을 수용하기 어려운 단점이 있고, 특히 사용자가 클라이언트 단말의 메뉴 조작으로 그와 같은 목적을 달성하기 어려운 것이 현재의 실정이다.
삭제
본 발명은 상기한 점을 감안하여 제안된 것으로, 본 발명의 목적은 클라이언트 단말의 조작으로 전체영상에서 원하는 객체 중심으로 영상 서비스를 받을 수 있도록 복수의 객체 중에 개별 객체 위주로 영상을 구현한 객체중심 영상을 클라이언트 단말에 제공한다.
상기의 목적을 달성하기 위하여 본 발명에 따른 객체중심 영상에 대한 메타데이터 기반의 객체기반 방송 서비스 시스템은 복수의 객체가 동작하는 하나의 이벤트에서 개별 객체중심으로 영상을 구현하고 개별 객체중심 영상에 대한 메타데이터를 통해 개별 객체기반의 방송 서비스를 제공하는 기술로서, 촬영한 영상 스트림을 제공하는 복수 개의 카메라; 복수의 객체가 동작하는 하나의 이벤트에서 복수 개의 카메라가 촬영한 복수 개의 영상 스트림을 제공받아 저장하고 이벤트에 참여하는 하나이상의 객체에 대한 피처데이터를 제공받아 저장하는 메모리부와, 피처데이터를 참조하여 복수 개의 영상 스트림으로부터 개별 객체에 대한 객체중심 영상 컴포넌트를 탐색하는 정보 처리부와, 탐색된 객체중심 영상 컴포넌트를 연결함으로써 개별 객체에 대한 객체중심 영상을 생성하고 생성된 객체중심 영상에 대해 영상 식별을 위한 메타데이터를 삽입하며 객체중심 영상을 먹싱하여 방송 스트림을 생성하는 데이터 생성부와, 방송 스트림을 클라이언트 단말에 제공하는 데이터 전송부를 구비하는 방송서버;를 포함하여 구성된다.
이때, 데이터 생성부는, 객체중심 영상을 기초하여 개별 객체에 대해 복수의 각도에서 가상으로 바라보는 가상 시점 영상을 생성하고 생성된 가상 시점 영상에 대해 영상 식별을 위한 메타데이터를 삽입하고, 데이터 전송부는, 생성된 가상 시점 영상을 객체 중심 영상과 함께 먹싱하여 방송 스트림을 생성하여 클라이언트 단말에 제공하도록 구성될 수 있다.
본 발명에 따른 객체중심 영상에 대한 메타데이터 기반의 객체기반 방송 서비스 방법은 복수의 객체가 동작하는 하나의 이벤트에서 개별 객체중심으로 영상을 구현하고 개별 객체중심 영상에 대한 메타데이터를 통해 개별 객체기반의 방송 서비스를 제공하는 기술로서, (a) 방송서버가 하나의 이벤트에 대해 복수 개의 카메라가 촬영한 복수 개의 영상 스트림을 제공받는 단계; (b) 방송서버가 이벤트에 참여하는 하나이상의 객체에 대한 피처데이터를 제공받는 단계; (c) 방송서버가 피처데이터를 참조하여 복수 개의 영상 스트림으로부터 개별 객체에 대한 객체중심 영상 컴포넌트를 탐색하는 단계; (d) 방송서버가 탐색된 객체중심 영상 컴포넌트를 연결함으로서 개별 객체에 대한 객체중심 영상을 생성하는 단계; (e) 방송서버가 생성된 객체중심 영상에 대해 영상 식별을 위한 메타데이터를 삽입하는 단계;를 포함하여 구성된다.
그리고, 본 발명은, (f) 방송서버가 생성된 객체중심 영상을 먹싱하여 방송 스트림을 생성하는 단계; (g) 방송서버가 방송 스트림을 클라이언트 단말에 제공하는 단계; (h) 클라이언트 단말이 사용자 조작에 대응하여 특정 객체에 대한 선택 입력을 식별하는 단계; (i) 클라이언트 단말이 방송 스트림으로부터 메타데이터를 참조하여 선택된 객체에 대한 객체중심 영상을 추출하는 단계; (j) 클라이언트 단말이 추출된 객체중심 영상을 디스플레이 출력하는 단계;를 더 포함하여 구성됨이 바람직하다.
또한, 본 발명은, 방송서버가 복수 개의 카메라에 대한 레이아웃 정보를 제공받는 단계;를 더 포함하여 구성되고, 이때 (c) 단계는 방송서버가 복수 개의 영상 스트림 중 레이아웃 정보에 기초하여 근접성에 따라 선택한 일부의 영상 스트림으로부터 개별 객체에 대한 객체중심 영상 컴포넌트를 탐색하도록 구성됨이 바람직하다.
또한, 본 발명은 단계 (d)와 상기 단계 (e) 사이에, 방송서버가 객체중심 영상을 기초하여 개별 객체에 대해 복수의 각도에서 가상으로 바라보는 가상 시점 영상을 생성하는 단계; 방송서버가 생성된 가상 시점 영상에 대해 영상 식별을 위한 메타데이터를 삽입하는 단계;를 더 포함하여 구성되고, 이때 단계 (f)에서 생성된 가상 시점 영상을 객체중심 영상과 함께 먹싱하여 방송 스트림을 생성하도록 구성됨이 바람직하다.
본 발명에 따르면 방송서버로부터 제공받은 영상데이터를 통한 클라이언트 단말(예: IPTV)의 스포츠 방송 재생 중 사용자가 특정 선수(객체)를 중심으로 시청을 하고 싶은 경우에 메뉴 조작으로 해당 선수를 선택하면 해당 선수 위주로 방송을 시청할 수 있는 장점이 있다.
또한, 본 발명에 따르면 방송서버로부터 제공받은 영상데이터에 대해 사용자가 클라이언트 단말의 메뉴 조작으로 특정 선수의 동작에 대해 가상 시점 영상을 선택하면 그에 대응하여 해당 동작에 대해 여러 각도에서 관찰하면서 시청할 수도 있는 장점도 있다.
[도 1]은 본 발명의 방송 서비스 시스템을 도시한 블록구성도.
[도 2]는 쇼트트랙 경기장에 복수 개의 카메라가 배치된 상태의 예시도.
[도 3]은 [도 2]와 같은 경기장에서 4명의 선수가 경주할 때 개별 카메라가 촬영한 영상 스트림을 나타낸 예시도.
[도 4]는 [도 3]에서 4명 중 1명의 선수에 대한 객체중심 영상 컴포넌트를 시간대별로 나타낸 예시도.
[도 5]는 [도 4]로부터 객체중심 영상 컴포넌트를 연결하여 객체중심 영상을 생성하는 과정을 나타낸 예시도.
[도 6]은 본 발명에 따른 객체중심 영상에 대한 메타데이터 기반의 객체기반 방송 서비스 과정을 나타낸 순서도.
[도 7]은 [도 6]의 프로세스를를 통해 생성된 객체중심 영상을 기반으로 클라이언트 단말 상에서 특정 객체(선수)를 중심으로 영상이 디스플레이 출력되는 상태의 예시도.
[도 8]은 가상 시점을 제공하기 위해 설치된 복수 개의 카메라로부터 제공받은 복수 개의 영상 스트림으로부터 특정 객체에 대한 객체중심 영상 컴포넌트를 추출하여 나타낸 예시도.
[도 9]는 가상 시점 영상을 생성하여 클라이언트 단말에 구현된 상태의 예시도.
이하, 도면을 참조하여 본 발명을 상세히 설명한다.
[도 1]은 본 발명의 영상 서비스 시스템을 도시한 블록구성도이다. [도 1]을 참조하면, 본 발명에 따른 객체기반 방송 서비스 시스템은 클라이언트 단말(300,310,320,330,340)이 요청한 특정의 객체중심 영상을 제공하도록 하는 기술로서, 복수의 객체가 동작하는 하나의 이벤트, 즉 소정 장소(예:쇼트트랙 경기장, 골프 코스, 축구경기장)에 설치되는 복수 개의 카메라(110,120,130,140)와 방송서버(200)로 구성된다. 방송서버(200)와 클라이언트 단말(310)을 연결하는 매체는 지상파, 위성, 케이블, 인터넷 등이 될 수 있다.
복수 개의 카메라(110,120,130,140)가 쇼트트랙 경기장에 설치되는 경우에는 트랙을 따라 소정 간격을 두고 설치될 수 있으며 바람직하게는 트랙을 따라 도는 모든 순위의 선수들을 촬영할 수 있도록 배치된다. 그래서 클라이언트 단말(300,310,320,330,340)로부터 순위에 관계없이 특정 선수를 중심으로 영상을 시청하고 싶은 경우 개별 카메라로부터 촬영된 객체중심 영상을 [도 7]과 같이 선택적으로 편집할 수 있으므로 사용자는 클라이언트 단말을 통해 원하는 선수 위주로 시청할 수 있게 된다.
또한, 이처럼 복수 개의 카메라(110,120,130,140)가 골프 코스나 축구경기장에 설치되는 경우에 추가로 [도 8]와 같이 선수의 동작을 다양한 각도에서 촬영하는 구성을 구비함이 바람직하다. 이와 같이 다중의 카메라로부터 다양한 각도의 가상시점 영상을 획득함으로써 이를 토대로 [도 9]와 같이 가상 시점 영상을 구현할 수도 있다.
방송서버(200)는 복수 개의 카메라로부터 획득한 복수의 영상 스트림으로부터 객체중심 영상과 가상 시점 영상을 생성하여 클라이언트 단말에 전송하며, 메모리부(210), 정보 처리부(220), 데이터 생성부(230), 데이터 전송부(240)를 포함하여 구성된다.
메모리부(210)는 복수의 객체가 동작하는 하나의 이벤트에서 복수 개의 카메라가 촬영한 복수 개의 영상 스트림을 제공받아 저장하고 이벤트에 참여하는 개별 객체에 대한 피처데이터(특징 데이터, 예: 이름, 신장, 유니폼 디자인, 유니폼 색상, 백넘버, 국가, 나이, 성별 등)를 제공받아 저장한다. 메모리부(210)는 이들 피처데이터를 저장하는 공간을 제공하는 모듈로서 램(RAM), 롬(ROM), 플래시메모리, MRAM(자성체 램), PRAM(상변화 램), FRAM(강유전체 램), 웹디스크, 클라우드 디스크 등으로 다양하게 구성될 수 있다.
정보 처리부(220)는 메모리부(210)에 저장된 피처데이터(feature data)를 참조하여 복수 개의 영상 스트림으로부터 개별 객체가 포착된 객체중심 영상 컴포넌트를 탐색한다.
데이터 생성부(230)는 위 탐색된 객체중심 영상 컴포넌트를 시간에 맞도록 적절히 연결함으로서 개별 객체에 대한 객체중심 영상을 생성한다. 그리고, 그 생성된 객체중심 영상에 대해 영상 식별을 위한 메타데이터를 삽입하며 객체중심 영상을 먹싱하여 방송 스트림을 생성한다.
또한, 데이터 생성부(230)는 객체중심 영상을 기초하여 개별 객체에 대해 복수의 각도에서 가상으로 바라보는 가상 시점 영상을 생성하고, 그 생성된 가상 시점 영상에 대해 영상 식별을 위한 메타데이터를 삽입하며, 가상 시점 영상을 먹싱하여 방송 스트림을 생성한다.
데이터 전송부(240)는 이와 같은 과정을 통해 생성된 방송 스트림을 클라이언트 단말에 제공한다.
이때, 클라이언트 단말(300,310,320,330,340)은 방송서버(200)로부터 객체중심 영상과 가상 시점 영상에 대한 방송 스트림을 제공받는다. 그리고, 사용자 조작에 대응하여 특정 객체에 대한 선택 입력을 식별한 후, 방송 스트림으로부터 메타데이터를 참조하여 위 선택된 객체에 대한 객체중심 영상을 추출하여 [도 7] 내지 [도 9]와 같이 디스플레이 출력한다. 클라이언트 단말(300,310,320,330,340)은 디지털 TV, 디지털 셋톱박스, 스마트폰, 스마트박스, 스마트패드, HDMI 동글 등과 같이 다양한 제품으로 구현될 수 있다.
한편, 방송서버(200)는 객체중심 영상과 가상 시점 영상 외에도 종래기술에 따른 전체영상을 클라이언트 단말에 제공할 수 있으며, 클라이언트 단말은 특별한 메뉴 조작 없이 전체영상을 표시할 수 있다.
[도 2]는 본 발명의 일 구현예로서 쇼트트랙 경기장에 복수 개의 카메라가 배치된 상태의 예시도이다. [도 2]를 참조하면, 트랙(T)을 따라 복수 개의 카메라가 설치되어 있고, 방송서버(200)가 트랙(T)을 따라 배치된 카메라의 레이아웃 정보를 미리 제공받아 저장해 둘 수 있다.
이렇게 복수 개의 카메라에 대한 레이아웃 정보를 제공받은 상태에서 복수 개의 영상 스트림 중 레이아웃 정보에 기초하여 객체로부터 근접한 카메라를 선택한 후, 그 선택된 카메라로부터 제공받은 영상 스트림으로부터 개별 객체에 대한 객체중심 영상 컴포넌트를 탐색한다.
[도 3]은 [도 2]와 같은 경기장에서 4명의 선수가 경주할 때 개별 카메라가 촬영한 영상 스트림을 나타낸 예시도이다. [도 2]와 같이 카메라가 "CAM01"부터 "CAM16"까지 순차적으로 배치되었을 때 시간대별로 각각의 카메라는 각각의 선수(객체 1, 2, 3, 4)가 트랙(T)을 도는 상태를 촬영하여 [도 3]과 같이 객체(선수)중심 영상을 획득한다.
여기서, 번호 "1", "2", "3", "4"는 선수의 백넘버라고 가정하고, "t=0" 내지 "t=15"는 시간의 흐름을 나타낸다.
먼저 "CAM01"에서는 t=0에서 t=4까지는 1번 선수, 2번 선수, 3번 선수, 4번 선수가 모두 촬영되고, t=4에서 t=5까지는 앞의 3명의 선수는 속도를 내며 사라지고 4번 선수만 뒤쳐져서 촬영되었다.
그리고 "CAM01"에 바로 다음에 배치된 "CAM02"에서는 t=3에서 t=7까지는 1번 선수, 2번 선수, 3번 선수가 촬영되고 t=7부터 t=8까지는 4번 선수가 추가로 화면에 등장하면서 1번 선수, 2번 선수, 3번 선수, 4번 선수가 모두 촬영된다. t=3 내지 t=7 구간에서 뒤쳐져있던 4번 선수가 속도를 내면서 t=7 내지 t=8 구간에서는 4명의 선수가 경합을 벌이고 있는 상황을 나타낸다.
그리고, t=7 시간대에서 "CAM02"와 "CAM03"에서 1번 선수, 2번 선수, 3번 선수가 동시에 촬영됨을 알 수 있다. 이처럼 인접하는 카메라 사이에는 동 시간대에 객체(선수)가 겹쳐져 촬영되기 때문에 방송서버(200)는 겹쳐져 촬영되는 구간에서 객체중심 영상 컴포넌트를 실시간 제공받는 경우 어느 카메라로부터 제공받아야 하는지 선택해야만 한다.
이처럼 방송서버(200)는 복수의 카메라가 생성하는 복수의 방송스트림에 대해 피처데이터에 기초하여 개별 객체를 탐색하고, 이를 통해 개별 객체에 대한 객체중심 영상 컴포넌트를 도출한다. 그리고, 이들 객체중심 영상 컴포넌트를 객체별로 구분하여 다룸으로써 개별 객체에 대한 객체중심 영상을 획득할 수 있다. 이때, 방송서버(200)가 각 카메라의 레이아웃 정보를 미리 제공받고 이를 기초하여 이전 시간에서 객체로부터의 근접성에 따라 인접한 카메라의 방송스트림을 중심으로 객체 탐색 과정을 수행하면 연산량을 감소시킬 수 있고, 이를 통해 리얼타임을 보장하기가 상대적으로 수월해진다.
[도 4]는 [도 3]의 구현 예에서 4명의 선수 중에서 1번 선수에 대한 객체중심 영상 컴포넌트를 시간대별로 나타낸 예시도이고, [도 5]는 [도 4]로부터 이들 객체중심 영상 컴포넌트를 연결하여 1번 선수에 대한 객체중심 영상을 생성하는 과정을 개념적으로 나타낸 예시도이다.
먼저, [도 3]의 구현 예에서 예컨대 1번 선수(객체)에 대한 객체중심 영상 컴포넌트를 탐색하면 [도 4]에 나타낸 바와 같이 각 시간대별로 객체중심 영상 컴포넌트가 나타난다.
이어서, [도 5]에 나타낸 바와 같이 1번 선수(객체)가 발견되는 영상, 즉 1번 선수에 대한 객체중심 영상 컴포넌트를 시간대별로 연속적으로 선택하게 되면 1번 선수에 대한 객체중심 영상을 생성할 수 있다.
이때, t=3 내지 t=4에서와 같이 "CAM01"과 "CAM02"의 방송스트림에 모두 발견되는 경우에 소정의 평가(evaluation) 척도를 적용하여 이들 중에서 하나의 객체중심 영상 컴포넌트를 선택하는 기술 및 둘다 멀티앵글로 한 화면 내에 제시하는 기술에 대해서는 다양하게 구현할 수 있다.
그리고, 이와 같은 패턴으로 2번 선수, 3번 선수, 4번 선수의 객체중심 영상을 생성할 수 있다.
이처럼 개별 객체에 대한 객체중심 영상을 생성하면서, 방송서버(200)는 각각의 객체중심 영상에 대해 영상 식별을 위한 메타데이터를 삽입한다. 이렇게 생성된 각각의 객체중심 영상을 먹싱하여 방송 스트림을 생성하고 전달매체를 통해 클라이언트 단말에 전송한다.
[도 6]는 본 발명에 따른 객체중심 영상에 대한 메타데이터 기반의 객체기반 방송 서비스 과정을 나타낸 순서도이다. [도 6]을 참조하여 본 발명에 따른 객체중심 영상에 대한 메타데이터 기반의 객체기반 방송 서비스 과정을 구체적으로 설명하면 다음과 같다.
단계 S110 : 복수의 객체가 동작하는 하나의 이벤트, 즉 소정 장소(예: 쇼트트랙 경기장, 골프 코스, 축구경기장)에 설치된 복수 개의 카메라가 각각의 해당 각도에서 피사체(예: 쇼트트랙 선수, 골프선수, 축구선수)를 촬영하여 [도 3]과 같이 개별 영상을 획득한다.
그리고, 방송서버(200)가 하나의 이벤트에 대해 복수 개의 카메라가 촬영한 복수 개의 영상 스트림과 이벤트에 참여하는 하나이상의 객체에 대한 피처데이터(예: 이름, 신장, 유니폼 디자인, 유니폼 색상, 백넘버, 국가, 나이, 성별 등)를 제공받는다.
단계 S120 : 이어서, 방송서버(200)는 피처데이터를 참조하여 복수 개의 영상 스트림으로부터 [도 4]와 같이 개별 객체에 대한 객체중심 영상 컴포넌트를 탐색한다.
단계 S130 : 방송서버(200)는 탐색된 객체중심 영상 컴포넌트를 [도 5]와 같이 연결함으로써 개별 객체에 대한 객체중심 영상을 생성한다. 이어서, 그 생성된 객체중심 영상에 대해 해당 영상 식별을 위한 메타데이터를 삽입한다. 한편, 방송서버(200)는 단계 S130에서 생성된 객체중심 영상을 기초하여 개별 객체에 대해 복수의 각도에서 가상으로 바라보는 가상 시점 영상을 생성하고, 그 생성된 가상 시점 영상에 대해 해당 영상의 식별을 위한 메타데이터를 삽입한다.
단계 S140 : 그리고, 방송서버(200)는 생성된 객체중심 영상을 먹싱하여 방송 스트림을 생성한 후 클라이언트 단말에 제공한다.
이때, 방송서버(200)는 객체중심 영상과 단계 S140에서 생성된 가상 시점 영상을 함께 먹싱하여 방송 스트림을 생성할 수 있다.
단계 S150, S160, S170 : 클라이언트 단말은 사용자 조작에 대응하여 특정 객체에 대한 선택 입력을 식별하고, 이어서 방송 스트림으로부터 메타데이터를 참조하여 선택된 객체에 대한 객체중심 영상을 추출한다. 그리고, 그 추출된 객체중심 영상을 디스플레이 출력한다.
한편, 방송서버(200)는 복수 개의 카메라에 대한 레이아웃 정보를 제공받고, 복수 개의 카메라로부터 제공받은 복수 개의 영상 스트림 중 레이아웃 정보에 기초하여 근접성에 따라 선택한 일부의 영상 스트림으로부터 개별 객체에 대한 객체중심 영상 컴포넌트를 탐색하도록 구성됨이 바람직하다.
즉, [도 2]를 참조하면 트랙(T)에 배치된 카메라의 위치를 레이아웃 정보로부터 알고 있기 때문에 "CAM03"으로부터 영상 스트림을 받은 후에는 "CAM03"와 근접하는 "CAM04" 또는 "CAM05"로부터 객체중심 영상 컴포넌트를 탐색하도록 제어할 수 있게 된다.
[도 7]은 [도 6]의 프로세스를 통해 생성된 객체중심 영상을 기반으로 클라이언트 단말 상에서 특정 객체(선수)를 중심으로 영상(객체중심 영상)이 디스플레이 출력되는 상태의 예시도이다.
[도 7]은 방송서버(200)가 [도 5]와 같이 객체중심 영상 컴포넌트를 연결하여 객체중심 영상을 생성한 후, 이를 방송 스트림으로 클라이언트 단말에 전송하면 클라이언트 단말이 이를 수신하여 사용자 선택입력에 의해 선택된 객체에 대한 객체중심 영상을 추출한 후 디스플레이 출력한 상태를 나타낸다. 이때, 방송 스트림에 포함된 복수의 객체중심 영상으로부터 사용자가 선택한 특정 객체에 대한 객체중심 영상을 구분하는 과정은 방송서버(200)가 삽입한 메타데이터를 참조하여 클라이언트가 수행한다.
이를 통해 클라이언트 사용자는 클라이언트 단말(예: IPTV)의 스포츠 방송 재생 중 소망하는 특정 선수(객체)를 중심으로 시청할 수 있게 된다.
[도 8]은 가상 시점을 제공하기 위해 설치된 복수 개의 카메라로부터 제공받은 복수 개의 영상 스트림으로부터 특정 객체에 대한 객체중심 영상 컴포넌트를 추출하여 나타낸 예시도이고, [도 9]는 가상 시점 영상을 생성하여 클라이언트 단말에 구현된 상태의 예시도이다.
[도 8]을 참조하면, 골프 코스에 "타이거 우즈" 선수의 스윙 동작을 여러 대의 카메라가 여러 각도에서 동시에 촬영할 수 있다. 이렇게 여러 대의 카메라에서 촬영한 영상을 통해 방송서버(200)는 해당 선수의 가상 시점 영상을 생성하여 클라이언트 단말에 방송 스트림으로 전송하며, 클라이언트 단말은 방송 스트림으로부터 가상 시점 영상의 메타데이터를 참조하여 선택된 객체에 대한 가상 시점 영상을 추출한 후 [도 9]와 같이 디스플레이 출력할 수 있다.
여기서, [도 8]은 골프 코스에서 "타이거 우즈" 선수의 스윙 동작을 여러 대의 카메라가 여러 각도에서 동시에 촬영한 것을 표시하였고, [도 9]는 축구경기장에서 특정 선수의 볼 터치 동작을 가상 시점 영상으로 디스플레이 출력한 것이다. 즉, [도 8]을 토대로 [도 9]에서 "타이거 우즈" 선수에 대한 가상 시점 영상을 디스플레이 출력할 수 있고, [도 9]의 특정 선수에 대한 가상 시점 영상도 [도 8]과 같은 과정을 거쳐 구현할 수 있다.
본 발명은 또한 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드의 형태로 구현하는 것이 가능하다. 이때, 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록 장치를 포함한다.
컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기테이프, 플로피디스크, 광 데이터 저장장치 등이 있으며, 캐리어웨이브(예: 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산된 방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다. 그리고 본 발명을 구현하기 위한 기능적인 프로그램, 코드, 코드 세그먼트들은 본 발명이 속하는 기술 분야의 프로그래머들에 의해 용이하게 추론될 수 있다.
이상과 같이, 본 명세서와 도면에는 본 발명의 실시예에 대하여 개시하였으며, 비록 특정 용어들이 사용되었으나 이는 단지 본 발명의 기술 내용을 쉽게 설명하고 발명의 이해를 돕기 위한 일반적인 의미에서 사용된 것이지, 본 발명의 범위를 한정하고자 하는 것은 아니다. 여기에 개시된 실시예 외에도 본 발명의 기술적 사상에 바탕을 둔 다른 변형예가 가능하다는 것은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 자명하다.
110 내지 140 : 카메라
200 : 방송서버
210 : 메모리부
220 : 정보 처리부
230 : 데이터 생성부
240 : 데이터 전송부
300 내지 340 : 클라이언트 단말

Claims (7)

  1. 삭제
  2. 삭제
  3. 복수의 객체가 동작하는 하나의 이벤트에서 개별 객체를 중심으로 영상을 구현하고 이러한 객체중심 영상에 대한 메타데이터를 통해 개별 객체기반의 가상시점 방송 서비스를 제공하는 방법으로서,
    방송서버가 상기 이벤트가 벌어지는 전체 공간을 미리 설정된 레이아웃에 따라 분할하여 촬영하도록 배치된 복수 개의 카메라로부터 각자 촬영한 복수 개의 영상 스트림을 제공받는 단계;
    상기 방송서버가 상기 복수 개의 카메라에 대한 레이아웃 정보를 제공받는 단계;
    상기 방송서버가 상기 이벤트에 참여하는 하나이상의 객체에 대하여 비주얼의 특징에 관한 피처데이터를 제공받는 단계;
    상기 방송서버가 상기 복수 개의 영상 스트림에 대해 상기 피처데이터에 기초하여 개별 객체를 탐색함으로써 개별 객체에 대하여 시간대별로 일련의 객체중심 영상 컴포넌트를 획득하는 단계;
    상기 방송서버가 상기 레이아웃 정보에 기초하여 이전 시간에서 개별 객체가 발견된 카메라로부터 근접한 카메라의 방송스트림을 중심으로 개별 객체에 대한 탐색을 수행하는 단계;
    상기 방송서버가 상기 개별 객체에 대해 획득된 일련의 객체중심 영상 컴포넌트를 동작 시간에 맞추어 연결함으로써 상기 개별 객체에 대한 객체중심 영상을 생성하는 단계;
    상기 방송서버가 상기 객체중심 영상을 식별하기 위한 제 1 메타데이터를 삽입하는 단계;
    상기 방송서버가 상기 개별 객체에 대한 객체중심 영상에 기초하여 상기 개별 객체에 대하여 복수의 각도에서 가상으로 바라보는 가상 시점 영상을 생성하는 단계;
    상기 방송서버가 상기 가상 시점 영상을 식별하기 위한 제 2 메타데이터를 삽입하는 단계;
    상기 방송서버가 상기 객체중심 영상 및 상기 가상 시점 영상을 먹싱하여 방송 스트림을 생성하는 단계;
    를 포함하여 구성되는 메타데이터 기반의 객체기반 가상시점 방송 서비스 방법.
  4. 청구항 3에 있어서,
    상기 방송서버가 상기 방송 스트림을 클라이언트 단말에 제공하는 단계;
    상기 클라이언트 단말이 사용자 조작에 대응하여 특정 객체에 대한 선택 입력을 식별하는 단계;
    상기 클라이언트 단말이 상기 방송 스트림에 포함된 상기 제 1 메타데이터를 참조하여 상기 선택된 객체에 대한 객체중심 영상을 상기 방송 스트림으로부터 획득하는 단계;
    상기 클라이언트 단말이 상기 획득된 객체중심 영상을 디스플레이 출력하는 단계;
    상기 클라이언트 단말이 사용자 조작에 대응하여 특정 시점에 대한 선택 입력을 식별하는 단계;
    상기 클라이언트 단말이 상기 방송 스트림에 포함된 상기 제 2 메타데이터를 참조하여 상기 선택된 객체 및 상기 선택된 시점에 대한 가상 시점 영상을 상기 방송 스트림으로부터 획득하는 단계;
    상기 클라이언트 단말이 상기 획득된 객체중심 영상을 디스플레이 출력하는 단계;
    를 더 포함하여 구성되는 메타데이터 기반의 객체기반 가상시점 방송 서비스 방법.
  5. 삭제
  6. 삭제
  7. 컴퓨터에 청구항 3 또는 청구항 4에 따른 메타데이터 기반의 객체기반 가상시점 방송 서비스 방법을 실행시키기 위한 프로그램을 기록한 컴퓨터로 판독가능한 기록매체.
KR1020140109442A 2014-08-22 2014-08-22 메타데이터 기반의 객체기반 가상시점 방송 서비스 방법 및 이를 위한 기록매체 KR101573676B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020140109442A KR101573676B1 (ko) 2014-08-22 2014-08-22 메타데이터 기반의 객체기반 가상시점 방송 서비스 방법 및 이를 위한 기록매체

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020140109442A KR101573676B1 (ko) 2014-08-22 2014-08-22 메타데이터 기반의 객체기반 가상시점 방송 서비스 방법 및 이를 위한 기록매체

Publications (1)

Publication Number Publication Date
KR101573676B1 true KR101573676B1 (ko) 2015-12-11

Family

ID=55020658

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140109442A KR101573676B1 (ko) 2014-08-22 2014-08-22 메타데이터 기반의 객체기반 가상시점 방송 서비스 방법 및 이를 위한 기록매체

Country Status (1)

Country Link
KR (1) KR101573676B1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210033759A (ko) * 2019-09-19 2021-03-29 에스케이텔레콤 주식회사 Ai 기반 영상 자동 추적 및 재생장치와 방법
KR102392908B1 (ko) * 2021-01-13 2022-04-29 서울여자대학교 산학협력단 자유시점 비디오 서비스를 제공하는 방법, 장치 및 시스템

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210033759A (ko) * 2019-09-19 2021-03-29 에스케이텔레콤 주식회사 Ai 기반 영상 자동 추적 및 재생장치와 방법
KR102276636B1 (ko) * 2019-09-19 2021-07-12 에스케이텔레콤 주식회사 Ai 기반 영상 자동 추적 및 재생장치와 방법
KR102392908B1 (ko) * 2021-01-13 2022-04-29 서울여자대학교 산학협력단 자유시점 비디오 서비스를 제공하는 방법, 장치 및 시스템

Similar Documents

Publication Publication Date Title
US11006160B2 (en) Event prediction enhancements
WO2018036456A1 (zh) 追踪识别视频图像中的商品并展示商品信息的方法和装置
CN102290082B (zh) 视频精彩回放片段的处理方法及装置
CN102263907B (zh) 比赛视频的播放控制方法及其片段信息的生成方法和装置
US9654844B2 (en) Methods and apparatus for content interaction
US8665374B2 (en) Interactive video insertions, and applications thereof
US10311917B2 (en) Systems and methods for featuring a person in a video using performance data associated with the person
US20140282677A1 (en) Second screen application linked to media content delivery
US9197911B2 (en) Method and apparatus for providing interaction packages to users based on metadata associated with content
US20130191869A1 (en) TV Social Network Advertising
US11630862B2 (en) Multimedia focalization
CN112533003B (zh) 一种视频处理***、装置、方法
CN112312142B (zh) 视频播放控制方法、装置和计算机可读存储介质
CN108293140A (zh) 公共媒体段的检测
US20130120544A1 (en) Method and device for providing supplementary content in 3d communication system
US11528537B2 (en) Systems and methods for graphical data presentation during a sporting event broadcast
Mase et al. Socially assisted multi-view video viewer
KR20160122253A (ko) 세그먼트 리스트를 통한 비디오 브라우징
EP2515548A1 (en) A competition tracking system
KR101573676B1 (ko) 메타데이터 기반의 객체기반 가상시점 방송 서비스 방법 및 이를 위한 기록매체
US20220053245A1 (en) Systems and methods for augmenting video content
US20160212485A1 (en) On demand information for video
CN112287771A (zh) 用于检测视频事件的方法、装置、服务器和介质
CN107578306A (zh) 追踪识别视频图像中的商品并展示商品信息的方法和装置
CN114288645A (zh) 一种画面生成方法、***、装置及计算机存储介质

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20181119

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20191016

Year of fee payment: 5