KR20190019407A - 타임 슬라이스 영상을 제공하는 서버, 방법 및 사용자 단말 - Google Patents

타임 슬라이스 영상을 제공하는 서버, 방법 및 사용자 단말 Download PDF

Info

Publication number
KR20190019407A
KR20190019407A KR1020170104250A KR20170104250A KR20190019407A KR 20190019407 A KR20190019407 A KR 20190019407A KR 1020170104250 A KR1020170104250 A KR 1020170104250A KR 20170104250 A KR20170104250 A KR 20170104250A KR 20190019407 A KR20190019407 A KR 20190019407A
Authority
KR
South Korea
Prior art keywords
image
time slice
angle
area
view
Prior art date
Application number
KR1020170104250A
Other languages
English (en)
Other versions
KR102105510B1 (ko
Inventor
신형철
Original Assignee
주식회사 케이티
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 케이티 filed Critical 주식회사 케이티
Priority to KR1020170104250A priority Critical patent/KR102105510B1/ko
Publication of KR20190019407A publication Critical patent/KR20190019407A/ko
Application granted granted Critical
Publication of KR102105510B1 publication Critical patent/KR102105510B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2625—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects for obtaining an image which is composed of images from a temporal image sequence, e.g. for a stroboscopic effect
    • H04N5/2627—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects for obtaining an image which is composed of images from a temporal image sequence, e.g. for a stroboscopic effect for providing spin image effect, 3D stop motion effect or temporal freeze effect
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845—Structuring of content, e.g. decomposing content into time segments
    • H04N21/8456—Structuring of content, e.g. decomposing content into time segments by decomposing the content in the time domain, e.g. in time segments
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • H04N5/247—

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

타임 슬라이스 영상을 제공하는 서버는 복수의 카메라에 의해 촬영된 복수의 영상 중 사용자에 의해 재생을 요청 받은 어느 하나를 상기 사용자의 사용자 단말로 전송하는 영상 전송부, 상기 전송된 영상으로부터 상기 사용자에 의해 선택받은 객체에 대한 타임 슬라이스 영상의 생성을 상기 사용자 단말로부터 요청받는 요청부, 상기 재생 중인 영상에서의 상기 선택된 객체에 대한 좌표 정보 및 상기 복수의 카메라에 대한 위치 관계 정보에 기초하여 상기 선택된 객체에 대한 중심 좌표를 추출하는 좌표 추출부, 상기 추출된 중심 좌표에 기초하여 상기 복수의 영상에 대해 화각 영역을 선택하는 화각 선택부, 상기 선택된 화각 영역 및 상기 복수의 영상이 화면에 표시되는 영상 영역 간의 위치 관계에 기초하여 상기 선택된 화각 영역을 보정하는 화각 보정부 및 상기 보정된 화각 영역에 따라 상기 복수의 영상으로부터 각각의 이미지를 추출하고, 상기 추출된 각각의 이미지를 이용하여 타임 슬라이스 영상을 생성하고, 상기 생성된 타임 슬라이스 영상을 상기 사용자 단말로 제공하는 타임 슬라이스 영상 제공부를 포함한다.

Description

타임 슬라이스 영상을 제공하는 서버, 방법 및 사용자 단말{SERVER, METHOD AND USER DEVICE FOR PROVIDING TIME SLICE VIDEO}
본 발명은 타임 슬라이스 영상을 제공하는 서버, 방법 및 사용자 단말에 관한 것이다.
타임 슬라이스(time slice) 기법이란, 복수의 카메라가 다양한 각도로 피사체를 향하도록 설치하여 순간적으로 동시에 촬영한 후, 컴퓨터를 이용해 사진을 연결함으로써, 피사체의 정지된 동작을 마치 무비 카메라로 찍은 듯이 보이게 하는 영상 기법을 말한다. 타임 슬라이스는 피사체를 입체적으로 묘사할 수 있을 뿐만 아니라, 시간과 공간을 초월한 느낌을 제공한다.
이러한 타임 슬라이스 기법과 관련하여, 선행기술인 한국공개특허 제 2007-0000994호는 화상을 기록 및 재생하는 시스템 및 방법을 개시하고 있다.
최근에는 스포츠 경기 중계 중 타임 슬라이스 기법이 적용된 영상을 제공함으로써, 다시점으로 구성된 상세 화면을 통해 스포츠 경기에 대한 분석 또는 해설을 구체적으로 할 수 있게 되었다. 그러나 종래의 스포츠 경기의 경우, 타임 슬라이스 영상 제작자에 의해 수동으로 이벤트가 발생될 지점을 미리 선택받아야 하는 점에서 부정확한 타임 슬라이스 영상이 제작되기도 하였다. 또한, 스포츠 경기 중에는 이벤트가 랜덤으로 발생하게 되므로, 이벤트가 발생될 지점을 예측하기 어렵다는 단점을 가지고 있었다.
스포츠 경기의 경우, 이벤트 발생 지점이 랜덤으로 발생됨으로써, 이벤트 발생 지점에 대한 영역의 설정이 어려웠으나, 이를 즉각적으로 처리함으로써, 스포츠 경기에서도 적용 가능한 타임 슬라이스 영상을 제공할 수 있도록 하는 서버, 방법 및 사용자 단말을 제공하고자 한다. 사용자가 터치 또는 마우스 클릭을 하여 직접 객체를 선택하고, 선택된 객체에 대한 타임 슬라이스 영상을 제공하는 서버, 방법 및 사용자 단말을 제공하고자 한다. 객체에 대한 타임 슬라이스 영상의 생성이 어려운 경우, 화각 영역을 보정하여 객체에 대한 타임 슬라이스 영상을 생성하는 서버, 방법 및 사용자 단말을 제공하고자 한다. 다만, 본 실시예가 이루고자 하는 기술적 과제는 상기된 바와 같은 기술적 과제들로 한정되지 않으며, 또 다른 기술적 과제들이 존재할 수 있다.
상술한 기술적 과제를 달성하기 위한 수단으로서, 본 발명의 일 실시예는, 복수의 카메라에 의해 촬영된 복수의 영상 중 사용자에 의해 재생을 요청 받은 어느 하나를 상기 사용자의 사용자 단말로 전송하는 영상 전송부, 상기 전송된 영상으로부터 상기 사용자에 의해 선택받은 객체에 대한 타임 슬라이스 영상의 생성을 상기 사용자 단말로부터 요청받는 요청부, 상기 재생 중인 영상에서의 상기 선택된 객체에 대한 좌표 정보 및 상기 복수의 카메라에 대한 위치 관계 정보에 기초하여 상기 선택된 객체에 대한 중심 좌표를 추출하는 좌표 추출부, 상기 추출된 중심 좌표에 기초하여 상기 복수의 영상에 대해 화각 영역을 선택하는 화각 선택부, 상기 선택된 화각 영역 및 상기 복수의 영상이 화면에 표시되는 영상 영역 간의 위치 관계에 기초하여 상기 선택된 화각 영역을 보정하는 화각 보정부 및 상기 보정된 화각 영역에 따라 상기 복수의 영상으로부터 각각의 이미지를 추출하고, 상기 추출된 각각의 이미지를 이용하여 타임 슬라이스 영상을 생성하고, 상기 생성된 타임 슬라이스 영상을 상기 사용자 단말로 제공하는 타임 슬라이스 영상 제공부를 포함하는 타임 슬라이스 영상 제공 서버를 제공할 수 있다.
본 발명의 다른 실시예는, 타임 슬라이스 영상 제공 서버로 복수의 카메라에 의해 촬영된 복수의 영상 중 어느 하나의 영상에 대한 재생을 요청하는 요청부, 상기 타임 슬라이스 영상 제공 서버로부터 상기 요청받은 영상을 수신하는 영상 수신부, 상기 수신받은 영상을 재생하는 영상 재생부, 상기 재생 중인 영상으로부터 객체를 선택받는 객체 선택부 및 상기 타임 슬라이스 영상 제공 서버로 상기 선택받은 객체에 대한 타임 슬라이스 영상의 생성을 요청하고, 상기 타임 슬라이스 영상 제공 서버로부터 상기 타임슬라이스 영상을 수신하고, 상기 수신된 타임 슬라이스 영상을 재생하는 타임 슬라이스 영상 제공부를 포함하고, 상기 타임 슬라이스 영상은 상기 복수의 영상으로부터 화각 영역에 따라 추출된 각각의 이미지를 이용하여 생성되고, 상기 화각 영역은 상기 선택된 객체에 대해 추출된 중심 좌표에 기초하여 상기 복수의 영상에 대해 선택되고, 상기 선택된 화각 영역은 상기 복수의 영상이 화면에 표시되는 영상 영역 간의 위치 관계에 기초하여 보정되고, 상기 중심 좌표는 상기 재생 중인 영상에서의 상기 선택된 객체에 대한 좌표 정보 및 상기 복수의 카메라에 대한 위치 관계 정보에 기초하여 추출되는 것인 사용자 단말을 제공할 수 있다.
본 발명의 또 다른 실시예는, 복수의 카메라에 의해 촬영된 복수의 영상 중 사용자에 의해 재생을 요청 받은 어느 하나를 상기 사용자의 사용자 단말로 전송하는 단계, 상기 전송된 영상으로부터 상기 사용자에 의해 선택받은 객체에 대한 타임 슬라이스 영상의 생성을 상기 사용자 단말로부터 요청받는 단계, 상기 재생 중인 영상에서의 상기 선택된 객체에 대한 좌표 정보 및 상기 복수의 카메라에 대한 위치 관계 정보에 기초하여 상기 선택된 객체에 대한 중심 좌표를 추출하는 단계, 상기 추출된 중심 좌표에 기초하여 상기 복수의 영상에 대해 화각 영역을 선택하는 단계, 상기 선택된 화각 영역 및 상기 복수의 영상이 화면에 표시되는 영상 영역 간의 위치 관계에 기초하여 상기 선택된 화각 영역을 보정하는 단계, 상기 보정된 화각 영역에 따라 상기 복수의 영상으로부터 각각의 이미지를 추출하는 단계, 상기 추출된 각각의 이미지를 이용하여 타임 슬라이스 영상을 생성하는 단계 및 상기 생성된 타임 슬라이스 영상을 상기 사용자 단말로 제공하는 단계를 포함하는 타임 슬라이스 영상 제공 방법을 제공할 수 있다.
상술한 과제 해결 수단은 단지 예시적인 것으로서, 본 발명을 제한하려는 의도로 해석되지 않아야 한다. 상술한 예시적인 실시예 외에도, 도면 및 발명의 상세한 설명에 기재된 추가적인 실시예가 존재할 수 있다.
전술한 본 발명의 과제 해결 수단 중 어느 하나에 의하면, 스포츠 경기의 경우, 이벤트 발생 지점이 랜덤으로 발생됨으로써, 이벤트 발생 지점에 대한 영역의 설정이 어려웠으나, 이를 즉각적으로 처리함으로써, 스포츠 경기에서도 적용 가능한 타임 슬라이스 영상을 제공할 수 있도록 하는 장치 및 사용자 단말을 제공할 수 있다. 사용자가 터치 또는 마우스 클릭을 하여 직접 객체를 선택하고, 선택된 객체에 대한 타임 슬라이스 영상을 제공하는 서버, 방법 및 사용자 단말을 제공할 수 있다. 객체에 대한 타임 슬라이스 영상의 생성이 어려운 경우, 화각 영역을 보정하여 객체에 대한 타임 슬라이스 영상을 생성하는 서버, 방법 및 사용자 단말을 제공할 수 있다.
도 1은 본 발명의 일 실시예에 따른 타임 슬라이스 영상 제공 시스템의 구성도이다.
도 2는 본 발명의 일 실시예에 따른 사용자 단말의 구성도이다.
도 3은 본 발명의 일 실시예에 따른 사용자 단말에서 타임 슬라이스 영상을 제공하는 방법의 순서도이다.
도 4는 본 발명의 일 실시예에 따른 타임 슬라이스 영상 제공 서버의 구성도이다.
도 5a 내지 도 5d는 본 발명의 일 실시예에 따른 객체에 대한 중심 좌표를 추출하는 과정을 설명하기 위한 예시적인 도면이다.
도 6a 내지 도 6c는 본 발명의 일 실시예에 따른 중심 좌표에 기초하여 복수의 영상에 대해 화각 영역을 선택하는 과정을 설명하기 위한 예시적인 도면이다.
도 7a 내지 도 7d는 본 발명의 일 실시예에 따른 화각 영역 및 복수의 영상이 화면에 표시되는 영상 영역 간의 위치 관계에 기초하여 화각 영역을 보정하는 과정을 설명하기 위한 예시적인 도면이다.
도 8은 본 발명의 일 실시예에 따른 복수의 영상 중 화각 영역이 설정 가능한 것으로 판단되는 영상의 수가 임계값 이상으로 연속되는지에 따라 타임 슬라이스 영상을 생성하는 과정을 설명하기 위한 예시적인 도면이다.
도 9a 및 도 9b는 본 발명의 일 실시예에 따른 복수의 영상 각각에서 객체의 크기가 일정하게 표시되도록 선택된 화각 영역을 보정하는 과정을 설명하기 위한 예시적인 도면이다.
도 10은 본 발명의 일 실시예에 따른 타임 슬라이스 영상 제공 서버에서 타임 슬라이스 영상을 제공하는 방법의 순서도이다.
아래에서는 첨부한 도면을 참조하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 발명의 실시예를 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결"되어 있는 경우도 포함한다. 또한 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미하며, 하나 또는 그 이상의 다른 특징이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
본 명세서에 있어서 '부(部)'란, 하드웨어에 의해 실현되는 유닛(unit), 소프트웨어에 의해 실현되는 유닛, 양방을 이용하여 실현되는 유닛을 포함한다. 또한, 1 개의 유닛이 2 개 이상의 하드웨어를 이용하여 실현되어도 되고, 2 개 이상의 유닛이 1 개의 하드웨어에 의해 실현되어도 된다.
본 명세서에 있어서 단말 또는 디바이스가 수행하는 것으로 기술된 동작이나 기능 중 일부는 해당 단말 또는 디바이스와 연결된 서버에서 대신 수행될 수도 있다. 이와 마찬가지로, 서버가 수행하는 것으로 기술된 동작이나 기능 중 일부도 해당 서버와 연결된 단말 또는 디바이스에서 수행될 수도 있다.
이하 첨부된 도면을 참고하여 본 발명의 일 실시예를 상세히 설명하기로 한다.
도 1은 본 발명의 일 실시예에 따른 타임 슬라이스 영상 제공 시스템의 구성도이다. 도 1을 참조하면, 타임 슬라이스 영상 제공 시스템(1)은 복수의 카메라(110), 사용자 단말(120) 및 타임 슬라이스 영상 제공 서버(130)를 포함할 수 있다. 복수의 카메라(110), 사용자 단말(120) 및 타임 슬라이스 영상 제공 서버(130)는 타임 슬라이스 영상 제공 시스템(1)에 의하여 제어될 수 있는 구성요소들을 예시적으로 도시한 것이다.
도 1의 타임 슬라이스 영상 제공 시스템(1)의 각 구성요소들은 일반적으로 네트워크(network)를 통해 연결된다. 예를 들어, 도 1에 도시된 바와 같이, 타임 슬라이스 영상 제공 서버(130)는 복수의 카메라(110) 및 사용자 단말(120)과 동시에 또는 시간 간격을 두고 연결될 수 있다.
네트워크는 단말들 및 서버들과 같은 각각의 노드 상호간에 정보교환이 가능한 연결구조를 의미하는 것으로, 이러한 네트워크의 일예는, 3G, 4G, 5G, Wi-Fi, 블루투스(Bluetooth), 인터넷(Internet), LAN(Local Area Network), Wireless LAN(Wireless Local Area Network), WAN(Wide Area Network), PAN(Personal Area Network) 등이 포함되나 이에 한정되지는 않는다.
복수의 카메라(110)는 스포츠 경기장 또는 공연장에서 스포츠 경기 영상 또는 공연 영상을 촬영하고, 촬영 영상을 타임 슬라이스 영상 제공 서버(130)로 전송할 수 있다. 예를 들어, 복수의 카메라(110)는 스포츠 경기장 또는 공연장에 소정의 간격을 두고 설치된 것일 수 있다.
사용자 단말(120)은 타임 슬라이스 영상 제공 서버(130)로 복수의 카메라(110)에 의해 촬영된 복수의 영상 중 어느 하나의 영상에 대한 재생을 요청하여, 타임 슬라이스 영상 제공 서버(130)로부터 요청받은 영상을 수신할 수 있다.
사용자 단말(120)은 수신받은 영상을 재생하고, 사용자로부터 재생 중인 영상에 대해 어느 하나의 객체를 선택받을 수 있다.
사용자 단말(120)은 타임 슬라이스 영상 제공 서버(130)로 선택받은 객체에 대한 타임 슬라이스 영상의 생성을 요청할 수 있다. 사용자 단말(120)은 타임 슬라이스 영상 제공 서버(130)로 선택받은 객체에 대한 타임 슬라이스 영상의 생성 요청과 함께 선택된 객체에 대한 프레임 정보, 카메라 시점 및 2D 좌표 정보 등을 함께 타임 슬라이스 영상 제공 서버(130)로 전송할 수 있다.
사용자 단말(120)은 타임 슬라이스 영상 제공 서버(130)로부터 타임 슬라이스 영상을 수신하고, 수신된 타임 슬라이스 영상을 재생할 수 있다. 사용자 단말(120)은 타임 슬라이스 영상 제공 서버(130)로부터 타임 슬라이스 영상과 함께 보정된 화각 영역에 대한 정보 및 복수의 영상으로부터 크롭된 영역에 대한 정보를 수신할 수 있다.
타임 슬라이스 영상 제공 서버(130)는 복수의 카메라(110)에 의해 촬영된 복수의 영상 중 사용자에 의해 재생을 요청받은 어느 하나를 사용자 단말(120)로 전송할 수 있다.
타임 슬라이스 영상 제공 서버(130)는 전송된 영상으로부터 사용자에 의해 선택받은 객체에 대한 타임 슬라이스 영상의 생성을 사용자 단말(120)로부터 요청받을 수 있다. 타임 슬라이스 영상 제공 서버(130)는 사용자 단말(120)로부터 타임 슬라이스 영상의 생성 요청과 함께 선택된 객체에 대한 프레임 정보, 카메라 시점 정보 및 2D 좌표 정보 등을 수신할 수 있다.
타임 슬라이스 영상 제공 서버(130)는 재생 중인 영상에서의 선택된 객체에 대한 좌표 정보 및 복수의 카메라(110)에 대한 위치 관계 정보에 기초하여 선택된 객체에 대한 중심 좌표를 추출할 수 있다.
타임 슬라이스 영상 제공 서버(130)는 추출된 중심 좌표에 기초하여 복수의 영상에 대해 화각 영역을 선택할 수 있다. 예를 들어, 타임 슬라이스 영상 제공 서버(130)는 중심 좌표를 복수의 영상에 투영함으로써 각 영상에서의 객체에 대한 좌표 정보를 도출하고, 도출된 좌표 정보를 기준으로 각 영상에서 기설정된 크기의 화각 영역을 선택할 수 있다.
타임 슬라이스 영상 제공 서버(130)는 선택된 화각 영역 및 복수의 영상이 화면에 표시되는 영상 영역 간의 위치 관계에 기초하여 선택된 화각 영역을 보정할 수 있다.
구체적으로, 타임 슬라이스 영상 제공 서버(130)는 각 영상의 영상 영역으로부터 선택된 화각 영역이 벗어나는 비율에 따라 화각 영역의 설정이 가능한지 여부를 판단하고, 판단 결과에 따라 해당 영상에 대해 선택된 화각 영역을 보정할 수 있다. 예를 들어, 타임 슬라이스 영상 제공 서버(130)는 선택된 화각 영역에 대해 영상 영역으로부터 벗어난 화각 영역의 비율이 기설정된 비율을 초과하지 않는 경우, 영상 영역으로부터 벗어난 화각 영역에 따라 객체에 대한 좌표 정보를 재설정함으로써 선택된 화각 영역을 영상 영역에 포함하도록 보정할 수 있다. 다른 예를 들어, 타임 슬라이스 영상 제공 서버(130)는 선택된 화각 영역에 대해 영상 영역으로부터 벗어난 화각 영역이 기설정된 비율을 초과하는 경우, 화각 영역의 설정이 불가능한 것으로 판단할 수 있다.
또한, 타임 슬라이스 영상 제공 서버(130)는 복수의 카메라(110)에 대한 위치 관계 정보 및 중심 좌표 간의 거리에 기초하여 복수의 영상 각각에서 객체의 크기가 일정하게 표시되도록 선택된 화각 영역을 더 보정할 수 있다.
타임 슬라이스 영상 제공 서버(130)는 보정된 화각 영역에 따라 복수의 영상으로부터 각각의 이미지를 추출하고, 추출된 각각의 이미지를 이용하여 타임 슬라이스 영상을 생성할 수 있다. 타임 슬라이스 영상 제공 서버(130)는 각 영상마다 선택된 화각 영역을 크롭하고, 크롭된 영역을 기설정된 크기로 조정하여 타임 슬라이스 영상을 생성할 수 있다. 예를 들어, 화각 영역이 보정된 경우, 타임 슬라이스 영상 제공 서버(130)는 복수의 영상 중 화각 영역의 설정이 가능한 것으로 판단되는 영상의 수가 임계값 이상으로 연속되는 경우, 화각 영역의 설정이 가능한 것으로 판단되는 영상으로부터 추출된 이미지를 이용하여 타임 슬라이스 영상을 생성할 수 있다.
타임 슬라이스 영상 제공 서버(130)는 생성된 타임 슬라이스 영상을 사용자 단말(120)로 제공할 수 있다. 이 때, 타임 슬라이스 영상 제공 서버(130)는 생성된 타임 슬라이스 영상과 함께 보정된 화각 영역에 대한 정보 및 복수의 영상으로부터 크롭된 영역에 대한 정보를 사용자 단말(120)로 제공할 수 있다.
도 2는 본 발명의 일 실시예에 따른 사용자 단말의 구성도이다. 도 2를 참조하면, 사용자 단말(120)은 요청부(210), 영상 수신부(220), 영상 재생부(230), 객체 선택부(240) 및 타임 슬라이스 영상 제공부(250)를 포함할 수 있다.
요청부(210)는 타임 슬라이스 영상 제공 서버(130)로 복수의 카메라(110)에 의해 촬영된 복수의 영상 중 어느 하나의 영상에 대한 재생을 요청할 수 있다. 복수의 카메라(110)에 의해 촬영된 복수의 영상은 예를 들어, 스포츠 경기장 또는 공연장에서 다시점으로 촬영된 영상일 수 있다.
영상 수신부(220)는 타임 슬라이스 영상 제공 서버(130)로부터 요청받은 영상을 수신할 수 있다.
영상 재생부(230)는 수신받은 영상을 재생할 수 있다.
객체 선택부(240)는 재생 중인 영상으로부터 객체를 선택받을 수 있다. 예를 들어, 객체 선택부(240)는 사용자로부터 재생 중인 영상에 포함된 복수의 객체 중 어느 하나의 객체를 터치 입력을 통해 객체를 선택받을 수 있다.
타임 슬라이스 영상 제공부(250)는 타임 슬라이스 영상 제공 서버(130)로 선택받은 객체에 대한 타임 슬라이스 영상의 생성을 요청할 수 있다. 타임 스라이스 영상 제공부(250)는 타임 슬라이스 영상의 생성의 요청 시, 타임 슬라이스 영상 제공 서버(130)로 선택된 객체에 대한 프레임 정보, 카메라 시점 정보 및 2D 좌표 정보 등을 함께 타임 슬라이스 영상 제공 서버(130)로 전송할 수 있다.
타임 슬라이스 영상 제공부(250)는 타임 슬라이스 영상 제공 서버(130)로부터 타임 슬라이스 영상을 수신할 수 있다. 예를 들어, 타임 슬라이스 영상 제공부(250)는 타임 슬라이스 영상 제공 서버(130)로부터 보정된 화각 영역에 대한 정보 및 복수의 영상으로부터 크롭된 영역에 대한 정보를 수신할 수 있다.
도 3은 본 발명의 일 실시예에 따른 사용자 단말에서 타임 슬라이스 영상을 제공하는 방법의 순서도이다. 도 3에 도시된 사용자 단말(120)에 의해 수행되는 타임 슬라이스 영상을 제공하는 방법은 도 1 및 도 2에 도시된 실시예에 따른 타임 슬라이스 영상 제공 시스템(1)에서 시계열적으로 처리되는 단계들을 포함한다. 따라서, 이하 생략된 내용이라고 하더라도 도 1 및 도 2에 도시된 실시예에 따른 사용자 단말(120)에 의해 수행되는 타임 슬라이스 영상을 제공하는 방법에도 적용된다.
단계 S310에서 사용자 단말(120)은 타임 슬라이스 영상 제공 서버(130)로 복수의 카메라(110)에 의해 촬영된 복수의 영상 중 어느 하나의 영상에 대한 재생을 요청할 수 있다.
단계 S320에서 사용자 단말(120)은 타임 슬라이스 영상 제공 서버(130)로부터 요청받은 영상을 수신할 수 있다.
단계 S330에서 사용자 단말(120)은 수신받은 영상을 재생할 수 있다.
단계 S340에서 사용자 단말(120)은 재생 중인 영상으로부터 객체를 선택받을 수 있다.
단계 S350에서 사용자 단말(120)은 타임 슬라이스 영상 제공 서버(130)로 선택받은 객체에 대한 타임 슬라이스 영상의 생성을 요청할 수 있다.
단계 S360에서 사용자 단말(120)은 타임 슬라이스 영상 제공 서버(130)로부터 타임 슬라이스 영상을 수신할 수 있다. 타임 슬라이스 영상은 복수의 영상으로부터 화각 영역에 따라 추출된 각각의 이미지를 이용하여 생성되고, 화각 영역은 선택된 객체에 대해 추출된 중심 좌표에 기초하여 복수의 영상에 대해 선택되고, 선택된 화각 영역은 복수의 영상이 화면에 표시되는 영상 영역 간의 위치 관계에 기초하여 보정되고, 중심 좌표는 재생 중인 영상에서의 선택된 객체에 대한 좌표 정보 및 복수의 카메라(110)에 대한 위치 관계 정보에 기초하여 추출되는 것일 수 있다.
단계 S370에서 사용자 단말(120)은 수신된 타임 슬라이스 영상을 재생할 수 있다.
상술한 설명에서, 단계 S310 내지 S370은 본 발명의 구현예에 따라서, 추가적인 단계들로 더 분할되거나, 더 적은 단계들로 조합될 수 있다. 또한, 일부 단계는 필요에 따라 생략될 수도 있고, 단계 간의 순서가 전환될 수도 있다.
도 4는 본 발명의 일 실시예에 따른 타임 슬라이스 영상 제공 서버의 구성도이다. 도 4를 참조하면, 타임 슬라이스 영상 제공 서버(130)는 영상 전송부(410), 요청부(420), 좌표 추출부(430), 화각 선택부(440), 화각 보정부(450) 및 타임 슬라이스 영상 제공부(460)를 포함할 수 있다.
영상 전송부(410)는 복수의 카메라(110)에 의해 촬영된 복수의 영상 중 사용자에 의해 재생을 요청받은 어느 하나를 사용자의 사용자 단말(120)로 전송할 수 있다. 복수의 카메라(110)에 의해 촬영된 복수의 영상은 예를 들어, 스포츠 경기장 또는 공연장에서 다시점으로 촬영된 영상일 수 있다.
요청부(420)는 전송된 영상으로부터 사용자에 의해 선택받은 객체에 대한 타임 슬라이스 영상의 생성을 사용자 단말(120)로부터 요청받을 수 있다. 요청부(420)는 사용자로부터 객체에 대한 타임 슬라이스 영상의 생성을 요청받은 경우, 선택된 객체에 대한 프레임 정보, 카메라 시점 정보 및 2D 좌표 정보 등을 함께 수신할 수 있다.
좌표 추출부(430)는 재생 중인 영상에서의 선택된 객체에 대한 좌표 정보 및 복수의 카메라(110)에 대한 위치 관계 정보에 기초하여 선택된 객체에 대한 중심 좌표를 추출할 수 있다.
화각 선택부(440)는 추출된 중심 좌표에 기초하여 복수의 영상에 대해 화각 영역을 선택할 수 있다. 화각 선택부(440)는 중심 좌표를 복수의 영상에 투영함으로써 각 영상에서의 객체에 대한 좌표 정보를 도출하고, 도출된 좌표 정보를 기준으로 각 영상에서 기설정된 크기의 화각 영역을 선택할 수 있다.
화각 보정부(450)는 선택된 화각 영역 및 복수의 영상이 화면에 표시되는 영상 영역 간의 위치 관계에 기초하여 선택된 화각 영역을 보정할 수 있다.
구체적으로, 화각 보정부(450)는 각 영상의 영상 영역으로부터 선택된 화각 영역이 벗어나는 비율에 따라 화각 영역의 설정이 가능한지 여부를 판단하고, 판단 결과에 따라 해당 영상에 대해 선택된 화각 영역을 보정할 수 있다.
화각 보정부(450)는 다음의 수학식 1을 이용하여 화각 영역의 설정이 가능한지 여부를 판단할 수 있다.
Figure pat00001
예를 들어, 화각 보정부(450)는 선택된 화각 영역에 대해 영상 영역으로부터 벗어난 화각 영역의 비율이 기설정된 비율을 초과하지 않는 경우, 영상 영역으로부터 벗어난 화각 영역에 따라 객체에 대한 좌표 정보를 재설정함으로써 선택되 화각 영역을 영상 영역에 포함하도록 보정할 수 있다. 다른 예를 들어, 화각 보정부(450)는 선택된 화각 영역에 대해 영상 영역으로부터 벗어난 화각 영역이 기설정된 비율을 초과하는 경우, 화각 영역의 설정이 불가능한 것으로 판단할 수 있다.
화각 보정부(450)는 복수의 카메라(110)에 대한 위치 관계 정보 및 중심 좌표 간의 거리에 기초하여 복수의 영상 각각에서 객체의 크기가 일정하게 표시되도록 선택된 화각 영역을 더 보정할 수 있다.
종래에는 객체에 대한 타임 슬라이스 영상을 생성하는 경우, 복수의 카메라(110)와 객체와의 거리를 고려하지 않아, 객체의 크기가 서로 다른 타임 슬라이스 영상이 제공되었다. 이로 인해, 사용자가 객체에 대한 타임 슬라이스 영상을 시청하는 경우, 몰입감이 떨어지게 만든다는 단점을 갖고 있었다.
이를 개선하기 위해, 화각 보정부(450)는 객체의 크기가 복수의 카메라(110)와 객체의 거리에 반비례(
Figure pat00002
) 하므로, 복수의 카메라(110)와 객체의 거리에 반비례되도록 적용하여 객체의 크기가 일정하게 표시되도록 화각 영역을 더 보정할 수 있다.
타임 슬라이스 영상 제공부(460)는 보정된 화각 영역에 따라 복수의 영상으로부터 각각의 이미지를 추출하고, 추출된 각각의 이미지를 이용하여 타임 슬라이스 영상을 생성하고, 생성된 타임 슬라이스 영상을 사용자 단말(120)로 제공할 수 있다. 예를 들어, 타임 슬라이스 영상 제공부(460)는 각 영상 마다 선택된 화각 영역을 하나의 독립된 이미지가 되도록 크롭하고, 크롭된 영역을 기설정된 크기로 조정하여 타임 슬라이스 영상을 생성할 수 있다.
타임 슬라이스 영상 제공부(460)는 화각 영역이 보정된 경우, 복수의 영상 중 화각 영역의 설정이 가능한 것으로 판단되는 영상의 수가 임계값 이상으로 연속되는 경우에 대해 화각 영역의 설정이 가능한 것으로 판단되는 영상으로부터 추출된 이미지를 이용하여 타임 슬라이스 영상을 생성할 수 있다. 이 때, 타임 슬라이스 영상 제공부(460)는 생성된 타임 슬라이스 영상과 함께 보정된 화각 영역에 대한 정보 및 복수의 영상으로부터 크롭된 영역에 대한 정보를 사용자 단말(120)로 제공할 수 있다.
도 5a 내지 도 5d는 본 발명의 일 실시예에 따른 객체에 대한 중심 좌표를 추출하는 과정을 설명하기 위한 예시적인 도면이다.
도 5a는 본 발명의 일 실시예에 따른 객체에 대한 타임 슬라이스 영상의 생성을 요청받는 과정을 설명하기 위한 예시적인 도면이다. 도 5a를 참조하면, 사용자 단말(120)은 복수의 카메라에 의해 촬영된 '하키 영상'(500)의 재생 중, 재생 중인 '하키 영상'(500)에 포함된 복수의 객체 중 어느 하나의 객체(510)를 선택하여, 선택된 객체(510)에 대한 타임 슬라이스 영상의 생성을 타임 슬라이스 영상 제공 서버(130)로 요청할 수 있다.
도 5b는 본 발명의 일 실시예에 따른 사용자 단말에서 재생 중인 영상을 실시간으로 모델링하는 과정을 설명하기 위한 예시적인 도면이다. 도 5b를 참조하면, 타임 슬라이스 영상 제공 서버(130)는 사용자 단말(120)로부터 객체가 선택된 장면에 대해 3D 좌표를 매핑하여 실시간으로 해당 장면을 모델링(520)할 수 있다.
도 5c는 본 발명의 일 실시예에 따른 재생 중인 영상에서의 선택된 객체에 대한 좌표와 모델링된 3D 좌표를 매핑하는 과정을 설명하기 위한 예시적인 도면이다. 도 5c를 참조하면, 타임 슬라이스 영상 제공 서버(130)는 모델링된 장면에서의 객체가 위치한 3D 좌표(530)와 사용자 단말(120)에서 객체가 선택된 장면에서의 객체가 위치한 2D 좌표(510)를 매핑할 수 있다.
도 5d는 본 발명의 일 실시예에 따른 중심 좌표를 추출하는 과정을 설명하기 위한 예시적인 도면이다. 도 5d를 참조하면, 타임 슬라이스 영상 제공 서버(130)는 매핑된 객체에 대한 좌표 정보(530) 및 복수의 카메라(540)에 대한 위치 관계 정보에 기초하여 선택된 객체에 대한 중심 좌표를 추출할 수 있다. 예를 들어, 타임 슬라이스 영상 제공 서버(130)는 추출된 객체에 대한 중심 좌표를 각각의 다른 시점을 갖는 복수의 영상에 투영(projection)하여 복수의 영상 각각으로부터 객체에 대한 중심 좌표를 추출할 수 있다.
도 6a 내지 도 6c는 본 발명의 일 실시예에 따른 중심 좌표에 기초하여 복수의 영상에 대해 화각 영역을 선택하는 과정을 설명하기 위한 예시적인 도면이다.
도 6a는 본 발명의 일 실시예에 따른 각 영상에서 기설정된 크기의 화각 영역이 선택된 화면을 도시한 예시적인 도면이다. 도 6a를 참조하면, 타임 슬라이스 영상 제공 서버(130)는 중심 좌표를 복수의 영상에 투영함으로써 각 영상에서의 객체에 대한 좌표 정보를 도출하고, 도출된 좌표 정보를 기준으로 각 영상에서 기설정된 크기의 화각 영역을 선택할 수 있다.
도 6b는 본 발명의 일 실시예에 따른 어느 하나의 영상에서 화각 영역을 선택하는 과정을 설명하기 위한 예시적인 도면이다. 도 6b를 참조하면, 타임 슬라이스 영상 제공 서버(130)는 객체에 대한 중심 좌표에 기초하여 기설정된 크기의 화각 영역을 선택할 수 있다. 타임 슬라이스 영상 제공 서버(130)는 예를 들어, 객체에 대한 중심 좌표(600)로부터 'FOV_H' 에 해당하는 상하 영역 및 'FOV_W'에 해당하는 좌우 영역을 화각 영역(610)으로 선택할 수 있다.
도 6c는 본 발명의 일 실시예에 따른 생성된 타임 슬라이스 영상을 도시한 예시적인 도면이다. 도 6c를 참조하면, 타임 슬라이스 영상 제공 서버(130)는 각 영상 마다 선택된 화각 영역을 크롭하고, 크롭된 영역을 기설정된 크기로 조정하여 타임 슬라이스 영상을 생성할 수 있다.
도 7a 내지 도 7d는 본 발명의 일 실시예에 따른 화각 영역 및 복수의 영상이 화면에 표시되는 영상 영역 간의 위치 관계에 기초하여 화각 영역을 보정하는 과정을 설명하기 위한 예시적인 도면이다.
도 7a는 본 발명의 일 실시예에 따른 화각 영역이 영상 영역으로부터 벗어난 경우의 화면을 도시한 예시적인 도면이다. 도 7a를 참조하면, 타임 슬라이스 영상 제공 서버(130)는 각 영상의 영상 영역으로부터 선택된 화각 영역이 벗어나는 비율에 따라 화각 영역의 설정이 가능한지 여부를 판단하고, 판단 결과에 따라 해당 영상에 대해 선택된 화각 영역을 보정할 수 있다.
도 7b는 본 발명의 일 실시예에 따른 화각 영역을 보정하는 과정을 설명하기 위한 예시적인 도면이다. 도 7b를 참조하면, 타임 슬라이스 영상 제공 서버(130)는 선택된 화각 영역에 대해 영상 영역으로부터 벗어난 화각 영역의 비율이 기설정된 비율을 초과하지 않는 경우, 영상 영역으로부터 벗어난 화각 영역에 따라 객체에 대한 좌표 정보를 재설정함으로써 선택된 화각 영역을 영상 영역에 포함하도록 보정할 수 있다. 이 때, 선택된 화각 영역에 대해 영상 영역으로부터 벗어난 화각 영역이 기설정된 비율을 초과하는 경우, 화각 영역의 설정이 불가능한 것으로 판단할 수 있다.
예를 들어, 도 7c를 참조하면, 객체에 대한 좌표가 (Rx, Ry)이고, 선택된 화각 영역이 영상 영역으로부터 (MW, MH) 만큼 떨어진 경우, 타임 슬라이스 영상 제공 서버(130)는 객체에 대한 좌표에 떨어진 거리 (MW, MH)를 반영하여, 객체에 대한 좌표를 (Rx+MW, Ry+MH)로 변경하여 화각 영역을 보정하여 선택할 수 있다.
도 7d는 본 발명의 일 실시예에 따라 보정된 화각 영역을 설명하기 위한 예시적인 도면이다.
도 8은 본 발명의 일 실시예에 따른 복수의 영상 중 화각 영역이 설정 가능한 것으로 판단되는 영상의 수가 임계값 이상으로 연속되는지에 따라 타임 슬라이스 영상을 생성하는 과정을 설명하기 위한 예시적인 도면이다.
도 8을 참조하면, 타임 슬라이스 영상 제공 서버(130)는 타임 슬라이스 영상을 다시점의 영상으로 연속적으로 보여줘야 하므로, 화각 영역의 보정 후 화각 영역의 설정이 가능한 것으로 판단되는 영상의 수가 임계값 이상으로 연속되는 경우에 대해 타임 슬라이스 영상을 생성하고, 연속된 영상의 수가 임계값 미만이면 타임슬라이스 영상을 생성하지 않을 수 있다.
예를 들어, 총 10개 시점의 영상이 있고, 임계값이 6으로 설정되었다고 가정하자.
예를 들어, 5번 시점의 영상에서 화각 영역의 설정이 불가능한 경우(또는 크롭이 불가능한 경우), 타임 슬라이스 영상 제공 서버(130)는 5번 시점 영상(810)을 기준으로 좌: 4개, 우: 5개의 시점 영상이 연속되므로, 임계값인 '6'에 못미쳐 타임 슬라이스 영상을 생성할 수 없다.
다른 예를 들어, 2번, 3번 시점의 영상(820)에서 화각 영역의 설정이 불가능한 경우(또는 크롭이 불가능한 경우), 타임 슬라이스 영상 제공 서버(130)는 4번~10번 시점 영상(830)이 총 '7개'의 시점 영상으로 연속되므로, 임계값인 '6'이상이므로 타임 슬라이스 영상을 생성할 수 있다.
또 다른 예를 들어, 2번, 3번 시점의 영상(840) 및 10번 시점의 영상(850)에서 화각 영역의 크롭이 불가능한 경우, 타임 슬라이스 영상 제공 서버(130)는 4번~9번 시점 영상(860)이 총 '6개의 시점 영상으로 연속되므로, 임계값인 '6'이상이므로 타임 슬라이스 영상을 생성할 수 있다.
도 9a 및 도 9b는 본 발명의 일 실시예에 따른 복수의 영상 각각에서 객체의 크기가 일정하게 표시되도록 선택된 화각 영역을 보정하는 과정을 설명하기 위한 예시적인 도면이다.
도 9a 는 종래의 객체에 대한 타임 슬라이스 영상을 도시한 예시적인 도면이다. 도 9a를 참조하면, 종래의 타임 슬라이스 영상은 중심 좌표(900)와 복수의 카메라(910) 간의 거리를 반영하지 못하여, 각 카메라 별 위치가 중심 좌표(900)로부터 멀어질수록 객체의 크기가 작아지는 것을 알 수 있다.
도 9b는 본 발명의 일 실시예에 따른 화각 영역이 보정된 타임 슬라이스 영상을 도시한 예시적인 도면이다. 도 9b를 참조하면, 객체의 크기는 각 카메라의 위치와 객체에 대한 중심 좌표(900)와의 거리에 반비례하므로, 타임 슬라이스 영상 제공 서버(130)는 객체에 대한 중심 좌표(900)와 각 카메라 별 위치를 반비례가 되도록 적용하여 화각 영역을 보정하여, 객체의 크기가 일정하게 표시되도록 타임 슬라이스 영상을 생성할 수 있다.
도 10은 본 발명의 일 실시예에 따른 타임 슬라이스 영상 제공 서버에서 타임 슬라이스 영상을 제공하는 방법의 순서도이다. 도 10에 도시된 실시예에 따른 타임 슬라이스 영상 제공 서버(130)에 의해 수행되는 타임 슬라이스 영상을 제공하는 방법은 도 1 내지 도 9b에 도시된 실시예에 따른 타임 슬라이스 영상 제공 시스템(1)에서 에서 시계열적으로 처리되는 단계들을 포함한다. 따라서, 이하 생략된 내용이라고 하더라도 도 1 내지 도 9b에 도시된 실시예에 따른 타임 슬라이스 영상 제공 서버(130)에 의해 수행되는 타임 슬라이스 영상을 제공하는 방법에도 적용된다.
단계 S1010에서 타임 슬라이스 영상 제공 서버(130)는 복수의 카메라(110)에 의해 촬영된 복수의 영상 중 사용자에 의해 재생을 요청받은 어느 하나를 사용자의 사용자 단말(120)로 전송할 수 있다.
단계 S1020에서 타임 슬라이스 영상 제공 서버(130)는 전송된 영상으로부터 사용자에 의해 선택받은 객체에 대한 타임 슬라이스 영상의 생성을 사용자 단말(120)로부터 요청받을 수 있다.
단계 S1030에서 타임 슬라이스 영상 제공 서버(130)는 재생 중인 영상에서의 선택된 객체에 대한 좌표 정보 및 복수의 카메라(110)에 대한 위치 관계 정보에 기초하여 선택된 객체에 대한 중심 좌표를 추출할 수 있다.
단계 S1040에서 타임 슬라이스 영상 제공 서버(130)는 추출된 중심 좌표에 기초하여 복수의 영상에 대해 화각 영역을 선택할 수 있다.
단계 S1050에서 타임 슬라이스 영상 제공 서버(130)는 선택된 화각 영역 및 복수의 영상이 화면에 표시되는 영상 영역 간의 위치 관계에 기초하여 선택된 화각 영역을 보정할 수 있다.
단계 S1060에서 타임 슬라이스 영상 제공 서버(130)는 보정된 화각 영역에 따라 복수의 영상으로부터 각각의 이미지를 추출할 수 있다.
단계 S1070에서 타임 슬라이스 영상 제공 서버(130)는 추출된 각각의 이미지를 이용하여 타임 슬라이스 영상을 생성할 수 있다.
단계 S1080에서 타임 슬라이스 영상 제공 서버(130)는 생성된 타임 슬라이스 영상을 사용자 단말(120)로 제공할 수 있다.
상술한 설명에서, 단계 S1010 내지 S1080은 본 발명의 구현예에 따라서, 추가적인 단계들로 더 분할되거나, 더 적은 단계들로 조합될 수 있다. 또한, 일부 단계는 필요에 따라 생략될 수도 있고, 단계 간의 순서가 전환될 수도 있다.
도 1 내지 도 10을 통해 설명된 타임 슬라이스 영상 제공 서버 및 사용자 단말에서 타임 슬라이스 영상을 제공하는 방법은 컴퓨터에 의해 실행되는 매체에 저장된 컴퓨터 프로그램 또는 컴퓨터에 의해 실행 가능한 명령어를 포함하는 기록 매체의 형태로도 구현될 수 있다. 또한, 도 1 내지 도 10을 통해 설명된 타임 슬라이스 영상 제공 서버 및 사용자 단말에서 타임 슬라이스 영상을 제공하는 방법은 컴퓨터에 의해 실행되는 매체에 저장된 컴퓨터 프로그램의 형태로도 구현될 수 있다.
컴퓨터 판독 가능 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 가용 매체일 수 있고, 휘발성 및 비휘발성 매체, 분리형 및 비분리형 매체를 모두 포함한다. 또한, 컴퓨터 판독가능 매체는 컴퓨터 저장 매체를 포함할 수 있다. 컴퓨터 저장 매체는 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현된 휘발성 및 비휘발성, 분리형 및 비분리형 매체를 모두 포함한다.
전술한 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.
본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.
110: 복수의 카메라
120: 사용자 단말
130: 타임 슬라이스 영상 제공 서버
210: 요청부
220: 영상 수신부
230: 영상 재생부
240: 객체 선택부
250: 타임 슬라이스 영상 제공부
410: 영상 전송부
420: 요청부
430: 좌표 추출부
440: 화각 선택부
450: 화각 보정부
460: 타임 슬라이스 영상 제공부

Claims (19)

  1. 타임 슬라이스 영상을 제공하는 서버에 있어서,
    복수의 카메라에 의해 촬영된 복수의 영상 중 사용자에 의해 재생을 요청 받은 어느 하나를 상기 사용자의 사용자 단말로 전송하는 영상 전송부;
    상기 전송된 영상으로부터 상기 사용자에 의해 선택받은 객체에 대한 타임 슬라이스 영상의 생성을 상기 사용자 단말로부터 요청받는 요청부;
    상기 재생 중인 영상에서의 상기 선택된 객체에 대한 좌표 정보 및 상기 복수의 카메라에 대한 위치 관계 정보에 기초하여 상기 선택된 객체에 대한 중심 좌표를 추출하는 좌표 추출부;
    상기 추출된 중심 좌표에 기초하여 상기 복수의 영상에 대해 화각 영역을 선택하는 화각 선택부;
    상기 선택된 화각 영역 및 상기 복수의 영상이 화면에 표시되는 영상 영역 간의 위치 관계에 기초하여 상기 선택된 화각 영역을 보정하는 화각 보정부; 및
    상기 보정된 화각 영역에 따라 상기 복수의 영상으로부터 각각의 이미지를 추출하고, 상기 추출된 각각의 이미지를 이용하여 타임 슬라이스 영상을 생성하고, 상기 생성된 타임 슬라이스 영상을 상기 사용자 단말로 제공하는 타임 슬라이스 영상 제공부
    를 포함하는 것인, 타임 슬라이스 영상 제공 서버.
  2. 제 1 항에 있어서,
    상기 요청부는,
    상기 사용자 단말로부터 상기 선택된 객체에 대한 프레임 정보, 카메라 시점 정보 및 2D 좌표 정보 중 적어도 어느 하나 이상을 수신하는 것인, 타임 슬라이스 영상 제공 서버.
  3. 제 1 항에 있어서,
    상기 화각 선택부는 상기 중심 좌표를 상기 복수의 영상에 투영함으로써 각 영상에서의 상기 객체에 대한 좌표 정보를 도출하고, 상기 도출된 좌표 정보를 기준으로 상기 각 영상에서 기설정된 크기의 화각 영역을 선택하는 것인, 타임 슬라이스 영상 제공 서버.
  4. 제 3 항에 있어서,
    상기 타임 슬라이스 영상 제공부는 상기 각 영상 마다 선택된 화각 영역을 크롭하고, 상기 크롭된 영역을 기설정된 크기로 조정하여 상기 타임 슬라이스 영상을 생성하는 것인, 타임 슬라이스 영상 제공 서버.
  5. 제 4 항에 있어서,
    상기 화각 보정부는 상기 각 영상의 영상 영역으로부터 상기 선택된 화각 영역이 벗어나는 비율에 따라 상기 화각 영역의 설정이 가능한지 여부를 판단하고, 판단 결과에 따라 해당 영상에 대해 상기 선택된 화각 영역을 보정하는 것인, 타임 슬라이스 영상 제공 서버.
  6. 제 5 항에 있어서,
    상기 화각 보정부는 상기 선택된 화각 영역에 대해 상기 영상 영역으로부터 벗어난 화각 영역의 비율이 기설정된 비율을 초과하지 않는 경우, 상기 영상 영역으로부터 벗어난 화각 영역에 따라 상기 객체에 대한 좌표 정보를 재설정함으로써 상기 선택된 화각 영역을 상기 영상 영역에 포함하도록 보정하는 것인, 타임 슬라이스 영상 제공 서버.
  7. 제 6 항에 있어서,
    상기 화각 보정부는 상기 선택된 화각 영역에 대해 상기 영상 영역으로부터 벗어난 화각 영역이 기설정된 비율을 초과하는 경우, 상기 화각 영역의 설정이 불가능한 것으로 판단하는 것인, 타임 슬라이스 영상 제공 서버.
  8. 제 7 항에 있어서,
    상기 타임 슬라이스 영상 제공부는 상기 복수의 영상 중 상기 화각 영역의 설정이 가능한 것으로 판단되는 영상의 수가 임계값 이상으로 연속되는 경우, 상기 화각 영역의 설정이 가능한 것으로 판단되는 영상으로부터 추출된 이미지를 이용하여 상기 타임 슬라이스 영상을 생성하는 것인, 타임 슬라이스 영상 제공 서버.
  9. 제 1 항에 있어서,
    상기 화각 보정부는 상기 복수의 카메라에 대한 위치 관계 정보 및 상기 중심 좌표 간의 거리에 기초하여 상기 복수의 영상 각각에서 상기 객체의 크기가 일정하게 표시되도록 상기 선택된 화각 영역을 더 보정하는 것인, 타임 슬라이스 영상 제공 서버.
  10. 제 4 항에 있어서,
    상기 타임 슬라이스 영상 제공부는 상기 보정된 화각 영역에 대한 정보 및 상기 복수의 영상으로부터 크롭된 영역에 대한 정보를 상기 사용자 단말로 제공하는 것인, 타임 슬라이스 영상 제공 서버.
  11. 타임 슬라이스 영상을 제공하는 시용자 단말에 있어서,
    타임 슬라이스 영상 제공 서버로 복수의 카메라에 의해 촬영된 복수의 영상 중 어느 하나의 영상에 대한 재생을 요청하는 요청부;
    상기 타임 슬라이스 영상 제공 서버로부터 상기 요청받은 영상을 수신하는 영상 수신부;
    상기 수신받은 영상을 재생하는 영상 재생부;
    상기 재생 중인 영상으로부터 객체를 선택받는 객체 선택부; 및
    상기 타임 슬라이스 영상 제공 서버로 상기 선택받은 객체에 대한 타임 슬라이스 영상의 생성을 요청하고, 상기 타임 슬라이스 영상 제공 서버로부터 상기 타임 슬라이스 영상을 수신하고, 상기 수신된 타임 슬라이스 영상을 재생하는 타임 슬라이스 영상 제공부
    를 포함하고,
    상기 타임슬라이스 영상은 상기 복수의 영상으로부터 화각 영역에 따라 추출된 각각의 이미지를 이용하여 생성되고,
    상기 화각 영역은 상기 선택된 객체에 대해 추출된 중심 좌표에 기초하여 상기 복수의 영상에 대해 선택되고, 상기 선택된 화각 영역은 상기 복수의 영상이 화면에 표시되는 영상 영역 간의 위치 관계에 기초하여 보정되고,
    상기 중심 좌표는 상기 재생 중인 영상에서의 상기 선택된 객체에 대한 좌표 정보 및 상기 복수의 카메라에 대한 위치 관계 정보에 기초하여 추출되는 것인, 사용자 단말.
  12. 제 11 항에 있어서,
    상기 타임 슬라이스 영상 제공부는 상기 타임 슬라이스 영상 제공 서버로 상기 선택된 객체에 대한 프레임 정보, 카메라 시점 정보 및 2D 좌표 정보 중 적어도 어느 하나 이상을 전송하는 것인, 사용자 단말.
  13. 제 12 항에 있어서,
    상기 타임 슬라이스 영상 제공부는 상기 타임 슬라이스 영상 제공 서버로부터 상기 보정된 화각 영역에 대한 정보 및 상기 복수의 영상으로부터 크롭된 영역에 대한 정보를 수신하는 것인, 사용자 단말.
  14. 타임 슬라이스 영상 제공 서버에서 수행되는 타임 슬라이스 영상을 제공하는 방법에 있어서,
    복수의 카메라에 의해 촬영된 복수의 영상 중 사용자에 의해 재생을 요청 받은 어느 하나를 상기 사용자의 사용자 단말로 전송하는 단계;
    상기 전송된 영상으로부터 상기 사용자에 의해 선택받은 객체에 대한 타임 슬라이스 영상의 생성을 상기 사용자 단말로부터 요청받는 단계;
    상기 재생 중인 영상에서의 상기 선택된 객체에 대한 좌표 정보 및 상기 복수의 카메라에 대한 위치 관계 정보에 기초하여 상기 선택된 객체에 대한 중심 좌표를 추출하는 단계;
    상기 추출된 중심 좌표에 기초하여 상기 복수의 영상에 대해 화각 영역을 선택하는 단계;
    상기 선택된 화각 영역 및 상기 복수의 영상이 화면에 표시되는 영상 영역 간의 위치 관계에 기초하여 상기 선택된 화각 영역을 보정하는 단계;
    상기 보정된 화각 영역에 따라 상기 복수의 영상으로부터 각각의 이미지를 추출하는 단계;
    상기 추출된 각각의 이미지를 이용하여 타임 슬라이스 영상을 생성하는 단계; 및
    상기 생성된 타임 슬라이스 영상을 상기 사용자 단말로 제공하는 단계
    를 포함하는 것인, 타임 슬라이스 영상 제공 방법.
  15. 제 14 항에 있어서,
    상기 선택된 화각 영역을 보정하는 단계는,
    상기 각 영상의 영상 영역으로부터 상기 선택된 화각 영역이 벗어나는 비율에 따라 상기 화각 영역의 설정이 가능한지 여부를 판단하고, 판단 결과에 따라 해당 영상에 대해 상기 선택된 화각 영역을 보정하는 것인, 타임 슬라이스 영상 제공 방법.
  16. 제 15 항에 있어서,
    상기 선택된 화각 영역을 보정하는 단계는,
    상기 선택된 화각 영역에 대해 상기 영상 영역으로부터 벗어난 화각 영역의 비율이 기설정된 비율을 초과하지 않는 경우, 상기 영상 영역으로부터 벗어난 화각 영역에 따라 상기 객체에 대한 좌표 정보를 재설정함으로써 상기 선택된 화각 영역을 상기 영상 영역에 포함하도록 보정하는 것인, 타임 슬라이스 영상 제공 방법.
  17. 제 16 항에 있어서,
    상기 선택된 화각 영역을 보정하는 단계는,
    상기 선택된 화각 영역에 대해 상기 영상 영역으로부터 벗어난 화각 영역이 기설정된 비율을 초과하는 경우, 상기 화각 영역의 설정이 불가능한 것으로 판단하는 것인, 타임 슬라이스 영상 제공 방법.
  18. 제 17 항에 있어서,
    상기 타임 슬라이스 영상을 생성하는 단계는,
    상기 복수의 영상 중 상기 화각 영역의 설정이 가능한 것으로 판단되는 영상의 수가 임계값 이상으로 연속되는 경우, 상기 화각 영역의 설정이 가능한 것으로 판단되는 영상으로부터 추출된 이미지를 이용하여 상기 타임 슬라이스 영상을 생성하는 것인, 타임 슬라이스 영상 제공 방법.
  19. 제 14 항에 있어서,
    상기 선택된 화각 영역을 보정하는 단계는,
    상기 복수의 카메라에 대한 위치 관계 정보 및 상기 중심 좌표 간의 거리에 기초하여 상기 복수의 영상 각각에서 상기 객체의 크기가 일정하게 표시되도록 상기 선택된 화각 영역을 보정하는 단계
    를 포함하는 것인, 타임 슬라이스 영상 제공 방법.
KR1020170104250A 2017-08-17 2017-08-17 타임 슬라이스 영상을 제공하는 서버, 방법 및 사용자 단말 KR102105510B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020170104250A KR102105510B1 (ko) 2017-08-17 2017-08-17 타임 슬라이스 영상을 제공하는 서버, 방법 및 사용자 단말

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170104250A KR102105510B1 (ko) 2017-08-17 2017-08-17 타임 슬라이스 영상을 제공하는 서버, 방법 및 사용자 단말

Publications (2)

Publication Number Publication Date
KR20190019407A true KR20190019407A (ko) 2019-02-27
KR102105510B1 KR102105510B1 (ko) 2020-04-28

Family

ID=65560785

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170104250A KR102105510B1 (ko) 2017-08-17 2017-08-17 타임 슬라이스 영상을 제공하는 서버, 방법 및 사용자 단말

Country Status (1)

Country Link
KR (1) KR102105510B1 (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110446056A (zh) * 2019-07-30 2019-11-12 咪咕文化科技有限公司 一种视频处理方法、设备、***及计算机可读存储介质
US11228790B2 (en) 2018-11-30 2022-01-18 Kt Corporation Providing time slice video
KR20220163574A (ko) * 2021-06-03 2022-12-12 주식회사 지미션 스트림 영상 재생 장치 및 스트림 영상 재생 시스템

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20070005576A (ko) * 2003-12-26 2007-01-10 마쯔시다덴기산교 가부시키가이샤 촬영장치，제품 패키지 및 반도체 집적회로
JP2011182160A (ja) * 2010-03-01 2011-09-15 Canon Inc 映像処理装置及び映像処理方法
JP2014126906A (ja) * 2012-12-25 2014-07-07 Casio Comput Co Ltd 表示制御装置、表示制御システム、表示制御方法及びプログラム
KR20150050172A (ko) * 2013-10-31 2015-05-08 한국전자통신연구원 관심 객체 추적을 위한 다중 카메라 동적 선택 장치 및 방법
KR20160093759A (ko) * 2015-01-29 2016-08-09 한국전자통신연구원 연속 시점 전환 서비스에서 객체의 위치 및 크기를 유지하기 위한 다중 카메라 제어 장치 및 방법

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20070005576A (ko) * 2003-12-26 2007-01-10 마쯔시다덴기산교 가부시키가이샤 촬영장치，제품 패키지 및 반도체 집적회로
JP2011182160A (ja) * 2010-03-01 2011-09-15 Canon Inc 映像処理装置及び映像処理方法
JP2014126906A (ja) * 2012-12-25 2014-07-07 Casio Comput Co Ltd 表示制御装置、表示制御システム、表示制御方法及びプログラム
KR20150050172A (ko) * 2013-10-31 2015-05-08 한국전자통신연구원 관심 객체 추적을 위한 다중 카메라 동적 선택 장치 및 방법
KR20160093759A (ko) * 2015-01-29 2016-08-09 한국전자통신연구원 연속 시점 전환 서비스에서 객체의 위치 및 크기를 유지하기 위한 다중 카메라 제어 장치 및 방법

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11228790B2 (en) 2018-11-30 2022-01-18 Kt Corporation Providing time slice video
CN110446056A (zh) * 2019-07-30 2019-11-12 咪咕文化科技有限公司 一种视频处理方法、设备、***及计算机可读存储介质
KR20220163574A (ko) * 2021-06-03 2022-12-12 주식회사 지미션 스트림 영상 재생 장치 및 스트림 영상 재생 시스템

Also Published As

Publication number Publication date
KR102105510B1 (ko) 2020-04-28

Similar Documents

Publication Publication Date Title
US10762653B2 (en) Generation apparatus of virtual viewpoint image, generation method, and storage medium
US8369607B2 (en) Method and apparatus for processing three-dimensional images
JP6385139B2 (ja) 情報処理装置、情報処理方法及びプログラム
JP2004221700A (ja) 立体画像処理方法および装置
JP7179515B2 (ja) 装置、制御方法、及びプログラム
US10306212B2 (en) Methods and systems for capturing a plurality of three-dimensional sub-frames for use in forming a volumetric frame of a real-world scene
US20120314077A1 (en) Network synchronized camera settings
JP3749227B2 (ja) 立体画像処理方法および装置
JP3857988B2 (ja) 立体画像処理方法および装置
KR20190085087A (ko) 화상 처리 장치, 화상 처리 방법 및 저장 매체
US20190132529A1 (en) Image processing apparatus and image processing method
US11228790B2 (en) Providing time slice video
JP2019159950A (ja) 情報処理装置および情報処理方法
JP2018107793A (ja) 仮想視点画像の生成装置、生成方法及びプログラム
US11250619B2 (en) Image processing apparatus and method
JP5133472B2 (ja) 立体映像出力装置及び立体映像出力方法
WO2018196658A1 (zh) 虚拟现实媒体文件生成方法和装置、存储介质及电子装置
JP2003284093A (ja) 立体画像処理方法および装置
KR102105510B1 (ko) 타임 슬라이스 영상을 제공하는 서버, 방법 및 사용자 단말
KR20200057484A (ko) 입체 스트라이크 존 표시 방법 및 장치
JP7423974B2 (ja) 情報処理システム、情報処理方法及びプログラム
CN114651448A (zh) 信息处理***、信息处理方法和程序
JP2004221699A (ja) 立体画像処理方法および装置
JP4118146B2 (ja) 立体画像処理装置
JP2022522504A (ja) 画像の奥行きマップの処理

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant