KR20180018522A - 정보 처리 장치 및 정보 처리 방법 - Google Patents

정보 처리 장치 및 정보 처리 방법 Download PDF

Info

Publication number
KR20180018522A
KR20180018522A KR1020177034688A KR20177034688A KR20180018522A KR 20180018522 A KR20180018522 A KR 20180018522A KR 1020177034688 A KR1020177034688 A KR 1020177034688A KR 20177034688 A KR20177034688 A KR 20177034688A KR 20180018522 A KR20180018522 A KR 20180018522A
Authority
KR
South Korea
Prior art keywords
image
screen
encoded stream
file
information processing
Prior art date
Application number
KR1020177034688A
Other languages
English (en)
Inventor
미츠히로 히라바야시
요이치 야가사키
노부아키 이즈미
미츠루 가츠마타
Original Assignee
소니 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 소니 주식회사 filed Critical 소니 주식회사
Publication of KR20180018522A publication Critical patent/KR20180018522A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/266—Channel or content management, e.g. generation and management of keys and entitlement messages in a conditional access system, merging a VOD unicast channel into a multicast channel
    • H04N21/2668—Creating a channel for a dedicated end-user group, e.g. insertion of targeted commercials based on end-user profiles
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • H04N21/4316—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations for displaying supplemental content in a region of the screen, e.g. an advertisement in a separate window
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/21815—Source of audio or video content, e.g. local disk arrays comprising local storage units
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/235—Processing of additional data, e.g. scrambling of additional data or processing content descriptors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/266—Channel or content management, e.g. generation and management of keys and entitlement messages in a conditional access system, merging a VOD unicast channel into a multicast channel
    • H04N21/2662—Controlling the complexity of the video stream, e.g. by scaling the resolution or bitrate of the video stream based on the client capabilities
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/4722—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for requesting additional data associated with the content
    • H04N21/4725—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for requesting additional data associated with the content using interactive regions of the image, e.g. hot spots
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/4728—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for selecting a Region Of Interest [ROI], e.g. for requesting a higher resolution version of a selected region
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/816—Monomedia components thereof involving special video data, e.g 3D video
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845—Structuring of content, e.g. decomposing content into time segments

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Human Computer Interaction (AREA)
  • Business, Economics & Management (AREA)
  • Marketing (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Image Processing (AREA)
  • Television Signal Processing For Recording (AREA)
  • Editing Of Facsimile Originals (AREA)

Abstract

본 개시는, 부호화 스트림에 대응하는, 복수의 분할 화상을 포함하는 화상 또는 분할 화상의 화면 상의 위치를 확실하게 인식할 수 있도록 하는 정보 처리 장치 및 정보 처리 방법에 관한 것이다. 부호화 스트림에 대응하는 좌측 단부 화상과 우측 단부 화상을 포함하는 단부 화상의 화면 상의 위치로서, 화면의 외측으로 비어져 나오는 위치가 설정된다. 본 개시는, 예를 들어 MPEG-DASH에 준하는 방식으로 동화상 콘텐츠의 화상으로서의 전천구 화상의 부호화 스트림을 동화상 재생 단말기에 배신하는 정보 처리 시스템의 파일 생성 장치 등에 적용할 수 있다.

Description

정보 처리 장치 및 정보 처리 방법
본 개시는, 정보 처리 장치 및 정보 처리 방법에 관한 것으로, 특히 부호화 스트림에 대응하는, 복수의 분할 화상을 포함하는 화상 또는 분할 화상의 화면 상의 위치를 확실하게 인식할 수 있도록 한 정보 처리 장치 및 정보 처리 방법에 관한 것이다.
최근, 인터넷 상의 스트리밍 서비스의 주류가 OTT-V(Over The Top Video)로 되고 있다. 이 기반 기술로서 보급되기 시작하고 있는 것이 MPEG-DASH(Moving Picture Experts Group phase-Dynamic Adaptive Streaming over HTTP)이다(예를 들어, 비특허문헌 1 참조).
MPEG-DASH에서는, 배신 서버가 하나의 동화상 콘텐츠용으로 비트 레이트가 상이한 부호화 스트림을 준비하고, 재생 단말기가 최적의 비트 레이트의 부호화 스트림을 요구함으로써, 적응형의 스트리밍 배신이 실현된다.
또한, MPEG-DASH SRD(Spatial Relationship Description) extension에서는, 동화상 콘텐츠의 화상을 1 이상의 영역으로 분할하여 독립하여 부호화하였을 때의 각 영역의 화면 상의 위치를 나타내는 SRD가 정의되어 있다(예를 들어, 비특허문헌 2 및 3 참조). 이 SRD에 의해, 원하는 비트 레이트의 부호화 스트림을 선택적으로 취득하는 bitrate adaptation의 구조를 사용하여, 원하는 영역의 화상의 부호화 스트림을 선택적으로 취득하는 Spatial adaptation인 ROI(Region of Interest) 기능을 실현할 수 있다.
한편, 동화상 콘텐츠의 화상으로서는, 하나의 카메라의 화각의 화상뿐만 아니라, 수평 방향의 주위 360도 및 수직 방향의 주위 180도의 화상을 2D 화상(평면 화상)에 매핑한 전천구 화상이나, 수평 방향의 주위 360도의 파노라마 화상 등이 있다. 예를 들어, 전천구 화상을 수평 방향으로 3 이상의 영역으로 분할하여 부호화하는 경우, 수평 방향의 양단부의 영역은 연속된 화상이기 때문에, 하나의 화상으로서 부호화할 수 있다.
그러나, 양단부의 영역의 화면 상의 위치는 불연속이기 때문에, 부호화 대상의 화면 상의 위치는 복수 존재한다. 따라서, MPEG-DASH에 있어서, SRD를 사용하여, 양단부의 영역의 화면 상의 위치를 기술할 수는 없다. 즉, SRD에서는, 부호화 스트림에 대응하는, 복수의 분할 화상을 포함하는 화상의 화면 상의 위치를 기술할 수는 없다.
또한, SRD는, 각 영역의 화면 상의 위치와, 부호화 스트림에 대응하는 화상 상의 위치가 동일한 것으로서 기술된다. 따라서, 각 영역의 화면 상의 위치와, 부호화 스트림에 대응하는 화상 상의 위치가 상이한 것인 경우, SRD를 사용하여 각 영역의 화면 상의 위치를 기술할 수는 없다. 즉, 화상을 구성하는 각 분할 화상의 화면 상의 위치와, 부호화 스트림에 대응하는 화상 상의 위치가 상이한 것인 경우, SRD에서는, 각 분할 화상의 화면 상의 위치를 기술할 수는 없다.
MPEG-DASH(Dynamic Adaptive Streaming over HTTP)(URL:http://mpeg.chiariglione.org/standards/mpeg-dash/media-presentation-description-and-segment-formats/text-isoiec-23009-12012-dam-1) "Text of ISO/IEC 23009-1:2014 FDAM 2 Spatial Relationship Description, Generalized URL parameters and other extensions", N15217, MPEG111, Geneva, February 2015 "WD of ISO/IEC 23009-3 2nd edition AMD 1 DASH Implementation Guidelines", N14629, MPEG109, Sapporo, July 2014
따라서, 부호화 스트림에 대응하는, 복수의 분할 화상을 포함하는 화상 또는 분할 화상의 화면 상의 위치를 확실하게 기술하고, 인식 가능하게 할 것이 요망되고 있다.
본 개시는, 이러한 상황에 비추어 이루어진 것이며, 부호화 스트림에 대응하는, 복수의 분할 화상을 포함하는 화상 또는 분할 화상의 화면 상의 위치를 확실하게 인식할 수 있도록 하는 것이다.
본 개시의 제1 측면의 정보 처리 장치는, 부호화 스트림에 대응하는 복수의 분할 화상을 포함하는 화상의 화면 상의 위치로서, 상기 화면의 외측으로 비어져 나오는 위치를 설정하는 설정부를 구비하는 정보 처리 장치이다.
본 개시의 제1 측면의 정보 처리 방법은, 본 개시의 제1 측면의 정보 처리 장치에 대응한다.
본 개시의 제1 측면에 있어서는, 부호화 스트림에 대응하는 복수의 분할 화상을 포함하는 화상의 화면 상의 위치로서, 상기 화면의 외측으로 비어져 나오는 위치가 설정된다.
본 개시의 제2 측면의 정보 처리 장치는, 부호화 스트림에 대응하는 복수의 분할 화상을 포함하는 화상의 화면 상의 위치로서 설정된 상기 화면의 외측으로 비어져 나오는 위치에 기초하여, 상기 부호화 스트림을 복호함으로써 얻어진 상기 화상을 상기 화면 상에 배치하는 배치부를 구비하는 정보 처리 장치이다.
본 개시의 제2 측면의 정보 처리 방법은, 본 개시의 제2 측면의 정보 처리 장치에 대응한다.
본 개시의 제2 측면에 있어서는, 부호화 스트림에 대응하는 복수의 분할 화상을 포함하는 화상의 화면 상의 위치로서 설정된 상기 화면의 외측으로 비어져 나오는 위치에 기초하여, 상기 부호화 스트림을 복호함으로써 얻어진 상기 화상이 상기 화면 상에 배치된다.
본 개시의 제3 측면의 정보 처리 장치는, 부호화 스트림에 대응하는 복수의 분할 화상을 포함하는 화상의 각 분할 화상의 화면 상의 위치를, 그 분할 화상의 상기 화상 상의 위치와 대응지어 설정하는 설정부를 구비하는 정보 처리 장치이다.
본 개시의 제3 측면의 정보 처리 방법은, 본 개시의 제3 측면의 정보 처리 장치에 대응한다.
본 개시의 제3 측면에 있어서는, 부호화 스트림에 대응하는 복수의 분할 화상을 포함하는 화상의 각 분할 화상의 화면 상의 위치가, 그 분할 화상의 상기 화상 상의 위치와 대응지어 설정된다.
본 개시의 제4 측면의 정보 처리 장치는, 부호화 스트림에 대응하는 복수의 분할 화상을 포함하는 화상 상의 위치와 대응지어 설정된, 상기 화상의 각 분할 화상의 화면 상의 위치에 기초하여, 상기 부호화 스트림을 복호함으로써 얻어진 상기 화상의 각 분할 화상을 상기 화면 상에 배치하는 배치부를 구비하는 정보 처리 장치이다.
본 개시의 제4 측면의 정보 처리 방법은, 본 개시의 제4 측면의 정보 처리 장치에 대응한다.
본 개시의 제4 측면에 있어서는, 부호화 스트림에 대응하는 복수의 분할 화상을 포함하는 화상 상의 위치와 대응지어 설정된, 상기 화상의 각 분할 화상의 화면 상의 위치에 기초하여, 상기 부호화 스트림을 복호함으로써 얻어진 상기 화상의 각 분할 화상이 상기 화면 상에 배치된다.
또한, 제1 내지 제4 측면의 정보 처리 장치는, 컴퓨터에 프로그램을 실행시킴으로써 실현할 수 있다.
또한, 제1 내지 제4 측면의 정보 처리 장치를 실현하기 위해, 컴퓨터에 실행시키는 프로그램은, 전송 매체를 통하여 전송함으로써, 또는 기록 매체에 기록하여 제공할 수 있다.
본 개시의 제1 측면에 따르면, 정보를 설정할 수 있다. 본 개시의 제1 측면에 따르면, 부호화 스트림에 대응하는 복수의 분할 화상을 포함하는 화상의 화면 상의 위치를 확실하게 인식할 수 있도록 정보를 설정할 수 있다.
또한, 본 개시의 제2 측면에 따르면, 정보를 취득할 수 있다. 본 개시의 제2 측면에 따르면, 부호화 스트림에 대응하는 복수의 분할 화상을 포함하는 화상의 화면 상의 위치를 확실하게 인식할 수 있다.
본 개시의 제3 측면에 따르면, 정보를 설정할 수 있다. 본 개시의 제3 측면에 따르면, 부호화 스트림에 대응하는 화상을 구성하는 분할 화상의 화면 상의 위치를 확실하게 인식할 수 있도록 정보를 설정할 수 있다.
또한, 본 개시의 제4 측면에 따르면, 정보를 취득할 수 있다. 본 개시의 제4 측면에 따르면, 부호화 스트림에 대응하는 화상을 구성하는 분할 화상의 화면 상의 위치를 확실하게 인식할 수 있다.
또한, 여기에 기재된 효과는 반드시 한정되는 것은 아니며, 본 개시 중에 기재된 어느 효과여도 된다.
도 1은, 본 개시를 적용한 정보 처리 시스템의 제1 실시 형태의 구성예를 도시하는 블록도이다.
도 2는, 도 1의 파일 생성 장치 중 화상 파일 생성부의 구성예를 도시하는 블록도이다.
도 3은, 전천구 화상의 부호화 스트림을 설명하는 도면이다.
도 4는, 제1 실시 형태에 있어서의 SRD의 정의의 예를 설명하는 도면이다.
도 5는, 제1 실시 형태에 있어서의 SRD의 정의의 다른 예를 설명하는 도면이다.
도 6은, MPD 파일에 기술되는 단부 화상의 SRD를 설명하는 도면이다.
도 7은, SRD의 정의의 일례를 설명하는 도면이다.
도 8은, 제1 실시 형태에 있어서의 MPD 파일의 예를 도시하는 도면이다.
도 9는, 도 2의 화상 파일 생성부의 부호화 처리를 설명하는 흐름도이다.
도 10은, 도 1의 동화상 재생 단말기가 실현하는 스트리밍 재생부의 구성예를 도시하는 블록도이다.
도 11은, 도 10의 스트리밍 재생부의 재생 처리를 설명하는 흐름도이다.
도 12는, 본 개시를 적용한 정보 처리 시스템의 제2 실시 형태에 있어서의 단부 화상의 화상 파일의 세그먼트 구조의 예를 도시하는 도면이다.
도 13은, 도 12의 Tile Region Group Entry의 예를 도시하는 도면이다.
도 14는, 제2 실시 형태에 있어서의 MPD 파일의 예를 도시하는 도면이다.
도 15는, 트랙 구조의 예를 도시하는 도면이다.
도 16은, 제2 실시 형태에 있어서의 leva 박스의 다른 예를 도시하는 도면이다.
도 17은, 제2 실시 형태에 있어서의 MPD 파일의 다른 예를 도시하는 도면이다.
도 18은, 본 개시를 적용한 정보 처리 시스템의 제3 실시 형태의 구성예를 도시하는 블록도이다.
도 19는, 도 18의 파일 생성 장치의 구성예를 도시하는 블록도이다.
도 20은, 모자이크 화상의 예를 도시하는 도면이다.
도 21은, 제3 실시 형태에 있어서의 sgpd 박스와 leva 박스의 예를 도시하는 도면이다.
도 22는, 제3 실시 형태에 있어서의 MPD 파일의 제1 예를 도시하는 도면이다.
도 23은, 제3 실시 형태에 있어서의 MPD 파일의 제2 예를 도시하는 도면이다.
도 24는, 섬네일 화상이 배치된 화면의 예를 도시하는 도면이다.
도 25는, 도 19의 파일 생성 장치의 파일 생성 처리를 설명하는 흐름도이다.
도 26은, 도 18의 동화상 재생 단말기가 실현하는 스트리밍 재생부의 구성예를 도시하는 블록도이다.
도 27은, 도 26의 스트리밍 재생부에 의한 재생 처리의 개요를 설명하는 도면이다.
도 28은, 도 26의 스트리밍 재생부의 재생 처리를 설명하는 흐름도이다.
도 29는, 컴퓨터의 하드웨어의 구성예를 도시하는 블록도이다.
이하, 본 개시를 실시하기 위한 형태(이하, 실시 형태라고 함)에 대하여 설명한다. 또한, 설명은 이하의 순서로 행한다.
1. 제1 실시 형태: 정보 처리 시스템(도 1 내지 도 11)
2. 제2 실시 형태: 정보 처리 시스템(도 12 내지 도 17)
3. 제3 실시 형태: 정보 처리 시스템(도 18 내지 도 28)
4. 제4 실시 형태: 컴퓨터(도 29)
<제1 실시 형태>
(정보 처리 시스템의 제1 실시 형태의 구성예)
도 1은, 본 개시를 적용한 정보 처리 시스템의 제1 실시 형태의 구성예를 도시하는 블록도이다.
도 1의 정보 처리 시스템(10)은, 파일 생성 장치(11)와 접속되는 Web 서버(12)와 동화상 재생 단말기(14)가, 인터넷(13)을 통하여 접속됨으로써 구성된다.
정보 처리 시스템(10)에서는, MPEG-DASH에 준하는 방식으로, Web 서버(12)가, 동화상 콘텐츠의 화상으로서의 전천구 화상의 부호화 스트림을, 동화상 재생 단말기(14)에 배신한다.
본 명세서에서는, 전천구 화상은, 수평 방향의 주위 360도 및 수직 방향의 주위 180도의 화상(이하, 전방향 화상이라고 함)을 구의 면에 매핑하였을 때의 구의 정거 원통 도법에 의한 화상인 것으로 하지만, 전방향 화상을 입방체(큐브)의 면에 매핑하였을 때의 입방체의 전개도의 화상이도록 해도 된다.
정보 처리 시스템(10)의 파일 생성 장치(11)(정보 처리 장치)는, 저해상도의 전천구 화상을 부호화하고, 저해상도 부호화 스트림을 생성한다. 또한, 파일 생성 장치(11)는, 고해상도의 전천구 화상을 분할한 각 분할 화상을 독립하여 부호화하고, 각 분할 화상의 고해상도 부호화 스트림을 생성한다. 파일 생성 장치(11)는, 세그먼트라고 불리는 수초 내지 10초 정도의 시간 단위마다, 저해상도 부호화 스트림과 고해상도 부호화 스트림을 파일화하고, 화상 파일을 생성한다. 파일 생성 장치(11)는, 생성된 화상 파일을 Web 서버(12)에 업로드한다.
또한, 파일 생성 장치(11)(설정부)는, 화상 파일 등을 관리하는 MPD 파일(관리 파일)을 생성한다. 파일 생성 장치(11)는, MPD 파일을 Web 서버(12)에 업로드한다.
Web 서버(12)는, 파일 생성 장치(11)로부터 업로드된 화상 파일과 MPD 파일을 저장한다. Web 서버(12)는, 동화상 재생 단말기(14)로부터의 요구에 따라, 저장한 화상 파일, MPD 파일 등을 동화상 재생 단말기(14)에 송신한다.
동화상 재생 단말기(14)는, 스트리밍 데이터의 제어용 소프트웨어(이하, 제어용 소프트웨어라고 함)(21), 동화상 재생 소프트웨어(22), HTTP(HyperText Transfer Protocol) 액세스용 클라이언트ㆍ소프트웨어(이하, 액세스용 소프트웨어라고 함)(23) 등을 실행한다.
제어용 소프트웨어(21)는, Web 서버(12)로부터 스트리밍하는 데이터를 제어하는 소프트웨어이다. 구체적으로는, 제어용 소프트웨어(21)는, 동화상 재생 단말기(14)에 Web 서버(12)로부터 MPD 파일을 취득시킨다.
또한, 제어용 소프트웨어(21)는, MPD 파일에 기초하여, 동화상 재생 소프트웨어(22)에 의해 지정되는 재생 대상의 부호화 스트림의 송신 요구를, 액세스용 소프트웨어(23)에 명령한다.
동화상 재생 소프트웨어(22)는, Web 서버(12)로부터 취득된 부호화 스트림을 재생하는 소프트웨어이다. 구체적으로는, 동화상 재생 소프트웨어(22)는, 재생 대상의 부호화 스트림을 제어용 소프트웨어(21)에 지정한다. 또한, 동화상 재생 소프트웨어(22)는, 액세스용 소프트웨어(23)로부터 수신 개시의 통지를 수신하였을 때, 동화상 재생 단말기(14)에 의해 수신된 부호화 스트림을 복호한다. 동화상 재생 소프트웨어(22)는, 복호 결과 얻어지는 화상 데이터를 필요에 따라 합성하고, 출력한다.
액세스용 소프트웨어(23)는, HTTP를 사용한 인터넷(13)을 통한 Web 서버(12)와의 통신을 제어하는 소프트웨어이다. 구체적으로는, 액세스용 소프트웨어(23)는, 제어용 소프트웨어(21)의 명령에 따라, 화상 파일에 포함되는 재생 대상의 부호화 스트림의 송신 요구를, 동화상 재생 단말기(14)에 송신시킨다. 또한, 액세스용 소프트웨어(23)는, 그 송신 요구에 따라, Web 서버(12)로부터 송신되어 오는 부호화 스트림의 수신을 동화상 재생 단말기(14)에 개시시키고, 수신 개시의 통지를 동화상 재생 소프트웨어(22)에 공급한다.
(화상 파일 생성부의 구성예)
도 2는, 도 1의 파일 생성 장치(11) 중 화상 파일을 생성하는 화상 파일 생성부의 구성예를 도시하는 블록도이다.
도 2의 화상 파일 생성부(150)는, 스티칭 처리부(151), 매핑 처리부(152), 저해상도화부(153), 인코더(154), 분할부(155), 인코더(156-1 내지 156-4), 스토리지(157) 및 생성부(158)에 의해 구성된다.
스티칭 처리부(151)는, 도시하지 않은 멀티 카메라로부터 공급되는 전방향 화상의 색이나 밝기를 동일하게 하고, 겹침을 제거하여 접속한다. 스티칭 처리부(151)는, 그 결과 얻어지는 전방향 화상을 매핑 처리부(152)에 공급한다.
매핑 처리부(152)는, 스티칭 처리부(151)로부터 공급되는 전방향 화상을 구에 매핑함으로써, 전천구 화상을 생성한다. 매핑 처리부(152)는, 전천구 화상을 저해상도화부(153)와 분할부(155)에 공급한다. 또한, 스티칭 처리부(151)와 매핑 처리부(152)는, 일체화되어 있어도 된다.
저해상도화부(153)는, 매핑 처리부(152)로부터 공급되는 전천구 화상의 수평 방향과 수직 방향의 해상도를 절반으로 함으로써 저해상도화하고, 저해상도의 전천구 화상을 생성한다. 저해상도화부(153)는, 저해상도의 전천구 화상을 인코더(154)에 공급한다.
인코더(154)는, AVC(Advanced Video Coding)나 HEVC(High Efficiency Video Coding) 등의 부호화 방식으로, 저해상도화부(153)로부터 공급되는 저해상도의 전천구 화상을 부호화하고, 저해상도 부호화 스트림을 생성한다. 인코더(154)는, 저해상도 부호화 스트림을 스토리지(157)에 공급하고, 기록시킨다.
분할부(155)는, 매핑 처리부(152)로부터 공급되는 전천구 화상을 고해상도의 전천구 화상으로 하여 수직 방향으로 3 분할하고, 중앙의 영역을 중심이 경계로 되지 않도록 수평 방향으로 3 분할한다. 분할부(155)는, 분할된 5개의 영역 중 상측의 영역과 하측의 영역을, 예를 들어 수평 방향의 해상도가 절반으로 되도록 저해상도화한다.
분할부(155)는, 저해상도화된 상측의 영역인 저해상도 상측 화상을 인코더(156-1)에 공급하고, 저해상도화된 하측의 영역인 저해상도 하측 화상을 인코더(156-2)에 공급한다.
또한, 분할부(155)는, 중앙의 영역 중 우측 단부의 영역의 우측단에, 좌측 단부의 영역의 좌측단을 합성하고, 단부 화상을 생성한다. 분할부(155)는, 단부 화상을 인코더(156-3)에 공급한다. 또한, 분할부(155)는, 중앙의 영역 중 중앙부를 중앙부 화상으로서 인코더(156-4)에 공급한다.
인코더(156-1 내지 156-4)는, 각각, AVC나 HEVC 등의 부호화 방식으로, 분할부(155)로부터 공급되는, 저해상도 상측 화상, 저해상도 하측 화상, 단부 화상, 중앙부 화상을 부호화한다. 인코더(156-1 내지 156-4)는, 그 결과 생성되는 부호화 스트림을 고해상도 스트림으로 하여 스토리지(157)에 공급하고, 기록시킨다.
스토리지(157)는, 인코더(154)로부터 공급되는 1개의 저해상도 부호화 스트림과, 인코더(156-1 내지 156-4)로부터 공급되는 4개의 고해상도 부호화 스트림을 기록한다.
생성부(158)는, 스토리지(157)에 기록되어 있는 1개의 저해상도 부호화 스트림과 4개의 고해상도 부호화 스트림을 판독하고, 부호화 스트림마다 세그먼트 단위로 파일화한다. 생성부(158)는, 그 결과 생성되는 화상 파일을 도 1의 Web 서버(12)에 전송한다.
(전천구 화상의 부호화 스트림의 설명)
도 3은, 전천구 화상의 부호화 스트림을 설명하는 도면이다.
도 3에 도시하는 바와 같이, 전천구 화상(170)의 해상도가 4k(3840 화소×2160 화소)인 경우, 도 3의 A에 도시하는 바와 같이, 저해상도의 전천구 화상(161)의 수평 방향의 해상도는, 전천구 화상의 수평 방향의 해상도의 절반인 1920 화소로 된다. 또한, 저해상도의 전천구 화상(161)의 수직 방향의 해상도는, 전천구 화상의 수직 방향의 해상도의 절반인 1080 화소로 된다. 저해상도의 전천구 화상(161)은 그대로 부호화되어, 하나의 저해상도 부호화 스트림이 생성된다.
또한, 도 3의 B에 도시하는 바와 같이, 전천구 화상은, 수직 방향으로 3 분할되고, 중앙의 영역이, 중심(O)이 경계로 되지 않도록 수평 방향으로 3 분할된다. 그 결과, 전천구 화상(170)은, 상측의 3840 화소×540 화소의 영역인 상측 화상(171), 하측의 3840 화소×540 화소의 영역인 하측 화상(172), 및 중앙의 3840 화소×1080 화소의 영역으로 분할된다. 또한, 중앙의 3840 화소×1080 화소의 영역은, 좌측의 960 화소×1080 화소의 영역인 좌측 단부 화상(173-1), 우측의 960 화소×1080 화소의 영역인 우측 단부 화상(173-2), 및 중앙의 1920 화소×1080 화소의 영역인 중앙부 화상(174)으로 분할된다.
상측 화상(171)과 하측 화상(172)은, 수평 방향의 해상도가 절반으로 되고, 저해상도 상측 화상과 저해상도 하측 화상이 생성된다. 또한, 전천구 화상은 수평 방향 및 수직 방향으로 360도 퍼지는 화상이므로, 대향하는 좌측 단부 화상(173-1)과 우측 단부 화상(173-2)은, 실제로는 연속되는 화상이다. 따라서, 우측 단부 화상(173-2)의 우측단에 좌측 단부 화상(173-1)의 좌측단이 합성되어, 단부 화상이 생성된다. 그리고, 저해상도 상측 화상, 저해상도 하측 화상, 단부 화상 및 중앙부 화상(174)은, 각각 독립하여 부호화되어, 4개의 고해상도 부호화 스트림이 생성된다.
또한, 일반적으로, 표준의 시선 방향에서 시야의 중심에 위치하는 전천구 화상(170) 상의 위치인 전천구 화상(170)의 정면이, 전천구 화상(170)의 중심(O)이 되도록, 전천구 화상(170)이 생성된다.
또한, AVC나 HEVC 등의 시간 방향의 움직임 보상에 의해 정보 압축을 행하는 부호화 방식에서는, 피사체가 화면 상으로 이동하면, 압축 변형의 출현 방식이, 어느 정도의 형상을 유지한 채, 프레임 사이에서 전반된다. 그러나, 화면이 분할되고, 분할 화상이 독립하여 부호화되는 경우, 움직임 보상이 경계를 넘어 행해지지 않기 때문에, 압축 변형은 커지는 경향이 있다. 그 결과, 복호된 분할 화상의 동화상에서는, 분할 화상의 경계에 있어서 압축 변형의 출현 방식이 변화하는 줄무늬가 발생한다. 이 현상은, AVC의 슬라이스 사이나 HEVC의 타일 사이에 있어서 발생한다는 것이 알려져 있다. 따라서, 복호된 저해상도 상측 화상, 저해상도 하측 화상, 단부 화상 및 중앙부 화상(174)의 경계에서는 화질의 열화가 발생하기 쉽다.
따라서, 전천구 화상(170)은, 유저가 볼 가능성이 높은 전천구 화상(170)의 중심(O)이 경계가 되지 않도록 분할된다. 그 결과, 유저가 볼 가능성이 높은 중심(O)에 있어서 화질 열화가 발생하지 않고, 복호 후의 전천구 화상(170)의 화질 열화가 두드러지지 않는다.
또한, 좌측 단부 화상(173-1)과 우측 단부 화상(173-2)은 합성되어, 부호화된다. 따라서, 단부 화상과 중앙부 화상(174)의 면적이 동일한 경우, 소정의 시점의 전천구 화상의 표시 시에 최대한 필요한 전천구 화상의 고해상도 부호화 스트림은, 시점에 구애되지 않고, 저해상도 상측 화상과 저해상도 하측 화상 중 어느 것과, 단부 화상과 중앙부 화상(174) 중 어느 것의 2개의 고해상도 부호화 스트림으로 된다. 따라서, 동화상 재생 단말기(14)에서 복호하는 고해상도 스트림의 수를, 시점에 구애되지 않고 동일하게 할 수 있다.
(제1 실시 형태에 있어서의 SRD의 정의의 설명)
도 4는, 제1 실시 형태에 있어서의 SRD의 정의를 설명하는 도면이다.
SRD는, MPD 파일에 기술 가능한 정보이며, 동화상 콘텐츠의 화상을 1 이상의 영역으로 분할하여 독립하여 부호화하였을 때의 각 영역의 화면 상의 위치를 나타내는 정보이다.
구체적으로는, SRD는, <SupplementalProperty schemeIdUri="urn:mpeg:dash:srd:2015" value="source_id, object_x, object_y, object_width, object_height, total_width, total_height,spatial_set_id"/>이다.
「source_id」는, 이 SRD에 대응하는 동화상 콘텐츠의 ID이다. 또한, 「object_x」, 「object_y」는, 각각, 이 SRD에 대응하는 영역의 좌측 상방의 화면 상의 수평 방향의 좌표, 수직 방향의 좌표이다. 「object_width」, 「object_height」는, 각각, 이 SRD에 대응하는 영역의 수평 방향의 사이즈, 수직 방향의 사이즈이다. 또한, 「total_width」, 「total_height」는, 각각, 이 SRD에 대응하는 영역이 배치되는 화면의 수평 방향의 사이즈, 수직 방향의 사이즈이다. 「spatial_set_id」는, 이 SRD에 대응하는 영역이 배치되는 화면의 ID이다.
도 4에 도시하는 바와 같이, 본 실시 형태에 있어서의 SRD의 정의에서는, 동화상 콘텐츠의 화상이 파노라마 화상(panorama image) 또는 전천구 화상(celestial sphere dynamic)인 경우, 「object_x」와 「object_width」의 합이, 「total_width」를 초과해도 된다. 또한, 「object_y」와 「object_height」의 합은 「total_height」를 초과해도 된다.
또한, MPD 파일에, 동화상 콘텐츠의 화상이 파노라마 화상(panorama image) 또는 전천구 화상(celestial sphere dynamic)임을 나타내는 정보가 기술되도록 해도 된다. 이 경우, 본 실시 형태에 있어서의 SRD의 정의는, 도 5에 도시하는 바와 같이 된다.
(단부 화상의 SRD의 설명)
도 6은, MPD 파일에 기술되는 단부 화상의 SRD를 설명하는 도면이다.
도 4에서 설명한 바와 같이, 제1 실시 형태에 있어서의 SRD에서는, 동화상 콘텐츠의 화상이 전천구 화상인 경우, 「object_x」와 「object_width」의 합이 「total_width」를 초과해도 된다.
따라서, 파일 생성 장치(11)는, 예를 들어 좌측 단부 화상(173-1)의 화면(180) 상의 위치를, 우측 단부 화상(173-2)의 우측에 설정한다. 이에 의해, 도 6에 도시하는 바와 같이, 좌측 단부 화상(173-1)의 화면(180) 상의 위치는, 화면(180)의 외측으로 비어져 나오지만, 단부 화상(173)을 구성하는 우측 단부 화상(173-2)과 좌측 단부 화상(173-1)의 화면(180) 상의 위치가 연속된다. 따라서, 파일 생성 장치(11)는, 단부 화상(173)의 화면(180) 상의 위치를 SRD로 기술할 수 있다.
구체적으로는, 파일 생성 장치(11)는, 단부 화상(173)의 SRD의 「object_x」 및 「object_y」로서, 각각, 우측 단부 화상(173-2)의 좌측 상방의 화면(180) 상의 위치의 수평 방향의 좌표, 수직 방향의 좌표를 기술한다. 또한, 파일 생성 장치(11)는, 단부 화상(173)의 SRD의 「object_width」 및 「object_height」로서, 각각, 단부 화상(173)의 수평 방향의 사이즈, 수직 방향의 사이즈를 기술한다.
또한, 파일 생성 장치(11)는, 단부 화상(173)의 SRD의 「total_width」 및 「total_height」로서, 각각, 화면(180)의 수평 방향의 사이즈, 수직 방향의 사이즈를 기술한다. 이상과 같이, 파일 생성 장치(11)는, 단부 화상(173)의 화면(180) 상의 위치로서, 화면(180)의 외측으로 비어져 나오는 위치를 설정한다.
이에 비해, 도 7에 도시하는 바와 같이, SRD의 정의에 있어서, 「object_x」와 「object_width」의 합이 「total_width」 이하로 되고, 또한 「object_y」와 「object_height」의 합이 「total_height」 이하로 되도록 제한되어 있는 경우, 즉 SRD에 대응하는 영역의 화면 상의 위치가, 화면으로부터 비어져 나오는 것이 금지되어 있는 경우, 좌측 단부 화상(173-1)의 화면(180) 상의 위치를, 우측 단부 화상(173-2)의 우측에 설정할 수는 없다.
따라서, 단부 화상(173)을 구성하는 우측 단부 화상(173-2)과 좌측 단부 화상(173-1)의 화면(180) 상의 위치가 연속되지 않고, 단부 화상(173)의 화면(180) 상의 위치로서, 우측 단부 화상(173-2)과 좌측 단부 화상(173-1)의 양쪽의 화면(180) 상의 위치를 기술할 필요가 있다. 그 결과, 단부 화상(173)의 화면(180) 상의 위치를 SRD로 기술할 수는 없다.
(MPD 파일의 예)
도 8은, 도 1의 파일 생성 장치(11)에 의해 생성되는 MPD 파일의 예를 도시하는 도면이다.
도 8에 도시하는 바와 같이, MPD 파일에서는, 부호화 스트림마다 「AdaptationSet」가 기술된다. 또한, 각 「AdaptationSet」에는, 대응하는 영역의 SRD가 기술됨과 함께, 「Representation」이 기술된다. 「Representation」에는, 대응하는 부호화 스트림의 화상 파일의 URL(Uniform Resource Locator) 등의 정보가 기술된다.
구체적으로는, 도 8의 1번째 「AdaptationSet」는, 전천구 화상(170)의 저해상도의 전천구 화상(161)의 저해상도 부호화 스트림의 「AdaptationSet」이다. 따라서, 1번째 「AdaptationSet」에는, 저해상도의 전천구 화상(161)의 SRD인 <SupplementalProperty schemeIdUri="urn:mpeg:dash:srd:2014" value="1,0,0,1920,1080,1920,1080,1"/>가 기술되어 있다. 또한, 1번째 「AdaptationSet」의 「Representation」에는, 저해상도 부호화 스트림의 화상 파일의 URL 「stream1.mp4」가 기술되어 있다.
도 8의 2번째 「AdaptationSet」는, 전천구 화상(170)의 저해상도 상측 화상의 고해상도 부호화 스트림의 「AdaptationSet」이다. 따라서, 2번째 「AdaptationSet」에는, 저해상도 상측 화상의 SRD인 <SupplementalProperty schemeIdUri="urn:mpeg:dash:srd:2014" value="1,0,0,3840,540,3840,2160,2"/>가 기술되어 있다. 또한, 2번째 「AdaptationSet」의 「Representation」에는, 저해상도 상측 화상의 고해상도 부호화 스트림의 화상 파일의 URL 「stream2.mp4」가 기술되어 있다.
또한, 도 8의 3번째 「AdaptationSet」는, 전천구 화상(170)의 중앙부 화상(174)의 고해상도 부호화 스트림의 「AdaptationSet」이다. 따라서, 3번째 「AdaptationSet」에는, 중앙부 화상(174)의 SRD인 <SupplementalProperty schemeIdUri="urn:mpeg:dash:srd:2014" value="1,960,540,1920,1080, 3840,2160,2"/>가 기술되어 있다. 또한, 3번째 「AdaptationSet」의 「Representation」에는, 중앙부 화상(174)의 고해상도 부호화 스트림의 화상 파일의 URL 「stream3.mp4」가 기술되어 있다.
도 8의 4번째 「AdaptationSet」는, 전천구 화상(170)의 저해상도 하측 화상의 고해상도 부호화 스트림의 「AdaptationSet」이다. 따라서, 4번째 「AdaptationSet」에는, 저해상도 하측 화상의 SRD인 <SupplementalProperty schemeIdUri="urn:mpeg:dash:srd:2014" value="1,0,1620,3840,540,3840,2160,2"/>가 기술되어 있다. 또한, 4번째 「AdaptationSet」의 「Representation」에는, 저해상도 하측 화상의 고해상도 부호화 스트림의 화상 파일의 URL 「stream4.mp4」가 기술되어 있다.
또한, 도 8의 5번째 「AdaptationSet」는, 전천구 화상(170)의 단부 화상(173)의 고해상도 부호화 스트림의 「AdaptationSet」이다. 따라서, 5번째 「AdaptationSet」에는, 단부 화상(173)의 SRD인 <SupplementalProperty schemeIdUri="urn:mpeg:dash:srd:2014" value="1,2880,540,1920, 1080,3840,2160,2"/>가 기술되어 있다. 또한, 5번째 「AdaptationSet」의 「Representation」에는, 단부 화상(173)의 고해상도 부호화 스트림의 화상 파일의 URL 「stream5.mp4」가 기술되어 있다.
(화상 파일 생성부의 처리의 설명)
도 9는, 도 2의 화상 파일 생성부(150)의 부호화 처리를 설명하는 흐름도이다.
도 9의 스텝 S11에 있어서, 스티칭 처리부(151)는, 도시하지 않은 멀티 카메라로부터 공급되는 전방향 화상의 색이나 밝기를 동일하게 하고, 겹침을 제거하여 접속한다. 스티칭 처리부(151)는, 그 결과 얻어지는 전방향 화상을 매핑 처리부(152)에 공급한다.
스텝 S12에 있어서, 매핑 처리부(152)는, 스티칭 처리부(151)로부터 공급되는 전방향 화상으로부터 전천구 화상(170)을 생성하고, 저해상도화부(153)와 분할부(155)에 공급한다.
스텝 S13에 있어서, 저해상도화부(153)는, 매핑 처리부(152)로부터 공급되는 전천구 화상(170)을 저해상도화하고, 저해상도의 전천구 화상(161)을 생성한다. 저해상도화부(153)는, 저해상도의 전천구 화상(161)을 인코더(154)에 공급한다.
스텝 S14에 있어서, 인코더(154)는, 저해상도화부(153)로부터 공급되는 저해상도의 전천구 화상(161)을 부호화하고, 저해상도 부호화 스트림을 생성한다. 인코더(154)는, 저해상도 부호화 스트림을 스토리지(157)에 공급한다.
스텝 S15에 있어서, 분할부(155)는, 매핑 처리부(152)로부터 공급되는 전천구 화상(170)을 상측 화상(171), 하측 화상(172), 좌측 단부 화상(173-1), 우측 단부 화상(173-2) 및 중앙부 화상(174)으로 분할한다. 분할부(155)는, 중앙부 화상(174)을 인코더(156-4)에 공급한다.
스텝 S16에 있어서, 분할부(155)는, 상측 화상(171)과 하측 화상(172)을 수평 방향의 해상도가 절반으로 되도록 저해상도화한다. 분할부(155)는, 그 결과 얻어지는 저해상도 상측 화상을 인코더(156-1)에 공급하고, 저해상도화된 하측의 영역인 저해상도 하측 화상을 인코더(156-2)에 공급한다.
스텝 S17에 있어서, 분할부(155)는, 우측 단부 화상(173-2)의 우측단에 좌측 단부 화상(173-1)의 좌측단을 합성하고, 단부 화상(173)을 생성한다. 분할부(155)는, 단부 화상(173)을 인코더(156-3)에 공급한다.
스텝 S18에 있어서, 인코더(156-1 내지 156-4)는, 각각, 분할부(155)로부터 공급되는, 저해상도 상측 화상, 저해상도 하측 화상, 단부 화상(173), 중앙부 화상(174)을 부호화한다. 인코더(156-1 내지 156-4)는, 그 결과 생성되는 부호화 스트림을 고해상도 스트림으로 하여 스토리지(157)에 공급한다.
스텝 S19에 있어서, 스토리지(157)는, 인코더(154)로부터 공급되는 1개의 저해상도 부호화 스트림과, 인코더(156-1 내지 156-4)로부터 공급되는 4개의 고해상도 부호화 스트림을 기록한다.
스텝 S20에 있어서, 생성부(158)는, 스토리지(157)에 기록되어 있는 1개의 저해상도 부호화 스트림과 4개의 고해상도 부호화 스트림을 판독하고, 부호화 스트림마다 세그먼트 단위로 파일화함으로써 화상 파일을 생성한다. 생성부(158)는, 화상 파일을 도 1의 Web 서버(12)에 전송하고, 처리를 종료한다.
(동화상 재생 단말기의 기능적 구성예)
도 10은, 도 1의 동화상 재생 단말기(14)가 제어용 소프트웨어(21), 동화상 재생 소프트웨어(22), 및 액세스용 소프트웨어(23)를 실행함으로써 실현되는 스트리밍 재생부의 구성예를 도시하는 블록도이다.
도 10의 스트리밍 재생부(190)는, MPD 취득부(191), MPD 처리부(192), 화상 파일 취득부(193), 디코더(194-1 내지 194-3), 배치부(195), 묘화부(196) 및 시선 검출부(197)에 의해 구성된다.
스트리밍 재생부(190)의 MPD 취득부(191)는, Web 서버(12)로부터 MPD 파일을 취득하고, MPD 처리부(192)에 공급한다.
MPD 처리부(192)는, 시선 검출부(197)로부터 공급되는 유저의 시선 방향에 기초하여, 상측 화상(171), 하측 화상(172), 단부 화상(173) 및 중앙부 화상(174)으로부터, 유저의 시야 범위에 포함될 가능성이 있는 2개를 선택 화상으로서 선택한다. 구체적으로는, MPD 처리부(192)는, 전천구 화상(170)이 구의 면에 매핑되었을 때, 구의 내부에 존재하는 유저가 시선 방향을 보았을 때 시야 범위에 포함될 가능성이 있는, 상측 화상(171)과 하측 화상(172) 중 하나와, 단부 화상(173)과 중앙부 화상(174) 중 하나를, 선택 화상으로서 선택한다.
MPD 처리부(192)는, MPD 취득부(191)로부터 공급되는 MPD 파일로부터, 재생 대상의 세그먼트의 저해상도의 전천구 화상(161)과 선택 화상의 화상 파일의 URL 등의 정보를 추출하고, 화상 파일 취득부(193)에 공급한다. 또한, MPD 처리부(192)는, MPD 파일로부터, 재생 대상의 세그먼트의 저해상도의 전천구 화상(161)과 선택 화상의 SRD를 추출하고, 배치부(195)에 공급한다.
화상 파일 취득부(193)는, MPD 처리부(192)로부터 공급되는 URL로 특정되는 화상 파일의 부호화 스트림을 Web 서버(12)에 요구하고, 취득한다. 화상 파일 취득부(193)는, 취득된 저해상도 부호화 스트림을 디코더(194-1)에 공급한다. 또한, 화상 파일 취득부(193)는, 선택 화상 중 한쪽의 고해상도 부호화 스트림을 디코더(194-2)에 공급하고, 다른 쪽의 고해상도 부호화 스트림을 디코더(194-3)에 공급한다.
디코더(194-1)는, AVC나 HEVC 등의 부호화 방식에 대응하는 방식으로, 화상 파일 취득부(193)로부터 공급되는 저해상도 부호화 스트림을 복호하고, 복호 결과 얻어지는 저해상도의 전천구 화상(161)을 배치부(195)에 공급한다.
또한, 디코더(194-2)와 디코더(194-3)는, 각각, AVC나 HEVC 등의 부호화 방식에 대응하는 방식으로, 화상 파일 취득부(193)로부터 공급되는 선택 화상의 고해상도 부호화 스트림을 복호한다. 그리고, 디코더(194-2)와 디코더(194-3)는, 복호 결과 얻어지는 선택 화상을 배치부(195)에 공급한다.
배치부(195)는, MPD 처리부(192)로부터 공급되는 SRD에 기초하여, 디코더(194-1)로부터 공급되는 저해상도의 전천구 화상(161)을 화면 상에 배치한다. 그 후, 배치부(195)는, SRD에 기초하여, 저해상도의 전천구 화상(161)이 배치된 화면 상에, 디코더(194-2 및 194-3)로부터 공급되는 선택 화상을 중첩한다.
구체적으로는, SRD가 나타내는 저해상도의 전천구 화상(161)이 배치되는 화면의 수평 방향 및 수직 방향의 사이즈는, 선택 화상이 배치되는 화면의 수평 방향 및 수직 방향의 사이즈의 1/2이다. 따라서, 배치부(195)는, 저해상도의 전천구 화상(161)이 배치된 화면의 수평 방향 및 수직 방향의 사이즈를 2배로 하고, 선택 화상을 중첩한다. 배치부(195)는, 선택 화상이 중첩된 화면을 구에 매핑하고, 그 결과 얻어지는 구 화상을 묘화부(196)에 공급한다.
묘화부(196)는, 배치부(195)로부터 공급되는 구 화상을, 시선 검출부(197)로부터 공급되는 유저의 시야 범위에 투사 투영함으로써, 유저의 시야 범위의 화상을 생성한다. 묘화부(196)는, 생성된 화상을 표시 화상으로서, 도시하지 않은 표시 장치에 표시시킨다.
시선 검출부(197)는, 유저의 시선 방향을 검출한다. 유저의 시선 방향의 검출 방법으로서는, 예를 들어 유저에 장착시킨 기기의 기울기 등에 기초하여 검출하는 방법이 있다. 시선 검출부(197)는, 유저의 시선 방향을 MPD 처리부(192)에 공급한다.
또한, 시선 검출부(197)는, 유저의 위치를 검출한다. 유저의 위치의 검출 방법으로서는, 예를 들어 유저에 장착시킨 기기에 부가된 마커 등의 촬영 화상에 기초하여 검출하는 방법이 있다. 시선 검출부(197)는, 검출된 유저의 위치와 시선 벡터에 기초하여, 유저의 시야 범위를 결정하고, 묘화부(196)에 공급한다.
(동화상 재생 단말기의 처리의 설명)
도 11은, 도 10의 스트리밍 재생부(190)의 재생 처리를 설명하는 흐름도이다.
도 11의 스텝 S41에 있어서, 스트리밍 재생부(190)의 MPD 취득부(191)는, Web 서버(12)로부터 MPD 파일을 취득하고, MPD 처리부(192)에 공급한다.
스텝 S42에 있어서, MPD 처리부(192)는, 시선 검출부(197)로부터 공급되는 유저의 시선 방향에 기초하여, 상측 화상(171), 하측 화상(172), 단부 화상(173) 및 중앙부 화상(174)으로부터, 유저의 시야 범위에 포함될 가능성이 있는 2개를 선택 화상으로서 선택한다.
스텝 S43에 있어서, MPD 처리부(192)는, MPD 취득부(191)로부터 공급되는 MPD 파일로부터, 재생 대상의 세그먼트의 저해상도의 전천구 화상(161)과 선택 화상의 화상 파일의 URL 등의 정보를 추출하고, 화상 파일 취득부(193)에 공급한다.
스텝 S44에 있어서, MPD 처리부(192)는, MPD 파일로부터, 재생 대상의 세그먼트의 저해상도의 전천구 화상(161)과 선택 화상의 SRD를 추출하고, 배치부(195)에 공급한다.
스텝 S45에 있어서, 화상 파일 취득부(193)는, MPD 처리부(192)로부터 공급되는 URL에 기초하여, 그 URL로 특정되는 화상 파일의 부호화 스트림을, Web 서버(12)에 요구하고, 취득한다. 화상 파일 취득부(193)는, 취득된 저해상도 부호화 스트림을 디코더(194-1)에 공급한다. 또한, 화상 파일 취득부(193)는, 선택 화상 중 한쪽의 고해상도 부호화 스트림을 디코더(194-2)에 공급하고, 다른 쪽의 고해상도 부호화 스트림을 디코더(194-3)에 공급한다.
스텝 S46에 있어서, 디코더(194-1)는, 화상 파일 취득부(193)로부터 공급되는 저해상도 부호화 스트림을 복호하고, 복호 결과 얻어지는 저해상도의 전천구 화상(161)을 배치부(195)에 공급한다.
스텝 S47에 있어서, 디코더(194-2)와 디코더(194-3)는, 각각, 화상 파일 취득부(193)로부터 공급되는 선택 화상의 고해상도 부호화 스트림을 복호한다. 그리고, 디코더(194-2)와 디코더(194-3)는, 복호 결과 얻어지는 선택 화상을 배치부(195)에 공급한다.
스텝 S48에 있어서, 배치부(195)는, MPD 처리부(192)로부터 공급되는 SRD에 기초하여, 디코더(194-1)로부터 공급되는 저해상도의 전천구 화상(161)을 화면 상에 배치하고, 그 후, 디코더(194-2 및 194-3)로부터 공급되는 선택 화상을 중첩한다. 배치부(195)는, 선택 화상이 중첩된 화면을 구에 매핑하고, 그 결과 얻어지는 구 화상을 묘화부(196)에 공급한다.
스텝 S49에 있어서, 묘화부(196)는, 배치부(195)로부터 공급되는 구 화상을, 시선 검출부(197)로부터 공급되는 유저의 시야 범위에 투사 투영함으로써, 표시 화상을 생성한다. 묘화부(196)는, 생성된 화상을 표시 화상으로서, 도시하지 않은 표시 장치에 표시시키고, 처리를 종료한다.
<제2 실시 형태>
(단부 화상의 화상 파일의 세그먼트 구조의 예)
본 개시를 적용한 정보 처리 시스템의 제2 실시 형태는, 단부 화상(173)의 부호화 스트림 중, 좌측 단부 화상(173-1)의 부호화 스트림과 우측 단부 화상(173-2)의 부호화 스트림에 대하여 상이한 level(상세는 후술함)을 설정한다. 이에 의해, SRD의 정의가 도 7의 정의인 경우에, SRD를 사용하여, 좌측 단부 화상(173-1)과 우측 단부 화상(173-2)의 화면(180) 상의 위치를 기술 가능하게 한다.
구체적으로는, 본 개시를 적용한 정보 처리 시스템의 제2 실시 형태는, 파일 생성 장치(11)에서 생성되는 단부 화상(173)의 화상 파일의 세그먼트 구조와 MPD 파일을 제외하고, 제1 실시 형태와 마찬가지이다. 따라서, 이하에서는, 단부 화상(173)의 화상 파일의 세그먼트 구조와 MPD 파일에 대해서만 설명한다.
도 12는, 본 개시를 적용한 정보 처리 시스템의 제2 실시 형태에 있어서의 단부 화상(173)의 화상 파일의 세그먼트 구조의 예를 도시하는 도면이다.
도 12에 도시하는 바와 같이, 단부 화상(173)의 화상 파일에서는, Initial segment가, ftyp 박스와 moov 박스에 의해 구성된다. moov 박스에는, stbl 박스와 mvex 박스가 배치된다.
stbl 박스에는, 단부 화상(173)을 구성하는 좌측 단부 화상(173-1)의 단부 화상(173) 상의 위치를 나타내는 Tile Region Group Entry와, 우측 단부 화상(173-2)의 단부 화상(173) 상의 위치를 나타내는 Tile Region Group Entry가 순서대로 기술되는 sgpd 박스 등이 배치된다. Tile Region Group Entry는, HEVC File Format의 HEVC Tile Track에서 규격화되어 있다.
mvex 박스에는, 선두의 Tile Region Group Entry에 대응하는 좌측 단부 화상(173-1)에 대한 level로서 1을 설정하고, 2번째 Tile Region Group Entry에 대응하는 우측 단부 화상(173-2)에 대한 level로서 2를 설정하는 leva 박스 등이 배치된다.
leva 박스는, 선두의 Tile Region Group Entry에 대응하는 level의 정보, 2번째 Tile Region Group Entry에 대응하는 level의 정보를 순서대로 기술함으로써, 좌측 단부 화상(173-1)에 대한 level로서 1을 설정하고, 우측 단부 화상(173-2)에 대한 level로서 2를 설정한다. level은, MPD 파일로부터, 부호화 스트림의 일부를 지정할 때 인덱스로서 기능하는 것이다.
leva 박스에는, 각 level의 정보로서, level의 설정 대상이, 복수의 트랙에 배치되는 부호화 스트림인지 여부를 나타내는 assignment_type이 기술된다. 도 12의 예에서는, 단부 화상(173)의 부호화 스트림은 하나의 트랙에 배치된다. 따라서, assignment_type은, level의 설정 대상이, 복수의 트랙에 배치되는 부호화 스트림이 아님을 나타내는 0이다.
또한, leva 박스에는, 각 level의 정보로서, 그 level에 대응하는 Tile Region Group Entry의 타입이 기술된다. 도 12의 예에서는, 각 level의 정보로서, sgpd 박스에 기술되는 Tile Region Group Entry의 타입인 「trif」가 기술된다. leva 박스의 상세는, 예를 들어 ISO/IEC 14496-12 ISO base media file format 4th edition, July 2012에 기술되어 있다.
또한, media segment는, sidx 박스, ssix 박스, 및 moof와 mdat의 페어를 포함하는 1 이상의 subsegment에 의해 구성된다. sidx 박스에는, 각 subsegment의 화상 파일 내의 위치를 나타내는 위치 정보가 배치된다. ssix 박스에는, mdat 박스에 배치되는 각 레벨의 부호화 스트림의 위치 정보가 포함된다.
subsegment는, 임의의 시간 길이마다 설정된다. mdat 박스에는, 부호화 스트림이 임의의 시간 길이만큼 통합되어 배치되고, moof 박스에는, 그 부호화 스트림의 관리 정보가 배치된다.
(Tile Region Group Entry의 예)
도 13은, 도 12의 Tile Region Group Entry의 예를 도시하는 도면이다.
Tile Region Group Entry는, 이 Tile Region Group Entry의 ID, 대응하는 영역의 좌측 상방의 부호화 스트림에 대응하는 화상 상의 수평 방향 및 수직 방향의 좌표, 및 부호화 스트림에 대응하는 화상의 수평 방향 및 수직 방향의 사이즈를 순서대로 기술한 것이다.
단부 화상(173)은, 도 13에 도시하는 바와 같이, 960 화소×1080 화소의 우측 단부 화상(173-2)의 우측단에, 960 화소×1080 화소의 좌측 단부 화상(173-1)의 좌측단이 합성된 것이다. 따라서, 좌측 단부 화상(173-1)의 Tile Region Group Entry는 (1, 960, 0, 960, 1080)으로 되고, 우측 단부 화상(173-2)의 Tile Region Group Entry는 (2, 0, 0, 960, 1080)으로 된다.
(MPD 파일의 예)
도 14는, MPD 파일의 예를 도시하는 도면이다.
도 14의 MPD 파일은, 단부 화상(173)의 고해상도 부호화 스트림의 「AdaptationSet」인 5번째 「AdaptationSet」를 제외하고, 도 8의 MPD 파일과 동일하다. 따라서, 5번째 「AdaptationSet」에 대해서만 설명한다.
도 14의 5번째 「AdaptationSet」에는, 단부 화상(173)의 SRD가 기술되지 않고, 「Representation」이 기술된다. 이 「Representation」에는, 단부 화상(173)의 고해상도 부호화 스트림의 화상 파일의 URL 「stream5.mp4」가 기술된다. 또한, 단부 화상(173)의 부호화 스트림에는 level이 설정되므로, 「Representation」에는, level마다 「SubRepresentation」이 기술 가능하게 되어 있다.
따라서, level 「1」의 「SubRepresentation」에는, 좌측 단부 화상(173-1)의 SRD인 <SupplementalProperty schemeIdUri="urn:mpeg:dash:srd:2014" value="1,2880,540,960,1080,3840,2160,2"/>가 기술된다. 이에 의해, 좌측 단부 화상(173-1)의 SRD가, level 「1」에 대응하는 Tile Region Group Entry가 나타내는 좌측 단부 화상(173-1)의 단부 화상(173) 상의 위치와 대응지어 설정된다.
또한, level 「2」의 「SubRepresentation」에는, 우측 단부 화상(173-2)의 SRD인 <SupplementalProperty schemeIdUri="urn:mpeg:dash:srd:2014" value="1,0,540,960,1080,3840,2160,2"/>가 기술된다. 이에 의해, 우측 단부 화상(173-2)의 SRD가, level 「2」에 대응하는 Tile Region Group Entry가 나타내는 우측 단부 화상(173-2)의 단부 화상(173) 상의 위치와 대응지어 설정된다.
이상과 같이, 제2 실시 형태에서는, 좌측 단부 화상(173-1)과 우측 단부 화상(173-2)에 대하여 상이한 level이 설정된다. 따라서, 부호화 스트림에 대응하는 단부 화상(173)을 구성하는 좌측 단부 화상(173-1)과 우측 단부 화상(173-2)의 각각의 화면(180) 상의 위치를 SRD로 기술할 수 있다.
스트리밍 재생부(190)는, MPD 파일에 설정된 level 「1」의 SRD에 기초하여, 복호된 단부 화상(173) 중, level 「1」에 대응하는 Tile Region Group Entry가 나타내는 위치의 좌측 단부 화상(173-1)을 화면(180) 상에 배치한다. 또한, 스트리밍 재생부(190)는, MPD 파일에 설정된 level 「2」의 SRD에 기초하여, 복호된 단부 화상(173) 중, level 「2」에 대응하는 Tile Region Group Entry가 나타내는 위치의 우측 단부 화상(173-2)을 화면(180) 상에 배치한다.
또한, 제2 실시 형태에서는, 단부 화상(173)의 부호화 스트림은, 하나의 트랙에 배치되었지만, 좌측 단부 화상(173-1)과 우측 단부 화상(173-2)이 HEVC 방식에서 상이한 타일로서 부호화되는 경우에는, 각각의 슬라이스 데이터가 상이한 트랙에 배치되어도 된다.
(트랙 구조의 예)
도 15는, 좌측 단부 화상(173-1)과 우측 단부 화상(173-2)의 슬라이스 데이터가 상이한 트랙에 배치되는 경우의 트랙 구조의 예를 도시하는 도면이다.
좌측 단부 화상(173-1)과 우측 단부 화상(173-2)의 슬라이스 데이터가 상이한 트랙에 배치되는 경우, 도 15에 도시하는 바와 같이, 단부 화상(173)의 화상 파일에는, 3개의 트랙이 배치된다.
각 트랙의 track 박스에는, Track Reference가 배치된다. Track Reference는, 대응하는 트랙의 다른 트랙과의 참조 관계를 나타낸다. 구체적으로는, Track Reference는, 참조 관계에 있는 다른 트랙의 트랙에 고유한 ID(이하, 트랙 ID라고 함)를 나타낸다. 또한, 각 트랙의 샘플은, 샘플 엔트리(Sample Entry)에 의해 관리된다.
트랙 ID가 1인 트랙은, 단부 화상(173)의 부호화 스트림 중 슬라이스 데이터를 포함하지 않는 베이스 트랙이다. 구체적으로는, 베이스 트랙의 샘플로서는, 단부 화상(173)의 부호화 스트림 중 VPS(Video Parameter Set), SPS(Sequence Parameter Set), SEI(Supplemental Enhancement Information), PPS(Picture Parameter Set) 등의 파라미터 세트가 배치된다. 또한, 베이스 트랙의 샘플로서는, 베이스 트랙 이외의 트랙의 샘플 단위의 extractor가 서브 샘플로서 배치된다. extractor는, extractor의 종별, 대응하는 트랙의 샘플의 파일 내의 위치와 사이즈를 나타내는 정보 등에 의해 구성된다.
트랙 ID가 2인 트랙은, 단부 화상(173)의 부호화 스트림 중 좌측 단부 화상(173-1)의 슬라이스 데이터를 샘플로서 포함하는 트랙이다. 트랙 ID가 3인 트랙은, 단부 화상(173)의 부호화 스트림 중 우측 단부 화상(173-2)의 슬라이스 데이터를 샘플로서 포함하는 트랙이다.
(leva 박스의 예)
좌측 단부 화상(173-1)과 우측 단부 화상(173-2)의 슬라이스 데이터가 상이한 트랙에 배치되는 경우의 단부 화상(173)의 화상 파일의 세그먼트 구조는, leva 박스를 제외하고, 도 12의 세그먼트 구조와 동일하다. 따라서, 이하에서는 leva 박스에 대해서만 설명한다.
도 16은, 좌측 단부 화상(173-1)과 우측 단부 화상(173-2)의 슬라이스 데이터가 상이한 트랙에 배치되는 경우의 단부 화상(173)의 화상 파일의 leva 박스의 예를 도시하는 도면이다.
도 16에 도시하는 바와 같이, 좌측 단부 화상(173-1)과 우측 단부 화상(173-2)의 슬라이스 데이터가 상이한 트랙에 배치되는 경우의 단부 화상(173)의 화상 파일의 leva 박스는, 트랙 ID 「1」 내지 「3」의 각 트랙에 대하여 순서대로 level 「1」 내지 「3」을 설정한다.
도 16의 leva 박스는, 각 level의 정보로서, 그 level이 설정되는 단부 화상(173) 내의 영역의 슬라이스 데이터를 포함하는 트랙의 트랙 ID를 기술한다. 도 16의 예에서는, level 「1」, 「2」, 「3」의 정보로서, 각각, 트랙 ID 「1」, 「2」, 「3」이 기술된다.
또한, 도 16의 경우, level의 설정 대상인 단부 화상(173)의 부호화 스트림의 슬라이스 데이터가, 복수의 트랙에 배치된다. 따라서, 각 level의 level 정보에 포함되는 assignment_type은, level의 설정 대상이, 복수의 트랙에 배치되는 부호화 스트림임을 나타내는 2 또는 3이다.
또한, 도 16의 경우, level 「1」에 대응하는 Tile Region Group Entry는 존재하지 않는다. 따라서, level 「1」의 정보에 포함되는 Tile Region Group Entry의 타입은, Tile Region Group Entry가 존재하지 않음을 나타내는 grouping_type 「0」이다. 한편, level 「2」 및 「3」에 대응하는 Tile Region Group Entry는, sgpd 박스에 포함되는 Tile Region Group Entry이다. 따라서, level 「2」 및 「3」의 정보에 포함되는 Tile Region Group Entry의 타입은, sgpd 박스에 포함되는 Tile Region Group Entry의 타입인 「trif」이다.
(MPD 파일의 다른 예)
도 17은, 좌측 단부 화상(173-1)과 우측 단부 화상(173-2)의 슬라이스 데이터가 상이한 트랙에 배치되는 경우의 MPD 파일의 예를 도시하는 도면이다.
도 17의 MPD 파일은, 5번째 「AdaptationSet」의 각 「SubRepresentation」의 element를 제외하고, 도 14의 MPD 파일과 동일하다.
구체적으로는, 도 17의 MPD 파일에서는, 5번째 「AdaptationSet」의 1번째 「SubRepresentation」이 level 「2」의 「SubRepresentation」이다. 따라서, 「SubRepresentation」의 요소로서, level 「2」가 기술된다.
또한, level 「2」에 대응하는 트랙 ID 「2」의 트랙은, 트랙 ID 「1」의 베이스 트랙과 의존 관계에 있다. 따라서, 「SubRepresentation」의 요소로서 기술되는, 의존 관계에 있는 트랙에 대응하는 level을 나타내는 dependencyLevel이 「1」로 설정된다.
또한, level 「2」에 대응하는 트랙 ID 「2」의 트랙은, HEVC Tile Track이다. 따라서, 「SubRepresentation」의 요소로서 기술되는, 부호화의 종류를 나타내는 codecs가, HEVC Tile Track을 나타내는 「hvt1.1.2.H93.B0」으로 설정된다.
또한, 도 17의 MPD 파일에서는, 5번째 「AdaptationSet」의 2번째 「SubRepresentation」이 level 「3」의 「SubRepresentation」이다. 따라서, 「SubRepresentation」의 요소로서, level 「3」이 기술된다.
또한, level 「3」에 대응하는 트랙 ID 「3」의 트랙은, 트랙 ID 「1」의 베이스 트랙과 의존 관계에 있다. 따라서, 「SubRepresentation」의 요소로서 기술되는 dependencyLevel이 「1」로 설정된다.
또한, level 「3」에 대응하는 트랙 ID 「3」의 트랙은, HEVC Tile Track이다. 따라서, 「SubRepresentation」의 요소로서 기술되는 codecs가 「hvt1.1.2.H93.B0」으로 설정된다.
상술한 바와 같이, 좌측 단부 화상(173-1)과 우측 단부 화상(173-2)이 상이한 타일로서 부호화되는 경우, 도 10의 디코더(194-2) 또는 디코더(194-3)는, 좌측 단부 화상(173-1)과 우측 단부 화상(173-2)을 독립하여 복호할 수 있다. 또한, 좌측 단부 화상(173-1)과 우측 단부 화상(173-2)의 슬라이스 데이터가 상이한 트랙에 배치되는 경우, 좌측 단부 화상(173-1)과 우측 단부 화상(173-2)의 슬라이스 데이터 중 어느 한쪽만을 취득할 수 있다. 따라서, MPD 처리부(192)는, 좌측 단부 화상(173-1)과 우측 단부 화상(173-2) 중 한쪽만을 선택 화상으로서 선택할 수 있다.
또한, 상술한 설명에서는, 상이한 타일로서 부호화된 좌측 단부 화상(173-1)과 우측 단부 화상(173-2)의 슬라이스 데이터가 상이한 트랙에 배치되도록 하였지만, 하나의 트랙에 배치되도록 해도 된다.
또한, 제1 및 제2 실시 형태에서는, 동화상 콘텐츠의 화상이 전천구 화상이도록 하였지만, 파노라마 화상이어도 된다.
<제3 실시 형태>
(정보 처리 시스템의 제3 실시 형태의 구성예)
도 18은, 본 개시를 적용한 정보 처리 시스템의 제3 실시 형태의 구성예를 도시하는 블록도이다.
도 18에 도시하는 구성 중, 도 1의 구성과 동일한 구성에는 동일한 부호를 부여하고 있다. 중복되는 설명에 대해서는 적절히 생략한다.
도 18의 정보 처리 시스템(210)의 구성은, 파일 생성 장치(11) 대신에, 파일 생성 장치(211)가 설치된다는 점이, 도 1의 정보 처리 시스템(10)의 구성과 상이하다.
정보 처리 시스템(210)에서는, MPEG-DASH에 준하는 방식으로, Web 서버(12)가, 동화상 콘텐츠의 화상으로서의 모자이크 화상의 부호화 스트림을, 동화상 재생 단말기(14)에 배신한다. 모자이크 화상이란, 복수의 방송 프로그램 등의 동화상의 섬네일 화상으로 구성되는 화상이다.
정보 처리 시스템(210)의 파일 생성 장치(211)는, 복수의 부호화 속도(비트 레이트)로 모자이크 화상을 부호화하고, 부호화 스트림을 생성한다. 파일 생성 장치(211)는, 세그먼트라고 불리는 수초 내지 10초 정도의 시간 단위마다, 각 부호화 속도의 부호화 스트림을 파일화하고, 화상 파일을 생성한다. 파일 생성 장치(211)는, 생성된 화상 파일을 Web 서버(12)에 업로드한다.
또한, 파일 생성 장치(211)(설정부)는, 화상 파일 등을 관리하는 MPD 파일(관리 파일)을 생성한다. 파일 생성 장치(211)는, MPD 파일을 Web 서버(12)에 업로드한다.
(파일 생성 장치의 구성예)
도 19는, 도 18의 파일 생성 장치(211)의 구성예를 도시하는 블록도이다.
도 19의 파일 생성 장치(211)는, 부호화 처리부(231), 화상 파일 생성부(232), MPD 생성부(233) 및 서버 업로드 처리부(234)에 의해 구성된다.
파일 생성 장치(211)의 부호화 처리부(231)는, 동화상 콘텐츠의 화상으로서의 모자이크 화상을, 복수의 부호화 속도로 부호화하고, 부호화 스트림을 생성한다. 부호화 처리부(231)는, 각 부호화 속도의 부호화 스트림을 화상 파일 생성부(232)에 공급한다.
화상 파일 생성부(232)는, 부호화 처리부(231)로부터 공급되는 각 부호화 속도의 부호화 스트림을, 세그먼트마다 파일화하고, 화상 파일을 생성한다. 화상 파일 생성부(232)는, 생성된 화상 파일을 MPD 생성부(233)에 공급한다.
MPD 생성부(233)는, 화상 파일 생성부(232)로부터 공급되는 화상 파일을 저장하는 Web 서버(12)의 URL 등을 결정한다. 그리고, MPD 생성부(233)는, 화상 파일의 URL 등을 포함하는 MPD 파일을 생성한다. MPD 생성부(233)는, 생성된 MPD 파일과 화상 파일을 서버 업로드 처리부(234)에 공급한다.
서버 업로드 처리부(234)는, MPD 생성부(233)로부터 공급되는 화상 파일과 MPD 파일을, 도 18의 Web 서버(12)에 업로드한다.
(모자이크 화상의 예)
도 20은, 모자이크 화상의 예를 도시하는 도면이다.
도 20의 예에서는, 모자이크 화상(250)은, 좌측 상방의 섬네일 화상(251), 우측 상방의 섬네일 화상(252), 좌측 하방의 섬네일 화상(252), 및 우측 하방의 섬네일 화상(254)에 의해 구성된다. 모자이크 화상(250)의 해상도는, 2k(1920 화소×1080 화소)이며, 섬네일 화상(251 내지 254)의 해상도는, 모두 960 화소×540 화소이다.
(sgpd 박스와 leva 박스의 예)
파일 생성 장치(211)에 의해 생성되는 도 20의 모자이크 화상(250)의 화상 파일의 세그먼트 구조는, sgpd 박스와 leva 박스를 제외하고, 도 12의 세그먼트 구조와 동일하다. 따라서, 이하에서는, sgpd 박스와 leva 박스에 대해서만 설명한다.
도 21은, 도 20의 모자이크 화상(250)의 화상 파일의 sgpd 박스와 leva 박스의 예를 도시하는 도면이다.
모자이크 화상(250)은, 4개의 섬네일 화상(251 내지 254)에 의해 구성되므로, 도 21에 도시하는 바와 같이, 모자이크 화상(250)의 화상 파일의 sgpd 박스에는, 4개의 Tile Region Group Entry가 기술된다.
도 21의 예에서는, 선두의 Tile Region Group Entry는, 섬네일 화상(251)에 대응하고, (1, 0, 0, 960, 540)이다. 2번째 Tile Region Group Entry는, 섬네일 화상(252)에 대응하고, (2, 960, 0, 960, 540)이다. 3번째 Tile Region Group Entry는, 섬네일 화상(253)에 대응하고, (3, 0, 540, 960, 540)이다. 4번째 Tile Region Group Entry는, 섬네일 화상(254)에 대응하고, (4, 960, 540, 960, 540)이다.
또한, leva 박스는, 각 Tile Region Group Entry에 대응하는 level의 정보를, 선두의 Tile Region Group Entry에 대응하는 level의 정보로부터 순서대로 기술한다. 이에 의해, 섬네일 화상(251)에 대한 level이 1로 설정되고, 섬네일 화상(252)에 대한 level이 2로 설정되고, 섬네일 화상(253)에 대한 level이 3으로 설정되고, 섬네일 화상(254)에 대한 level이 4로 설정된다.
각 level의 정보로서 기술되는 assignment_type은 0으로 설정되고, Tile Region Group Entry의 타입은, sgpd 박스에 기술되는 Tile Region Group Entry의 타입인 「trif」로 설정된다.
(MPD 파일의 제1 예)
도 22는, 도 18의 파일 생성 장치(211)에 의해 생성되는, 모자이크 화상(250)의 화상 파일에 대응하는 MPD 파일의 제1 예를 도시하는 도면이다.
도 22에 도시하는 바와 같이, MPD 파일에서는, 부호화 스트림마다 「AdaptationSet」가 기술된다. 또한, 「AdaptationSet」에는 「Representation」이 기술되고, 「Representation」에는, 모자이크 화상(250)의 부호화 스트림의 화상 파일의 URL 「stream.mp4」가 기술된다. 또한, 모자이크 화상(250)의 부호화 스트림에는 level이 설정되므로, 「Representation」에는, level마다 「SubRepresentation」이 기술 가능하게 되어 있다.
따라서, level 「1」의 「SubRepresentation」에는, 섬네일 화상(251)의 SRD인 <SupplementalProperty schemeIdUri="urn:mpeg:dash:srd:2014" value="1,0,0,960,540,1920,1080"/>가 기술된다. 이에 의해, 섬네일 화상(251)의 SRD가, level 「1」에 대응하는 Tile Region Group Entry가 나타내는 섬네일 화상(251)의 모자이크 화상(250) 상의 위치와 대응지어 설정된다.
또한, level 「2」의 「SubRepresentation」에는, 섬네일 화상(252)의 SRD인 <SupplementalProperty schemeIdUri="urn:mpeg:dash:srd:2014" value="1,960,0,960,540,1920,1080"/>가 기술된다. 이에 의해, 섬네일 화상(252)의 SRD가, level 「2」에 대응하는 Tile Region Group Entry가 나타내는 섬네일 화상(252)의 모자이크 화상(250) 상의 위치와 대응지어 설정된다.
또한, level 「3」의 「SubRepresentation」에는, 섬네일 화상(253)의 SRD인 <SupplementalProperty schemeIdUri="urn:mpeg:dash:srd:2014" value="1,0,540,960,540,1920,1080"/>가 기술된다. 이에 의해, 섬네일 화상(253)의 SRD가, level 「3」에 대응하는 Tile Region Group Entry가 나타내는 섬네일 화상(253)의 모자이크 화상(250) 상의 위치와 대응지어 설정된다.
또한, level 「4」의 「SubRepresentation」에는, 섬네일 화상(254)의 SRD인 <SupplementalProperty schemeIdUri="urn:mpeg:dash:srd:2014" value="1,960,540,960,540,1920,1080"/>가 기술된다. 이에 의해, 섬네일 화상(254)의 SRD가, level 「4」에 대응하는 Tile Region Group Entry가 나타내는 섬네일 화상(254)의 모자이크 화상(250) 상의 위치와 대응지어 설정된다.
이상과 같이, 도 22의 MPD 파일에서는, Tile Region Group Entry가 나타내는 모자이크 화상(250)의 수평 방향 및 수직 방향의 사이즈와, SRD가 나타내는 화면의 수평 방향 및 수직 방향의 사이즈가 동일하다. 또한, 각 level에 대응하는 Tile Region Group Entry가 나타내는 모자이크 화상(250) 상의 수평 방향 및 수직 방향의 좌표와, 그 level에 대응하는 SRD가 나타내는 화면 상의 수평 방향 및 수직 방향의 위치가 동일하다. 따라서, 도 22의 MPD 파일이 생성되는 경우, SRD에 기초하여 복호된 섬네일 화상(251 내지 254)이 배치된 화면은, 모자이크 화상(250)과 동일하게 된다.
또한, 각 level의 「SubRepresentation」에는, 그 level의 섬네일 화상(251 내지 254)에 대응하는 동화상의 URL도 기술된다. 구체적으로는, level 「1」의 「SubRepresentation」에는, 섬네일 화상(251)에 대응하는 동화상의 URL 「http://example.com/a_service/my.mpd」가 기술된다. 또한, level 「2」의 「SubRepresentation」에는, 섬네일 화상(252)에 대응하는 동화상의 URL 「http://example.com/b_service/my.mpd」가 기술된다.
또한, level 「3」의 「SubRepresentation」에는, 섬네일 화상(253)에 대응하는 동화상의 URL 「http://example.com/c_service/my.mpd」가 기술된다. 또한, level 「4」의 「SubRepresentation」에는, 섬네일 화상(254)에 대응하는 동화상의 URL 「http://example.com/d_service/my.mpd」가 기술된다.
(MPD 파일의 제2 예)
도 23은, 도 18의 파일 생성 장치(211)에 의해 생성되는, 모자이크 화상(250)의 화상 파일에 대응하는 MPD 파일의 제2 예를 도시하는 도면이다.
또한, 도 23의 MPD 파일은, 각 level의 「SubRepresentation」에 기술되는 SRD만이 도 22의 MPD와 상이하다.
즉, 도 23의 MPD 파일에서는, level 「3」의 「SubRepresentation」에는, 섬네일 화상(253)의 SRD인 SupplementalProperty schemeIdUri="urn:mpeg:dash:srd:2014" value="1,0,0,960,540,1920,1080"/>가 기술된다.
또한, level 「4」의 「SubRepresentation」에는, 섬네일 화상(254)의 SRD인 <SupplementalProperty schemeIdUri="urn:mpeg:dash:srd:2014" value="1,960,0,960,540,1920,1080"/>가 기술된다.
또한, level 「1」의 「SubRepresentation」에는, 섬네일 화상(251)의 SRD인 <SupplementalProperty schemeIdUri="urn:mpeg:dash:srd:2014" value="1,0,540,960,540,1920,1080"/>가 기술된다.
또한, level 「2」의 「SubRepresentation」에는, 섬네일 화상(252)의 SRD인 <SupplementalProperty schemeIdUri="urn:mpeg:dash:srd:2014" value="1,960,540,960,540,1920,1080"/>가 기술된다.
이상과 같이, 도 23의 MPD 파일에서는, 도 22의 MPD 파일과 마찬가지로, Tile Region Group Entry가 나타내는 모자이크 화상(250)의 수평 방향 및 수직 방향의 사이즈와, SRD가 나타내는 화면의 수평 방향 및 수직 방향의 사이즈가 동일하다.
그러나, 각 level에 대응하는 Tile Region Group Entry가 나타내는 모자이크 화상(250) 상의 수평 방향 및 수직 방향의 좌표와, 그 level에 대응하는 SRD가 나타내는 화면 상의 수평 방향 및 수직 방향의 위치가 상이하다. 따라서, 도 23의 MPD 파일이 생성되는 경우, SRD에 기초하여 복호된 섬네일 화상(251 내지 254)이 배치된 화면은, 모자이크 화상(250)과 상이하다.
(섬네일 화상이 배치된 화면의 예)
도 24는, 도 23의 MPD 파일에 기술된 SRD에 기초하여 복호된 섬네일 화상(251 내지 254)이 배치된 화면의 예를 도시하는 도면이다.
도 23의 MPD 파일에 기술된 섬네일 화상(251)의 SRD는, 섬네일 화상(251)의 좌측 상방의, 1920 화소×1080 화소를 포함하는 화면(270) 상의 좌표가 (0,540)이다. 따라서, 도 24에 도시하는 바와 같이, 섬네일 화상(251)은, 화면(270)의 좌측 하방에 배치된다.
또한, 섬네일 화상(252)의 SRD는, 섬네일 화상(252)의 좌측 상방의 화면(270) 상의 좌표가 (960,0)이다. 따라서, 도 24에 도시하는 바와 같이, 섬네일 화상(252)은, 화면(270)의 우측 하방에 배치된다.
또한, 섬네일 화상(253)의 SRD는, 섬네일 화상(253)의 좌측 상방의, 1920 화소×1080 화소를 포함하는 화면(270) 상의 좌표가 (0,0)이다. 따라서, 도 24에 도시하는 바와 같이, 섬네일 화상(253)은, 화면(270)의 좌측 상방에 배치된다.
또한, 섬네일 화상(254)의 SRD는, 섬네일 화상(254)의 좌측 상방의 화면(270) 상의 좌표가 (960,0)이다. 따라서, 도 24에 도시하는 바와 같이, 섬네일 화상(254)은, 화면(270)의 우측 상방에 배치된다.
이상과 같이, 도 23의 MPD 파일에 의해, 표시 시에, 섬네일 화상(251 내지 254)의 배치를, 부호화 대상의 모자이크 화상(250)에 있어서의 배치로부터, 화면(270)에 있어서의 배치로 변경할 수 있다.
(파일 생성 장치의 처리의 설명)
도 25는, 도 19의 파일 생성 장치(211)의 파일 생성 처리를 설명하는 흐름도이다.
도 25의 스텝 S191에 있어서, 부호화 처리부(231)는, 동화상 콘텐츠의 화상으로서의 모자이크 화상을 복수의 부호화 속도로 부호화하고, 부호화 스트림을 생성한다. 부호화 처리부(231)는, 각 부호화 속도의 부호화 스트림을 화상 파일 생성부(232)에 공급한다.
스텝 S192에 있어서, 화상 파일 생성부(232)는, 부호화 처리부(231)로부터 공급되는 각 부호화 속도의 부호화 스트림을, 세그먼트마다 파일화하고, 화상 파일을 생성한다. 화상 파일 생성부(232)는, 생성된 화상 파일을 MPD 생성부(233)에 공급한다.
스텝 S193에 있어서, MPD 생성부(233)는, 화상 파일의 URL 등을 포함하는 MPD 파일을 생성한다. MPD 생성부(233)는, 생성된 MPD 파일과 화상 파일을 서버 업로드 처리부(234)에 공급한다.
스텝 S194에 있어서, 서버 업로드 처리부(234)는, MPD 생성부(233)로부터 공급되는 화상 파일과 MPD 파일을, Web 서버(12)에 업로드한다. 그리고, 처리는 종료한다.
(동화상 재생 단말기의 기능적 구성예)
도 26은, 도 18의 동화상 재생 단말기(14)가 제어용 소프트웨어(21), 동화상 재생 소프트웨어(22) 및 액세스용 소프트웨어(23)를 실행함으로써 실현되는 스트리밍 재생부의 구성예를 도시하는 블록도이다.
또한, 도 26에 도시하는 구성 중, 도 10의 구성과 동일한 구성에는 동일한 부호를 부여하고 있다. 중복되는 설명에 대해서는 적절히 생략한다.
도 26의 스트리밍 재생부(290)는, MPD 취득부(191), MPD 처리부(292), 화상 파일 취득부(293), 디코더(294), 표시 제어부(295), 접수부(296) 및 동화상 취득부(297)에 의해 구성된다.
스트리밍 재생부(290)의 MPD 처리부(292)는, MPD 취득부(191)로부터 공급되는 MPD 파일로부터 재생 대상의 세그먼트의 화상 파일의 URL 등의 정보를 추출하고, 화상 파일 취득부(293)에 공급한다. 또한, MPD 처리부(292)는, MPD 파일을 동화상 취득부(297)에 공급한다. 또한, MPD 처리부(292)는, MPD 파일로부터 재생 대상의 세그먼트의 모자이크 화상의 각 분할 화상의 SRD를 추출하고, 표시 제어부(295)에 공급한다.
화상 파일 취득부(293)는, MPD 처리부(292)로부터 공급되는 URL로 특정되는 화상 파일의 부호화 스트림을, Web 서버(12)에 요구하고, 취득한다. 화상 파일 취득부(293)는, 취득된 부호화 스트림을 디코더(294)에 공급한다.
디코더(294)는, 화상 파일 취득부(293)로부터 공급되는 부호화 스트림을 복호한다. 디코더(294)는, 복호 결과 얻어지는 모자이크 화상을 표시 제어부(295)에 공급한다.
표시 제어부(295)(배치부)는, MPD 처리부(292)로부터 공급되는 SRD에 기초하여, 디코더(294)로부터 공급되는 모자이크 화상의 각 분할 화상을 화면 상에 배치한다. 또한, 표시 제어부(295)는, 각 분할 화상에 배치된 화면에 커서 등을 중첩하여, 도시하지 않은 표시 장치에 공급하고, 표시시킨다.
또한, 표시 제어부(295)는, 접수부(296)로부터 공급되는 화면의 소정의 영역의 확대 지시에 따라, 모자이크 화상이 배치된 화면 중, 그 영역에 포함되는 섬네일 화상만으로 이루어지는 부분 모자이크 화상의 사이즈를, 화면 사이즈로 확대한다. 그리고, 표시 제어부(295)는, 확대된 부분 모자이크 화상이 배치된 화면 내의 소정의 섬네일 화상에 커서 등을 중첩하여, 도시하지 않은 표시 장치에 공급하고, 표시시킨다.
또한, 표시 제어부(295)는, 동화상 취득부(297)로부터 공급되는, 표시 중인 섬네일 화상 중 하나에 대응하는 동화상을, 도시하지 않은 표시 장치에 공급하고, 표시시킨다.
접수부(296)는, 유저 등으로부터의 지시를 접수하고, 그 지시를 동화상 취득부(297) 또는 표시 제어부(295)에 공급한다.
동화상 취득부(297)는, 접수부(296)로부터 공급되는 소정의 위치의 지시에 따라, MPD 처리부(292)로부터 공급되는 MPD 파일로부터, 그 위치에 대응하는 동화상의 URL을 취득한다. 동화상 취득부(297)는, 취득된 URL에 기초하여, Web 서버(12) 등으로부터 동화상을 취득하고, 표시 제어부(295)에 공급한다.
(재생 처리의 개요)
도 27은, 도 26의 스트리밍 재생부(290)에 의한 재생 처리의 개요를 설명하는 도면이다.
도 27의 좌측에 도시하는 바와 같이, 표시 제어부(295)는, 우선, 화면에 배치된 모자이크 화상(310)을 구성하는 4×4개의 섬네일 화상(311) 중, 소정의 섬네일 화상(311)에 커서(312)를 중첩하고, 도시하지 않은 표시 장치에 표시시킨다.
이때, 유저는, 커서(312)가 중첩된 모자이크 화상(310)의 화면을 보면서, 원하는 영역의 확대 지시를 행한다. 도 27의 예에서는, 유저는, 모자이크 화상(310)이 배치된 화면의 우측 상방의 2×2개의 섬네일 화상(311)의 영역의 확대 지시를 행하고 있다.
표시 제어부(295)는, 이 확대 지시에 따라, 모자이크 화상(310)이 배치된 화면 중 우측 상방의 2×2개의 섬네일 화상(311)만으로 이루어지는 부분 모자이크 화상(313)의 사이즈를, 화면 사이즈로 확대한다. 그리고, 도 27의 중앙에 도시하는 바와 같이, 표시 제어부(295)는, 확대된 부분 모자이크 화상(313)이 배치된 화면 내의 소정의 섬네일 화상(311)에 커서(314)를 중첩하고, 도시하지 않은 표시 장치에 표시시킨다.
이때, 유저는, 커서(314)를 원하는 섬네일 화상(311)으로 이동시키고, 더블 탭 등의 조작을 행함으로써, 커서(314)의 위치를 지시한다. 도 27의 예에서는, 유저는, 우측 상방의 섬네일 화상(311)의 위치를 지시하고 있다.
동화상 취득부(297)는, 그 지시에 따라, MPD 파일로부터, 지시된 부분 모자이크 화상(313) 상의 위치에 대응하는 모자이크 화상(310)의 화면 상의 위치를 나타내는 SRD에 대응하는 동화상의 URL을, 지시된 위치에 대응하는 동화상의 URL로서 취득한다. 그리고, 동화상 취득부(297)는, 취득된 URL에 기초하여, Web 서버(12) 등으로부터 동화상(315)을 취득하고, 표시 제어부(295)에 공급한다. 이에 의해, 도 27의 우측에 도시하는 바와 같이, 표시 제어부(295)는, 동화상(315)을 도시하지 않은 표시 장치에 표시시킨다.
(동화상 재생 단말기의 처리의 설명)
도 28은, 도 26의 스트리밍 재생부(290)의 재생 처리를 설명하는 흐름도이다.
도 28의 스텝 S211에 있어서, 스트리밍 재생부(290)의 MPD 취득부(191)는, Web 서버(12)로부터 MPD 파일을 취득하고, MPD 처리부(292)에 공급한다.
스텝 S212에 있어서, MPD 처리부(292)는, MPD 취득부(191)로부터 공급되는 MPD 파일이나 재생 대상의 세그먼트의 화상 파일의 URL 등의 정보를 추출하고, 화상 파일 취득부(293)에 공급한다. 또한, MPD 처리부(292)는, MPD 파일을 동화상 취득부(297)에 공급한다. 또한, MPD 처리부(292)는, MPD 파일로부터 재생 대상의 세그먼트의 모자이크 화상의 각 분할 화상의 SRD를 추출하고, 표시 제어부(295)에 공급한다.
스텝 S213에 있어서, 화상 파일 취득부(293)는, MPD 처리부(292)로부터 공급되는 URL에 기초하여, 그 URL로 특정되는 화상 파일의 부호화 스트림을, Web 서버(12)에 요구하고, 취득한다. 화상 파일 취득부(293)는, 취득된 부호화 스트림을 디코더(294)에 공급한다.
스텝 S214에 있어서, 디코더(294)는, 화상 파일 취득부(293)로부터 공급되는 부호화 스트림을 복호한다. 디코더(294)는, 복호 결과 얻어지는 모자이크 화상을 표시 제어부(295)에 공급한다.
스텝 S215에 있어서, 표시 제어부(295)는, MPD 처리부(292)로부터의 SRD에 기초하여, 디코더(294)로부터의 모자이크 화상의 각 분할 화상을 화면 상에 배치하고, 그 화면에 커서 등을 중첩하여, 도시하지 않은 표시 장치에 공급하고, 표시시킨다.
스텝 S216에 있어서, 접수부(296)는, 유저로부터의 화면의 소정의 영역의 확대 지시를 접수하였는지 여부를 판정한다. 스텝 S216에서 화면의 소정의 영역의 확대 지시를 접수하지 않았다고 판정된 경우, 접수부(296)는, 화면의 소정의 영역의 확대 지시를 접수할 때까지 대기한다.
한편, 스텝 S216에서 화면의 소정의 영역의 확대 지시를 접수하였다고 판정된 경우, 접수부(296)는, 그 확대 지시를 표시 제어부(295)에 공급한다. 그리고, 스텝 S217에 있어서, 표시 제어부(295)는, 접수부(296)로부터 공급되는 확대 지시에 따라, 모자이크 화상이 배치된 화면 중, 확대 지시된 영역에 포함되는 섬네일 화상만으로 이루어지는 부분 모자이크 화상의 사이즈를, 화면 사이즈로 확대한다.
스텝 S218에 있어서, 표시 제어부(295)는, 확대된 부분 모자이크 화상이 배치된 화면 내의 소정의 섬네일 화상에 커서 등을 중첩하여, 도시하지 않은 표시 장치에 공급하고, 표시시킨다. 이때, 유저는, 커서를 원하는 섬네일 화상으로 이동시키고, 더블 탭 등의 조작을 행함으로써, 화면 상의 커서의 위치를 지시한다.
스텝 S219에 있어서, 접수부(296)는, 유저로부터의 화면 상의 위치의 지시를 접수하였는지 여부를 판정한다. 스텝 S219에서 화면 상의 위치의 지시를 접수하지 않았다고 판정된 경우, 접수부(296)는, 화면 상의 위치의 지시를 접수할 때까지 대기한다.
한편, 스텝 S219에서 화면 상의 위치의 지시를 접수하였다고 판정된 경우, 접수부(296)는, 그 지시를 동화상 취득부(297)에 공급한다. 그리고, 스텝 S220에 있어서, 동화상 취득부(297)는, 접수부(296)로부터 공급되는 지시에 따라, MPD 처리부(292)로부터 공급되는 MPD 파일로부터, 지시된 위치에 대응하는 동화상의 URL을 취득한다.
스텝 S221에 있어서, 동화상 취득부(297)는, 취득된 URL에 기초하여, Web 서버(12) 등으로부터 동화상을 취득하고, 표시 제어부(295)에 공급한다.
스텝 S222에 있어서, 표시 제어부(295)는, 동화상 취득부(297)로부터 공급되는 동화상을, 도시하지 않은 표시 장치에 공급하고, 표시시킨다. 그리고, 처리는 종료한다.
또한, 제3 실시 형태에서는, 모자이크 화상의 표시 후에 부분 모자이크 화상이 표시되고, 유저에 의해 부분 모자이크 화상 상의 위치가 지시되도록 하였지만, 부분 모자이크 화상은 표시되지 않고, 모자이크 화상 상의 위치가 직접 유저에 의해 지시되도록 해도 된다.
<제4 실시 형태>
(본 개시를 적용한 컴퓨터의 설명)
상술한 일련의 처리는, 하드웨어에 의해 실행할 수도 있고, 소프트웨어에 의해 실행할 수도 있다. 일련의 처리를 소프트웨어에 의해 실행하는 경우에는, 그 소프트웨어를 구성하는 프로그램이, 컴퓨터에 인스톨된다. 여기서, 컴퓨터에는, 전용의 하드웨어에 내장되어 있는 컴퓨터나, 각종 프로그램을 인스톨함으로써, 각종 기능을 실행하는 것이 가능한, 예를 들어 범용의 퍼스널 컴퓨터 등이 포함된다.
도 29는, 상술한 일련의 처리를 프로그램에 의해 실행하는 컴퓨터의 하드웨어의 구성예를 도시하는 블록도이다.
컴퓨터(900)에 있어서, CPU(Central Processing Unit)(901), ROM(Read Only Memory)(902), RAM(Random Access Memory)(903)은, 버스(904)에 의해 서로 접속되어 있다.
버스(904)에는, 또한 입출력 인터페이스(905)가 접속되어 있다. 입출력 인터페이스(905)에는, 입력부(906), 출력부(907), 기억부(908), 통신부(909) 및 드라이브(910)가 접속되어 있다.
입력부(906)는, 키보드, 마우스, 마이크로폰 등을 포함한다. 출력부(907)는, 디스플레이, 스피커 등을 포함한다. 기억부(908)는, 하드디스크나 불휘발성의 메모리 등을 포함한다. 통신부(909)는, 네트워크 인터페이스 등을 포함한다. 드라이브(910)는, 자기 디스크, 광디스크, 광자기 디스크, 또는 반도체 메모리 등의 리무버블 미디어(911)를 구동한다.
이상과 같이 구성되는 컴퓨터(900)에서는, CPU(901)가, 예를 들어 기억부(908)에 기억되어 있는 프로그램을, 입출력 인터페이스(905) 및 버스(904)를 통하여, RAM(903)에 로드하여 실행함으로써, 상술한 일련의 처리가 행해진다.
컴퓨터(900)(CPU(901))가 실행하는 프로그램은, 예를 들어 패키지 미디어 등으로서의 리무버블 미디어(911)에 기록하여 제공할 수 있다. 또한, 프로그램은, 로컬 에어리어 네트워크, 인터넷, 디지털 위성 방송과 같은, 유선 또는 무선의 전송 매체를 통하여 제공할 수 있다.
컴퓨터(900)에서는, 프로그램은, 리무버블 미디어(911)를 드라이브(910)에 장착함으로써, 입출력 인터페이스(905)를 통하여, 기억부(908)에 인스톨할 수 있다. 또한, 프로그램은, 유선 또는 무선의 전송 매체를 통하여, 통신부(909)에서 수신하고, 기억부(908)에 인스톨할 수 있다. 그 밖에, 프로그램은, ROM(902)이나 기억부(908)에 미리 인스톨해 둘 수 있다.
또한, 컴퓨터(900)가 실행하는 프로그램은, 본 명세서에서 설명하는 순서에 따라 시계열로 처리가 행해지는 프로그램이어도 되고, 병렬로, 혹은 호출이 행해졌을 때 등의 필요한 타이밍에 처리가 행해지는 프로그램이어도 된다.
또한, 본 명세서에 있어서, 시스템이란, 복수의 구성 요소(장치, 모듈(부품) 등)의 집합을 의미하며, 모든 구성 요소가 동일 하우징 내에 있는지 여부는 불문한다. 따라서, 별개의 하우징에 수납되고, 네트워크를 통하여 접속되어 있는 복수의 장치, 및 하나의 하우징 내에 복수의 모듈이 수납되어 있는 하나의 장치는, 모두 시스템이다.
또한, 본 명세서에 기재된 효과는 어디까지나 예시이지 한정되는 것은 아니며, 다른 효과가 있어도 된다.
또한, 본 개시의 실시 형태는, 상술한 실시 형태에 한정되는 것은 아니며, 본 개시의 요지를 일탈하지 않는 범위에 있어서 다양한 변경이 가능하다.
또한, 본 개시는, 이하와 같은 구성도 취할 수 있다.
(1) 부호화 스트림에 대응하는 복수의 분할 화상을 포함하는 화상의 화면 상의 위치로서, 상기 화면의 외측으로 비어져 나오는 위치를 설정하는 설정부를 구비하는 정보 처리 장치.
(2) 상기 복수의 분할 화상은, 전천구 화상 또는 파노라마 화상의 일부를 구성하는 대향하는 단부의 화상이도록 구성된 상기 (1)에 기재된 정보 처리 장치.
(3) 상기 설정부는, 상기 부호화 스트림의 파일을 관리하는 관리 파일에 상기 화상의 상기 화면 상의 위치를 설정하도록 구성된 상기 (1) 또는 (2)에 기재된 정보 처리 장치.
(4) 정보 처리 장치가,
부호화 스트림에 대응하는, 복수의 분할 화상을 포함하는 화상의 화면 상의 위치로서, 상기 화면의 외측으로 비어져 나오는 위치를 설정하는 설정 스텝을 포함하는 정보 처리 방법.
(5) 부호화 스트림에 대응하는 복수의 분할 화상을 포함하는 화상의 화면 상의 위치로서 설정된 상기 화면의 외측으로 비어져 나오는 위치에 기초하여, 상기 부호화 스트림을 복호함으로써 얻어진 상기 화상을 상기 화면 상에 배치하는 배치부를 구비하는 정보 처리 장치.
(6) 상기 복수의 분할 화상은, 전천구 화상 또는 파노라마 화상의 일부를 구성하는 대향하는 단부의 화상이도록 구성된 상기 (5)에 기재된 정보 처리 장치.
(7) 상기 화상의 상기 화면 상의 위치는, 상기 부호화 스트림의 파일을 관리하는 관리 파일에 설정되도록 구성된 상기 (5) 또는 (6)에 기재된 정보 처리 장치.
(8) 정보 처리 장치가,
부호화 스트림에 대응하는 복수의 분할 화상을 포함하는 화상의 화면 상의 위치로서 설정된 상기 화면의 외측으로 비어져 나오는 위치에 기초하여, 상기 부호화 스트림을 복호함으로써 얻어진 상기 화상을 상기 화면 상에 배치하는 배치 스텝을 포함하는 정보 처리 방법.
(9) 부호화 스트림에 대응하는 복수의 분할 화상을 포함하는 화상의 각 분할 화상의 화면 상의 위치를, 그 분할 화상의 상기 화상 상의 위치와 대응지어 설정하는 설정부를 구비하는 정보 처리 장치.
(10) 상기 화상은, 전천구 화상 또는 파노라마 화상의 일부, 혹은 모자이크 화상이도록 구성된 상기 (9)에 기재된 정보 처리 장치.
(11) 상기 부호화 스트림은, 각 분할 화상을 상이한 타일로서 부호화한 부호화 스트림이도록 구성된 상기 (9) 또는 (10)에 기재된 정보 처리 장치.
(12) 상기 설정부는, 상기 부호화 스트림의 파일을 관리하는 관리 파일에 상기 화상의 상기 화면 상의 위치를 설정하도록 구성된 상기 (9) 내지 (11) 중 어느 하나에 기재된 정보 처리 장치.
(13) 정보 처리 장치가,
부호화 스트림에 대응하는 복수의 분할 화상을 포함하는 화상의 각 분할 화상의 화면 상의 위치를, 그 분할 화상의 상기 화상 상의 위치와 대응지어 설정하는 설정 스텝을 포함하는 정보 처리 방법.
(14) 부호화 스트림에 대응하는 복수의 분할 화상을 포함하는 화상 상의 위치와 대응지어 설정된, 상기 화상의 각 분할 화상의 화면 상의 위치에 기초하여, 상기 부호화 스트림을 복호함으로써 얻어진 상기 화상의 각 분할 화상을 상기 화면 상에 배치하는 배치부를 구비하는 정보 처리 장치.
(15) 상기 화상은, 전천구 화상 또는 파노라마 화상의 일부, 혹은 모자이크 화상이도록 구성된 상기 (14)에 기재된 정보 처리 장치.
(16) 상기 부호화 스트림은, 각 분할 화상을 상이한 타일로서 부호화한 부호화 스트림이도록 구성된 상기 (14) 또는 (15)에 기재된 정보 처리 장치.
(17) 상기 화상의 상기 화면 상의 위치는, 상기 부호화 스트림의 파일을 관리하는 관리 파일에 설정되도록 구성된 상기 (14) 내지 (16) 중 어느 하나에 기재된 정보 처리 장치.
(18) 정보 처리 장치가,
부호화 스트림에 대응하는 복수의 분할 화상을 포함하는 화상 상의 위치와 대응지어 설정된, 상기 화상의 각 분할 화상의 화면 상의 위치에 기초하여, 상기 부호화 스트림을 복호함으로써 얻어진 상기 화상의 각 분할 화상을 상기 화면 상에 배치하는 배치 스텝을 포함하는 정보 처리 방법.
11: 파일 생성 장치
14: 동화상 재생 단말기
170: 전천구 화상
173-1: 좌측 단부 화상
173-2: 우측 단부 화상
180: 화면
195: 배치부
211: 파일 생성 장치
250: 모자이크 화상
251 내지 254: 섬네일 화상

Claims (18)

  1. 부호화 스트림에 대응하는 복수의 분할 화상을 포함하는 화상의 화면 상의 위치로서, 상기 화면의 외측으로 비어져 나오는 위치를 설정하는 설정부를 구비하는, 정보 처리 장치.
  2. 제1항에 있어서, 상기 복수의 분할 화상은, 전천구 화상 또는 파노라마 화상의 일부를 구성하는 대향하는 단부의 화상이도록 구성된, 정보 처리 장치.
  3. 제1항에 있어서, 상기 설정부는, 상기 부호화 스트림의 파일을 관리하는 관리 파일에 상기 화상의 상기 화면 상의 위치를 설정하도록 구성된, 정보 처리 장치.
  4. 정보 처리 장치가,
    부호화 스트림에 대응하는, 복수의 분할 화상을 포함하는 화상의 화면 상의 위치로서, 상기 화면의 외측으로 비어져 나오는 위치를 설정하는 설정 스텝을 포함하는, 정보 처리 방법.
  5. 부호화 스트림에 대응하는 복수의 분할 화상을 포함하는 화상의 화면 상의 위치로서 설정된 상기 화면의 외측으로 비어져 나오는 위치에 기초하여, 상기 부호화 스트림을 복호함으로써 얻어진 상기 화상을 상기 화면 상에 배치하는 배치부를 구비하는, 정보 처리 장치.
  6. 제5항에 있어서, 상기 복수의 분할 화상은, 전천구 화상 또는 파노라마 화상의 일부를 구성하는 대향하는 단부의 화상이도록 구성된, 정보 처리 장치.
  7. 제5항에 있어서, 상기 화상의 상기 화면 상의 위치는, 상기 부호화 스트림의 파일을 관리하는 관리 파일에 설정되도록 구성된, 정보 처리 장치.
  8. 정보 처리 장치가,
    부호화 스트림에 대응하는 복수의 분할 화상을 포함하는 화상의 화면 상의 위치로서 설정된 상기 화면의 외측으로 비어져 나오는 위치에 기초하여, 상기 부호화 스트림을 복호함으로써 얻어진 상기 화상을 상기 화면 상에 배치하는 배치 스텝을 포함하는, 정보 처리 방법.
  9. 부호화 스트림에 대응하는 복수의 분할 화상을 포함하는 화상의 각 분할 화상의 화면 상의 위치를, 그 분할 화상의 상기 화상 상의 위치와 대응지어 설정하는 설정부를 구비하는, 정보 처리 장치.
  10. 제9항에 있어서, 상기 화상은, 전천구 화상 또는 파노라마 화상의 일부, 혹은 모자이크 화상이도록 구성된, 정보 처리 장치.
  11. 제9항에 있어서, 상기 부호화 스트림은, 각 분할 화상을 상이한 타일로서 부호화한 부호화 스트림이도록 구성된, 정보 처리 장치.
  12. 제9항에 있어서, 상기 설정부는, 상기 부호화 스트림의 파일을 관리하는 관리 파일에 상기 화상의 상기 화면 상의 위치를 설정하도록 구성된, 정보 처리 장치.
  13. 정보 처리 장치가,
    부호화 스트림에 대응하는 복수의 분할 화상을 포함하는 화상의 각 분할 화상의 화면 상의 위치를, 그 분할 화상의 상기 화상 상의 위치와 대응지어 설정하는 설정 스텝을 포함하는, 정보 처리 방법.
  14. 부호화 스트림에 대응하는 복수의 분할 화상을 포함하는 화상 상의 위치와 대응지어 설정된, 상기 화상의 각 분할 화상의 화면 상의 위치에 기초하여, 상기 부호화 스트림을 복호함으로써 얻어진 상기 화상의 각 분할 화상을 상기 화면 상에 배치하는 배치부를 구비하는, 정보 처리 장치.
  15. 제14항에 있어서, 상기 화상은, 전천구 화상 또는 파노라마 화상의 일부, 혹은 모자이크 화상이도록 구성된, 정보 처리 장치.
  16. 제14항에 있어서, 상기 부호화 스트림은, 각 분할 화상을 상이한 타일로서 부호화한 부호화 스트림이도록 구성된, 정보 처리 장치.
  17. 제14항에 있어서, 상기 화상의 상기 화면 상의 위치는, 상기 부호화 스트림의 파일을 관리하는 관리 파일에 설정되도록 구성된, 정보 처리 장치.
  18. 정보 처리 장치가,
    부호화 스트림에 대응하는 복수의 분할 화상을 포함하는 화상 상의 위치와 대응지어 설정된, 상기 화상의 각 분할 화상의 화면 상의 위치에 기초하여, 상기 부호화 스트림을 복호함으로써 얻어진 상기 화상의 각 분할 화상을 상기 화면 상에 배치하는 배치 스텝을 포함하는, 정보 처리 방법.
KR1020177034688A 2015-06-12 2016-05-30 정보 처리 장치 및 정보 처리 방법 KR20180018522A (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2015119360 2015-06-12
JPJP-P-2015-119360 2015-06-12
PCT/JP2016/065865 WO2016199607A1 (ja) 2015-06-12 2016-05-30 情報処理装置および情報処理方法

Publications (1)

Publication Number Publication Date
KR20180018522A true KR20180018522A (ko) 2018-02-21

Family

ID=57503950

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020177034688A KR20180018522A (ko) 2015-06-12 2016-05-30 정보 처리 장치 및 정보 처리 방법

Country Status (9)

Country Link
US (2) US10313728B2 (ko)
EP (1) EP3310061A4 (ko)
JP (1) JP6807032B2 (ko)
KR (1) KR20180018522A (ko)
CN (1) CN107637082B (ko)
CA (1) CA2985329A1 (ko)
MX (2) MX2017015340A (ko)
RU (1) RU2718118C2 (ko)
WO (1) WO2016199607A1 (ko)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20200045359A1 (en) * 2017-04-04 2020-02-06 Sharp Kabushiki Kaisha Reproduction device, generation device, reproduction system, program, recording medium
GB2563865A (en) * 2017-06-27 2019-01-02 Canon Kk Method, device, and computer program for transmitting media content
GB2570298A (en) * 2018-01-17 2019-07-24 Nokia Technologies Oy Providing virtual content based on user context
US11184420B2 (en) 2020-01-06 2021-11-23 Tencent America LLC Methods and apparatuses for dynamic adaptive streaming over HTTP
US11228796B2 (en) * 2020-01-07 2022-01-18 Tencent America LLC Pattern addressing for session-based dash operations
US11520848B2 (en) * 2021-01-06 2022-12-06 Tencent America LLC Methods and apparatuses for dynamic adaptive streaming over HTTP
US11895172B2 (en) * 2021-04-21 2024-02-06 Tencent America LLC Session-based description URL customization using the session-based DASH operations

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6331869B1 (en) * 1998-08-07 2001-12-18 Be Here Corporation Method and apparatus for electronically distributing motion panoramic images
JP2003141562A (ja) * 2001-10-29 2003-05-16 Sony Corp 非平面画像の画像処理装置及び画像処理方法、記憶媒体、並びにコンピュータ・プログラム
WO2004004363A1 (ja) * 2002-06-28 2004-01-08 Sharp Kabushiki Kaisha 画像符号化装置、画像送信装置および画像撮影装置
US7627194B2 (en) * 2004-08-13 2009-12-01 Samsung Electronics Co., Ltd. Method and device for making virtual image region for motion estimation and compensation of panorama image
MX2008012473A (es) * 2006-03-31 2008-10-10 Koninkl Philips Electronics Nv Reproduccion adaptada de contenido de video basada en cuadros adicionales de contenido.
JP4345829B2 (ja) * 2007-03-09 2009-10-14 ソニー株式会社 画像表示システム、画像表示装置、画像表示方法およびプログラム
US8872888B2 (en) * 2010-10-01 2014-10-28 Sony Corporation Content transmission apparatus, content transmission method, content reproduction apparatus, content reproduction method, program and content delivery system
JP5406813B2 (ja) * 2010-10-05 2014-02-05 株式会社ソニー・コンピュータエンタテインメント パノラマ画像表示装置およびパノラマ画像表示方法
JP5409577B2 (ja) * 2010-10-05 2014-02-05 株式会社ソニー・コンピュータエンタテインメント パノラマ画像生成装置およびパノラマ画像生成方法
CN102209241B (zh) * 2011-05-25 2013-07-03 杭州华三通信技术有限公司 一种基于多子图的视频编解码方法及其装置
JP2015156523A (ja) * 2012-06-06 2015-08-27 ソニー株式会社 画像処理装置、画像処理方法、プログラム
JP6044328B2 (ja) * 2012-12-26 2016-12-14 株式会社リコー 画像処理システム、画像処理方法およびプログラム
CN103561261B (zh) * 2013-10-12 2016-10-26 重庆邮电大学 基于视觉注意的全景可定位视频编码方法
CN106031180A (zh) * 2014-02-18 2016-10-12 Lg电子株式会社 收发用于全景服务的广播信号的方法和设备

Also Published As

Publication number Publication date
EP3310061A1 (en) 2018-04-18
MX2020002592A (es) 2020-10-22
US20180098107A1 (en) 2018-04-05
US20190222881A1 (en) 2019-07-18
RU2017142308A (ru) 2019-06-05
EP3310061A4 (en) 2018-12-12
RU2718118C2 (ru) 2020-03-30
RU2017142308A3 (ko) 2019-06-14
JPWO2016199607A1 (ja) 2018-03-29
CN107637082A (zh) 2018-01-26
MX2017015340A (es) 2018-04-11
WO2016199607A1 (ja) 2016-12-15
US10757463B2 (en) 2020-08-25
CN107637082B (zh) 2021-03-12
JP6807032B2 (ja) 2021-01-06
US10313728B2 (en) 2019-06-04
CA2985329A1 (en) 2016-12-15

Similar Documents

Publication Publication Date Title
US10757463B2 (en) Information processing apparatus and information processing method
US11653065B2 (en) Content based stream splitting of video data
US10623816B2 (en) Method and apparatus for extracting video from high resolution video
WO2016199608A1 (ja) 情報処理装置および情報処理方法
KR101925606B1 (ko) 데이터를 스트리밍하기 위한 방법, 데이터를 제공하기 위한 방법, 데이터를 획득하기 위한 방법, 컴퓨터 판독 가능 저장 매체, 서버 장치, 및 클라이언트 장치
US10672102B2 (en) Conversion and pre-processing of spherical video for streaming and rendering
US20190158933A1 (en) Method, device, and computer program for improving streaming of virtual reality media content
EP3782368A1 (en) Processing video patches for three-dimensional content
US11539983B2 (en) Virtual reality video transmission method, client device and server
JP7218826B2 (ja) 再生装置および画像生成方法
US10313763B2 (en) Method and apparatus for requesting and receiving selected segment streams based on projection information
US20180270515A1 (en) Methods and systems for client interpretation and presentation of zoom-coded content
US20180109585A1 (en) Information processing apparatus and information processing method
US20240080501A1 (en) Processing of multi-view video
Kammachi‐Sreedhar et al. Omnidirectional video delivery with decoder instance reduction
US20230379554A1 (en) Multi-view video streaming

Legal Events

Date Code Title Description
E902 Notification of reason for refusal