JP6807032B2 - 情報処理装置および情報処理方法 - Google Patents

情報処理装置および情報処理方法 Download PDF

Info

Publication number
JP6807032B2
JP6807032B2 JP2017523584A JP2017523584A JP6807032B2 JP 6807032 B2 JP6807032 B2 JP 6807032B2 JP 2017523584 A JP2017523584 A JP 2017523584A JP 2017523584 A JP2017523584 A JP 2017523584A JP 6807032 B2 JP6807032 B2 JP 6807032B2
Authority
JP
Japan
Prior art keywords
image
divided
file
screen
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017523584A
Other languages
English (en)
Other versions
JPWO2016199607A1 (ja
Inventor
平林　光浩
光浩 平林
矢ケ崎　陽一
陽一 矢ケ崎
伸明 泉
伸明 泉
充 勝股
充 勝股
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of JPWO2016199607A1 publication Critical patent/JPWO2016199607A1/ja
Application granted granted Critical
Publication of JP6807032B2 publication Critical patent/JP6807032B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/266—Channel or content management, e.g. generation and management of keys and entitlement messages in a conditional access system, merging a VOD unicast channel into a multicast channel
    • H04N21/2668—Creating a channel for a dedicated end-user group, e.g. insertion of targeted commercials based on end-user profiles
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/21815—Source of audio or video content, e.g. local disk arrays comprising local storage units
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/235—Processing of additional data, e.g. scrambling of additional data or processing content descriptors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/266—Channel or content management, e.g. generation and management of keys and entitlement messages in a conditional access system, merging a VOD unicast channel into a multicast channel
    • H04N21/2662—Controlling the complexity of the video stream, e.g. by scaling the resolution or bitrate of the video stream based on the client capabilities
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • H04N21/4316—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations for displaying supplemental content in a region of the screen, e.g. an advertisement in a separate window
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/4722—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for requesting additional data associated with the content
    • H04N21/4725—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for requesting additional data associated with the content using interactive regions of the image, e.g. hot spots
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/4728—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for selecting a Region Of Interest [ROI], e.g. for requesting a higher resolution version of a selected region
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/816—Monomedia components thereof involving special video data, e.g 3D video
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845—Structuring of content, e.g. decomposing content into time segments

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Human Computer Interaction (AREA)
  • Business, Economics & Management (AREA)
  • Marketing (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Television Signal Processing For Recording (AREA)
  • Image Processing (AREA)
  • Editing Of Facsimile Originals (AREA)

Description

本開示は、情報処理装置および情報処理方法に関し、特に、符号化ストリームに対応する、複数の分割画像からなる画像または分割画像の画面上の位置を確実に認識することができるようにした情報処理装置および情報処理方法に関する。
近年、インターネット上のストリーミングサービスの主流がOTT−V（Over The Top Video）となっている。この基盤技術として普及し始めているのがMPEG−DASH（Moving Picture Experts Group phase − Dynamic Adaptive Streaming over HTTP）である（例えば、非特許文献１参照）。
MPEG−DASHでは、配信サーバが１本の動画コンテンツ用にビットレートが異なる符号化ストリームを用意し、再生端末が最適なビットレートの符号化ストリームを要求することにより、適応型のストリーミング配信が実現される。
また、MPEG-DASH SRD（Spatial Relationship Description） extensionでは、動画コンテンツの画像を１以上の領域に分割して独立して符号化したときの各領域の画面上の位置を示すSRDが定義されている（例えば、非特許文献２および３参照）。このSRDにより、所望のビットレートの符号化ストリームを選択的に取得するbitrate adaptationの仕組みを用いて、所望の領域の画像の符号化ストリームを選択的に取得するSpatial adaptationであるROI(Region of Interest)機能を実現することができる。
一方、動画コンテンツの画像としては、１つのカメラの画角の画像だけでなく、水平方向の周囲360度および垂直方向の周囲180度の画像を２Ｄ画像（平面画像）にマッピングした全天球画像や、水平方向の周囲360度のパノラマ画像などがある。例えば、全天球画像を水平方向に３以上の領域に分割して符号化する場合、水平方向の両端部の領域は連続した画像であるため、１つの画像として符号化することができる。
しかしながら、両端部の領域の画面上の位置は不連続であるため、符号化対象の画面上の位置は複数存在する。従って、MPEG−DASH において、SRDを用いて、両端部の領域の画面上の位置を記述することはできない。即ち、SRDでは、符号化ストリームに対応する、複数の分割画像からなる画像の画面上の位置を記述することはできない。
また、SRDは、各領域の画面上の位置と、符号化ストリームに対応する画像上の位置とが同一であるものとして記述される。従って、各領域の画面上の位置と、符号化ストリームに対応する画像上の位置とが異なるものである場合、SRDを用いて各領域の画面上の位置を記述することはできない。即ち、画像を構成する各分割画像の画面上の位置と、符号化ストリームに対応する画像上の位置とが異なるものである場合、SRDでは、各分割画像の画面上の位置を記述することはできない。
MPEG−DASH(Dynamic Adaptive Streaming over HTTP)（URL:http://mpeg.chiariglione.org/standards/mpeg−dash/media−presentation−description−and−segment−formats/text−isoiec−23009−12012−dam−1） "Text of ISO/IEC 23009-1:2014 FDAM 2 Spatial Relationship Description, Generalized URL parameters and other extensions" , N15217, MPEG111, Geneva , February 2015 "WD of ISO/IEC 23009-3 2nd edition AMD 1 DASH Implementation Guidelines", N14629, MPEG109, Sapporo , July 2014
従って、符号化ストリームに対応する、複数の分割画像からなる画像または分割画像の画面上の位置を確実に記述し、認識可能にすることが望まれている。
本開示は、このような状況に鑑みてなされたものであり、符号化ストリームに対応する、複数の分割画像からなる画像または分割画像の画面上の位置を確実に認識することができるようにするものである。
本開示の第１の側面の情報処理装置は、水平方向の周囲360度の画像を平面に展開した展開画像に対して、垂直方向および水平方向にそれぞれ分割した複数の分割画像を生成する分割部であって、前記分割画像のうち、前記展開画像の水平方向の一方の端部に配置された第１の分割画像を、前記一方の端部と対向する他方の端部に配置された第２の分割画像に対して前記展開画像の外側にはみ出る位置に配置して、前記第１の分割画像と前記第２の分割画像とを合成した端部画像を生成する分割部と、前記端部画像が、前記第１の分割画像と前記第２の分割画像とを含むことを表す画像情報を生成する設定部とを備える情報処理装置である。
本開示の第１の側面の情報処理方法は、本開示の第１の側面の情報処理装置に対応する。
本開示の第１の側面においては、水平方向の周囲360度の画像を平面に展開した展開画像に対して、垂直方向および水平方向にそれぞれ分割した複数の分割画像が生成され、前記分割画像のうち、前記展開画像の水平方向の一方の端部に配置された第１の分割画像を、前記一方の端部と対向する他方の端部に配置された第２の分割画像に対して前記展開画像の外側にはみ出る位置に配置して、前記第１の分割画像と前記第２の分割画像とを合成した端部画像が生成され、前記端部画像が、前記第１の分割画像と前記第２の分割画像とを含むことを表す画像情報が生成される。
本開示の第２の側面の情報処理装置は、水平方向の周囲360度の画像を平面に展開した展開画像に対して、垂直方向および水平方向にそれぞれ分割された複数の分割画像であって、前記展開画像の水平方向の一方の端部に配置された第１の分割画像が、前記一方の端部と対向する他方の端部に配置された第２の分割画像に対して前記展開画像の外側にはみ出る位置に配置されて、前記第１の分割画像と前記第２の分割画像とが合成された端部画像を含む前記分割画像に対して、前記分割画像の前記展開画像の画面上の位置を表した画像情報に基づいて前記分割画像を前記画面上に配置する配置部を備える情報処理装置である。
本開示の第２の側面の情報処理方法は、本開示の第２の側面の情報処理装置に対応する。
本開示の第２の側面においては、水平方向の周囲360度の画像を平面に展開した展開画像に対して、垂直方向および水平方向にそれぞれ分割された複数の分割画像であって、前記展開画像の水平方向の一方の端部に配置された第１の分割画像が、前記一方の端部と対向する他方の端部に配置された第２の分割画像に対して前記展開画像の外側にはみ出る位置に配置されて、前記第１の分割画像と前記第２の分割画像とが合成された端部画像を含む前記分割画像に対して、前記分割画像の前記展開画像の画面上の位置を表した画像情報に基づいて前記分割画像が前記画面上に配置される。
なお、第１及び第２の側面の情報処理装置は、コンピュータにプログラムを実行させることにより実現することができる。
また、第１及び第２の側面の情報処理装置を実現するために、コンピュータに実行させるプログラムは、伝送媒体を介して伝送することにより、又は、記録媒体に記録して、提供することができる。
本開示の第１の側面によれば、情報を設定することができる。本開示の第１の側面によれば、符号化ストリームに対応する複数の分割画像からなる画像の画面上の位置を確実に認識することができるように情報を設定することができる。
また、本開示の第２の側面によれば、情報を取得することができる。本開示の第２の側面によれば、符号化ストリームに対応する複数の分割画像からなる画像の画面上の位置を確実に認識することができる。
なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。
本開示を適用した情報処理システムの第１実施の形態の構成例を示すブロック図である。 図１のファイル生成装置のうちの画像ファイル生成部の構成例を示すブロック図である。 全天球画像の符号化ストリームを説明する図である。 第１実施の形態におけるSRDの定義の例を説明する図である。 第１実施の形態におけるSRDの定義の他の例を説明する図である。 MPDファイルに記述される端部画像のSRDを説明する図である。 SRDの定義の一例を説明する図である。 第１実施の形態におけるMPDファイルの例を示す図である。 図２の画像ファイル生成部の符号化処理を説明するフローチャートである。 図１の動画再生端末が実現するストリーミング再生部の構成例を示すブロック図である。 図１０のストリーミング再生部の再生処理を説明するフローチャートである。 本開示を適用した情報処理システムの第２実施の形態における端部画像の画像ファイルのセグメント構造の例を示す図である。 図１２のTile Region Group Entryの例を示す図である。 第２実施の形態におけるMPDファイルの例を示す図である。 トラック構造の例を示す図である。 第２実施の形態におけるlevaボックスの他の例を示す図である。 第２実施の形態におけるMPDファイルの他の例を示す図である。 本開示を適用した情報処理システムの第３実施の形態の構成例を示すブロック図である。 図１８のファイル生成装置の構成例を示すブロック図である。 モザイク画像の例を示す図である。 第３実施の形態におけるsgpdボックスとlevaボックスの例を示す図である。 第３実施の形態におけるMPDファイルの第１の例を示す図である。 第３実施の形態におけるMPDファイルの第２の例を示す図である。 サムネイル画像が配置された画面の例を示す図である。 図１９のファイル生成装置のファイル生成処理を説明するフローチャートである。 図１８の動画再生端末が実現するストリーミング再生部の構成例を示すブロック図である。 図２６のストリーミング再生部による再生処理の概要を説明する図である。 図２６のストリーミング再生部の再生処理を説明するフローチャートである。 コンピュータのハードウエアの構成例を示すブロック図である。
以下、本開示を実施するための形態（以下、実施の形態という）について説明する。なお、説明は以下の順序で行う。
１．第１実施の形態：情報処理システム（図１乃至図１１）
２．第２実施の形態：情報処理システム（図１２乃至図１７）
３．第３実施の形態：情報処理システム（図１８乃至図２８）
４．第４実施の形態：コンピュータ（図２９）
＜第１実施の形態＞
（情報処理システムの第１実施の形態の構成例）
図１は、本開示を適用した情報処理システムの第１実施の形態の構成例を示すブロック図である。
図１の情報処理システム１０は、ファイル生成装置１１と接続されるWebサーバ１２と動画再生端末１４が、インターネット１３を介して接続されることにより構成される。
情報処理システム１０では、MPEG−DASHに準ずる方式で、Webサーバ１２が、動画コンテンツの画像としての全天球画像の符号化ストリームを、動画再生端末１４に配信する。
本明細書では、全天球画像は、水平方向の周囲360度および垂直方向の周囲180度の画像（以下、全方向画像という）を球の面にマッピングしたときの球の正距円筒図法による画像であるものとするが、全方向画像を立方体（キューブ）の面にマッピングしたときの立方体の展開図の画像であるようにしてもよい。
情報処理システム１０のファイル生成装置１１（情報処理装置）は、低解像度の全天球画像を符号化し、低解像度符号化ストリームを生成する。また、ファイル生成装置１１は、高解像度の全天球画像を分割した各分割画像を独立に符号化し、各分割画像の高解像度符号化ストリームを生成する。ファイル生成装置１１は、セグメントと呼ばれる数秒から10秒程度の時間単位ごとに、低解像度符号化ストリームと高解像度符号化ストリームをファイル化し、画像ファイルを生成する。ファイル生成装置１１は、生成された画像ファイルをWebサーバ１２にアップロードする。
また、ファイル生成装置１１（設定部）は、画像ファイル等を管理するMPDファイル（管理ファイル）を生成する。ファイル生成装置１１は、MPDファイルをWebサーバ１２にアップロードする。
Webサーバ１２は、ファイル生成装置１１からアップロードされた画像ファイルとMPDファイルを格納する。Webサーバ１２は、動画再生端末１４からの要求に応じて、格納している画像ファイル、MPDファイル等を動画再生端末１４に送信する。
動画再生端末１４は、ストリーミングデータの制御用ソフトウエア（以下、制御用ソフトウエアという）２１、動画再生ソフトウエア２２、HTTP（HyperText Transfer Protocol）アクセス用のクライアント・ソフトウエア(以下、アクセス用ソフトウエアという)２３などを実行する。
制御用ソフトウエア２１は、Webサーバ１２からストリーミングするデータを制御するソフトウエアである。具体的には、制御用ソフトウエア２１は、動画再生端末１４にWebサーバ１２からMPDファイルを取得させる。
また、制御用ソフトウエア２１は、MPDファイルに基づいて、動画再生ソフトウエア２２により指定される再生対象の符号化ストリームの送信要求を、アクセス用ソフトウエア２３に指令する。
動画再生ソフトウエア２２は、Webサーバ１２から取得された符号化ストリームを再生するソフトウエアである。具体的には、動画再生ソフトウエア２２は、再生対象の符号化ストリームを制御用ソフトウエア２１に指定する。また、動画再生ソフトウエア２２は、アクセス用ソフトウエア２３から受信開始の通知を受信したとき、動画再生端末１４により受信された符号化ストリームを復号する。動画再生ソフトウエア２２は、復号の結果得られる画像データを必要に応じて合成し、出力する。
アクセス用ソフトウエア２３は、HTTPを用いたインターネット１３を介したWebサーバ１２との通信を制御するソフトウエアである。具体的には、アクセス用ソフトウエア２３は、制御用ソフトウエア２１の指令に応じて、画像ファイルに含まれる再生対象の符号化ストリームの送信要求を、動画再生端末１４に送信させる。また、アクセス用ソフトウエア２３は、その送信要求に応じて、Webサーバ１２から送信されてくる符号化ストリームの受信を動画再生端末１４に開始させ、受信開始の通知を動画再生ソフトウエア２２に供給する。
（画像ファイル生成部の構成例）
図２は、図１のファイル生成装置１１のうちの画像ファイルを生成する画像ファイル生成部の構成例を示すブロック図である。
図２の画像ファイル生成部１５０は、スティッチング処理部１５１、マッピング処理部１５２、低解像度化部１５３、エンコーダ１５４、分割部１５５、エンコーダ１５６−１乃至１５６−４、ストレージ１５７、および生成部１５８により構成される。
スティッチング処理部１５１は、図示せぬマルチカメラから供給される全方向画像の色や明るさを同一にし、重なりを除去して接続する。スティッチング処理部１５１は、その結果得られる全方向画像をマッピング処理部１５２に供給する。
マッピング処理部１５２は、スティッチング処理部１５１から供給される全方向画像を球にマッピングすることにより、全天球画像を生成する。マッピング処理部１５２は、全天球画像を低解像度化部１５３と分割部１５５に供給する。なお、スティッチング処理部１５１とマッピング処理部１５２は、一体化されていてもよい。
低解像度化部１５３は、マッピング処理部１５２から供給される全天球画像の水平方向と垂直方向の解像度を半分にすることにより低解像度化し、低解像度の全天球画像を生成する。低解像度化部１５３は、低解像度の全天球画像をエンコーダ１５４に供給する。
エンコーダ１５４は、AVC（Advanced Video Coding）やHEVC（High Efficiency Video Coding）などの符号化方式で、低解像度化部１５３から供給される低解像度の全天球画像を符号化し、低解像度符号化ストリームを生成する。エンコーダ１５４は、低解像度符号化ストリームをストレージ１５７に供給し、記録させる。
分割部１５５は、マッピング処理部１５２から供給される全天球画像を高解像度の全天球画像として垂直方向に３分割し、中央の領域を中心が境界とならないように水平方向に３分割する。分割部１５５は、分割された５つの領域のうちの上側の領域と下側の領域を、例えば水平方向の解像度が半分になるように低解像度化する。
分割部１５５は、低解像度化された上側の領域である低解像度上画像をエンコーダ１５６−１に供給し、低解像度化された下側の領域である低解像度下画像をエンコーダ１５６−２に供給する。
また、分割部１５５は、中央の領域のうちの右端部の領域の右端に、左端部の領域の左端を合成し、端部画像を生成する。分割部１５５は、端部画像をエンコーダ１５６−３に供給する。さらに、分割部１５５は、中央の領域のうちの中央部を中央部画像としてエンコーダ１５６−４に供給する。
エンコーダ１５６−１乃至１５６−４は、それぞれ、AVCやHEVCなどの符号化方式で、分割部１５５から供給される、低解像度上画像、低解像度下画像、端部画像、中央部画像を符号化する。エンコーダ１５６−１乃至１５６−４は、その結果生成される符号化ストリームを高解像度ストリームとしてストレージ１５７に供給し、記録させる。
ストレージ１５７は、エンコーダ１５４から供給される１本の低解像度符号化ストリームと、エンコーダ１５６−１乃至１５６−４から供給される４本の高解像度符号化ストリームとを記録する。
生成部１５８は、ストレージ１５７に記録されている１本の低解像度符号化ストリームと４本の高解像度符号化ストリームを読み出し、符号化ストリームごとにセグメント単位でファイル化する。生成部１５８は、その結果生成される画像ファイルを図１のWebサーバ１２に伝送する。
（全天球画像の符号化ストリームの説明）
図３は、全天球画像の符号化ストリームを説明する図である。
図３に示すように、全天球画像１７０の解像度が４ｋ（3840画素×2160画素）である場合、図３のＡに示すように、低解像度の全天球画像１６１の水平方向の解像度は、全天球画像の水平方向の解像度の半分である1920画素になる。また、低解像度の全天球画像１６１の垂直方向の解像度は、全天球画像の垂直方向の解像度の半分である1080画素になる。低解像度の全天球画像１６１はそのまま符号化され、１本の低解像度符号化ストリームが生成される。
また、図３のＢに示すように、全天球画像は、垂直方向に３分割され、中央の領域が、中心Ｏが境界とならないように水平方向に３分割される。その結果、全天球画像１７０は、上側の3840画素×540画素の領域である上画像１７１、下側の3840画素×540画素の領域である下画像１７２、および中央の3840画素×1080画素の領域に分割される。また、中央の3840画素×1080画素の領域は、左側の960画素×1080画素の領域である左端部画像１７３−１、右側の960画素×1080画素の領域である右端部画像１７３−２、および中央の1920画素×1080画素の領域である中央部画像１７４に分割される。
上画像１７１と下画像１７２は、水平方向の解像度が半分にされ、低解像度上画像と低解像度下画像が生成される。また、全天球画像は水平方向および垂直方向に３６０度広がる画像であるので、対向する左端部画像１７３−１と右端部画像１７３−２は、実際には連続する画像である。従って、右端部画像１７３−２の右端に左端部画像１７３−１の左端が合成されて、端部画像が生成される。そして、低解像度上画像、低解像度下画像、端部画像、および中央部画像１７４は、それぞれ、独立して符号化され、４本の高解像度符号化ストリームが生成される。
なお、一般的に、標準の視線方向で視野の中心に位置する全天球画像１７０上の位置である全天球画像１７０の正面が、全天球画像１７０の中心Ｏとなるように、全天球画像１７０が生成される。
また、AVCやHEVC等の時間方向の動き補償により情報圧縮を行う符号化方式では、被写体が画面上を移動すると、圧縮歪みの出方が、ある程度の形状を保ったまま、フレーム間で伝搬される。しかしながら、画面が分割され、分割画像が独立して符号化される場合、動き補償が境界をまたいで行われないため、圧縮歪みは大きくなる傾向がある。その結果、復号された分割画像の動画像では、分割画像の境界において圧縮歪みの出方が変化する筋が発生する。この現象は、AVCのスライス間やHEVCのタイル間において発生することが知られている。従って、復号された低解像度上画像、低解像度下画像、端部画像、および中央部画像１７４の境界では画質の劣化が発生しやすい。
従って、全天球画像１７０は、ユーザが見る可能性が高い全天球画像１７０の中心Ｏが境界とならないように分割される。その結果、ユーザが見る可能性が高い中心Ｏにおいて画質劣化が発生せず、復号後の全天球画像１７０の画質劣化が目立たない。
また、左端部画像１７３−１と右端部画像１７３−２は合成されて、符号化される。従って、端部画像と中央部画像１７４の面積が同一である場合、所定の視点の全天球画像の表示時に最大限必要な全天球画像の高解像度符号化ストリームは、視点によらず、低解像度上画像と低解像度下画像のうちのいずれかと、端部画像と中央部画像１７４のうちのいずれかの２つの高解像度符号化ストリームになる。よって、動画再生端末１４で復号する高解像度ストリームの数を、視点によらず同一にすることができる。
（第１実施の形態におけるSRDの定義の説明）
図４は、第１実施の形態におけるSRDの定義を説明する図である。
SRDは、MPDファイルに記述可能な情報であり、動画コンテンツの画像を１以上の領域に分割して独立して符号化したときの各領域の画面上の位置を示す情報である。
具体的には、SRDは、<SupplementalProperty schemeIdUri="urn:mpeg:dash:srd:2015" value=“source_id, object_x, object_y, object_width, object_height, total_width, total_height,spatial_set_id"/>である。
「source_id」は、このSRDに対応する動画コンテンツのＩＤである。また、「object_x」、「object_y」は、それぞれ、このSRDに対応する領域の左上の画面上の水平方向の座標、垂直方向の座標である。「object_width」、「object_height」は、それぞれ、このSRDに対応する領域の水平方向のサイズ、垂直方向のサイズである。さらに、「total_width」、「total_height」は、それぞれ、このSRDに対応する領域が配置される画面の水平方向のサイズ、垂直方向のサイズである。「spatial_set_id」は、このSRDに対応する領域が配置される画面のＩＤである。
図４に示すように、本実施の形態におけるSRDの定義では、動画コンテンツの画像がパノラマ画像(panorama image)または全天球画像（celestial sphere dynamic）である場合、「object_x」と「object_width」の和が、「total_width」を超えてもよい。また、「object_y」と「object_height」の和は「total_height」を超えてもよい。
なお、MPDファイルに、動画コンテンツの画像がパノラマ画像(panorama image)または全天球画像（celestial sphere dynamic）であることを示す情報が記述されるようにしてもよい。この場合、本実施の形態におけるSRDの定義は、図５に示すようになる。
（端部画像のSRDの説明）
図６は、MPDファイルに記述される端部画像のSRDを説明する図である。
図４で説明したように、第１実施の形態におけるSRDでは、動画コンテンツの画像が全天球画像である場合、「object_x」と「object_width」の和が「total_width」を超えてもよい。
従って、ファイル生成装置１１は、例えば、左端部画像１７３−１の画面１８０上の位置を、右端部画像１７３−２の右側に設定する。これにより、図６に示すように、左端部画像１７３−１の画面１８０上の位置は、画面１８０の外側にはみ出すが、端部画像１７３を構成する右端部画像１７３−２と左端部画像１７３−１の画面１８０上の位置が連続する。従って、ファイル生成装置１１は、端部画像１７３の画面１８０上の位置をSRDで記述することができる。
具体的には、ファイル生成装置１１は、端部画像１７３のSRDの「object_x」および「object_y」として、それぞれ、右端部画像１７３−２の左上の画面１８０上の位置の水平方向の座標、垂直方向の座標を記述する。また、ファイル生成装置１１は、端部画像１７３のSRDの「object_width」および「object_height」として、それぞれ、端部画像１７３の水平方向のサイズ、垂直方向のサイズを記述する。
さらに、ファイル生成装置１１は、端部画像１７３のSRDの「total_width」および「total_height」として、それぞれ、画面１８０の水平方向のサイズ、垂直方向のサイズを記述する。以上のように、ファイル生成装置１１は、端部画像１７３の画面１８０上の位置として、画面１８０の外側にはみ出る位置を設定する。
これに対して、図７に示すように、SRDの定義において、「object_x」と「object_width」の和が「total_width」以下となり、かつ、「object_y」と「object_height」の和が「total_height」以下となるように制限されている場合、即ちSRDに対応する領域の画面上の位置が、画面からはみ出ることが禁止されている場合、左端部画像１７３−１の画面１８０上の位置を、右端部画像１７３−２の右側に設定することはできない。
従って、端部画像１７３を構成する右端部画像１７３−２と左端部画像１７３−１の画面１８０上の位置が連続せず、端部画像１７３の画面１８０上の位置として、右端部画像１７３−２と左端部画像１７３−１の両方の画面１８０上の位置を記述する必要がある。その結果、端部画像１７３の画面１８０上の位置をSRDで記述することはできない。
（MPDファイルの例）
図８は、図１のファイル生成装置１１により生成されるMPDファイルの例を示す図である。
図８に示すように、MPDファイルでは、符号化ストリームごとに「AdaptationSet」が記述される。また、各「AdaptationSet」には、対応する領域のSRDが記述されるとともに、「Representation」が記述される。「Representation」には、対応する符号化ストリームの画像ファイルのURL（Uniform Resource Locator）などの情報が記述される。
具体的には、図８の１番目の「AdaptationSet」は、全天球画像１７０の低解像度の全天球画像１６１の低解像度符号化ストリームの「AdaptationSet」である。従って、１番目の「AdaptationSet」には、低解像度の全天球画像１６１のSRDである<SupplementalProperty schemeIdUri="urn:mpeg:dash:srd:2014" value=“1,0,0,1920,1080,1920,1080,1"/>が記述されている。また、１番目の「AdaptationSet」の「Representation」には、低解像度符号化ストリームの画像ファイルのURL「stream1.mp4」が記述されている。
図８の２番目の「AdaptationSet」は、全天球画像１７０の低解像度上画像の高解像度符号化ストリームの「AdaptationSet」である。従って、２番目の「AdaptationSet」には、低解像度上画像のSRDである<SupplementalProperty schemeIdUri="urn:mpeg:dash:srd:2014" value=“1,0,0,3840,540,3840,2160,2"/>が記述されている。また、２番目の「AdaptationSet」の「Representation」には、低解像度上画像の高解像度符号化ストリームの画像ファイルのURL「stream2.mp4」が記述されている。
また、図８の３番目の「AdaptationSet」は、全天球画像１７０の中央部画像１７４の高解像度符号化ストリームの「AdaptationSet」である。従って、３番目の「AdaptationSet」には、中央部画像１７４のSRDである<SupplementalProperty schemeIdUri="urn:mpeg:dash:srd:2014" value=“1,960,540,1920,1080,3840,2160,2"/>が記述されている。また、３番目の「AdaptationSet」の「Representation」には、中央部画像１７４の高解像度符号化ストリームの画像ファイルのURL「stream3.mp4」が記述されている。
図８の４番目の「AdaptationSet」は、全天球画像１７０の低解像度下画像の高解像度符号化ストリームの「AdaptationSet」である。従って、４番目の「AdaptationSet」には、低解像度下画像のSRDである<SupplementalProperty schemeIdUri="urn:mpeg:dash:srd:2014" value=“1,0,1620,3840,540,3840,2160,2"/>が記述されている。また、４番目の「AdaptationSet」の「Representation」には、低解像度下画像の高解像度符号化ストリームの画像ファイルのURL「stream4.mp4」が記述されている。
また、図８の５番目の「AdaptationSet」は、全天球画像１７０の端部画像１７３の高解像度符号化ストリームの「AdaptationSet」である。従って、５番目の「AdaptationSet」には、端部画像１７３のSRDである<SupplementalProperty schemeIdUri="urn:mpeg:dash:srd:2014" value=“1,2880,540,1920,1080,3840,2160,2"/>が記述されている。また、５番目の「AdaptationSet」の「Representation」には、端部画像１７３の高解像度符号化ストリームの画像ファイルのURL「stream5.mp4」が記述されている。
（画像ファイル生成部の処理の説明）
図９は、図２の画像ファイル生成部１５０の符号化処理を説明するフローチャートである。
図９のステップＳ１１において、スティッチング処理部１５１は、図示せぬマルチカメラから供給される全方向画像の色や明るさを同一にし、重なりを除去して接続する。スティッチング処理部１５１は、その結果得られる全方向画像をマッピング処理部１５２に供給する。
ステップＳ１２において、マッピング処理部１５２は、スティッチング処理部１５１から供給される全方向画像から全天球画像１７０を生成し、低解像度化部１５３と分割部１５５に供給する。
ステップＳ１３において、低解像度化部１５３は、マッピング処理部１５２から供給される全天球画像１７０を低解像度化し、低解像度の全天球画像１６１を生成する。低解像度化部１５３は、低解像度の全天球画像１６１をエンコーダ１５４に供給する。
ステップＳ１４において、エンコーダ１５４は、低解像度化部１５３から供給される低解像度の全天球画像１６１を符号化し、低解像度符号化ストリームを生成する。エンコーダ１５４は、低解像度符号化ストリームをストレージ１５７に供給する。
ステップＳ１５において、分割部１５５は、マッピング処理部１５２から供給される全天球画像１７０を上画像１７１、下画像１７２、左端部画像１７３−１、右端部画像１７３−２、および中央部画像１７４に分割する。分割部１５５は、中央部画像１７４をエンコーダ１５６−４に供給する。
ステップＳ１６において、分割部１５５は、上画像１７１と下画像１７２を水平方向の解像度が半分になるように低解像度化する。分割部１５５は、その結果得られる低解像度上画像をエンコーダ１５６−１に供給し、低解像度化された下側の領域である低解像度下画像をエンコーダ１５６−２に供給する。
ステップＳ１７において、分割部１５５は、右端部画像１７３−２の右端に左端部画像１７３−１の左端を合成し、端部画像１７３を生成する。分割部１５５は、端部画像１７３をエンコーダ１５６−３に供給する。
ステップＳ１８において、エンコーダ１５６−１乃至１５６−４は、それぞれ、分割部１５５から供給される、低解像度上画像、低解像度下画像、端部画像１７３、中央部画像１７４を符号化する。エンコーダ１５６−１乃至１５６−４は、その結果生成される符号化ストリームを高解像度ストリームとしてストレージ１５７に供給する。
ステップＳ１９において、ストレージ１５７は、エンコーダ１５４から供給される１本の低解像度符号化ストリームと、エンコーダ１５６−１乃至１５６−４から供給される４本の高解像度符号化ストリームを記録する。
ステップＳ２０において、生成部１５８は、ストレージ１５７に記録されている１本の低解像度符号化ストリームと４本の高解像度符号化ストリームを読み出し、符号化ストリームごとにセグメント単位でファイル化することにより画像ファイルを生成する。生成部１５８は、画像ファイルを図１のWebサーバ１２に伝送し、処理を終了する。
（動画再生端末の機能的構成例）
図１０は、図１の動画再生端末１４が制御用ソフトウエア２１、動画再生ソフトウエア２２、およびアクセス用ソフトウエア２３を実行することにより実現されるストリーミング再生部の構成例を示すブロック図である。
図１０のストリーミング再生部１９０は、MPD取得部１９１、MPD処理部１９２、画像ファイル取得部１９３、デコーダ１９４−１乃至１９４−３、配置部１９５、描画部１９６、および視線検出部１９７により構成される。
ストリーミング再生部１９０のMPD取得部１９１は、Webサーバ１２からMPDファイルを取得し、MPD処理部１９２に供給する。
MPD処理部１９２は、視線検出部１９７から供給されるユーザの視線方向に基づいて、上画像１７１、下画像１７２、端部画像１７３、および中央部画像１７４から、ユーザの視野範囲に含まれる可能性のある２つを選択画像として選択する。具体的には、MPD処理部１９２は、全天球画像１７０が球の面にマッピングされたときに、球の内部に存在するユーザが視線方向を見たときに視野範囲に含まれる可能性のある、上画像１７１と下画像１７２のうちの１つと、端部画像１７３と中央部画像１７４のうちの１つとを、選択画像として選択する。
MPD処理部１９２は、MPD取得部１９１から供給されるMPDファイルから、再生対象のセグメントの低解像度の全天球画像１６１と選択画像の画像ファイルのURL等の情報を抽出し、画像ファイル取得部１９３に供給する。また、MPD処理部１９２は、MPDファイルから、再生対象のセグメントの低解像度の全天球画像１６１と選択画像のSRDを抽出し、配置部１９５に供給する。
画像ファイル取得部１９３は、MPD処理部１９２から供給されるURLで特定される画像ファイルの符号化ストリームをWebサーバ１２に要求し、取得する。画像ファイル取得部１９３は、取得された低解像度符号化ストリームをデコーダ１９４−１に供給する。また、画像ファイル取得部１９３は、選択画像のうちの一方の高解像度符号化ストリームをデコーダ１９４−２に供給し、他方の高解像度符号化ストリームをデコーダ１９４−３に供給する。
デコーダ１９４−１は、AVCやHEVCなどの符号化方式に対応する方式で、画像ファイル取得部１９３から供給される低解像度符号化ストリームを復号し、復号の結果得られる低解像度の全天球画像１６１を配置部１９５に供給する。
また、デコーダ１９４−２とデコーダ１９４−３は、それぞれ、AVCやHEVCなどの符号化方式に対応する方式で、画像ファイル取得部１９３から供給される選択画像の高解像度符号化ストリームを復号する。そして、デコーダ１９４−２とデコーダ１９４−３は、復号の結果得られる選択画像を配置部１９５に供給する。
配置部１９５は、MPD処理部１９２から供給されるSRDに基づいて、デコーダ１９４−１から供給される低解像度の全天球画像１６１を画面上に配置する。その後、配置部１９５は、SRDに基づいて、低解像度の全天球画像１６１が配置された画面上に、デコーダ１９４−２および１９４−３から供給される選択画像を重畳する。
具体的には、SRDが示す低解像度の全天球画像１６１が配置される画面の水平方向および垂直方向のサイズは、選択画像が配置される画面の水平方向および垂直方向のサイズの1/2である。従って、配置部１９５は、低解像度の全天球画像１６１が配置された画面の水平方向およち垂直方向のサイズを２倍にし、選択画像を重畳する。配置部１９５は、選択画像が重畳された画面を球にマッピングし、その結果得られる球画像を描画部１９６に供給する。
描画部１９６は、配置部１９５から供給される球画像を、視線検出部１９７から供給されるユーザの視野範囲に投射投影することにより、ユーザの視野範囲の画像を生成する。描画部１９６は、生成された画像を表示画像として、図示せぬ表示装置に表示させる。
視線検出部１９７は、ユーザの視線方向を検出する。ユーザの視線方向の検出方法としては、例えば、ユーザに装着させた機器の傾きなどに基づいて検出する方法がある。視線検出部１９７は、ユーザの視線方向をMPD処理部１９２に供給する。
また、視線検出部１９７は、ユーザの位置を検出する。ユーザの位置の検出方法としては、例えば、ユーザに装着させた機器に付加されたマーカなどの撮影画像に基づいて検出する方法がある。視線検出部１９７は、検出されたユーザの位置と視線ベクトルに基づいて、ユーザの視野範囲を決定し、描画部１９６に供給する。
（動画再生端末の処理の説明）
図１１は、図１０のストリーミング再生部１９０の再生処理を説明するフローチャートである。
図１１のステップＳ４１において、ストリーミング再生部１９０のMPD取得部１９１は、Webサーバ１２からMPDファイルを取得し、MPD処理部１９２に供給する。
ステップＳ４２において、MPD処理部１９２は、視線検出部１９７から供給されるユーザの視線方向に基づいて、上画像１７１、下画像１７２、端部画像１７３、および中央部画像１７４から、ユーザの視野範囲に含まれる可能性のある２つを選択画像として選択する。
ステップＳ４３において、MPD処理部１９２は、MPD取得部１９１から供給されるMPDファイルから、再生対象のセグメントの低解像度の全天球画像１６１と選択画像の画像ファイルのURL等の情報を抽出し、画像ファイル取得部１９３に供給する。
ステップＳ４４において、MPD処理部１９２は、MPDファイルから、再生対象のセグメントの低解像度の全天球画像１６１と選択画像のSRDを抽出し、配置部１９５に供給する。
ステップＳ４５において、画像ファイル取得部１９３は、MPD処理部１９２から供給されるURLに基づいて、そのURLで特定される画像ファイルの符号化ストリームを、Webサーバ１２に要求し、取得する。画像ファイル取得部１９３は、取得された低解像度符号化ストリームをデコーダ１９４−１に供給する。また、画像ファイル取得部１９３は、選択画像のうちの一方の高解像度符号化ストリームをデコーダ１９４−２に供給し、他方の高解像度符号化ストリームをデコーダ１９４−３に供給する。
ステップＳ４６において、デコーダ１９４−１は、画像ファイル取得部１９３から供給される低解像度符号化ストリームを復号し、復号の結果得られる低解像度の全天球画像１６１を配置部１９５に供給する。
ステップＳ４７において、デコーダ１９４−２とデコーダ１９４−３は、それぞれ、画像ファイル取得部１９３から供給される選択画像の高解像度符号化ストリームを復号する。そして、デコーダ１９４−２とデコーダ１９４−３は、復号の結果得られる選択画像を配置部１９５に供給する。
ステップＳ４８において、配置部１９５は、MPD処理部１９２から供給されるSRDに基づいて、デコーダ１９４−１から供給される低解像度の全天球画像１６１を画面上に配置し、その後、デコーダ１９４−２および１９４−３から供給される選択画像を重畳する。配置部１９５は、選択画像が重畳された画面を球にマッピングし、その結果得られる球画像を描画部１９６に供給する。
ステップＳ４９において、描画部１９６は、配置部１９５から供給される球画像を、視線検出部１９７から供給されるユーザの視野範囲に投射投影することにより、表示画像を生成する。描画部１９６は、生成された画像を表示画像として、図示せぬ表示装置に表示させ、処理を終了する。
＜第２実施の形態＞
（端部画像の画像ファイルのセグメント構造の例）
本開示を適用した情報処理システムの第２実施の形態は、端部画像１７３の符号化ストリームのうちの、左端部画像１７３−１の符号化ストリームと右端部画像１７３−２の符号化ストリームに対して異なるlevel（詳細は後述する）を設定する。これにより、SRDの定義が図７の定義である場合に、SRDを用いて、左端部画像１７３−１と右端部画像１７３−２の画面１８０上の位置を記述可能にする。
具体的には、本開示を適用した情報処理システムの第２実施の形態は、ファイル生成装置１１で生成される端部画像１７３の画像ファイルのセグメント構造とMPDファイルを除いて、第１実施の形態と同様である。従って、以下では、端部画像１７３の画像ファイルのセグメント構造とMPDファイルについてのみ説明する。
図１２は、本開示を適用した情報処理システムの第２実施の形態における端部画像１７３の画像ファイルのセグメント構造の例を示す図である。
図１２に示すように、端部画像１７３の画像ファイルでは、Initial segmentが、ftypボックスとmoovボックスにより構成される。moovボックスには、stblボックスとmvexボックスが配置される。
stblボックスには、端部画像１７３を構成する左端部画像１７３−１の端部画像１７３上の位置を示すTile Region Group Entryと、右端部画像１７３−２の端部画像１７３上の位置を示すTile Region Group Entryとが順に記述されるsgpdボックスなどが配置される。Tile Region Group Entryは、HEVC File FormatのHEVC Tile Trackで規格化されている。
mvexボックスには、先頭のTile Region Group Entryに対応する左端部画像１７３−１に対するlevelとして１を設定し、２番目のTile Region Group Entryに対応する右端部画像１７３−２に対するlevelとして２を設定するlevaボックスなどが配置される。
levaボックスは、先頭のTile Region Group Entryに対応するlevelの情報、２番目のTile Region Group Entryに対応するlevelの情報を順に記述することにより、左端部画像１７３−１に対するlevelとして１を設定し、右端部画像１７３−２に対するlevelとして２を設定する。levelは、MPDファイルから、符号化ストリームの一部を指定するときにインデックスとして機能するものである。
levaボックスには、各levelの情報として、levelの設定対象が、複数のトラックに配置される符号化ストリームであるかどうかを示すassignment_typeが記述される。図１２の例では、端部画像１７３の符号化ストリームは１つのトラックに配置される。従って、assignment_typeは、levelの設定対象が、複数のトラックに配置される符号化ストリームではないことを表す０である。
また、levaボックスには、各levelの情報として、そのlevelに対応するTile Region Group Entryのタイプが記述される。図１２の例では、各levelの情報として、sgpdボックスに記述されるTile Region Group Entryのタイプである「trif」が記述される。levaボックスの詳細は、例えば、ISO/IEC 14496-12 ISO base media file format 4th edition, July 2012に記述されている。
また、media segmentは、sidxボックス、ssixボックス、およびmoofとmdatのペアからなる１以上のsubsegmentにより構成される。sidxボックスには、各subsegmentの画像ファイル内の位置を示す位置情報が配置される。ssixボックスには、mdatボックスに配置される各レベルの符号化ストリームの位置情報が含まれる。
subsegmentは、任意の時間長ごとに設けられる。mdatボックスには、符号化ストリームが任意の時間長分だけまとめて配置され、moofボックスには、その符号化ストリームの管理情報が配置される。
（Tile Region Group Entryの例）
図１３は、図１２のTile Region Group Entryの例を示す図である。
Tile Region Group Entryは、このTile Region Group EntryのＩＤ、対応する領域の左上の符号化ストリームに対応する画像上の水平方向および垂直方向の座標、並びに符号化ストリームに対応する画像の水平方向および垂直方向のサイズを順に記述したものである。
端部画像１７３は、図１３に示すように、960画素×1080画素の右端部画像１７３−２の右端に、960画素×1080画素の左端部画像１７３−１の左端が合成されたものである。従って、左端部画像１７３−１のTile Region Group Entryは、（1,960,0,960,1080）になり、右端部画像１７３−２のTile Region Group Entryは、（2,0,0,960,1080）になる。
（MPDファイルの例）
図１４は、MPDファイルの例を示す図である。
図１４のMPDファイルは、端部画像１７３の高解像度符号化ストリームの「AdaptationSet」である５番目の「AdaptationSet」を除いて、図８のMPDファイルと同一である。従って、５番目の「AdaptationSet」についてのみ説明する。
図１４の５番目の「AdaptationSet」には、端部画像１７３のSRDが記述されず、「Representation」が記述される。この「Representation」には、端部画像１７３の高解像度符号化ストリームの画像ファイルのURL「stream5.mp4」が記述される。また、端部画像１７３の符号化ストリームにはlevelが設定されるので、「Representation」には、levelごとに「SubRepresentation」が記述可能になっている。
従って、level「１」の「SubRepresentation」には、左端部画像１７３−１のSRDである<SupplementalProperty schemeIdUri="urn:mpeg:dash:srd:2014" value=“1,2880,540,960,1080,3840,2160,2"/>が記述される。これにより、左端部画像１７３−１のSRDが、level「１」に対応するTile Region Group Entryが示す左端部画像１７３−１の端部画像１７３上の位置と対応付けて設定される。
また、level「２」の「SubRepresentation」には、右端部画像１７３−２のSRDである<SupplementalProperty schemeIdUri="urn:mpeg:dash:srd:2014" value=“1,0,540,960,1080,3840,2160,2"/>が記述される。これにより、右端部画像１７３−２のSRDが、level「２」に対応するTile Region Group Entryが示す右端部画像１７３−２の端部画像１７３上の位置と対応付けて設定される。
以上のように、第２実施の形態では、左端部画像１７３−１と右端部画像１７３−２に対して異なるlevelが設定される。従って、符号化ストリームに対応する端部画像１７３を構成する左端部画像１７３−１と右端部画像１７３−２のそれぞれの画面１８０上の位置をSRDで記述することができる。
ストリーミング再生部１９０は、MPDファイルに設定されたlevel「１」のSRDに基づいて、復号された端部画像１７３のうちの、level「１」に対応するTile Region Group Entryが示す位置の左端部画像１７３−１を画面１８０上に配置する。また、ストリーミング再生部１９０は、MPDファイルに設定されたlevel「２」のSRDに基づいて、復号された端部画像１７３のうちの、level「２」に対応するTile Region Group Entryが示す位置の右端部画像１７３−２を画面１８０上に配置する。
なお、第３実施の形態では、端部画像１７３の符号化ストリームは、１つのトラックに配置されたが、左端部画像１７３−１と右端部画像１７３−２がHEVC方式で異なるタイルとして符号化される場合には、それぞれのスライスデータが異なるトラックに配置されてもよい。
（トラック構造の例）
図１５は、左端部画像１７３−１と右端部画像１７３−２のスライスデータが異なるトラックに配置される場合のトラック構造の例を示す図である。
左端部画像１７３−１と右端部画像１７３−２のスライスデータが異なるトラックに配置される場合、図１５に示すように、端部画像１７３の画像ファイルには、３つのトラックが配置される。
各トラックのtrackボックスには、Track Referenceが配置される。Track Referenceは、対応するトラックの他のトラックとの参照関係を表す。具体的には、Track Referenceは、参照関係にある他のトラックのトラックに固有のＩＤ（以下、トラックＩＤという）を表す。また、各トラックのサンプルは、サンプルエントリ（Sample Entry）により管理される。
トラックＩＤが１であるトラックは、端部画像１７３の符号化ストリームのうちのスライスデータを含まないベーストラックである。具体的には、ベーストラックのサンプルとしては、端部画像１７３の符号化ストリームのうちのVPS(Video Parameter Set)、SPS（Sequence Parameter Set）、SEI（Supplemental Enhancement Information）、PPS（Picture Parameter Set）などのパラメータセットが配置される。また、ベーストラックのサンプルとしては、ベーストラック以外のトラックのサンプル単位のextractorがサブサンプルとして配置される。extractorは、extractorの種別、対応するトラックのサンプルのファイル内の位置とサイズを表す情報などにより構成される。
トラックＩＤが２であるトラックは、端部画像１７３の符号化ストリームのうちの左端部画像１７３−１のスライスデータをサンプルとして含むトラックである。トラックＩＤが３であるトラックは、端部画像１７３の符号化ストリームのうちの右端部画像１７３−２のスライスデータをサンプルとして含むトラックである。
（levaボックスの例）
左端部画像１７３−１と右端部画像１７３−２のスライスデータが異なるトラックに配置される場合の端部画像１７３の画像ファイルのセグメント構造は、levaボックスを除いて、図１２のセグメント構造と同一である。従って、以下では、levaボックスについてのみ説明する。
図１６は、左端部画像１７３−１と右端部画像１７３−２のスライスデータが異なるトラックに配置される場合の端部画像１７３の画像ファイルのlevaボックスの例を示す図である。
図１６に示すように、左端部画像１７３−１と右端部画像１７３−２のスライスデータが異なるトラックに配置される場合の端部画像１７３の画像ファイルのlevaボックスは、トラックＩＤ「１」乃至「３」の各トラックに対して順にlevel「１」乃至「３」を設定する。
図１６のlevaボックスは、各levelの情報として、そのlevelが設定される端部画像１７３内の領域のスライスデータを含むトラックのトラックＩＤを記述する。図１６の例では、level「１」、「２」、「３」の情報として、それぞれ、トラックＩＤ「１」、「２」、「３」が記述される。
また、図１６の場合、levelの設定対象である端部画像１７３の符号化ストリームのスライスデータが、複数のトラックに配置される。従って、各levelのlevel情報に含まれるassignment_typeは、levelの設定対象が、複数のトラックに配置される符号化ストリームであることを表す２または３である。
さらに、図１６の場合、level「１」に対応するTile Region Group Entryは存在しない。従って、level「１」の情報に含まれるTile Region Group Entryのタイプは、Tile Region Group Entryが存在しないことを表すgrouping_type「０」である。一方、level「２」および「３」に対応するTile Region Group Entryは、sgpdボックスに含まれるTile Region Group Entryである。従って、level「２」および「３」の情報に含まれるTile Region Group Entryのタイプは、sgpdボックスに含まれるTile Region Group Entryのタイプである「trif」である。
（MPDファイルの他の例）
図１７は、左端部画像１７３−１と右端部画像１７３−２のスライスデータが異なるトラックに配置される場合のMPDファイルの例を示す図である。
図１７のMPDファイルは、５番目の「AdaptationSet」の各「SubRepresentation」のelementを除いて、図１４のMPDファイルと同一である。
具体的には、図１７のMPDファイルでは、５番目の「AdaptationSet」の１つ目の「SubRepresentation」がlevel「２」の「SubRepresentation」である。従って、「SubRepresentation」の要素として、level「２」が記述される。
また、level「２」に対応するトラックＩＤ「２」のトラックは、トラックＩＤ「１」のベーストラックと依存関係がある。従って、「SubRepresentation」の要素として記述される、依存関係のあるトラックに対応するlevelを表すdependencyLevelが「１」に設定する。
さらに、level「２」に対応するトラックＩＤ「２」のトラックは、HEVC Tile Trackである。従って、「SubRepresentation」の要素として記述される、符号化の種類を表すcodecsが、HEVC Tile Trackを表す「hvt1.1.2.H93.B0」に設定される。
また、図１７のMPDファイルでは、５番目の「AdaptationSet」の２つ目の「SubRepresentation」がlevel「３」の「SubRepresentation」である。従って、「SubRepresentation」の要素として、level「３」が記述される。
また、level「３」に対応するトラックＩＤ「３」のトラックは、トラックＩＤ「１」のベーストラックと依存関係がある。従って、「SubRepresentation」の要素として記述されるdependencyLevelが「１」に設定される。
さらに、level「３」に対応するトラックＩＤ「３」のトラックは、HEVC Tile Trackである。従って、「SubRepresentation」の要素として記述されるcodecsが「hvt1.1.2.H93.B0」に設定される。
上述したように、左端部画像１７３−１と右端部画像１７３−２が異なるタイルとして符号化される場合、図１０のデコーダ１９４−２またはデコーダ１９４−３は、左端部画像１７３−１と右端部画像１７３−２を独立して復号することができる。また、左端部画像１７３−１と右端部画像１７３−２のスライスデータが異なるトラックに配置される場合、左端部画像１７３−１と右端部画像１７３−２のスライスデータのいずれか一方のみを取得することができる。従って、MPD処理部１９２は、左端部画像１７３−１と右端部画像１７３−２のうちの一方のみを選択画像として選択することができる。
なお、上述した説明では、異なるタイルとして符号化された左端部画像１７３−１と右端部画像１７３−２のスライスデータが異なるトラックに配置されるようにしたが、１つのトラックに配置されるようにしてもよい。
また、第１および第３実施の形態では、動画コンテンツの画像が全天球画像であるようにしたが、パノラマ画像であってもよい。
＜第３実施の形態＞
（情報処理システムの第３実施の形態の構成例）
図１８は、本開示を適用した情報処理システムの第３実施の形態の構成例を示すブロック図である。
図１８に示す構成のうち、図１の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。
図１８の情報処理システム２１０の構成は、ファイル生成装置１１の代わりに、ファイル生成装置２１１が設けられる点が、図１の情報処理システム１０の構成と異なる。
情報処理システム２１０では、MPEG−DASHに準ずる方式で、Webサーバ１２が、動画コンテンツの画像としてのモザイク画像の符号化ストリームを、動画再生端末１４に配信する。モザイク画像とは、複数の放送番組などの動画のサムネイル画像から構成される画像である。
情報処理システム２１０のファイル生成装置２１１は、複数の符号化速度（ビットレート）でモザイク画像を符号化し、符号化ストリームを生成する。ファイル生成装置２１１は、セグメントと呼ばれる数秒から10秒程度の時間単位ごとに、各符号化速度の符号化ストリームをファイル化し、画像ファイルを生成する。ファイル生成装置２１１は、生成された画像ファイルをWebサーバ１２にアップロードする。
また、ファイル生成装置２１１（設定部）は、画像ファイル等を管理するMPDファイル（管理ファイル）を生成する。ファイル生成装置２１１は、MPDファイルをWebサーバ１２にアップロードする。
（ファイル生成装置の構成例）
図１９は、図１８のファイル生成装置２１１の構成例を示すブロック図である。
図１９のファイル生成装置２１１は、符号化処理部２３１、画像ファイル生成部２３２、MPD生成部２３３、およびサーバアップロード処理部２３４により構成される。
ファイル生成装置２１１の符号化処理部２３１は、動画コンテンツの画像としてのモザイク画像を、複数の符号化速度で符号化し、符号化ストリームを生成する。符号化処理部２３１は、各符号化速度の符号化ストリームを画像ファイル生成部２３２に供給する。
画像ファイル生成部２３２は、符号化処理部２３１から供給される各符号化速度の符号化ストリームを、セグメントごとにファイル化し、画像ファイルを生成する。画像ファイル生成部２３２は、生成された画像ファイルをMPD生成部２３３に供給する。
MPD生成部２３３は、画像ファイル生成部２３２から供給される画像ファイルを格納するWebサーバ１２のURL等を決定する。そして、MPD生成部２３３は、画像ファイルのURL等を含むMPDファイルを生成する。MPD生成部２３３は、生成されたMPDファイルと画像ファイルをサーバアップロード処理部２３４に供給する。
サーバアップロード処理部２３４は、MPD生成部２３３から供給される画像ファイルとMPDファイルを、図１８のWebサーバ１２にアップロードする。
（モザイク画像の例）
図２０は、モザイク画像の例を示す図である。
図２０の例では、モザイク画像２５０は、左上のサムネイル画像２５１、右上のサムネイル画像２５２、左下のサムネイル画像２５２、および右下のサムネイル画像２５４により構成される。モザイク画像２５０の解像度は、２ｋ（1920画素×1080画素）であり、サムネイル画像２５１乃至２５４の解像度は、全て、960画素×540画素である。
（sgpdボックスとlevaボックスの例）
ファイル生成装置２１１により生成される図２０のモザイク画像２５０の画像ファイルのセグメント構造は、sgpdボックスとlevaボックスを除いて、図１２のセグメント構造と同一である。従って、以下では、sgpdボックスとlevaボックスについてのみ説明する。
図２１は、図２０のモザイク画像２５０の画像ファイルのsgpdボックスとlevaボックスの例を示す図である。
モザイク画像２５０は、４つのサムネイル画像２５１乃至２５４により構成されるので、図２１に示すように、モザイク画像２５０の画像ファイルのsgpdボックスには、４つのTile Region Group Entryが記述される。
図２１の例では、先頭のTile Region Group Entryは、サムネイル画像２５１に対応し、(1,0,0,960,540)である。２番目のTile Region Group Entryは、サムネイル画像２５２に対応し、(2,960,0,960,540)である。３番目のTile Region Group Entryは、サムネイル画像２５３に対応し、(3,0,540,960,540)である。４番目のTile Region Group Entryは、サムネイル画像２５４に対応し、(4,960,540,960,540)である。
また、levaボックスは、各Tile Region Group Entryに対応するlevelの情報を、先頭のTile Region Group Entryに対応するlevelの情報から順に記述する。これにより、サムネイル画像２５１に対するlevelが１に設定され、サムネイル画像２５２に対するlevelが２に設定され、サムネイル画像２５３に対するlevelが３に設定され、サムネイル画像２５４に対するlevelが４に設定される。
各levelの情報として記述されるassignment_typeは０に設定され、Tile Region Group Entryのタイプは、sgpdボックスに記述されるTile Region Group Entryのタイプである「trif」に設定される。
（MPDファイルの第１の例）
図２２は、図１８のファイル生成装置２１１により生成される、モザイク画像２５０の画像ファイルに対応するMPDファイルの第１の例を示す図である。
図２２に示すように、MPDファイルでは、符号化ストリームごとに「AdaptationSet」が記述される。また、「AdaptationSet」には「Representation」が記述され、「Representation」には、モザイク画像２５０の符号化ストリームの画像ファイルのURL「stream.mp4」が記述される。また、モザイク画像２５０の符号化ストリームにはlevelが設定されるので、「Representation」には、levelごとに「SubRepresentation」が記述可能になっている。
従って、level「１」の「SubRepresentation」には、サムネイル画像２５１のSRDである<SupplementalProperty schemeIdUri="urn:mpeg:dash:srd:2014" value=“1,0,0,960,540,1920,1080"/>が記述される。これにより、サムネイル画像２５１のSRDが、level「１」に対応するTile Region Group Entryが示すサムネイル画像２５１のモザイク画像２５０上の位置と対応付けて設定される。
また、level「２」の「SubRepresentation」には、サムネイル画像２５２のSRDである<SupplementalProperty schemeIdUri="urn:mpeg:dash:srd:2014" value=“1,960,0,960,540,1920,1080"/>が記述される。これにより、サムネイル画像２５２のSRDが、level「２」に対応するTile Region Group Entryが示すサムネイル画像２５２のモザイク画像２５０上の位置と対応付けて設定される。
さらに、level「３」の「SubRepresentation」には、サムネイル画像２５３のSRDである<SupplementalProperty schemeIdUri="urn:mpeg:dash:srd:2014" value=“1,0,540,960,540,1920,1080"/>が記述される。これにより、サムネイル画像２５３のSRDが、level「３」に対応するTile Region Group Entryが示すサムネイル画像２５３のモザイク画像２５０上の位置と対応付けて設定される。
また、level「４」の「SubRepresentation」には、サムネイル画像２５４のSRDである<SupplementalProperty schemeIdUri="urn:mpeg:dash:srd:2014" value=“1,960,540,960,540,1920,1080"/>が記述される。これにより、サムネイル画像２５４のSRDが、level「４」に対応するTile Region Group Entryが示すサムネイル画像２５４のモザイク画像２５０上の位置と対応付けて設定される。
以上のように、図２２のMPDファイルでは、Tile Region Group Entryが示すモザイク画像２５０の水平方向および垂直方向のサイズと、SRDが示す画面の水平方向および垂直方向のサイズが同一である。また、各levelに対応するTile Region Group Entryが示すモザイク画像２５０上の水平方向および垂直方向の座標と、そのlevelに対応するSRDが示す画面上の水平方向および垂直方向の位置が同一である。従って、図２２のMPDファイルが生成される場合、SRDに基づいて復号されたサムネイル画像２５１乃至２５４が配置された画面は、モザイク画像２５０と同一になる。
また、各levelの「SubRepresentation」には、そのlevelのサムネイル画像２５１乃至２５４に対応する動画のURLも記述される。具体的には、level「１」の「SubRepresentation」には、サムネイル画像２５１に対応する動画のURL「http://example.com/a_service/my.mpd」が記述される。また、level「２」の「SubRepresentation」には、サムネイル画像２５２に対応する動画のURL「http://example.com/b_service/my.mpd」が記述される。
また、level「３」の「SubRepresentation」には、サムネイル画像２５３に対応する動画のURL「http://example.com/c_service/my.mpd」が記述される。また、level「４」の「SubRepresentation」には、サムネイル画像２５４に対応する動画のURL「http://example.com/d_service/my.mpd」が記述される。
（MPDファイルの第２の例）
図２３は、図１８のファイル生成装置２１１により生成される、モザイク画像２５０の画像ファイルに対応するMPDファイルの第２の例を示す図である。
なお、図２３のMPDファイルは、各levelの「SubRepresentation」に記述されるSRDのみが図２２のMPDと異なっている。
即ち、図２３のMPDファイルでは、level「３」の「SubRepresentation」には、サムネイル画像２５３のSRDである<SupplementalProperty schemeIdUri="urn:mpeg:dash:srd:2014" value=“1,0,0,960,540,1920,1080"/>が記述される。
また、level「４」の「SubRepresentation」には、サムネイル画像２５４のSRDである<SupplementalProperty schemeIdUri="urn:mpeg:dash:srd:2014" value=“1,960,0,960,540,1920,1080"/>が記述される。
さらに、level「１」の「SubRepresentation」には、サムネイル画像２５１のSRDである<SupplementalProperty schemeIdUri="urn:mpeg:dash:srd:2014" value=“1,0,540,960,540,1920,1080"/>が記述される。
また、level「２」の「SubRepresentation」には、サムネイル画像２５２のSRDである<SupplementalProperty schemeIdUri="urn:mpeg:dash:srd:2014" value=“1,960,540,960,540,1920,1080"/>が記述される。
以上のように、図２３のMPDファイルでは、図２２のMPDファイルと同様に、Tile Region Group Entryが示すモザイク画像２５０の水平方向および垂直方向のサイズと、SRDが示す画面の水平方向および垂直方向のサイズが同一である。
しかしながら、各levelに対応するTile Region Group Entryが示すモザイク画像２５０上の水平方向および垂直方向の座標と、そのlevelに対応するSRDが示す画面上の水平方向および垂直方向の位置が異なっている。従って、図２３のMPDファイルが生成される場合、SRDに基づいて復号されたサムネイル画像２５１乃至２５４が配置された画面は、モザイク画像２５０と異なる。
（サムネイル画像が配置された画面の例）
図２４は、図２３のMPDファイルに記述されたSRDに基づいて復号されたサムネイル画像２５１乃至２５４が配置された画面の例を示す図である。
図２３のMPDファイルに記述されたサムネイル画像２５１のSRDは、サムネイル画像２５１の左上の、1920画素×1080画素からなる画面２７０上の座標が(0,540)である。従って、図２４に示すように、サムネイル画像２５１は、画面２７０の左下に配置される。
また、サムネイル画像２５２のSRDは、サムネイル画像２５２の左上の画面２７０上の座標が(960,0)である。従って、図２４に示すように、サムネイル画像２５２は、画面２７０の右下に配置される。
さらに、サムネイル画像２５３のSRDは、サムネイル画像２５３の左上の、1920画素×1080画素からなる画面２７０上の座標が(0,0)である。従って、図２４に示すように、サムネイル画像２５３は、画面２７０の左上に配置される。
また、サムネイル画像２５４のSRDは、サムネイル画像２５４の左上の画面２７０上の座標が(960,0)である。従って、図２４に示すように、サムネイル画像２５４は、画面２７０の右上に配置される。
以上のように、図２３のMPDファイルにより、表示時に、サムネイル画像２５１乃至２５４の配置を、符号化対象のモザイク画像２５０における配置から、画面２７０における配置に変更することができる。
（ファイル生成装置の処理の説明）
図２５は、図１９のファイル生成装置２１１のファイル生成処理を説明するフローチャートである。
図２５のステップＳ１９１において、符号化処理部２３１は、動画コンテンツの画像としてのモザイク画像を複数の符号化速度で符号化し、符号化ストリームを生成する。符号化処理部２３１は、各符号化速度の符号化ストリームを画像ファイル生成部２３２に供給する。
ステップＳ１９２において、画像ファイル生成部２３２は、符号化処理部２３１から供給される各符号化速度の符号化ストリームを、セグメントごとにファイル化し、画像ファイルを生成する。画像ファイル生成部２３２は、生成された画像ファイルをMPD生成部２３３に供給する。
ステップＳ１９３において、MPD生成部２３３は、画像ファイルのURL等を含むMPDファイルを生成する。MPD生成部２３３は、生成されたMPDファイルと画像ファイルをサーバアップロード処理部２３４に供給する。
ステップＳ１９４において、サーバアップロード処理部２３４は、MPD生成部２３３から供給される画像ファイルとMPDファイルを、Webサーバ１２にアップロードする。そして、処理は終了する。
（動画再生端末の機能的構成例）
図２６は、図１８の動画再生端末１４が制御用ソフトウエア２１、動画再生ソフトウエア２２、およびアクセス用ソフトウエア２３を実行することにより実現されるストリーミング再生部の構成例を示すブロック図である。
なお、図２６に示す構成のうち、図１０の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。
図２６のストリーミング再生部２９０は、MPD取得部１９１、MPD処理部２９２、画像ファイル取得部２９３、デコーダ２９４、表示制御部２９５、受付部２９６、および動画取得部２９７により構成される。
ストリーミング再生部２９０のMPD処理部２９２は、MPD取得部１９１から供給されるMPDファイルから再生対象のセグメントの画像ファイルのURL等の情報を抽出し、画像ファイル取得部２９３に供給する。また、MPD処理部２９２は、MPDファイルを動画取得部２９７に供給する。さらに、MPD処理部２９２は、MPDファイルから再生対象のセグメントのモザイク画像の各分割画像のSRDを抽出し、表示制御部２９５に供給する。
画像ファイル取得部２９３は、MPD処理部２９２から供給されるURLで特定される画像ファイルの符号化ストリームを、Webサーバ１２に要求し、取得する。画像ファイル取得部２９３は、取得された符号化ストリームをデコーダ２９４に供給する。
デコーダ２９４は、画像ファイル取得部２９３から供給される符号化ストリームを復号する。デコーダ２９４は、復号の結果得られるモザイク画像を表示制御部２９５に供給する。
表示制御部２９５(配置部)は、MPD処理部２９２から供給されるSRDに基づいて、デコーダ２９４から供給されるモザイク画像の各分割画像を画面上に配置する。また、表示制御部２９５は、各分割画像に配置された画面にカーソル等を重畳して、図示せぬ表示装置に供給し、表示させる。
また、表示制御部２９５は、受付部２９６から供給される画面の所定の領域の拡大指示に応じて、モザイク画像が配置された画面のうちの、その領域に含まれるサムネイル画像のみからなる部分モザイク画像のサイズを、画面サイズに拡大する。そして、表示制御部２９５は、拡大された部分モザイク画像が配置された画面内の所定のサムネイル画像にカーソル等を重畳し、図示せぬ表示装置に供給して、表示させる。
また、表示制御部２９５は、動画取得部２９７から供給される、表示中のサムネイル画像の１つに対応する動画を、図示せぬ表示装置に供給し、表示させる。
受付部２９６は、ユーザ等からの指示を受け付け、その指示を動画取得部２９７または表示制御部２９５に供給する。
動画取得部２９７は、受付部２９６から供給される所定の位置の指示に応じて、MPD処理部２９２から供給されるMPDファイルから、その位置に対応する動画のURLを取得する。動画取得部２９７は、取得されたURLに基づいて、Webサーバ１２等から動画を取得し、表示制御部２９５に供給する。
（再生処理の概要）
図２７は、図２６のストリーミング再生部２９０による再生処理の概要を説明する図である。
図２７の左側に示すように、表示制御部２９５は、まず、画面に配置されたモザイク画像３１０を構成する４×４個のサムネイル画像３１１のうちの、所定のサムネイル画像３１１にカーソル３１２を重畳し、図示せぬ表示装置に表示させる。
このとき、ユーザは、カーソル３１２が重畳されたモザイク画像３１０の画面を見ながら、所望の領域の拡大指示を行う。図２７の例では、ユーザは、モザイク画像３１０が配置された画面の右上の２×２個のサムネイル画像３１１の領域の拡大指示を行っている。
表示制御部２９５は、この拡大指示に応じて、モザイク画像３１０が配置された画面のうちの右上の２×２個のサムネイル画像３１１のみからなる部分モザイク画像３１３のサイズを、画面サイズに拡大する。そして、図２７の中央に示すように、表示制御部２９５は、拡大された部分モザイク画像３１３が配置された画面内の所定のサムネイル画像３１１にカーソル３１４を重畳し、図示せぬ表示装置に表示させる。
このとき、ユーザは、カーソル３１４を所望のサムネイル画像３１１に移動させ、ダブルタップ等の操作を行うことにより、カーソル３１４の位置を指示する。図２７の例では、ユーザは、右上のサムネイル画像３１１の位置を指示している。
動画取得部２９７は、その指示に応じて、MPDファイルから、指示された部分モザイク画像３１３上の位置に対応するモザイク画像３１０の画面上の位置を示すSRDに対応する動画のURLを、指示された位置に対応する動画のURLとして取得する。そして、動画取得部２９７は、取得されたURLに基づいて、Webサーバ１２等から動画３１５を取得し、表示制御部２９５に供給する。これにより、図２７の右側に示すように、表示制御部２９５は、動画３１５を図示せぬ表示装置に表示させる。
（動画再生端末の処理の説明）
図２８は、図２６のストリーミング再生部２９０の再生処理を説明するフローチャートである。
図２８のステップＳ２１１において、ストリーミング再生部２９０のMPD取得部１９１は、Webサーバ１２からMPDファイルを取得し、MPD処理部２９２に供給する。
ステップＳ２１２において、MPD処理部２９２は、MPD取得部１９１から供給されるMPDファイルか再生対象のセグメントの画像ファイルのURL等の情報を抽出し、画像ファイル取得部２９３に供給する。また、MPD処理部２９２は、MPDファイルを動画取得部２９７に供給する。さらに、MPD処理部２９２は、MPDファイルから再生対象のセグメントのモザイク画像の各分割画像のSRDを抽出し、表示制御部２９５に供給する。
ステップＳ２１３において、画像ファイル取得部２９３は、MPD処理部２９２から供給されるURLに基づいて、そのURLで特定される画像ファイルの符号化ストリームを、Webサーバ１２に要求し、取得する。画像ファイル取得部２９３は、取得された符号化ストリームをデコーダ２９４に供給する。
ステップＳ２１４において、デコーダ２９４は、画像ファイル取得部２９３から供給される符号化ストリームを復号する。デコーダ２９４は、復号の結果得られるモザイク画像を表示制御部２９５に供給する。
ステップＳ２１５において、表示制御部２９５は、MPD処理部２９２からのSRDに基づいて、デコーダ２９４からのモザイク画像の各分割画像を画面上に配置し、その画面にカーソル等を重畳して、図示せぬ表示装置に供給し、表示させる。
ステップＳ２１６において、受付部２９６は、ユーザからの画面の所定の領域の拡大指示を受け付けたかどうかを判定する。ステップＳ２１６で画面の所定の領域の拡大指示を受け付けていないと判定された場合、受付部２９６は、画面の所定の領域の拡大指示を受け付けるまで待機する。
一方、ステップＳ２１６で画面の所定の領域の拡大指示を受け付けたと判定された場合、受付部２９６は、その拡大指示を表示制御部２９５に供給する。そして、ステップＳ２１７において、表示制御部２９５は、受付部２９６から供給される拡大指示に応じて、モザイク画像が配置された画面のうちの、拡大指示された領域に含まれるサムネイル画像のみからなる部分モザイク画像のサイズを、画面サイズに拡大する。
ステップＳ２１８において、表示制御部２９５は、拡大された部分モザイク画像が配置された画面内の所定のサムネイル画像にカーソル等を重畳し、図示せぬ表示装置に供給して、表示させる。このとき、ユーザは、カーソルを所望のサムネイル画像に移動させ、ダブルタップ等の操作を行うことにより、画面上のカーソルの位置を指示する。
ステップＳ２１９において、受付部２９６は、ユーザからの画面上の位置の指示を受け付けたかどうかを判定する。ステップＳ２１９で画面上の位置の指示を受け付けていないと判定された場合、受付部２９６は、画面上の位置の指示を受け付けるまで待機する。
一方、ステップＳ２１９で画面上の位置の指示を受け付けたと判定された場合、受付部２９６は、その指示を動画取得部２９７に供給する。そして、ステップＳ２２０において、動画取得部２９７は、受付部２９６から供給される指示に応じて、MPD処理部２９２から供給されるMPDファイルから、指示された位置に対応する動画のURLを取得する。
ステップＳ２２１において、動画取得部２９７は、取得されたURLに基づいて、Webサーバ１２等から動画を取得し、表示制御部２９５に供給する。
ステップＳ２２２において、表示制御部２９５は、動画取得部２９７から供給される動画を、図示せぬ表示装置に供給し、表示させる。そして、処理は終了する。
なお、第３実施の形態では、モザイク画像の表示後に部分モザイク画像が表示され、ユーザにより部分モザイク画像上の位置が指示されるようにしたが、部分モザイク画像は表示されず、モザイク画像上の位置が直接ユーザにより指示されるようにしてもよい。
＜第４実施の形態＞
（本開示を適用したコンピュータの説明）
上述した一連の処理は、ハードウエアにより実行することもできるし、ソフトウエアにより実行することもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウエアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどが含まれる。
図２９は、上述した一連の処理をプログラムにより実行するコンピュータのハードウエアの構成例を示すブロック図である。
コンピュータ９００において、CPU（Central Processing Unit）９０１，ROM（Read Only Memory）９０２，RAM（Random Access Memory）９０３は、バス９０４により相互に接続されている。
バス９０４には、さらに、入出力インタフェース９０５が接続されている。入出力インタフェース９０５には、入力部９０６、出力部９０７、記憶部９０８、通信部９０９、及びドライブ９１０が接続されている。
入力部９０６は、キーボード、マウス、マイクロフォンなどよりなる。出力部９０７は、ディスプレイ、スピーカなどよりなる。記憶部９０８は、ハードディスクや不揮発性のメモリなどよりなる。通信部９０９は、ネットワークインタフェースなどよりなる。ドライブ９１０は、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリなどのリムーバブルメディア９１１を駆動する。
以上のように構成されるコンピュータ９００では、CPU９０１が、例えば、記憶部９０８に記憶されているプログラムを、入出力インタフェース９０５及びバス９０４を介して、RAM９０３にロードして実行することにより、上述した一連の処理が行われる。
コンピュータ９００（CPU９０１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア９１１に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。
コンピュータ９００では、プログラムは、リムーバブルメディア９１１をドライブ９１０に装着することにより、入出力インタフェース９０５を介して、記憶部９０８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部９０９で受信し、記憶部９０８にインストールすることができる。その他、プログラムは、ROM９０２や記憶部９０８に、あらかじめインストールしておくことができる。
なお、コンピュータ９００が実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
また、本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。
なお、本明細書に記載された効果はあくまで例示であって限定されるものではなく、他の効果があってもよい。
また、本開示の実施の形態は、上述した実施の形態に限定されるものではなく、本開示の要旨を逸脱しない範囲において種々の変更が可能である。
なお、本開示は、以下のような構成もとることができる。
（１）
符号化ストリームに対応する複数の分割画像からなる画像の画面上の位置として、前記画面の外側にはみ出る位置を設定する設定部
を備える情報処理装置。
（２）
前記複数の分割画像は、全天球画像またはパノラマ画像の一部を構成する対向する端部の画像である
ように構成された
前記（１）に記載の情報処理装置。
（３）
前記設定部は、前記符号化ストリームのファイルを管理する管理ファイルに前記画像の前記画面上の位置を設定する
ように構成された
前記（１）または（２）に記載の情報処理装置。
（４）
情報処理装置が、
符号化ストリームに対応する、複数の分割画像からなる画像の画面上の位置として、前記画面の外側にはみ出る位置を設定する設定ステップ
を含む情報処理方法。
（５）
符号化ストリームに対応する複数の分割画像からなる画像の画面上の位置として設定された前記画面の外側にはみ出る位置に基づいて、前記符号化ストリームを復号することにより得られた前記画像を前記画面上に配置する配置部
を備える情報処理装置。
（６）
前記複数の分割画像は、全天球画像またはパノラマ画像の一部を構成する対向する端部の画像である
ように構成された
前記（５）に記載の情報処理装置。
（７）
前記画像の前記画面上の位置は、前記符号化ストリームのファイルを管理する管理ファイルに設定される
ように構成された
前記（５）または（６）に記載の情報処理装置。
（８）
情報処理装置が、
符号化ストリームに対応する複数の分割画像からなる画像の画面上の位置として設定された前記画面の外側にはみ出る位置に基づいて、前記符号化ストリームを復号することにより得られた前記画像を前記画面上に配置する配置ステップ
を含む情報処理方法。
（９）
符号化ストリームに対応する複数の分割画像からなる画像の各分割画像の画面上の位置を、その分割画像の前記画像上の位置と対応付けて設定する設定部
を備える情報処理装置。
（１０）
前記画像は、全天球画像またはパノラマ画像の一部、もしくは、モザイク画像である
ように構成された
前記（９）に記載の情報処理装置。
（１１）
前記符号化ストリームは、各分割画像を異なるタイルとして符号化した符号化ストリームである
ように構成された
前記（９）または（１０）に記載の情報処理装置。
（１２）
前記設定部は、前記符号化ストリームのファイルを管理する管理ファイルに前記画像の前記画面上の位置を設定する
ように構成された
前記（９）乃至（１１）のいずれかに記載の情報処理装置。
（１３）
情報処理装置が、
符号化ストリームに対応する複数の分割画像からなる画像の各分割画像の画面上の位置を、その分割画像の前記画像上の位置と対応付けて設定する設定ステップ
を含む情報処理方法。
（１４）
符号化ストリームに対応する複数の分割画像からなる画像上の位置と対応付けて設定された、前記画像の各分割画像の画面上の位置に基づいて、前記符号化ストリームを復号することにより得られた前記画像の各分割画像を前記画面上に配置する配置部
を備える情報処理装置。
（１５）
前記画像は、全天球画像またはパノラマ画像の一部、もしくは、モザイク画像である
ように構成された
前記（１４）に記載の情報処理装置。
（１６）
前記符号化ストリームは、各分割画像を異なるタイルとして符号化した符号化ストリームである
ように構成された
前記（１４）または（１５）に記載の情報処理装置。
（１７）
前記画像の前記画面上の位置は、前記符号化ストリームのファイルを管理する管理ファイルに設定される
ように構成された
前記（１４）乃至（１６）のいずれかに記載の情報処理装置。
（１８）
情報処理装置が、
符号化ストリームに対応する複数の分割画像からなる画像上の位置と対応付けて設定された、前記画像の各分割画像の画面上の位置に基づいて、前記符号化ストリームを復号することにより得られた前記画像の各分割画像を前記画面上に配置する配置ステップ
を含む情報処理方法。
１１ ファイル生成装置, １４ 動画再生端末, １７０ 全天球画像, １７３−１ 左端部画像,１７３−２ 右端部画像, １８０ 画面, １９５ 配置部， ２１１ ファイル生成装置, ２５０ モザイク画像, ２５１乃至２５４ サムネイル画像

Claims (8)

  1. 水平方向の周囲360度の画像を平面に展開した展開画像に対して、垂直方向および水平方向にそれぞれ分割した複数の分割画像を生成する分割部であって、前記分割画像のうち、前記展開画像の水平方向の一方の端部に配置された第１の分割画像を、前記一方の端部と対向する他方の端部に配置された第２の分割画像に対して前記展開画像の外側にはみ出る位置に配置して、前記第１の分割画像と前記第２の分割画像とを合成した端部画像を生成する分割部と、
    前記端部画像が、前記第１の分割画像と前記第２の分割画像とを含むことを表す画像情報を生成する設定部と
    を備える情報処理装置。
  2. 前記展開画像は、全天球画像またはパノラマ画像である
    請求項１に記載の情報処理装置。
  3. 前記分割画像は、符号化ストリームに対応した画像であり、
    前記設定部は、前記符号化ストリームのファイルを管理する管理ファイルに前記画像情報、及び、前記分割画像の前記展開画像の画面上の位置を表す情報を含める
    請求項１に記載の情報処理装置。
  4. 分割部と、
    設定部と
    を備えた
    情報処理装置の
    前記分割部は、水平方向の周囲360度の画像を平面に展開した展開画像に対して、垂直方向および水平方向にそれぞれ分割した複数の分割画像を生成し、
    前記分割画像のうち、前記展開画像の水平方向の一方の端部に配置された第１の分割画像を、前記一方の端部と対向する他方の端部に配置された第２の分割画像に対して前記展開画像の外側にはみ出る位置に配置して、前記第１の分割画像と前記第２の分割画像とを合成した端部画像を生成し、
    前記設定部は、前記端部画像が、前記第１の分割画像と前記第２の分割画像とを含むことを表す画像情報を生成する
    情報処理方法。
  5. 水平方向の周囲360度の画像を平面に展開した展開画像に対して、垂直方向および水平方向にそれぞれ分割された複数の分割画像であって、前記展開画像の水平方向の一方の端部に配置された第１の分割画像が、前記一方の端部と対向する他方の端部に配置された第２の分割画像に対して前記展開画像の外側にはみ出る位置に配置されて、前記第１の分割画像と前記第２の分割画像とが合成された端部画像を含む前記分割画像に対して、
    前記分割画像の前記展開画像の画面上の位置を表した画像情報に基づいて前記分割画像を前記画面上に配置する配置部
    を備える情報処理装置。
  6. 前記展開画像は、全天球画像またはパノラマ画像である
    請求項５に記載の情報処理装置。
  7. 前記分割画像は、符号化ストリームに対応した画像であり、
    前記分割画像の前記画面上の位置は、前記符号化ストリームのファイルを管理する管理ファイルに設定される
    ように構成された
    請求項５に記載の情報処理装置。
  8. 配置部
    を備えた
    情報処理装置の
    前記配置部が、水平方向の周囲360度の画像を平面に展開した展開画像に対して、垂直方向および水平方向にそれぞれ分割された複数の分割画像であって、前記展開画像の水平方向の一方の端部に配置された第１の分割画像が、前記一方の端部と対向する他方の端部に配置された第２の分割画像に対して前記展開画像の外側にはみ出る位置に配置されて、前記第１の分割画像と前記第２の分割画像とが合成された端部画像を含む分割画像に対して、
    前記分割画像の前記展開画像の画面上の位置を表した画像情報に基づいて前記分割画像を前記画面上に配置する
    情報処理方法。
JP2017523584A 2015-06-12 2016-05-30 情報処理装置および情報処理方法 Active JP6807032B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2015119360 2015-06-12
JP2015119360 2015-06-12
PCT/JP2016/065865 WO2016199607A1 (ja) 2015-06-12 2016-05-30 情報処理装置および情報処理方法

Publications (2)

Publication Number Publication Date
JPWO2016199607A1 JPWO2016199607A1 (ja) 2018-03-29
JP6807032B2 true JP6807032B2 (ja) 2021-01-06

Family

ID=57503950

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017523584A Active JP6807032B2 (ja) 2015-06-12 2016-05-30 情報処理装置および情報処理方法

Country Status (9)

Country Link
US (2) US10313728B2 (ja)
EP (1) EP3310061A4 (ja)
JP (1) JP6807032B2 (ja)
KR (1) KR20180018522A (ja)
CN (1) CN107637082B (ja)
CA (1) CA2985329A1 (ja)
MX (2) MX2017015340A (ja)
RU (1) RU2718118C2 (ja)
WO (1) WO2016199607A1 (ja)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20200045359A1 (en) * 2017-04-04 2020-02-06 Sharp Kabushiki Kaisha Reproduction device, generation device, reproduction system, program, recording medium
GB2563865A (en) * 2017-06-27 2019-01-02 Canon Kk Method, device, and computer program for transmitting media content
GB2570298A (en) * 2018-01-17 2019-07-24 Nokia Technologies Oy Providing virtual content based on user context
US11184420B2 (en) 2020-01-06 2021-11-23 Tencent America LLC Methods and apparatuses for dynamic adaptive streaming over HTTP
US11228796B2 (en) * 2020-01-07 2022-01-18 Tencent America LLC Pattern addressing for session-based dash operations
US11520848B2 (en) * 2021-01-06 2022-12-06 Tencent America LLC Methods and apparatuses for dynamic adaptive streaming over HTTP
US11895172B2 (en) * 2021-04-21 2024-02-06 Tencent America LLC Session-based description URL customization using the session-based DASH operations

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6331869B1 (en) * 1998-08-07 2001-12-18 Be Here Corporation Method and apparatus for electronically distributing motion panoramic images
JP2003141562A (ja) * 2001-10-29 2003-05-16 Sony Corp 非平面画像の画像処理装置及び画像処理方法、記憶媒体、並びにコンピュータ・プログラム
WO2004004363A1 (ja) * 2002-06-28 2004-01-08 Sharp Kabushiki Kaisha 画像符号化装置、画像送信装置および画像撮影装置
US7627194B2 (en) * 2004-08-13 2009-12-01 Samsung Electronics Co., Ltd. Method and device for making virtual image region for motion estimation and compensation of panorama image
MX2008012473A (es) * 2006-03-31 2008-10-10 Koninkl Philips Electronics Nv Reproduccion adaptada de contenido de video basada en cuadros adicionales de contenido.
JP4345829B2 (ja) * 2007-03-09 2009-10-14 ソニー株式会社 画像表示システム、画像表示装置、画像表示方法およびプログラム
US8872888B2 (en) * 2010-10-01 2014-10-28 Sony Corporation Content transmission apparatus, content transmission method, content reproduction apparatus, content reproduction method, program and content delivery system
JP5406813B2 (ja) * 2010-10-05 2014-02-05 株式会社ソニー・コンピュータエンタテインメント パノラマ画像表示装置およびパノラマ画像表示方法
JP5409577B2 (ja) * 2010-10-05 2014-02-05 株式会社ソニー・コンピュータエンタテインメント パノラマ画像生成装置およびパノラマ画像生成方法
CN102209241B (zh) * 2011-05-25 2013-07-03 杭州华三通信技术有限公司 一种基于多子图的视频编解码方法及其装置
JP2015156523A (ja) * 2012-06-06 2015-08-27 ソニー株式会社 画像処理装置、画像処理方法、プログラム
JP6044328B2 (ja) * 2012-12-26 2016-12-14 株式会社リコー 画像処理システム、画像処理方法およびプログラム
CN103561261B (zh) * 2013-10-12 2016-10-26 重庆邮电大学 基于视觉注意的全景可定位视频编码方法
CN106031180A (zh) * 2014-02-18 2016-10-12 Lg电子株式会社 收发用于全景服务的广播信号的方法和设备

Also Published As

Publication number Publication date
EP3310061A1 (en) 2018-04-18
MX2020002592A (es) 2020-10-22
US20180098107A1 (en) 2018-04-05
US20190222881A1 (en) 2019-07-18
RU2017142308A (ru) 2019-06-05
EP3310061A4 (en) 2018-12-12
KR20180018522A (ko) 2018-02-21
RU2718118C2 (ru) 2020-03-30
RU2017142308A3 (ja) 2019-06-14
JPWO2016199607A1 (ja) 2018-03-29
CN107637082A (zh) 2018-01-26
MX2017015340A (es) 2018-04-11
WO2016199607A1 (ja) 2016-12-15
US10757463B2 (en) 2020-08-25
CN107637082B (zh) 2021-03-12
US10313728B2 (en) 2019-06-04
CA2985329A1 (en) 2016-12-15

Similar Documents

Publication Publication Date Title
JP6807032B2 (ja) 情報処理装置および情報処理方法
KR102246002B1 (ko) 가상 현실 미디어 콘텐트의 스트리밍을 개선하는 방법, 디바이스, 및 컴퓨터 프로그램
WO2016199608A1 (ja) 情報処理装置および情報処理方法
US11303826B2 (en) Method and device for transmitting/receiving metadata of image in wireless communication system
US10672102B2 (en) Conversion and pre-processing of spherical video for streaming and rendering
JP7218826B2 (ja) 再生装置および画像生成方法
US10313763B2 (en) Method and apparatus for requesting and receiving selected segment streams based on projection information
KR20170005366A (ko) 고 해상도 영상에서의 영상 추출 장치 및 방법
US11653054B2 (en) Method and apparatus for late binding in media content
KR20200051605A (ko) 화상 처리 장치 및 파일 생성 장치
WO2019062613A1 (zh) 一种媒体信息的处理方法及装置
EP3609187A1 (en) Method for transmitting region-based 360-degree video, method for receiving region-based 360-degree video, region-based 360-degree video transmission device, and region-based 360-degree video reception device
WO2016199609A1 (ja) 情報処理装置および情報処理方法
US20240080501A1 (en) Processing of multi-view video
Kammachi‐Sreedhar et al. Omnidirectional video delivery with decoder instance reduction
EP4360316A2 (en) An apparatus, a method and a computer program for video coding and decoding
CN116848840A (zh) 多视图视频流式传输

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190402

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200602

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200721

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20201105

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20201118

R151 Written notification of patent or utility model registration

Ref document number: 6807032

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151