JP7041472B2 - マニフェストを作成する方法及びネットワーク機器 - Google Patents

マニフェストを作成する方法及びネットワーク機器 Download PDF

Info

Publication number
JP7041472B2
JP7041472B2 JP2017098777A JP2017098777A JP7041472B2 JP 7041472 B2 JP7041472 B2 JP 7041472B2 JP 2017098777 A JP2017098777 A JP 2017098777A JP 2017098777 A JP2017098777 A JP 2017098777A JP 7041472 B2 JP7041472 B2 JP 7041472B2
Authority
JP
Japan
Prior art keywords
multimedia content
manifest
adaptation set
adaptation
spatial object
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017098777A
Other languages
English (en)
Other versions
JP2018014710A (ja
JP2018014710A5 (ja
Inventor
シャンペル,マリー-ルック
ラセール,セバスチャン
ギャルピン,フランク
Original Assignee
インターデジタル マディソン パテント ホールディングス, エスアーエス
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by インターデジタル マディソン パテント ホールディングス, エスアーエス filed Critical インターデジタル マディソン パテント ホールディングス, エスアーエス
Publication of JP2018014710A publication Critical patent/JP2018014710A/ja
Publication of JP2018014710A5 publication Critical patent/JP2018014710A5/ja
Application granted granted Critical
Publication of JP7041472B2 publication Critical patent/JP7041472B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234345Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements the reformatting operation being performed only on part of the stream, e.g. a region of the image or a time segment
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60Network streaming of media packets
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/23439Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements for generating different versions
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/02Protocols based on web technology, e.g. hypertext transfer protocol [HTTP]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21Server components or server architectures
    • H04N21/218Source of audio or video content, e.g. local disk arrays
    • H04N21/2187Live feed
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/262Content or additional data distribution scheduling, e.g. sending additional data at off-peak times, updating software modules, calculating the carousel transmission frequency, delaying a video stream transmission, generating play-lists
    • H04N21/26258Content or additional data distribution scheduling, e.g. sending additional data at off-peak times, updating software modules, calculating the carousel transmission frequency, delaying a video stream transmission, generating play-lists for generating a list of items to be played back in a given order, e.g. playlist, or scheduling item distribution according to such list
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/643Communication protocols
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81Monomedia components thereof
    • H04N21/816Monomedia components thereof involving special video data, e.g 3D video
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/84Generation or processing of descriptive data, e.g. content descriptors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845Structuring of content, e.g. decomposing content into time segments
    • H04N21/8456Structuring of content, e.g. decomposing content into time segments by decomposing the content in the time domain, e.g. in time segments
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85Assembly of content; Generation of multimedia applications
    • H04N21/858Linking data to content, e.g. by linking an URL to a video object, by creating a hotspot
    • H04N21/8586Linking data to content, e.g. by linking an URL to a video object, by creating a hotspot by using a URL

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Information Transfer Between Computers (AREA)

Description

本発明は、概して、限定ではなく例えば、HTTP(ハイパーテキスト転送プロトコル)による適応ストリーミング技術の分野に関し、詳しくは、ネットワーク機器の動作に関する。
本セクションは、当該技術分野の様々な態様を読み手に紹介することを意図しており、これらは、後で説明及び/又は特許請求する本発明の様々な態様に関連すると考えられてよい。この説明は、本発明の様々な態様のよりよい理解を促進するための背景情報を読み手に提供することに役立つものと確信する。従って、当然のことながら、これらの記載は、この観点から読まれるべきであって、先行技術の容認として読まれるべきでない。
HTTPを介する適応ストリーミング(マルチビットレートスイッチング又はHASとも呼ばれる)は、急速に、マルチメディアコンテンツ配信についての主要な技術になりつつある。既に使用されているHTTP適応ストリーミングプロトコルの中でとりわけ有名なものは、アップル(登録商標)社によるHTTP Live Streaming(HLS)、マイクロソフト(登録商標)社によるSilverlight(登録商標) Smooth Streaming(SSS)、アドビ(登録商標)社によるAdobe Dynamic Streaming (ADS)、3GPPによって開発されたDynamic Adaptive Streaming over HTTP(DASH)と、(ISO/IEC 23009-1:2012として標準化された)MPEGとである。
クライアント端末は、適応ストリーミングでのオーディオビジュアルコンテンツ(A/Vコンテンツ)を再生したい場合、まず、このA/Vコンテンツがどのようにして得られるかを記述したファイルを取得する必要がある。これは、一般に、HTTPプロトコルを介してURL(Uniform Resource Locator)から記述ファイル、いわゆるマニフェスト(或いはMPEG-DASH用メディアプレゼンテーション記述(MPD))を取得することによって行われるが、その他の手段(例えば、ブロードキャスト、電子メール、SMSなど)によっても実現できる。このマニフェストは、あらかじめ生成されており、リモートサーバによってクライアント端末に配信されるが、(コーディングビットレート、解像度などの特性に関しての)当該A/Vコンテンツの利用可能なリプレゼンテーション(インスタンス又はバージョンとも呼ばれる)を基本的にリスト化している。1つのリプレゼンテーションは、所与の品質レベル(ビットレート)に関連付けられている。
各リプレゼンテーションのデータストリーム全体は、(別箇のURLによってアクセス可能な)等しい持続期間(例えば、数秒)のセグメント(チャンクとも呼ばれる)に分割されており、これらのセグメントは、クライアント端末が、ネットワーク状態に動的に適応するために、2つのセグメントの間である1つの品質レベルから別の品質レベルにスムーズに切り替えられるように作成されている。低帯域幅が利用可能であれば、クライアント端末は、低ビットレートのチャンクを要求し、より高い帯域幅が利用可能になれば、クライアント端末は、より高いビットレートのチャンクを要求してよい。その結果、ビデオ品質は、再生中に変動することもあるが、中断(フリーズとも呼ばれる)が起こることはほとんどない。
クライアント側において、セグメントは、伝送経路の利用可能な帯域幅の測定値に基づいて選択される。特に、クライアント端末は、通常、ビットレートエンコーディングに対応するセグメントのリプレゼンテーションを要求し、従って、測定された帯域幅に準拠した品質を要求する。
更に、MPEG DASH規格では、SRDにより、メディアプレゼンテーション作成者が空間オブジェクト間の空間的関係を表現することを可能にする。空間オブジェクトは、コンテンツコンポーネントの空間部分(例えば、関心領域、又はタイル)として定義され、アダプテーションセット又はサブリプレゼンテーションによって表現される。一例として、空間的関係により、(例えば、ズームを可能にするために)あるビデオが別のフルフレームビデオの空間部分を表すことを表現することができる。別の例として、SRDにより、大きなビューを、複数の小さなビューからなるグリッドに分割することを可能にしてよく、この場合、それぞれの小さなビューは実際のリプレゼンテーションである。
しかしながら、現行型のMPEG-DASH SRDは、現時点では、仮想現実の360度体験を提供することに十分に適応しておらず、これは、全てのレイアウトがフラットビューのサブセットであるフラットモデルしかサポートしていないからである。
本発明は、少なくとも1つのリモートネットワーク機器によってセグメントに分割されて与えられるマルチメディアコンテンツを受信するように構成された要求側端末に与えられるマニフェストを作成する方法に関し、各セグメントは1つ又は複数のリプレゼンテーションで利用可能であり、前記マニフェストは、マルチメディアコンテンツの利用可能なリプレゼンテーションをリスト化し、且つ、複数のアダプテーションセットを指定しており、各アダプテーションセットは、マルチメディアコンテンツの空間オブジェクトを定義しており、アダプテーションセットの空間オブジェクトは、全体空間オブジェクトを定義している。前記方法は、
マニフェストにおいて、前記全体空間オブジェクトに対するマルチメディアコンテンツのマッピングのタイプと、前記アダプテーションセットのうちの1つの基準アダプテーションセットにおける基準点と、を定義することと、
各アダプテーションセットに奥行き情報を関連付けることと、
を含む。
一態様では、マッピングのタイプは、
球形マッピングと、
円筒形マッピングと、
立方体マッピングと、
ピラミッド形マッピングと、
からなるマッピングの群に属してよい。
一態様では、基準点は、基準アダプテーションセットに関連付けられた空間オブジェクトの中心に対応してよい。
一態様では、各アダプテーションセットは、マルチメディアコンテンツを空間的に分割したグリッドのセルに関連付けられており、基準アダプテーションセットは、全体グリッドに関連付けられたアダプテーションセットに対応してよい。
一態様では、前記方法は更に、マニフェストにおいて指定されている1つ又は複数のアダプテーションセットに関連付けられた座標を定義することを含んでよい。
一態様では、各アダプテーションセットに関連付けられた座標は、極座標に対応してよい。
本開示は、また、少なくとも1つのリモートネットワーク機器によってセグメントに分割されて与えられるマルチメディアコンテンツを受信するように構成されたクライアント端末へ、1つのネットワーク機器から送信されるように意図されたマニフェストに関し、各セグメントは1つ又は複数のリプレゼンテーションで利用可能であり、前記マニフェストは、マルチメディアコンテンツの利用可能なリプレゼンテーションをリスト化し、且つ、複数のアダプテーションセットを指定しており、各アダプテーションセットは、マルチメディアコンテンツの空間オブジェクトを定義しており、アダプテーションセットの空間オブジェクトは、全体空間オブジェクトを定義している。前記マニフェストは、前記全体空間オブジェクトに対するマルチメディアコンテンツのマッピングのタイプと、前記アダプテーションセットのうちの1つの基準アダプテーションセットにおける基準点と、各アダプテーションセットに関連付けられた奥行き情報と、を含んでよい。
一態様では、基準点は、基準アダプテーションセットに関連付けられた空間オブジェクトの中心に対応してよい。
一態様では、前記マニフェストは、マニフェストにおいて指定されている1つ又は複数のアダプテーションセットに関連付けられた座標を含んでよい。
更に、本開示は、また、セグメントに分割されたマルチメディアコンテンツをネットワーク機器から受信するように構成された要求側端末に与えられるマニフェストを作成するネットワーク機器に関し、各セグメントは1つ又は複数のリプレゼンテーションで利用可能であり、前記マニフェストは、マルチメディアコンテンツの利用可能なリプレゼンテーションをリスト化し、且つ、複数のアダプテーションセットを指定しており、各アダプテーションセットは、マルチメディアコンテンツの空間オブジェクトを定義しており、アダプテーションセットの空間オブジェクトは、全体空間オブジェクトを定義している。前記ネットワーク機器は、
マニフェストにおいて、前記全体空間オブジェクトに対するマルチメディアコンテンツのマッピングのタイプと、前記アダプテーションセットのうちの1つの基準アダプテーションセットにおける基準点と、を定義することと、
各アダプテーションセットに奥行き情報を関連付けることと、
を行うように構成された少なくとも1つのメモリ及び少なくとも1つの処理回路を含んでよい。
一態様では、前記1つの処理回路は更に、前記マニフェストにおいて指定されている1つ又は複数のアダプテーションセットに関連付けられた座標を定義するように構成されてよい。
本開示は更に、少なくとも1つのリモートネットワーク機器によってセグメントに分割されて与えられるマルチメディアコンテンツを受信するように構成された要求側端末によってマニフェストを受信する方法に依拠し、各セグメントは1つ又は複数のリプレゼンテーションで利用可能であり、前記マニフェストは、マルチメディアコンテンツの利用可能なリプレゼンテーションをリスト化し、且つ、複数のアダプテーションセットを指定しており、各アダプテーションセットは、マルチメディアコンテンツの空間オブジェクトを定義しており、アダプテーションセットの空間オブジェクトは、全体空間オブジェクトを定義している。前記マニフェストは更に、前記全体空間オブジェクトに対するマルチメディアコンテンツのマッピングのタイプと、前記アダプテーションセットのうちの1つの基準アダプテーションセットにおける基準点と、を定義し、各アダプテーションセットに奥行き情報を関連付けてよい。
本開示は、また、少なくとも1つのリモートネットワーク機器によってセグメントに分割されて与えられるマルチメディアコンテンツを受信するように構成されたクライアント端末に関し、各セグメントは1つ又は複数のリプレゼンテーションで利用可能であり、前記クライアント端末は更に、マルチメディアコンテンツの利用可能なリプレゼンテーションをリスト化し、且つ、複数のアダプテーションセットを指定しているマニフェストを受信するように構成されており、各アダプテーションセットは、マルチメディアコンテンツの空間オブジェクトを定義しており、アダプテーションセットの空間オブジェクトは、全体空間オブジェクトを定義している。前記マニフェストは更に、前記全体空間オブジェクトに対するマルチメディアコンテンツのマッピングのタイプと、前記アダプテーションセットのうちの1つの基準アダプテーションセットにおける基準点と、を定義し、各アダプテーションセットに奥行き情報を関連付けてよい。
本開示は更に、少なくとも1つのリモートネットワーク機器によってセグメントに分割されて与えられるマルチメディアコンテンツを受信するように構成された要求側端末に与えられるマニフェストを作成する方法を実施するコンピュータによって実行可能な命令プログラムを有形的に実施する、コンピュータ可読な、非過渡的プログラム記憶装置に関し、各セグメントは1つ又は複数のリプレゼンテーションで利用可能であり、前記マニフェストは、マルチメディアコンテンツの利用可能なリプレゼンテーションをリスト化し、且つ、複数のアダプテーションセットを指定しており、各アダプテーションセットは、マルチメディアコンテンツの空間オブジェクトを定義しており、アダプテーションセットの空間オブジェクトは、全体空間オブジェクトを定義しており、プログラムは、マニフェストにおいて、前記全体空間オブジェクトに対するマルチメディアコンテンツのマッピングのタイプと、前記アダプテーションセットのうちの1つの基準アダプテーションセットにおける基準点と、を定義することと、各アダプテーションセットに奥行き情報を関連付けることと、を含む。
本開示は、また、非過渡的コンピュータ可読媒体に記憶されて、少なくとも1つのリモートネットワーク機器によってセグメントに分割されて与えられるマルチメディアコンテンツを受信するように構成された要求側端末に与えられるマニフェストを作成する方法を実施するプロセッサによって実行可能なプログラムコード命令を含むコンピュータプログラム製品に依拠し、各セグメントは1つ又は複数のリプレゼンテーションで利用可能であり、前記マニフェストは、マルチメディアコンテンツの利用可能なリプレゼンテーションをリスト化し、且つ、複数のアダプテーションセットを指定しており、各アダプテーションセットは、マルチメディアコンテンツの空間オブジェクトを定義しており、アダプテーションセットの空間オブジェクトは、全体空間オブジェクトを定義しており、プログラムコード命令は、マニフェストにおいて、前記全体空間オブジェクトに対するマルチメディアコンテンツのマッピングのタイプと、前記アダプテーションセットのうちの1つの基準アダプテーションセットにおける基準点と、を定義することと、各アダプテーションセットに奥行き情報を関連付けることと、を含む。
本開示による方法は、プログラム可能な装置において、ソフトウェアの形で実施されてよい。本方法は、ハードウェアのみ、又はソフトウェアのみの形で実施されてよく、或いは、ハードウェアとソフトウェアの組み合わせの形で実施されてよい。
本開示の要素によって実施される幾つかのプロセスは、コンピュータにより実施されてよい。従って、そのような要素は、全面的にハードウェアの実施形態であってよく、又は全面的にソフトウェアの実施形態であってよく(ファームウェア、常駐ソフトウェア、マイクロコードなどを含む)、或いは、ソフトウェア態様とハードウェア態様との組み合わせであって、本明細書では全体をまとめて「回路」、「モジュール」、又は「システム」と称している場合がある実施形態であってもよい。更に、そのような要素は、コンピュータで使用可能なプログラムコードが媒体内に実施されている任意の有形表現媒体の形で実施されたコンピュータプログラム製品の形態であってもよい。
本開示の要素をソフトウェアの形態で実施することができるので、本開示は、プログラム可能な装置に与えられるコンピュータ可読なコードとして、任意の適切な搬送媒体上で実施されてよい。有形の搬送媒体として、フロッピーディスク、CD-ROM、ハードディスクドライブ、磁気テープ装置、ソリッドステートメモリ装置などのような記憶媒体があってもよい。
従って、本開示は、マニフェストを作成する方法をコンピュータが実施することを可能にする、コンピュータで実行可能な命令を含むコンピュータ可読なプログラムを提供する。
以下、本開示の実施形態の範囲に相応する特定の態様を説明する。これらの態様は、単に、本開示がとりうる特定の形態の要約を読者に提供するために提示するものであること、また、これらの態様は、本開示の範囲を限定することを意図したものではないことを理解されたい。実際、本開示は、以下で説明されない場合がある様々な態様を包含してよい。
以下の添付図面を参照する、以下の限定的ではない実施形態及び実行例により、本発明の理解及び例示がよりよく行われるであろう。
幾つかの実施形態で使用されるクライアント-サーバネットワークの概略図を示す。 幾つかの実施形態で使用されるクライアント端末の一実施例のブロック図を示す。 幾つかの実施形態で使用されるネットワーク機器の一実施例のブロック図を示す。 仮想現実コンテンツに関連付けられた幾つかのアダプテーションセットを示す。 幾つかの実施形態による、マニフェストを構築する方法を示すフローチャートを示す。 微分面積ビューを部分立体角で示す。 図4で記載された1つのアダプテーションセットに関連付けられた極座標を示す。
可能な限り、全図面を通して、同じか同等の要素を参照する際には、同じ参照番号を用いる。
以下の説明は、本開示の原理を例示する。従って、当然のことながら、当業者であれば、本明細書で明示的に説明又は図示されていなくても、本開示の原理を実施し、本開示の範囲に包含される様々な構成を考案することが可能であろう。
本明細書に記載の全ての実施例及び条件付き文言は、本開示の原理、及び本願発明者によって当該技術分野の推進に寄与する概念を読み手が理解することを支援する啓蒙的目的を意図しており、そのような具体的に記載された実施例及び条件に限定されないものと解釈されるべきである。
更に、本開示の原理、態様、及び実施形態、並びにこれらのものの具体例を記載する、本明細書における全ての文言は、これらのものの構造的等価物及び機能的等価物の両方を包含することを意図している。更に、そのような等価物は、現在知られている等価物、並びに、将来開発される等価物、即ち、構造に関係なく同じ機能を実施する任意の開発される要素の両方を包含することを意図している。
従って、例えば、当業者であれば理解されるように、本明細書において提示されるブロック図は、本開示の原理を実施する例示的回路の概念図を表す。同様に、当然のことながら、どのフローチャート、フロー図、状態遷移図、疑似コードなども、実質的にコンピュータ可読媒体で表現されることが可能であり、従って、コンピュータ又はプロセッサで実行されることが、そのようなコンピュータ又はプロセッサが明示的に示されているかどうかにかかわらず、可能である様々なプロセスを表す。
図示された様々な要素の機能は、専用ハードウェア、並びに、適切なソフトウェアと関連してソフトウェアを実行することが可能なハードウェアの使用によって実現されてよい。これらの機能は、プロセッサで実現される場合は、単一の専用プロセッサで、又は単一の共用プロセッサで、又は複数の個別プロセッサ(このうちの幾つかは共用されてよい)で実現されてよい。更に、「プロセッサ」又は「コントローラ」という用語の明示的使用は、ソフトウェアを実行することが可能なハードウェアだけを指すものと解釈されるべきではなく、限定ではなく、デジタル信号プロセッサ(DSP)ハードウェア、ソフトウェアを記憶する読み出し専用メモリ(ROM)、ランダムアクセスメモリ(RAM)、及び不揮発性記憶装置を暗黙的に包含してよい。
本明細書の特許請求の範囲においては、指定された機能を実施する手段及び/又はモジュールとして表現されている要素は全て、例えば、a)その機能を実施する、複数の回路要素の組み合わせ、又は、b)任意の形態の、従って、ファームウェア、マイクロコードなどを含むソフトウェアであって、その機能を実施するそのソフトウェアを実行する適切な回路と組み合わされたソフトウェアを含む、その機能を実施する任意の方法を包含することを意図している。そのような特許請求の範囲によって定義される本開示は、記載された様々な手段によって実現される機能性が、特許請求の範囲が要求する様式で組み合わされ、まとめられているという事実に存在する。従って、それらの機能性を実現しうる手段は全て、本明細書において示されている手段と等価であると見なされる。
更に、当然のことながら、本開示の図面及び説明は単純化されており、本開示の明確な理解のために関係のある構成要素を例示する一方で、明瞭さの目的のために、代表的なデジタルマルチメディアコンテンツの配信方法、装置、及びシステムに存在する多数のその他の構成要素を省いていることを理解されたい。しかしながら、そのような要素は当該技術分野においてはよく知られているので、そのような要素の詳細な説明は、本明細書では省略されている。本開示は、本明細書では、当業者には知られているそのような変形形態及び修正形態を全て対象とする。
以下では、各図面は、HTTP適応ストリーミングプロトコル(すなわち、HAS)に関して、特に、MPEG-DASHに関して記載される。当然、本開示は、このような特定の環境には限定されず、その他の適応ストリーミングプロトコルももちろん検討でき、実施できる。
図1に示されるように、本開示の幾つかの実施形態において実施される、クライアント-サーバ・ネットワークアーキテクチャは、1つ又は複数のネットワークN(図面では1つだけが表されている)によってサポートされており、1つ又は複数のクライアント端末Cと1つ又は複数のHTTPサーバSとを含む。DASHに準じると、このようなサーバSは、メディアオリジン(Media Origin)とも呼ばれる。これらは、いわゆる、マニフェストを生成することができる。サーバSは、コンテンツ配信のソースであり、すなわち、マルチメディアコンテンツは、ある外部エンティティから由来して、メディアオリジンにおいてHASフォーマットに変換されることがある。
クライアント端末Cは、HTTPサーバSEの1つからマルチメディアコンテンツを取得しようとする。当該マルチメディアコンテンツは、複数のセグメント(チャンクとも呼ばれる)に分割されている。なお、当該マルチメディアコンテンツは、1つのサーバSにおいて、様々なリプレゼンテーションで入手できると仮定する。HTTPサーバSは、HTTP適応ストリーミングプロトコルを使用して、クライアント要求に応じて、1つ又は複数のTCP/IP接続を介して、セグメントをクライアント端末Cにストリーミングすることができる。
図2に示されるように、クライアント端末Cには
-ネットワークNに対する接続インタフェース200(有線及び/又は無線の、例えば、Wi-Fi(登録商標)、ADSL、ケーブル、モバイル、及び/又はブロードキャスト(例えば、DVB、ATSC)インタフェース)と、
-HTTPサーバSEと通信するプロトコルスタックを備えた通信モジュール201(具体的には、この通信モジュール201は、TCP/IPスタックを備えている。もちろん、通信モジュール201は、クライアント端末CがHTTPサーバSと通信することを可能にするその他の任意のタイプのネットワーク手段及び/又は通信手段であってもよい。)と、
-HTTPサーバSからHTTPストリーミングマルチメディアコンテンツを受信することが可能な適応ストリーミングモジュール202(これは、ネットワークの制約条件と自己の制約条件とによりよく適合するビットレートでセグメントを連続的に選択する。)と、
-マルチメディアコンテンツを復号してレンダリングするように適合されたビデオプレーヤ203と、
-クライアント端末Cの不揮発性メモリに記憶されたアプリケーション及びプログラムを実行する1つ又は複数のプロセッサ204と、
-HTTPサーバSEから受信されたセグメントがビデオプレーヤ203に送られる前に当該セグメントをバッファリングする、例えば揮発性メモリのような記憶手段205と、
-各種モジュールと、一般的なクライアント端末の機能を実施する、当業者に周知の全ての手段とを接続する内部バス206と、
が備えられている。
クライアント端末は、ポータブルメディア機器、携帯電話、タブレット又はラップトップ、テレビ、セットトップボックス、ゲーム機器、又は集積回路であってもよい。当然、クライアント端末Cは、完全なビデオプレーヤを備えていなくてもよく、幾つかのサブ要素(従属構成要素)、例えば、メディアコンテンツを多重分離して復号するものだけを備えていればよく、復号したコンテンツをエンドユーザに対して表示する外部手段に依拠してもよい。この場合、クライアント端末Cは、HAS(HTTP適応ストリーミング)対応のビデオデコーダ、例えば、セットトップボックスである。
図3は、図1に示されたサーバSの一例の概略ブロック図である。サーバSは、処理回路300と、メモリ301と、通信インタフェースI/O302と、通信バス303と、を含んでよい。
処理回路300は、命令を実行し、データを処理することが可能な電子コンポーネントであってもよい。処理回路300は、1つ又は複数の処理装置(CPU)を含んでよい。処理回路300は、サーバSの様々な信号処理機能及び制御機能を実施するように動作してよいか構成されてよい。また、処理回路300は、ユーザの要求を検出及び処理してよく、自身の動作を制御してよく、且つ/又は、サーバSの他の要素(図3に示されていない要素を含む)をそのようなユーザ要求に応じて制御する制御信号を出力してよい。処理回路300は、また、本明細書に記載の方法の原理を実施するソフトウェアコードを含むソフトウェアコードを実行するように動作してよいか構成されてよい。処理回路300は、メモリ301に記憶されている様々なソフトウェアプログラム及び/又は命令セットを実行することにより、サーバSの様々な機能を実施し、データを処理してよい。
図3のサーバSは更に、マニフェストを作成し、そのマニフェストを、ネットワークNを通して、マルチメディアコンテンツを要求しているクライアント端末Cに配信するように適合されている。マニフェストは、SRD(Spatial Relationship Description)情報を含んでよい。
図4に示されるように、SRD情報により、空間矩形オブジェクトOを、複数の小さな空間オブジェクトからなるグリッド400に分割することができ、グリッド400の各セル401、402、403は、空間オブジェクト(即ち、全体空間オブジェクトOのうちの一部)に対応している。(同じコンテンツの様々なリプレゼンテーションに対応する)幾つかのビデオが、グリッド400の各セル401、402、403に関連付けられて、アダプテーションセットを形成することができる。SRDは、グリッド400とそのセル401、402、403のそれぞれとをマニフェストMPDに記述するシンタックスを定義する。この目的のために、1つのセル401、402、403を定義する各アダプテーションセットは、ソースID(同じグリッドに属する全てのセルが同じソースIDを有する)と、セルの左上隅の座標と、セル401、402、403の高さ及び幅と、任意選択で、グリッド400全体の高さ及び幅と、を定義する追加特性を含んでよい。高さ及び幅は、比率を示すために使用されるだけなので任意の単位(例えば、画素数)で表されてよい。なお、アダプテーションセットは、グリッド400の幾つかのセル401(例えば、4つのセル401を含むセル403)に関連付けられてよく、グリッド400のセル同士は、必ずしも寸法が同じではない(例えば、図4に示されたセル401とセル402)。
図4の例では、27個のアダプテーションセットが記載されており、それらは、グリッド400に関連付けられた1つのメインアダプテーションセットと、小さなセル401に関連付けられた24個のアダプテーションセットと、大きなセル402に関連付けられた1つのアダプテーションセットと、(4つの小さなセル401を含む)セル403に関連付けられた1つのアダプテーションセットと、である。
一実施形態では、仮想現実マルチメディアコンテンツのSRD情報を使用するために、サーバSが、図5に示される方法500に従ってマニフェストを構築するように構成されてよい。具体的には、サーバSは、
-視聴者の周囲にレンダリングされる仮想現実(VR)コンテンツ(没入型コンテンツとも呼ばれる)(即ち、視聴者が、画像全体を見ることができず、画像のうちの、視野から外れている部分を見るためには頭を回転させる(或いは、動かす)必要があるVRコンテンツ)にどのマッピング(球形、円筒形、立方体、ピラミッド形)を使用するかを定義すること(ステップ501)と、
-全体空間オブジェクトOの中の中心点(VRオリジンとも呼ばれる)404を定義すること(ステップ502)(以降のステップで使用される全ての角度値は、この中心点404が基準になる。)と、
-ユーザが視点を変えたときに、クライアント端末CのMPEG-DASH SRDプレーヤが、グリッド400の各セル401、402、403に対する角度情報を計算して、適切なビデオを選択して取り出すことができるように、少なくともセル401、402、403に角度情報を関連付けること(ステップ503)と
が実行できる。
VRマッピングを定義するために、ステップ501において、新しい情報(例えば「vrtype」などと呼ばれる追加特性又は必須特性)を、(例えば、処理装置300により)全体空間オブジェクトOに関連付けられたメインアダプテーションセットのマニフェストに導入してよい。なお、MPEG-DASH規格では、空のアダプテーションセットを、例えば、全体空間オブジェクトOを完全にカバーするビデオがない場合に定義することができる。従って、VRマッピングを指定するためには、全体空間オブジェクトOに関連付けられたアダプテーションセットが存在してよい(そしてこれは、場合によっては空とすること、即ち、関連付けられたビデオがなくてもよい)。MPDシンタックスによれば、追加特性又は必須特性は、urn(ユニフォームリソース名)(例えば、urn:mpeg:dash:vrtype:2016)によって識別されてよく、その値は、VRマッピング(例えば、「球形」、「円筒形」、又は「立方体」)を含む文字列であってもよい。
一変形形態では、メインアダプテーションセットとは別のアダプテーションセットのマニフェストに追加特性(「vrtype」)を導入してよい。
更に、初期視点を持ち、全ての角度位置の計算の基準となるオリジン軸を定義すべく、ステップ502において、新しい情報(例えば「vrcenter」又は「vrorigin」などと呼ばれる追加特性又は必須特性)を、(例えば、処理装置300により)中心点404を含むアダプテーションセットのマニフェストに導入してよい。中心点の位置は、例えば、中心点がある当該グリッドセルの左上隅からの画素数で与えられてよい。中心点は、アダプテーションセットに関連付けられたセル401、402、403の中心であってもよい。
そのような追加特性又は必須特性は、urn(例えば、urn:mpeg:dash:vrorigin:2016)と、x座標及びy座標を画素数で含む値とによって定義されてよい。
図4の限定的ではなく例示的な例に示されるように、グリッド400の小さなセル401が640×480画素のビデオを含み、VRオリジン値は、(320,240)であり、SRD値(0,3,1,1,1,7,4)を有するアダプテーションセットに関連付けられている。
一変形形態では、中心点の追加特性は、全体空間オブジェクトに関連付けられたアダプテーションセットに対して設定されてよい。そのような変形形態は、MPDオーサリングの時点でより多くの計算を必要とする可能性があり、これは、中心点404と全体空間オブジェクトOの左上隅との間の全てのセル401、402、403の幅及び奥行きを合計する必要があるからである。
更に、クライアント端末CのDASHプレーヤは、ユーザの視点(例えば、図6に示された(微分面積とも呼ばれる)部分立体角dAを画定する極座標(θ,φ)によって与えられる、ユーザの視点)とアダプテーションセットとの間の対応関係を有するように、1つ又は複数のアダプテーションセット(全てのグリッドセル401、402、403)に関する極座標情報が与えられてよい。
具体的には、(メインアダプテーションセットに関連付けられた)全体空間オブジェクトOに対する極座標が、ユーザ視点の変化の可能な限界についてクライアント端末CのDASHプレーヤに知らせるので妥当である。図7に示されるように、全体空間オブジェクトによってカバーされる微分面積700の上下左右の境界が、4つの角度θ1、θ2、φ1、及びφ2によって与えられる。なお、球形マッピングについては、全体空間(VR360とも呼ばれる)は、θ1=θ2、且つφ1=φ2+π(単位はラジアン)の場合に取得される。
極座標情報を与えるために、ステップ503において、新しい情報(例えば、「vrcoordinates」などと呼ばれる追加特性又は必須特性)を、(例えば、処理装置300により)θ1、θ2、φ1、及びφ2の情報を含み得るアダプテーションセットのマニフェストMPDに導入してよい。例えば、追加特性又は必須特性は、urn(urn:mpeg:dash:vrcoordinates:2016)と値「θ1,θ2,φ1,φ2」とで識別されてよく、この場合、角度は、例えば、度を単位として表され、θ1は、VRオリジン404と微分面積700の左辺との間の角度であり、θ2は、VRオリジン404と微分面積700の右辺との間の角度であり、φ1は、VRオリジン404と微分面積700の上辺との間の角度であり、φ2は、VRオリジン404と微分面積700の下辺との間の角度である。
図4の例に示されるように、全体空間オブジェクトOに関連付けられたメインアダプテーションセットの座標情報は、「-180,180,90,-90」である。
(セル401、402、403で表される)他の全てのアダプテーションセットのサイズ及び位置を用いて、他の全てのアダプテーションセットについてのVR座標情報を計算することができるので、球形マッピング及び円筒形マッピングの両方において、VR座標追加情報は、(グリッド400に関連付けられた)メインアダプテーションセットについてのみ与えられてもよい。しかしながら、サーバSは、メインアダプテーションセットだけでなく、全てのアダプテーションセットについてのVR座標情報を与えるように構成されてよい。
立方体マッピングにおいては、当該立方体の面に関連付けられたアダプテーションセットに対して、VR座標情報が存在しなければならない。立方体の面を完全にカバーするビデオがない場合(例えば、面が4つのビデオでカバーされている場合)は、その面のVR座標情報を保持するために、立方体の全面に関連付けられた空のアダプテーションセットを作成しなければならない。
各微分面積に角度情報(極座標のθ及びφ)を与えることにより、DASHクライアント端末Cは、ユーザの立体角の視点がどのようであるかに応じて、どのDASHリプレゼンテーションを取り出す必要があるかを決定することができる。
本開示は、追加情報のvrtype、vrcenter、及びvrcoordinatesを追加することにより、VR360コンテンツをSRDアプリケーションとして表現することを可能にする。奥行き情報をアダプテーションセットに関連付けることにより、VR360コンテンツの前面にビデオをレンダリングさせて、第1のレベルの3D体験を提供することも可能になる。
メインアダプテーションセットが微分面積700全体を表現している場合は、微分面積700の背後にオブジェクトをレンダリングすることはできない(可視オブジェクトが、ユーザの目(図7の球701の中心702にあると仮定している)と背景(例えば、球701の内側面に相当する)との間に配置されている)。可視オブジェクト(図示せず)の奥行きを表現するために、オブジェクトが目とVR360背景ビデオとの間でそれらからどれだけ離れて配置されているかを示すパーセント値を使用してよい。例えば、10%という値は、オブジェクトの位置が背景に非常に近いことを表すことが可能であり、90%という値は、オブジェクトの位置が目702に非常に近いことを表すことが可能である。
この目的のために、ステップ504において、新しい情報(例えば、「vrdepth」などと呼ばれる追加特性又は必須特性)を、(例えば、処理装置300により)1つ又は複数のアダプテーションセットのマニフェストに導入し、それらのアダプテーションセットに関連付けてよい。例えば、追加特性又は必須特性は、urn(urn:mpeg:dash:vrdepth:2016)で識別されてよく、その値は、オブジェクトの近さのパーセンテージを示す数値である(例えば、「10」)。
なお、VR360背景のアダプテーションセット部分については、VR奥行き値は「0」であってよく、表示されなくてよい。MPDでは、VR奥行き情報の非ゼロ値のみ定義可能である。
更に、DASHクライアント端末CがVR奥行き情報をサポートしていない場合に個々のオブジェクトが表示されることをコンテンツ作成者が望まない場合は、追加特性機構ではなく必須特定機能が使用されてよい。
クライアント端末CがVRコンテンツを要求すると、サーバSは、ただちに、方法500に従ってマニフェストを構築することができ、前記マニフェストは、例えば、追加情報である「vrtype」、「vrorigin」、「vrcoordinates」、及び「vrdepth」を含む。前記マニフェストは、サーバSによって生成されると、更に、ネットワークNを通して、要求側のクライアント端末Cに向けて送信される。
本開示は、SRDをサポートしているDASHクライアント端末が、マニフェストMPDに追加された追加特性情報を用いてVR360体験を提供することを可能にする。更に、互換DASHクライアントも、VR360コンテンツを様々な奥行きで示すことが可能であってもよい。実際、SRD空間オブジェクト(DASHリプレゼンテーション)に奥行き情報を付加することにより、これは、背景の4π(又は4πのサブセット)のビデオの前に3Dビデオを配置することを可能にする。言い換えると、これは、「VR360」又は全方向のビデオ体験をするだけでなく、それのよりよい3D体験をすることも可能にする。
そして、MPEG-DASH SRDを使用して、全体空間の4π立体角をビデオ(DASHリプレゼンテーション)のグリッドに編成することにより、全方向ビデオを記述することができる。従ってDASHクライアントは、例えば、ユーザが現在見ているものについてはフル品質のリプレゼンテーションを取り出し、現時点でユーザの視界から外れているコンテンツについては低品質のリプレゼンテーションを取り出すことになるが、ユーザが3D空間内で突然視点を変更した場合には、その、ユーザの視界から外れていたコンテンツが急速にユーザの視界に入ってくる可能性がある。
本開示は、SRDに加えて、全体4π空間を、全体空間をカバーする、適正に配置された部分立体角のグリッドに、相互運用可能に分割することを可能にする追加情報を導入する。更に、全体空間のうちの部分立体角だけを記述することができる。この場合、全体SRD「グリッド」は、球のうちの、部分立体角から見える部分を記述するだけである。
レガシークライアントとの互換性を保持するために、マニフェストは、SupplementalProperty(追加特性)及びEssentialProperty(必須特性)を使用して、EssentialProperty(必須特性)を含む要素を破棄した後に少なくとも1つのリプレゼンテーションがレガシークライアントで解釈可能であるようにしてもよい。
本明細書、特許請求の範囲、及び図面において開示されている参照は、独立に与えられてよく、或いは、任意の適切な組み合わせで与えられてよい。各特徴は、適宜、ハードウェア、ソフトウェア、又はハードウェアとソフトウェアの組み合わせの形で実施されてよい。
本明細書における「一実施形態(one embodiment)」又は「一実施形態(an embodiment)」への参照は、この実施形態に関連して説明された具体的な特徴、構造、又は特性が、記載の方法及び機器の少なくとも1つの実施態様に包含されてよいことを意味する。本明細書の様々な場所での「一実施形態では(in one embodiment)」という語句の出現は、必ずしも全てが同じ実施形態を参照しているわけではなく、独立した実施形態又は代替実施形態は、必ずしも他の実施形態と相互に排他的ではない。
特許請求項中に現れる参照符号は、あくまで例示のためであって、特許請求の範囲に対する限定の効果を有するものではない。
本明細書では本開示の特定の実施形態のみを説明してきたが、当業者であれば理解されるように、本開示の他の修正形態、変形形態、及び可能な形態が可能である。従って、そのような修正形態、変形形態、及び可能な形態は、本開示の範囲に収まるものであり、従って、本明細書において説明及び/又は例示されたように本開示の一部を成すものであると見なされるべきである。
図面におけるフローチャート及び/又はブロック図は、本開示の様々な実施形態によるシステム、方法、及びコンピュータプログラム製品の可能な実施態様の構成、動作、及び機能性を示す。この点において、フローチャート又はブロック図の各ブロックは、コードのモジュール、セグメント、又は部分を表すものであってよく、これは、指定された論理機能を実施する1つ又は複数の実行可能命令を含む。また、代替実施態様によっては、ブロック内に記されている各機能は、図面に記されている順序から外れて実施されてよい。例えば、連続して表示されている2つのブロックが、実際には、ほぼ同時に実行されてよく、場合によっては、必要とされる機能性に応じて、これらのブロックが逆の順序で実行されてよく、或いは、別の順序で実行されてよい。また、ブロック図及び/又はフローチャート図の各ブロック、並びに、ブロック図及び/又はフローチャート図のブロック同士の組み合わせは、指定された機能又は動作を実施する専用ハードウェアベースのシステム、又は専用ハードウェアとコンピュータ命令との組み合わせによって実施されてよい。明示的には述べていないが、本実施形態同士は、任意の組み合わせ又は副組み合わせで用いられてよい。
上述の実施形態の一部又は全部は、以下の付記のように記載され得るが、以下には限定されない。
(付記1)
少なくとも1つのリモートネットワーク機器(S)によってセグメントに分割されて与えられるマルチメディアコンテンツを受信するように構成された要求側端末(T)に与えられるマニフェストを作成する方法であって、各セグメントは1つ又は複数のリプレゼンテーションで利用可能であり、前記マニフェストは、前記マルチメディアコンテンツの利用可能なリプレゼンテーションをリスト化し、且つ、複数のアダプテーションセットを指定しており、各アダプテーションセットは、前記マルチメディアコンテンツの空間オブジェクトを定義しており、前記アダプテーションセットの前記空間オブジェクトは、全体空間オブジェクトを定義しており、
前記マニフェストにおいて、前記全体空間オブジェクト(O)に対する前記マルチメディアコンテンツのマッピングのタイプと、前記アダプテーションセットのうちの1つの基準アダプテーションセットにおける基準点(404)と、を定義することと、
各アダプテーションセットに奥行き情報を関連付けることと、
を含む方法。
(付記2)
前記マッピングのタイプは、
球形マッピングと、
円筒形マッピングと、
立方体マッピングと、
ピラミッド形マッピングと、
からなるマッピングの群に属する、付記1に記載の方法。
(付記3)
前記基準点(404)は、前記基準アダプテーションセットに関連付けられた前記空間オブジェクト(401)の中心に対応する、付記1又は2に記載の方法。
(付記4)
前記マニフェストにおいて指定されている1つ又は複数のアダプテーションセットに関連付けられた座標(θ1,θ2,φ1,φ2)を定義することを更に含む、付記1から3のいずれか一項に記載の方法。
(付記5)
少なくとも1つのリモートネットワーク機器(S)によってセグメントに分割されて与えられるマルチメディアコンテンツを受信するように構成されたクライアント端末(T)へ、1つのネットワーク機器(S)から送信されるように意図されたマニフェストであって、各セグメントは1つ又は複数のリプレゼンテーションで利用可能であり、前記マニフェストは、前記マルチメディアコンテンツの利用可能なリプレゼンテーションをリスト化し、且つ、複数のアダプテーションセットを指定しており、各アダプテーションセットは、前記マルチメディアコンテンツの空間オブジェクトを定義しており、前記アダプテーションセットの前記空間オブジェクトは、全体空間オブジェクトを定義しており、前記全体空間オブジェクト(O)に対する前記マルチメディアコンテンツのマッピングのタイプと、前記アダプテーションセットのうちの1つの基準アダプテーションセットにおける基準点(404)と、各アダプテーションセットに関連付けられた奥行き情報と、を含む前記マニフェスト。
(付記6)
前記基準点は、前記基準アダプテーションセットに関連付けられた前記空間オブジェクト(401)の中心に対応する、付記5に記載のマニフェスト。
(付記7)
前記マニフェストにおいて指定されている1つ又は複数のアダプテーションセットに関連付けられた座標(θ1,θ2,φ1,φ2)を含む、付記5又は6に記載のマニフェスト。
(付記8)
セグメントに分割されたマルチメディアコンテンツをネットワーク機器から受信するように構成された要求側端末(T)に与えられるマニフェストを作成するネットワーク機器であって、各セグメントは1つ又は複数のリプレゼンテーションで利用可能であり、前記マニフェストは、前記マルチメディアコンテンツの利用可能なリプレゼンテーションをリスト化し、且つ、複数のアダプテーションセットを指定しており、各アダプテーションセットは、前記マルチメディアコンテンツの空間オブジェクトを定義しており、前記アダプテーションセットの前記空間オブジェクトは、全体空間オブジェクトを定義しており、
前記マニフェストにおいて、前記全体空間オブジェクト(O)に対する前記マルチメディアコンテンツのマッピングのタイプと、前記アダプテーションセットのうちの1つの基準アダプテーションセットにおける基準点(404)と、を定義することと、
各アダプテーションセットに奥行き情報を関連付けることと、
を行うように構成された少なくとも1つのメモリ(301)及び少なくとも1つの処理回路(300)を含むネットワーク機器。
(付記9)
前記1つの処理回路(300)は更に、前記マニフェストにおいて指定されている1つ又は複数のアダプテーションセットに関連付けられた座標(θ1,θ2,φ1,φ2)を定義するように構成されている、付記8に記載のネットワーク機器。
(付記10)
少なくとも1つのリモートネットワーク機器(S)によってセグメントに分割されて与えられるマルチメディアコンテンツを受信するように構成された要求側端末(T)によってマニフェストを受信する方法であって、各セグメントは1つ又は複数のリプレゼンテーションで利用可能であり、前記マニフェストは、前記マルチメディアコンテンツの利用可能なリプレゼンテーションをリスト化し、且つ、複数のアダプテーションセットを指定しており、各アダプテーションセットは、前記マルチメディアコンテンツの空間オブジェクトを定義しており、前記アダプテーションセットの前記空間オブジェクトは、全体空間オブジェクトを定義しており、
前記マニフェストは更に、前記全体空間オブジェクト(O)に対する前記マルチメディアコンテンツのマッピングのタイプと、前記アダプテーションセットのうちの1つの基準アダプテーションセットにおける基準点(404)と、を定義し、各アダプテーションセットに奥行き情報を関連付ける、
方法。
(付記11)
少なくとも1つのリモートネットワーク機器(S)によってセグメントに分割されて与えられるマルチメディアコンテンツを受信するように構成されたクライアント端末であって、各セグメントは1つ又は複数のリプレゼンテーションで利用可能であり、前記クライアント端末(T)は更に、前記マルチメディアコンテンツの利用可能なリプレゼンテーションをリスト化し、且つ、複数のアダプテーションセットを指定しているマニフェストを受信するように構成されており、各アダプテーションセットは、前記マルチメディアコンテンツの空間オブジェクトを定義しており、前記アダプテーションセットの前記空間オブジェクトは、全体空間オブジェクトを定義しており、
前記マニフェストは更に、前記全体空間オブジェクト(O)に対する前記マルチメディアコンテンツのマッピングのタイプと、前記アダプテーションセットのうちの1つの基準アダプテーションセットにおける基準点(404)と、を定義し、各アダプテーションセットに奥行き情報を関連付ける、
クライアント端末。

Claims (11)

  1. 少なくとも1つのリモートネットワーク機器によってセグメントに分割されて与えられるマルチメディアコンテンツを受信するように構成された要求側端末に与えられるマニフェストを作成する方法であって、各セグメントは1つ又は複数のリプレゼンテーションで利用可能であり、前記マニフェストは、前記マルチメディアコンテンツの利用可能なリプレゼンテーションをリスト化し、且つ、複数のアダプテーションセットを指定しており、各アダプテーションセットは、前記マルチメディアコンテンツの空間オブジェクトを定義しており、前記アダプテーションセットの前記空間オブジェクトは、全体空間オブジェクトを定義しており、
    前記マニフェストにおいて、前記全体空間オブジェクトに対する前記マルチメディアコンテンツのマッピングのタイプと、前記アダプテーションセットのうちの1つの基準アダプテーションセットにおける基準点と、を定義することと、
    各アダプテーションセットに奥行き情報を関連付けることと、
    を含む方法。
  2. 前記マッピングのタイプは、
    球形マッピングと、
    円筒形マッピングと、
    立方体マッピングと、
    ピラミッド形マッピングと、
    からなるマッピングの群に属する、請求項1に記載の方法。
  3. 前記基準点は、前記基準アダプテーションセットに関連付けられた前記空間オブジェクトの中心に対応する、請求項1から2のいずれか一項に記載の方法。
  4. 前記マニフェストにおいて指定されている1つ又は複数のアダプテーションセットに関連付けられた座標を定義することを更に含む、請求項1から3のいずれか一項に記載の方法。
  5. 少なくとも1つのリモートネットワーク機器によってセグメントに分割されて与えられるマルチメディアコンテンツを受信するように構成された要求側端末に与えられるマニフェストを作成する方法をコンピュータに実行させるコンピュータプログラムであって、各セグメントは、1つ又は複数のリプレゼンテーションで利用可能であり、前記マニフェストは、前記マルチメディアコンテンツの利用可能なリプレゼンテーションをリスト化し、且つ、複数のアダプテーションセットを指定しており、各アダプテーションセットは、前記マルチメディアコンテンツの空間オブジェクトを定義しており、前記アダプテーションセットの前記空間オブジェクトは、全体空間オブジェクトを定義しており、
    前記方法は、
    前記マニフェストにおいて、前記全体空間オブジェクトに対する前記マルチメディアコンテンツのマッピングのタイプと、前記アダプテーションセットのうちの1つの基準アダプテーションセットにおける基準点と、を定義することと、
    各アダプテーションセットに奥行き情報を関連付けることと、
    を含む、コンピュータプログラム。
  6. 前記基準点は、前記基準アダプテーションセットに関連付けられた前記空間オブジェクトの中心に対応する、請求項5に記載のコンピュータプログラム
  7. 前記マニフェストにおいて指定されている1つ又は複数のアダプテーションセットに関連付けられた座標を含む、請求項5又は6に記載のコンピュータプログラム
  8. セグメントに分割されたマルチメディアコンテンツをネットワーク機器から受信するように構成された要求側端末に与えられるマニフェストを作成するネットワーク機器であって、各セグメントは1つ又は複数のリプレゼンテーションで利用可能であり、前記マニフェストは、前記マルチメディアコンテンツの利用可能なリプレゼンテーションをリスト化し、且つ、複数のアダプテーションセットを指定しており、各アダプテーションセットは、前記マルチメディアコンテンツの空間オブジェクトを定義しており、前記アダプテーションセットの前記空間オブジェクトは、全体空間オブジェクトを定義しており、
    前記マニフェストにおいて、前記全体空間オブジェクトに対する前記マルチメディアコンテンツのマッピングのタイプと、前記アダプテーションセットのうちの1つの基準アダプテーションセットにおける基準点と、を定義することと、
    各アダプテーションセットに奥行き情報を関連付けることと、
    を行うように構成された少なくとも1つのメモリ及び少なくとも1つの処理回路を含むネットワーク機器。
  9. 前記1つの処理回路は、更に、前記マニフェストにおいて指定されている1つ又は複数のアダプテーションセットに関連付けられた座標を定義するように構成されている、請求項8に記載のネットワーク機器。
  10. 少なくとも1つのリモートネットワーク機器によってセグメントに分割されて与えられるマルチメディアコンテンツを受信するように構成された要求側端末によってマニフェストを受信する方法であって、各セグメントは1つ又は複数のリプレゼンテーションで利用可能であり、前記マニフェストは、前記マルチメディアコンテンツの利用可能なリプレゼンテーションをリスト化し、且つ、複数のアダプテーションセットを指定しており、各アダプテーションセットは、前記マルチメディアコンテンツの空間オブジェクトを定義しており、前記アダプテーションセットの前記空間オブジェクトは、全体空間オブジェクトを定義しており、
    前記マニフェストは更に、前記全体空間オブジェクトに対する前記マルチメディアコンテンツのマッピングのタイプと、前記アダプテーションセットのうちの1つの基準アダプテーションセットにおける基準点と、を定義し、各アダプテーションセットに奥行き情報を関連付ける、
    方法。
  11. 少なくとも1つのリモートネットワーク機器によってセグメントに分割されて与えられるマルチメディアコンテンツを受信するように構成されたクライアント端末であって、各セグメントは1つ又は複数のリプレゼンテーションで利用可能であり、前記クライアント端末は更に、前記マルチメディアコンテンツの利用可能なリプレゼンテーションをリスト化し、且つ、複数のアダプテーションセットを指定しているマニフェストを受信するように構成されており、各アダプテーションセットは、前記マルチメディアコンテンツの空間オブジェクトを定義しており、前記アダプテーションセットの前記空間オブジェクトは、全体空間オブジェクトを定義しており、
    前記マニフェストは更に、前記全体空間オブジェクトに対する前記マルチメディアコンテンツのマッピングのタイプと、前記アダプテーションセットのうちの1つの基準アダプテーションセットにおける基準点と、を定義し、各アダプテーションセットに奥行き情報を関連付ける、
    クライアント端末。
JP2017098777A 2016-05-25 2017-05-18 マニフェストを作成する方法及びネットワーク機器 Active JP7041472B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP16305604.7 2016-05-25
EP16305604.7A EP3249929A1 (en) 2016-05-25 2016-05-25 Method and network equipment for establishing a manifest

Publications (3)

Publication Number Publication Date
JP2018014710A JP2018014710A (ja) 2018-01-25
JP2018014710A5 JP2018014710A5 (ja) 2020-07-02
JP7041472B2 true JP7041472B2 (ja) 2022-03-24

Family

ID=56101408

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017098777A Active JP7041472B2 (ja) 2016-05-25 2017-05-18 マニフェストを作成する方法及びネットワーク機器

Country Status (5)

Country Link
US (1) US11363086B2 (ja)
EP (2) EP3249929A1 (ja)
JP (1) JP7041472B2 (ja)
KR (1) KR102401666B1 (ja)
CN (1) CN107438203B (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10587934B2 (en) * 2016-05-24 2020-03-10 Qualcomm Incorporated Virtual reality video signaling in dynamic adaptive streaming over HTTP
EP3466076A1 (en) * 2016-05-26 2019-04-10 VID SCALE, Inc. Methods and apparatus of viewport adaptive 360 degree video delivery
JP7085816B2 (ja) * 2017-09-26 2022-06-17 キヤノン株式会社 情報処理装置、情報提供装置、制御方法、及びプログラム
KR20220123693A (ko) * 2020-01-08 2022-09-08 지티이 코포레이션 포인트 클라우드 데이터 프로세싱

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101771830A (zh) 2008-12-30 2010-07-07 华为终端有限公司 立体全景视频流生成方法、设备及视频会议方法和设备
WO2015197818A1 (en) 2014-06-27 2015-12-30 Koninklijke Kpn N.V. Hevc-tiled video streaming
WO2016002513A1 (ja) 2014-07-01 2016-01-07 ソニー株式会社 情報処理装置および方法
JP2016503618A (ja) 2012-11-15 2016-02-04 ジロプティック パノラマまたは立体画像ストリームを取り込みかつレンダリングするためのプロセスおよび装置

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
BRPI0911016B1 (pt) * 2008-07-24 2021-01-05 Koninklijke Philips N.V. método de provisão de um sinal de imagem tridimensional, sistema de provisão de sinal de imagem tridimensional, sinal que contém uma imagem tridimensional, mídia de armazenamento, método de renderização de uma imagem tridimensional, sistema de renderização de imagem tridimensional para renderizar uma imagem tridimensional
KR101547151B1 (ko) * 2008-12-26 2015-08-25 삼성전자주식회사 영상 처리 방법 및 장치
WO2010075726A1 (zh) 2008-12-30 2010-07-08 华为终端有限公司 立体全景视频流生成方法、设备及视频会议方法和设备
JP5406942B2 (ja) * 2009-01-29 2014-02-05 ドルビー ラボラトリーズ ライセンシング コーポレイション 立体画像である複数の画像をサブサンプリング及びインタリーブする方法及び装置
RU2538335C2 (ru) * 2009-02-17 2015-01-10 Конинклейке Филипс Электроникс Н.В. Объединение данных 3d изображения и графических данных
US8907968B2 (en) * 2011-03-31 2014-12-09 Panasonic Corporation Image rendering device, image rendering method, and image rendering program for rendering stereoscopic panoramic images
JP6073307B2 (ja) * 2011-06-22 2017-02-01 コーニンクレッカ フィリップス エヌ ヴェKoninklijke Philips N.V. ディスプレイ用信号の生成方法及び装置
CN102256154A (zh) 2011-07-28 2011-11-23 中国科学院自动化研究所 实现三维全景视频的定位与播放的方法及***
CN109905728A (zh) * 2012-01-19 2019-06-18 Vid拓展公司 使用移动设备接收多媒体内容的方法及该移动设备
CN102685532B (zh) 2012-06-04 2014-04-16 山东大学 自由视点四维空间视频编码***的编码方法
US9628528B2 (en) * 2013-07-19 2017-04-18 Electronics And Telecommunications Research Institute Apparatus and method for providing content
KR20150012206A (ko) 2013-07-24 2015-02-03 한국전자통신연구원 3차원 콘텐츠의 부호화 방법 및 장치
US9270721B2 (en) * 2013-10-08 2016-02-23 Qualcomm Incorporated Switching between adaptation sets during media streaming
EP3062522A4 (en) * 2013-10-22 2017-07-05 Sharp Kabushiki Kaisha Display control device, delivery device, display control method, and display control system
KR101710003B1 (ko) * 2014-01-07 2017-02-24 한국전자통신연구원 실시간 동적 비평면 프로젝션 장치 및 방법
KR20150083429A (ko) * 2014-01-08 2015-07-17 한국전자통신연구원 Dash를 사용하는 비디오 재생을 위한 비트 깊이 표현 방법
US10451875B2 (en) * 2014-07-25 2019-10-22 Microsoft Technology Licensing, Llc Smart transparency for virtual objects
US10257494B2 (en) 2014-09-22 2019-04-09 Samsung Electronics Co., Ltd. Reconstruction of three-dimensional video
US11205305B2 (en) 2014-09-22 2021-12-21 Samsung Electronics Company, Ltd. Presentation of three-dimensional video
US9997199B2 (en) * 2014-12-05 2018-06-12 Warner Bros. Entertainment Inc. Immersive virtual reality production and playback for storytelling content
CN104519340B (zh) 2014-12-30 2016-08-17 余俊池 基于多深度图像变换矩阵的全景视频拼接方法
US9661355B2 (en) * 2015-01-08 2017-05-23 Kiswe Mobile Inc. Virtual immersion via streamed content adaptation
KR102170550B1 (ko) * 2016-05-24 2020-10-29 노키아 테크놀로지스 오와이 미디어 콘텐츠를 인코딩하는 방법, 장치 및 컴퓨터 프로그램
US10587934B2 (en) * 2016-05-24 2020-03-10 Qualcomm Incorporated Virtual reality video signaling in dynamic adaptive streaming over HTTP

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101771830A (zh) 2008-12-30 2010-07-07 华为终端有限公司 立体全景视频流生成方法、设备及视频会议方法和设备
JP2016503618A (ja) 2012-11-15 2016-02-04 ジロプティック パノラマまたは立体画像ストリームを取り込みかつレンダリングするためのプロセスおよび装置
WO2015197818A1 (en) 2014-06-27 2015-12-30 Koninklijke Kpn N.V. Hevc-tiled video streaming
WO2016002513A1 (ja) 2014-07-01 2016-01-07 ソニー株式会社 情報処理装置および方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
FREDERIC MAZE, FRANCK DENOUAL, EMMANUEL THOMAS,Report on the Spatial Relationship Description Core Experiment,ISO/IEC JTC1/SC29/WG11,2013年10月28日,MPEG2013/m31603,pp1-12

Also Published As

Publication number Publication date
EP3249931A1 (en) 2017-11-29
KR20170133274A (ko) 2017-12-05
US20170346866A1 (en) 2017-11-30
KR102401666B1 (ko) 2022-05-25
CN107438203B (zh) 2021-11-23
EP3249931B1 (en) 2023-11-08
CN107438203A (zh) 2017-12-05
EP3249929A1 (en) 2017-11-29
US11363086B2 (en) 2022-06-14
JP2018014710A (ja) 2018-01-25

Similar Documents

Publication Publication Date Title
RU2711591C1 (ru) Способ, устройство и компьютерная программа для адаптивной потоковой передачи мультимедийного контента виртуальной реальности
KR102246002B1 (ko) 가상 현실 미디어 콘텐트의 스트리밍을 개선하는 방법, 디바이스, 및 컴퓨터 프로그램
JP6735415B2 (ja) オーディオビジュアルコンテンツの観察点および観察向きの制御された選択のための方法および装置
JP7058273B2 (ja) 情報処理方法および装置
JP7041472B2 (ja) マニフェストを作成する方法及びネットワーク機器
US20200145736A1 (en) Media data processing method and apparatus
US11348307B2 (en) Method and device for processing content
WO2021190221A1 (zh) 沉浸式媒体提供方法、获取方法、装置、设备及存储介质
US11438731B2 (en) Method and apparatus for incorporating location awareness in media content
KR102299615B1 (ko) 컨텐트 분산 네트워크들에서 엠펙 미디어 전송 통합을 위한 방법 및 장치
WO2018072488A1 (zh) 一种数据处理方法、相关设备及***

Legal Events

Date Code Title Description
A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20191106

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200514

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200514

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20201217

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210318

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20210419

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210813

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20211108

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220215

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220311

R150 Certificate of patent or registration of utility model

Ref document number: 7041472

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150