JP7332605B2 - ビデオビットストリームの復号化、生成方法および装置、記憶媒体、電子機器 - Google Patents

ビデオビットストリームの復号化、生成方法および装置、記憶媒体、電子機器 Download PDF

Info

Publication number
JP7332605B2
JP7332605B2 JP2020538715A JP2020538715A JP7332605B2 JP 7332605 B2 JP7332605 B2 JP 7332605B2 JP 2020538715 A JP2020538715 A JP 2020538715A JP 2020538715 A JP2020538715 A JP 2020538715A JP 7332605 B2 JP7332605 B2 JP 7332605B2
Authority
JP
Japan
Prior art keywords
slice
video image
parameter
coordinate
bitstream
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020538715A
Other languages
English (en)
Other versions
JP2021510281A (ja
Inventor
リー,ミン
ウー,ジャオ
ウー,ピン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
ZTE Corp
Original Assignee
ZTE Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ZTE Corp filed Critical ZTE Corp
Publication of JP2021510281A publication Critical patent/JP2021510281A/ja
Application granted granted Critical
Publication of JP7332605B2 publication Critical patent/JP7332605B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/174Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a slice, e.g. a line of blocks or a group of blocks
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/167Position within a video image, e.g. region of interest [ROI]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81Monomedia components thereof
    • H04N21/816Monomedia components thereof involving special video data, e.g 3D video
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/59Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/23439Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements for generating different versions
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/235Processing of additional data, e.g. scrambling of additional data or processing content descriptors
    • H04N21/2353Processing of additional data, e.g. scrambling of additional data or processing content descriptors specifically adapted to content descriptors, e.g. coding, compressing or processing of metadata
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47End-user applications
    • H04N21/472End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/4728End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for selecting a Region Of Interest [ROI], e.g. for requesting a higher resolution version of a selected region
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/65Transmission of management data between client and server
    • H04N21/658Transmission by the client directed to the server
    • H04N21/6587Control parameters, e.g. trick play commands, viewpoint selection

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Human Computer Interaction (AREA)
  • Library & Information Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Description

本発明は、通信分野に関し、特に、ビデオビットストリームの復号化、生成方法および装置、記憶媒体、電子機器に関する。
既存技術において、ストリーミングメディアを応用する際、高解像度画像(Picture)のビデオビットストリーム(bitstream)から1つまたは複数の解像度が異なるビットストリームを抽出することができ、これにより復号化能力が異なる端末機器および複数の種類の異なる応用シーンに適用されることが可能であり、例えばインタラクティブな超高精細テレビ、動的インタラクティブなオンデマンド等に適用されることが可能である。パノラマビデオまたは360度ビデオを用いるアプリケーションの場合、サーバーは、端末から提供されたユーザ視聴ニーズに応じて、ユーザにより特定された視聴コンテンツを含むとともに、ビットストリームの全体から抽出されたサブビットストリームを端末ユーザへ動的に送信する。具現化する方法としては、サーバーが端末から提供されたユーザ視聴ニーズに応じて、ビットストリームの全体から対応するサブビットストリームをリアルタイムに抽出することができ、または、サーバーがビットストリームの全体から予めサブビットストリームを抽出し、端末から提供されたユーザ視聴ニーズに応じて、対応するサブビットストリームを動的に選択して送信することもできる。
既存技術における主流のビデオ符号化標準(例えば、H.264/AVC標準、H.265/HEVC標準)において、スライス(Slice)はビットストリーム組織の基本的な基本データ単位の1つである。符号化中において、エンコーダが画像を1つまたは複数のスライスに分割(Partition)し、スライスに対して符号化を行う。スライスは画像における独立して復号化可能なの1つの単位に対応することができ、スライスに対する復号化過程は、同画像内の他のスライスのデータに依存しないことが可能である。スライスのこのような特性を利用して、ビットストリームの抽出の便宜を図ることのできるビットストリームを生成することができる。例えば、H.264/AVC標準のスライスグループ(Slice Group)を利用したり、H.265/HEVC標準のタイル(Tile)を利用したりする。H.265/HEVC標準は、1つのタイルに1つまたは複数のスライスが含まれることを許可し、この時、1つのタイルを1つのスライスグループ(またはスライス集合)とすることができる。H.265/HEVC標準も1つのスライスに1つまたは複数のタイルが含まれることを許可し、この時、1つのスライスを1つのタイルグループ(またはタイル集合)とすることができる。
既存技術において、スライスに対する符号化過程において、スライスの開始位置情報の符号化を行わなければならない。これにより、当該スライスのデータの復号化を完了した後、デコーダがスライスに含まれたピクセルサンプル値の回復値を回復画像バッファ領域の正確な位置に記憶することができる。既存の主流のビデオ符号化標準において、スライスにおける一番目の符号化ブロックの、画像における番号(ラスタ走査(Raster Scanning)順)を画像における当該スライスの位置情報として用いる。例えば、H.264/AVC標準において、スライスにおける一番目のマクロブロック(Macroblock、MB)の、画像における番号を当該スライスの位置座標とし(対応するシンタックス(Syntax)単位はfirst_mb_in_sliceであり、H.265/HEVC標準において、1つのフラグビットでスライスが画像における一番目のスライス(対応するシンタックス単位はfirst_slice_segment_in_pic_flagである)であるか否かを示し、スライスが画像における一番目のスライスでなければ、スライスにおける一番目の符号化ツリーブロック(Coding Tree Block、CTB)の、画像における番号を当該スライスの位置座標とする(対応するシンタックス単位はslice_segment_addressである)。
ビデオ画像に対して符号化を行うこと、および、ビットストリームに対してサブビットストリームの抽出を行うことは、常用の2種類のビットストリーム生成プロセスである。ビデオ画像に符号化を行うプロセスにおいて、エンコーダは、画像解像度、符号化ブロックの大きさ(MBの大きさは16×16に固定され、CTBの大きさは設定可能である)に応じて、画像をスライスに分割する形態で、画像における各スライスの位置座標を決定する。
ビットストリームの抽出プロセスにおいて、処理装置は、抽出対象ビットストリームにおける関連するシンタックス単位を解析し、抽出対象ビットストリームとサブビットストリームの画像解像度、符号化ブロックの大きさを決定して画像をスライスに分割する形態で、抽出対象ビットストリームに対応する画像における、サブビットストリームに対応する画像領域の位置を決定して、サブビットストリームに対応する画像における、サブビットストリーム画像領域を構成するスライスの位置座標を計算し、最後に、抽出されたサブビットストリームにおいて、サブビットストリームにてスライスヘッダ情報におけるサブビットストリームの位置座標に対応するシンタックス単位の値を書き換えしなければならない。
ここでは、前記抽出対象ビットストリームに対応する画像とは、抽出対象ビットストリームに対して復号化を行ったビデオ画像を意味し、前記サブビットストリームに対応する画像とは、サブビットストリームに対して復号化を行ったビデオ画像を意味する。通常、サブビットストリームに対応する画像は、抽出対象ビットストリームに対応する画像における1つの画像領域である。
特に、パノラマビデオまたは360度ビデオの場合、サブビットストリームに対応する画像は、抽出対象ビットストリームに対応する画像における隣接しない二つ以上の領域からなることもできる。特に、パノラマビデオまたは360度ビデオの場合、ラスタ走査順に従って、上述した隣接しない二つ以上の領域の、抽出対象ビットストリームに対応する画像における前後順は、上述した隣接しない二つ以上の領域の、サブビットストリームに対応する画像における前後順と異なることができる。
このように、既存技術中の画像におけるスライスの開始位置座標情報の符号化を行う方法によると、サブビットストリームにおけるスライス開始位置座標を決定するプロセスの計算複雑性を増やすだけではなく、サブビットストリームの抽出中にスライス開始位置座標を書き換えるプロセスの複雑性も増やしてしまう。実際の応用において、既存の方法に存在するこのような問題によって、ビットストリーム処理装置の具現化複雑性とビットストリームの処理効率を高める。
既存技術に存在する上記問題について、まだ有効な解決策が提案されていないのが実情である。
本開示の実施例によると、ビデオビットストリームの復号化、生成方法および装置、記憶媒体、電子機器を提供する。
本開示の一実施例によると、ビデオ画像におけるスライスの基準位置の第1パラメータを取得することと、スライスの前記ビデオ画像における開始位置を決定するための第2パラメータを取得することと、前記第1パラメータと前記第2パラメータに基づいて、前記スライスの前記ビデオ画像における開始位置座標パラメータを計算することと、を含むビデオビットストリームの復号化方法を提供する。
本開示の一実施例によると、ビデオ画像における一番目のスライスの開始位置に基づいて、第1パラメータを設定することと、前記第1パラメータを前記ビデオ画像の画像レイヤーデータユニットのビットストリームに書き込むことと、を含むビデオビットストリームの生成方法を提供する。
本開示の他の一実施例によると、ビデオ画像におけるスライスの基準位置の第1パラメータを取得するように構成された第1取得手段と、スライスの前記ビデオ画像における開始位置を決定するための第2パラメータを取得するように構成された第2取得手段と、前記第1パラメータと前記第2パラメータに基づいて、前記スライスの前記ビデオ画像における開始位置座標パラメータを計算するように構成された計算手段と、を含むビデオビットストリームの復号化装置を提供する。
本開示の他の一実施例によると、ビデオ画像における一番目のスライスの開始位置に基づいて、第1パラメータを設定するように構成された設定手段と、前記第1パラメータを前記ビデオ画像の画像レイヤーデータユニットのビットストリームに書き込むように構成された生成手段と、を含むビデオビットストリームの生成装置を提供する。
本開示のさらなる他の一実施例によると、コンピュータープログラムが記憶された記憶媒体であって、前記コンピュータープログラムは、実行されると上記いずれかの方法実施例に記載のステップを実行するように構成された記憶媒体を提供する。
本開示の他の一実施例によると、メモリとプロセッサをと含む電子機器であって、前記メモリには、コンピュータープログラムが記憶され、前記プロセッサは、前記コンピュータープログラムを実行することで上記いずれかの方法実施例に記載のステップを実行するように構成された電子機器を提供する。
本開示によると、ビットストリームの抽出において抽出して得られたサブビットストリームに含まれた画像中のスライスについて開始位置を再び計算するとともに、スライスヘッダ情報におけるスライス開始位置情報を書き換える操作を回避することができ、既存技術においてビットストリーム処理装置による復号化が複雑しすぎる課題を解決し、ビットストリーム処理装置による処理効率を向上させる。
ここで説明する図面は本開示を一層理解させるためのものとして、本願の一部を構成し、本開示に示す実施例およびその説明は本開示を解釈するもので、本開示を不当に限定するものではない。
本開示の実施例に係るビデオビットストリームの復号化方法を示すフローチャートである。 本開示の実施例に係るビデオビットストリームの生成方法を示すフローチャートである。 本開示の実施例に係るビデオビットストリームの復号化装置の構造を示すブロック図である。 本開示の実施例に係るビデオビットストリームの生成装置の構造を示すブロック図である。 本実施形態の復号化方法を示す図である。 本実施形態のビットストリーム生成方法を示す図である。 本実施形態のビデオ画像に符号化を行ってビットストリームを生成する方法を示す図である。 本実施形態のビデオビットストリームに抽出を行ってビットストリームを生成する方法を示す図である。 本実施形態におけるビットストリーム抽出実施手順の一例を示す図である。 本実施例の360度パノラマビデオでの応用を示す図である。
以下、図面を参照しつつ実施例とともに本開示を詳細に説明する。尚、矛盾しない限り、本願における実施例および実施例の特徴を互いに組み合わせることが可能である。
尚、本開示の明細書と特許請求の範囲および上記図面における「第1」、「第2」等の用語は、特定の順序または前後順を説明するものではなく、類似する対象を区別するためのものである。
実施例1
本実施例においてビデオビットストリームの復号化方法を提供し、図1は本開示の実施例に係るビデオビットストリームの復号化方法を示すフローチャートであり、図1に示すように、当該プロセスは以下のステップステップS102、S104、S106を含む。
ステップS102において、ビデオ画像におけるスライスの基準位置の第1パラメータを取得する。
ステップS104において、スライスの第2パラメータを取得し、第2パラメータはスライスのビデオ画像における開始位置を決定するためのものである。
ステップS106において、第1パラメータと第2パラメータに基づいて、スライスのビデオ画像における開始位置座標パラメータを計算する。
上記ステップによると、ビットストリームの抽出において抽出することで得られたサブビットストリームに含まれる画像におけるスライスについて、開始位置を再び計算し、スライスヘッダ情報におけるスライス開始位置情報を書き換える操作を回避することができ、既存技術においてビットストリーム処理装置による復号化が複雑しすぎる課題を解決し、ビットストリーム処理装置による処理効率を向上させる。
あるいはまた、上記ステップの実行主体は、ビデオビットストリーム処理装置であることが可能であり、例えば携帯電話、コンピューター、サーバー、セットトップボックス、携帯型移動端末、デジタルカメラ、TV放送システム機器、コンテンツ配信ネットワーク装置、メディアサーバー等のビデオ通信アプリケーションにおける関連するビットストリーム生成機器や受信再生機器であることができるが、これらに限定されることはない。
あるいはまた、ビデオ画像におけるスライスの基準位置の第1パラメータを取得することは、ビデオビットストリームのうち、画像レイヤーデータユニットに対応する1つまたは複数の第1ビットストリームを解析することと、第1ビットストリームから第1パラメータを取得することと、を含む。
一例において、解析することで複数の第1ビットストリームを得て、第1ビットストリームから第1パラメータを取得することは、複数の第1ビットストリームを解析して複数の第1パラメータを取得することと、画像レイヤーデータユニットに関する識別情報、および/または、複数の画像レイヤーデータユニット同士の引用関係を取得することと、識別情報および/または引用関係に基づいて、複数の第1パラメータから1つの第1パラメータを決定することと、を含む。最終的に決定された第1パラメータは完全なものであってもよいし、複数の第1のパラメータを統合して得られたものであってもよい。
あるいはまた、画像レイヤーデータユニットに関する識別情報は、スライスのビデオ画像における開始位置座標パラメータを計算する際に用いられる第1パラメータを指示するためのものである。
あるいはまた、画像レイヤーデータユニットは、ビデオパラメータセット、シーケンスパラメータセット、画像パラメータセット、シーケンスヘッダ、画像ヘッダ、スライスヘッダ、画像レイヤー補助情報ユニットのうちの少なくとも1つのデータユニットを含む。
あるいはまた、スライスの第2パラメータを取得することは、ビデオビットストリームのスライス層ヘッダ情報を解析することと、スライス層ヘッダ情報から第2パラメータを取得することと、を含む。
本実施例において、第1パラメータは、ビデオ画像の座標情報、ビデオ画像のストライド情報を含み、第2パラメータは、スライスの座標情報を含む。
一例において、第1パラメータと第2パラメータに基づいて、スライスのビデオ画像における開始位置座標パラメータを計算することは、
以下の式によって開始位置座標パラメータ(SliceAddrX,SliceAddrY)を計算することを含み、
SliceAddrX=(slice_address_x-pic_slice_address_info_x0+pic_slice_address_info_stride_width)%pic_slice_address_info_stride_width
SliceAddrY=(slice_address_y-pic_slice_address_info_y0+pic_slice_address_info_stride_height)%pic_slice_address_info_stride_height
ここで、SliceAddrXはスライスのビデオ画像における水平方向での開始位置座標で、SliceAddrYはスライスのビデオ画像における垂直方向での開始位置座標であり、slice_address_xはスライスの水平方向での位置座標で、slice_address_yはスライスの垂直方向での位置座標であり、pic_slice_address_info_x0はビデオ画像におけるスライス基準位置の水平方向での座標で、pic_slice_address_info_y0はビデオ画像におけるスライス基準位置の垂直方向での座標であり、pic_slice_address_info_stride_widthはビデオ画像の水平方向のストライド値で、pic_slice_address_info_stride_heightはビデオ画像の垂直方向のストライド値である。
他の一例において、第1パラメータにpic_slice_address_info_stride_heightが含まれていない場合、SliceAddrYの計算方法を変えることができ、この時、第1パラメータと第2パラメータに基づいて、スライスのビデオ画像における開始位置座標パラメータを計算することは、
以下の式によって開始位置座標パラメータ(SliceAddrX,SliceAddrY)を計算することを含み、
SliceAddrX=(slice_address_x-pic_slice_address_info_x0+pic_slice_address_info_stride_width)%pic_slice_address_info_stride_width
SliceAddrY=slice_address_y-pic_slice_address_info_y0
ここで、SliceAddrXはスライスのビデオ画像における水平方向での開始位置座標で、SliceAddrYはスライスのビデオ画像における垂直方向での開始位置座標であり、slice_address_xはスライスの水平方向での位置座標で、slice_address_yはスライスの垂直方向での位置座標であり、pic_slice_address_info_x0はビデオ画像におけるスライス基準位置の水平方向での座標で、pic_slice_address_info_y0はビデオ画像におけるスライス基準位置の垂直方向での座標であり、pic_slice_address_info_stride_widthはビデオ画像の水平方向のストライド値である。
本実施例においてビデオビットストリームの生成方法を提供し、図2は本開示の実施例に係るビデオビットストリームの生成方法を示すフローチャートで、図2に示すように、当該プロセスは以下のステップS202、S204を含む。
ステップS202において、ビデオ画像における一番目のスライスの開始位置に基づいて、第1パラメータを設定する。
ステップS204において、第1パラメータをビデオ画像の画像レイヤーデータユニットのビットストリームに書き込む。
あるいはまた、当該方法は、第1パラメータをビデオ画像の画像レイヤーデータユニットのビットストリームに書き込んだ後、ビデオ画像におけるスライスの開始位置座標パラメータと第1パラメータに基づいて第2パラメータを計算して、第2パラメータをスライス層ヘッダ情報に対応するビットストリームに書き込むことをさらに含む。ここで、第2パラメータはスライスのビデオ画像における開始位置を決定するためのものである。
あるいはまた、ビデオ画像における一番目のスライスの開始位置に基づいて、第1パラメータを設定することは、ビデオ画像であるサブビットストリームに対応する画像が抽出対象ビットストリームに対応する画像にて位置する画像領域を決定することと、ビデオ画像における一番目のスライスの開始位置を決定し、開始位置に基づいて第1パラメータを計算することと、を含む。ここで、開始位置は、ビデオ画像における一番目のスライスの、抽出対象ビットストリームに対応する画像における開始位置座標である。
以上の実施形態の説明に基づいて、上記実施例に係わる方法をソフトウェアに必要な汎用のハードウェアプラットフォームを組合せた形で実現できるが、当然ながらハードウェアによっても実現でき、多数の場合、前者のほうがより好適な実施形態であることを当業者には理解できる。従って、本開示の技術案の実質または従来技術に貢献のある部分をソフトウェア製品の形で実現し、当該コンピューターソフトウェア製品は、記憶媒体(例えば、ROM/RAM、ディスク、CD)に記憶され、端末機器(携帯電話、コンピューター、サーバー、またはネットワーク機器等であることができる)に本開示の各実施例で説明した方法を実行させるいくつかの命令を含むことができる。
実施例2
本実施例においてビデオビットストリームの復号化、生成装置をさらに提供し、当該装置は上記実施例および好適な実施形態を実現するためのものであり、すでに説明した部分の説明は省略する。以下に使用される用語「手段」は、所定の機能を実現可能なソフトウェアおよび/またはハードウェアの組み合わせである。以下の実施例で説明する装置をソフトウェアで実現することが好ましいが、ハードウェアまたはソフトウェアとハードウェアとの組み合わせによって実現することも可能である。
図3は本開示の実施例に係るビデオビットストリームの復号化装置の構造を示すブロック図で、図3に示すように、当該装置は、
ビデオ画像におけるスライスの基準位置の第1パラメータを取得するように構成された第1取得手段30と、
スライスのビデオ画像における開始位置を決定するための第2パラメータを取得するように構成された第2取得手段32と、
第1パラメータと第2パラメータに基づいて、スライスのビデオ画像における開始位置座標パラメータを計算するように構成された計算手段34と、を含む。
図4は本開示の実施例に係るビデオビットストリームの生成装置の構造を示すブロック図で、図4に示すように、当該装置は、
ビデオ画像における一番目のスライスの開始位置に基づいて、第1パラメータを設定するように構成された設定手段40と、
第1パラメータをビデオ画像の画像レイヤーデータユニットのビットストリームに書き込むように構成された生成手段42と、を含む。
尚、上記各手段をソフトウェアまたはハードウェアによって実現することができ、ハードウェアで実現する場合、上記手段を同一のプロセッサに集中させるか、または、上記各手段を任意に組み合わせた形で異なるプロセッサに設けることが可能であるが、これらに限定されることはない。
実施例3
本実施例は本願の代替実施例で、具体的な実施形態とともに本願の技術案を詳しく解釈し説明する。
以下の実施例において、ビデオ画像が属するビデオは高解像度のビデオまたは他の態様のビデオであることができ、高解像度のビデオとは、高解像度の画像からなる画像シーケンスを意味し、ここでの高解像度の画像としては、高精細ビデオ画像、超高精細ビデオ画像、パノラマビデオ画像、360度ビデオ画像等の大きい解像度を有するビデオ画像であることができる。
前記ビットストリームとは、ビデオエンコーダにより高解像度のビデオに符号化を行って生成したビットストリームを意味し、ビデオエンコーダにより高解像度のビデオを符号化して生成したビットストリームをシステムレイヤー処理することで得られた、前記ビデオエンコーダにより高解像度のビデオを符号化して生成したビットストリームを含むトランスポートストリームおよび/またはメディアファイルを意味する場合もあり、前記ビットストリームを復号化すると高解像度のビデオを得ることができる。
前記システムレイヤー処理は、ビデオビットストリームに行うパッケージング操作であり、例えば、ビデオビットストリームをデータロードとしてトランスポートストリームにパッケージングするか、またはビデオビットストリームをロードとしてメディアファイルにパッケージングする。前記システムレイヤー処理は、ビデオビットストリームを含むトランスポートストリームまたはメディアファイルをデータロードとして、伝送用のストリームまたは記憶用のファイルにパッケージングすることも含む。
前記システムレイヤー処理によって生成されたデータユニットはシステムレイヤーデータユニットとも呼ばれ、前記システムレイヤー処理においてデータロードをパッケージングする際に前記システムレイヤーデータユニットに追加される情報(例えば、システムレイヤーデータユニットのヘッダ情報等)はシステムレイヤー情報と呼ばれる。前記サブビットストリームとは、ビットストリームから抽出操作によって得られた一部のビットストリームであり、前記サブビットストリームを復号化するとビデオ画像を得ることができ、当該ビデオ画像は前記ビットストリームを復号化して得られた高解像度のビデオ画像よりも解像度の低い画像であり、当該ビデオ画像に含まれるのは、前記高解像度の画像における一部のコンテンツであることができる。
本実施例においてビデオ画像のビットストリームに対する復号化とビットストリームの生成方法および装置を提供し、復号化方法および装置、ビットストリームの生成方法および装置を含む。
復号化方法は、画像レイヤーデータユニットに対応するビットストリームを解析して、画像における一番目のスライスの開始位置の第1パラメータを取得することと、スライス層ヘッダ情報を解析して、スライスの画像における開始位置の第2パラメータを取得することと、前記第1パラメータと前記第2パラメータから前記スライスの画像における開始位置座標パラメータを取得することと、を含む。ビットストリームの生成方法は、画像における一番目のスライスの開始位置座標パラメータに基づいて、第1パラメータを設定し、前記第1パラメータを画像レイヤーデータユニットに対応するビットストリームに書き込むことを含む。
これにより、ビットストリームの抽出において、抽出されて得られたサブビットストリームに含まれる画像におけるスライスについて、開始位置を再び計算し、スライスヘッダ情報におけるスライス開始位置情報を書き換える操作を回避することができ、ビットストリーム処理装置による処理効率を向上させる。
本実施例は以下の実施形態をさらに含む。
実施形態1
図5に示すように、本実施形態の方法を利用して、ビットストリームを復号化する主なステップは以下のステップ201、202、203であり、図5は本実施形態の復号化方法を示す図である。
ステップ201において、画像レイヤーデータユニットに対応するビットストリームを解析して、画像における一番目のスライスの開始位置の第1パラメータを取得する。
前記画像レイヤーユニットには画像の復号化に用いられるデータが含まれており、前記データは1つまたは複数の画像におけるスライスの復号化に用いられる。前記画像レイヤーユニットは、ネットワーク抽象化レイヤー(Network Abstraction Layer、NAL)ユニットヘッダ、パラメータセット、シーケンスヘッダ、画像ヘッダ、スライス(slice)ヘッダ、ビデオビットストリームの補助情報ユニット(例えば補助強化情報(Supplemental Enhancement Information、SEI)、ビデオユーザビリティ情報(Video Usability Information、VUI))等のビデオビットストリームに存在するデータユニットの1種または複数の種類を含む。
前記第1パラメータは、画像の基準座標位置を指示するためのものであり、そのビットストリームにおける組織方法は表1に示すとおりである。
Figure 0007332605000001
表1において、各シンタックス単位の意味(semantics)は以下のとおりである。
pic_slice_address_info_present_flagの値が1であると、ビットストリームに画像におけるスライスのアドレスを決定するためのパラメータが存在することを示す。
pic_slice_address_info_present_flagの値が0であると、ビットストリームに画像におけるスライスのアドレスを決定するためのパラメータが存在しないことを示す。pic_slice_address_info_present_flagの値が0である場合、pic_slice_address_info_x0とpic_slice_address_info_y0の値は0となり、pic_slice_address_info_stride_widthの値は画像の幅となり、pic_slice_address_info_stride_heightの値は画像の高さとなる。
ビットストリームを解析する過程において、u(1)に対応するエントロピー復号化方法を利用してpic_slice_address_info_present_flagの値を取得する。
pic_slice_address_info_x0、pic_slice_address_info_y0、pic_slice_address_info_stride_width、および、pic_slice_address_info_stride_heightは、画像におけるスライスのアドレスの計算に用いられる。
また、前記第1パラメータは、pic_slice_address_info_stride_heightを含まなくてもよく、pic_slice_address_info_stride_heightがビットストリームに現れなくてもよい。
ビットストリームを解析する過程において、ue(v)に対応するエントロピー復号化方法を利用して上述した四つのパラメータの値を取得する。尚、ビットストリーム組織において、上述した四つのパラメータの記述子(descriptor)として、u(v)を用いることもできる。
u(v)を用いる場合、上述した四つのパラメータのビットストリームにおけるビット数は、pic_slice_address_info_x0とpic_slice_address_info_stride_widthに対応するビット数がCeil(Log2(PicWidth))に等しく、pic_slice_address_info_y0とpic_slice_address_info_stride_heightに対応するビット数がCeil(Log2(PicHeight))に等しい。ここで、PicWidthは画像の幅であり、PicHeightは画像の高さである。
数学関数(Mathematical function)Ceil(x)とLog2(x)は、H.265/HEVC標準に定義された同名の数学関数と同様である。
尚、表1において、ビットストリームにそれぞれpic_slice_address_info_x0とpic_slice_address_info_y0を設定する形態を用いた。画像幅と画像高さが既知の場合、ビットストリームにおいて、pic_slice_address_info_x0とpic_slice_address_info_y0が指向する画像におけるピクセルの番号でこの二つのパラメータを示すこともできる。
ここで、上述したピクセルの番号は、ピクセルが位置するブロックが画像において分割された番号である。以下に記載のスライスヘッダ情報における上記第2パラメータのslice_address_xとslice_address_yのビットストリームにおける表示方法も同様である。
尚、本実施形態において表1のpic_slice_address_info_x0、pic_slice_address_info_y0、pic_slice_address_info_stride_width、およびpic_slice_address_info_stride_heightのカウント単位は、サンプル点(Sample)である。画像におけるブロック分割ユニットの大きさが既知である場合、ブロック分割ユニットの大きさをカウント単位とすることもできる。以下に記載のスライスヘッダ情報における上記第2パラメータのslice_address_xとslice_address_yのビットストリームにおける表示方法も同様である。本願に係わる実施形態において、用いられるカウント単位はサンプル点である。
前記ビットストリームは、1つまたは複数の前記画像レイヤーユニットに存在することができる。例えば、複数のパラメータセットに存在する際、パラメータセット同士の引用関係に応じて、1つのパラメータセットのうちのパラメータは、当該パラメータセットが直接または間接に引用する1つまたは複数の他のパラメータセットのうちの対応するパラメータをカバーすることができる。スライスヘッダ情報におけるパラメータは、当該スライスが直接または間接に応用する1つまたは複数のパラメータセットのうちの対応するパラメータをカバーすることができる。ある1つまたはいくつかのパラメータセットが他のパラメータセットと直接または間接な引用関係を有しない場合、予め設定されたカバー方式に従って、特定のパラメータセットのうちのパラメータで他のパラメータセットからのパラメータをカバーすることができる。または、パラメータセットにおける識別情報とスライスヘッダ情報における識別情報のうちの1つまたは二つに基づいて、用いるパラメータを決定することもできる。また、前記画像レイヤーユニットの1つまたは複数の画像レイヤーユニットの全部から、前記第1パラメータを取得可能である場合、復号化過程において、ビットストリームにおけるフラグビットまたは識別情報に基づいて、最終的に用いる第1パラメータを決定することも可能である。
ステップ202において、スライス層ヘッダ情報を解析して、スライスの画像における開始位置の第2パラメータを取得する。
前記第2パラメータはスライスの座標位置を指示するためのものであり、ビットストリームにおける組織方法は表2に示すとおりである。前記第2パラメータに対応するビットストリームは、スライスヘッダ情報ユニットに対応するビットストリームに位置する。
Figure 0007332605000002
表2において各シンタックス単位の意味は以下のとおりである。
slice_address_xとslice_address_yは、画像におけるスライスのアドレスの計算に用いられる。
ビットストリームを解析する過程において、ue(v)に対応するエントロピー復号化方法を利用して上述した二つのパラメータの値を取得することができる。尚、ビットストリーム組織において、上述した二つのパラメータの記述子(descriptor)として、u(v)を用いることもできる。u(v)を用いる場合、上述した二つのパラメータのビットストリームにおけるビット数は、slice_address_xに対応するビット数がCeil(Log2(PicWidth))に等しく、slice_address_yに対応するビット数がCeil(Log2(PicHeight))に等しい。ここで、PicWidthは画像の幅であり、PicHeightは画像の高さである。数学関数Ceil(x)とLog2(x)は、H.265/HEVC標準に定義された同名の数学関数と同様である。
ステップ203において、前記第1パラメータと前記第2パラメータに基づいて、前記スライスの画像における開始位置座標パラメータを計算する。
ここで、前記第1パラメータと前記第2パラメータのカウント単位としてサンプル点を用いる場合、以下の方法でスライスにおける一番目の復号化ブロックの左上隅のサンプル点(すなわち、前記スライスにおける一番目のサンプル点)の画像における座標(SliceAddrX,SliceAddrY)を計算する。
SliceAddrX=(slice_address_x-pic_slice_address_info_x0+pic_slice_address_info_stride_width)%pic_slice_address_info_stride_width (1)
SliceAddrY=(slice_address_y-pic_slice_address_info_y0+pic_slice_address_info_stride_height)%pic_slice_address_info_stride_height (2)
ここで、算術演算子(Arithmetic operator)の「%」は、H.265/HEVC標準に定義された算術演算子「%」の計算方法と同様である。
あるいはまた、前記第1パラメータはpic_slice_address_info_stride_heightを含まなくてもよく、pic_slice_address_info_stride_heightがビットストリームに現れなくてもよい場合、SliceAddrYの計算方法は以下のとおりである。
SliceAddrY=slice_address_y-pic_slice_address_info_y0 (3)
実施形態2
図6に示すように、本実施形態の方法を利用して、ビットストリームを生成する主なステップは以下のステップ301、302であり、図6は本実施形態のビットストリームの生成方法を示す図である。
ステップ301において、画像における一番目のスライスの開始位置座標パラメータに基づいて、第1パラメータを設定する。
ステップ302において、前記第1パラメータを画像レイヤーデータユニットに対応するビットストリームに書き込む。
本実施形態のビットストリームの生成方法において、表1に示す第1パラメータのビットストリーム組織構造を用いて、対応するパラメータをビットストリームに書き込む。
実施形態1に記載の復号化方法は、実施形態2に記載のビットストリームの生成方法によって生成されたビットストリームの復号化を行うことができる。
ここで、本実施形態に記載のビットストリームの生成方法をさらに、ビデオ画像を符号化してビットストリームを生成する状況と、既存のビットストリームにビットストリーム抽出を行ってサブビットストリームを生成する状況とに分けることができる。以下の実施形態において、当該二つの状況でビットストリームを生成するステップをそれぞれ説明する。
実施形態3
図7は本実施形態においてビデオ画像を符号化してビットストリームを生成する方法を示す図である。
本実施形態に記載の方法は表1に示す第1パラメータのビットストリーム組織構造を利用し、パラメータセットにおいて第1パラメータの符号化を行う。本実施形態に記載の方法は表2に示す第2パラメータのビットストリーム組織構造を利用し、スライスヘッダ情報において第2パラメータの符号化を行う。実施形態1に記載の復号化方法は、実施形態3に記載のビットストリームの生成方法によって生成されたビットストリームの復号化を行うことができる。
ステップ401において、画像における一番目のスライスの開始位置座標パラメータに基づいて、第1パラメータを設定する。
(pic_slice_address_info_x0,pic_slice_address_info_y0)を、画像における一番目のスライスでの一番目の符号化ブロックの左上隅のサンプル点の、画像における座標とする。通常、画像における一番目のスライスでの一番目の符号化ブロックの左上隅のサンプル点は、画像の左上隅のサンプル点であり、(pic_slice_address_info_x0,pic_slice_address_info_y0)の値を(0,0)と設定することができる。
pic_slice_address_info_stride_widthの値を画像の幅の値に設定する。
pic_slice_address_info_stride_heightの値を画像の高さの値に設定する。
ステップ402において、前記第1パラメータを画像レイヤーデータユニットに対応するビットストリームに書き込む。
あるいはまた、pic_slice_address_info_present_flagの値について、(pic_slice_address_info_x0,pic_slice_address_info_y0)の値が(0,0)に等しく、且つpic_slice_address_info_stride_widthとpic_slice_address_info_stride_heightの値がそれぞれ画像の幅と高さに等しい場合、すなわち、上記第1パラメータに関する四つのシンタックス要素の値が、pic_slice_address_info_present_flagの値が0である際のデフォルト値に等しい場合、pic_slice_address_info_present_flagの値を0に設定することができる。
あるいはまた、pic_slice_address_info_present_flagの値について、pic_slice_address_info_present_flagの値を1に設定することができ、ビットストリームにおいて第1パラメータに関する四つのシンタックス要素の値の符号化を行う。
表1の各シンタックス単位の記述子(descriptor)に対応するエントロピー符号化方法を利用して、pic_slice_address_info_present_flagと第1パラメータに関する四つのシンタックス要素の値(pic_slice_address_info_present_flagの値が1である際)をビットストリームにおける1つまたは複数のデータユニットに書き込む。
ここで、上述したビットストリームにおけるデータユニットは、ビデオパラメータセット(Video Parameter Set、VPS)、シーケンスパラメータセット(Sequence Parameter Set、SPS)、画像パラメータセット(Picture Parameter Set、PPS)、および他の画像に適用可能な1つまたは複数のスライスのパラメータセット(例えば、適応パラメータセット(Adaptive Parameter Set、APS))のうちの1つまたは複数を含むことができる。複数のパラメータセットのいずれにも第1パラメータを書き込む場合、本実施形態に記載のビットストリームの生成方法は、実施形態1に記載の復号化方法を用いた場合こそ、復号化中に正確な第1パラメータを取得することを確保する必要がある。前記正確な第1パラメータとは、ビットストリームの生成方法においてビットストリームを生成する際に用いる第1パラメータである。
ステップ403において、前記第1パラメータに基づいて、第2パラメータの値を計算し、前記第2パラメータをスライスヘッダ情報のビットストリームに書き込む。
スライスでの一番目の符号化ブロックの左上隅のサンプル点の画像における座標(SliceAddrX,SliceAddrY)を決定する。
ビットストリームを生成する際、slice_address_xの値を、実施形態1における式(1)によって計算して得られる、SliceAddrXの値に等しい数値に設定することができる。例えば、(pic_slice_address_info_x0,pic_slice_address_info_y0)の値が(0,0)である場合、slice_address_xの値をSliceAddrXに等しい値に設定することができる。
ビットストリームを生成する際、slice_address_yの値を、実施形態1における式(2)によって計算して得られる、SliceAddrYの値に等しい数値に設定することができる。例えば、(pic_slice_address_info_x0,pic_slice_address_info_y0)の値が(0,0)である場合、slice_address_yの値をSliceAddrYに等しい値に設定することができる。
表2に示す各シンタックス単位の記述子(descriptor)に対応するエントロピー符号化方法を利用して、第2パラメータに関するシンタックス要素のslice_address_xとslice_address_yの値をスライスヘッダ情報のビットストリームに書き込む。
実施形態4
図8は本実施形態においてビデオビットストリームに抽出を行ってビットストリームを生成する方法を示す図である。
本実施形態において、ビットストリームを抽出する際の入力ビットストリームは「抽出対象ビットストリーム」または「元のビットストリーム」と呼ばれ、ビットストリームを抽出する際の出力ビットストリームは「サブビットストリーム」と呼ばれる。「抽出対象ビットストリームに対応する画像」(または「元のビットストリームに対応する画像」)とは、抽出対象ビットストリーム(または元のビットストリーム)を復号化して得られた復元画像を意味し、「サブビットストリームに対応する画像」とは、サブビットストリームを復号化して得られた復元画像を意味する。「抽出対象ビットストリーム」(または「元のビットストリーム」)は、実施形態3に記載の方法を利用して、ビデオ画像を符号化して得られたビットストリームであることができれば、本実施形態と以下の実施形態5に記載の方法を利用して、ビットストリームの抽出を行って得られたサブビットストリームであることもできる。
本実施形態に記載の方法は、表1に示す第1パラメータのビットストリーム組織構造を用いて、抽出中においてサブビットストリームのパラメータセットで第1パラメータを再び符号化する(または「書き換える」とも呼ばれる)。本実施形態に記載の方法は、表2に示す第2パラメータのビットストリーム組織構造を用いて、抽出中において抽出対象ビットストリームにおけるスライスヘッダ情報の第2パラメータを再び符号化する必要がなくなり、ビットストリームを抽出する際にサブビットストリームにおけるスライスについて開始位置を再び計算して開始位置を符号化する複雑性を省いて、ビットストリームの抽出プロセスの効率を向上させる。
実施形態1に記載の復号化方法は、本実施形態に記載のビットストリームの生成方法によって生成されたビットストリームを復号化することができる。
図9は本実施形態におけるビットストリーム抽出実施手順の一例を示す図である。図9において、抽出対象ビットストリームに対応する画像は、幅がw0で、高さがh0である画像である。ここで、R0とR1の二つの画像領域によりサブビットストリームに対応する画像(幅がw1で、高さがh1である)を構成する。R0領域中の一番目のスライスにおける一番目の符号化ブロック(または復号化ブロック)の左上隅のピクセルはS0であり、R1領域中の一番目のスライスにおける一番目の符号化ブロック(または復号化ブロック)の左上隅のピクセルはS1である。S0の抽出対象ビットストリームに対応する画像における座標は(px0,py0)であり、S0の座標値は、抽出対象ビットストリームにおける第1パラメータと第2パラメータに基づいて、実施形態1に記載の(SliceAddrX,SliceAddrY)を計算する方法を用いて得ることができる。尚、本実施形態は、サブビットストリームに対応する画像がR0領域のみを含む状況、またはR0とR1以外にさらに多い領域を含む状況にも適用可能である。
本実施形態において、抽出対象ビットストリームにおいてPPSのみに第1パラメータが担持された場合を例に説明する。複数のパラメータセットに第1パラメータが担持された場合、その第1パラメータを決定する方法は本実施形態と同じであり、サブビットストリームにおいて第1パラメータを再び符号化する方法は実施形態3にて複数のパラメータセットにおいて第1パラメータを符号化する方法と同じである。
ステップ501において、抽出対象ビットストリームに対応する画像においてサブビットストリームに対応する画像領域が位置する画像領域を決定する。
図9に例示するように、サブビットストリームに対応する画像領域はR0とR1であり、R0中のS0サンプル点の抽出対象ビットストリームでの位置座標は(px0,py0)である。抽出した後、サブビットストリームに対応する画像は「R0が左側、R1が右側」から図9に示す方式に従って、幅がw1で、高さがh1である画像を構成する。
H.264/AVC標準の動き制限スライスグループ集合(Motion-constrained Slice Group Set)を用いる場合、ビットストリームを抽出する際に、ビットストリームにおける動き制限スライスグループ集合に関する補助情報とユーザ視聴ニーズに応じて、サブビットストリームに対応する画像領域が抽出対象ビットストリームに対応する画像にて位置する画像領域を決定することができる。例えば、図9の例において、R0とR1はそれぞれ1つまたは複数のビットストリームの抽出を行うことが可能である動き制限スライスグループ集合に対応する。
H.265/HEVC標準の時間領域動き制限タイル集合(temporal Motion-Constrained Tile Sets、MCTS)を用いる場合、ビットストリームを抽出する際に、ビットストリームにおけるMCTSに関する補助情報とユーザ視聴ニーズに応じて、サブビットストリームに対応する画像領域が抽出対象ビットストリームに対応する画像にて位置する画像領域を決定することができる。例えば、図9の例において、R0とR1はそれぞれ1つまたは複数のビットストリームの抽出を行うことが可能であるMCTSに対応する。
ステップ502において、サブビットストリームに対応する画像における一番目のスライスの開始位置に基づいて第1パラメータの値を計算する。
図9の例に示すように、サブビットストリームについて第1パラメータの値を決定する方法は以下のとおりである。
pic_slice_address_info_x0の値をpx0の値に設定する。
pic_slice_address_info_y0の値をpy0の値に設定する。
pic_slice_address_info_stride_widthの値は変化しない(すなわち、抽出対象ビットストリーム中のpic_slice_address_info_stride_widthの値に等しい)。
pic_slice_address_info_stride_heightの値は変化しない(すなわち、抽出対象ビットストリーム中のpic_slice_address_info_stride_heightの値に等しい)。
ステップ503において、前記第1パラメータを画像レイヤーデータユニットに対応するビットストリームに書き込む。
本実施形態において、既存の方法で前記抽出対象ビットストリームについてビットストリームの抽出を行って、サブビットストリームを得る。ビットストリームの抽出中において、サブビットストリームに適用されるPPS中の第1パラメータに対応するシンタックス単位を再び符号化する。
実施形態3のステップ402に記載の方法を利用して、前記第1パラメータをサブビットストリームのPPSに対応するビットストリームに書き込む。
本実施形態に記載の方法を利用して、図8に示す例についてビットストリームの抽出を行う過程において、サブビットストリームのうちスライスビットストリームはいずれも直接抽出対象ビットストリームから得られたものであり、ビットストリームの抽出を行う際にスライスビットストリームの情報に再び符号化を行う必要がなくなる。同時に、抽出して得られたサブビットストリームに再び抽出を行う際、本実施形態に記載の方法を利用して、当該サブビットストリームを「抽出対象ビットストリーム」として処理すればよく、抽出中にPPS中の第1パラメータを再び符号化すればよい。どのように抽出しても、抽出対象ビットストリームとサブビットストリームはいずれも実施形態1に記載の復号化方法によって復号化することが可能である。当然ながら、実施形態5に記載の方法によると、ビットストリーム抽出の処理効率を大幅に向上させることができる。
実施形態5
本実施形態において、実施形態4の方法を用いて、図10に示す例についてサブビットストリームの抽出を行う。
図10は本実施例の360度パノラマビデオでの応用を示す図である。ここで言う360度パノラマビデオは球面ビデオであり、視聴者(viewer)が球心位置に位置する。図10において、視聴者により選択された視聴領域はR1とR0領域である。
本実施形態において、既存の360度パノラマビデオについての符号化方法を用いて、抽出対象ビットストリームを生成する。このような符号化方法は、まず、球面ビデオを普通の二次元ビデオに変換し、その後、ビデオエンコーダによって当該二次元ビデオについて符号化を行う。受信側において、ビデオデコーダによって当該二次元ビデオに復号化を行ってから、球面ビデオへ再び変換してユーザが視聴するように端末で提示する(rendering)。
実際の応用において、ユーザが360度パノラマビデオ中の1つの領域を視聴するので、伝送帯域幅を節約するために、ユーザの視聴角度に基づいて、ユーザによる視聴領域を決定し、抽出対象ビットストリームから前記ユーザ視聴領域に対応するサブビットストリームを抽出して、サブビットストリームを受信側へ送信することができる。受信側は、サブビットストリームに復号化を行い、補助情報(ビデオビットストリームに担持された補助情報であることができれば、システムレイヤーに担持された補助情報であることもできる)に基づいて、サブビットストリームを復号化して画像を再び球面ビデオでの視聴領域に対応する画像に変換して視聴するようにユーザに提示する。
図10に示す例において、360度パノラマビデオの球面ビデオを正距円筒図法(Equirectangular projection、ERP)に従って、幅がw0で、高さがh0である普通の二次元画像に変換する。変換して得られた二次元画像において、R0領域とR1領域は、それぞれ当該二次元画像の左画像境界と右画像境界に位置する。R0領域における一番目のスライスでの一番目の符号化ブロック(または復号化ブロック)の左上隅のピクセルはS0であり、R1領域における一番目のスライスでの一番目の符号化ブロック(または復号化ブロック)の左上隅のピクセルはS1である。S0の前記二次元画像における座標は(px0,py0)であり、S1の前記二次元画像における座標は(px1,py1)である。S0とS1の座標値は、抽出対象ビットストリームにおける第1パラメータとそれぞれ位置するスライスにおける第2パラメータに基づいて、実施形態1に記載の(SliceAddrX,SliceAddrY)を計算する方法で得ることができる。
図10に示す360度パノラマビデオにおいて、視聴者の視聴領域は球面上のR1領域とR0領域である。よって、サブビットストリームに対応する画像は、「R1が左、R0が右」の形態で構成される。
実施形態6
本実施例において、図10に示す例についてビットストリームの抽出を行ってビットストリームを生成する方法を説明し、以下のステップ601、602、603を含む。
ステップ601において、サブビットストリームに対応する画像領域が抽出対象ビットストリームに対応する画像において位置する画像領域を決定する。
図10に示す例において、抽出した後、サブビットストリームに対応する画像は、「R1が左、R0が右」の形態で、幅がw1で、高さがh1である画像を構成する。
ステップ602において、サブビットストリームに対応する画像における一番目のスライスの開始位置を決定し、第1パラメータの値を計算する。
図10の例において、幅がw0で、高さがh1である正距円筒図において、R0領域に該当する開始位置がS0点からSx点に変更されなければならない。360度パノラマビデオにおいて、S0とSxは球面で同一のサンプル点に対応する。実施形態1中のステップ203においてスライス開始位置を計算する方法に従って、サブビットストリームの第1パラメータの値を以下のように決定しなければならない。
pic_slice_address_info_x0の値をpx1の値に設定する。
pic_slice_address_info_y0の値をpy1の値に設定する。
pic_slice_address_info_stride_widthの値は変化しない(すなわち、抽出対象ビットストリーム中のpic_slice_address_info_stride_widthの値に等しい)。
pic_slice_address_info_stride_heightの値は変化しない(すなわち、抽出対象ビットストリーム中のpic_slice_address_info_stride_heightの値に等しい)。
ステップ603において、前記第1パラメータを画像レイヤーデータユニットに対応するビットストリームに書き込む。
本実施形態において、既存の方法で前記抽出対象ビットストリームにビットストリームの抽出を行って、サブビットストリームが得られる。ビットストリームの抽出中において、サブビットストリームに適用されるPPSにおける第1パラメータに対応するシンタックス単位を再び符号化する。
実施形態3中のステップ402に記載の方法を用いて、前記第1パラメータをサブビットストリームのPPSに対応するビットストリームに書き込む。
本実施形態に記載の方法を用いて図9に示す例についてビットストリームの抽出を行う過程において、サブビットストリームのうちスライスビットストリームはいずれも直接抽出対象ビットストリームから得られたものであり、ビットストリームの抽出を行う際にスライスビットストリームの情報に再び符号化を行う必要がなくなる。同時に、抽出して得られたサブビットストリームに再び抽出を行う際、本実施形態に記載の方法を利用して、当該サブビットストリームを「抽出対象ビットストリーム」として処理すればよく、抽出中にPPS中の第1パラメータを再び符号化すればよい。どのように抽出しても、抽出対象ビットストリームとサブビットストリームはいずれも実施形態1に記載の復号化方法によって復号化することが可能である。当然ながら、実施形態6に記載の方法によると、ビットストリーム抽出の処理効率を大幅に向上させることができる。
実施形態7
本実施形態において電子システムの実施形態を提供し、ビデオビットストリームを含むメディアビットストリームまたはメディアファイルを処理または生成するための以下の1つまたは複数の電子機器を含む。
前記電子機器は、実施形態1の方法を用いて、ビデオビットストリームに復号化を行うか、または実施形態4と実施形態1に記載の方法を用いて、サブビットストリームの抽出を行う。
前記電子機器は、H.265/HEVC標準のメディアビットストリームまたはメディアファイルについて、実施形態2に記載の方法を用いて、サブビットストリームの抽出を行うことができる。または、実施形態4と実施形態2に記載の方法を用いて、サブビットストリームの抽出を行うことができる。
前記電子機器は、H.264/AVC標準のメディアビットストリームまたはメディアファイルについて、実施形態3に記載の方法を用いて、サブビットストリームの抽出を行うことができる。または、実施形態4と実施形態3に記載の方法を用いて、サブビットストリームの抽出を行うことができる。
本実施形態の電子機器は、例えば携帯電話、コンピューター、サーバー、セットトップボックス、携帯型移動端末、デジタルカメラ、TV放送システム機器、コンテンツ配信ネットワーク装置、メディアサーバー等のビデオ通信アプリケーションにおける関連するビットストリーム生成機器や受信再生装置であることができる。
実施例4
本開示の実施例において記憶媒体をさらに提供し、当該記憶媒体にはコンピュータープログラムが記憶され、ここで、当該コンピュータープログラムは実行される際、上述したいずれかの方法実施例中のステップを行うように構成される。
あるいはまた、本実施例において、上記記憶媒体は、
ビデオ画像におけるスライスの基準位置の第1パラメータを取得するS1と、
スライスの前記ビデオ画像における開始位置を決定するための第2パラメータを取得するS2と、
前記第1パラメータと前記第2パラメータに基づいて、前記スライスの前記ビデオ画像における開始位置座標パラメータを計算するS3と、を実行するためのコンピュータープログラムが記憶されるように構成される。
あるいはまた、本実施例において、上記記憶媒体は、USB、読み出し専用メモリ(Read-Only Memory、ROM)、ランダムアクセスメモリ(Random Access Memory、RAM)、モバイルハードディスク、磁気ディスクまたは光ディスク等のコンピュータープログラムを記憶可能な様々な媒体を含むが、これらに限定されることはない。
本開示の実施例において、メモリとプロセッサとを含む電子機器をさらに提供し、当該メモリはコンピュータープログラムを記憶し、当該プロセッサは、コンピュータープログラムを実行することで、上述したいずれかの方法実施例中のステップを実現するように構成される。
あるいはまた、上記電子機器は伝送機器と入出力機器とをさらに含み、ここで、当該伝送機器は上記プロセッサに接続され、当該入出力機器は上記プロセッサに接続される。
あるいはまた、本実施例において、上記プロセッサはコンピュータープログラムによって、
ビデオ画像におけるスライスの基準位置の第1パラメータを取得するS1と、
スライスの前記ビデオ画像における開始位置を決定するための第2パラメータを取得するS2と、
前記第1パラメータと前記第2パラメータに基づいて、前記スライスの前記ビデオ画像における開始位置座標パラメータを計算するS3と、を実現するように構成される。
あるいはまた、本実施例の実例については上記実施例および代替実施形態で説明した実例を参照することができ、本実施例では詳細な説明を省略する。
上述した本開示の各手段または各ステップを汎用の計算装置によって実現することができ、1つの計算装置に集中させるか、または複数の計算装置からなるネットワークに分布させることもでき、また、計算装置が実行可能なプログラムコードによって実現されて、記憶装置に記憶して計算装置によって実行されることもでき、場合によっては、図示したまたは説明したステップをここに示す順と異なる順で実行することも可能であり、またはそれぞれ集積回路手段として制作し、またはその中の複数の手段またはステップを1つの集積回路手段とすることができるのは、当業者が理解できることである。このように、本開示は特定のハードウェアとソフトウェアの組み合わせに限定されない。
以上は、本開示の好適な実施例に過ぎず、本開示を限定するものではなく、当業者であれば本開示に様々な修正や変形を加えることが可能である。本開示の原則内で行う全ての修正、均等置換、改良などは、いずれも本開示の保護範囲内に含まれる。

Claims (13)

  1. ビデオ画像におけるスライスの基準位置の第1パラメータを取得することと、
    前記スライスの前記ビデオ画像における開始位置を決定するための第2パラメータを取得することと、
    前記第1パラメータと前記第2パラメータに基づいて、前記スライスの前記ビデオ画像における開始位置座標パラメータを計算することと、を含み、
    前記第1パラメータは、前記ビデオ画像の座標情報、前記ビデオ画像のストライド情報を含み、前記第2パラメータは、前記スライスの座標情報を含み、
    前記ビデオ画像の座標情報は、前記ビデオ画像におけるスライス基準位置の水平方向での座標および前記ビデオ画像におけるスライス基準位置の垂直方向での座標を含み、前記ビデオ画像のストライド情報は、前記ビデオ画像の水平方向のストライド値および前記ビデオ画像の垂直方向のストライド値、または前記ビデオ画像の水平方向のストライド値を含み、前記スライスの座標情報は、前記スライスの水平方向での位置座標および前記スライスの垂直方向での位置座標を含む、ビデオビットストリームの復号化方法。
  2. ビデオ画像におけるスライスの基準位置の第1パラメータを取得することは、
    ビデオビットストリームのうちの画像レイヤーデータユニットに対応する1つまたは複数の第1ビットストリームを解析することと、
    前記第1ビットストリームから前記第1パラメータを取得することと、を含む、請求項1に記載の方法。
  3. 複数の前記第1ビットストリームが存在する場合、前記第1ビットストリームから前記第1パラメータを取得することは、
    前記複数の第1ビットストリームを解析して、複数の第1パラメータを取得することと、
    前記画像レイヤーデータユニットに関する識別情報および/または複数の前記画像レイヤーデータユニット同士の引用関係を取得することと、
    前記識別情報および/または引用関係に基づいて、前記複数の第1パラメータから1つの前記第1パラメータを決定することと、を含む、請求項2に記載の方法。
  4. 前記画像レイヤーデータユニットに関する識別情報は、前記スライスの前記ビデオ画像における開始位置座標パラメータを計算する際に用いられる第1パラメータを指示するためのものである請求項3に記載の方法。
  5. 前記画像レイヤーデータユニットは、ビデオパラメータセット、シーケンスパラメータセット、画像パラメータセット、シーケンスヘッダ、画像ヘッダ、スライスヘッダ、画像レイヤー補助情報ユニットのうちの少なくとも1つのデータユニットを含む、請求項3に記載の方法。
  6. 前記スライスの第2パラメータを取得することは、
    ビデオビットストリームのスライス層ヘッダ情報を解析することと、
    前記スライス層ヘッダ情報から前記第2パラメータを取得することと、を含む、請求項1に記載の方法。
  7. 前記第1パラメータと前記第2パラメータに基づいて、前記スライスの前記ビデオ画像における開始位置座標パラメータを計算することは、
    以下の式によって前記開始位置座標パラメータ(SliceAddrX,SliceAddrY)を計算することを含む、請求項に記載の方法。
    SliceAddrX=(slice_address_x-pic_slice_address_info_x0+pic_slice_address_info_stride_width)%pic_slice_address_info_stride_width
    SliceAddrY=(slice_address_y-pic_slice_address_info_y0+pic_slice_address_info_stride_height)%pic_slice_address_info_stride_height
    (ここで、SliceAddrXは前記スライスの前記ビデオ画像における水平方向での開始位置座標で、SliceAddrYは前記スライスの前記ビデオ画像における垂直方向での開始位置座標であり、slice_address_xは前記スライスの水平方向での位置座標で、slice_address_yは前記スライスの垂直方向での位置座標であり、pic_slice_address_info_x0は前記ビデオ画像におけるスライス基準位置の水平方向での座標で、pic_slice_address_info_y0は前記ビデオ画像におけるスライス基準位置の垂直方向での座標であり、pic_slice_address_info_stride_widthは前記ビデオ画像の水平方向のストライド値で、pic_slice_address_info_stride_heightは前記ビデオ画像の垂直方向のストライド値である。)
  8. 前記第1パラメータと前記第2パラメータに基づいて、前記スライスの前記ビデオ画像における開始位置座標パラメータを計算することは、
    以下の式によって前記開始位置座標パラメータ(SliceAddrX,SliceAddrY)を計算することを含む、請求項に記載の方法。
    SliceAddrX=(slice_address_x-pic_slice_address_info_x0+pic_slice_address_info_stride_width)%pic_slice_address_info_stride_width
    SliceAddrY=slice_address_y-pic_slice_address_info_y0
    (ここで、SliceAddrXは前記スライスの前記ビデオ画像における水平方向での開始位置座標で、SliceAddrYは前記スライスの前記ビデオ画像における垂直方向での開始位置座標であり、slice_address_xは前記スライスの水平方向での位置座標で、slice_address_yは前記スライスの垂直方向での位置座標であり、pic_slice_address_info_x0は前記ビデオ画像におけるスライス基準位置の水平方向での座標で、pic_slice_address_info_y0は前記ビデオ画像におけるスライス基準位置の垂直方向での座標であり、pic_slice_address_info_stride_widthは前記ビデオ画像の水平方向のストライド値である。)
  9. ビデオ画像における一番目のスライスの開始位置に基づいて、第1パラメータを設定することと、
    前記第1パラメータを前記ビデオ画像の画像レイヤーデータユニットのビットストリームに書き込むことと、
    ビデオ画像におけるスライスの開始位置座標パラメータと前記第1パラメータに基づいて、前記スライスの前記ビデオ画像における開始位置を決定するための第2パラメータを計算して、前記第2パラメータをスライス層ヘッダ情報に対応するビットストリームに書き込むことと、を含み、
    前記第1パラメータは、前記ビデオ画像の座標情報、前記ビデオ画像のストライド情報を含み、前記第2パラメータは、前記スライスの座標情報を含み、
    前記ビデオ画像の座標情報は、前記ビデオ画像におけるスライス基準位置の水平方向での座標および前記ビデオ画像におけるスライス基準位置の垂直方向での座標を含み、前記ビデオ画像のストライド情報は、前記ビデオ画像の水平方向のストライド値および前記ビデオ画像の垂直方向のストライド値、または前記ビデオ画像の水平方向のストライド値を含み、前記スライスの座標情報は、前記スライスの水平方向での位置座標および前記スライスの垂直方向での位置座標を含む、ビデオビットストリームの生成方法。
  10. ビデオ画像における一番目のスライスの開始位置に基づいて、第1パラメータを設定することは、
    前記ビデオ画像である、サブビットストリームに対応する画像の、抽出対象ビットストリームに対応する画像において位置する画像領域を決定することと、
    前記ビデオ画像における一番目のスライスの開始位置を決定し、前記開始位置に基づいて、第1パラメータを計算することと、を含み、前記開始位置は、前記ビデオ画像における一番目のスライスの、前記抽出対象ビットストリームに対応する画像における開始位置座標である、請求項に記載の方法。
  11. ビデオ画像におけるスライスの基準位置の第1パラメータを取得するように構成された第1取得手段と、
    前記スライスの前記ビデオ画像における開始位置を決定するための第2パラメータを取得するように構成された第2取得手段と、
    前記第1パラメータと前記第2パラメータに基づいて、前記スライスの前記ビデオ画像における開始位置座標パラメータを計算するように構成された計算手段と、を含み、
    前記第1パラメータは、前記ビデオ画像の座標情報、前記ビデオ画像のストライド情報を含み、前記第2パラメータは、前記スライスの座標情報を含み、
    前記ビデオ画像の座標情報は、前記ビデオ画像におけるスライス基準位置の水平方向での座標および前記ビデオ画像におけるスライス基準位置の垂直方向での座標を含み、前記ビデオ画像のストライド情報は、前記ビデオ画像の水平方向のストライド値および前記ビデオ画像の垂直方向のストライド値、または前記ビデオ画像の水平方向のストライド値を含み、前記スライスの座標情報は、前記スライスの水平方向での位置座標および前記スライスの垂直方向での位置座標を含む、ビデオビットストリームの復号化装置。
  12. ビデオ画像における一番目のスライスの開始位置に基づいて、第1パラメータを設定するように構成された設定手段と、
    前記第1パラメータを前記ビデオ画像の画像レイヤーデータユニットのビットストリームに書き込むように構成された生成手段と、を含み、
    ビデオ画像におけるスライスの開始位置座標パラメータと前記第1パラメータに基づいて、前記スライスの前記ビデオ画像における開始位置を決定するための第2パラメータを計算して、前記第2パラメータをスライス層ヘッダ情報に対応するビットストリームに書き込むように構成され、
    前記第1パラメータは、前記ビデオ画像の座標情報、前記ビデオ画像のストライド情報を含み、前記第2パラメータは、前記スライスの座標情報を含み、
    前記ビデオ画像の座標情報は、前記ビデオ画像におけるスライス基準位置の水平方向での座標および前記ビデオ画像におけるスライス基準位置の垂直方向での座標を含み、前記ビデオ画像のストライド情報は、前記ビデオ画像の水平方向のストライド値および前記ビデオ画像の垂直方向のストライド値、または前記ビデオ画像の水平方向のストライド値を含み、前記スライスの座標情報は、前記スライスの水平方向での位置座標および前記スライスの垂直方向での位置座標を含む、ビデオビットストリームの生成装置。
  13. コンピュータープログラムが記憶された記憶媒体であって、前記コンピュータープログラムは、実行されると請求項1乃至1のうちのいずれか1項に記載の方法を実現するように構成された、記憶媒体。
JP2020538715A 2018-01-10 2018-12-19 ビデオビットストリームの復号化、生成方法および装置、記憶媒体、電子機器 Active JP7332605B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN201810023101.9 2018-01-10
CN201810023101.9A CN110022481B (zh) 2018-01-10 2018-01-10 视频码流的解码、生成方法及装置、存储介质、电子装置
PCT/CN2018/122052 WO2019137171A1 (zh) 2018-01-10 2018-12-19 视频码流的解码、生成方法及装置、存储介质、电子装置

Publications (2)

Publication Number Publication Date
JP2021510281A JP2021510281A (ja) 2021-04-15
JP7332605B2 true JP7332605B2 (ja) 2023-08-23

Family

ID=67188097

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020538715A Active JP7332605B2 (ja) 2018-01-10 2018-12-19 ビデオビットストリームの復号化、生成方法および装置、記憶媒体、電子機器

Country Status (6)

Country Link
US (1) US11146799B2 (ja)
EP (1) EP3739898A4 (ja)
JP (1) JP7332605B2 (ja)
KR (1) KR20200107975A (ja)
CN (1) CN110022481B (ja)
WO (1) WO2019137171A1 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110493604A (zh) * 2019-08-28 2019-11-22 成都索贝数码科技股份有限公司 一种基于gpu集群实现8k hevc实时编码的方法
US11716488B2 (en) * 2019-09-20 2023-08-01 Qualcomm Incorporated Subpicture signaling in high-level syntax for video coding
US11356698B2 (en) * 2019-12-30 2022-06-07 Tencent America LLC Method for parameter set reference constraints in coded video stream
CN112473130A (zh) * 2020-11-26 2021-03-12 成都数字天空科技有限公司 场景渲染方法、装置、集群、存储介质及电子设备

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013132048A (ja) 2011-11-21 2013-07-04 Canon Inc 画像符号化装置、画像符号化方法及びプログラム、画像復号装置、画像復号方法及びプログラム
US20150304673A1 (en) 2012-12-06 2015-10-22 Sony Corporation Decoding device, decoding method, and program

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101313578B (zh) * 2005-09-26 2011-10-19 韩国电子通信研究院 用于在可伸缩视频编码中定义和重构感兴趣区域的方法和装置
JP4314315B1 (ja) * 2008-03-31 2009-08-12 株式会社東芝 情報処理装置および復号制御方法
KR101627568B1 (ko) * 2010-09-30 2016-06-09 후지쯔 가부시끼가이샤 동화상 부호화 장치, 동화상 부호화 방법 및 동화상 부호화용 컴퓨터 프로그램
EP2472867A1 (en) 2010-12-30 2012-07-04 Advanced Digital Broadcast S.A. Coding and decoding of multiview videos
CN102595119B (zh) * 2011-01-14 2014-03-12 华为技术有限公司 条带编码方法及装置、条带解码方法及装置
CN103313048B (zh) * 2012-03-14 2017-12-22 中兴通讯股份有限公司 自适应控制算术编码上下文编码模式bin数量的方法
JP6214235B2 (ja) * 2012-07-02 2017-10-18 キヤノン株式会社 ファイル生成方法、ファイル生成装置、及びプログラム
CN103780920B (zh) * 2012-10-17 2018-04-27 华为技术有限公司 处理视频码流的方法及装置
KR101879519B1 (ko) 2013-07-29 2018-07-17 코닌클리즈케 케이피엔 엔.브이. 타일 비디오 스트림을 클라이언트에게 제공하는 방법
US10225567B2 (en) * 2013-10-08 2019-03-05 Sharp Kabushiki Kaisha Image decoder, image encoder, and encoded data converter
US20160249056A1 (en) * 2013-10-10 2016-08-25 Sharp Kabushiki Kaisha Image decoding device, image coding device, and coded data
CN105323597B (zh) * 2014-08-04 2019-03-08 中国电信股份有限公司 Mp4文件播放方法、处理方法和装置以及播放***
GB2550912B (en) * 2016-05-27 2019-09-04 Canon Kk Method, device and computer program for encapsulating and parsing timed media data

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013132048A (ja) 2011-11-21 2013-07-04 Canon Inc 画像符号化装置、画像符号化方法及びプログラム、画像復号装置、画像復号方法及びプログラム
US20150304673A1 (en) 2012-12-06 2015-10-22 Sony Corporation Decoding device, decoding method, and program

Also Published As

Publication number Publication date
CN110022481B (zh) 2023-05-02
US20200351507A1 (en) 2020-11-05
KR20200107975A (ko) 2020-09-16
EP3739898A1 (en) 2020-11-18
JP2021510281A (ja) 2021-04-15
EP3739898A4 (en) 2020-12-23
WO2019137171A1 (zh) 2019-07-18
CN110022481A (zh) 2019-07-16
US11146799B2 (en) 2021-10-12

Similar Documents

Publication Publication Date Title
US10249019B2 (en) Method and apparatus for mapping omnidirectional image to a layout output format
JP7332605B2 (ja) ビデオビットストリームの復号化、生成方法および装置、記憶媒体、電子機器
US10404991B2 (en) Method of displaying a region of interest in a video stream
US10574955B2 (en) Re-projecting flat projections of pictures of panoramic video for rendering by application
US20180152663A1 (en) View-dependent operations during playback of panoramic video
TW201840178A (zh) 適應性擾動立方體之地圖投影
WO2018086524A1 (en) Method and apparatus having video encoding function with syntax element signaling of rotation information and associated method and apparatus having video decoding function
KR20200019718A (ko) 이미지 처리 방법, 단말기, 및 서버
US11589047B2 (en) Video encoding and decoding methods and apparatus
KR102334628B1 (ko) 360도 비디오의 영역 정보 전달 방법 및 장치
JP7177034B2 (ja) レガシー及び没入型レンダリングデバイスのために没入型ビデオをフォーマットする方法、装置、及びストリーム
CN109587478B (zh) 一种媒体信息的处理方法及装置
WO2019115867A1 (en) An apparatus, a method and a computer program for volumetric video
US11743502B2 (en) Compact description of region-wise packing information
US20210400295A1 (en) Null tile coding in video coding
KR20210094646A (ko) 몰입형 비디오 비트 스트림 처리
WO2020175908A1 (ko) 시그널링된 정보에 기반한 픽처 파티셔닝 방법 및 장치
WO2020175905A1 (ko) 시그널링된 정보에 기반한 픽처 파티셔닝 방법 및 장치

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200714

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20211210

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230124

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230131

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230428

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230711

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230810

R150 Certificate of patent or registration of utility model

Ref document number: 7332605

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150