JPWO2018135321A1 - 画像処理装置および方法 - Google Patents
画像処理装置および方法 Download PDFInfo
- Publication number
- JPWO2018135321A1 JPWO2018135321A1 JP2018563271A JP2018563271A JPWO2018135321A1 JP WO2018135321 A1 JPWO2018135321 A1 JP WO2018135321A1 JP 2018563271 A JP2018563271 A JP 2018563271A JP 2018563271 A JP2018563271 A JP 2018563271A JP WO2018135321 A1 JPWO2018135321 A1 JP WO2018135321A1
- Authority
- JP
- Japan
- Prior art keywords
- image
- unit
- data
- image processing
- partial area
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012545 processing Methods 0.000 title claims abstract description 210
- 238000000034 method Methods 0.000 title claims abstract description 131
- 230000002123 temporal effect Effects 0.000 claims description 224
- 238000013075 data extraction Methods 0.000 claims description 27
- 238000004458 analytical method Methods 0.000 claims description 25
- 239000000284 extract Substances 0.000 claims description 18
- 238000003672 processing method Methods 0.000 claims description 11
- 238000012935 Averaging Methods 0.000 claims description 2
- 238000006243 chemical reaction Methods 0.000 abstract description 62
- 230000009467 reduction Effects 0.000 abstract description 22
- 238000004891 communication Methods 0.000 abstract description 20
- 230000008569 process Effects 0.000 description 70
- 238000005516 engineering process Methods 0.000 description 44
- 238000013139 quantization Methods 0.000 description 35
- 239000000872 buffer Substances 0.000 description 32
- 238000004364 calculation method Methods 0.000 description 27
- 238000007781 pre-processing Methods 0.000 description 26
- 230000005540 biological transmission Effects 0.000 description 19
- 238000010586 diagram Methods 0.000 description 18
- 230000008707 rearrangement Effects 0.000 description 17
- 230000006870 function Effects 0.000 description 14
- 238000009825 accumulation Methods 0.000 description 13
- 238000003384 imaging method Methods 0.000 description 12
- 230000033001 locomotion Effects 0.000 description 11
- 230000010365 information processing Effects 0.000 description 6
- 230000000295 complement effect Effects 0.000 description 5
- 238000012544 monitoring process Methods 0.000 description 4
- 230000008520 organization Effects 0.000 description 4
- 230000000750 progressive effect Effects 0.000 description 4
- 238000001914 filtration Methods 0.000 description 3
- 230000000153 supplemental effect Effects 0.000 description 3
- BROYWHABVCPAPN-UHFFFAOYSA-N 1,3-dichloro-4,4,5,5-tetramethylimidazolidin-2-one Chemical compound CC1(C)N(Cl)C(=O)N(Cl)C1(C)C BROYWHABVCPAPN-UHFFFAOYSA-N 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 244000144972 livestock Species 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 239000012536 storage buffer Substances 0.000 description 2
- 239000013598 vector Substances 0.000 description 2
- 241000251468 Actinopterygii Species 0.000 description 1
- 241000271566 Aves Species 0.000 description 1
- 241000938605 Crocodylia Species 0.000 description 1
- 241000196324 Embryophyta Species 0.000 description 1
- 241000238631 Hexapoda Species 0.000 description 1
- 241000124008 Mammalia Species 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000003796 beauty Effects 0.000 description 1
- 230000010267 cellular communication Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000005065 mining Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000002265 prevention Effects 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/167—Position within a video image, e.g. region of interest [ROI]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/187—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a scalable video layer
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
- H04N19/31—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the temporal domain
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/46—Embedding additional information in the video signal during the compression process
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/587—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal sub-sampling or interpolation, e.g. decimation or subsequent interpolation of pictures in a video sequence
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
本開示は、符号化効率の低減を抑制することができるようにする画像処理装置および方法に関する。符号化する画像データの部分領域毎の時間解像度を設定し、その画像データを符号化し、設定された部分領域毎の時間解像度を示す情報を含むビットストリームを生成する。または、画像データが符号化されたビットストリームに含まれる、その画像データの部分領域毎の時間解像度を示す情報を解析する。本開示は、例えば、画像処理装置、ビットストリーム変換装置、画像符号化装置、画像復号装置、通信装置等に適用することができる。
Description
本開示は、画像処理装置および方法に関し、特に、符号化効率の低減を抑制することができるようにした画像処理装置および方法に関する。
従来、MPEG-4 Part10 （Advanced Video Coding、以下AVCと記す）より更なる符号化効率の向上を目的として、ITU-T（International Telecommunication Union Telecommunication Standardization Sector）と、ISO/IEC（International Organization for Standardization / International Electrotechnical Commission）の共同の標準化団体であるJCTVC（Joint Collaboration Team - Video Coding）により、HEVC（High Efficiency Video Coding）と呼ばれる符号化方式の標準化が進められている（例えば、非特許文献１参照）。
近年、このような画像符号化方式において符号化の対象とする画像データの解像度が高くなってきた。例えば、VR（Virtual Reality）動画を符号化する場合、視点位置から周囲の画像を平面に展開した平面画像を符号化対象とするため、8K×4K等のような高解像度の画像を符号化することになる。
ITU-T, "SERIES H: AUDIOVISUAL AND MULTIMEDIA SYSTEMS Infrastructure of audiovisual services . Coding of moving video High efficiency video coding", ITU-T H.265 (V3), 2015-04-29
符号化対象の画像が高解像度化すると符号量が増大するため、さらなる符号化効率の向上が求められるが、従来の画像符号化方式の場合、ピクチャ内に、空間解像度が互いに異なる画像が存在することは許容されるものの、時間解像度（フレームレート）が互いに異なる画像が存在することは許容されなかった。そのため、ピクチャの部分領域毎に時間解像度を制御することができず、符号化効率が低減するおそれがあった。
本開示は、このような状況に鑑みてなされたものであり、符号化効率の低減を抑制することができるようにするものである。
本技術の一側面の画像処理装置は、符号化する画像データの部分領域毎の時間解像度を設定する時間解像度設定部と、前記画像データを符号化し、前記時間解像度設定部により設定された前記部分領域毎の前記時間解像度を示す情報を含むビットストリームを生成する符号化部とを備える画像処理装置である。
前記部分領域は独立して復号可能なタイルセットであるようにすることができる。
前記ビットストリームは、前記部分領域に関する情報を含むようにすることができる。
前記時間解像度を示す前記情報は、前記画像データのピクチャ毎に設定されるテンポラルIDと、前記部分領域毎に設定されるレベル情報とを含むようにすることができる。
前記画像データは、視点を中心とする球体状にレンダリングされた全方位画像が単数の平面に展開された平面画像のデータであるようにすることができる。
前記時間解像度設定部は、前記全方位画像が展開された前記平面画像のより中央に近い位置の部分領域程、前記時間解像度を高く設定することができる。
前記画像データは、視点を中心とする互いに直角な６方向の平面画像が単数の平面に展開された平面画像のデータであるようにすることができる。
前記時間解像度設定部は、前記６方向の内、前記視点から見て前方の平面画像の前記時間解像度を、他の方向の平面画像よりも高く設定することができる。
前記部分領域を設定する部分領域設定部をさらに備え、前記時間解像度設定部は、前記部分領域設定部により設定された各部分領域の時間解像度を設定するように構成されるようにすることができる。
前記時間解像度を示す前記情報は、前記部分領域毎に設定されるテンポラルIDを含むようにすることができる。
前記符号化部は、前記時間解像度設定部により設定された前記部分領域毎の前記時間解像度に基づいて、前記画像データの各ピクチャについて、カレントピクチャ含まれる部分領域を符号化することができる。
前記ビットストリームは、復号の際のピクチャの前記部分領域以外の領域の補完方法に関する情報を含むようにすることができる。
前記符号化部は、前記部分領域毎の、前記時間解像度設定部により設定された前記時間解像度のビットストリームを生成することができる。
本技術の一側面の画像処理方法は、符号化する画像データの部分領域毎の時間解像度を設定し、前記画像データを符号化し、設定された前記部分領域毎の前記時間解像度を示す情報を含むビットストリームを生成する画像処理方法である。
本技術の他の側面の画像処理装置は、画像データが符号化されたビットストリームに含まれる、前記画像データの部分領域毎の時間解像度を示す情報を解析する解析部を備える画像処理装置である。
前記解析部の解析結果に従って、前記ビットストリームから所望の部分領域のデータを抽出するデータ抽出部と、前記データ抽出部により抽出された前記部分領域のデータを含むビットストリームを生成するビットストリーム生成部とをさらに備えるようにすることができる。
前記解析部の解析結果に従って、前記ビットストリームに含まれる前記画像データの符号化データの内、所望の部分領域の符号化データを復号する復号部をさらに備えるようにすることができる。
前記復号部は、前記解析部により解析された前記部分領域毎の前記時間解像度に基づいて、前記画像データの各ピクチャについて、カレントピクチャ含まれる部分領域の符号化データを復号することができる。
前記復号部は、前記カレントピクチャの前記部分領域以外の領域を、前記カレントピクチャと異なる他のピクチャの画像の複製、前記カレントピクチャと異なる複数の他のピクチャの画像の平均、または、新たに生成した画像を用いて補完することができる。
本技術の他の側面の画像処理方法は、画像データが符号化されたビットストリームに含まれる、前記画像データの部分領域毎の時間解像度を示す情報を解析する画像処理方法である。
本技術の一側面の画像処理装置および方法においては、符号化する画像データの部分領域毎の時間解像度が設定され、その画像データが符号化され、設定された部分領域毎の時間解像度を示す情報を含むビットストリームが生成される。
本技術の他の側面の画像処理装置および方法においては、画像データが符号化されたビットストリームに含まれる、その画像データの部分領域毎の時間解像度を示す情報が解析される。
本開示によれば、画像を処理することができる。特に、符号化効率の低減を抑制することができる。
以下、本開示を実施するための形態（以下実施の形態とする）について説明する。なお、説明は以下の順序で行う。
１．時間解像度を利用した高符号化効率化
２．第１の実施の形態（HEVCのMCTS SEI利用）
３．第２の実施の形態（部分領域毎のテンポラルID）
４．第３の実施の形態（部分領域毎のビットストリーム化）
５．その他
１．時間解像度を利用した高符号化効率化
２．第１の実施の形態（HEVCのMCTS SEI利用）
３．第２の実施の形態（部分領域毎のテンポラルID）
４．第３の実施の形態（部分領域毎のビットストリーム化）
５．その他
＜１．時間解像度を利用した高符号化効率化＞
従来、MPEG-4 Part10 （Advanced Video Coding、以下AVCと記す）より更なる符号化効率の向上を目的として、ITU-T（International Telecommunication Union Telecommunication Standardization Sector）と、ISO/IEC（International Organization for Standardization / International Electrotechnical Commission）の共同の標準化団体であるJCTVC（Joint Collaboration Team - Video Coding）により、HEVC（High Efficiency Video Coding）と呼ばれる符号化方式の標準化が進められている。
従来、MPEG-4 Part10 （Advanced Video Coding、以下AVCと記す）より更なる符号化効率の向上を目的として、ITU-T（International Telecommunication Union Telecommunication Standardization Sector）と、ISO/IEC（International Organization for Standardization / International Electrotechnical Commission）の共同の標準化団体であるJCTVC（Joint Collaboration Team - Video Coding）により、HEVC（High Efficiency Video Coding）と呼ばれる符号化方式の標準化が進められている。
近年、このような画像符号化方式において符号化の対象とする画像データの解像度が高くなってきた。例えば、VR（Virtual Reality）動画を符号化する場合、視点位置から周囲の画像を平面に展開した平面画像を符号化対象とするため、8K×4K等のような高解像度の画像を符号化することになる。
符号化対象の画像が高解像度化すると符号量が増大するため、さらなる符号化効率の向上が求められる。例えば、ピクチャ内で重要度の低い領域の空間解像度を低減させることによって情報量を削減し、符号化効率を向上させる方法があるが、主観画質への影響も考慮しなければならず、無限に情報量を削減することができるわけではないし、常にこの方法が適切であるとは限らない。
動画像の情報量は時間解像度を用いても制御することができる。時間解像度とは、時間方向のレート（フレームレートとも称する）のことである。例えば時間解像度を低くする（単位時間当たりのフレーム数を低減させる）ことにより情報量を低減させ、符号化効率を向上させることができる。しかしながら、従来の画像符号化方式の場合、ピクチャ内に、空間解像度が互いに異なる画像が存在することは許容されるものの、時間解像度（フレームレート）が互いに異なる画像が存在することは許容されなかった。
そのため、図１の例のように、ピクチャ単位で削除することによりピクチャ全体のフレームレートを低減させることは可能であるが、ピクチャの一部の領域について時間解像度を制御することができなかった。そのため、主観画質の低減を抑制しながら符号化効率を向上させることが困難であり、結果として符号化効率が低減するおそれがあった。
そこで、符号化する画像データの部分領域毎の時間解像度を設定し、その部分領域毎の時間解像度を示す情報を含むビットストリームを生成するようにする。このようにすることにより、時間解像度を用いてピクチャの情報量を部分的に制御することができるので、より高効率に符号化を行うことができる。
＜２．第１の実施の形態＞
＜画像処理システム＞
図２は、本技術を適用した画像処理システムの一態様である画像処理システムの構成の一例を示すブロック図である。図２に示される画像処理システム１００は、所謂VR動画の画像データを符号化し、ビットストリームとして伝送し、伝送先においてそのビットストリーム復号して表示するシステムである。
＜画像処理システム＞
図２は、本技術を適用した画像処理システムの一態様である画像処理システムの構成の一例を示すブロック図である。図２に示される画像処理システム１００は、所謂VR動画の画像データを符号化し、ビットストリームとして伝送し、伝送先においてそのビットストリーム復号して表示するシステムである。
図２に示されるように、画像処理システム１００は、撮像装置１１１、画像変換装置１１２、符号化装置１１３、送信装置１１４、受信装置１３１、ビットストリーム変換装置１３２、復号装置１３３、画像変換装置１３４、および表示装置１３５を有する。
撮像装置１１１は、被写体の撮像に関する処理を行う。例えば、撮像装置１１１は、被写体を撮像し、撮像画像を生成して画像変換装置１１２に供給する。画像変換装置１１２は、その撮像画像の変換に関する処理を行う。例えば、画像変換装置１１２は、撮像装置１１１から供給される撮像画像のレンダリング等を行ってVR用の動画像を生成する。また、例えば、画像変換装置１１２は、そのVR用の動画像を平面上に展開し、符号化用の平面画像を生成し、その平面画像を符号化装置１１３に供給する。
符号化装置１１３は、画像の符号化に関する処理を行う。例えば、符号化装置１１３は、画像変換装置１１２から供給される平面画像を符号化してビットストリームを生成し、そのビットストリームを送信装置１１４に供給する。送信装置１１４は、ビットストリームの送信に関する処理を行う。例えば、送信装置１１４は、符号化装置１１３から供給されるビットストリームを、ネットワーク１２０を介して、受信装置１３１に供給する。
ネットワーク１２０は、伝送媒体である。ネットワーク１２０は、例えば任意の通信網により構成される。例えば、ネットワーク１２０は、有線通信の通信網であってもよいし、無線通信の通信網であってもよいし、それらの両方により構成されるようにしてもよい。また、ネットワーク１２０が、１の通信網により構成されるようにしてもよいし、複数の通信網により構成されるようにしてもよい。例えば、インターネット、公衆電話回線網、所謂3G回線や4G回線等の無線移動体用の広域通信網、WAN（Wide Area Network）、LAN（Local Area Network）、Bluetooth（登録商標）規格に準拠した通信を行う無線通信網、NFC（Near Field Communication）等の近距離無線通信の通信路、赤外線通信の通信路、HDMI（登録商標）（High-Definition Multimedia Interface）やUSB（Universal Serial Bus）等の規格に準拠した有線通信の通信網等、任意の通信規格の通信網や通信路がネットワーク１２０に含まれるようにしてもよい。送信装置１１４および受信装置１３１は、このネットワーク１２０に接続されており、このネットワーク１２０を介してビットストリームの授受を行うことができる。
受信装置１３１は、ビットストリームの受信に関する処理を行う。例えば、受信装置１３１は、ネットワーク１２０を介して送信装置１１４から供給されるビットストリームを受信し、それをビットストリーム変換装置１３２に供給する。ビットストリーム変換装置１３２は、ビットストリームの変換に関する処理を行う。例えば、ビットストリーム変換装置１３２は、表示装置１３５からの要求に応じて、受信装置１３１から供給されるビットストリームから、ユーザの視界内となる部分領域のデータを抽出し、その部分領域のビットストリームを生成し、それを復号装置１３３に供給する。
復号装置１３３は、ビットストリームの復号に関する処理を行う。例えば、復号装置１３３は、ビットストリーム変換装置１３２から拒給されるビットストリームを（符号化装置１１３の符号化方式に対応する復号方式により）復号する。復号装置１３３は、ビットストリームを復号して得られた平面画像のデータを画像変換装置１３４に供給する。画像変換装置１３４は、画像の変換に関する処理を行う。例えば、画像変換装置１３４は、復号装置１３３から供給される平面画像を３次元空間にレンダリングして、仮想現実空間のユーザの視界内の画像を生成し、それを表示装置１３５に供給する。
表示装置１３５は、表示に関する処理を行う。例えば、表示装置１３５は、画像変換装置１３４から供給されるユーザの視界内の画像を表示することにより、ユーザに仮想現実空間を提供する。また、例えば、表示装置１３５は、ユーザの入力やセンシング結果等に応じて、仮想現実空間におけるユーザの視界の位置や方向等を特定し、その視界内の画像をビットストリーム変換装置１３２に要求する。
＜デバイスとVR用動画像＞
次に、上述の画像処理システム１００を構成するデバイスやその動作等についてより詳細を説明する。
次に、上述の画像処理システム１００を構成するデバイスやその動作等についてより詳細を説明する。
撮像装置１１１は、どのような装置であってもよいが、例えば、図３のＡに示されるように、互いに異なる方向を撮像する複数の撮像部（カメラ）を有し、撮像装置１１１の周囲を撮像する。画像変換装置１１２は、撮像装置１１１により得られた撮像画像群をレンダリングして、撮像装置１１１周辺の画像を生成する。例えば、画像変換装置１１２は、撮像画像群を、視点（すなわち撮像装置１１１の位置）を中心とする球体状にレンダリングすることにより、例えば図３のＢに示されるような、視点を基準とする全方位の画像（以下、全方位画像とも称する）を生成する。図３のＢの例において、球体状の全方位画像の中心は、ＸＹＺ座標の原点となっており、その原点が視点の位置を示す。なお、画像処理システム１００においては、この全方位画像は、仮想現実空間の画像として表示されるので、VR用画像（VR用動画像）とも称する。
また、符号化装置１１３および復号装置１３３は平面画像を処理対象とするので、画像変換装置１１２は、さらに、そのVR用動画像（全方位画像）を、図３のＣに示されるように、平面に展開して平面画像を生成する。この平面画像は、符号化装置１１３により符号化され、ビットストリームとして送信装置１１４から受信装置１３１に伝送され、復号装置１３３により復号される。ただし、表示装置１３５は、ユーザの視界内の画像のみを表示するので、ビットストリーム変換装置１３２は、ビットストリームから、ユーザの視界内のデータを抽出し、そのユーザの視界内の画像のビットストリームを生成する。
表示装置１３５の構成は任意であるが、例えば図３のＤに示されるような眼鏡型のデバイスよりなり、そのデバイスを装着したユーザの左右の目のそれぞれの近傍に各目用の画像を表示する表示部を有する。上述のようにビットストリーム変換装置１３２から供給されるビットストリームを復号装置１３３が復号し、得られた復号画像を画像変換装置１３４が３次元空間にレンダリングし、その画像を表示装置１３５が表示部に表示する。これにより、表示装置１３５を装着したユーザは、仮想現実空間におけるユーザの視界の画像を見ることができる。つまり、表示装置１３５に表示される画像は、例えば図３のＥに示されるように、全方位画像が展開された平面画像（図３のＣ）の一部の画像である。
なお、ユーザが視線方向（顔の向き等）を変更すると表示装置１３５は、それをセンサにより検出する。表示装置１３５は、その検出結果に基づいて、ユーザの視界を推定し、それをビットストリーム変換装置１３２に通知する。ビットストリーム変換装置１３２は、その通知に基づいて、ユーザの視界内の画像を抽出する。
＜ピクチャ内の重要度の偏り＞
このような画像処理システム１００において、符号化装置１１３の符号化対象となる、VR動画像を展開した平面画像は、一般的に、より重要な部分とより重要でない部分とが存在する（重要度に偏りが生じる）。例えば、図４の平面画像１４０において、上下方向については、一般的に、領域１４１乃至領域１４３のような中央付近の領域の方が、上端の領域１４４や下端の領域１４５よりも注目したい対象が存在し易く、重要度が高くなりやすい。また、下方向はユーザの足元になる場合も多く、一般的に、上端の領域１４４の方が下端の領域１４５よりも注目したい対象が存在し易く、重要度が高くなりやすい。また、左右方向については、一般的に、領域１４１のような中央付近の領域の方が、左端の領域１４２や右端の領域１４３よりも注目したい対象が存在し易く、重要度が高くなりやすい。
このような画像処理システム１００において、符号化装置１１３の符号化対象となる、VR動画像を展開した平面画像は、一般的に、より重要な部分とより重要でない部分とが存在する（重要度に偏りが生じる）。例えば、図４の平面画像１４０において、上下方向については、一般的に、領域１４１乃至領域１４３のような中央付近の領域の方が、上端の領域１４４や下端の領域１４５よりも注目したい対象が存在し易く、重要度が高くなりやすい。また、下方向はユーザの足元になる場合も多く、一般的に、上端の領域１４４の方が下端の領域１４５よりも注目したい対象が存在し易く、重要度が高くなりやすい。また、左右方向については、一般的に、領域１４１のような中央付近の領域の方が、左端の領域１４２や右端の領域１４３よりも注目したい対象が存在し易く、重要度が高くなりやすい。
さらに、符号化する平面画像は、上述のように全方位画像を展開したものである。一般的には図５のＡや図５のＢに示されるような方法で展開される。したがって、展開後の平面画像の上端や下端付近の領域は、全方位画像の極近傍の小さな領域（図５のＡの場合、Ｎ１やＳ１、図５のＢの場合ＮやＳ）の画像により形成される。したがって、単位面積当たりの情報量が疎になり、重要度が低減しやすい。
＜２−１．符号化＞
＜領域毎の時間解像度の設定＞
そこで、このような重要度の傾向に応じて符号化効率の低減を抑制するために、符号化装置１１３が、符号化する画像データの部分領域毎の時間解像度を設定し、その画像データを符号化し、設定された部分領域毎の時間解像度を示す情報を含むビットストリームを生成するようにする。
＜領域毎の時間解像度の設定＞
そこで、このような重要度の傾向に応じて符号化効率の低減を抑制するために、符号化装置１１３が、符号化する画像データの部分領域毎の時間解像度を設定し、その画像データを符号化し、設定された部分領域毎の時間解像度を示す情報を含むビットストリームを生成するようにする。
この符号化装置１１３が符号化する画像データは、視点を中心とする球体状にレンダリングされた全方位画像が単数の平面に展開された平面画像のデータであるようにしてもよい。その場合、全方位画像が展開された平面画像のより中央に近い位置の部分領域程、時間解像度を高く設定するようにしてもよい。また、全方位画像が展開された平面画像の上下方向について、より中央に近い位置の部分領域程、時間解像度を高く設定するようにしてもよい。さらに、全方位画像が展開された平面画像の上端近傍の部分領域の時間解像度を、平面画像の下端近傍の部分領域よりも高く設定するようにしてもよい。このようにすることにより、より重要でない部分の時間解像度を低減させる等、上述のような重要度の偏りに応じた情報量制御が可能になり、主観画質の低減を抑制しながら符号化効率の低減を抑制することができる。
例えば、図６に示される平面画像１５０において、その中央付近の領域１５１の時間解像度（フレームレート）を１２０ｐ（プログレッシブ方式の毎秒１２０フレーム）とし、その左右の領域１５２および領域１５３の時間解像度（フレームレート）を９０ｐ（プログレッシブ方式の毎秒９０フレーム）とし、これらの領域の上下の領域１５４および領域１５５の時間解像度（フレームレート）を６０ｐ（プログレッシブ方式の毎秒６０フレーム）とし、さらにその周囲の領域１５６および領域１５７の時間解像度（フレームレート）を３０ｐ（プログレッシブ方式の毎秒３０フレーム）とするようにしてもよい。
図７に全方位画像におけるこれらの領域の分布を示す。図７に示されるように、一般的にあまり重要でない全方位画像の上下端に近い領域程、時間解像度が低く設定されており、より重要な中央付近の領域程、時間解像度が高く設定されている。したがって、主観画質の低減を抑制しながら符号化効率の低減を抑制することができる。
＜部分領域の設定＞
図６や図７に示されるような領域（部分領域）は、HEVC（High Efficiency Video Coding）のタイル（Tile）構造を利用して、タイルセットとして設定するようにしてもよい。タイルセットは、MCTS SEI（Motion constrained tile set Supplemental Enhancement Information）により管理される、独立に復号可能な領域である。例えば、図８に示されるように、フレームサイズ（解像度）が８Ｋ×４Ｋの動画像について、あるフレームのタイルセットTS1の符号化データを復号し、その次のフレームのタイルセットTS2の符号化データを復号し、その次のフレームのタイルセットTS3の符号化データを復号し、その次のフレームのタイルセットTS4の符号化データを復号し、その次のフレームのタイルセットTS5の符号化データを復号し、その次のフレームのタイルセットTS6の符号化データを復号し、その次のフレームのタイルセットTS7の符号化データを復号することにより、タイルセットTS1乃至タイルセットTS7をフレームとする、フレームサイズが２Ｋ×１Ｋの動画像を得ることができる。
図６や図７に示されるような領域（部分領域）は、HEVC（High Efficiency Video Coding）のタイル（Tile）構造を利用して、タイルセットとして設定するようにしてもよい。タイルセットは、MCTS SEI（Motion constrained tile set Supplemental Enhancement Information）により管理される、独立に復号可能な領域である。例えば、図８に示されるように、フレームサイズ（解像度）が８Ｋ×４Ｋの動画像について、あるフレームのタイルセットTS1の符号化データを復号し、その次のフレームのタイルセットTS2の符号化データを復号し、その次のフレームのタイルセットTS3の符号化データを復号し、その次のフレームのタイルセットTS4の符号化データを復号し、その次のフレームのタイルセットTS5の符号化データを復号し、その次のフレームのタイルセットTS6の符号化データを復号し、その次のフレームのタイルセットTS7の符号化データを復号することにより、タイルセットTS1乃至タイルセットTS7をフレームとする、フレームサイズが２Ｋ×１Ｋの動画像を得ることができる。
つまりタイルセットの符号化データを復号するのに他の領域の情報が不要であるので、このようなタイルセットを、時間解像度を制御する部分領域とすることにより、その領域に対する時間解像度を他の領域から独立して設定することがより容易になる。
＜時間解像度の設定＞
HEVCでは、ビットストリームにテンポラルID（Temporal ID、Tid、または時間識別子とも称する）を記述することで対応した時間解像度で出力することができる時間スケーラビリティ機能が用意されており、図９に示されるように、符号化する動画像の各ピクチャを階層化して符号化することができる。図９において各四角はフレームを示しており、その中の数字はPOC（Picture Order Count）を示している。また、フレーム間の矢印は参照関係を示している。テンポラルIDは、各階層の識別情報である。図９の場合、POC＝０乃至８のフレームが、テンポラルID＝０乃至３の４つの階層に分けて符号化されている。なお、時間スケーラビリティのための階層構造は任意であり、図９の例に限定されない。
HEVCでは、ビットストリームにテンポラルID（Temporal ID、Tid、または時間識別子とも称する）を記述することで対応した時間解像度で出力することができる時間スケーラビリティ機能が用意されており、図９に示されるように、符号化する動画像の各ピクチャを階層化して符号化することができる。図９において各四角はフレームを示しており、その中の数字はPOC（Picture Order Count）を示している。また、フレーム間の矢印は参照関係を示している。テンポラルIDは、各階層の識別情報である。図９の場合、POC＝０乃至８のフレームが、テンポラルID＝０乃至３の４つの階層に分けて符号化されている。なお、時間スケーラビリティのための階層構造は任意であり、図９の例に限定されない。
以上のようにすることにより、指定されたテンポラルIDの階層以下の階層のピクチャを復号するだけで、参照関係を破たんさせずに復号することができるので、より容易に、そのテンポラルIDに応じた時間解像度の復号画像を得ることができる。つまり、復号画像の時間解像度（フレームレート）をより容易に制御することができる。
ただし、このテンポラルIDはピクチャ毎に設定されるので、このテンポラルIDによって部分領域の時間解像度を設定することはできない。そこで、各部分領域に対してレベル情報を設定するようにする。レベル情報は復号に必要なプロファイルのレベルを示すものであり、デコーダの能力やビットストリームの複雑さを規定するものである。より具体的には、例えば、画像の解像度やビットレート（またはフレームレート）等を規定する。
このようなレベル情報を、時間解像度を制御する部分領域、すなわち、タイルセット（独立に復号可能な領域）に対して設定することにより、部分領域に対する時間解像度の設定が可能になる。例えば、図１０に示されるように、フレーム全体に対するレベルが６．２（Level = 6.2）の動画像（8K120p）において、レベル４．２（Level = 4.2）が設定されたタイルセット（HD120p）を復号すると、各フレームのそのタイルセットのデータが復号される。また、例えば、レベル４．１（Level = 4.1）が設定されたタイルセット（HD60p）を復号すると、２フレーム毎（１フレームおき）にそのタイルセットのデータが復号される。
そして、上述のように、時間スケーラビリティの機能を用いることにより、その時間解像度の制御がより容易になる。例えば、タイルセットを復号する際に、そのタイルセットのレベル情報に示される時間解像度に応じたテンポラルIDを指定することにより、そのテンポラルID以下の階層のフレームから、そのタイルセットの復号画像を得ることができる。つまり、そのタイルセットの復号画像が、レベル情報に示される時間解像度で得ることができる。
例えば、図１１に示されるビットストリーム１８０において、フレーム１８１乃至フレーム１８５のそれぞれの各部分領域に時間解像度（フレームレート）がレベル情報として設定されているとする。また、フレーム１８１乃至フレーム１８５のそれぞれに対して、テンポラルID（Tid）が図１１のように設定されているとする。なお、この例の場合、ビットストリームは、図９の例とは異なる階層構造を有する。
この場合、例えばレベル情報により１２０ｐが設定された領域のデータは、フレーム１８１乃至フレーム１８５のそれぞれから得られる。つまり、この場合、１２０ｐに対応するテンポラルID（Tid=3）以下の階層のフレームが復号される。また、例えば９０ｐが設定された領域のデータは、フレーム１８１乃至フレーム１８３、並びに、フレーム１８５のそれぞれから得られる。つまり、この場合、９０ｐに対応するテンポラルID（Tid=2）以下の階層のフレームが復号される。さらに、例えば６０ｐが設定された領域のデータは、フレーム１８１、フレーム１８３、およびフレーム１８５のそれぞれから得られる。つまり、この場合、６０ｐに対応するテンポラルID（Tid=1）以下の階層のフレームが復号される。さらに、例えば３０ｐが設定された領域のデータは、フレーム１８１およびフレーム１８５から得られる。つまり、この場合、３０ｐに対応するテンポラルID（Tid=0）の階層のフレームが復号される。つまり、ビットストリーム１８０の各フレームから、図１１のグレーの部分のタイルセットが得られる。
以上のようにHEVCのタイルセット、時間スケーラビリティ（テンポラルID）、およびレベル情報を用いて、より容易に、主観画質の低減を抑制しながら符号化効率の低減を抑制することができる。
＜符号化装置の構成＞
図１２は、本技術を適用した画像処理装置の一態様である符号化装置１１３の主な構成例を示すブロック図である。この符号化装置１１３は、HEVC符号化方式またはHEVC符号化方式に準拠した符号化方式で入力された画像を符号化する。図１２に示されるように、符号化装置１１３は、前処理部２１０、画面並べ替えバッファ２１１、演算部２１２、直交変換部２１３、量子化部２１４、符号化部２１５、蓄積バッファ２１６、逆量子化部２１７、逆直交変換部２１８、演算部２１９、フィルタ２２０、フレームメモリ２２１、イントラ予測部２２２、インター予測部２２３、予測画像選択部２２４、およびレート制御部２２５を有する。
図１２は、本技術を適用した画像処理装置の一態様である符号化装置１１３の主な構成例を示すブロック図である。この符号化装置１１３は、HEVC符号化方式またはHEVC符号化方式に準拠した符号化方式で入力された画像を符号化する。図１２に示されるように、符号化装置１１３は、前処理部２１０、画面並べ替えバッファ２１１、演算部２１２、直交変換部２１３、量子化部２１４、符号化部２１５、蓄積バッファ２１６、逆量子化部２１７、逆直交変換部２１８、演算部２１９、フィルタ２２０、フレームメモリ２２１、イントラ予測部２２２、インター予測部２２３、予測画像選択部２２４、およびレート制御部２２５を有する。
前処理部２１０は、画像データの部分領域毎の時間解像度の設定、符号化の制御、パラメータセット（例えばシーケンスパラメータセット（SPS（Sequence Parameter Set））やピクチャパラメータセット（PPS（Picture Parameter Set）））やSEI（例えば、MCTS SEI等）の生成等を行う前処理に関する処理を行う。
画面並べ替えバッファ２１１には、画像変換装置１１２から供給される画像データが入力される。例えば、視点を中心とする球体状にレンダリングされた全方位画像が単数の平面に展開された平面画像のデータが入力される。画面並べ替えバッファ２１１は、その入力された画像データの各フレームの画像をその表示順に記憶し、記憶した表示の順番のフレームの画像を、GOP（Group Of Picture）に応じて、符号化のためのフレームの順番に並べ替え、フレームの順番を並び替えた画像を、演算部２１２に供給する。また、画面並べ替えバッファ２１１は、フレームの順番を並び替えた画像を、イントラ予測部２２２およびインター予測部２２３にも供給する。
演算部２１２は、画面並べ替えバッファ２１１から読み出された画像から、予測画像選択部２２４を介してイントラ予測部２２２またはインター予測部２２３から供給される予測画像を減算し、それらの差分である残差情報（残差データとも称する）を得る。例えば、イントラ符号化が行われる画像の場合、演算部２１２は、画面並べ替えバッファ２１１から読み出された画像から、イントラ予測部２２２から供給される予測画像を減算する。また、例えば、インター符号化が行われる画像の場合、演算部２１２は、画面並べ替えバッファ２１１から読み出された画像から、インター予測部２２３から供給される予測画像を減算する。演算部２１２は、得られた残差データを直交変換部２１３に供給する。
直交変換部２１３は、演算部２１２から供給される残差データを所定の方法で直交変換する。直交変換部２１３は、その直交変換後の残差データ（直交変換係数とも称する）を量子化部２１４に供給する。
量子化部２１４は、その直交変換係数を所定の方法で量子化する。量子化部２１４は、レート制御部２２５から供給される符号量の目標値（target_bitrate）に応じて量子化パラメータを設定し、その量子化を行う。量子化部２１４は、量子化後の残差データ（量子化データとも称する）を符号化部２１５および逆量子化部２１７に供給する。
符号化部２１５は、量子化部２１４から供給された量子化データを符号化する。また、符号化部２１５は、最適な予測モードに関する情報を予測画像選択部２２４から取得する。さらに、符号化部２１５は、任意の処理部から任意の情報を取得することができる。符号化部２１５は、これらの各種情報を符号化する。このように、符号化部２１５は、画像に関する情報を符号化し、符号化データを生成する。符号化部２１５は、得られた符号化データを蓄積バッファ２１６に供給して蓄積させる。
蓄積バッファ２１６は、符号化部２１５から供給された符号化データを、一時的に保持する。蓄積バッファ２１６は、所定のタイミングにおいて、保持している符号化データを、例えばビットストリーム等として符号化装置１１３の外部に出力する。例えば、この符号化データは、任意の記録媒体、任意の伝送媒体、任意の情報処理装置等を介して復号側に伝送される。すなわち、蓄積バッファ２１６は、符号化データを伝送する伝送部でもある。
逆量子化部２１７は、その量子化データを量子化部２１４による量子化に対応する方法で逆量子化する。逆量子化部２１７は、逆量子化後の量子化データ（直交変換係数とも称する）を、逆直交変換部２１８に供給する。
逆直交変換部２１８は、その直交変換係数を、直交変換部２１３による直交変換処理に対応する方法で逆直交変換する。逆直交変換部２１８は、逆直交変換された直交変換係数（復元された残差データとも称する）を演算部２１９に供給する。
演算部２１９は、その復元された残差データに、予測画像選択部２２４を介してイントラ予測部２２２またはインター予測部２２３から供給される予測画像を加算し、局所的に再構成された画像（再構成画像とも称する）を得る。例えば、イントラ符号化が行われる画像の場合、演算部２１９は、復元された残差データに、イントラ予測部２２２から供給される予測画像を加算する。また、例えば、インター符号化が行われる画像の場合、演算部２１９は、復元された残差データに、インター予測部２２３から供給される予測画像を加算する。演算部２１９は、得られた再構成画像をフィルタ２２０およびイントラ予測部２２２に供給する。
フィルタ２２０は、その再構成画像に対して、適宜、例えばデブロックフィルタ等のフィルタ処理を行う。フィルタ２２０は、フィルタ処理結果（復号画像と称する）をフレームメモリ２２１に供給する。
フレームメモリ２２１は、その復号画像を自身の記憶領域内に記憶する。また、フレームメモリ２２１は、所定のタイミングにおいて、記憶している復号画像を参照画像としてインター予測部２２３に供給する。
イントラ予測部２２２は、演算部２１９から参照画像として供給される再構成画像である処理対象ピクチャ内の画素値を用いて予測画像を生成するイントラ予測（画面内予測）を行う。例えば、イントラ予測部２２２は、予め用意された複数のイントラ予測モードでこのイントラ予測を行う。イントラ予測部２２２は、候補となる全てのイントラ予測モードで予測画像を生成し、画面並べ替えバッファ２１１から供給される入力画像を用いて各予測画像のコスト関数値を評価し、最適なモードを選択する。イントラ予測部２２２は、最適なイントラ予測モードを選択すると、その最適なイントラ予測モードで生成された予測画像、最適なイントラ予測モードを示すインデックス等のイントラ予測に関する情報であるイントラ予測モード情報、並びに、最適なイントラ予測モードのコスト関数値等を、予測結果に関する情報として、予測画像選択部２２４に供給する。
インター予測部２２３は、画面並べ替えバッファ２１１から供給される入力画像と、フレームメモリ２２１から供給される参照画像とを用いてインター予測処理（動き予測処理および補償処理）を行う。より具体的には、インター予測部２２３は、インター予測処理として、動き予測を行って検出された動きベクトルに応じて動き補償処理を行い、予測画像（インター予測画像情報）を生成する。例えば、インター予測部２２３は、予め用意された複数のインター予測モードでこのようなインター予測を行う。インター予測部２２３は、候補となる全てのインター予測モードで予測画像を生成する。インター予測部２２３は、画面並べ替えバッファ２１１から供給される入力画像と、生成した差分動きベクトルの情報などを用いて、各予測画像のコスト関数値を評価し、最適なモードを選択する。インター予測部２２３は、最適なインター予測モードを選択すると、その最適なインター予測モードで生成された予測画像、最適なインター予測モードを示すインデックスや動き情報等のインター予測に関する情報であるインター予測モード情報、並びに、最適なインター予測モードのコスト関数値等を、予測結果に関する情報として、予測画像選択部２２４に供給する。
予測画像選択部２２４は、イントラ予測部２２２およびインター予測部２２３から上述した予測結果に関する情報を取得する。予測画像選択部２２４は、それらの中からいずれか１つを選択することにより、その領域における予測モードを選択する。つまり、予測画像選択部２２４は、最適な予測モードとして、（最適な）イントラ予測モードと（最適な）インター予測モードとの内、いずれか一方を選択する。予測画像選択部２２４は、選択したモードの予測画像を演算部２１２や演算部２１９に供給する。また、予測画像選択部２２４は、選択した予測結果に関する情報の一部または全部を最適な予測モードに関する情報として符号化部２１５に供給する。
レート制御部２２５は、蓄積バッファ２１６に蓄積された符号化データの符号量に基づいて、オーバフローあるいはアンダーフローが発生しないように、量子化部２１４の量子化動作のレートを制御する。
＜前処理部の構成＞
図１３は、前処理部２１０（図１２）の主な構成例を示すブロック図である。図１３に示されるように、前処理部２１０は、領域別フレームレート設定部２３１、タイルセット設定部２３２、テンポラルID設定部２３３、符号化制御部２３４、レベル情報設定部２３５、MCTSSEI生成部２３６、およびパラメータセット生成部２３７を有する。
図１３は、前処理部２１０（図１２）の主な構成例を示すブロック図である。図１３に示されるように、前処理部２１０は、領域別フレームレート設定部２３１、タイルセット設定部２３２、テンポラルID設定部２３３、符号化制御部２３４、レベル情報設定部２３５、MCTSSEI生成部２３６、およびパラメータセット生成部２３７を有する。
領域別フレームレート設定部２３１は、ピクチャ内の部分領域毎の時間解像度（フレームレート）の設定に関する処理を行う。例えば、領域別フレームレート設定部２３１は、ユーザの指示や、入力画像の設定（例えば、全方位画像の展開の仕方等）に基づいて、ピクチャ内に部分領域を設定し、その部分領域の時間解像度（フレームレート）を設定する。この部分領域の位置、大きさ、形状は任意である。また、１ピクチャに設定される部分領域の数も任意であり、単数でも複数でもよい。さらに、設定される部分領域の時間解像度も任意である。この時間解像度の設定は、部分領域毎に独立しており、ピクチャ内に互いに同一のフレームレートの複数の部分領域が存在してもよいし、互いに異なるフレームレートの複数の部分領域が存在してもよい。領域別フレームレート設定部２３１は、設定した各部分領域と時間解像度の設定をタイルセット設定部２３２およびテンポラルID設定部２３３に供給する。
タイルセット設定部２３２は、HEVCのMCTS SEIで管理されるタイルセットの設定に関する処理を行う。例えば、タイルセット設定部２３２は、領域別フレームレート設定部２３１において設定された部分領域をタイルセットとして実現する。これにより、部分領域を独立して復号することができるようになる。また、例えば、タイルセット設定部２３２は、設定したタイルセットを示す情報を、符号化制御部２３４およびレベル情報設定部２３５に供給する。
テンポラルID設定部２３３は、HEVCの時間スケーラビリティ機能として用意されたテンポラルIDの設定に関する処理を行う。例えば、テンポラルID設定部２３３は、領域別フレームレート設定部２３１において設定されたフレームレートを実現するように、各ピクチャを階層化し、各階層にテンポラルIDを設定する。換言するに、テンポラルID設定部２３３は、時間解像度を示す情報として、各ピクチャにテンポラルIDを設定する。また、テンポラルID設定部２３３は、設定した時間スケーラビリティ（各ピクチャのテンポラルIDを含む）を示す情報を符号化制御部２３４およびパラメータセット生成部２３７に供給する。
符号化制御部２３４は、符号化の制御に関する処理を行う。例えば、符号化制御部２３４は、タイルセットや時間スケーラビリティの設定に基づいて、符号化装置１１３による画像符号化を制御する。例えば、符号化制御部２３４は、タイルセットや時間スケーラビリティの設定による参照関係の制限等を符号化に反映させる。なお、符号化制御部２３４は、必要に応じて、任意の処理部を制御することができる。
レベル情報設定部２３５は、部分領域に対するレベル情報の設定に関する処理を行う。例えば、レベル情報設定部２３５は、タイルセット設定部２３２において設定された各タイルセットのレベル情報を設定する。つまり、レベル情報設定部２３５は、符号化する画像データの部分領域毎の時間解像度を示す情報として、タイルセットのレベル情報を設定する。タイルセットの解像度はピクチャよりも低いので、タイルセットのレベル情報は、ピクチャ全体のレベル情報より小さくなる。また、タイルセットの時間解像度を低減させるのであれば、そのタイルセットのレベル情報はさらに小さくなる。このように、レベル情報設定部２３５がタイルセットのレベル情報を設定することにより、そのタイルセットのビットストリームを復号するのに必要なデコーダの能力を低減させることができる。例えば、レベル情報設定部２３５は、供給されたタイルセットを示す情報や、自身が設定したレベル情報を、MCTSSEI生成部２３６に供給する。
MCTSSEI生成部２３６は、レベル情報設定部２３５から供給されるタイルセットを示す情報やレベル情報等を含むMCTS SEIを生成する。つまり、MCTSSEI生成部２３６は、部分領域に関する情報としてMCTS SEIを生成する。MCTSSEI生成部２３６は、生成したMCTS SEIを符号化部２１５（図１２）に供給する。その符号化部２１５は、供給されたMCTS SEIを符号化してビットストリームに含める。つまり、符号化装置１１３から出力されるビットストリームは、部分領域に関する情報を含む。また、このMCTS SEIには、部分領域の時間解像度を示す情報であるタイルセットのレベル情報が含まれている。つまり、符号化装置１１３から出力されるビットストリームは、部分領域毎の時間解像度を示す情報を含む。
パラメータセット生成部２３７は、パラメータセットの生成に関する処理を行う。例えば、パラメータセット生成部２３７は、シーケンスパラメータセット（SPS（Sequence Parameter Set））やピクチャパラメータセット（PPS（Picture Parameter Set））等を生成する。パラメータセット生成部２３７は、各フレームのテンポラルIDを例えばピクチャパラメータセットに含める。なお、このテンポラルIDは、シーケンスパラメータセットに含めるようにしてもよい。パラメータセット生成部２３７は、生成したパラメータセットを符号化部２１５（図１２）に供給する。その符号化部２１５は、供給されたパラメータセットを符号化してビットストリームに含める。つまり、符号化装置１１３から出力されるビットストリームは、時間解像度を示す情報を含む。
以上のように構成を有することにより、符号化装置１１３は、符号化効率の低減を抑制することができる。
＜画像符号化処理の流れ＞
次に、この符号化装置１１３により実行される各処理の流れの例を説明する。最初に、画像符号化処理の流れの例を、図１４のフローチャートを参照して説明する。
次に、この符号化装置１１３により実行される各処理の流れの例を説明する。最初に、画像符号化処理の流れの例を、図１４のフローチャートを参照して説明する。
画像符号化処理が開始されると、ステップＳ１０１において、前処理部２１０は、前処理を実行する。前処理の詳細は後述する。
ステップＳ１０２において、画面並べ替えバッファ２１１は、入力された動画像の各フレーム（ピクチャ）の画像をその表示する順番に記憶し、各ピクチャの表示する順番から符号化する順番への並べ替えを行う。
ステップＳ１０３において、イントラ予測部２２２、インター予測部２２３、および予測画像選択部２２４は、予測処理を行い、最適な予測モードの予測画像等を生成する。つまり、この予測処理において、イントラ予測部２２２はイントラ予測を行って最適なイントラ予測モードの予測画像等を生成し、インター予測部２２３はインター予測を行って最適なインター予測モードの予測画像等を生成し、予測画像選択部２２４はコスト関数値等に基づいて最適なイントラ予測モードと最適なインター予測モードとの内の最適な方を選択する。
ステップＳ１０４において、演算部２１２は、ステップＳ１０２の処理によりフレーム順を並び替えられた入力画像と、ステップＳ１０３の予測処理により選択された最適なモードの予測画像との差分を演算する。つまり、演算部２１２は、入力画像と予測画像との残差データ（残差画像）を生成する。このようにして求められた残差データは、元の画像データに比べてデータ量が低減される。したがって、画像をそのまま符号化する場合に比べて、データ量を圧縮することができる。
ステップＳ１０５において、直交変換部２１３は、ステップＳ１０４の処理により生成された残差データを直交変換する。
ステップＳ１０６において、量子化部２１４は、レート制御部２２５により算出された量子化パラメータを用いる等して、ステップＳ１０５の処理により得られた直交変換係数を量子化する。
ステップＳ１０７において、逆量子化部２１７は、ステップＳ１０６の処理により生成された量子化データを、そのステップＳ１０６の量子化の特性に対応する特性で逆量子化する。
ステップＳ１０８において、逆直交変換部２１８は、ステップＳ１０７の処理により得られた直交変換係数を、ステップＳ１０５の直交変換に対応する方法で逆直交変換する。
ステップＳ１０９において、演算部２１９は、ステップＳ１０８の処理により復元された残差データに、ステップＳ１０３の予測処理により得られた予測画像を加算することにより、再構成画像の画像データを生成する。
ステップＳ１１０においてフィルタ２２０は、ステップＳ１０９の処理により生成された再構成画像の画像データに対して、デブロッキングフィルタ等のフィルタ処理を行う。
ステップＳ１１１において、フレームメモリ２２１は、ステップＳ１１０の処理により得られた、局所的に復号された復号画像を記憶する。
ステップＳ１１２において、符号化部２１５は、符号化処理を行う。つまり、符号化部２１５は、ステップＳ１０６の処理により得られた量子化データを符号化する。すなわち、符号化部２１５は、画像に関する情報である量子化データを、例えば可変長符号化または算術符号化等の所定の符号化方法により符号化し、符号化データを生成する。また、このとき、符号化部２１５は、ステップＳ１０３の予測処理により選択された予測モードに関する情報等のような、残差データに対応する量子化データ以外の画像に関する情報も符号化データに含める。
ステップＳ１１３において蓄積バッファ２１６は、ステップＳ１１２の処理により得られた符号化データ等を蓄積する。蓄積バッファ２１６に蓄積された符号化データ等は、例えばビットストリームとして適宜読み出され、伝送路や記録媒体を介して復号側に伝送される。
ステップＳ１１４において、レート制御部２２５は、ステップＳ１１３の処理により蓄積バッファ２１６に蓄積された符号化データ等の符号量（発生符号量）に基づいて、オーバフローあるいはアンダーフローが発生しないように、ステップＳ１０６の量子化処理のレートを制御する。
ステップＳ１１４の処理が終了すると、画像符号化処理が終了する。
なお、これらの各処理の処理単位は任意であり、互いに同一でなくてもよい。したがって、各ステップの処理は、適宜、他のステップの処理等と並行して、または、処理順を入れ替えて実行することもできる。
＜前処理の流れ＞
次に、図１５のフローチャートを参照して、図１４のステップＳ１０１において実行される前処理の流れの例を説明する。
次に、図１５のフローチャートを参照して、図１４のステップＳ１０１において実行される前処理の流れの例を説明する。
前処理が開始されると、前処理部２１０の領域別フレームレート設定部２３１は、ステップＳ１３１において、入力画像に対して部分領域とその時間解像度（フレームレート）を設定する。
ステップＳ１３２において、タイルセット設定部２３２は、各ピクチャに、ステップＳ１３１において設定された部分領域に対応するタイルセットを設定する。
ステップＳ１３３において、テンポラルID設定部２３３は、ステップＳ１３１において設定されたフレームレートを実現するように、各ピクチャの階層化構造を設定し、各ピクチャに対してその階層に対応するテンポラルIDを設定する。
ステップＳ１３４において、符号化制御部２３４は、ステップＳ１３２において設定されたタイルセットやステップＳ１３３において設定されたテンポラルIDに基づいて、例えば参照関係がこれらの設定に矛盾しないようにする等、図１４を参照して説明した画像符号化処理を制御する。
ステップＳ１３５において、レベル情報設定部２３５は、ステップＳ１３２において設定されたタイルセットのレベル情報を設定する。
ステップＳ１３６において、MCTSSEI生成部２３６は、ステップＳ１３２において設定されたタイルセットの管理情報や、ステップＳ１３５において設定されたタイルセットのレベル情報等を含むMCTS SEIを生成する。このMCTS SEIは、図１４のステップＳ１１３において、ビットストリームに含めて出力される。
ステップＳ１３７において、パラメータセット生成部２３７は、ステップＳ１３３において設定されたピクチャ毎のテンポラルIDを含むパラメータセットを生成する。このパラメータセットは、図１４のステップＳ１１３において、ビットストリームに含めて出力される。
ステップＳ１３７の処理が終了すると、前処理が終了し、処理は図１４に戻る。
以上のように各処理を実行することにより、符号化装置１１３は、符号化効率の低減を抑制することができる。
＜２−２．ビットストリーム変換＞
＜領域毎の時間解像度の解析＞
ビットストリーム変換装置１３２（図２）は、以上のように符号化装置１１３により生成されたビットストリームから、表示装置１３５等により指定された部分領域のデータを抽出し、その部分領域のビットストリームに変換する。その際、ビットストリーム変換装置１３２は、画像データが符号化されたビットストリームに含まれる、その画像データの部分領域毎の時間解像度を示す情報を解析する。したがって、部分領域のビットストリームに変換する際に、その時間解像度を、設定に応じた時間解像度にすることができる。したがって、部分領域のビットストリームの符号化効率の低減を抑制することができる。また、復号の負荷の増大を抑制することができる。
＜領域毎の時間解像度の解析＞
ビットストリーム変換装置１３２（図２）は、以上のように符号化装置１１３により生成されたビットストリームから、表示装置１３５等により指定された部分領域のデータを抽出し、その部分領域のビットストリームに変換する。その際、ビットストリーム変換装置１３２は、画像データが符号化されたビットストリームに含まれる、その画像データの部分領域毎の時間解像度を示す情報を解析する。したがって、部分領域のビットストリームに変換する際に、その時間解像度を、設定に応じた時間解像度にすることができる。したがって、部分領域のビットストリームの符号化効率の低減を抑制することができる。また、復号の負荷の増大を抑制することができる。
＜ビットストリーム変換装置の構成＞
図１６は、本技術を適用した画像処理装置の一態様であるビットストリーム変換装置１３２（図２）の主な構成例を示すブロック図である。図１６に示されるように、ビットストリーム変換装置１３２は、制御部２５１、データ抽出部２５２、メタデータ更新部２５３、およびビットストリーム生成部２５４を有する。
図１６は、本技術を適用した画像処理装置の一態様であるビットストリーム変換装置１３２（図２）の主な構成例を示すブロック図である。図１６に示されるように、ビットストリーム変換装置１３２は、制御部２５１、データ抽出部２５２、メタデータ更新部２５３、およびビットストリーム生成部２５４を有する。
制御部２５１は、ビットストリーム変換の制御に関する処理を行う。例えば、制御部２５１は、表示装置１３５等から供給される、抽出する部分領域を指定する情報（領域指定情報）を取得する。また、例えば、制御部２５１は、データ抽出部２５２を制御し、その領域指定情報により指定される部分領域のデータをビットストリームから抽出させる。
データ抽出部２５２は、データの抽出に関する処理を行う。例えば、データ抽出部２５２は、制御部２５１の制御に従って、受信装置１３１から供給されるビットストリーム（Bitstream A）から、表示装置１３５等から指定される部分領域のデータを抽出する。データ抽出部２５２は、例えば、この部分領域のデータとして、タイルセット単位でデータを抽出する。タイルセットは独立して復号することができるので、復号などを必要とせずにビットストリームからそのデータを抽出することができる。したがって、データ抽出部２５２は、容易に所望のデータを抽出することができる。なお、データ抽出部２５２は、このデータ抽出において、例えば、抽出対象の部分領域の時間解像度に関する情報を解析し、その部分領域の時間解像度（フレームレート）を特定し、さらに、その時間解像度とテンポラルIDに基づいて、データを抽出するピクチャを特定する。そして、例えば、データ抽出部２５２は、特定したピクチャから、指定された部分領域のデータを抽出する。このようにすることにより、その部分領域のデータを、符号化側で設定されたフレームレートのデータとして抽出することができる。また、例えば、データ抽出部２５２は、抽出したデータをメタデータ更新部２５３に供給する。
メタデータ更新部２５３は、メタデータの更新に関する処理を行う。この更新するメタデータはどのような内容であってもよい。例えば、メタデータ更新部２５３は、抽出した部分領域のデータに対してレベル情報を設定する等の処理を行う。上述のように、データ抽出部２５２は、符号化側で設定された時間解像度となるように部分領域のデータを抽出するので、そのデータのレベル情報は符号化側で設定されたレベル情報となる。つまり、メタデータ更新部２５３は、抽出した部分領域のデータに対するレベル情報として、MCTS SEI等により伝送された、符号化装置１１３が設定したレベル情報を設定する。また、例えば、メタデータ更新部２５３は、メタデータを更新した部分領域のデータをビットストリーム生成部２５４に供給する。
ビットストリーム生成部２５４は、ビットストリームの生成に関する処理を行う。例えば、ビットストリーム生成部２５４は、メタデータ更新部２５３から供給された部分領域のデータを含むビットストリーム（Bitstream B）を生成する。また、例えば、ビットストリーム生成部２５４は、生成したビットストリームを復号装置１３３（図２）に供給する。
以上のように構成を有することにより、ビットストリーム変換装置１３２は、符号化効率の低減を抑制することができる。また、復号の負荷の増大を抑制することができる。
＜ビットストリーム変換処理の流れ＞
次に、このビットストリーム変換装置１３２により実行されるビットストリーム変換処理の流れの例を、図１７のフローチャートを参照して説明する。
次に、このビットストリーム変換装置１３２により実行されるビットストリーム変換処理の流れの例を、図１７のフローチャートを参照して説明する。
ビットストリーム変換処理が開始されると、ビットストリーム変換装置１３２の制御部２５１は、ステップＳ１５１において、抽出する領域の指定を受け付ける。ステップＳ１５２において、データ抽出部２５２は、例えば、SEIやパラメータセット等の、指定された領域に対応するメタデータをビットストリームから抽出する。ステップＳ１５３において、データ抽出部２５２は、指定された領域に対応するタイルセットを特定する。ステップＳ１５４において、データ抽出部２５２は、ステップＳ１５２において抽出したメタデータ（例えばMCTS SEI等）を参照して、ステップＳ１５３において特定したタイルセットに対応するレベル情報を特定する。ステップＳ１５５において、データ抽出部２５２は、ステップＳ１５４において特定したレベル情報、および、ステップＳ１５２において抽出したメタデータ（例えばピクチャパラメータセット等）に含まれるテンポラルIDに基づいて、タイルセットを抽出するピクチャを特定する。ステップS１５６において、データ抽出部２５２は、ステップＳ１５５において特定したピクチャの、指定された領域に対応するタイルセット（ステップＳ１５３において特定したタイルセット）のデータを、ビットストリームから抽出する。
ステップＳ１５７において、メタデータ更新部２５３は、ステップＳ１５２において抽出されたメタデータを、ステップＳ１５６において抽出されたタイルセットに対応するように更新する。
ステップＳ１５８において、ビットストリーム生成部２５４は、ステップＳ１５６において抽出されたデータと、ステップＳ１５７において更新されたメタデータを含むビットストリーム（部分領域のビットストリーム）を生成する。
ステップＳ１５８の処理が終了するとビットストリーム変換処理が終了する。
以上のようにビットストリーム変換処理を実行することによりビットストリーム変換装置１３２は、符号化効率の低減を抑制することができる。また、復号の負荷の増大を抑制することができる。
＜２−３．復号＞
＜復号装置の構成＞
復号装置１３３（図２）は、以上のようにビットストリーム変換装置１３２により変換されたビットストリームを、HEVC復号方式により復号する。図１８は、復号装置１３３（図２）の主な構成例を示すブロック図である。
＜復号装置の構成＞
復号装置１３３（図２）は、以上のようにビットストリーム変換装置１３２により変換されたビットストリームを、HEVC復号方式により復号する。図１８は、復号装置１３３（図２）の主な構成例を示すブロック図である。
図１８に示されるように復号装置１３３は、蓄積バッファ２７１、復号部２７２、逆量子化部２７３、逆直交変換部２７４、演算部２７５、フィルタ２７６、画面並べ替えバッファ２７７、フレームメモリ２７８、イントラ予測部２７９、インター予測部２８０、および予測画像選択部２８１を有する。
復号装置１３３には、ビットストリーム変換装置１３２により変換されたビットストリーム、すなわち、符号化装置１１３により生成されたビットストリームから抽出された所望のタイルセットのビットストリームが供給される。蓄積バッファ２７１は、そのビットストリームを蓄積し、所定のタイミングにおいてそのビットストリームを復号部２７２に供給する。
復号部２７２は、蓄積バッファ２７１より供給されたビットストリーム（抽出された部分領域（タイルセット）のビットストリーム）を、図１２の符号化部２１５の符号化方式に対応する方式で復号する。復号部２７２は、ビットストリームを復号して量子化データを得ると、それを逆量子化部２７３に供給する。また、復号部２７２は、ビットストリームを復号して得られた最適な予測モードに関する情報を、イントラ予測部２７９またはインター予測部２８０に供給する。例えば、イントラ予測が行われた場合、復号部２７２は、最適なイントラ予測モードの予測結果に関する情報をイントラ予測部２７９に供給する。また、例えば、インター予測が行われた場合、復号部２７２は、最適なインター予測モードの予測結果に関する情報をインター予測部２８０に供給する。同様に、復号部２７２は、符号化データを復号して得られた各種情報を、その情報を必要とする各種処理部に適宜供給することができる。
逆量子化部２７３は、復号部２７２から供給された量子化データを逆量子化する。つまり、逆量子化部２７３は、図１２の量子化部２１４の量子化方式に対応する方式（すなわち、逆量子化部２１７と同様の方式）で逆量子化を行う。逆量子化部２７３は、その逆量子化により得られた直交変換係数を逆直交変換部２７４に供給する。
逆直交変換部２７４は、逆量子化部２７３から供給された直交変換係数を逆直交変換する。つまり、逆直交変換部２７４は、図１２の直交変換部２１３の直交変換方式に対応する方式（すなわち、逆直交変換部２１８と同様の方式）で逆直交変換を行う。逆直交変換部２７４は、この逆直交変換処理により得られた残差データ（復元された残差データ）を演算部２７５に供給する。
演算部２７５は、逆直交変換部２７４から供給された、復元された残差データに予測画像選択部２８１から供給された予測画像を加算し、再構成画像を得る。演算部２７５は、その再構成画像をフィルタ２７６およびイントラ予測部２７９に供給する。
フィルタ２７６は、図１２のフィルタ２２０が行うのと同様のフィルタ処理（例えばデブロックフィルタ等）を行う。フィルタ２７６は、フィルタ処理結果である復号画像を画面並べ替えバッファ２７７およびフレームメモリ２７８に供給する。
画面並べ替えバッファ２７７は、供給された復号画像の並べ替えを行う。すなわち、図１２の画面並べ替えバッファ２１１により符号化の順番のために並べ替えられたフレームの順番が、元の表示の順番に並べ替えられる。画面並べ替えバッファ２７７は、フレームの順番を並べ替えた復号画像データを画像変換装置１３４に供給する。
フレームメモリ２７８は、供給される復号画像を記憶する。また、フレームメモリ２７８は、所定のタイミングにおいて、または、インター予測部２８０等の外部の要求に基づいて、記憶している復号画像等をインター予測部２８０に供給する。
イントラ予測部２７９は、復号部２７２から供給される最適なイントラ予測モードの予測結果に関する情報と、演算部２７５から供給される再構成画像とを用いて、イントラ予測を行い、予測画像を生成する。イントラ予測部２７９は、生成した予測画像を予測画像選択部２８１に供給する。
インター予測部２８０は、復号部２７２から供給される最適なインター予測モードの予測結果に関する情報と、フレームメモリ２７８から供給される復号画像とを用いて、インター予測を行い、予測画像を生成する。インター予測部２８０は、生成した予測画像を予測画像選択部２８１に供給する。
予測画像選択部２８１は、イントラ予測部２７９またはインター予測部２８０から供給された予測画像を演算部２７５に供給する。例えば、処理対象のマクロブロックが、符号化の際にイントラ予測が行われたマクロブロックである場合、イントラ予測部２７９によりイントラ予測が行われて予測画像（イントラ予測画像）が生成されるので、予測画像選択部２８１は、そのイントラ予測画像を演算部２７５に供給する。また、例えば、処理対象のマクロブロックが、符号化の際にインター予測が行われたマクロブロックである場合、インター予測部２８０によりインター予測が行われて予測画像（インター予測画像）が生成されるので、予測画像選択部２８１は、そのインター予測画像を演算部２７５に供給する。
以上のように、復号装置１３３は、ビットストリーム変換装置１３２により抽出された部分領域のビットストリームを復号することができる。したがって、復号装置１３３は、符号化効率の低減を抑制することができ、復号の負荷の増大を抑制することができる。
＜画像復号処理の流れ＞
次に、この復号装置１３３により実行される画像復号処理の流れの例を、図１９のフローチャートを参照して説明する。
次に、この復号装置１３３により実行される画像復号処理の流れの例を、図１９のフローチャートを参照して説明する。
画像復号処理が開始されると、ステップＳ１７１において、蓄積バッファ２７１は、復号装置１３３に供給されるビットストリームを蓄積する。ステップＳ１７２において、復号部２７２は、ステップＳ１７１において蓄積されたビットストリームを復号して量子化データを得る。
ステップＳ１７３において、逆量子化部２７３は、ステップＳ１７２の処理により得られた量子化データを逆量子化して直交変換係数を得る。ステップＳ１７４において、逆直交変換部２７４は、ステップＳ１７３の処理により得られた直交変換係数を逆直交変換して復元された残差データを得る。
ステップＳ１７５において、イントラ予測部２７９、インター予測部２８０、および予測画像選択部２８１は、予測画像生成処理を行い、符号化の際の予測モードで予測画像を生成する。
ステップＳ１７６において、演算部２７５は、ステップＳ１７４の処理により得られた復元された残差データに、ステップＳ１７５の処理により得られた予測画像を加算し、再構成画像を得る。
ステップＳ１７７において、フィルタ２７６は、ステップＳ１７６の処理により得られた再構成画像に対してデブロッキングフィルタ等のフィルタ処理を行い、復号画像を得る。
ステップＳ１７８において、画面並べ替えバッファ２７７は、ステップＳ１７７の処理により得られた復号画像の並べ替えを行い、フレームの順序を、元の表示の順序（符号化装置１１３の画面並べ替えバッファ２１１が並べ替える前の順序）に並べ替える。
ステップＳ１７９において、フレームメモリ２７８は、ステップＳ１７７の処理により得られた復号画像を記憶する。この復号画像は、インター予測において参照画像として利用される。
ステップＳ１７９の処理が終了すると、画像復号処理が終了される。
以上のように、画像復号処理を実行することにより、復号装置１３３は、ビットストリーム変換装置１３２により抽出された部分領域のビットストリームを復号することができるので、符号化効率の低減を抑制することができ、復号の負荷の増大を抑制することができる。
＜２−４．他の展開例＞
＜VR用動画像＞
以上においては、VR用動画像として球体状の全方位画像を例に用いて説明したが、VR用動画像のフォーマットは任意であり、この例に限定されない。例えば、図２０のＡの左側や図２０のＢの右側に示されるように、視点を中心とする直方体状または立方体状にレンダリングされた画像（以下、６方位画像とも称する）であってもよい。つまり、この６方位画像は、互いに直角な６方向の平面画像により構成される。この６方位画像の各面の画像はそれぞれ平面画像であるので、この６方位画像を平面に展開する場合、各面の画像を平面に並べるように配置するのが容易である。ただし、その並べ方は任意である。例えば、図２０のＡの右側に示されるように、６方位画像の各面の位置関係を考慮して展開するようにしてもよいし、図２０のＢに示されるように、展開後の平面画像が最小となるように６面を並べ替えて展開するようにしてもよい。
＜VR用動画像＞
以上においては、VR用動画像として球体状の全方位画像を例に用いて説明したが、VR用動画像のフォーマットは任意であり、この例に限定されない。例えば、図２０のＡの左側や図２０のＢの右側に示されるように、視点を中心とする直方体状または立方体状にレンダリングされた画像（以下、６方位画像とも称する）であってもよい。つまり、この６方位画像は、互いに直角な６方向の平面画像により構成される。この６方位画像の各面の画像はそれぞれ平面画像であるので、この６方位画像を平面に展開する場合、各面の画像を平面に並べるように配置するのが容易である。ただし、その並べ方は任意である。例えば、図２０のＡの右側に示されるように、６方位画像の各面の位置関係を考慮して展開するようにしてもよいし、図２０のＢに示されるように、展開後の平面画像が最小となるように６面を並べ替えて展開するようにしてもよい。
図２０のＢの例の場合、展開された平面画像２９０において、正面の画像（Front）が配置される部分領域２９１の図中左の部分領域２９２に左側面の画像（Left）が配置されている。また、部分領域２９１の図中右の部分領域２９３に右側面の画像（Right）が配置されている。さらに、その部分領域２９３の図中下の部分領域２９４に背面（後面）の画像（Back）が配置されている。また、部分領域２９２の図中下の部分領域２９５に上面の画像（Top）が配置されている。さらに、部分領域２９１の図中下の部分領域２９６に下面の画像（Bottom）が配置されている。
符号化装置１１３は、このような、視点を中心とする互いに直角な６方向の平面画像が単数の平面に展開された平面画像のデータを符号化対象とすることができる。
このような場合、この６方位画像の各面を部分領域化（タイルセット化）し、その面毎に時間解像度を制御するようにしてもよい。６方位画像の各面の画像は、方向が互いに直角であり、画像間の独立性が高い。一般的には、互いに異なるカメラ等により撮像された画像が用いられることも多い。したがって、符号化も互いに独立に行うことが容易であり、かつ、時間解像度（フレームレート）を互いに独立に制御しても他への影響が少ない。したがって、タイルセット化が容易である。
６方位画像の面毎に時間解像度を設定する場合、各面の重要度に応じて時間解像度を設定するようにすればよい。例えば、一般的には正面（視点位置から見て前方）の画像に注目対象が存在する可能性が最も高く、重要度が高くなりやすい。したがって、６方位画像が展開された平面画像の内、この正面の画像（図２０のＢの場合、部分領域２９１に配置される画像（Front））の時間解像度を、他の部分領域（部分領域２９２乃至部分領域２９６）に配置される画像よりも高く設定するようにしてもよい。
また、例えば、一般的には上面（視点位置から見て上方）や下面（視点位置から見て下方）の画像よりも、左面（視点位置から見て左方）、右面（視点位置から見て右方）、後面（視点位置から見て後方）の画像の方が、注目対象が存在する可能性が高く、重要度が高くなりやすい。したがって、６方位画像が展開された平面画像の内、左面の画像（図２０のＢの場合、部分領域２９２に配置される画像（Left））、右面の画像（図２０のＢの場合、部分領域２９３に配置される画像（Right））、後面の画像（図２０のＢの場合、部分領域２９４に配置される画像（Back））の時間解像度を、上面の画像（図２０のＢの場合、部分領域２９５に配置される画像（Top））や、下面の画像（図２０のＢの場合、部分領域２９６に配置される画像（Bottom））よりも高く設定するようにしてもよい。
さらに、例えば、一般的には後面（視点位置から見て後方）の画像よりも、左面（視点位置から見て左方）や右面（視点位置から見て右方）の画像の方が、注目対象が存在する可能性が高く、重要度が高くなりやすい。したがって、６方位画像が展開された平面画像の内、左面の画像（図２０のＢの場合、部分領域２９２に配置される画像（Left））や、右面の画像（図２０のＢの場合、部分領域２９３に配置される画像（Right））の時間解像度を、後面の画像（図２０のＢの場合、部分領域２９４に配置される画像（Back））よりも高く設定するようにしてもよい。
また、例えば、一般的には下面（視点位置から見て下方）の画像よりも、上面（視点位置から見て上方）の画像の方が、注目対象が存在する可能性が高く、重要度が高くなりやすい。したがって、６方位画像が展開された平面画像の内、上面の画像（図２０のＢの場合、部分領域２９５に配置される画像（Top））の時間解像度を、下面の画像（図２０のＢの場合、部分領域２９６に配置される画像（Bottom））よりも高く設定するようにしてもよい。
また、この場合、時間解像度を示す情報として、部分領域の復号の際に必要なピクチャを示す情報をビットストリームに含める（復号側に伝送する）ようにしてもよい。例えば、復号するテンポラルID≦DTIDとし、面毎にDTIDのシンタックス値を、部分領域の復号の際に必要なピクチャを示す情報として伝送するようにしてもよい。例えば、下記のようにシンタックス値を設定するようにしてもよい。
１）Front, Back MaxTemporalID → 最高フレームレートをデコードする
２）Left, Right MaxTemporalID - 1 → 1/2フレームレートをデコードする
３）Top, Bottom MaxTemporalID - 2 → 1/3フレームレートをデコードする
１）Front, Back MaxTemporalID → 最高フレームレートをデコードする
２）Left, Right MaxTemporalID - 1 → 1/2フレームレートをデコードする
３）Top, Bottom MaxTemporalID - 2 → 1/3フレームレートをデコードする
なお、この場合も、符号化、ビットストリーム変換、復号等の処理は、上述した全方位画像を展開した平面画像を符号化対象とする場合と同様の方法により行うことができる。したがって、それらの処理についての説明は省略するが、６方位画像の場合も、全方位画像の場合と同様の効果を得ることができる。
＜３．第２の実施の形態＞
＜部分領域毎のテンポラルID＞
第１の実施の形態においては、HEVCを用いて符号化・復号を行うように説明したが、本技術は、任意の符号化方式や復号方式に適用することができ、上述のHEVCの例に限定されない。例えば、テンポラルIDを部分領域毎に設定するようにしてもよい。
＜部分領域毎のテンポラルID＞
第１の実施の形態においては、HEVCを用いて符号化・復号を行うように説明したが、本技術は、任意の符号化方式や復号方式に適用することができ、上述のHEVCの例に限定されない。例えば、テンポラルIDを部分領域毎に設定するようにしてもよい。
例えば、図２１のＡの例の場合、ピクチャ３００の、時間解像度が１２０ｐに設定される領域３０１に対するテンポラルIDとして「Tid=3」が設定されている。また、時間解像度が９０ｐに設定される領域３０２および領域３０３に対するテンポラルIDとして「Tid=2」が設定されている。さらに、時間解像度が６０ｐに設定される領域３０４および領域３０５に対するテンポラルIDとして「Tid=1」が設定されている。また、時間解像度が３０ｐに設定される領域３０６および領域３０７に対するテンポラルIDとして「Tid=0」が設定されている。
このようにすることにより、図２１のＢに示されるビットストリーム３１０のように、各部分領域を、その部分領域に割り当てられたテンポラルIDに応じた時間解像度で符号化することができる。例えば、ビットストリーム３１０において、Tid=3が割り当てられた領域３０１は、時間解像度が１２０ｐとなるように、フレーム３１１乃至フレーム３１５のそれぞれにおいて符号化される。また、Tid=2が割り当てられた領域３０２および領域３０３は、時間解像度が９０ｐとなるように、フレーム３１１、フレーム３１２、フレーム３１４、およびフレーム３１５のそれぞれ（フレーム３１３以外のフレーム）において符号化される。さらに、Tid=1が割り当てられた領域３０４および領域３０５は、時間解像度が６０ｐとなるように、フレーム３１１、フレーム３１３、およびフレーム３１５のそれぞれ（１つおきのフレーム）において符号化される。また、Tid=0が割り当てられた領域３０６および領域３０７は、時間解像度が３０ｐとなるように、フレーム３１１、およびフレーム３１５のそれぞれ（フレーム３１２乃至フレーム３１４以外のフレーム）において符号化される。
つまり、この部分領域毎に設定されるテンポラルIDを用いることにより、図２１のＢに示されるビットストリーム３１０のように、各フレームにおいて、グレーで示される領域のみが符号化されるようにすることができる。したがって、符号化効率の低減を抑制することができる。また、この場合も、第１の実施の形態の場合と同様に、各領域に対してその重要度等を考慮してテンポラルIDを設定することができるので、主観画質の低減を抑制しながら符号化効率の低減を抑制することができる。
＜画像処理システム＞
図２２は、本技術を適用した画像処理システムの一態様である画像処理システムの構成の一例を示すブロック図である。図２２に示される画像処理システム４００は、図２を参照して説明した画像処理システム１００と基本的に同様のシステムである。つまり、画像処理システム４００は、画像処理システム１００と基本的に同様に構成され、同様の処理を行う。ただし、画像処理システム４００の場合、画像処理システム１００のビットストリーム変換装置１３２が省略されている。また、復号装置１３３の代わりに復号装置４１１が設けられている。
図２２は、本技術を適用した画像処理システムの一態様である画像処理システムの構成の一例を示すブロック図である。図２２に示される画像処理システム４００は、図２を参照して説明した画像処理システム１００と基本的に同様のシステムである。つまり、画像処理システム４００は、画像処理システム１００と基本的に同様に構成され、同様の処理を行う。ただし、画像処理システム４００の場合、画像処理システム１００のビットストリーム変換装置１３２が省略されている。また、復号装置１３３の代わりに復号装置４１１が設けられている。
復号装置４１１は、復号装置１３３と基本的に同様の装置であるが、受信装置１３１により受信されたビットストリーム、すなわち、符号化装置１１３が生成したピクチャ全体のビットストリームを復号する。ただし、画像処理システム４００の場合、符号化装置１１３は、図２１のＡを参照して説明したように部分領域毎にテンポラルIDを設定し、図２１のＢを参照して説明したように、各部分領域の時間解像度に基づいて、ピクチャ内の、必要な部分領域についてのみ符号化する。
復号装置４１１は、そのようなビットストリームに含まれる、表示装置１３５等により要求された部分領域のデータを復号する。つまり、このビットストリームには、各部分領域のデータが、その部分領域に対して設定された時間解像度で格納されている。従って、復号装置４１１は、その部分領域を復号することにより、その部分領域の、設定された時間解像度の動画像を得ることができる。
なお、この場合も、符号化対象とする画像データは任意であり、例えば、第１の実施の形態において説明した全方位画像が展開された平面画像であってもよいし、６方位画像が展開された平面画像であってもよい。
また、各部分領域の時間解像度は任意に設定することができる。例えば、第１の実施の形態と同様に、領域の重要度に応じて時間解像度を設定するようにしてもよい。例えば、全方位画像が展開された平面画像を符号化対象とする場合、その平面画像のより中央に近い位置の部分領域程、時間解像度を高く設定するようにしてもよい。また、その平面画像の上下方向について、より中央に近い位置の部分領域程、時間解像度を高く設定するようにしてもよい。さらに、その平面画像の上端近傍の部分領域の時間解像度を、平面画像の下端近傍の部分領域よりも高く設定するようにしてもよい。
また、例えば、６方位画像が展開された平面画像を符号化対象とする場合、６方向の内、視点から見て前方の平面画像の時間解像度を、他の方向の平面画像よりも高く設定するようにしてもよい。さらに、例えば、６方向の内、視点から見て左方、右方、および後方の平面画像の時間解像度を、視点から見て上方および下方の平面画像よりも高く設定するようにしてもよい。また、例えば、６方向の内、視点から見て左方および右方の平面画像の時間解像度を、視点から見て後方の平面画像よりも高く設定するようにしてもよい。さらに、例えば、６方向の内、視点から見て上方の平面画像の時間解像度を、視点から見て下方の平面画像よりも高く設定するようにしてもよい。
このようにすることにより、第１の実施の形態の場合と同様に、より重要でない部分の時間解像度を低減させる等、上述のような重要度の偏りに応じた情報量制御が可能になり、主観画質の低減を抑制しながら符号化効率の低減を抑制することができる。
＜３−１．符号化＞
＜前処理部の構成＞
画像処理システム４００において、符号化装置１１３は、第１の実施の形態の場合と基本的に同様の構成（図１２）を有する。ただし、この場合、前処理部２１０は、図２３に示されるような構成を有する。図２３に示されるように、前処理部２１０は、領域別フレームレート設定部４２１、領域設定部４２２、領域別テンポラルID設定部４２３、符号化制御部４２４、およびパラメータセット生成部４２５を有する。
＜前処理部の構成＞
画像処理システム４００において、符号化装置１１３は、第１の実施の形態の場合と基本的に同様の構成（図１２）を有する。ただし、この場合、前処理部２１０は、図２３に示されるような構成を有する。図２３に示されるように、前処理部２１０は、領域別フレームレート設定部４２１、領域設定部４２２、領域別テンポラルID設定部４２３、符号化制御部４２４、およびパラメータセット生成部４２５を有する。
領域別フレームレート設定部４２１は、領域別フレームレート設定部２３１と同様の処理部であり、ピクチャ内の部分領域毎の時間解像度（フレームレート）の設定に関する処理を行う。領域別フレームレート設定部４２１は、設定した各部分領域と時間解像度の設定を領域設定部４２２に供給する。
領域設定部４２２は、時間解像度が設定される部分領域の位置、大きさ、形状などを設定する。領域設定部４２２は、任意のデータ単位を単位として部分領域を設定することができる。例えば、第１の実施の形態の場合と同様に、独立して復号が可能なタイルセットを用いて部分領域を設定するようにしてもよいし、タイルセットを用いずに部分領域を設定するようにしてもよい。領域設定部４２２は設定した部分領域を示す情報を領域別テンポラルID設定部４２３に供給する。
領域別テンポラルID設定部４２３は、領域設定部４２２により設定された各部分領域に対して、領域別フレームレート設定部４２１により設定された時間解像度に応じた値のテンポラルIDを設定する。領域別テンポラルID設定部４２３は、部分領域を示す情報や、そのテンポラルIDを示す情報を、符号化制御部４２４およびパラメータセット生成部４２５に供給する。
符号化制御部４２４は、供給された部分領域やそのテンポラルIDを示す情報に基づいて、符号化装置１１３の各処理部を制御し、画像データの各ピクチャについて、カレントピクチャ含まれる部分領域を符号化させ、図２１のＢに示されるビットストリーム３１０のように、それぞれの時間解像度の部分領域のデータを含むビットストリームを生成させる。
パラメータセット生成部４２５は、パラメータセットを生成する。例えば、パラメータセット生成部４２５は、部分領域を示す情報やその時間解像度（テンポラルID）を示す情報を含むパラメータセットを生成する。
例えば、領域設定部４２２がタイルを単位として部分領域を設定し、領域別テンポラルID設定部４２３が、各部分領域のテンポラルIDを設定するようにしてもよい。その場合、パラメータセット生成部４２５が、タイルを用いて部分領域を示す情報と、テンポラルIDを用いて各部分領域の時間解像度を示す情報とを含むパラメータセットを生成するようにしてもよい。その場合のシンタックスの例を図２４のＡに示す。また、そのセマンティクスを図２４のＢに示す。
この例の場合、ピクチャパラメータセットにおいて、時間解像度を制御する部分領域がタイルの識別情報を用いて設定され（region_tileIdx[i]）、その時間解像度がテンポラルID（region_temporal_id[i]）を用いて設定されている。なお、これらの情報は、シーケンスパラメータセットにおいて設定されるようにしてもよい。
以上のように、前処理部２１０が部分領域に対してテンポラルIDを設定し、その設定に基づいて符号化を行うので、符号化装置１１３は、図２１のＢに示されるビットストリーム３１０のように、それぞれの時間解像度の部分領域を含むビットストリームを生成することができる。これにより符号化効率の低減を抑制することができる。
＜前処理の流れ＞
この場合も、画像符号化処理は、第１の実施の形態の場合（図１４）と同様の流れで実行される。図２５のフローチャートを参照して、この場合の前処理の流れの例を説明する。
この場合も、画像符号化処理は、第１の実施の形態の場合（図１４）と同様の流れで実行される。図２５のフローチャートを参照して、この場合の前処理の流れの例を説明する。
前処理が開始されると、前処理部２１０の領域別フレームレート設定部２３１は、ステップＳ２０１において、入力画像に対して部分領域とその時間解像度（フレームレート）を設定する。
ステップＳ２０２において、領域設定部４２２は、各ピクチャに、ステップＳ２０１において設定された部分領域を設定する。
ステップＳ２０３において、領域別テンポラルID設定部４２３は、ステップＳ２０１において設定されたフレームレートを実現するように、各ピクチャの階層化構造を設定し、各部分領域に対して、その時間解像度に対応するテンポラルIDを設定する。
ステップＳ２０４において、符号化制御部４２４は、ステップＳ２０２において設定された部分領域やステップＳ２０３において設定された部分領域毎のテンポラルIDに基づいて、図１４を参照して説明した画像符号化処理を制御する。
ステップＳ２０５において、パラメータセット生成部４２５は、パラメータセットを生成する。このパラメータセットは、図１４のステップＳ１１３において、ビットストリームに含めて出力される。
ステップＳ２０５の処理が終了すると、前処理が終了し、処理は図１４に戻る。
以上のように各処理を実行することにより、符号化装置１１３は、符号化効率の低減を抑制することができる。
＜３−２．符号化＞
＜領域毎の時間解像度の解析＞
復号装置４１１は、上述のように符号化装置１１３により生成されたビットストリームを復号する。その際、復号装置４１１は、画像データが符号化されたビットストリームに含まれる、その画像データの部分領域毎の時間解像度を示す情報を解析する。従って、復号装置４１１は、カレントピクチャに存在する部分領域を特定し、復号することができる。したがって、復号装置４１１は、本実施の形態で説明した符号化装置１１３が生成したビットストリームを正しく復号することができる。つまり、符号化効率の低減を抑制することができる。なお、復号装置４１１は、カレントピクチャの存在しない領域を補完するようにしてもよい。このようにすることにより、復号装置４１１は、ピクチャ全体を符号化することができる。
＜領域毎の時間解像度の解析＞
復号装置４１１は、上述のように符号化装置１１３により生成されたビットストリームを復号する。その際、復号装置４１１は、画像データが符号化されたビットストリームに含まれる、その画像データの部分領域毎の時間解像度を示す情報を解析する。従って、復号装置４１１は、カレントピクチャに存在する部分領域を特定し、復号することができる。したがって、復号装置４１１は、本実施の形態で説明した符号化装置１１３が生成したビットストリームを正しく復号することができる。つまり、符号化効率の低減を抑制することができる。なお、復号装置４１１は、カレントピクチャの存在しない領域を補完するようにしてもよい。このようにすることにより、復号装置４１１は、ピクチャ全体を符号化することができる。
＜復号装置の構成＞
図２６は、復号装置４１１の主な構成例を示すブロック図である。図２６に示されるように、復号装置４１１は、復号装置１３３（図１８）と基本的に同様の構成を有する。しかしながら、復号装置４１１は、復号領域判定部４４１を有し、復号部２７２の代わりに復号部４４２を有する。
図２６は、復号装置４１１の主な構成例を示すブロック図である。図２６に示されるように、復号装置４１１は、復号装置１３３（図１８）と基本的に同様の構成を有する。しかしながら、復号装置４１１は、復号領域判定部４４１を有し、復号部２７２の代わりに復号部４４２を有する。
復号領域判定部４４１は、ビットストリームに含まれる、画像データの部分領域毎の時間解像度を示す情報（例えば、部分領域毎のテンポラルID）を解析し、各ピクチャの復号する領域を判定する。復号領域判定部４４１は、また、その判定結果を復号部４４２に供給する。
復号部４４２は、復号領域判定部４４１から供給される判定結果（部分領域毎の時間解像度を示す情報の解析結果）に従って、ビットストリームに含まれる画像データの符号化データの内、所望の部分領域の符号化データを復号する。例えば、復号部４４２は、解析された部分領域毎の時間解像度に基づいて、画像データの各ピクチャについて、カレントピクチャ含まれる部分領域の符号化データを復号する。このようにすることにより、復号装置４１１は、本実施の形態で説明した符号化装置１１３が生成したビットストリームを正しく復号することができる。つまり、符号化効率の低減を抑制することができる。
また、復号部４４２は、復号領域判定部４４１の判定結果に従って、各ピクチャのデータが存在する部分領域を復号し、その他の領域を補完する。このようにすることにより、復号装置４１１は、ピクチャ全体を符号化することができる。
＜画像復号処理の流れ＞
この復号装置４１１により実行される画像復号処理の流れの例について、図２７のフローチャートを参照して説明する。
この復号装置４１１により実行される画像復号処理の流れの例について、図２７のフローチャートを参照して説明する。
画像復号処理が開始されると、ステップＳ２２１において、蓄積バッファ２７１は、復号装置４１１に供給されるビットストリームを蓄積する。ステップＳ２２２において、復号領域判定部４４１は、部分領域毎のテンポラルIDを把握する。ステップＳ２２３において、復号領域判定部４４１は、カレントピクチャの時間情報と、部分領域毎のテンポラルIDとに基づいて、カレントピクチャの復号対象とする領域（復号領域）を特定する。ステップＳ２２４において、復号部４４２は、カレントピクチャの、ステップＳ２２３において特定した復号領域を復号する。ステップＳ２２５において、復号部４４２は、カレントピクチャの復号領域以外の領域（その他の領域）を補完する。
ステップＳ２２６乃至ステップＳ２３２の各処理は、図１９のステップＳ１７３乃至ステップＳ１７９の各処理と同様に実行される。ステップＳ２３２の処理が終了すると、画像復号処理が終了する。
以上のように、画像復号処理を実行することにより、復号装置４１１は、符号化装置１１３が生成したビットストリームを復号することができるので、符号化効率の低減を抑制することができ、復号の負荷の増大を抑制することができる。
＜３−３．その他＞
＜参照範囲＞
第２の実施の形態の場合、上述したように、部分領域はタイルセットでなくてもよい。従って、ピクチャ内においては、図２８のＡに示されるように、他の部分領域を参照することができるようにしてもよい。例えば、部分領域３０２内のブロック４５２の符号化・復号において、部分領域３０１内のブロック４５１を参照して予測画像を生成するようにしてもよい。また、他のフレームを参照する場合も、図２８のＢに示されるように、自身と異なる部分領域を参照することができるようにしてもよい。例えば、フレーム３１２のブロックの符号化・復号において、フレーム３１１やフレーム３１３を参照する場合に、それらのフレームに存在する部分領域であれば任意の部分領域のブロックを参照することができるようにしてもよい。したがって、第１の実施の形態において説明したHEVCを用いる場合よりも、予測の制約を低減させることができ、予測精度を向上させ、符号化効率を向上させることができる。
＜参照範囲＞
第２の実施の形態の場合、上述したように、部分領域はタイルセットでなくてもよい。従って、ピクチャ内においては、図２８のＡに示されるように、他の部分領域を参照することができるようにしてもよい。例えば、部分領域３０２内のブロック４５２の符号化・復号において、部分領域３０１内のブロック４５１を参照して予測画像を生成するようにしてもよい。また、他のフレームを参照する場合も、図２８のＢに示されるように、自身と異なる部分領域を参照することができるようにしてもよい。例えば、フレーム３１２のブロックの符号化・復号において、フレーム３１１やフレーム３１３を参照する場合に、それらのフレームに存在する部分領域であれば任意の部分領域のブロックを参照することができるようにしてもよい。したがって、第１の実施の形態において説明したHEVCを用いる場合よりも、予測の制約を低減させることができ、予測精度を向上させ、符号化効率を向上させることができる。
＜補完方法＞
復号装置４１１が、カレントピクチャに含まれる部分領域以外の領域に対して行う補完の方法は任意である。例えば、図２９のＡに示されるように、連続するフレーム４６１乃至フレーム４６３の内、カレントピクチャであるフレーム４６２の領域（３０ｐの領域）を補完する場合、図２９のＢに示されるように、その他のフレームの画像の複製を用いて補完するようにしてもよい。この複製元のフレームは、任意である。例えば、フレーム４６２に隣接するフレーム（例えばフレーム４６１やフレーム４６２）であってもよいし、フレーム４６２の近傍のフレームであってもよい。
復号装置４１１が、カレントピクチャに含まれる部分領域以外の領域に対して行う補完の方法は任意である。例えば、図２９のＡに示されるように、連続するフレーム４６１乃至フレーム４６３の内、カレントピクチャであるフレーム４６２の領域（３０ｐの領域）を補完する場合、図２９のＢに示されるように、その他のフレームの画像の複製を用いて補完するようにしてもよい。この複製元のフレームは、任意である。例えば、フレーム４６２に隣接するフレーム（例えばフレーム４６１やフレーム４６２）であってもよいし、フレーム４６２の近傍のフレームであってもよい。
また、例えば、図２９のＣに示されるように、カレントピクチャと異なる複数の他のフレームの画像の平均を用いて補完するようにしてもよい。この平均の算出に利用するフレームは、任意である。例えば、フレーム４６２の前後のフレーム（フレーム４６１およびフレーム４６３）であってもよいし、それら以外のフレームであってもよい。
さらに、例えば、図２９のＤに示されるように、例えばモーションフロー等を用いて新たな画像を生成し、その生成された新たな画像を用いて補完するようにしてもよい。
また、この補完方法は可変としてもよい。例えば、予め用意された複数の方法の中から選択された方法を用いるようにしてもよい。例えば、上述の、カレントピクチャと異なる他のピクチャの画像の複製を用いる方法、カレントピクチャと異なる複数の他のピクチャの画像の平均を用いる方法、または、新たに生成した画像を用いる方法のいずれかを採用して補完を行うようにしてもよい。
さらに、例えば、この補完方法を符号化側から指定することができるようにしてもよい。つまり、この補完方法に関する情報（例えば補完方法を指定する情報）が、符号化側から復号側に提供されるようにしてもよい。たとえば、符号化装置１１３が、補完方法に関する情報をビットストリームに含めるようにしてもよい。そして、復号装置４１１が、その補完方法に関する情報をビットストリームから抽出し、補完の際に利用するようにしてもよい。
このようにすることにより、より適切な補完方法を選択することができ、主観画質の低減をより抑制することができる。
＜時間解像度を示す情報＞
なお、第２の実施の形態においては、時間解像度を示す情報として、部分領域の時間解像度を示す情報を用いるように説明したが、第１の実施の形態の場合と同様に、この部分領域の時間解像度を示す情報の代わりに、部分領域毎に設定されるレベル情報を用いるようにしてもよい。また、部分領域の復号の際に必要なピクチャを示す情報を用いるようにしてもよい。
なお、第２の実施の形態においては、時間解像度を示す情報として、部分領域の時間解像度を示す情報を用いるように説明したが、第１の実施の形態の場合と同様に、この部分領域の時間解像度を示す情報の代わりに、部分領域毎に設定されるレベル情報を用いるようにしてもよい。また、部分領域の復号の際に必要なピクチャを示す情報を用いるようにしてもよい。
＜ビットストリーム変換＞
また、第２の実施の形態においては、復号装置４１１が、符号化装置１１３が生成したビットストリームを復号するように説明したが、これに限らず、第１の実施の形態の場合と同様に、ビットストリーム変換装置が、符号化装置１１３が生成したビットストリームから所望の部分領域のデータを抽出し、その部分領域のビットストリームを生成するようにしてもよい。このようにビットストリームを変換してから復号することにより、第１の実施の形態の場合と同様に、復号の負荷の増大を抑制することができる。
また、第２の実施の形態においては、復号装置４１１が、符号化装置１１３が生成したビットストリームを復号するように説明したが、これに限らず、第１の実施の形態の場合と同様に、ビットストリーム変換装置が、符号化装置１１３が生成したビットストリームから所望の部分領域のデータを抽出し、その部分領域のビットストリームを生成するようにしてもよい。このようにビットストリームを変換してから復号することにより、第１の実施の形態の場合と同様に、復号の負荷の増大を抑制することができる。
＜復号＞
逆に、第１の実施の形態において、第２の実施の形態の場合と同様に、復号装置１３３が符号化装置１１３が生成したビットストリームを復号するようにしてもよい。第１の実施の形態の場合、符号化装置１１３が生成したビットストリームには、全フレームの全ての部分領域のデータが含まれている。したがって、復号装置１３３は、任意の部分領域を任意のフレームレートで復号することができる。例えば、復号装置１３３が、時間解像度に応じたピクチャの部分領域のデータを復号することもできる。
逆に、第１の実施の形態において、第２の実施の形態の場合と同様に、復号装置１３３が符号化装置１１３が生成したビットストリームを復号するようにしてもよい。第１の実施の形態の場合、符号化装置１１３が生成したビットストリームには、全フレームの全ての部分領域のデータが含まれている。したがって、復号装置１３３は、任意の部分領域を任意のフレームレートで復号することができる。例えば、復号装置１３３が、時間解像度に応じたピクチャの部分領域のデータを復号することもできる。
＜４．第３の実施の形態＞
＜部分領域毎のビットストリーム＞
第１の実施の形態および第２の実施の形態においては、符号化装置１１３が、１本のビットストリームを生成するように説明したが、これに限らず、時間解像度を制御する部分領域毎にビットストリームを生成するようにしてもよい。例えば、符号化装置１１３が、符号化する画像データの部分領域毎の時間解像度を設定し、その部分領域毎の、設定された時間解像度のビットストリームを生成するようにしてもよい。つまり、各部分領域のデータが互いに異なるビットストリームに格納されて、伝送されるようにしてもよい。
＜部分領域毎のビットストリーム＞
第１の実施の形態および第２の実施の形態においては、符号化装置１１３が、１本のビットストリームを生成するように説明したが、これに限らず、時間解像度を制御する部分領域毎にビットストリームを生成するようにしてもよい。例えば、符号化装置１１３が、符号化する画像データの部分領域毎の時間解像度を設定し、その部分領域毎の、設定された時間解像度のビットストリームを生成するようにしてもよい。つまり、各部分領域のデータが互いに異なるビットストリームに格納されて、伝送されるようにしてもよい。
図３０にその場合のビットストリームの構成例を示す。図３０に示されるように、この場合、ビットストリーム５１０、ビットストリーム５２０、ビットストリーム５３０、およびビットストリーム５４０の４本のビットストリームが生成されている。ビットストリーム５１０は、フレームレートが３０ｐの部分領域のビットストリームであり、フレーム５１１およびフレーム５１２のように、フレーム数が元の４分の１に間引きされている。ビットストリーム５２０は、フレームレートが６０ｐの部分領域のビットストリームであり、フレーム５２１乃至フレーム５２３のように、フレーム数が元の２分の１に間引きされている。ビットストリーム５３０は、フレームレートが９０ｐの部分領域のビットストリームであり、フレーム５３１乃至フレーム５３４のように、フレーム数が元の４分の３に間引きされている。ビットストリーム５４０は、フレームレートが１２０ｐの部分領域のビットストリームであり、フレーム５４１乃至フレーム５４５のように、フレーム数が元のままである。
このようにすることにより、符号化装置１１３は、各部分領域のビットストリームを、その部分領域の時間解像度で生成することができる。このようなビットストリームは、例えば、MPEG-DASH（Moving Picture Experts Group phase − Dynamic Adaptive Streaming over HTTP）等の規格を用いて伝送（提供）するようにしてもよい。例えば、MPEG-DASHの場合、各ビットストリーム（部分領域同士）の位置関係等が、MPD（Media Presentation Description）によって管理される。これにより、再生に必要なビットストリームのみを提供することができるようになり、データ伝送の負荷の増大を抑制することができる。
なお、第１の実施の形態や第２の実施の形態の場合と同様に、符号化装置１１３が、このような部分領域を設定し、その設定された各部分領域の時間解像度を設定し、設定された部分領域毎のビットストリームを生成するようにしてもよい。また、この部分領域は、独立して復号可能なタイルセットとしてもよい。また、符号化・復号対象とするデータは、第１の実施の形態や第２の実施の形態の場合と同様に任意である。例えば、全方位画像が展開された平面画像や、６方位画像が展開された平面画像を符号化対象としてもよい。さらに。部分領域に対する時間解像度の設定は、第１の実施の形態や第２の実施の形態の場合と同様である。このようにすることにより、第１の実施の形態や第２の実施の形態の場合と同様の効果を得ることができる。
＜５．その他＞
＜符号化対象＞
以上においては、VR動画を符号化する場合について説明したが、符号化の対象とする画像はどのような画像であってもよい。本技術は、任意の画像の符号化、復号、ビットストリーム変換等に適用することができる。例えば、上述のVR動画像の場合、複数のカメラで撮像された複数の動画像を平面上に並べた平面画像を符号化対象としていたが、単数のカメラで撮像された単数の動画像を符号化対象としてもよい。例えば、監視カメラシステム等において本技術を適用し、不審者等の監視対象が存在する注目領域（重要度の高い領域）の時間解像度を高いままに維持しながら、注目領域以外の、重要度の低い領域の時間解像度を低減させるようにしてもよい。
＜符号化対象＞
以上においては、VR動画を符号化する場合について説明したが、符号化の対象とする画像はどのような画像であってもよい。本技術は、任意の画像の符号化、復号、ビットストリーム変換等に適用することができる。例えば、上述のVR動画像の場合、複数のカメラで撮像された複数の動画像を平面上に並べた平面画像を符号化対象としていたが、単数のカメラで撮像された単数の動画像を符号化対象としてもよい。例えば、監視カメラシステム等において本技術を適用し、不審者等の監視対象が存在する注目領域（重要度の高い領域）の時間解像度を高いままに維持しながら、注目領域以外の、重要度の低い領域の時間解像度を低減させるようにしてもよい。
なお、時間解像度を制御する部分領域（の位置、形状、大きさ等）、並びにその時間解像度は時間方向に可変としてもよい。つまり、部分領域の位置、形状、大きさ等や、その時間解像度が、時間とともに変化することができるようにしてもよい。例えば、監視カメラシステム等において本技術を適用する場合に、監視対象の移動とともに、注目領域を移動、変形させることができるようにしてもよい。また上述のVR動画像の場合も、ユーザの視線方向や視点位置の変更に応じて、各領域の時間解像度を変更するようにしてもよい。
このように領域や時間解像度等を変更する場合、シーケンスを区切り、新たなシーケンスパラメータセットやSEI等において新たに設定するようにしてもよいが、ピクチャパラメータセットにおいてこれらを更新することができるようにしてもよい。
また、以上においては撮像画像（撮像画像から生成した平面画像）を符号化対象とするように説明したが、符号化対象とする画像は任意であり、例えばCG（Computer Graphics）画像やアニメーション画像のように、撮像画像以外であってもよい。
＜制御＞
なお、以上に説明した本技術を適用するか否かを制御することができるようにしてもよい。例えば、部分領域に対して時間解像度を設定するか否かをユーザ指示等により制御することができるようにしてもよい。また、例えば目標ビットレートが低レートの場合のみ等、所定の条件を満たす場合のみ、部分領域に対して時間解像度を設定するようにしてもよい。
なお、以上に説明した本技術を適用するか否かを制御することができるようにしてもよい。例えば、部分領域に対して時間解像度を設定するか否かをユーザ指示等により制御することができるようにしてもよい。また、例えば目標ビットレートが低レートの場合のみ等、所定の条件を満たす場合のみ、部分領域に対して時間解像度を設定するようにしてもよい。
また、本技術の適用に関する制御情報を符号化側から復号側に伝送することができるようにしてもよい。この制御情報は、本技術の適用に関するものであればどのような情報であってもよい。例えば、部分領域に対する時間解像度の設定を許可するか否か（または、禁止するか否か）を制御する情報（許可制御情報）、部分領域に対する時間解像度の設定を行うか否かを制御する情報（実行制御情報）、時間解像度等のパラメータの値を制限する情報（パラメータ制限情報）、実行や判定の条件を設定する情報等を、符号化側から復号側に伝送することができるようにしてもよい。
＜符号化・復号方式＞
例えば、本技術は、複数の視点（ビュー（view））の画像を含む多視点画像の符号化・復号を行う多視点画像符号化・復号システムや、所定のパラメータについてスケーラビリティ（scalability）機能を有するように複数レイヤ化（階層化）された階層画像の符号化・復号を行う階層画像符号化（スケーラブル符号化）・復号システムにも適用することができる。
例えば、本技術は、複数の視点（ビュー（view））の画像を含む多視点画像の符号化・復号を行う多視点画像符号化・復号システムや、所定のパラメータについてスケーラビリティ（scalability）機能を有するように複数レイヤ化（階層化）された階層画像の符号化・復号を行う階層画像符号化（スケーラブル符号化）・復号システムにも適用することができる。
＜本技術の適用分野＞
本技術は、画像を処理するものであれば、例えば、交通、医療、防犯、農業、畜産業、鉱業、美容、工場、家電、気象、自然監視等、任意の分野に利用されるシステム、装置、処理部等に適用することができる。
本技術は、画像を処理するものであれば、例えば、交通、医療、防犯、農業、畜産業、鉱業、美容、工場、家電、気象、自然監視等、任意の分野に利用されるシステム、装置、処理部等に適用することができる。
例えば、本技術は、鑑賞の用に供されるシステムやデバイスにも適用することができる。また、例えば、本技術は、交通管理の用に供されるシステムやデバイスにも適用することができる。さらに、例えば、本技術は、セキュリティの用に供されるシステムやデバイスにも適用することができる。また、例えば、本技術は、スポーツの用に供されるシステムやデバイスにも適用することができる。さらに、例えば、本技術は、農業の用に供されるシステムやデバイスにも適用することができる。また、例えば、本技術は、畜産業の用に供されるシステムやデバイスにも適用することができる。さらに、本技術は、例えば火山、森林、海洋等の自然の状態を監視するシステムやデバイスにも適用することができる。また、本技術は、例えば天気、気温、湿度、風速、日照時間等を観測する気象観測システムや気象観測装置に適用することができる。さらに、本技術は、例えば鳥類、魚類、ハ虫類、両生類、哺乳類、昆虫、植物等の野生生物の生態を観測するシステムやデバイス等にも適用することができる。
＜コンピュータ＞
上述した一連の処理は、ハードウエアにより実行させることもできるし、ソフトウエアにより実行させることもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、コンピュータにインストールされる。ここでコンピュータには、専用のハードウエアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータ等が含まれる。
上述した一連の処理は、ハードウエアにより実行させることもできるし、ソフトウエアにより実行させることもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、コンピュータにインストールされる。ここでコンピュータには、専用のハードウエアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータ等が含まれる。
図３１は、上述した一連の処理をプログラムにより実行するコンピュータのハードウエアの構成例を示すブロック図である。
図３１に示されるコンピュータ８００において、CPU（Central Processing Unit）８０１、ROM（Read Only Memory）８０２、RAM（Random Access Memory）８０３は、バス８０４を介して相互に接続されている。
バス８０４にはまた、入出力インタフェース８１０も接続されている。入出力インタフェース８１０には、入力部８１１、出力部８１２、記憶部８１３、通信部８１４、およびドライブ８１５が接続されている。
入力部８１１は、例えば、キーボード、マウス、マイクロホン、タッチパネル、入力端子などよりなる。出力部８１２は、例えば、ディスプレイ、スピーカ、出力端子などよりなる。記憶部８１３は、例えば、ハードディスク、RAMディスク、不揮発性のメモリなどよりなる。通信部８１４は、例えば、ネットワークインタフェースよりなる。ドライブ８１５は、磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリなどのリムーバブルメディア８２１を駆動する。
以上のように構成されるコンピュータでは、CPU８０１が、例えば、記憶部８１３に記憶されているプログラムを、入出力インタフェース８１０およびバス８０４を介して、RAM８０３にロードして実行することにより、上述した一連の処理が行われる。RAM８０３にはまた、CPU８０１が各種の処理を実行する上において必要なデータなども適宜記憶される。
コンピュータ（CPU８０１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア８２１に記録して適用することができる。その場合、プログラムは、リムーバブルメディア８２１をドライブ８１５に装着することにより、入出力インタフェース８１０を介して、記憶部８１３にインストールすることができる。また、このプログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することもできる。その場合、プログラムは、通信部８１４で受信し、記憶部８１３にインストールすることができる。その他、このプログラムは、ROM８０２や記憶部８１３に、あらかじめインストールしておくこともできる。
なお、上述した一連の処理は、一部をハードウエアにより実行させ、他をソフトウエアにより実行させることもできる。
＜本技術の応用＞
本技術は、例えば、衛星放送、ケーブルＴＶなどの有線放送、インターネット上での配信、及びセルラー通信による端末への配信などにおける送信機や受信機、または、光ディスク、磁気ディスク及びフラッシュメモリなどの媒体に画像を記録する記録装置や、これら記憶媒体から画像を再生する再生装置などの、様々な電子機器に応用され得る。
本技術は、例えば、衛星放送、ケーブルＴＶなどの有線放送、インターネット上での配信、及びセルラー通信による端末への配信などにおける送信機や受信機、または、光ディスク、磁気ディスク及びフラッシュメモリなどの媒体に画像を記録する記録装置や、これら記憶媒体から画像を再生する再生装置などの、様々な電子機器に応用され得る。
例えば、本技術は、複数の装置により構成されるネットワークシステムにも適用することもできる。図３２は、本技術を適用したネットワークシステムの概略的な構成の一例を示している。
図３２に示されるネットワークシステム１６００は、機器同士が、ネットワークを介して画像（動画像）に関する情報を授受するシステムである。このネットワークシステム１６００のクラウドサービス１６０１は、自身に通信可能に接続されるコンピュータ１６１１、AV（Audio Visual）機器１６１２、携帯型情報処理端末１６１３、IoT（Internet of Things）デバイス１６１４等の端末に対して、画像（動画像）に関するサービスを提供するシステムである。例えば、クラウドサービス１６０１は、所謂動画配信（オンデマンドやライブ配信）のような、画像（動画像）のコンテンツの供給サービスを端末に提供する。また、例えば、クラウドサービス１６０１は、端末から画像（動画像）のコンテンツを受け取って保管するバックアップサービスを提供する。また、例えば、クラウドサービス１６０１は、端末同士の画像（動画像）のコンテンツの授受を仲介するサービスを提供する。
クラウドサービス１６０１の物理構成は任意である。例えば、クラウドサービス１６０１は、動画像を保存し、管理するサーバ、動画像を端末に配信するサーバ、動画像を端末から取得するサーバ、ユーザ（端末）や課金を管理するサーバ等の各種サーバや、インターネットやLAN等の任意のネットワークを有するようにしてもよい。
コンピュータ１６１１は、例えば、パーソナルコンピュータ、サーバ、ワークステーション等のような情報処理装置により構成される。AV機器１６１２は、例えば、テレビジョン受像機、ハードディスクレコーダ、ゲーム機器、カメラ等のような画像処理装置により構成される。携帯型情報処理端末１６１３は、例えば、ノート型パーソナルコンピュータ、タブレット端末、携帯電話機、スマートフォン等のような携帯型の情報処理装置により構成される。IoTデバイス１６１４は、例えば、機械、家電、家具、その他の物、ICタグ、カード型デバイス等、画像に関する処理を行う任意の物体により構成される。これらの端末は、いずれも通信機能を有し、クラウドサービス１６０１に接続し（セッションを確立し）、クラウドサービス１６０１と情報の授受を行う（すなわち通信を行う）ことができる。また、各端末は、他の端末と通信を行うこともできる。端末間の通信は、クラウドサービス１６０１を介して行うようにしてもよいし、クラウドサービス１６０１を介さずに行うようにしてもよい。
以上のようなネットワークシステム１６００において、端末間や、端末とクラウドサービス１６０１との間で動画像の符号化データを授受する際に、本技術を適用するようにしてもよい。
例えば、クラウドサービス１６０１がVR動画を提供し、端末がそのVR動画を取得して再生する場合、クラウドサービス１６０１がそのVR動画として、各実施の形態において上述したように、部分領域毎に時間解像度が設定された画像データを符号化したビットストリームを端末に提供するようにしてもよい。このようにすることにより、部分領域毎に時間解像度を用いて情報量を制御することができるので、符号化効率の低減を抑制することができる。これにより、VR動画を提供するクラウドサービス１６０１において、保持するデータ量を低減させたり、符号化や送信の負荷（処理量、バッファ量、処理時間等）の増大を抑制したりすることができる。また、伝送媒体（ネットワーク等）の負荷（占有率や占有時間等）の増大を抑制することができる。さらに、そのVR動画を受信する端末において、受信や復号の負荷（処理量、バッファ量、処理時間等）の増大を抑制したりすることができる。
＜補足＞
なお、符号化データ（ビットストリーム）に関する各種情報（メタデータ等）は、符号化データに関連づけられていれば、どのような形態で伝送または記録されるようにしてもよい。ここで、「関連付ける」という用語は、例えば、一方のデータを処理する際に他方のデータを利用し得る（リンクさせ得る）ようにすることを意味する。つまり、互いに関連付けられたデータは、１つのデータとしてまとめられてもよいし、それぞれ個別のデータとしてもよい。例えば、符号化データ（画像）に関連付けられた情報は、その符号化データ（画像）とは別の伝送路上で伝送されるようにしてもよい。また、例えば、符号化データ（画像）に関連付けられた情報は、その符号化データ（画像）とは別の記録媒体（又は同一の記録媒体の別の記録エリア）に記録されるようにしてもよい。なお、この「関連付け」は、データ全体でなく、データの一部であってもよい。例えば、画像とその画像に対応する情報とが、複数フレーム、１フレーム、又はフレーム内の一部分などの任意の単位で互いに関連付けられるようにしてもよい。
なお、符号化データ（ビットストリーム）に関する各種情報（メタデータ等）は、符号化データに関連づけられていれば、どのような形態で伝送または記録されるようにしてもよい。ここで、「関連付ける」という用語は、例えば、一方のデータを処理する際に他方のデータを利用し得る（リンクさせ得る）ようにすることを意味する。つまり、互いに関連付けられたデータは、１つのデータとしてまとめられてもよいし、それぞれ個別のデータとしてもよい。例えば、符号化データ（画像）に関連付けられた情報は、その符号化データ（画像）とは別の伝送路上で伝送されるようにしてもよい。また、例えば、符号化データ（画像）に関連付けられた情報は、その符号化データ（画像）とは別の記録媒体（又は同一の記録媒体の別の記録エリア）に記録されるようにしてもよい。なお、この「関連付け」は、データ全体でなく、データの一部であってもよい。例えば、画像とその画像に対応する情報とが、複数フレーム、１フレーム、又はフレーム内の一部分などの任意の単位で互いに関連付けられるようにしてもよい。
また、本明細書において、「合成する」、「多重化する」、「付加する」、「一体化する」、「含める」、「格納する」、「入れ込む」、「差し込む」、「挿入する」等の用語は、例えば符号化データとメタデータとを１つのデータにまとめるといった、複数の物を１つにまとめることを意味し、上述の「関連付ける」の１つの方法を意味する。
また、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
また、例えば、本技術は、装置またはシステムを構成するあらゆる構成、例えば、システムLSI（Large Scale Integration）等としてのプロセッサ、複数のプロセッサ等を用いるモジュール、複数のモジュール等を用いるユニット、ユニットにさらにその他の機能を付加したセット等（すなわち、装置の一部の構成）として実施することもできる。
なお、本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、全ての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。
また、例えば、１つの装置（または処理部）として説明した構成を分割し、複数の装置（または処理部）として構成するようにしてもよい。逆に、以上において複数の装置（または処理部）として説明した構成をまとめて１つの装置（または処理部）として構成されるようにしてもよい。また、各装置（または各処理部）の構成に上述した以外の構成を付加するようにしてももちろんよい。さらに、システム全体としての構成や動作が実質的に同じであれば、ある装置（または処理部）の構成の一部を他の装置（または他の処理部）の構成に含めるようにしてもよい。
また、例えば、本技術は、１つの機能を、ネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
また、例えば、上述したプログラムは、任意の装置において実行することができる。その場合、その装置が、必要な機能（機能ブロック等）を有し、必要な情報を得ることができるようにすればよい。
また、例えば、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。換言するに、１つのステップに含まれる複数の処理を、複数のステップの処理として実行することもできる。逆に、複数のステップとして説明した処理を１つのステップとしてまとめて実行することもできる。
なお、コンピュータが実行するプログラムは、プログラムを記述するステップの処理が、本明細書で説明する順序に沿って時系列に実行されるようにしても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで個別に実行されるようにしても良い。つまり、矛盾が生じない限り、各ステップの処理が上述した順序と異なる順序で実行されるようにしてもよい。さらに、このプログラムを記述するステップの処理が、他のプログラムの処理と並列に実行されるようにしても良いし、他のプログラムの処理と組み合わせて実行されるようにしても良い。
なお、本明細書において複数説明した本技術は、矛盾が生じない限り、それぞれ独立に単体で実施することができる。もちろん、任意の複数の本技術を併用して実施することもできる。例えば、いずれかの実施の形態において説明した本技術の一部または全部を、他の実施の形態において説明した本技術の一部または全部と組み合わせて実施することもできる。また、上述した任意の本技術の一部または全部を、上述していない他の技術と併用して実施することもできる。
なお、本技術は以下のような構成も取ることができる。
（１） 符号化する画像データの部分領域毎の時間解像度を設定する時間解像度設定部と、
前記画像データを符号化し、前記時間解像度設定部により設定された前記部分領域毎の前記時間解像度を示す情報を含むビットストリームを生成する符号化部と
を備える画像処理装置。
（２） 前記部分領域は独立して復号可能なタイルセットである
（１）に記載の画像処理装置。
（３） 前記ビットストリームは、前記部分領域に関する情報を含む
（１）または（２）に記載の画像処理装置。
（４） 前記部分領域に関する前記情報は、MCTS SEI（Motion constrained tile set Supplemental Enhancement Information）である
（３）に記載の画像処理装置。
（５） 前記部分領域を設定する部分領域設定部をさらに備え、
前記時間解像度設定部は、前記部分領域設定部により設定された各部分領域の時間解像度を設定するように構成される
（１）乃至（４）のいずれかに記載の画像処理装置。
（６） 前記時間解像度を示す前記情報は、前記画像データのピクチャ毎に設定されるテンポラルIDを含む
（１）乃至（５）のいずれかに記載の画像処理装置。
（７） 前記時間解像度を示す前記情報は、前記部分領域毎に設定されるレベル情報を含む
（１）乃至（６）のいずれかに記載の画像処理装置。
（８） 前記時間解像度を示す情報は、前記部分領域の復号の際に必要なピクチャを示す情報を含む
（１）乃至（６）のいずれかに記載の画像処理装置。
（９） 前記画像データは、視点を中心とする球体状にレンダリングされた全方位画像が単数の平面に展開された平面画像のデータである
（１）乃至（８）のいずれかに記載の画像処理装置。
（１０） 前記時間解像度設定部は、前記全方位画像が展開された前記平面画像のより中央に近い位置の部分領域程、前記時間解像度を高く設定する
（９）に記載の画像処理装置。
（１１） 前記時間解像度設定部は、前記全方位画像が展開された前記平面画像の上下方向について、より中央に近い位置の部分領域程、前記時間解像度を高く設定する
（１０）に記載の画像処理装置。
（１２） 前記時間解像度設定部は、前記全方位画像が展開された前記平面画像の上端近傍の部分領域の前記時間解像度を、前記平面画像の下端近傍の部分領域よりも高く設定する
（１１）に記載の画像処理装置。
（１３） 前記画像データは、視点を中心とする互いに直角な６方向の平面画像が単数の平面に展開された平面画像のデータである
（１）乃至（８）のいずれかに記載の画像処理装置。
（１４） 前記時間解像度設定部は、前記６方向の内、前記視点から見て前方の平面画像の前記時間解像度を、他の方向の平面画像よりも高く設定する
（１３）に記載の画像処理装置。
（１５） 前記時間解像度設定部は、前記６方向の内、前記視点から見て左方、右方、および後方の平面画像の前記時間解像度を、前記視点から見て上方および下方の平面画像よりも高く設定する
（１４）に記載の画像処理装置。
（１６） 前記時間解像度設定部は、前記６方向の内、前記視点から見て左方および右方の平面画像の前記時間解像度を、前記視点から見て後方の平面画像よりも高く設定する
（１５）に記載の画像処理装置。
（１７） 前記時間解像度設定部は、前記６方向の内、前記視点から見て上方の平面画像の前記時間解像度を、前記視点から見て下方の平面画像よりも高く設定する
（１６）に記載の画像処理装置。
（１８） 符号化する画像データの部分領域毎の時間解像度を設定し、
前記画像データを符号化し、設定された前記部分領域毎の前記時間解像度を示す情報を含むビットストリームを生成する
画像処理方法。
（１） 符号化する画像データの部分領域毎の時間解像度を設定する時間解像度設定部と、
前記画像データを符号化し、前記時間解像度設定部により設定された前記部分領域毎の前記時間解像度を示す情報を含むビットストリームを生成する符号化部と
を備える画像処理装置。
（２） 前記部分領域は独立して復号可能なタイルセットである
（１）に記載の画像処理装置。
（３） 前記ビットストリームは、前記部分領域に関する情報を含む
（１）または（２）に記載の画像処理装置。
（４） 前記部分領域に関する前記情報は、MCTS SEI（Motion constrained tile set Supplemental Enhancement Information）である
（３）に記載の画像処理装置。
（５） 前記部分領域を設定する部分領域設定部をさらに備え、
前記時間解像度設定部は、前記部分領域設定部により設定された各部分領域の時間解像度を設定するように構成される
（１）乃至（４）のいずれかに記載の画像処理装置。
（６） 前記時間解像度を示す前記情報は、前記画像データのピクチャ毎に設定されるテンポラルIDを含む
（１）乃至（５）のいずれかに記載の画像処理装置。
（７） 前記時間解像度を示す前記情報は、前記部分領域毎に設定されるレベル情報を含む
（１）乃至（６）のいずれかに記載の画像処理装置。
（８） 前記時間解像度を示す情報は、前記部分領域の復号の際に必要なピクチャを示す情報を含む
（１）乃至（６）のいずれかに記載の画像処理装置。
（９） 前記画像データは、視点を中心とする球体状にレンダリングされた全方位画像が単数の平面に展開された平面画像のデータである
（１）乃至（８）のいずれかに記載の画像処理装置。
（１０） 前記時間解像度設定部は、前記全方位画像が展開された前記平面画像のより中央に近い位置の部分領域程、前記時間解像度を高く設定する
（９）に記載の画像処理装置。
（１１） 前記時間解像度設定部は、前記全方位画像が展開された前記平面画像の上下方向について、より中央に近い位置の部分領域程、前記時間解像度を高く設定する
（１０）に記載の画像処理装置。
（１２） 前記時間解像度設定部は、前記全方位画像が展開された前記平面画像の上端近傍の部分領域の前記時間解像度を、前記平面画像の下端近傍の部分領域よりも高く設定する
（１１）に記載の画像処理装置。
（１３） 前記画像データは、視点を中心とする互いに直角な６方向の平面画像が単数の平面に展開された平面画像のデータである
（１）乃至（８）のいずれかに記載の画像処理装置。
（１４） 前記時間解像度設定部は、前記６方向の内、前記視点から見て前方の平面画像の前記時間解像度を、他の方向の平面画像よりも高く設定する
（１３）に記載の画像処理装置。
（１５） 前記時間解像度設定部は、前記６方向の内、前記視点から見て左方、右方、および後方の平面画像の前記時間解像度を、前記視点から見て上方および下方の平面画像よりも高く設定する
（１４）に記載の画像処理装置。
（１６） 前記時間解像度設定部は、前記６方向の内、前記視点から見て左方および右方の平面画像の前記時間解像度を、前記視点から見て後方の平面画像よりも高く設定する
（１５）に記載の画像処理装置。
（１７） 前記時間解像度設定部は、前記６方向の内、前記視点から見て上方の平面画像の前記時間解像度を、前記視点から見て下方の平面画像よりも高く設定する
（１６）に記載の画像処理装置。
（１８） 符号化する画像データの部分領域毎の時間解像度を設定し、
前記画像データを符号化し、設定された前記部分領域毎の前記時間解像度を示す情報を含むビットストリームを生成する
画像処理方法。
（２１） 画像データが符号化されたビットストリームに含まれる、前記画像データの部分領域毎の時間解像度を示す情報を解析する解析部を備える
画像処理装置。
（２２） 前記部分領域は独立して復号可能なタイルセットである
（２１）に記載の画像処理装置。
（２３） 前記ビットストリームは、前記部分領域に関する情報を含む
（２１）または（２２）に記載の画像処理装置。
（２４） 前記部分領域に関する前記情報は、MCTS SEI（Motion constrained tile set Supplemental Enhancement Information）である
（２３）に記載の画像処理装置。
（２５） 前記時間解像度を示す前記情報は、前記画像データのピクチャ毎に設定されるテンポラルIDを含む
（２１）乃至（２４）のいずれかに記載の画像処理装置。
（２６） 前記時間解像度を示す前記情報は、前記部分領域毎に設定されるレベル情報を含む
（２１）乃至（２５）のいずれかに記載の画像処理装置。
（２７） 前記時間解像度を示す情報は、前記部分領域の復号の際に必要なピクチャを示す情報を含む
（２１）乃至（２５）のいずれかに記載の画像処理装置。
（２８） 前記画像データは、視点を中心とする球体状にレンダリングされた全方位画像が単数の平面に展開された平面画像のデータである
（２１）乃至（２７）のいずれかに記載の画像処理装置。
（２９） 前記画像データは、前記全方位画像が展開された前記平面画像のより中央に近い位置の部分領域程、前記時間解像度が高く設定されている
（２８）に記載の画像処理装置。
（３０） 前記画像データは、前記全方位画像が展開された前記平面画像の上下方向について、より中央に近い位置の部分領域程、前記時間解像度が高く設定されている
（２９）に記載の画像処理装置。
（３１） 前記画像データは、前記全方位画像が展開された前記平面画像の上端近傍の部分領域の前記時間解像度が、前記平面画像の下端近傍の部分領域よりも高く設定されている
（３０）に記載の画像処理装置。
（３２） 前記画像データは、視点を中心とする互いに直角な６方向の平面画像が単数の平面に展開された平面画像のデータである
（２１）乃至（２７）のいずれかに記載の画像処理装置。
（３３） 前記画像データは、前記６方向の内、前記視点から見て前方の平面画像の前記時間解像度が、他の方向の平面画像よりも高く設定されている
（３２）に記載の画像処理装置。
（３４） 前記画像データは、前記６方向の内、前記視点から見て左方、右方、および後方の平面画像の前記時間解像度が、前記視点から見て上方および下方の平面画像よりも高く設定されている
（３３）に記載の画像処理装置。
（３５） 前記画像データは、前記６方向の内、前記視点から見て左方および右方の平面画像の前記時間解像度が、前記視点から見て後方の平面画像よりも高く設定されている
（３４）に記載の画像処理装置。
（３６） 前記画像データは、前記６方向の内、前記視点から見て上方の平面画像の前記時間解像度が、前記視点から見て下方の平面画像よりも高く設定されている
（３５）に記載の画像処理装置。
（３７） 前記解析部の解析結果に従って、前記ビットストリームから所望の部分領域のデータを抽出するデータ抽出部と、
前記データ抽出部により抽出された前記部分領域のデータを含むビットストリームを生成するビットストリーム生成部と
をさらに備える（２１）乃至（３６）のいずれかに記載の画像処理装置。
（３８） 前記データ抽出部は、前記時間解像度に応じたピクチャから、前記部分領域のデータを抽出する
（３７）に記載の画像処理装置。
（３９） 前記解析部の解析結果に従って、前記ビットストリームから所望の部分領域のデータを復号する復号部をさらに備える
（２１）乃至（３６）のいずれかに記載の画像処理装置。
（４０） 前記復号部は、前記時間解像度に応じたピクチャの前記部分領域のデータを復号する
（３９）に記載の画像処理装置。
（４１） 画像データが符号化されたビットストリームに含まれる、前記画像データの部分領域毎の時間解像度を示す情報を解析する
画像処理方法。
画像処理装置。
（２２） 前記部分領域は独立して復号可能なタイルセットである
（２１）に記載の画像処理装置。
（２３） 前記ビットストリームは、前記部分領域に関する情報を含む
（２１）または（２２）に記載の画像処理装置。
（２４） 前記部分領域に関する前記情報は、MCTS SEI（Motion constrained tile set Supplemental Enhancement Information）である
（２３）に記載の画像処理装置。
（２５） 前記時間解像度を示す前記情報は、前記画像データのピクチャ毎に設定されるテンポラルIDを含む
（２１）乃至（２４）のいずれかに記載の画像処理装置。
（２６） 前記時間解像度を示す前記情報は、前記部分領域毎に設定されるレベル情報を含む
（２１）乃至（２５）のいずれかに記載の画像処理装置。
（２７） 前記時間解像度を示す情報は、前記部分領域の復号の際に必要なピクチャを示す情報を含む
（２１）乃至（２５）のいずれかに記載の画像処理装置。
（２８） 前記画像データは、視点を中心とする球体状にレンダリングされた全方位画像が単数の平面に展開された平面画像のデータである
（２１）乃至（２７）のいずれかに記載の画像処理装置。
（２９） 前記画像データは、前記全方位画像が展開された前記平面画像のより中央に近い位置の部分領域程、前記時間解像度が高く設定されている
（２８）に記載の画像処理装置。
（３０） 前記画像データは、前記全方位画像が展開された前記平面画像の上下方向について、より中央に近い位置の部分領域程、前記時間解像度が高く設定されている
（２９）に記載の画像処理装置。
（３１） 前記画像データは、前記全方位画像が展開された前記平面画像の上端近傍の部分領域の前記時間解像度が、前記平面画像の下端近傍の部分領域よりも高く設定されている
（３０）に記載の画像処理装置。
（３２） 前記画像データは、視点を中心とする互いに直角な６方向の平面画像が単数の平面に展開された平面画像のデータである
（２１）乃至（２７）のいずれかに記載の画像処理装置。
（３３） 前記画像データは、前記６方向の内、前記視点から見て前方の平面画像の前記時間解像度が、他の方向の平面画像よりも高く設定されている
（３２）に記載の画像処理装置。
（３４） 前記画像データは、前記６方向の内、前記視点から見て左方、右方、および後方の平面画像の前記時間解像度が、前記視点から見て上方および下方の平面画像よりも高く設定されている
（３３）に記載の画像処理装置。
（３５） 前記画像データは、前記６方向の内、前記視点から見て左方および右方の平面画像の前記時間解像度が、前記視点から見て後方の平面画像よりも高く設定されている
（３４）に記載の画像処理装置。
（３６） 前記画像データは、前記６方向の内、前記視点から見て上方の平面画像の前記時間解像度が、前記視点から見て下方の平面画像よりも高く設定されている
（３５）に記載の画像処理装置。
（３７） 前記解析部の解析結果に従って、前記ビットストリームから所望の部分領域のデータを抽出するデータ抽出部と、
前記データ抽出部により抽出された前記部分領域のデータを含むビットストリームを生成するビットストリーム生成部と
をさらに備える（２１）乃至（３６）のいずれかに記載の画像処理装置。
（３８） 前記データ抽出部は、前記時間解像度に応じたピクチャから、前記部分領域のデータを抽出する
（３７）に記載の画像処理装置。
（３９） 前記解析部の解析結果に従って、前記ビットストリームから所望の部分領域のデータを復号する復号部をさらに備える
（２１）乃至（３６）のいずれかに記載の画像処理装置。
（４０） 前記復号部は、前記時間解像度に応じたピクチャの前記部分領域のデータを復号する
（３９）に記載の画像処理装置。
（４１） 画像データが符号化されたビットストリームに含まれる、前記画像データの部分領域毎の時間解像度を示す情報を解析する
画像処理方法。
（５１） 符号化する画像データの部分領域毎の時間解像度を設定する時間解像度設定部と、
前記画像データを符号化し、前記時間解像度設定部により設定された前記部分領域毎の前記時間解像度を示す情報を含むビットストリームを生成する符号化部と
を備える画像処理装置。
（５２） 前記部分領域を設定する部分領域設定部をさらに備え、
前記時間解像度設定部は、前記部分領域設定部により設定された各部分領域の時間解像度を設定するように構成される
（５１）に記載の画像処理装置。
（５３） 前記ビットストリームは、前記部分領域に関する情報を含む
（５１）または（５２）に記載の画像処理装置。
（５４） 前記部分領域は独立して復号可能なタイルセットである
（５１）乃至（５３）のいずれかに記載の画像処理装置。
（５５） 前記時間解像度を示す前記情報は、前記部分領域毎に設定されるテンポラルIDを含む
（５１）乃至（５４）のいずれかに記載の画像処理装置。
（５６） 前記時間解像度を示す前記情報は、前記部分領域毎に設定されるレベル情報を含む
（５１）乃至（５４）のいずれかに記載の画像処理装置。
（５７） 前記時間解像度を示す情報は、前記部分領域の復号の際に必要なピクチャを示す情報を含む
（５１）乃至（５４）のいずれかに記載の画像処理装置。
（５８） 前記画像データは、視点を中心とする球体状にレンダリングされた全方位画像が単数の平面に展開された平面画像のデータである
（５１）乃至（５７）のいずれかに記載の画像処理装置。
（５９） 前記時間解像度設定部は、前記全方位画像が展開された前記平面画像のより中央に近い位置の部分領域程、前記時間解像度を高く設定する
（５８）に記載の画像処理装置。
（６０） 前記時間解像度設定部は、前記全方位画像が展開された前記平面画像の上下方向について、より中央に近い位置の部分領域程、前記時間解像度を高く設定する
（５９）に記載の画像処理装置。
（６１） 前記時間解像度設定部は、前記全方位画像が展開された前記平面画像の上端近傍の部分領域の前記時間解像度を、前記平面画像の下端近傍の部分領域よりも高く設定する
（６０）に記載の画像処理装置。
（６２） 前記画像データは、視点を中心とする互いに直角な６方向の平面画像が単数の平面に展開された平面画像のデータである
（５１）乃至（５７）のいずれかに記載の画像処理装置。
（６３） 前記時間解像度設定部は、前記６方向の内、前記視点から見て前方の平面画像の前記時間解像度を、他の方向の平面画像よりも高く設定する
（６２）に記載の画像処理装置。
（６４） 前記時間解像度設定部は、前記６方向の内、前記視点から見て左方、右方、および後方の平面画像の前記時間解像度を、前記視点から見て上方および下方の平面画像よりも高く設定する
（６３）に記載の画像処理装置。
（６５） 前記時間解像度設定部は、前記６方向の内、前記視点から見て左方および右方の平面画像の前記時間解像度を、前記視点から見て後方の平面画像よりも高く設定する
（６４）に記載の画像処理装置。
（６６） 前記時間解像度設定部は、前記６方向の内、前記視点から見て上方の平面画像の前記時間解像度を、前記視点から見て下方の平面画像よりも高く設定する
（６５）に記載の画像処理装置。
（６７） 前記符号化部は、前記時間解像度設定部により設定された前記部分領域毎の前記時間解像度に基づいて、前記画像データの各ピクチャについて、カレントピクチャ含まれる部分領域を符号化する
（５１）乃至（６６）のいずれかに記載の画像処理装置。
（６８） 前記ビットストリームは、復号の際のピクチャの前記部分領域以外の領域の補完方法に関する情報を含む
（６７）に記載の画像処理装置。
（６９） 符号化する画像データの部分領域毎の時間解像度を設定し、
前記画像データを符号化し、設定された前記部分領域毎の前記時間解像度を示す情報を含むビットストリームを生成する
画像処理方法。
前記画像データを符号化し、前記時間解像度設定部により設定された前記部分領域毎の前記時間解像度を示す情報を含むビットストリームを生成する符号化部と
を備える画像処理装置。
（５２） 前記部分領域を設定する部分領域設定部をさらに備え、
前記時間解像度設定部は、前記部分領域設定部により設定された各部分領域の時間解像度を設定するように構成される
（５１）に記載の画像処理装置。
（５３） 前記ビットストリームは、前記部分領域に関する情報を含む
（５１）または（５２）に記載の画像処理装置。
（５４） 前記部分領域は独立して復号可能なタイルセットである
（５１）乃至（５３）のいずれかに記載の画像処理装置。
（５５） 前記時間解像度を示す前記情報は、前記部分領域毎に設定されるテンポラルIDを含む
（５１）乃至（５４）のいずれかに記載の画像処理装置。
（５６） 前記時間解像度を示す前記情報は、前記部分領域毎に設定されるレベル情報を含む
（５１）乃至（５４）のいずれかに記載の画像処理装置。
（５７） 前記時間解像度を示す情報は、前記部分領域の復号の際に必要なピクチャを示す情報を含む
（５１）乃至（５４）のいずれかに記載の画像処理装置。
（５８） 前記画像データは、視点を中心とする球体状にレンダリングされた全方位画像が単数の平面に展開された平面画像のデータである
（５１）乃至（５７）のいずれかに記載の画像処理装置。
（５９） 前記時間解像度設定部は、前記全方位画像が展開された前記平面画像のより中央に近い位置の部分領域程、前記時間解像度を高く設定する
（５８）に記載の画像処理装置。
（６０） 前記時間解像度設定部は、前記全方位画像が展開された前記平面画像の上下方向について、より中央に近い位置の部分領域程、前記時間解像度を高く設定する
（５９）に記載の画像処理装置。
（６１） 前記時間解像度設定部は、前記全方位画像が展開された前記平面画像の上端近傍の部分領域の前記時間解像度を、前記平面画像の下端近傍の部分領域よりも高く設定する
（６０）に記載の画像処理装置。
（６２） 前記画像データは、視点を中心とする互いに直角な６方向の平面画像が単数の平面に展開された平面画像のデータである
（５１）乃至（５７）のいずれかに記載の画像処理装置。
（６３） 前記時間解像度設定部は、前記６方向の内、前記視点から見て前方の平面画像の前記時間解像度を、他の方向の平面画像よりも高く設定する
（６２）に記載の画像処理装置。
（６４） 前記時間解像度設定部は、前記６方向の内、前記視点から見て左方、右方、および後方の平面画像の前記時間解像度を、前記視点から見て上方および下方の平面画像よりも高く設定する
（６３）に記載の画像処理装置。
（６５） 前記時間解像度設定部は、前記６方向の内、前記視点から見て左方および右方の平面画像の前記時間解像度を、前記視点から見て後方の平面画像よりも高く設定する
（６４）に記載の画像処理装置。
（６６） 前記時間解像度設定部は、前記６方向の内、前記視点から見て上方の平面画像の前記時間解像度を、前記視点から見て下方の平面画像よりも高く設定する
（６５）に記載の画像処理装置。
（６７） 前記符号化部は、前記時間解像度設定部により設定された前記部分領域毎の前記時間解像度に基づいて、前記画像データの各ピクチャについて、カレントピクチャ含まれる部分領域を符号化する
（５１）乃至（６６）のいずれかに記載の画像処理装置。
（６８） 前記ビットストリームは、復号の際のピクチャの前記部分領域以外の領域の補完方法に関する情報を含む
（６７）に記載の画像処理装置。
（６９） 符号化する画像データの部分領域毎の時間解像度を設定し、
前記画像データを符号化し、設定された前記部分領域毎の前記時間解像度を示す情報を含むビットストリームを生成する
画像処理方法。
（７１） 画像データが符号化されたビットストリームに含まれる、前記画像データの部分領域毎の時間解像度を示す情報を解析する解析部を備える
画像処理装置。
（７２） 前記ビットストリームは、前記部分領域に関する情報を含む
（７１）に記載の画像処理装置。
（７３） 前記部分領域は独立して復号可能なタイルセットである
（７１）または（７２）に記載の画像処理装置。
（７４） 前記時間解像度を示す前記情報は、前記部分領域毎に設定されるテンポラルIDを含む
（７１）乃至（７３）のいずれかに記載の画像処理装置。
（７５） 前記時間解像度を示す前記情報は、前記部分領域毎に設定されるレベル情報を含む
（７１）乃至（７３）のいずれかに記載の画像処理装置。
（７６） 前記時間解像度を示す情報は、前記部分領域の復号の際に必要なピクチャを示す情報を含む
（７１）乃至（７３）のいずれかに記載の画像処理装置。
（７７） 前記画像データは、視点を中心とする球体状にレンダリングされた全方位画像が単数の平面に展開された平面画像のデータである
（７１）乃至（７６）のいずれかに記載の画像処理装置。
（７８） 前記画像データは、前記全方位画像が展開された前記平面画像のより中央に近い位置の部分領域程、前記時間解像度が高く設定されている
（７７）に記載の画像処理装置。
（７９） 前記画像データは、前記全方位画像が展開された前記平面画像の上下方向について、より中央に近い位置の部分領域程、前記時間解像度が高く設定されている
（７８）に記載の画像処理装置。
（８０） 前記画像データは、前記全方位画像が展開された前記平面画像の上端近傍の部分領域の前記時間解像度が、前記平面画像の下端近傍の部分領域よりも高く設定されている
（７９）に記載の画像処理装置。
（８１） 前記画像データは、視点を中心とする互いに直角な６方向の平面画像が単数の平面に展開された平面画像のデータである
（７１）乃至（７６）のいずれかに記載の画像処理装置。
（８２） 前記画像データは、前記６方向の内、前記視点から見て前方の平面画像の前記時間解像度が、他の方向の平面画像よりも高く設定されている
（８１）に記載の画像処理装置。
（８３） 前記画像データは、前記６方向の内、前記視点から見て左方、右方、および後方の平面画像の前記時間解像度が、前記視点から見て上方および下方の平面画像よりも高く設定されている
（８２）に記載の画像処理装置。
（８４） 前記画像データは、前記６方向の内、前記視点から見て左方および右方の平面画像の前記時間解像度が、前記視点から見て後方の平面画像よりも高く設定されている
（８３）に記載の画像処理装置。
（８５） 前記画像データは、前記６方向の内、前記視点から見て上方の平面画像の前記時間解像度が、前記視点から見て下方の平面画像よりも高く設定されている
（８４）に記載の画像処理装置。
（８６） 前記解析部の解析結果に従って、前記ビットストリームに含まれる前記画像データの符号化データの内、所望の部分領域の符号化データを復号する復号部をさらに備える
（７１）乃至（８５）のいずれかに記載の画像処理装置。
（８７） 前記復号部は、前記解析部により解析された前記部分領域毎の前記時間解像度に基づいて、前記画像データの各ピクチャについて、カレントピクチャ含まれる部分領域の符号化データを復号する
（８６）に記載の画像処理装置。
（８８） 前記復号部は、カレントピクチャの前記部分領域以外の領域を補完する
（８７）に記載の画像処理装置。
（８９） 前記復号部は、前記カレントピクチャの前記部分領域以外の領域を、前記カレントピクチャと異なる他のピクチャの画像の複製、前記カレントピクチャと異なる複数の他のピクチャの画像の平均、または、新たに生成した画像を用いて補完する
（８８）に記載の画像処理装置。
（９０） 前記復号部は、前記カレントピクチャの前記部分領域以外の領域を、前記ビットストリームに含まれる、前記カレントピクチャの前記部分領域以外の領域の補完方法に関する情報に対応する方法を用いて補完する
（８８）に記載の画像処理装置。
（９１） 前記解析部の解析結果に従って、前記ビットストリームから所望の部分領域のデータを抽出するデータ抽出部と、
前記データ抽出部により抽出された前記部分領域のデータを含むビットストリームを生成するビットストリーム生成部と
をさらに備える（７１）乃至（８５）のいずれかに記載の画像処理装置。
（９２） 画像データが符号化されたビットストリームに含まれる、前記画像データの部分領域毎の時間解像度を示す情報を解析する
画像処理方法。
画像処理装置。
（７２） 前記ビットストリームは、前記部分領域に関する情報を含む
（７１）に記載の画像処理装置。
（７３） 前記部分領域は独立して復号可能なタイルセットである
（７１）または（７２）に記載の画像処理装置。
（７４） 前記時間解像度を示す前記情報は、前記部分領域毎に設定されるテンポラルIDを含む
（７１）乃至（７３）のいずれかに記載の画像処理装置。
（７５） 前記時間解像度を示す前記情報は、前記部分領域毎に設定されるレベル情報を含む
（７１）乃至（７３）のいずれかに記載の画像処理装置。
（７６） 前記時間解像度を示す情報は、前記部分領域の復号の際に必要なピクチャを示す情報を含む
（７１）乃至（７３）のいずれかに記載の画像処理装置。
（７７） 前記画像データは、視点を中心とする球体状にレンダリングされた全方位画像が単数の平面に展開された平面画像のデータである
（７１）乃至（７６）のいずれかに記載の画像処理装置。
（７８） 前記画像データは、前記全方位画像が展開された前記平面画像のより中央に近い位置の部分領域程、前記時間解像度が高く設定されている
（７７）に記載の画像処理装置。
（７９） 前記画像データは、前記全方位画像が展開された前記平面画像の上下方向について、より中央に近い位置の部分領域程、前記時間解像度が高く設定されている
（７８）に記載の画像処理装置。
（８０） 前記画像データは、前記全方位画像が展開された前記平面画像の上端近傍の部分領域の前記時間解像度が、前記平面画像の下端近傍の部分領域よりも高く設定されている
（７９）に記載の画像処理装置。
（８１） 前記画像データは、視点を中心とする互いに直角な６方向の平面画像が単数の平面に展開された平面画像のデータである
（７１）乃至（７６）のいずれかに記載の画像処理装置。
（８２） 前記画像データは、前記６方向の内、前記視点から見て前方の平面画像の前記時間解像度が、他の方向の平面画像よりも高く設定されている
（８１）に記載の画像処理装置。
（８３） 前記画像データは、前記６方向の内、前記視点から見て左方、右方、および後方の平面画像の前記時間解像度が、前記視点から見て上方および下方の平面画像よりも高く設定されている
（８２）に記載の画像処理装置。
（８４） 前記画像データは、前記６方向の内、前記視点から見て左方および右方の平面画像の前記時間解像度が、前記視点から見て後方の平面画像よりも高く設定されている
（８３）に記載の画像処理装置。
（８５） 前記画像データは、前記６方向の内、前記視点から見て上方の平面画像の前記時間解像度が、前記視点から見て下方の平面画像よりも高く設定されている
（８４）に記載の画像処理装置。
（８６） 前記解析部の解析結果に従って、前記ビットストリームに含まれる前記画像データの符号化データの内、所望の部分領域の符号化データを復号する復号部をさらに備える
（７１）乃至（８５）のいずれかに記載の画像処理装置。
（８７） 前記復号部は、前記解析部により解析された前記部分領域毎の前記時間解像度に基づいて、前記画像データの各ピクチャについて、カレントピクチャ含まれる部分領域の符号化データを復号する
（８６）に記載の画像処理装置。
（８８） 前記復号部は、カレントピクチャの前記部分領域以外の領域を補完する
（８７）に記載の画像処理装置。
（８９） 前記復号部は、前記カレントピクチャの前記部分領域以外の領域を、前記カレントピクチャと異なる他のピクチャの画像の複製、前記カレントピクチャと異なる複数の他のピクチャの画像の平均、または、新たに生成した画像を用いて補完する
（８８）に記載の画像処理装置。
（９０） 前記復号部は、前記カレントピクチャの前記部分領域以外の領域を、前記ビットストリームに含まれる、前記カレントピクチャの前記部分領域以外の領域の補完方法に関する情報に対応する方法を用いて補完する
（８８）に記載の画像処理装置。
（９１） 前記解析部の解析結果に従って、前記ビットストリームから所望の部分領域のデータを抽出するデータ抽出部と、
前記データ抽出部により抽出された前記部分領域のデータを含むビットストリームを生成するビットストリーム生成部と
をさらに備える（７１）乃至（８５）のいずれかに記載の画像処理装置。
（９２） 画像データが符号化されたビットストリームに含まれる、前記画像データの部分領域毎の時間解像度を示す情報を解析する
画像処理方法。
（１０１） 符号化する画像データの部分領域毎の時間解像度を設定する時間解像度設定部と、
前記部分領域毎の、前記時間解像度設定部により設定された前記時間解像度のビットストリームを生成する符号化部と
を備える画像処理装置。
（１０２） 前記部分領域を設定する部分領域設定部をさらに備え、
前記時間解像度設定部は、前記部分領域設定部により設定された各部分領域の時間解像度を設定するように構成され、
前記符号化部は、前記部分領域設定部により設定された部分領域毎の前記ビットストリームを生成するように構成される
（１０１）に記載の画像処理装置。
（１０３） 前記部分領域は独立して復号可能なタイルセットである
（１０１）または（１０２）に記載の画像処理装置。
（１０４） 前記画像データは、視点を中心とする球体状にレンダリングされた全方位画像が単数の平面に展開された平面画像のデータである
（１０１）乃至（１０３）のいずれかに記載の画像処理装置。
（１０５） 前記時間解像度設定部は、前記全方位画像が展開された前記平面画像のより中央に近い位置の部分領域程、前記時間解像度を高く設定する
（１０４）に記載の画像処理装置。
（１０６） 前記時間解像度設定部は、前記全方位画像が展開された前記平面画像の上下方向について、より中央に近い位置の部分領域程、前記時間解像度を高く設定する
（１０５）に記載の画像処理装置。
（１０７） 前記時間解像度設定部は、前記全方位画像が展開された前記平面画像の上端近傍の部分領域の前記時間解像度を、前記平面画像の下端近傍の部分領域よりも高く設定する
（１０６）に記載の画像処理装置。
（１０８） 前記画像データは、視点を中心とする互いに直角な６方向の平面画像が単数の平面に展開された平面画像のデータである
（１０１）乃至（１０３）のいずれかに記載の画像処理装置。
（１０９） 前記時間解像度設定部は、前記６方向の内、前記視点から見て前方の平面画像の前記時間解像度を、他の方向の平面画像よりも高く設定する
（１０８）に記載の画像処理装置。
（１１０） 前記時間解像度設定部は、前記６方向の内、前記視点から見て左方、右方、および後方の平面画像の前記時間解像度を、前記視点から見て上方および下方の平面画像よりも高く設定する
（１０９）に記載の画像処理装置。
（１１１） 前記時間解像度設定部は、前記６方向の内、前記視点から見て左方および右方の平面画像の前記時間解像度を、前記視点から見て後方の平面画像よりも高く設定する
（１１０）に記載の画像処理装置。
（１１２） 前記時間解像度設定部は、前記６方向の内、前記視点から見て上方の平面画像の前記時間解像度を、前記視点から見て下方の平面画像よりも高く設定する
（１１１）に記載の画像処理装置。
（１１３） 符号化する画像データの部分領域毎の時間解像度を設定し、
前記部分領域毎の、設定された前記時間解像度のビットストリームを生成する
画像処理方法。
前記部分領域毎の、前記時間解像度設定部により設定された前記時間解像度のビットストリームを生成する符号化部と
を備える画像処理装置。
（１０２） 前記部分領域を設定する部分領域設定部をさらに備え、
前記時間解像度設定部は、前記部分領域設定部により設定された各部分領域の時間解像度を設定するように構成され、
前記符号化部は、前記部分領域設定部により設定された部分領域毎の前記ビットストリームを生成するように構成される
（１０１）に記載の画像処理装置。
（１０３） 前記部分領域は独立して復号可能なタイルセットである
（１０１）または（１０２）に記載の画像処理装置。
（１０４） 前記画像データは、視点を中心とする球体状にレンダリングされた全方位画像が単数の平面に展開された平面画像のデータである
（１０１）乃至（１０３）のいずれかに記載の画像処理装置。
（１０５） 前記時間解像度設定部は、前記全方位画像が展開された前記平面画像のより中央に近い位置の部分領域程、前記時間解像度を高く設定する
（１０４）に記載の画像処理装置。
（１０６） 前記時間解像度設定部は、前記全方位画像が展開された前記平面画像の上下方向について、より中央に近い位置の部分領域程、前記時間解像度を高く設定する
（１０５）に記載の画像処理装置。
（１０７） 前記時間解像度設定部は、前記全方位画像が展開された前記平面画像の上端近傍の部分領域の前記時間解像度を、前記平面画像の下端近傍の部分領域よりも高く設定する
（１０６）に記載の画像処理装置。
（１０８） 前記画像データは、視点を中心とする互いに直角な６方向の平面画像が単数の平面に展開された平面画像のデータである
（１０１）乃至（１０３）のいずれかに記載の画像処理装置。
（１０９） 前記時間解像度設定部は、前記６方向の内、前記視点から見て前方の平面画像の前記時間解像度を、他の方向の平面画像よりも高く設定する
（１０８）に記載の画像処理装置。
（１１０） 前記時間解像度設定部は、前記６方向の内、前記視点から見て左方、右方、および後方の平面画像の前記時間解像度を、前記視点から見て上方および下方の平面画像よりも高く設定する
（１０９）に記載の画像処理装置。
（１１１） 前記時間解像度設定部は、前記６方向の内、前記視点から見て左方および右方の平面画像の前記時間解像度を、前記視点から見て後方の平面画像よりも高く設定する
（１１０）に記載の画像処理装置。
（１１２） 前記時間解像度設定部は、前記６方向の内、前記視点から見て上方の平面画像の前記時間解像度を、前記視点から見て下方の平面画像よりも高く設定する
（１１１）に記載の画像処理装置。
（１１３） 符号化する画像データの部分領域毎の時間解像度を設定し、
前記部分領域毎の、設定された前記時間解像度のビットストリームを生成する
画像処理方法。
１００ 画像処理システム， １１１ 撮像装置， １１２ 画像変換装置， １１３ 符号化装置， １１４ 送信装置， １２０ ネットワーク， １３１ 受信装置， １３２ ビットストリーム変換装置， １３３ 復号装置， １３４ 画像変換装置， １３５ 表示装置， ２１０ 前処理部， ２３１ 領域別フレームレート設定部， ２３２ タイルセット設定部， ２３３ テンポラルID設定部， ２３４ 符号化制御部， ２３５ レベル情報設定部， ２３６ MCTSSEI設定部， ２３７ パラメータセット生成部， ２５１ 制御部， ２５２ データ抽出部， ２５３ メタデータ更新部， ２５４ ビットストリーム生成部， ２７２ 復号部， ４００ 画像処理システム， ４１１ 復号装置， ４２１ 領域別フレームレート設定部， ４２２ 領域設定部， ４２３ 領域別テンポラルID設定部， ４２４ 符号化制御部， ４２５ パラメータセット生成部， ４４１ 復号領域判定部， ４４２ 復号部， ５１０ ビットストリーム， ５２０ ビットストリーム， ５３０ ビットストリーム， ５４０ ビットストリーム， ８００ コンピュータ， １６００ ネットワークシステム， １６０１ クラウドサービス， １６１１ コンピュータ， １６１２ AV機器， １６１３ 携帯型情報処理端末， １６１４ IoTデバイス
Claims (20)
- 符号化する画像データの部分領域毎の時間解像度を設定する時間解像度設定部と、
前記画像データを符号化し、前記時間解像度設定部により設定された前記部分領域毎の前記時間解像度を示す情報を含むビットストリームを生成する符号化部と
を備える画像処理装置。 - 前記部分領域は独立して復号可能なタイルセットである
請求項１に記載の画像処理装置。 - 前記ビットストリームは、前記部分領域に関する情報を含む
請求項１に記載の画像処理装置。 - 前記時間解像度を示す前記情報は、前記画像データのピクチャ毎に設定されるテンポラルIDと、前記部分領域毎に設定されるレベル情報とを含む
請求項１に記載の画像処理装置。 - 前記画像データは、視点を中心とする球体状にレンダリングされた全方位画像が単数の平面に展開された平面画像のデータである
請求項１に記載の画像処理装置。 - 前記時間解像度設定部は、前記全方位画像が展開された前記平面画像のより中央に近い位置の部分領域程、前記時間解像度を高く設定する
請求項５に記載の画像処理装置。 - 前記画像データは、視点を中心とする互いに直角な６方向の平面画像が単数の平面に展開された平面画像のデータである
請求項１に記載の画像処理装置。 - 前記時間解像度設定部は、前記６方向の内、前記視点から見て前方の平面画像の前記時間解像度を、他の方向の平面画像よりも高く設定する
請求項７に記載の画像処理装置。 - 前記部分領域を設定する部分領域設定部をさらに備え、
前記時間解像度設定部は、前記部分領域設定部により設定された各部分領域の時間解像度を設定するように構成される
請求項１に記載の画像処理装置。 - 前記時間解像度を示す前記情報は、前記部分領域毎に設定されるテンポラルIDを含む
請求項１に記載の画像処理装置。 - 前記符号化部は、前記時間解像度設定部により設定された前記部分領域毎の前記時間解像度に基づいて、前記画像データの各ピクチャについて、カレントピクチャ含まれる部分領域を符号化する
請求項１に記載の画像処理装置。 - 前記ビットストリームは、復号の際のピクチャの前記部分領域以外の領域の補完方法に関する情報を含む
請求項１１に記載の画像処理装置。 - 前記符号化部は、前記部分領域毎の、前記時間解像度設定部により設定された前記時間解像度のビットストリームを生成する
請求項１に記載の画像処理装置。 - 符号化する画像データの部分領域毎の時間解像度を設定し、
前記画像データを符号化し、設定された前記部分領域毎の前記時間解像度を示す情報を含むビットストリームを生成する
画像処理方法。 - 画像データが符号化されたビットストリームに含まれる、前記画像データの部分領域毎の時間解像度を示す情報を解析する解析部を備える
画像処理装置。 - 前記解析部の解析結果に従って、前記ビットストリームから所望の部分領域のデータを抽出するデータ抽出部と、
前記データ抽出部により抽出された前記部分領域のデータを含むビットストリームを生成するビットストリーム生成部と
をさらに備える請求項１５に記載の画像処理装置。 - 前記解析部の解析結果に従って、前記ビットストリームに含まれる前記画像データの符号化データの内、所望の部分領域の符号化データを復号する復号部をさらに備える
請求項１５に記載の画像処理装置。 - 前記復号部は、前記解析部により解析された前記部分領域毎の前記時間解像度に基づいて、前記画像データの各ピクチャについて、カレントピクチャ含まれる部分領域の符号化データを復号する
請求項１７に記載の画像処理装置。 - 前記復号部は、前記カレントピクチャの前記部分領域以外の領域を、前記カレントピクチャと異なる他のピクチャの画像の複製、前記カレントピクチャと異なる複数の他のピクチャの画像の平均、または、新たに生成した画像を用いて補完する
請求項１８に記載の画像処理装置。 - 画像データが符号化されたビットストリームに含まれる、前記画像データの部分領域毎の時間解像度を示す情報を解析する
画像処理方法。
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2017007743 | 2017-01-19 | ||
| JP2017007743 | 2017-01-19 | ||
| PCT/JP2018/000098 WO2018135321A1 (ja) | 2017-01-19 | 2018-01-05 | 画像処理装置および方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JPWO2018135321A1 true JPWO2018135321A1 (ja) | 2019-11-07 |
Family
ID=62908160
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2018563271A Pending JPWO2018135321A1 (ja) | 2017-01-19 | 2018-01-05 | 画像処理装置および方法 |
Country Status (4)
| Country | Link |
|---|---|
| US (1) | US10944975B2 (ja) |
| JP (1) | JPWO2018135321A1 (ja) |
| CN (1) | CN110169069A (ja) |
| WO (1) | WO2018135321A1 (ja) |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10979663B2 (en) * | 2017-03-30 | 2021-04-13 | Yerba Buena Vr, Inc. | Methods and apparatuses for image processing to optimize image resolution and for optimizing video streaming bandwidth for VR videos |
| EP3721625A1 (en) * | 2017-12-06 | 2020-10-14 | V-Nova International Limited | Methods and apparatuses for hierarchically encoding and decoding a bytestream |
| WO2020185813A1 (en) * | 2019-03-11 | 2020-09-17 | Tencent America LLC | Tile and sub-picture partitioning |
| US11164339B2 (en) * | 2019-11-12 | 2021-11-02 | Sony Interactive Entertainment Inc. | Fast region of interest coding using multi-segment temporal resampling |
| EP4250282A1 (en) | 2021-06-07 | 2023-09-27 | Samsung Electronics Co., Ltd. | Display device and control method thereof |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2015197815A1 (en) * | 2014-06-27 | 2015-12-30 | Koninklijke Kpn N.V. | Determining a region of interest on the basis of a hevc-tiled video stream |
| US20160094606A1 (en) * | 2014-09-29 | 2016-03-31 | Avaya Inc. | Segmented video codec for high resolution and high frame rate video |
| WO2016076680A1 (en) * | 2014-11-14 | 2016-05-19 | Samsung Electronics Co., Ltd. | Coding of 360 degree videos using region adaptive smoothing |
| JP2016127536A (ja) * | 2015-01-07 | 2016-07-11 | キヤノン株式会社 | 画像復号装置、画像復号方法、及びプログラム |
Family Cites Families (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH10271509A (ja) * | 1997-03-26 | 1998-10-09 | Sharp Corp | 画像符号化装置及び画像復号装置 |
| JP4475513B2 (ja) * | 2003-08-29 | 2010-06-09 | 株式会社リコー | 画像処理装置、プログラム、及び、記録媒体 |
| JP4895042B2 (ja) | 2007-07-20 | 2012-03-14 | 富士フイルム株式会社 | 画像圧縮装置、画像圧縮方法、及びプログラム |
| JP5199196B2 (ja) * | 2009-08-04 | 2013-05-15 | 日本電信電話株式会社 | 動画像復号方法，動画像復号装置および動画像復号プログラム |
| WO2012132267A1 (ja) * | 2011-03-31 | 2012-10-04 | パナソニック株式会社 | 全方向ステレオ画像出力装置 |
| JP2013247663A (ja) * | 2012-05-29 | 2013-12-09 | Toshiba Corp | 映像再生装置、映像再生方法及び映像符号化方法 |
| JP6214235B2 (ja) | 2012-07-02 | 2017-10-18 | キヤノン株式会社 | ファイル生成方法、ファイル生成装置、及びプログラム |
| JP6483028B2 (ja) * | 2014-05-23 | 2019-03-13 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ | 画像符号化方法及び画像符号化装置 |
| KR20240044535A (ko) * | 2016-02-09 | 2024-04-04 | 프라운호퍼 게젤샤프트 쭈르 푀르데룽 데어 안겐반텐 포르슝 에. 베. | 효율적인 감소성 또는 효율적인 랜덤 액세스를 허용하는 픽처/비디오 데이터 스트림들에 대한 개념 |
| US10147224B2 (en) * | 2016-02-16 | 2018-12-04 | Samsung Electronics Co., Ltd. | Method and apparatus for generating omni media texture mapping metadata |
-
2018
- 2018-01-05 WO PCT/JP2018/000098 patent/WO2018135321A1/ja active Application Filing
- 2018-01-05 JP JP2018563271A patent/JPWO2018135321A1/ja active Pending
- 2018-01-05 US US16/477,627 patent/US10944975B2/en active Active
- 2018-01-05 CN CN201880006851.3A patent/CN110169069A/zh not_active Withdrawn
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2015197815A1 (en) * | 2014-06-27 | 2015-12-30 | Koninklijke Kpn N.V. | Determining a region of interest on the basis of a hevc-tiled video stream |
| US20160094606A1 (en) * | 2014-09-29 | 2016-03-31 | Avaya Inc. | Segmented video codec for high resolution and high frame rate video |
| WO2016076680A1 (en) * | 2014-11-14 | 2016-05-19 | Samsung Electronics Co., Ltd. | Coding of 360 degree videos using region adaptive smoothing |
| JP2016127536A (ja) * | 2015-01-07 | 2016-07-11 | キヤノン株式会社 | 画像復号装置、画像復号方法、及びプログラム |
Non-Patent Citations (1)
| Title |
|---|
| K. KAMMACHI SREEDHAR, A. AMINLOU, AND M. M. HANNUKSELA: "AHG8: Test results for viewport-dependent pyramid, cube map, and equirectangular panorama schemes", JOINT VIDEO EXPLORATION TEAM (JVET) OF ITU-T SG 16 WP 3 AND ISO/IEC JTC 1/SC 29/WG 11, vol. JVET-D0078, JPN6021048236, October 2016 (2016-10-01), pages 1 - 7, ISSN: 0004786178 * |
Also Published As
| Publication number | Publication date |
|---|---|
| US20190342563A1 (en) | 2019-11-07 |
| US10944975B2 (en) | 2021-03-09 |
| WO2018135321A1 (ja) | 2018-07-26 |
| CN110169069A (zh) | 2019-08-23 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| WO2018135321A1 (ja) | 画像処理装置および方法 | |
| TW201840178A (zh) | 適應性擾動立方體之地圖投影 | |
| US9538239B2 (en) | Decoder and method for decoding encoded input data containing a plurality of blocks or packets | |
| US20220007028A1 (en) | Method and device for signaling information on chroma format | |
| US11356690B2 (en) | Image processing apparatus and method | |
| US11917194B2 (en) | Image encoding/decoding method and apparatus based on wrap-around motion compensation, and recording medium storing bitstream | |
| US20230085554A1 (en) | Image encoding/decoding method and apparatus for signaling image feature information, and method for transmitting bitstream | |
| US11785245B2 (en) | Image encoding/decoding method and device on basis of wrap-around motion compensation, and recording medium storing bitstream | |
| CN113273192A (zh) | 使用mpm列表的基于帧内预测的视频编码方法及装置 | |
| CN115244938A (zh) | 基于预测加权表对图像/视频进行编译的方法和装置 | |
| CN114982245A (zh) | 基于滤波的图像编码装置和方法 | |
| CN114631319A (zh) | 图像处理装置和方法 | |
| CN115088263A (zh) | 基于预测加权表的图像/视频编译方法和设备 | |
| US20140192881A1 (en) | Video processing system with temporal prediction mechanism and method of operation thereof | |
| CN115244927A (zh) | 图像/视频编码***中的帧间预测方法和设备 | |
| CN115280783A (zh) | 用于图像/视频编码的加权预测的方法和装置 | |
| CN114762351A (zh) | 图像/视频编译方法和装置 | |
| Hu et al. | Mobile edge assisted live streaming system for omnidirectional video | |
| US20230308674A1 (en) | Method and apparatus for encoding/decoding image on basis of cpi sei message, and recording medium having bitstream stored therein | |
| JP2024513689A (ja) | 没入型ビデオの前処理 | |
| CN115104314A (zh) | 基于加权预测的图像/视频编译方法及装置 | |
| CN114982242A (zh) | 发信号通知图片分割信息的方法和设备 | |
| CN114762350A (zh) | 基于切片类型的图像/视频编译方法和设备 | |
| CN115088264A (zh) | 图像/视频编码/解码方法和使用该方法的设备 | |
| CN114788291A (zh) | 用于处理图像信息以进行图像/视频编译的方法和装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20201119 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20211207 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20220531 |