JPWO2018135321A1 - 画像処理装置および方法 - Google Patents
画像処理装置および方法 Download PDFInfo
- Publication number
- JPWO2018135321A1 JPWO2018135321A1 JP2018563271A JP2018563271A JPWO2018135321A1 JP WO2018135321 A1 JPWO2018135321 A1 JP WO2018135321A1 JP 2018563271 A JP2018563271 A JP 2018563271A JP 2018563271 A JP2018563271 A JP 2018563271A JP WO2018135321 A1 JPWO2018135321 A1 JP WO2018135321A1
- Authority
- JP
- Japan
- Prior art keywords
- image
- unit
- data
- image processing
- partial area
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012545 processing Methods 0.000 title claims abstract description 210
- 238000000034 method Methods 0.000 title claims abstract description 131
- 230000002123 temporal effect Effects 0.000 claims description 224
- 238000013075 data extraction Methods 0.000 claims description 27
- 238000004458 analytical method Methods 0.000 claims description 25
- 239000000284 extract Substances 0.000 claims description 18
- 238000003672 processing method Methods 0.000 claims description 11
- 238000012935 Averaging Methods 0.000 claims description 2
- 238000006243 chemical reaction Methods 0.000 abstract description 62
- 230000009467 reduction Effects 0.000 abstract description 22
- 238000004891 communication Methods 0.000 abstract description 20
- 230000008569 process Effects 0.000 description 70
- 238000005516 engineering process Methods 0.000 description 44
- 238000013139 quantization Methods 0.000 description 35
- 239000000872 buffer Substances 0.000 description 32
- 238000004364 calculation method Methods 0.000 description 27
- 238000007781 pre-processing Methods 0.000 description 26
- 230000005540 biological transmission Effects 0.000 description 19
- 238000010586 diagram Methods 0.000 description 18
- 230000008707 rearrangement Effects 0.000 description 17
- 230000006870 function Effects 0.000 description 14
- 238000009825 accumulation Methods 0.000 description 13
- 238000003384 imaging method Methods 0.000 description 12
- 230000033001 locomotion Effects 0.000 description 11
- 230000010365 information processing Effects 0.000 description 6
- 230000000295 complement effect Effects 0.000 description 5
- 238000012544 monitoring process Methods 0.000 description 4
- 230000008520 organization Effects 0.000 description 4
- 230000000750 progressive effect Effects 0.000 description 4
- 238000001914 filtration Methods 0.000 description 3
- 230000000153 supplemental effect Effects 0.000 description 3
- BROYWHABVCPAPN-UHFFFAOYSA-N 1,3-dichloro-4,4,5,5-tetramethylimidazolidin-2-one Chemical compound CC1(C)N(Cl)C(=O)N(Cl)C1(C)C BROYWHABVCPAPN-UHFFFAOYSA-N 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 244000144972 livestock Species 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 239000012536 storage buffer Substances 0.000 description 2
- 239000013598 vector Substances 0.000 description 2
- 241000251468 Actinopterygii Species 0.000 description 1
- 241000271566 Aves Species 0.000 description 1
- 241000938605 Crocodylia Species 0.000 description 1
- 241000196324 Embryophyta Species 0.000 description 1
- 241000238631 Hexapoda Species 0.000 description 1
- 241000124008 Mammalia Species 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000003796 beauty Effects 0.000 description 1
- 230000010267 cellular communication Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000005065 mining Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000002265 prevention Effects 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/167—Position within a video image, e.g. region of interest [ROI]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/187—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a scalable video layer
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
- H04N19/31—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the temporal domain
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/46—Embedding additional information in the video signal during the compression process
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/587—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal sub-sampling or interpolation, e.g. decimation or subsequent interpolation of pictures in a video sequence
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
本開示は、符号化効率の低減を抑制することができるようにする画像処理装置および方法に関する。符号化する画像データの部分領域毎の時間解像度を設定し、その画像データを符号化し、設定された部分領域毎の時間解像度を示す情報を含むビットストリームを生成する。または、画像データが符号化されたビットストリームに含まれる、その画像データの部分領域毎の時間解像度を示す情報を解析する。本開示は、例えば、画像処理装置、ビットストリーム変換装置、画像符号化装置、画像復号装置、通信装置等に適用することができる。
Description
本開示は、画像処理装置および方法に関し、特に、符号化効率の低減を抑制することができるようにした画像処理装置および方法に関する。
従来、MPEG-4 Part10 (Advanced Video Coding、以下AVCと記す)より更なる符号化効率の向上を目的として、ITU-T(International Telecommunication Union Telecommunication Standardization Sector)と、ISO/IEC(International Organization for Standardization / International Electrotechnical Commission)の共同の標準化団体であるJCTVC(Joint Collaboration Team - Video Coding)により、HEVC(High Efficiency Video Coding)と呼ばれる符号化方式の標準化が進められている(例えば、非特許文献1参照)。
近年、このような画像符号化方式において符号化の対象とする画像データの解像度が高くなってきた。例えば、VR(Virtual Reality)動画を符号化する場合、視点位置から周囲の画像を平面に展開した平面画像を符号化対象とするため、8K×4K等のような高解像度の画像を符号化することになる。
ITU-T, "SERIES H: AUDIOVISUAL AND MULTIMEDIA SYSTEMS Infrastructure of audiovisual services . Coding of moving video High efficiency video coding", ITU-T H.265 (V3), 2015-04-29
符号化対象の画像が高解像度化すると符号量が増大するため、さらなる符号化効率の向上が求められるが、従来の画像符号化方式の場合、ピクチャ内に、空間解像度が互いに異なる画像が存在することは許容されるものの、時間解像度(フレームレート)が互いに異なる画像が存在することは許容されなかった。そのため、ピクチャの部分領域毎に時間解像度を制御することができず、符号化効率が低減するおそれがあった。
本開示は、このような状況に鑑みてなされたものであり、符号化効率の低減を抑制することができるようにするものである。
本技術の一側面の画像処理装置は、符号化する画像データの部分領域毎の時間解像度を設定する時間解像度設定部と、前記画像データを符号化し、前記時間解像度設定部により設定された前記部分領域毎の前記時間解像度を示す情報を含むビットストリームを生成する符号化部とを備える画像処理装置である。
前記部分領域は独立して復号可能なタイルセットであるようにすることができる。
前記ビットストリームは、前記部分領域に関する情報を含むようにすることができる。
前記時間解像度を示す前記情報は、前記画像データのピクチャ毎に設定されるテンポラルIDと、前記部分領域毎に設定されるレベル情報とを含むようにすることができる。
前記画像データは、視点を中心とする球体状にレンダリングされた全方位画像が単数の平面に展開された平面画像のデータであるようにすることができる。
前記時間解像度設定部は、前記全方位画像が展開された前記平面画像のより中央に近い位置の部分領域程、前記時間解像度を高く設定することができる。
前記画像データは、視点を中心とする互いに直角な6方向の平面画像が単数の平面に展開された平面画像のデータであるようにすることができる。
前記時間解像度設定部は、前記6方向の内、前記視点から見て前方の平面画像の前記時間解像度を、他の方向の平面画像よりも高く設定することができる。
前記部分領域を設定する部分領域設定部をさらに備え、前記時間解像度設定部は、前記部分領域設定部により設定された各部分領域の時間解像度を設定するように構成されるようにすることができる。
前記時間解像度を示す前記情報は、前記部分領域毎に設定されるテンポラルIDを含むようにすることができる。
前記符号化部は、前記時間解像度設定部により設定された前記部分領域毎の前記時間解像度に基づいて、前記画像データの各ピクチャについて、カレントピクチャ含まれる部分領域を符号化することができる。
前記ビットストリームは、復号の際のピクチャの前記部分領域以外の領域の補完方法に関する情報を含むようにすることができる。
前記符号化部は、前記部分領域毎の、前記時間解像度設定部により設定された前記時間解像度のビットストリームを生成することができる。
本技術の一側面の画像処理方法は、符号化する画像データの部分領域毎の時間解像度を設定し、前記画像データを符号化し、設定された前記部分領域毎の前記時間解像度を示す情報を含むビットストリームを生成する画像処理方法である。
本技術の他の側面の画像処理装置は、画像データが符号化されたビットストリームに含まれる、前記画像データの部分領域毎の時間解像度を示す情報を解析する解析部を備える画像処理装置である。
前記解析部の解析結果に従って、前記ビットストリームから所望の部分領域のデータを抽出するデータ抽出部と、前記データ抽出部により抽出された前記部分領域のデータを含むビットストリームを生成するビットストリーム生成部とをさらに備えるようにすることができる。
前記解析部の解析結果に従って、前記ビットストリームに含まれる前記画像データの符号化データの内、所望の部分領域の符号化データを復号する復号部をさらに備えるようにすることができる。
前記復号部は、前記解析部により解析された前記部分領域毎の前記時間解像度に基づいて、前記画像データの各ピクチャについて、カレントピクチャ含まれる部分領域の符号化データを復号することができる。
前記復号部は、前記カレントピクチャの前記部分領域以外の領域を、前記カレントピクチャと異なる他のピクチャの画像の複製、前記カレントピクチャと異なる複数の他のピクチャの画像の平均、または、新たに生成した画像を用いて補完することができる。
本技術の他の側面の画像処理方法は、画像データが符号化されたビットストリームに含まれる、前記画像データの部分領域毎の時間解像度を示す情報を解析する画像処理方法である。
本技術の一側面の画像処理装置および方法においては、符号化する画像データの部分領域毎の時間解像度が設定され、その画像データが符号化され、設定された部分領域毎の時間解像度を示す情報を含むビットストリームが生成される。
本技術の他の側面の画像処理装置および方法においては、画像データが符号化されたビットストリームに含まれる、その画像データの部分領域毎の時間解像度を示す情報が解析される。
本開示によれば、画像を処理することができる。特に、符号化効率の低減を抑制することができる。
以下、本開示を実施するための形態(以下実施の形態とする)について説明する。なお、説明は以下の順序で行う。
1.時間解像度を利用した高符号化効率化
2.第1の実施の形態(HEVCのMCTS SEI利用)
3.第2の実施の形態(部分領域毎のテンポラルID)
4.第3の実施の形態(部分領域毎のビットストリーム化)
5.その他
1.時間解像度を利用した高符号化効率化
2.第1の実施の形態(HEVCのMCTS SEI利用)
3.第2の実施の形態(部分領域毎のテンポラルID)
4.第3の実施の形態(部分領域毎のビットストリーム化)
5.その他
<1.時間解像度を利用した高符号化効率化>
従来、MPEG-4 Part10 (Advanced Video Coding、以下AVCと記す)より更なる符号化効率の向上を目的として、ITU-T(International Telecommunication Union Telecommunication Standardization Sector)と、ISO/IEC(International Organization for Standardization / International Electrotechnical Commission)の共同の標準化団体であるJCTVC(Joint Collaboration Team - Video Coding)により、HEVC(High Efficiency Video Coding)と呼ばれる符号化方式の標準化が進められている。
従来、MPEG-4 Part10 (Advanced Video Coding、以下AVCと記す)より更なる符号化効率の向上を目的として、ITU-T(International Telecommunication Union Telecommunication Standardization Sector)と、ISO/IEC(International Organization for Standardization / International Electrotechnical Commission)の共同の標準化団体であるJCTVC(Joint Collaboration Team - Video Coding)により、HEVC(High Efficiency Video Coding)と呼ばれる符号化方式の標準化が進められている。
近年、このような画像符号化方式において符号化の対象とする画像データの解像度が高くなってきた。例えば、VR(Virtual Reality)動画を符号化する場合、視点位置から周囲の画像を平面に展開した平面画像を符号化対象とするため、8K×4K等のような高解像度の画像を符号化することになる。
符号化対象の画像が高解像度化すると符号量が増大するため、さらなる符号化効率の向上が求められる。例えば、ピクチャ内で重要度の低い領域の空間解像度を低減させることによって情報量を削減し、符号化効率を向上させる方法があるが、主観画質への影響も考慮しなければならず、無限に情報量を削減することができるわけではないし、常にこの方法が適切であるとは限らない。
動画像の情報量は時間解像度を用いても制御することができる。時間解像度とは、時間方向のレート(フレームレートとも称する)のことである。例えば時間解像度を低くする(単位時間当たりのフレーム数を低減させる)ことにより情報量を低減させ、符号化効率を向上させることができる。しかしながら、従来の画像符号化方式の場合、ピクチャ内に、空間解像度が互いに異なる画像が存在することは許容されるものの、時間解像度(フレームレート)が互いに異なる画像が存在することは許容されなかった。
そのため、図1の例のように、ピクチャ単位で削除することによりピクチャ全体のフレームレートを低減させることは可能であるが、ピクチャの一部の領域について時間解像度を制御することができなかった。そのため、主観画質の低減を抑制しながら符号化効率を向上させることが困難であり、結果として符号化効率が低減するおそれがあった。
そこで、符号化する画像データの部分領域毎の時間解像度を設定し、その部分領域毎の時間解像度を示す情報を含むビットストリームを生成するようにする。このようにすることにより、時間解像度を用いてピクチャの情報量を部分的に制御することができるので、より高効率に符号化を行うことができる。
<2.第1の実施の形態>
<画像処理システム>
図2は、本技術を適用した画像処理システムの一態様である画像処理システムの構成の一例を示すブロック図である。図2に示される画像処理システム100は、所謂VR動画の画像データを符号化し、ビットストリームとして伝送し、伝送先においてそのビットストリーム復号して表示するシステムである。
<画像処理システム>
図2は、本技術を適用した画像処理システムの一態様である画像処理システムの構成の一例を示すブロック図である。図2に示される画像処理システム100は、所謂VR動画の画像データを符号化し、ビットストリームとして伝送し、伝送先においてそのビットストリーム復号して表示するシステムである。
図2に示されるように、画像処理システム100は、撮像装置111、画像変換装置112、符号化装置113、送信装置114、受信装置131、ビットストリーム変換装置132、復号装置133、画像変換装置134、および表示装置135を有する。
撮像装置111は、被写体の撮像に関する処理を行う。例えば、撮像装置111は、被写体を撮像し、撮像画像を生成して画像変換装置112に供給する。画像変換装置112は、その撮像画像の変換に関する処理を行う。例えば、画像変換装置112は、撮像装置111から供給される撮像画像のレンダリング等を行ってVR用の動画像を生成する。また、例えば、画像変換装置112は、そのVR用の動画像を平面上に展開し、符号化用の平面画像を生成し、その平面画像を符号化装置113に供給する。
符号化装置113は、画像の符号化に関する処理を行う。例えば、符号化装置113は、画像変換装置112から供給される平面画像を符号化してビットストリームを生成し、そのビットストリームを送信装置114に供給する。送信装置114は、ビットストリームの送信に関する処理を行う。例えば、送信装置114は、符号化装置113から供給されるビットストリームを、ネットワーク120を介して、受信装置131に供給する。
ネットワーク120は、伝送媒体である。ネットワーク120は、例えば任意の通信網により構成される。例えば、ネットワーク120は、有線通信の通信網であってもよいし、無線通信の通信網であってもよいし、それらの両方により構成されるようにしてもよい。また、ネットワーク120が、1の通信網により構成されるようにしてもよいし、複数の通信網により構成されるようにしてもよい。例えば、インターネット、公衆電話回線網、所謂3G回線や4G回線等の無線移動体用の広域通信網、WAN(Wide Area Network)、LAN(Local Area Network)、Bluetooth(登録商標)規格に準拠した通信を行う無線通信網、NFC(Near Field Communication)等の近距離無線通信の通信路、赤外線通信の通信路、HDMI(登録商標)(High-Definition Multimedia Interface)やUSB(Universal Serial Bus)等の規格に準拠した有線通信の通信網等、任意の通信規格の通信網や通信路がネットワーク120に含まれるようにしてもよい。送信装置114および受信装置131は、このネットワーク120に接続されており、このネットワーク120を介してビットストリームの授受を行うことができる。
受信装置131は、ビットストリームの受信に関する処理を行う。例えば、受信装置131は、ネットワーク120を介して送信装置114から供給されるビットストリームを受信し、それをビットストリーム変換装置132に供給する。ビットストリーム変換装置132は、ビットストリームの変換に関する処理を行う。例えば、ビットストリーム変換装置132は、表示装置135からの要求に応じて、受信装置131から供給されるビットストリームから、ユーザの視界内となる部分領域のデータを抽出し、その部分領域のビットストリームを生成し、それを復号装置133に供給する。
復号装置133は、ビットストリームの復号に関する処理を行う。例えば、復号装置133は、ビットストリーム変換装置132から拒給されるビットストリームを(符号化装置113の符号化方式に対応する復号方式により)復号する。復号装置133は、ビットストリームを復号して得られた平面画像のデータを画像変換装置134に供給する。画像変換装置134は、画像の変換に関する処理を行う。例えば、画像変換装置134は、復号装置133から供給される平面画像を3次元空間にレンダリングして、仮想現実空間のユーザの視界内の画像を生成し、それを表示装置135に供給する。
表示装置135は、表示に関する処理を行う。例えば、表示装置135は、画像変換装置134から供給されるユーザの視界内の画像を表示することにより、ユーザに仮想現実空間を提供する。また、例えば、表示装置135は、ユーザの入力やセンシング結果等に応じて、仮想現実空間におけるユーザの視界の位置や方向等を特定し、その視界内の画像をビットストリーム変換装置132に要求する。
<デバイスとVR用動画像>
次に、上述の画像処理システム100を構成するデバイスやその動作等についてより詳細を説明する。
次に、上述の画像処理システム100を構成するデバイスやその動作等についてより詳細を説明する。
撮像装置111は、どのような装置であってもよいが、例えば、図3のAに示されるように、互いに異なる方向を撮像する複数の撮像部(カメラ)を有し、撮像装置111の周囲を撮像する。画像変換装置112は、撮像装置111により得られた撮像画像群をレンダリングして、撮像装置111周辺の画像を生成する。例えば、画像変換装置112は、撮像画像群を、視点(すなわち撮像装置111の位置)を中心とする球体状にレンダリングすることにより、例えば図3のBに示されるような、視点を基準とする全方位の画像(以下、全方位画像とも称する)を生成する。図3のBの例において、球体状の全方位画像の中心は、XYZ座標の原点となっており、その原点が視点の位置を示す。なお、画像処理システム100においては、この全方位画像は、仮想現実空間の画像として表示されるので、VR用画像(VR用動画像)とも称する。
また、符号化装置113および復号装置133は平面画像を処理対象とするので、画像変換装置112は、さらに、そのVR用動画像(全方位画像)を、図3のCに示されるように、平面に展開して平面画像を生成する。この平面画像は、符号化装置113により符号化され、ビットストリームとして送信装置114から受信装置131に伝送され、復号装置133により復号される。ただし、表示装置135は、ユーザの視界内の画像のみを表示するので、ビットストリーム変換装置132は、ビットストリームから、ユーザの視界内のデータを抽出し、そのユーザの視界内の画像のビットストリームを生成する。
表示装置135の構成は任意であるが、例えば図3のDに示されるような眼鏡型のデバイスよりなり、そのデバイスを装着したユーザの左右の目のそれぞれの近傍に各目用の画像を表示する表示部を有する。上述のようにビットストリーム変換装置132から供給されるビットストリームを復号装置133が復号し、得られた復号画像を画像変換装置134が3次元空間にレンダリングし、その画像を表示装置135が表示部に表示する。これにより、表示装置135を装着したユーザは、仮想現実空間におけるユーザの視界の画像を見ることができる。つまり、表示装置135に表示される画像は、例えば図3のEに示されるように、全方位画像が展開された平面画像(図3のC)の一部の画像である。
なお、ユーザが視線方向(顔の向き等)を変更すると表示装置135は、それをセンサにより検出する。表示装置135は、その検出結果に基づいて、ユーザの視界を推定し、それをビットストリーム変換装置132に通知する。ビットストリーム変換装置132は、その通知に基づいて、ユーザの視界内の画像を抽出する。
<ピクチャ内の重要度の偏り>
このような画像処理システム100において、符号化装置113の符号化対象となる、VR動画像を展開した平面画像は、一般的に、より重要な部分とより重要でない部分とが存在する(重要度に偏りが生じる)。例えば、図4の平面画像140において、上下方向については、一般的に、領域141乃至領域143のような中央付近の領域の方が、上端の領域144や下端の領域145よりも注目したい対象が存在し易く、重要度が高くなりやすい。また、下方向はユーザの足元になる場合も多く、一般的に、上端の領域144の方が下端の領域145よりも注目したい対象が存在し易く、重要度が高くなりやすい。また、左右方向については、一般的に、領域141のような中央付近の領域の方が、左端の領域142や右端の領域143よりも注目したい対象が存在し易く、重要度が高くなりやすい。
このような画像処理システム100において、符号化装置113の符号化対象となる、VR動画像を展開した平面画像は、一般的に、より重要な部分とより重要でない部分とが存在する(重要度に偏りが生じる)。例えば、図4の平面画像140において、上下方向については、一般的に、領域141乃至領域143のような中央付近の領域の方が、上端の領域144や下端の領域145よりも注目したい対象が存在し易く、重要度が高くなりやすい。また、下方向はユーザの足元になる場合も多く、一般的に、上端の領域144の方が下端の領域145よりも注目したい対象が存在し易く、重要度が高くなりやすい。また、左右方向については、一般的に、領域141のような中央付近の領域の方が、左端の領域142や右端の領域143よりも注目したい対象が存在し易く、重要度が高くなりやすい。
さらに、符号化する平面画像は、上述のように全方位画像を展開したものである。一般的には図5のAや図5のBに示されるような方法で展開される。したがって、展開後の平面画像の上端や下端付近の領域は、全方位画像の極近傍の小さな領域(図5のAの場合、N1やS1、図5のBの場合NやS)の画像により形成される。したがって、単位面積当たりの情報量が疎になり、重要度が低減しやすい。
<2−1.符号化>
<領域毎の時間解像度の設定>
そこで、このような重要度の傾向に応じて符号化効率の低減を抑制するために、符号化装置113が、符号化する画像データの部分領域毎の時間解像度を設定し、その画像データを符号化し、設定された部分領域毎の時間解像度を示す情報を含むビットストリームを生成するようにする。
<領域毎の時間解像度の設定>
そこで、このような重要度の傾向に応じて符号化効率の低減を抑制するために、符号化装置113が、符号化する画像データの部分領域毎の時間解像度を設定し、その画像データを符号化し、設定された部分領域毎の時間解像度を示す情報を含むビットストリームを生成するようにする。
この符号化装置113が符号化する画像データは、視点を中心とする球体状にレンダリングされた全方位画像が単数の平面に展開された平面画像のデータであるようにしてもよい。その場合、全方位画像が展開された平面画像のより中央に近い位置の部分領域程、時間解像度を高く設定するようにしてもよい。また、全方位画像が展開された平面画像の上下方向について、より中央に近い位置の部分領域程、時間解像度を高く設定するようにしてもよい。さらに、全方位画像が展開された平面画像の上端近傍の部分領域の時間解像度を、平面画像の下端近傍の部分領域よりも高く設定するようにしてもよい。このようにすることにより、より重要でない部分の時間解像度を低減させる等、上述のような重要度の偏りに応じた情報量制御が可能になり、主観画質の低減を抑制しながら符号化効率の低減を抑制することができる。
例えば、図6に示される平面画像150において、その中央付近の領域151の時間解像度(フレームレート)を120p(プログレッシブ方式の毎秒120フレーム)とし、その左右の領域152および領域153の時間解像度(フレームレート)を90p(プログレッシブ方式の毎秒90フレーム)とし、これらの領域の上下の領域154および領域155の時間解像度(フレームレート)を60p(プログレッシブ方式の毎秒60フレーム)とし、さらにその周囲の領域156および領域157の時間解像度(フレームレート)を30p(プログレッシブ方式の毎秒30フレーム)とするようにしてもよい。
図7に全方位画像におけるこれらの領域の分布を示す。図7に示されるように、一般的にあまり重要でない全方位画像の上下端に近い領域程、時間解像度が低く設定されており、より重要な中央付近の領域程、時間解像度が高く設定されている。したがって、主観画質の低減を抑制しながら符号化効率の低減を抑制することができる。
<部分領域の設定>
図6や図7に示されるような領域(部分領域)は、HEVC(High Efficiency Video Coding)のタイル(Tile)構造を利用して、タイルセットとして設定するようにしてもよい。タイルセットは、MCTS SEI(Motion constrained tile set Supplemental Enhancement Information)により管理される、独立に復号可能な領域である。例えば、図8に示されるように、フレームサイズ(解像度)が8K×4Kの動画像について、あるフレームのタイルセットTS1の符号化データを復号し、その次のフレームのタイルセットTS2の符号化データを復号し、その次のフレームのタイルセットTS3の符号化データを復号し、その次のフレームのタイルセットTS4の符号化データを復号し、その次のフレームのタイルセットTS5の符号化データを復号し、その次のフレームのタイルセットTS6の符号化データを復号し、その次のフレームのタイルセットTS7の符号化データを復号することにより、タイルセットTS1乃至タイルセットTS7をフレームとする、フレームサイズが2K×1Kの動画像を得ることができる。
図6や図7に示されるような領域(部分領域)は、HEVC(High Efficiency Video Coding)のタイル(Tile)構造を利用して、タイルセットとして設定するようにしてもよい。タイルセットは、MCTS SEI(Motion constrained tile set Supplemental Enhancement Information)により管理される、独立に復号可能な領域である。例えば、図8に示されるように、フレームサイズ(解像度)が8K×4Kの動画像について、あるフレームのタイルセットTS1の符号化データを復号し、その次のフレームのタイルセットTS2の符号化データを復号し、その次のフレームのタイルセットTS3の符号化データを復号し、その次のフレームのタイルセットTS4の符号化データを復号し、その次のフレームのタイルセットTS5の符号化データを復号し、その次のフレームのタイルセットTS6の符号化データを復号し、その次のフレームのタイルセットTS7の符号化データを復号することにより、タイルセットTS1乃至タイルセットTS7をフレームとする、フレームサイズが2K×1Kの動画像を得ることができる。
つまりタイルセットの符号化データを復号するのに他の領域の情報が不要であるので、このようなタイルセットを、時間解像度を制御する部分領域とすることにより、その領域に対する時間解像度を他の領域から独立して設定することがより容易になる。
<時間解像度の設定>
HEVCでは、ビットストリームにテンポラルID(Temporal ID、Tid、または時間識別子とも称する)を記述することで対応した時間解像度で出力することができる時間スケーラビリティ機能が用意されており、図9に示されるように、符号化する動画像の各ピクチャを階層化して符号化することができる。図9において各四角はフレームを示しており、その中の数字はPOC(Picture Order Count)を示している。また、フレーム間の矢印は参照関係を示している。テンポラルIDは、各階層の識別情報である。図9の場合、POC=0乃至8のフレームが、テンポラルID=0乃至3の4つの階層に分けて符号化されている。なお、時間スケーラビリティのための階層構造は任意であり、図9の例に限定されない。
HEVCでは、ビットストリームにテンポラルID(Temporal ID、Tid、または時間識別子とも称する)を記述することで対応した時間解像度で出力することができる時間スケーラビリティ機能が用意されており、図9に示されるように、符号化する動画像の各ピクチャを階層化して符号化することができる。図9において各四角はフレームを示しており、その中の数字はPOC(Picture Order Count)を示している。また、フレーム間の矢印は参照関係を示している。テンポラルIDは、各階層の識別情報である。図9の場合、POC=0乃至8のフレームが、テンポラルID=0乃至3の4つの階層に分けて符号化されている。なお、時間スケーラビリティのための階層構造は任意であり、図9の例に限定されない。
以上のようにすることにより、指定されたテンポラルIDの階層以下の階層のピクチャを復号するだけで、参照関係を破たんさせずに復号することができるので、より容易に、そのテンポラルIDに応じた時間解像度の復号画像を得ることができる。つまり、復号画像の時間解像度(フレームレート)をより容易に制御することができる。
ただし、このテンポラルIDはピクチャ毎に設定されるので、このテンポラルIDによって部分領域の時間解像度を設定することはできない。そこで、各部分領域に対してレベル情報を設定するようにする。レベル情報は復号に必要なプロファイルのレベルを示すものであり、デコーダの能力やビットストリームの複雑さを規定するものである。より具体的には、例えば、画像の解像度やビットレート(またはフレームレート)等を規定する。
このようなレベル情報を、時間解像度を制御する部分領域、すなわち、タイルセット(独立に復号可能な領域)に対して設定することにより、部分領域に対する時間解像度の設定が可能になる。例えば、図10に示されるように、フレーム全体に対するレベルが6.2(Level = 6.2)の動画像(8K120p)において、レベル4.2(Level = 4.2)が設定されたタイルセット(HD120p)を復号すると、各フレームのそのタイルセットのデータが復号される。また、例えば、レベル4.1(Level = 4.1)が設定されたタイルセット(HD60p)を復号すると、2フレーム毎(1フレームおき)にそのタイルセットのデータが復号される。
そして、上述のように、時間スケーラビリティの機能を用いることにより、その時間解像度の制御がより容易になる。例えば、タイルセットを復号する際に、そのタイルセットのレベル情報に示される時間解像度に応じたテンポラルIDを指定することにより、そのテンポラルID以下の階層のフレームから、そのタイルセットの復号画像を得ることができる。つまり、そのタイルセットの復号画像が、レベル情報に示される時間解像度で得ることができる。
例えば、図11に示されるビットストリーム180において、フレーム181乃至フレーム185のそれぞれの各部分領域に時間解像度(フレームレート)がレベル情報として設定されているとする。また、フレーム181乃至フレーム185のそれぞれに対して、テンポラルID(Tid)が図11のように設定されているとする。なお、この例の場合、ビットストリームは、図9の例とは異なる階層構造を有する。
この場合、例えばレベル情報により120pが設定された領域のデータは、フレーム181乃至フレーム185のそれぞれから得られる。つまり、この場合、120pに対応するテンポラルID(Tid=3)以下の階層のフレームが復号される。また、例えば90pが設定された領域のデータは、フレーム181乃至フレーム183、並びに、フレーム185のそれぞれから得られる。つまり、この場合、90pに対応するテンポラルID(Tid=2)以下の階層のフレームが復号される。さらに、例えば60pが設定された領域のデータは、フレーム181、フレーム183、およびフレーム185のそれぞれから得られる。つまり、この場合、60pに対応するテンポラルID(Tid=1)以下の階層のフレームが復号される。さらに、例えば30pが設定された領域のデータは、フレーム181およびフレーム185から得られる。つまり、この場合、30pに対応するテンポラルID(Tid=0)の階層のフレームが復号される。つまり、ビットストリーム180の各フレームから、図11のグレーの部分のタイルセットが得られる。
以上のようにHEVCのタイルセット、時間スケーラビリティ(テンポラルID)、およびレベル情報を用いて、より容易に、主観画質の低減を抑制しながら符号化効率の低減を抑制することができる。
<符号化装置の構成>
図12は、本技術を適用した画像処理装置の一態様である符号化装置113の主な構成例を示すブロック図である。この符号化装置113は、HEVC符号化方式またはHEVC符号化方式に準拠した符号化方式で入力された画像を符号化する。図12に示されるように、符号化装置113は、前処理部210、画面並べ替えバッファ211、演算部212、直交変換部213、量子化部214、符号化部215、蓄積バッファ216、逆量子化部217、逆直交変換部218、演算部219、フィルタ220、フレームメモリ221、イントラ予測部222、インター予測部223、予測画像選択部224、およびレート制御部225を有する。
図12は、本技術を適用した画像処理装置の一態様である符号化装置113の主な構成例を示すブロック図である。この符号化装置113は、HEVC符号化方式またはHEVC符号化方式に準拠した符号化方式で入力された画像を符号化する。図12に示されるように、符号化装置113は、前処理部210、画面並べ替えバッファ211、演算部212、直交変換部213、量子化部214、符号化部215、蓄積バッファ216、逆量子化部217、逆直交変換部218、演算部219、フィルタ220、フレームメモリ221、イントラ予測部222、インター予測部223、予測画像選択部224、およびレート制御部225を有する。
前処理部210は、画像データの部分領域毎の時間解像度の設定、符号化の制御、パラメータセット(例えばシーケンスパラメータセット(SPS(Sequence Parameter Set))やピクチャパラメータセット(PPS(Picture Parameter Set)))やSEI(例えば、MCTS SEI等)の生成等を行う前処理に関する処理を行う。
画面並べ替えバッファ211には、画像変換装置112から供給される画像データが入力される。例えば、視点を中心とする球体状にレンダリングされた全方位画像が単数の平面に展開された平面画像のデータが入力される。画面並べ替えバッファ211は、その入力された画像データの各フレームの画像をその表示順に記憶し、記憶した表示の順番のフレームの画像を、GOP(Group Of Picture)に応じて、符号化のためのフレームの順番に並べ替え、フレームの順番を並び替えた画像を、演算部212に供給する。また、画面並べ替えバッファ211は、フレームの順番を並び替えた画像を、イントラ予測部222およびインター予測部223にも供給する。
演算部212は、画面並べ替えバッファ211から読み出された画像から、予測画像選択部224を介してイントラ予測部222またはインター予測部223から供給される予測画像を減算し、それらの差分である残差情報(残差データとも称する)を得る。例えば、イントラ符号化が行われる画像の場合、演算部212は、画面並べ替えバッファ211から読み出された画像から、イントラ予測部222から供給される予測画像を減算する。また、例えば、インター符号化が行われる画像の場合、演算部212は、画面並べ替えバッファ211から読み出された画像から、インター予測部223から供給される予測画像を減算する。演算部212は、得られた残差データを直交変換部213に供給する。
直交変換部213は、演算部212から供給される残差データを所定の方法で直交変換する。直交変換部213は、その直交変換後の残差データ(直交変換係数とも称する)を量子化部214に供給する。
量子化部214は、その直交変換係数を所定の方法で量子化する。量子化部214は、レート制御部225から供給される符号量の目標値(target_bitrate)に応じて量子化パラメータを設定し、その量子化を行う。量子化部214は、量子化後の残差データ(量子化データとも称する)を符号化部215および逆量子化部217に供給する。
符号化部215は、量子化部214から供給された量子化データを符号化する。また、符号化部215は、最適な予測モードに関する情報を予測画像選択部224から取得する。さらに、符号化部215は、任意の処理部から任意の情報を取得することができる。符号化部215は、これらの各種情報を符号化する。このように、符号化部215は、画像に関する情報を符号化し、符号化データを生成する。符号化部215は、得られた符号化データを蓄積バッファ216に供給して蓄積させる。
蓄積バッファ216は、符号化部215から供給された符号化データを、一時的に保持する。蓄積バッファ216は、所定のタイミングにおいて、保持している符号化データを、例えばビットストリーム等として符号化装置113の外部に出力する。例えば、この符号化データは、任意の記録媒体、任意の伝送媒体、任意の情報処理装置等を介して復号側に伝送される。すなわち、蓄積バッファ216は、符号化データを伝送する伝送部でもある。
逆量子化部217は、その量子化データを量子化部214による量子化に対応する方法で逆量子化する。逆量子化部217は、逆量子化後の量子化データ(直交変換係数とも称する)を、逆直交変換部218に供給する。
逆直交変換部218は、その直交変換係数を、直交変換部213による直交変換処理に対応する方法で逆直交変換する。逆直交変換部218は、逆直交変換された直交変換係数(復元された残差データとも称する)を演算部219に供給する。
演算部219は、その復元された残差データに、予測画像選択部224を介してイントラ予測部222またはインター予測部223から供給される予測画像を加算し、局所的に再構成された画像(再構成画像とも称する)を得る。例えば、イントラ符号化が行われる画像の場合、演算部219は、復元された残差データに、イントラ予測部222から供給される予測画像を加算する。また、例えば、インター符号化が行われる画像の場合、演算部219は、復元された残差データに、インター予測部223から供給される予測画像を加算する。演算部219は、得られた再構成画像をフィルタ220およびイントラ予測部222に供給する。
フィルタ220は、その再構成画像に対して、適宜、例えばデブロックフィルタ等のフィルタ処理を行う。フィルタ220は、フィルタ処理結果(復号画像と称する)をフレームメモリ221に供給する。
フレームメモリ221は、その復号画像を自身の記憶領域内に記憶する。また、フレームメモリ221は、所定のタイミングにおいて、記憶している復号画像を参照画像としてインター予測部223に供給する。
イントラ予測部222は、演算部219から参照画像として供給される再構成画像である処理対象ピクチャ内の画素値を用いて予測画像を生成するイントラ予測(画面内予測)を行う。例えば、イントラ予測部222は、予め用意された複数のイントラ予測モードでこのイントラ予測を行う。イントラ予測部222は、候補となる全てのイントラ予測モードで予測画像を生成し、画面並べ替えバッファ211から供給される入力画像を用いて各予測画像のコスト関数値を評価し、最適なモードを選択する。イントラ予測部222は、最適なイントラ予測モードを選択すると、その最適なイントラ予測モードで生成された予測画像、最適なイントラ予測モードを示すインデックス等のイントラ予測に関する情報であるイントラ予測モード情報、並びに、最適なイントラ予測モードのコスト関数値等を、予測結果に関する情報として、予測画像選択部224に供給する。
インター予測部223は、画面並べ替えバッファ211から供給される入力画像と、フレームメモリ221から供給される参照画像とを用いてインター予測処理(動き予測処理および補償処理)を行う。より具体的には、インター予測部223は、インター予測処理として、動き予測を行って検出された動きベクトルに応じて動き補償処理を行い、予測画像(インター予測画像情報)を生成する。例えば、インター予測部223は、予め用意された複数のインター予測モードでこのようなインター予測を行う。インター予測部223は、候補となる全てのインター予測モードで予測画像を生成する。インター予測部223は、画面並べ替えバッファ211から供給される入力画像と、生成した差分動きベクトルの情報などを用いて、各予測画像のコスト関数値を評価し、最適なモードを選択する。インター予測部223は、最適なインター予測モードを選択すると、その最適なインター予測モードで生成された予測画像、最適なインター予測モードを示すインデックスや動き情報等のインター予測に関する情報であるインター予測モード情報、並びに、最適なインター予測モードのコスト関数値等を、予測結果に関する情報として、予測画像選択部224に供給する。
予測画像選択部224は、イントラ予測部222およびインター予測部223から上述した予測結果に関する情報を取得する。予測画像選択部224は、それらの中からいずれか1つを選択することにより、その領域における予測モードを選択する。つまり、予測画像選択部224は、最適な予測モードとして、(最適な)イントラ予測モードと(最適な)インター予測モードとの内、いずれか一方を選択する。予測画像選択部224は、選択したモードの予測画像を演算部212や演算部219に供給する。また、予測画像選択部224は、選択した予測結果に関する情報の一部または全部を最適な予測モードに関する情報として符号化部215に供給する。
レート制御部225は、蓄積バッファ216に蓄積された符号化データの符号量に基づいて、オーバフローあるいはアンダーフローが発生しないように、量子化部214の量子化動作のレートを制御する。
<前処理部の構成>
図13は、前処理部210(図12)の主な構成例を示すブロック図である。図13に示されるように、前処理部210は、領域別フレームレート設定部231、タイルセット設定部232、テンポラルID設定部233、符号化制御部234、レベル情報設定部235、MCTSSEI生成部236、およびパラメータセット生成部237を有する。
図13は、前処理部210(図12)の主な構成例を示すブロック図である。図13に示されるように、前処理部210は、領域別フレームレート設定部231、タイルセット設定部232、テンポラルID設定部233、符号化制御部234、レベル情報設定部235、MCTSSEI生成部236、およびパラメータセット生成部237を有する。
領域別フレームレート設定部231は、ピクチャ内の部分領域毎の時間解像度(フレームレート)の設定に関する処理を行う。例えば、領域別フレームレート設定部231は、ユーザの指示や、入力画像の設定(例えば、全方位画像の展開の仕方等)に基づいて、ピクチャ内に部分領域を設定し、その部分領域の時間解像度(フレームレート)を設定する。この部分領域の位置、大きさ、形状は任意である。また、1ピクチャに設定される部分領域の数も任意であり、単数でも複数でもよい。さらに、設定される部分領域の時間解像度も任意である。この時間解像度の設定は、部分領域毎に独立しており、ピクチャ内に互いに同一のフレームレートの複数の部分領域が存在してもよいし、互いに異なるフレームレートの複数の部分領域が存在してもよい。領域別フレームレート設定部231は、設定した各部分領域と時間解像度の設定をタイルセット設定部232およびテンポラルID設定部233に供給する。
タイルセット設定部232は、HEVCのMCTS SEIで管理されるタイルセットの設定に関する処理を行う。例えば、タイルセット設定部232は、領域別フレームレート設定部231において設定された部分領域をタイルセットとして実現する。これにより、部分領域を独立して復号することができるようになる。また、例えば、タイルセット設定部232は、設定したタイルセットを示す情報を、符号化制御部234およびレベル情報設定部235に供給する。
テンポラルID設定部233は、HEVCの時間スケーラビリティ機能として用意されたテンポラルIDの設定に関する処理を行う。例えば、テンポラルID設定部233は、領域別フレームレート設定部231において設定されたフレームレートを実現するように、各ピクチャを階層化し、各階層にテンポラルIDを設定する。換言するに、テンポラルID設定部233は、時間解像度を示す情報として、各ピクチャにテンポラルIDを設定する。また、テンポラルID設定部233は、設定した時間スケーラビリティ(各ピクチャのテンポラルIDを含む)を示す情報を符号化制御部234およびパラメータセット生成部237に供給する。
符号化制御部234は、符号化の制御に関する処理を行う。例えば、符号化制御部234は、タイルセットや時間スケーラビリティの設定に基づいて、符号化装置113による画像符号化を制御する。例えば、符号化制御部234は、タイルセットや時間スケーラビリティの設定による参照関係の制限等を符号化に反映させる。なお、符号化制御部234は、必要に応じて、任意の処理部を制御することができる。
レベル情報設定部235は、部分領域に対するレベル情報の設定に関する処理を行う。例えば、レベル情報設定部235は、タイルセット設定部232において設定された各タイルセットのレベル情報を設定する。つまり、レベル情報設定部235は、符号化する画像データの部分領域毎の時間解像度を示す情報として、タイルセットのレベル情報を設定する。タイルセットの解像度はピクチャよりも低いので、タイルセットのレベル情報は、ピクチャ全体のレベル情報より小さくなる。また、タイルセットの時間解像度を低減させるのであれば、そのタイルセットのレベル情報はさらに小さくなる。このように、レベル情報設定部235がタイルセットのレベル情報を設定することにより、そのタイルセットのビットストリームを復号するのに必要なデコーダの能力を低減させることができる。例えば、レベル情報設定部235は、供給されたタイルセットを示す情報や、自身が設定したレベル情報を、MCTSSEI生成部236に供給する。
MCTSSEI生成部236は、レベル情報設定部235から供給されるタイルセットを示す情報やレベル情報等を含むMCTS SEIを生成する。つまり、MCTSSEI生成部236は、部分領域に関する情報としてMCTS SEIを生成する。MCTSSEI生成部236は、生成したMCTS SEIを符号化部215(図12)に供給する。その符号化部215は、供給されたMCTS SEIを符号化してビットストリームに含める。つまり、符号化装置113から出力されるビットストリームは、部分領域に関する情報を含む。また、このMCTS SEIには、部分領域の時間解像度を示す情報であるタイルセットのレベル情報が含まれている。つまり、符号化装置113から出力されるビットストリームは、部分領域毎の時間解像度を示す情報を含む。
パラメータセット生成部237は、パラメータセットの生成に関する処理を行う。例えば、パラメータセット生成部237は、シーケンスパラメータセット(SPS(Sequence Parameter Set))やピクチャパラメータセット(PPS(Picture Parameter Set))等を生成する。パラメータセット生成部237は、各フレームのテンポラルIDを例えばピクチャパラメータセットに含める。なお、このテンポラルIDは、シーケンスパラメータセットに含めるようにしてもよい。パラメータセット生成部237は、生成したパラメータセットを符号化部215(図12)に供給する。その符号化部215は、供給されたパラメータセットを符号化してビットストリームに含める。つまり、符号化装置113から出力されるビットストリームは、時間解像度を示す情報を含む。
以上のように構成を有することにより、符号化装置113は、符号化効率の低減を抑制することができる。
<画像符号化処理の流れ>
次に、この符号化装置113により実行される各処理の流れの例を説明する。最初に、画像符号化処理の流れの例を、図14のフローチャートを参照して説明する。
次に、この符号化装置113により実行される各処理の流れの例を説明する。最初に、画像符号化処理の流れの例を、図14のフローチャートを参照して説明する。
画像符号化処理が開始されると、ステップS101において、前処理部210は、前処理を実行する。前処理の詳細は後述する。
ステップS102において、画面並べ替えバッファ211は、入力された動画像の各フレーム(ピクチャ)の画像をその表示する順番に記憶し、各ピクチャの表示する順番から符号化する順番への並べ替えを行う。
ステップS103において、イントラ予測部222、インター予測部223、および予測画像選択部224は、予測処理を行い、最適な予測モードの予測画像等を生成する。つまり、この予測処理において、イントラ予測部222はイントラ予測を行って最適なイントラ予測モードの予測画像等を生成し、インター予測部223はインター予測を行って最適なインター予測モードの予測画像等を生成し、予測画像選択部224はコスト関数値等に基づいて最適なイントラ予測モードと最適なインター予測モードとの内の最適な方を選択する。
ステップS104において、演算部212は、ステップS102の処理によりフレーム順を並び替えられた入力画像と、ステップS103の予測処理により選択された最適なモードの予測画像との差分を演算する。つまり、演算部212は、入力画像と予測画像との残差データ(残差画像)を生成する。このようにして求められた残差データは、元の画像データに比べてデータ量が低減される。したがって、画像をそのまま符号化する場合に比べて、データ量を圧縮することができる。
ステップS105において、直交変換部213は、ステップS104の処理により生成された残差データを直交変換する。
ステップS106において、量子化部214は、レート制御部225により算出された量子化パラメータを用いる等して、ステップS105の処理により得られた直交変換係数を量子化する。
ステップS107において、逆量子化部217は、ステップS106の処理により生成された量子化データを、そのステップS106の量子化の特性に対応する特性で逆量子化する。
ステップS108において、逆直交変換部218は、ステップS107の処理により得られた直交変換係数を、ステップS105の直交変換に対応する方法で逆直交変換する。
ステップS109において、演算部219は、ステップS108の処理により復元された残差データに、ステップS103の予測処理により得られた予測画像を加算することにより、再構成画像の画像データを生成する。
ステップS110においてフィルタ220は、ステップS109の処理により生成された再構成画像の画像データに対して、デブロッキングフィルタ等のフィルタ処理を行う。
ステップS111において、フレームメモリ221は、ステップS110の処理により得られた、局所的に復号された復号画像を記憶する。
ステップS112において、符号化部215は、符号化処理を行う。つまり、符号化部215は、ステップS106の処理により得られた量子化データを符号化する。すなわち、符号化部215は、画像に関する情報である量子化データを、例えば可変長符号化または算術符号化等の所定の符号化方法により符号化し、符号化データを生成する。また、このとき、符号化部215は、ステップS103の予測処理により選択された予測モードに関する情報等のような、残差データに対応する量子化データ以外の画像に関する情報も符号化データに含める。
ステップS113において蓄積バッファ216は、ステップS112の処理により得られた符号化データ等を蓄積する。蓄積バッファ216に蓄積された符号化データ等は、例えばビットストリームとして適宜読み出され、伝送路や記録媒体を介して復号側に伝送される。
ステップS114において、レート制御部225は、ステップS113の処理により蓄積バッファ216に蓄積された符号化データ等の符号量(発生符号量)に基づいて、オーバフローあるいはアンダーフローが発生しないように、ステップS106の量子化処理のレートを制御する。
ステップS114の処理が終了すると、画像符号化処理が終了する。
なお、これらの各処理の処理単位は任意であり、互いに同一でなくてもよい。したがって、各ステップの処理は、適宜、他のステップの処理等と並行して、または、処理順を入れ替えて実行することもできる。
<前処理の流れ>
次に、図15のフローチャートを参照して、図14のステップS101において実行される前処理の流れの例を説明する。
次に、図15のフローチャートを参照して、図14のステップS101において実行される前処理の流れの例を説明する。
前処理が開始されると、前処理部210の領域別フレームレート設定部231は、ステップS131において、入力画像に対して部分領域とその時間解像度(フレームレート)を設定する。
ステップS132において、タイルセット設定部232は、各ピクチャに、ステップS131において設定された部分領域に対応するタイルセットを設定する。
ステップS133において、テンポラルID設定部233は、ステップS131において設定されたフレームレートを実現するように、各ピクチャの階層化構造を設定し、各ピクチャに対してその階層に対応するテンポラルIDを設定する。
ステップS134において、符号化制御部234は、ステップS132において設定されたタイルセットやステップS133において設定されたテンポラルIDに基づいて、例えば参照関係がこれらの設定に矛盾しないようにする等、図14を参照して説明した画像符号化処理を制御する。
ステップS135において、レベル情報設定部235は、ステップS132において設定されたタイルセットのレベル情報を設定する。
ステップS136において、MCTSSEI生成部236は、ステップS132において設定されたタイルセットの管理情報や、ステップS135において設定されたタイルセットのレベル情報等を含むMCTS SEIを生成する。このMCTS SEIは、図14のステップS113において、ビットストリームに含めて出力される。
ステップS137において、パラメータセット生成部237は、ステップS133において設定されたピクチャ毎のテンポラルIDを含むパラメータセットを生成する。このパラメータセットは、図14のステップS113において、ビットストリームに含めて出力される。
ステップS137の処理が終了すると、前処理が終了し、処理は図14に戻る。
以上のように各処理を実行することにより、符号化装置113は、符号化効率の低減を抑制することができる。
<2−2.ビットストリーム変換>
<領域毎の時間解像度の解析>
ビットストリーム変換装置132(図2)は、以上のように符号化装置113により生成されたビットストリームから、表示装置135等により指定された部分領域のデータを抽出し、その部分領域のビットストリームに変換する。その際、ビットストリーム変換装置132は、画像データが符号化されたビットストリームに含まれる、その画像データの部分領域毎の時間解像度を示す情報を解析する。したがって、部分領域のビットストリームに変換する際に、その時間解像度を、設定に応じた時間解像度にすることができる。したがって、部分領域のビットストリームの符号化効率の低減を抑制することができる。また、復号の負荷の増大を抑制することができる。
<領域毎の時間解像度の解析>
ビットストリーム変換装置132(図2)は、以上のように符号化装置113により生成されたビットストリームから、表示装置135等により指定された部分領域のデータを抽出し、その部分領域のビットストリームに変換する。その際、ビットストリーム変換装置132は、画像データが符号化されたビットストリームに含まれる、その画像データの部分領域毎の時間解像度を示す情報を解析する。したがって、部分領域のビットストリームに変換する際に、その時間解像度を、設定に応じた時間解像度にすることができる。したがって、部分領域のビットストリームの符号化効率の低減を抑制することができる。また、復号の負荷の増大を抑制することができる。
<ビットストリーム変換装置の構成>
図16は、本技術を適用した画像処理装置の一態様であるビットストリーム変換装置132(図2)の主な構成例を示すブロック図である。図16に示されるように、ビットストリーム変換装置132は、制御部251、データ抽出部252、メタデータ更新部253、およびビットストリーム生成部254を有する。
図16は、本技術を適用した画像処理装置の一態様であるビットストリーム変換装置132(図2)の主な構成例を示すブロック図である。図16に示されるように、ビットストリーム変換装置132は、制御部251、データ抽出部252、メタデータ更新部253、およびビットストリーム生成部254を有する。
制御部251は、ビットストリーム変換の制御に関する処理を行う。例えば、制御部251は、表示装置135等から供給される、抽出する部分領域を指定する情報(領域指定情報)を取得する。また、例えば、制御部251は、データ抽出部252を制御し、その領域指定情報により指定される部分領域のデータをビットストリームから抽出させる。
データ抽出部252は、データの抽出に関する処理を行う。例えば、データ抽出部252は、制御部251の制御に従って、受信装置131から供給されるビットストリーム(Bitstream A)から、表示装置135等から指定される部分領域のデータを抽出する。データ抽出部252は、例えば、この部分領域のデータとして、タイルセット単位でデータを抽出する。タイルセットは独立して復号することができるので、復号などを必要とせずにビットストリームからそのデータを抽出することができる。したがって、データ抽出部252は、容易に所望のデータを抽出することができる。なお、データ抽出部252は、このデータ抽出において、例えば、抽出対象の部分領域の時間解像度に関する情報を解析し、その部分領域の時間解像度(フレームレート)を特定し、さらに、その時間解像度とテンポラルIDに基づいて、データを抽出するピクチャを特定する。そして、例えば、データ抽出部252は、特定したピクチャから、指定された部分領域のデータを抽出する。このようにすることにより、その部分領域のデータを、符号化側で設定されたフレームレートのデータとして抽出することができる。また、例えば、データ抽出部252は、抽出したデータをメタデータ更新部253に供給する。
メタデータ更新部253は、メタデータの更新に関する処理を行う。この更新するメタデータはどのような内容であってもよい。例えば、メタデータ更新部253は、抽出した部分領域のデータに対してレベル情報を設定する等の処理を行う。上述のように、データ抽出部252は、符号化側で設定された時間解像度となるように部分領域のデータを抽出するので、そのデータのレベル情報は符号化側で設定されたレベル情報となる。つまり、メタデータ更新部253は、抽出した部分領域のデータに対するレベル情報として、MCTS SEI等により伝送された、符号化装置113が設定したレベル情報を設定する。また、例えば、メタデータ更新部253は、メタデータを更新した部分領域のデータをビットストリーム生成部254に供給する。
ビットストリーム生成部254は、ビットストリームの生成に関する処理を行う。例えば、ビットストリーム生成部254は、メタデータ更新部253から供給された部分領域のデータを含むビットストリーム(Bitstream B)を生成する。また、例えば、ビットストリーム生成部254は、生成したビットストリームを復号装置133(図2)に供給する。
以上のように構成を有することにより、ビットストリーム変換装置132は、符号化効率の低減を抑制することができる。また、復号の負荷の増大を抑制することができる。
<ビットストリーム変換処理の流れ>
次に、このビットストリーム変換装置132により実行されるビットストリーム変換処理の流れの例を、図17のフローチャートを参照して説明する。
次に、このビットストリーム変換装置132により実行されるビットストリーム変換処理の流れの例を、図17のフローチャートを参照して説明する。
ビットストリーム変換処理が開始されると、ビットストリーム変換装置132の制御部251は、ステップS151において、抽出する領域の指定を受け付ける。ステップS152において、データ抽出部252は、例えば、SEIやパラメータセット等の、指定された領域に対応するメタデータをビットストリームから抽出する。ステップS153において、データ抽出部252は、指定された領域に対応するタイルセットを特定する。ステップS154において、データ抽出部252は、ステップS152において抽出したメタデータ(例えばMCTS SEI等)を参照して、ステップS153において特定したタイルセットに対応するレベル情報を特定する。ステップS155において、データ抽出部252は、ステップS154において特定したレベル情報、および、ステップS152において抽出したメタデータ(例えばピクチャパラメータセット等)に含まれるテンポラルIDに基づいて、タイルセットを抽出するピクチャを特定する。ステップS156において、データ抽出部252は、ステップS155において特定したピクチャの、指定された領域に対応するタイルセット(ステップS153において特定したタイルセット)のデータを、ビットストリームから抽出する。
ステップS157において、メタデータ更新部253は、ステップS152において抽出されたメタデータを、ステップS156において抽出されたタイルセットに対応するように更新する。
ステップS158において、ビットストリーム生成部254は、ステップS156において抽出されたデータと、ステップS157において更新されたメタデータを含むビットストリーム(部分領域のビットストリーム)を生成する。
ステップS158の処理が終了するとビットストリーム変換処理が終了する。
以上のようにビットストリーム変換処理を実行することによりビットストリーム変換装置132は、符号化効率の低減を抑制することができる。また、復号の負荷の増大を抑制することができる。
<2−3.復号>
<復号装置の構成>
復号装置133(図2)は、以上のようにビットストリーム変換装置132により変換されたビットストリームを、HEVC復号方式により復号する。図18は、復号装置133(図2)の主な構成例を示すブロック図である。
<復号装置の構成>
復号装置133(図2)は、以上のようにビットストリーム変換装置132により変換されたビットストリームを、HEVC復号方式により復号する。図18は、復号装置133(図2)の主な構成例を示すブロック図である。
図18に示されるように復号装置133は、蓄積バッファ271、復号部272、逆量子化部273、逆直交変換部274、演算部275、フィルタ276、画面並べ替えバッファ277、フレームメモリ278、イントラ予測部279、インター予測部280、および予測画像選択部281を有する。
復号装置133には、ビットストリーム変換装置132により変換されたビットストリーム、すなわち、符号化装置113により生成されたビットストリームから抽出された所望のタイルセットのビットストリームが供給される。蓄積バッファ271は、そのビットストリームを蓄積し、所定のタイミングにおいてそのビットストリームを復号部272に供給する。
復号部272は、蓄積バッファ271より供給されたビットストリーム(抽出された部分領域(タイルセット)のビットストリーム)を、図12の符号化部215の符号化方式に対応する方式で復号する。復号部272は、ビットストリームを復号して量子化データを得ると、それを逆量子化部273に供給する。また、復号部272は、ビットストリームを復号して得られた最適な予測モードに関する情報を、イントラ予測部279またはインター予測部280に供給する。例えば、イントラ予測が行われた場合、復号部272は、最適なイントラ予測モードの予測結果に関する情報をイントラ予測部279に供給する。また、例えば、インター予測が行われた場合、復号部272は、最適なインター予測モードの予測結果に関する情報をインター予測部280に供給する。同様に、復号部272は、符号化データを復号して得られた各種情報を、その情報を必要とする各種処理部に適宜供給することができる。
逆量子化部273は、復号部272から供給された量子化データを逆量子化する。つまり、逆量子化部273は、図12の量子化部214の量子化方式に対応する方式(すなわち、逆量子化部217と同様の方式)で逆量子化を行う。逆量子化部273は、その逆量子化により得られた直交変換係数を逆直交変換部274に供給する。
逆直交変換部274は、逆量子化部273から供給された直交変換係数を逆直交変換する。つまり、逆直交変換部274は、図12の直交変換部213の直交変換方式に対応する方式(すなわち、逆直交変換部218と同様の方式)で逆直交変換を行う。逆直交変換部274は、この逆直交変換処理により得られた残差データ(復元された残差データ)を演算部275に供給する。
演算部275は、逆直交変換部274から供給された、復元された残差データに予測画像選択部281から供給された予測画像を加算し、再構成画像を得る。演算部275は、その再構成画像をフィルタ276およびイントラ予測部279に供給する。
フィルタ276は、図12のフィルタ220が行うのと同様のフィルタ処理(例えばデブロックフィルタ等)を行う。フィルタ276は、フィルタ処理結果である復号画像を画面並べ替えバッファ277およびフレームメモリ278に供給する。
画面並べ替えバッファ277は、供給された復号画像の並べ替えを行う。すなわち、図12の画面並べ替えバッファ211により符号化の順番のために並べ替えられたフレームの順番が、元の表示の順番に並べ替えられる。画面並べ替えバッファ277は、フレームの順番を並べ替えた復号画像データを画像変換装置134に供給する。
フレームメモリ278は、供給される復号画像を記憶する。また、フレームメモリ278は、所定のタイミングにおいて、または、インター予測部280等の外部の要求に基づいて、記憶している復号画像等をインター予測部280に供給する。
イントラ予測部279は、復号部272から供給される最適なイントラ予測モードの予測結果に関する情報と、演算部275から供給される再構成画像とを用いて、イントラ予測を行い、予測画像を生成する。イントラ予測部279は、生成した予測画像を予測画像選択部281に供給する。
インター予測部280は、復号部272から供給される最適なインター予測モードの予測結果に関する情報と、フレームメモリ278から供給される復号画像とを用いて、インター予測を行い、予測画像を生成する。インター予測部280は、生成した予測画像を予測画像選択部281に供給する。
予測画像選択部281は、イントラ予測部279またはインター予測部280から供給された予測画像を演算部275に供給する。例えば、処理対象のマクロブロックが、符号化の際にイントラ予測が行われたマクロブロックである場合、イントラ予測部279によりイントラ予測が行われて予測画像(イントラ予測画像)が生成されるので、予測画像選択部281は、そのイントラ予測画像を演算部275に供給する。また、例えば、処理対象のマクロブロックが、符号化の際にインター予測が行われたマクロブロックである場合、インター予測部280によりインター予測が行われて予測画像(インター予測画像)が生成されるので、予測画像選択部281は、そのインター予測画像を演算部275に供給する。
以上のように、復号装置133は、ビットストリーム変換装置132により抽出された部分領域のビットストリームを復号することができる。したがって、復号装置133は、符号化効率の低減を抑制することができ、復号の負荷の増大を抑制することができる。
<画像復号処理の流れ>
次に、この復号装置133により実行される画像復号処理の流れの例を、図19のフローチャートを参照して説明する。
次に、この復号装置133により実行される画像復号処理の流れの例を、図19のフローチャートを参照して説明する。
画像復号処理が開始されると、ステップS171において、蓄積バッファ271は、復号装置133に供給されるビットストリームを蓄積する。ステップS172において、復号部272は、ステップS171において蓄積されたビットストリームを復号して量子化データを得る。
ステップS173において、逆量子化部273は、ステップS172の処理により得られた量子化データを逆量子化して直交変換係数を得る。ステップS174において、逆直交変換部274は、ステップS173の処理により得られた直交変換係数を逆直交変換して復元された残差データを得る。
ステップS175において、イントラ予測部279、インター予測部280、および予測画像選択部281は、予測画像生成処理を行い、符号化の際の予測モードで予測画像を生成する。
ステップS176において、演算部275は、ステップS174の処理により得られた復元された残差データに、ステップS175の処理により得られた予測画像を加算し、再構成画像を得る。
ステップS177において、フィルタ276は、ステップS176の処理により得られた再構成画像に対してデブロッキングフィルタ等のフィルタ処理を行い、復号画像を得る。
ステップS178において、画面並べ替えバッファ277は、ステップS177の処理により得られた復号画像の並べ替えを行い、フレームの順序を、元の表示の順序(符号化装置113の画面並べ替えバッファ211が並べ替える前の順序)に並べ替える。
ステップS179において、フレームメモリ278は、ステップS177の処理により得られた復号画像を記憶する。この復号画像は、インター予測において参照画像として利用される。
ステップS179の処理が終了すると、画像復号処理が終了される。
以上のように、画像復号処理を実行することにより、復号装置133は、ビットストリーム変換装置132により抽出された部分領域のビットストリームを復号することができるので、符号化効率の低減を抑制することができ、復号の負荷の増大を抑制することができる。
<2−4.他の展開例>
<VR用動画像>
以上においては、VR用動画像として球体状の全方位画像を例に用いて説明したが、VR用動画像のフォーマットは任意であり、この例に限定されない。例えば、図20のAの左側や図20のBの右側に示されるように、視点を中心とする直方体状または立方体状にレンダリングされた画像(以下、6方位画像とも称する)であってもよい。つまり、この6方位画像は、互いに直角な6方向の平面画像により構成される。この6方位画像の各面の画像はそれぞれ平面画像であるので、この6方位画像を平面に展開する場合、各面の画像を平面に並べるように配置するのが容易である。ただし、その並べ方は任意である。例えば、図20のAの右側に示されるように、6方位画像の各面の位置関係を考慮して展開するようにしてもよいし、図20のBに示されるように、展開後の平面画像が最小となるように6面を並べ替えて展開するようにしてもよい。
<VR用動画像>
以上においては、VR用動画像として球体状の全方位画像を例に用いて説明したが、VR用動画像のフォーマットは任意であり、この例に限定されない。例えば、図20のAの左側や図20のBの右側に示されるように、視点を中心とする直方体状または立方体状にレンダリングされた画像(以下、6方位画像とも称する)であってもよい。つまり、この6方位画像は、互いに直角な6方向の平面画像により構成される。この6方位画像の各面の画像はそれぞれ平面画像であるので、この6方位画像を平面に展開する場合、各面の画像を平面に並べるように配置するのが容易である。ただし、その並べ方は任意である。例えば、図20のAの右側に示されるように、6方位画像の各面の位置関係を考慮して展開するようにしてもよいし、図20のBに示されるように、展開後の平面画像が最小となるように6面を並べ替えて展開するようにしてもよい。
図20のBの例の場合、展開された平面画像290において、正面の画像(Front)が配置される部分領域291の図中左の部分領域292に左側面の画像(Left)が配置されている。また、部分領域291の図中右の部分領域293に右側面の画像(Right)が配置されている。さらに、その部分領域293の図中下の部分領域294に背面(後面)の画像(Back)が配置されている。また、部分領域292の図中下の部分領域295に上面の画像(Top)が配置されている。さらに、部分領域291の図中下の部分領域296に下面の画像(Bottom)が配置されている。
符号化装置113は、このような、視点を中心とする互いに直角な6方向の平面画像が単数の平面に展開された平面画像のデータを符号化対象とすることができる。
このような場合、この6方位画像の各面を部分領域化(タイルセット化)し、その面毎に時間解像度を制御するようにしてもよい。6方位画像の各面の画像は、方向が互いに直角であり、画像間の独立性が高い。一般的には、互いに異なるカメラ等により撮像された画像が用いられることも多い。したがって、符号化も互いに独立に行うことが容易であり、かつ、時間解像度(フレームレート)を互いに独立に制御しても他への影響が少ない。したがって、タイルセット化が容易である。
6方位画像の面毎に時間解像度を設定する場合、各面の重要度に応じて時間解像度を設定するようにすればよい。例えば、一般的には正面(視点位置から見て前方)の画像に注目対象が存在する可能性が最も高く、重要度が高くなりやすい。したがって、6方位画像が展開された平面画像の内、この正面の画像(図20のBの場合、部分領域291に配置される画像(Front))の時間解像度を、他の部分領域(部分領域292乃至部分領域296)に配置される画像よりも高く設定するようにしてもよい。
また、例えば、一般的には上面(視点位置から見て上方)や下面(視点位置から見て下方)の画像よりも、左面(視点位置から見て左方)、右面(視点位置から見て右方)、後面(視点位置から見て後方)の画像の方が、注目対象が存在する可能性が高く、重要度が高くなりやすい。したがって、6方位画像が展開された平面画像の内、左面の画像(図20のBの場合、部分領域292に配置される画像(Left))、右面の画像(図20のBの場合、部分領域293に配置される画像(Right))、後面の画像(図20のBの場合、部分領域294に配置される画像(Back))の時間解像度を、上面の画像(図20のBの場合、部分領域295に配置される画像(Top))や、下面の画像(図20のBの場合、部分領域296に配置される画像(Bottom))よりも高く設定するようにしてもよい。
さらに、例えば、一般的には後面(視点位置から見て後方)の画像よりも、左面(視点位置から見て左方)や右面(視点位置から見て右方)の画像の方が、注目対象が存在する可能性が高く、重要度が高くなりやすい。したがって、6方位画像が展開された平面画像の内、左面の画像(図20のBの場合、部分領域292に配置される画像(Left))や、右面の画像(図20のBの場合、部分領域293に配置される画像(Right))の時間解像度を、後面の画像(図20のBの場合、部分領域294に配置される画像(Back))よりも高く設定するようにしてもよい。
また、例えば、一般的には下面(視点位置から見て下方)の画像よりも、上面(視点位置から見て上方)の画像の方が、注目対象が存在する可能性が高く、重要度が高くなりやすい。したがって、6方位画像が展開された平面画像の内、上面の画像(図20のBの場合、部分領域295に配置される画像(Top))の時間解像度を、下面の画像(図20のBの場合、部分領域296に配置される画像(Bottom))よりも高く設定するようにしてもよい。
また、この場合、時間解像度を示す情報として、部分領域の復号の際に必要なピクチャを示す情報をビットストリームに含める(復号側に伝送する)ようにしてもよい。例えば、復号するテンポラルID≦DTIDとし、面毎にDTIDのシンタックス値を、部分領域の復号の際に必要なピクチャを示す情報として伝送するようにしてもよい。例えば、下記のようにシンタックス値を設定するようにしてもよい。
1)Front, Back MaxTemporalID → 最高フレームレートをデコードする
2)Left, Right MaxTemporalID - 1 → 1/2フレームレートをデコードする
3)Top, Bottom MaxTemporalID - 2 → 1/3フレームレートをデコードする
1)Front, Back MaxTemporalID → 最高フレームレートをデコードする
2)Left, Right MaxTemporalID - 1 → 1/2フレームレートをデコードする
3)Top, Bottom MaxTemporalID - 2 → 1/3フレームレートをデコードする
なお、この場合も、符号化、ビットストリーム変換、復号等の処理は、上述した全方位画像を展開した平面画像を符号化対象とする場合と同様の方法により行うことができる。したがって、それらの処理についての説明は省略するが、6方位画像の場合も、全方位画像の場合と同様の効果を得ることができる。
<3.第2の実施の形態>
<部分領域毎のテンポラルID>
第1の実施の形態においては、HEVCを用いて符号化・復号を行うように説明したが、本技術は、任意の符号化方式や復号方式に適用することができ、上述のHEVCの例に限定されない。例えば、テンポラルIDを部分領域毎に設定するようにしてもよい。
<部分領域毎のテンポラルID>
第1の実施の形態においては、HEVCを用いて符号化・復号を行うように説明したが、本技術は、任意の符号化方式や復号方式に適用することができ、上述のHEVCの例に限定されない。例えば、テンポラルIDを部分領域毎に設定するようにしてもよい。
例えば、図21のAの例の場合、ピクチャ300の、時間解像度が120pに設定される領域301に対するテンポラルIDとして「Tid=3」が設定されている。また、時間解像度が90pに設定される領域302および領域303に対するテンポラルIDとして「Tid=2」が設定されている。さらに、時間解像度が60pに設定される領域304および領域305に対するテンポラルIDとして「Tid=1」が設定されている。また、時間解像度が30pに設定される領域306および領域307に対するテンポラルIDとして「Tid=0」が設定されている。
このようにすることにより、図21のBに示されるビットストリーム310のように、各部分領域を、その部分領域に割り当てられたテンポラルIDに応じた時間解像度で符号化することができる。例えば、ビットストリーム310において、Tid=3が割り当てられた領域301は、時間解像度が120pとなるように、フレーム311乃至フレーム315のそれぞれにおいて符号化される。また、Tid=2が割り当てられた領域302および領域303は、時間解像度が90pとなるように、フレーム311、フレーム312、フレーム314、およびフレーム315のそれぞれ(フレーム313以外のフレーム)において符号化される。さらに、Tid=1が割り当てられた領域304および領域305は、時間解像度が60pとなるように、フレーム311、フレーム313、およびフレーム315のそれぞれ(1つおきのフレーム)において符号化される。また、Tid=0が割り当てられた領域306および領域307は、時間解像度が30pとなるように、フレーム311、およびフレーム315のそれぞれ(フレーム312乃至フレーム314以外のフレーム)において符号化される。
つまり、この部分領域毎に設定されるテンポラルIDを用いることにより、図21のBに示されるビットストリーム310のように、各フレームにおいて、グレーで示される領域のみが符号化されるようにすることができる。したがって、符号化効率の低減を抑制することができる。また、この場合も、第1の実施の形態の場合と同様に、各領域に対してその重要度等を考慮してテンポラルIDを設定することができるので、主観画質の低減を抑制しながら符号化効率の低減を抑制することができる。
<画像処理システム>
図22は、本技術を適用した画像処理システムの一態様である画像処理システムの構成の一例を示すブロック図である。図22に示される画像処理システム400は、図2を参照して説明した画像処理システム100と基本的に同様のシステムである。つまり、画像処理システム400は、画像処理システム100と基本的に同様に構成され、同様の処理を行う。ただし、画像処理システム400の場合、画像処理システム100のビットストリーム変換装置132が省略されている。また、復号装置133の代わりに復号装置411が設けられている。
図22は、本技術を適用した画像処理システムの一態様である画像処理システムの構成の一例を示すブロック図である。図22に示される画像処理システム400は、図2を参照して説明した画像処理システム100と基本的に同様のシステムである。つまり、画像処理システム400は、画像処理システム100と基本的に同様に構成され、同様の処理を行う。ただし、画像処理システム400の場合、画像処理システム100のビットストリーム変換装置132が省略されている。また、復号装置133の代わりに復号装置411が設けられている。
復号装置411は、復号装置133と基本的に同様の装置であるが、受信装置131により受信されたビットストリーム、すなわち、符号化装置113が生成したピクチャ全体のビットストリームを復号する。ただし、画像処理システム400の場合、符号化装置113は、図21のAを参照して説明したように部分領域毎にテンポラルIDを設定し、図21のBを参照して説明したように、各部分領域の時間解像度に基づいて、ピクチャ内の、必要な部分領域についてのみ符号化する。
復号装置411は、そのようなビットストリームに含まれる、表示装置135等により要求された部分領域のデータを復号する。つまり、このビットストリームには、各部分領域のデータが、その部分領域に対して設定された時間解像度で格納されている。従って、復号装置411は、その部分領域を復号することにより、その部分領域の、設定された時間解像度の動画像を得ることができる。
なお、この場合も、符号化対象とする画像データは任意であり、例えば、第1の実施の形態において説明した全方位画像が展開された平面画像であってもよいし、6方位画像が展開された平面画像であってもよい。
また、各部分領域の時間解像度は任意に設定することができる。例えば、第1の実施の形態と同様に、領域の重要度に応じて時間解像度を設定するようにしてもよい。例えば、全方位画像が展開された平面画像を符号化対象とする場合、その平面画像のより中央に近い位置の部分領域程、時間解像度を高く設定するようにしてもよい。また、その平面画像の上下方向について、より中央に近い位置の部分領域程、時間解像度を高く設定するようにしてもよい。さらに、その平面画像の上端近傍の部分領域の時間解像度を、平面画像の下端近傍の部分領域よりも高く設定するようにしてもよい。
また、例えば、6方位画像が展開された平面画像を符号化対象とする場合、6方向の内、視点から見て前方の平面画像の時間解像度を、他の方向の平面画像よりも高く設定するようにしてもよい。さらに、例えば、6方向の内、視点から見て左方、右方、および後方の平面画像の時間解像度を、視点から見て上方および下方の平面画像よりも高く設定するようにしてもよい。また、例えば、6方向の内、視点から見て左方および右方の平面画像の時間解像度を、視点から見て後方の平面画像よりも高く設定するようにしてもよい。さらに、例えば、6方向の内、視点から見て上方の平面画像の時間解像度を、視点から見て下方の平面画像よりも高く設定するようにしてもよい。
このようにすることにより、第1の実施の形態の場合と同様に、より重要でない部分の時間解像度を低減させる等、上述のような重要度の偏りに応じた情報量制御が可能になり、主観画質の低減を抑制しながら符号化効率の低減を抑制することができる。
<3−1.符号化>
<前処理部の構成>
画像処理システム400において、符号化装置113は、第1の実施の形態の場合と基本的に同様の構成(図12)を有する。ただし、この場合、前処理部210は、図23に示されるような構成を有する。図23に示されるように、前処理部210は、領域別フレームレート設定部421、領域設定部422、領域別テンポラルID設定部423、符号化制御部424、およびパラメータセット生成部425を有する。
<前処理部の構成>
画像処理システム400において、符号化装置113は、第1の実施の形態の場合と基本的に同様の構成(図12)を有する。ただし、この場合、前処理部210は、図23に示されるような構成を有する。図23に示されるように、前処理部210は、領域別フレームレート設定部421、領域設定部422、領域別テンポラルID設定部423、符号化制御部424、およびパラメータセット生成部425を有する。
領域別フレームレート設定部421は、領域別フレームレート設定部231と同様の処理部であり、ピクチャ内の部分領域毎の時間解像度(フレームレート)の設定に関する処理を行う。領域別フレームレート設定部421は、設定した各部分領域と時間解像度の設定を領域設定部422に供給する。
領域設定部422は、時間解像度が設定される部分領域の位置、大きさ、形状などを設定する。領域設定部422は、任意のデータ単位を単位として部分領域を設定することができる。例えば、第1の実施の形態の場合と同様に、独立して復号が可能なタイルセットを用いて部分領域を設定するようにしてもよいし、タイルセットを用いずに部分領域を設定するようにしてもよい。領域設定部422は設定した部分領域を示す情報を領域別テンポラルID設定部423に供給する。
領域別テンポラルID設定部423は、領域設定部422により設定された各部分領域に対して、領域別フレームレート設定部421により設定された時間解像度に応じた値のテンポラルIDを設定する。領域別テンポラルID設定部423は、部分領域を示す情報や、そのテンポラルIDを示す情報を、符号化制御部424およびパラメータセット生成部425に供給する。
符号化制御部424は、供給された部分領域やそのテンポラルIDを示す情報に基づいて、符号化装置113の各処理部を制御し、画像データの各ピクチャについて、カレントピクチャ含まれる部分領域を符号化させ、図21のBに示されるビットストリーム310のように、それぞれの時間解像度の部分領域のデータを含むビットストリームを生成させる。
パラメータセット生成部425は、パラメータセットを生成する。例えば、パラメータセット生成部425は、部分領域を示す情報やその時間解像度(テンポラルID)を示す情報を含むパラメータセットを生成する。
例えば、領域設定部422がタイルを単位として部分領域を設定し、領域別テンポラルID設定部423が、各部分領域のテンポラルIDを設定するようにしてもよい。その場合、パラメータセット生成部425が、タイルを用いて部分領域を示す情報と、テンポラルIDを用いて各部分領域の時間解像度を示す情報とを含むパラメータセットを生成するようにしてもよい。その場合のシンタックスの例を図24のAに示す。また、そのセマンティクスを図24のBに示す。
この例の場合、ピクチャパラメータセットにおいて、時間解像度を制御する部分領域がタイルの識別情報を用いて設定され(region_tileIdx[i])、その時間解像度がテンポラルID(region_temporal_id[i])を用いて設定されている。なお、これらの情報は、シーケンスパラメータセットにおいて設定されるようにしてもよい。
以上のように、前処理部210が部分領域に対してテンポラルIDを設定し、その設定に基づいて符号化を行うので、符号化装置113は、図21のBに示されるビットストリーム310のように、それぞれの時間解像度の部分領域を含むビットストリームを生成することができる。これにより符号化効率の低減を抑制することができる。
<前処理の流れ>
この場合も、画像符号化処理は、第1の実施の形態の場合(図14)と同様の流れで実行される。図25のフローチャートを参照して、この場合の前処理の流れの例を説明する。
この場合も、画像符号化処理は、第1の実施の形態の場合(図14)と同様の流れで実行される。図25のフローチャートを参照して、この場合の前処理の流れの例を説明する。
前処理が開始されると、前処理部210の領域別フレームレート設定部231は、ステップS201において、入力画像に対して部分領域とその時間解像度(フレームレート)を設定する。
ステップS202において、領域設定部422は、各ピクチャに、ステップS201において設定された部分領域を設定する。
ステップS203において、領域別テンポラルID設定部423は、ステップS201において設定されたフレームレートを実現するように、各ピクチャの階層化構造を設定し、各部分領域に対して、その時間解像度に対応するテンポラルIDを設定する。
ステップS204において、符号化制御部424は、ステップS202において設定された部分領域やステップS203において設定された部分領域毎のテンポラルIDに基づいて、図14を参照して説明した画像符号化処理を制御する。
ステップS205において、パラメータセット生成部425は、パラメータセットを生成する。このパラメータセットは、図14のステップS113において、ビットストリームに含めて出力される。
ステップS205の処理が終了すると、前処理が終了し、処理は図14に戻る。
以上のように各処理を実行することにより、符号化装置113は、符号化効率の低減を抑制することができる。
<3−2.符号化>
<領域毎の時間解像度の解析>
復号装置411は、上述のように符号化装置113により生成されたビットストリームを復号する。その際、復号装置411は、画像データが符号化されたビットストリームに含まれる、その画像データの部分領域毎の時間解像度を示す情報を解析する。従って、復号装置411は、カレントピクチャに存在する部分領域を特定し、復号することができる。したがって、復号装置411は、本実施の形態で説明した符号化装置113が生成したビットストリームを正しく復号することができる。つまり、符号化効率の低減を抑制することができる。なお、復号装置411は、カレントピクチャの存在しない領域を補完するようにしてもよい。このようにすることにより、復号装置411は、ピクチャ全体を符号化することができる。
<領域毎の時間解像度の解析>
復号装置411は、上述のように符号化装置113により生成されたビットストリームを復号する。その際、復号装置411は、画像データが符号化されたビットストリームに含まれる、その画像データの部分領域毎の時間解像度を示す情報を解析する。従って、復号装置411は、カレントピクチャに存在する部分領域を特定し、復号することができる。したがって、復号装置411は、本実施の形態で説明した符号化装置113が生成したビットストリームを正しく復号することができる。つまり、符号化効率の低減を抑制することができる。なお、復号装置411は、カレントピクチャの存在しない領域を補完するようにしてもよい。このようにすることにより、復号装置411は、ピクチャ全体を符号化することができる。
<復号装置の構成>
図26は、復号装置411の主な構成例を示すブロック図である。図26に示されるように、復号装置411は、復号装置133(図18)と基本的に同様の構成を有する。しかしながら、復号装置411は、復号領域判定部441を有し、復号部272の代わりに復号部442を有する。
図26は、復号装置411の主な構成例を示すブロック図である。図26に示されるように、復号装置411は、復号装置133(図18)と基本的に同様の構成を有する。しかしながら、復号装置411は、復号領域判定部441を有し、復号部272の代わりに復号部442を有する。
復号領域判定部441は、ビットストリームに含まれる、画像データの部分領域毎の時間解像度を示す情報(例えば、部分領域毎のテンポラルID)を解析し、各ピクチャの復号する領域を判定する。復号領域判定部441は、また、その判定結果を復号部442に供給する。
復号部442は、復号領域判定部441から供給される判定結果(部分領域毎の時間解像度を示す情報の解析結果)に従って、ビットストリームに含まれる画像データの符号化データの内、所望の部分領域の符号化データを復号する。例えば、復号部442は、解析された部分領域毎の時間解像度に基づいて、画像データの各ピクチャについて、カレントピクチャ含まれる部分領域の符号化データを復号する。このようにすることにより、復号装置411は、本実施の形態で説明した符号化装置113が生成したビットストリームを正しく復号することができる。つまり、符号化効率の低減を抑制することができる。
また、復号部442は、復号領域判定部441の判定結果に従って、各ピクチャのデータが存在する部分領域を復号し、その他の領域を補完する。このようにすることにより、復号装置411は、ピクチャ全体を符号化することができる。
<画像復号処理の流れ>
この復号装置411により実行される画像復号処理の流れの例について、図27のフローチャートを参照して説明する。
この復号装置411により実行される画像復号処理の流れの例について、図27のフローチャートを参照して説明する。
画像復号処理が開始されると、ステップS221において、蓄積バッファ271は、復号装置411に供給されるビットストリームを蓄積する。ステップS222において、復号領域判定部441は、部分領域毎のテンポラルIDを把握する。ステップS223において、復号領域判定部441は、カレントピクチャの時間情報と、部分領域毎のテンポラルIDとに基づいて、カレントピクチャの復号対象とする領域(復号領域)を特定する。ステップS224において、復号部442は、カレントピクチャの、ステップS223において特定した復号領域を復号する。ステップS225において、復号部442は、カレントピクチャの復号領域以外の領域(その他の領域)を補完する。
ステップS226乃至ステップS232の各処理は、図19のステップS173乃至ステップS179の各処理と同様に実行される。ステップS232の処理が終了すると、画像復号処理が終了する。
以上のように、画像復号処理を実行することにより、復号装置411は、符号化装置113が生成したビットストリームを復号することができるので、符号化効率の低減を抑制することができ、復号の負荷の増大を抑制することができる。
<3−3.その他>
<参照範囲>
第2の実施の形態の場合、上述したように、部分領域はタイルセットでなくてもよい。従って、ピクチャ内においては、図28のAに示されるように、他の部分領域を参照することができるようにしてもよい。例えば、部分領域302内のブロック452の符号化・復号において、部分領域301内のブロック451を参照して予測画像を生成するようにしてもよい。また、他のフレームを参照する場合も、図28のBに示されるように、自身と異なる部分領域を参照することができるようにしてもよい。例えば、フレーム312のブロックの符号化・復号において、フレーム311やフレーム313を参照する場合に、それらのフレームに存在する部分領域であれば任意の部分領域のブロックを参照することができるようにしてもよい。したがって、第1の実施の形態において説明したHEVCを用いる場合よりも、予測の制約を低減させることができ、予測精度を向上させ、符号化効率を向上させることができる。
<参照範囲>
第2の実施の形態の場合、上述したように、部分領域はタイルセットでなくてもよい。従って、ピクチャ内においては、図28のAに示されるように、他の部分領域を参照することができるようにしてもよい。例えば、部分領域302内のブロック452の符号化・復号において、部分領域301内のブロック451を参照して予測画像を生成するようにしてもよい。また、他のフレームを参照する場合も、図28のBに示されるように、自身と異なる部分領域を参照することができるようにしてもよい。例えば、フレーム312のブロックの符号化・復号において、フレーム311やフレーム313を参照する場合に、それらのフレームに存在する部分領域であれば任意の部分領域のブロックを参照することができるようにしてもよい。したがって、第1の実施の形態において説明したHEVCを用いる場合よりも、予測の制約を低減させることができ、予測精度を向上させ、符号化効率を向上させることができる。
<補完方法>
復号装置411が、カレントピクチャに含まれる部分領域以外の領域に対して行う補完の方法は任意である。例えば、図29のAに示されるように、連続するフレーム461乃至フレーム463の内、カレントピクチャであるフレーム462の領域(30pの領域)を補完する場合、図29のBに示されるように、その他のフレームの画像の複製を用いて補完するようにしてもよい。この複製元のフレームは、任意である。例えば、フレーム462に隣接するフレーム(例えばフレーム461やフレーム462)であってもよいし、フレーム462の近傍のフレームであってもよい。
復号装置411が、カレントピクチャに含まれる部分領域以外の領域に対して行う補完の方法は任意である。例えば、図29のAに示されるように、連続するフレーム461乃至フレーム463の内、カレントピクチャであるフレーム462の領域(30pの領域)を補完する場合、図29のBに示されるように、その他のフレームの画像の複製を用いて補完するようにしてもよい。この複製元のフレームは、任意である。例えば、フレーム462に隣接するフレーム(例えばフレーム461やフレーム462)であってもよいし、フレーム462の近傍のフレームであってもよい。
また、例えば、図29のCに示されるように、カレントピクチャと異なる複数の他のフレームの画像の平均を用いて補完するようにしてもよい。この平均の算出に利用するフレームは、任意である。例えば、フレーム462の前後のフレーム(フレーム461およびフレーム463)であってもよいし、それら以外のフレームであってもよい。
さらに、例えば、図29のDに示されるように、例えばモーションフロー等を用いて新たな画像を生成し、その生成された新たな画像を用いて補完するようにしてもよい。
また、この補完方法は可変としてもよい。例えば、予め用意された複数の方法の中から選択された方法を用いるようにしてもよい。例えば、上述の、カレントピクチャと異なる他のピクチャの画像の複製を用いる方法、カレントピクチャと異なる複数の他のピクチャの画像の平均を用いる方法、または、新たに生成した画像を用いる方法のいずれかを採用して補完を行うようにしてもよい。
さらに、例えば、この補完方法を符号化側から指定することができるようにしてもよい。つまり、この補完方法に関する情報(例えば補完方法を指定する情報)が、符号化側から復号側に提供されるようにしてもよい。たとえば、符号化装置113が、補完方法に関する情報をビットストリームに含めるようにしてもよい。そして、復号装置411が、その補完方法に関する情報をビットストリームから抽出し、補完の際に利用するようにしてもよい。
このようにすることにより、より適切な補完方法を選択することができ、主観画質の低減をより抑制することができる。
<時間解像度を示す情報>
なお、第2の実施の形態においては、時間解像度を示す情報として、部分領域の時間解像度を示す情報を用いるように説明したが、第1の実施の形態の場合と同様に、この部分領域の時間解像度を示す情報の代わりに、部分領域毎に設定されるレベル情報を用いるようにしてもよい。また、部分領域の復号の際に必要なピクチャを示す情報を用いるようにしてもよい。
なお、第2の実施の形態においては、時間解像度を示す情報として、部分領域の時間解像度を示す情報を用いるように説明したが、第1の実施の形態の場合と同様に、この部分領域の時間解像度を示す情報の代わりに、部分領域毎に設定されるレベル情報を用いるようにしてもよい。また、部分領域の復号の際に必要なピクチャを示す情報を用いるようにしてもよい。
<ビットストリーム変換>
また、第2の実施の形態においては、復号装置411が、符号化装置113が生成したビットストリームを復号するように説明したが、これに限らず、第1の実施の形態の場合と同様に、ビットストリーム変換装置が、符号化装置113が生成したビットストリームから所望の部分領域のデータを抽出し、その部分領域のビットストリームを生成するようにしてもよい。このようにビットストリームを変換してから復号することにより、第1の実施の形態の場合と同様に、復号の負荷の増大を抑制することができる。
また、第2の実施の形態においては、復号装置411が、符号化装置113が生成したビットストリームを復号するように説明したが、これに限らず、第1の実施の形態の場合と同様に、ビットストリーム変換装置が、符号化装置113が生成したビットストリームから所望の部分領域のデータを抽出し、その部分領域のビットストリームを生成するようにしてもよい。このようにビットストリームを変換してから復号することにより、第1の実施の形態の場合と同様に、復号の負荷の増大を抑制することができる。
<復号>
逆に、第1の実施の形態において、第2の実施の形態の場合と同様に、復号装置133が符号化装置113が生成したビットストリームを復号するようにしてもよい。第1の実施の形態の場合、符号化装置113が生成したビットストリームには、全フレームの全ての部分領域のデータが含まれている。したがって、復号装置133は、任意の部分領域を任意のフレームレートで復号することができる。例えば、復号装置133が、時間解像度に応じたピクチャの部分領域のデータを復号することもできる。
逆に、第1の実施の形態において、第2の実施の形態の場合と同様に、復号装置133が符号化装置113が生成したビットストリームを復号するようにしてもよい。第1の実施の形態の場合、符号化装置113が生成したビットストリームには、全フレームの全ての部分領域のデータが含まれている。したがって、復号装置133は、任意の部分領域を任意のフレームレートで復号することができる。例えば、復号装置133が、時間解像度に応じたピクチャの部分領域のデータを復号することもできる。
<4.第3の実施の形態>
<部分領域毎のビットストリーム>
第1の実施の形態および第2の実施の形態においては、符号化装置113が、1本のビットストリームを生成するように説明したが、これに限らず、時間解像度を制御する部分領域毎にビットストリームを生成するようにしてもよい。例えば、符号化装置113が、符号化する画像データの部分領域毎の時間解像度を設定し、その部分領域毎の、設定された時間解像度のビットストリームを生成するようにしてもよい。つまり、各部分領域のデータが互いに異なるビットストリームに格納されて、伝送されるようにしてもよい。
<部分領域毎のビットストリーム>
第1の実施の形態および第2の実施の形態においては、符号化装置113が、1本のビットストリームを生成するように説明したが、これに限らず、時間解像度を制御する部分領域毎にビットストリームを生成するようにしてもよい。例えば、符号化装置113が、符号化する画像データの部分領域毎の時間解像度を設定し、その部分領域毎の、設定された時間解像度のビットストリームを生成するようにしてもよい。つまり、各部分領域のデータが互いに異なるビットストリームに格納されて、伝送されるようにしてもよい。
図30にその場合のビットストリームの構成例を示す。図30に示されるように、この場合、ビットストリーム510、ビットストリーム520、ビットストリーム530、およびビットストリーム540の4本のビットストリームが生成されている。ビットストリーム510は、フレームレートが30pの部分領域のビットストリームであり、フレーム511およびフレーム512のように、フレーム数が元の4分の1に間引きされている。ビットストリーム520は、フレームレートが60pの部分領域のビットストリームであり、フレーム521乃至フレーム523のように、フレーム数が元の2分の1に間引きされている。ビットストリーム530は、フレームレートが90pの部分領域のビットストリームであり、フレーム531乃至フレーム534のように、フレーム数が元の4分の3に間引きされている。ビットストリーム540は、フレームレートが120pの部分領域のビットストリームであり、フレーム541乃至フレーム545のように、フレーム数が元のままである。
このようにすることにより、符号化装置113は、各部分領域のビットストリームを、その部分領域の時間解像度で生成することができる。このようなビットストリームは、例えば、MPEG-DASH(Moving Picture Experts Group phase − Dynamic Adaptive Streaming over HTTP)等の規格を用いて伝送(提供)するようにしてもよい。例えば、MPEG-DASHの場合、各ビットストリーム(部分領域同士)の位置関係等が、MPD(Media Presentation Description)によって管理される。これにより、再生に必要なビットストリームのみを提供することができるようになり、データ伝送の負荷の増大を抑制することができる。
なお、第1の実施の形態や第2の実施の形態の場合と同様に、符号化装置113が、このような部分領域を設定し、その設定された各部分領域の時間解像度を設定し、設定された部分領域毎のビットストリームを生成するようにしてもよい。また、この部分領域は、独立して復号可能なタイルセットとしてもよい。また、符号化・復号対象とするデータは、第1の実施の形態や第2の実施の形態の場合と同様に任意である。例えば、全方位画像が展開された平面画像や、6方位画像が展開された平面画像を符号化対象としてもよい。さらに。部分領域に対する時間解像度の設定は、第1の実施の形態や第2の実施の形態の場合と同様である。このようにすることにより、第1の実施の形態や第2の実施の形態の場合と同様の効果を得ることができる。
<5.その他>
<符号化対象>
以上においては、VR動画を符号化する場合について説明したが、符号化の対象とする画像はどのような画像であってもよい。本技術は、任意の画像の符号化、復号、ビットストリーム変換等に適用することができる。例えば、上述のVR動画像の場合、複数のカメラで撮像された複数の動画像を平面上に並べた平面画像を符号化対象としていたが、単数のカメラで撮像された単数の動画像を符号化対象としてもよい。例えば、監視カメラシステム等において本技術を適用し、不審者等の監視対象が存在する注目領域(重要度の高い領域)の時間解像度を高いままに維持しながら、注目領域以外の、重要度の低い領域の時間解像度を低減させるようにしてもよい。
<符号化対象>
以上においては、VR動画を符号化する場合について説明したが、符号化の対象とする画像はどのような画像であってもよい。本技術は、任意の画像の符号化、復号、ビットストリーム変換等に適用することができる。例えば、上述のVR動画像の場合、複数のカメラで撮像された複数の動画像を平面上に並べた平面画像を符号化対象としていたが、単数のカメラで撮像された単数の動画像を符号化対象としてもよい。例えば、監視カメラシステム等において本技術を適用し、不審者等の監視対象が存在する注目領域(重要度の高い領域)の時間解像度を高いままに維持しながら、注目領域以外の、重要度の低い領域の時間解像度を低減させるようにしてもよい。
なお、時間解像度を制御する部分領域(の位置、形状、大きさ等)、並びにその時間解像度は時間方向に可変としてもよい。つまり、部分領域の位置、形状、大きさ等や、その時間解像度が、時間とともに変化することができるようにしてもよい。例えば、監視カメラシステム等において本技術を適用する場合に、監視対象の移動とともに、注目領域を移動、変形させることができるようにしてもよい。また上述のVR動画像の場合も、ユーザの視線方向や視点位置の変更に応じて、各領域の時間解像度を変更するようにしてもよい。
このように領域や時間解像度等を変更する場合、シーケンスを区切り、新たなシーケンスパラメータセットやSEI等において新たに設定するようにしてもよいが、ピクチャパラメータセットにおいてこれらを更新することができるようにしてもよい。
また、以上においては撮像画像(撮像画像から生成した平面画像)を符号化対象とするように説明したが、符号化対象とする画像は任意であり、例えばCG(Computer Graphics)画像やアニメーション画像のように、撮像画像以外であってもよい。
<制御>
なお、以上に説明した本技術を適用するか否かを制御することができるようにしてもよい。例えば、部分領域に対して時間解像度を設定するか否かをユーザ指示等により制御することができるようにしてもよい。また、例えば目標ビットレートが低レートの場合のみ等、所定の条件を満たす場合のみ、部分領域に対して時間解像度を設定するようにしてもよい。
なお、以上に説明した本技術を適用するか否かを制御することができるようにしてもよい。例えば、部分領域に対して時間解像度を設定するか否かをユーザ指示等により制御することができるようにしてもよい。また、例えば目標ビットレートが低レートの場合のみ等、所定の条件を満たす場合のみ、部分領域に対して時間解像度を設定するようにしてもよい。
また、本技術の適用に関する制御情報を符号化側から復号側に伝送することができるようにしてもよい。この制御情報は、本技術の適用に関するものであればどのような情報であってもよい。例えば、部分領域に対する時間解像度の設定を許可するか否か(または、禁止するか否か)を制御する情報(許可制御情報)、部分領域に対する時間解像度の設定を行うか否かを制御する情報(実行制御情報)、時間解像度等のパラメータの値を制限する情報(パラメータ制限情報)、実行や判定の条件を設定する情報等を、符号化側から復号側に伝送することができるようにしてもよい。
<符号化・復号方式>
例えば、本技術は、複数の視点(ビュー(view))の画像を含む多視点画像の符号化・復号を行う多視点画像符号化・復号システムや、所定のパラメータについてスケーラビリティ(scalability)機能を有するように複数レイヤ化(階層化)された階層画像の符号化・復号を行う階層画像符号化(スケーラブル符号化)・復号システムにも適用することができる。
例えば、本技術は、複数の視点(ビュー(view))の画像を含む多視点画像の符号化・復号を行う多視点画像符号化・復号システムや、所定のパラメータについてスケーラビリティ(scalability)機能を有するように複数レイヤ化(階層化)された階層画像の符号化・復号を行う階層画像符号化(スケーラブル符号化)・復号システムにも適用することができる。
<本技術の適用分野>
本技術は、画像を処理するものであれば、例えば、交通、医療、防犯、農業、畜産業、鉱業、美容、工場、家電、気象、自然監視等、任意の分野に利用されるシステム、装置、処理部等に適用することができる。
本技術は、画像を処理するものであれば、例えば、交通、医療、防犯、農業、畜産業、鉱業、美容、工場、家電、気象、自然監視等、任意の分野に利用されるシステム、装置、処理部等に適用することができる。
例えば、本技術は、鑑賞の用に供されるシステムやデバイスにも適用することができる。また、例えば、本技術は、交通管理の用に供されるシステムやデバイスにも適用することができる。さらに、例えば、本技術は、セキュリティの用に供されるシステムやデバイスにも適用することができる。また、例えば、本技術は、スポーツの用に供されるシステムやデバイスにも適用することができる。さらに、例えば、本技術は、農業の用に供されるシステムやデバイスにも適用することができる。また、例えば、本技術は、畜産業の用に供されるシステムやデバイスにも適用することができる。さらに、本技術は、例えば火山、森林、海洋等の自然の状態を監視するシステムやデバイスにも適用することができる。また、本技術は、例えば天気、気温、湿度、風速、日照時間等を観測する気象観測システムや気象観測装置に適用することができる。さらに、本技術は、例えば鳥類、魚類、ハ虫類、両生類、哺乳類、昆虫、植物等の野生生物の生態を観測するシステムやデバイス等にも適用することができる。
<コンピュータ>
上述した一連の処理は、ハードウエアにより実行させることもできるし、ソフトウエアにより実行させることもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、コンピュータにインストールされる。ここでコンピュータには、専用のハードウエアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータ等が含まれる。
上述した一連の処理は、ハードウエアにより実行させることもできるし、ソフトウエアにより実行させることもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、コンピュータにインストールされる。ここでコンピュータには、専用のハードウエアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータ等が含まれる。
図31は、上述した一連の処理をプログラムにより実行するコンピュータのハードウエアの構成例を示すブロック図である。
図31に示されるコンピュータ800において、CPU(Central Processing Unit)801、ROM(Read Only Memory)802、RAM(Random Access Memory)803は、バス804を介して相互に接続されている。
バス804にはまた、入出力インタフェース810も接続されている。入出力インタフェース810には、入力部811、出力部812、記憶部813、通信部814、およびドライブ815が接続されている。
入力部811は、例えば、キーボード、マウス、マイクロホン、タッチパネル、入力端子などよりなる。出力部812は、例えば、ディスプレイ、スピーカ、出力端子などよりなる。記憶部813は、例えば、ハードディスク、RAMディスク、不揮発性のメモリなどよりなる。通信部814は、例えば、ネットワークインタフェースよりなる。ドライブ815は、磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリなどのリムーバブルメディア821を駆動する。
以上のように構成されるコンピュータでは、CPU801が、例えば、記憶部813に記憶されているプログラムを、入出力インタフェース810およびバス804を介して、RAM803にロードして実行することにより、上述した一連の処理が行われる。RAM803にはまた、CPU801が各種の処理を実行する上において必要なデータなども適宜記憶される。
コンピュータ(CPU801)が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア821に記録して適用することができる。その場合、プログラムは、リムーバブルメディア821をドライブ815に装着することにより、入出力インタフェース810を介して、記憶部813にインストールすることができる。また、このプログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することもできる。その場合、プログラムは、通信部814で受信し、記憶部813にインストールすることができる。その他、このプログラムは、ROM802や記憶部813に、あらかじめインストールしておくこともできる。
なお、上述した一連の処理は、一部をハードウエアにより実行させ、他をソフトウエアにより実行させることもできる。
<本技術の応用>
本技術は、例えば、衛星放送、ケーブルTVなどの有線放送、インターネット上での配信、及びセルラー通信による端末への配信などにおける送信機や受信機、または、光ディスク、磁気ディスク及びフラッシュメモリなどの媒体に画像を記録する記録装置や、これら記憶媒体から画像を再生する再生装置などの、様々な電子機器に応用され得る。
本技術は、例えば、衛星放送、ケーブルTVなどの有線放送、インターネット上での配信、及びセルラー通信による端末への配信などにおける送信機や受信機、または、光ディスク、磁気ディスク及びフラッシュメモリなどの媒体に画像を記録する記録装置や、これら記憶媒体から画像を再生する再生装置などの、様々な電子機器に応用され得る。
例えば、本技術は、複数の装置により構成されるネットワークシステムにも適用することもできる。図32は、本技術を適用したネットワークシステムの概略的な構成の一例を示している。
図32に示されるネットワークシステム1600は、機器同士が、ネットワークを介して画像(動画像)に関する情報を授受するシステムである。このネットワークシステム1600のクラウドサービス1601は、自身に通信可能に接続されるコンピュータ1611、AV(Audio Visual)機器1612、携帯型情報処理端末1613、IoT(Internet of Things)デバイス1614等の端末に対して、画像(動画像)に関するサービスを提供するシステムである。例えば、クラウドサービス1601は、所謂動画配信(オンデマンドやライブ配信)のような、画像(動画像)のコンテンツの供給サービスを端末に提供する。また、例えば、クラウドサービス1601は、端末から画像(動画像)のコンテンツを受け取って保管するバックアップサービスを提供する。また、例えば、クラウドサービス1601は、端末同士の画像(動画像)のコンテンツの授受を仲介するサービスを提供する。
クラウドサービス1601の物理構成は任意である。例えば、クラウドサービス1601は、動画像を保存し、管理するサーバ、動画像を端末に配信するサーバ、動画像を端末から取得するサーバ、ユーザ(端末)や課金を管理するサーバ等の各種サーバや、インターネットやLAN等の任意のネットワークを有するようにしてもよい。
コンピュータ1611は、例えば、パーソナルコンピュータ、サーバ、ワークステーション等のような情報処理装置により構成される。AV機器1612は、例えば、テレビジョン受像機、ハードディスクレコーダ、ゲーム機器、カメラ等のような画像処理装置により構成される。携帯型情報処理端末1613は、例えば、ノート型パーソナルコンピュータ、タブレット端末、携帯電話機、スマートフォン等のような携帯型の情報処理装置により構成される。IoTデバイス1614は、例えば、機械、家電、家具、その他の物、ICタグ、カード型デバイス等、画像に関する処理を行う任意の物体により構成される。これらの端末は、いずれも通信機能を有し、クラウドサービス1601に接続し(セッションを確立し)、クラウドサービス1601と情報の授受を行う(すなわち通信を行う)ことができる。また、各端末は、他の端末と通信を行うこともできる。端末間の通信は、クラウドサービス1601を介して行うようにしてもよいし、クラウドサービス1601を介さずに行うようにしてもよい。
以上のようなネットワークシステム1600において、端末間や、端末とクラウドサービス1601との間で動画像の符号化データを授受する際に、本技術を適用するようにしてもよい。
例えば、クラウドサービス1601がVR動画を提供し、端末がそのVR動画を取得して再生する場合、クラウドサービス1601がそのVR動画として、各実施の形態において上述したように、部分領域毎に時間解像度が設定された画像データを符号化したビットストリームを端末に提供するようにしてもよい。このようにすることにより、部分領域毎に時間解像度を用いて情報量を制御することができるので、符号化効率の低減を抑制することができる。これにより、VR動画を提供するクラウドサービス1601において、保持するデータ量を低減させたり、符号化や送信の負荷(処理量、バッファ量、処理時間等)の増大を抑制したりすることができる。また、伝送媒体(ネットワーク等)の負荷(占有率や占有時間等)の増大を抑制することができる。さらに、そのVR動画を受信する端末において、受信や復号の負荷(処理量、バッファ量、処理時間等)の増大を抑制したりすることができる。
<補足>
なお、符号化データ(ビットストリーム)に関する各種情報(メタデータ等)は、符号化データに関連づけられていれば、どのような形態で伝送または記録されるようにしてもよい。ここで、「関連付ける」という用語は、例えば、一方のデータを処理する際に他方のデータを利用し得る(リンクさせ得る)ようにすることを意味する。つまり、互いに関連付けられたデータは、1つのデータとしてまとめられてもよいし、それぞれ個別のデータとしてもよい。例えば、符号化データ(画像)に関連付けられた情報は、その符号化データ(画像)とは別の伝送路上で伝送されるようにしてもよい。また、例えば、符号化データ(画像)に関連付けられた情報は、その符号化データ(画像)とは別の記録媒体(又は同一の記録媒体の別の記録エリア)に記録されるようにしてもよい。なお、この「関連付け」は、データ全体でなく、データの一部であってもよい。例えば、画像とその画像に対応する情報とが、複数フレーム、1フレーム、又はフレーム内の一部分などの任意の単位で互いに関連付けられるようにしてもよい。
なお、符号化データ(ビットストリーム)に関する各種情報(メタデータ等)は、符号化データに関連づけられていれば、どのような形態で伝送または記録されるようにしてもよい。ここで、「関連付ける」という用語は、例えば、一方のデータを処理する際に他方のデータを利用し得る(リンクさせ得る)ようにすることを意味する。つまり、互いに関連付けられたデータは、1つのデータとしてまとめられてもよいし、それぞれ個別のデータとしてもよい。例えば、符号化データ(画像)に関連付けられた情報は、その符号化データ(画像)とは別の伝送路上で伝送されるようにしてもよい。また、例えば、符号化データ(画像)に関連付けられた情報は、その符号化データ(画像)とは別の記録媒体(又は同一の記録媒体の別の記録エリア)に記録されるようにしてもよい。なお、この「関連付け」は、データ全体でなく、データの一部であってもよい。例えば、画像とその画像に対応する情報とが、複数フレーム、1フレーム、又はフレーム内の一部分などの任意の単位で互いに関連付けられるようにしてもよい。
また、本明細書において、「合成する」、「多重化する」、「付加する」、「一体化する」、「含める」、「格納する」、「入れ込む」、「差し込む」、「挿入する」等の用語は、例えば符号化データとメタデータとを1つのデータにまとめるといった、複数の物を1つにまとめることを意味し、上述の「関連付ける」の1つの方法を意味する。
また、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
また、例えば、本技術は、装置またはシステムを構成するあらゆる構成、例えば、システムLSI(Large Scale Integration)等としてのプロセッサ、複数のプロセッサ等を用いるモジュール、複数のモジュール等を用いるユニット、ユニットにさらにその他の機能を付加したセット等(すなわち、装置の一部の構成)として実施することもできる。
なお、本明細書において、システムとは、複数の構成要素(装置、モジュール(部品)等)の集合を意味し、全ての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、1つの筐体の中に複数のモジュールが収納されている1つの装置は、いずれも、システムである。
また、例えば、1つの装置(または処理部)として説明した構成を分割し、複数の装置(または処理部)として構成するようにしてもよい。逆に、以上において複数の装置(または処理部)として説明した構成をまとめて1つの装置(または処理部)として構成されるようにしてもよい。また、各装置(または各処理部)の構成に上述した以外の構成を付加するようにしてももちろんよい。さらに、システム全体としての構成や動作が実質的に同じであれば、ある装置(または処理部)の構成の一部を他の装置(または他の処理部)の構成に含めるようにしてもよい。
また、例えば、本技術は、1つの機能を、ネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
また、例えば、上述したプログラムは、任意の装置において実行することができる。その場合、その装置が、必要な機能(機能ブロック等)を有し、必要な情報を得ることができるようにすればよい。
また、例えば、上述のフローチャートで説明した各ステップは、1つの装置で実行する他、複数の装置で分担して実行することができる。さらに、1つのステップに複数の処理が含まれる場合には、その1つのステップに含まれる複数の処理は、1つの装置で実行する他、複数の装置で分担して実行することができる。換言するに、1つのステップに含まれる複数の処理を、複数のステップの処理として実行することもできる。逆に、複数のステップとして説明した処理を1つのステップとしてまとめて実行することもできる。
なお、コンピュータが実行するプログラムは、プログラムを記述するステップの処理が、本明細書で説明する順序に沿って時系列に実行されるようにしても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで個別に実行されるようにしても良い。つまり、矛盾が生じない限り、各ステップの処理が上述した順序と異なる順序で実行されるようにしてもよい。さらに、このプログラムを記述するステップの処理が、他のプログラムの処理と並列に実行されるようにしても良いし、他のプログラムの処理と組み合わせて実行されるようにしても良い。
なお、本明細書において複数説明した本技術は、矛盾が生じない限り、それぞれ独立に単体で実施することができる。もちろん、任意の複数の本技術を併用して実施することもできる。例えば、いずれかの実施の形態において説明した本技術の一部または全部を、他の実施の形態において説明した本技術の一部または全部と組み合わせて実施することもできる。また、上述した任意の本技術の一部または全部を、上述していない他の技術と併用して実施することもできる。
なお、本技術は以下のような構成も取ることができる。
(1) 符号化する画像データの部分領域毎の時間解像度を設定する時間解像度設定部と、
前記画像データを符号化し、前記時間解像度設定部により設定された前記部分領域毎の前記時間解像度を示す情報を含むビットストリームを生成する符号化部と
を備える画像処理装置。
(2) 前記部分領域は独立して復号可能なタイルセットである
(1)に記載の画像処理装置。
(3) 前記ビットストリームは、前記部分領域に関する情報を含む
(1)または(2)に記載の画像処理装置。
(4) 前記部分領域に関する前記情報は、MCTS SEI(Motion constrained tile set Supplemental Enhancement Information)である
(3)に記載の画像処理装置。
(5) 前記部分領域を設定する部分領域設定部をさらに備え、
前記時間解像度設定部は、前記部分領域設定部により設定された各部分領域の時間解像度を設定するように構成される
(1)乃至(4)のいずれかに記載の画像処理装置。
(6) 前記時間解像度を示す前記情報は、前記画像データのピクチャ毎に設定されるテンポラルIDを含む
(1)乃至(5)のいずれかに記載の画像処理装置。
(7) 前記時間解像度を示す前記情報は、前記部分領域毎に設定されるレベル情報を含む
(1)乃至(6)のいずれかに記載の画像処理装置。
(8) 前記時間解像度を示す情報は、前記部分領域の復号の際に必要なピクチャを示す情報を含む
(1)乃至(6)のいずれかに記載の画像処理装置。
(9) 前記画像データは、視点を中心とする球体状にレンダリングされた全方位画像が単数の平面に展開された平面画像のデータである
(1)乃至(8)のいずれかに記載の画像処理装置。
(10) 前記時間解像度設定部は、前記全方位画像が展開された前記平面画像のより中央に近い位置の部分領域程、前記時間解像度を高く設定する
(9)に記載の画像処理装置。
(11) 前記時間解像度設定部は、前記全方位画像が展開された前記平面画像の上下方向について、より中央に近い位置の部分領域程、前記時間解像度を高く設定する
(10)に記載の画像処理装置。
(12) 前記時間解像度設定部は、前記全方位画像が展開された前記平面画像の上端近傍の部分領域の前記時間解像度を、前記平面画像の下端近傍の部分領域よりも高く設定する
(11)に記載の画像処理装置。
(13) 前記画像データは、視点を中心とする互いに直角な6方向の平面画像が単数の平面に展開された平面画像のデータである
(1)乃至(8)のいずれかに記載の画像処理装置。
(14) 前記時間解像度設定部は、前記6方向の内、前記視点から見て前方の平面画像の前記時間解像度を、他の方向の平面画像よりも高く設定する
(13)に記載の画像処理装置。
(15) 前記時間解像度設定部は、前記6方向の内、前記視点から見て左方、右方、および後方の平面画像の前記時間解像度を、前記視点から見て上方および下方の平面画像よりも高く設定する
(14)に記載の画像処理装置。
(16) 前記時間解像度設定部は、前記6方向の内、前記視点から見て左方および右方の平面画像の前記時間解像度を、前記視点から見て後方の平面画像よりも高く設定する
(15)に記載の画像処理装置。
(17) 前記時間解像度設定部は、前記6方向の内、前記視点から見て上方の平面画像の前記時間解像度を、前記視点から見て下方の平面画像よりも高く設定する
(16)に記載の画像処理装置。
(18) 符号化する画像データの部分領域毎の時間解像度を設定し、
前記画像データを符号化し、設定された前記部分領域毎の前記時間解像度を示す情報を含むビットストリームを生成する
画像処理方法。
(1) 符号化する画像データの部分領域毎の時間解像度を設定する時間解像度設定部と、
前記画像データを符号化し、前記時間解像度設定部により設定された前記部分領域毎の前記時間解像度を示す情報を含むビットストリームを生成する符号化部と
を備える画像処理装置。
(2) 前記部分領域は独立して復号可能なタイルセットである
(1)に記載の画像処理装置。
(3) 前記ビットストリームは、前記部分領域に関する情報を含む
(1)または(2)に記載の画像処理装置。
(4) 前記部分領域に関する前記情報は、MCTS SEI(Motion constrained tile set Supplemental Enhancement Information)である
(3)に記載の画像処理装置。
(5) 前記部分領域を設定する部分領域設定部をさらに備え、
前記時間解像度設定部は、前記部分領域設定部により設定された各部分領域の時間解像度を設定するように構成される
(1)乃至(4)のいずれかに記載の画像処理装置。
(6) 前記時間解像度を示す前記情報は、前記画像データのピクチャ毎に設定されるテンポラルIDを含む
(1)乃至(5)のいずれかに記載の画像処理装置。
(7) 前記時間解像度を示す前記情報は、前記部分領域毎に設定されるレベル情報を含む
(1)乃至(6)のいずれかに記載の画像処理装置。
(8) 前記時間解像度を示す情報は、前記部分領域の復号の際に必要なピクチャを示す情報を含む
(1)乃至(6)のいずれかに記載の画像処理装置。
(9) 前記画像データは、視点を中心とする球体状にレンダリングされた全方位画像が単数の平面に展開された平面画像のデータである
(1)乃至(8)のいずれかに記載の画像処理装置。
(10) 前記時間解像度設定部は、前記全方位画像が展開された前記平面画像のより中央に近い位置の部分領域程、前記時間解像度を高く設定する
(9)に記載の画像処理装置。
(11) 前記時間解像度設定部は、前記全方位画像が展開された前記平面画像の上下方向について、より中央に近い位置の部分領域程、前記時間解像度を高く設定する
(10)に記載の画像処理装置。
(12) 前記時間解像度設定部は、前記全方位画像が展開された前記平面画像の上端近傍の部分領域の前記時間解像度を、前記平面画像の下端近傍の部分領域よりも高く設定する
(11)に記載の画像処理装置。
(13) 前記画像データは、視点を中心とする互いに直角な6方向の平面画像が単数の平面に展開された平面画像のデータである
(1)乃至(8)のいずれかに記載の画像処理装置。
(14) 前記時間解像度設定部は、前記6方向の内、前記視点から見て前方の平面画像の前記時間解像度を、他の方向の平面画像よりも高く設定する
(13)に記載の画像処理装置。
(15) 前記時間解像度設定部は、前記6方向の内、前記視点から見て左方、右方、および後方の平面画像の前記時間解像度を、前記視点から見て上方および下方の平面画像よりも高く設定する
(14)に記載の画像処理装置。
(16) 前記時間解像度設定部は、前記6方向の内、前記視点から見て左方および右方の平面画像の前記時間解像度を、前記視点から見て後方の平面画像よりも高く設定する
(15)に記載の画像処理装置。
(17) 前記時間解像度設定部は、前記6方向の内、前記視点から見て上方の平面画像の前記時間解像度を、前記視点から見て下方の平面画像よりも高く設定する
(16)に記載の画像処理装置。
(18) 符号化する画像データの部分領域毎の時間解像度を設定し、
前記画像データを符号化し、設定された前記部分領域毎の前記時間解像度を示す情報を含むビットストリームを生成する
画像処理方法。
(21) 画像データが符号化されたビットストリームに含まれる、前記画像データの部分領域毎の時間解像度を示す情報を解析する解析部を備える
画像処理装置。
(22) 前記部分領域は独立して復号可能なタイルセットである
(21)に記載の画像処理装置。
(23) 前記ビットストリームは、前記部分領域に関する情報を含む
(21)または(22)に記載の画像処理装置。
(24) 前記部分領域に関する前記情報は、MCTS SEI(Motion constrained tile set Supplemental Enhancement Information)である
(23)に記載の画像処理装置。
(25) 前記時間解像度を示す前記情報は、前記画像データのピクチャ毎に設定されるテンポラルIDを含む
(21)乃至(24)のいずれかに記載の画像処理装置。
(26) 前記時間解像度を示す前記情報は、前記部分領域毎に設定されるレベル情報を含む
(21)乃至(25)のいずれかに記載の画像処理装置。
(27) 前記時間解像度を示す情報は、前記部分領域の復号の際に必要なピクチャを示す情報を含む
(21)乃至(25)のいずれかに記載の画像処理装置。
(28) 前記画像データは、視点を中心とする球体状にレンダリングされた全方位画像が単数の平面に展開された平面画像のデータである
(21)乃至(27)のいずれかに記載の画像処理装置。
(29) 前記画像データは、前記全方位画像が展開された前記平面画像のより中央に近い位置の部分領域程、前記時間解像度が高く設定されている
(28)に記載の画像処理装置。
(30) 前記画像データは、前記全方位画像が展開された前記平面画像の上下方向について、より中央に近い位置の部分領域程、前記時間解像度が高く設定されている
(29)に記載の画像処理装置。
(31) 前記画像データは、前記全方位画像が展開された前記平面画像の上端近傍の部分領域の前記時間解像度が、前記平面画像の下端近傍の部分領域よりも高く設定されている
(30)に記載の画像処理装置。
(32) 前記画像データは、視点を中心とする互いに直角な6方向の平面画像が単数の平面に展開された平面画像のデータである
(21)乃至(27)のいずれかに記載の画像処理装置。
(33) 前記画像データは、前記6方向の内、前記視点から見て前方の平面画像の前記時間解像度が、他の方向の平面画像よりも高く設定されている
(32)に記載の画像処理装置。
(34) 前記画像データは、前記6方向の内、前記視点から見て左方、右方、および後方の平面画像の前記時間解像度が、前記視点から見て上方および下方の平面画像よりも高く設定されている
(33)に記載の画像処理装置。
(35) 前記画像データは、前記6方向の内、前記視点から見て左方および右方の平面画像の前記時間解像度が、前記視点から見て後方の平面画像よりも高く設定されている
(34)に記載の画像処理装置。
(36) 前記画像データは、前記6方向の内、前記視点から見て上方の平面画像の前記時間解像度が、前記視点から見て下方の平面画像よりも高く設定されている
(35)に記載の画像処理装置。
(37) 前記解析部の解析結果に従って、前記ビットストリームから所望の部分領域のデータを抽出するデータ抽出部と、
前記データ抽出部により抽出された前記部分領域のデータを含むビットストリームを生成するビットストリーム生成部と
をさらに備える(21)乃至(36)のいずれかに記載の画像処理装置。
(38) 前記データ抽出部は、前記時間解像度に応じたピクチャから、前記部分領域のデータを抽出する
(37)に記載の画像処理装置。
(39) 前記解析部の解析結果に従って、前記ビットストリームから所望の部分領域のデータを復号する復号部をさらに備える
(21)乃至(36)のいずれかに記載の画像処理装置。
(40) 前記復号部は、前記時間解像度に応じたピクチャの前記部分領域のデータを復号する
(39)に記載の画像処理装置。
(41) 画像データが符号化されたビットストリームに含まれる、前記画像データの部分領域毎の時間解像度を示す情報を解析する
画像処理方法。
画像処理装置。
(22) 前記部分領域は独立して復号可能なタイルセットである
(21)に記載の画像処理装置。
(23) 前記ビットストリームは、前記部分領域に関する情報を含む
(21)または(22)に記載の画像処理装置。
(24) 前記部分領域に関する前記情報は、MCTS SEI(Motion constrained tile set Supplemental Enhancement Information)である
(23)に記載の画像処理装置。
(25) 前記時間解像度を示す前記情報は、前記画像データのピクチャ毎に設定されるテンポラルIDを含む
(21)乃至(24)のいずれかに記載の画像処理装置。
(26) 前記時間解像度を示す前記情報は、前記部分領域毎に設定されるレベル情報を含む
(21)乃至(25)のいずれかに記載の画像処理装置。
(27) 前記時間解像度を示す情報は、前記部分領域の復号の際に必要なピクチャを示す情報を含む
(21)乃至(25)のいずれかに記載の画像処理装置。
(28) 前記画像データは、視点を中心とする球体状にレンダリングされた全方位画像が単数の平面に展開された平面画像のデータである
(21)乃至(27)のいずれかに記載の画像処理装置。
(29) 前記画像データは、前記全方位画像が展開された前記平面画像のより中央に近い位置の部分領域程、前記時間解像度が高く設定されている
(28)に記載の画像処理装置。
(30) 前記画像データは、前記全方位画像が展開された前記平面画像の上下方向について、より中央に近い位置の部分領域程、前記時間解像度が高く設定されている
(29)に記載の画像処理装置。
(31) 前記画像データは、前記全方位画像が展開された前記平面画像の上端近傍の部分領域の前記時間解像度が、前記平面画像の下端近傍の部分領域よりも高く設定されている
(30)に記載の画像処理装置。
(32) 前記画像データは、視点を中心とする互いに直角な6方向の平面画像が単数の平面に展開された平面画像のデータである
(21)乃至(27)のいずれかに記載の画像処理装置。
(33) 前記画像データは、前記6方向の内、前記視点から見て前方の平面画像の前記時間解像度が、他の方向の平面画像よりも高く設定されている
(32)に記載の画像処理装置。
(34) 前記画像データは、前記6方向の内、前記視点から見て左方、右方、および後方の平面画像の前記時間解像度が、前記視点から見て上方および下方の平面画像よりも高く設定されている
(33)に記載の画像処理装置。
(35) 前記画像データは、前記6方向の内、前記視点から見て左方および右方の平面画像の前記時間解像度が、前記視点から見て後方の平面画像よりも高く設定されている
(34)に記載の画像処理装置。
(36) 前記画像データは、前記6方向の内、前記視点から見て上方の平面画像の前記時間解像度が、前記視点から見て下方の平面画像よりも高く設定されている
(35)に記載の画像処理装置。
(37) 前記解析部の解析結果に従って、前記ビットストリームから所望の部分領域のデータを抽出するデータ抽出部と、
前記データ抽出部により抽出された前記部分領域のデータを含むビットストリームを生成するビットストリーム生成部と
をさらに備える(21)乃至(36)のいずれかに記載の画像処理装置。
(38) 前記データ抽出部は、前記時間解像度に応じたピクチャから、前記部分領域のデータを抽出する
(37)に記載の画像処理装置。
(39) 前記解析部の解析結果に従って、前記ビットストリームから所望の部分領域のデータを復号する復号部をさらに備える
(21)乃至(36)のいずれかに記載の画像処理装置。
(40) 前記復号部は、前記時間解像度に応じたピクチャの前記部分領域のデータを復号する
(39)に記載の画像処理装置。
(41) 画像データが符号化されたビットストリームに含まれる、前記画像データの部分領域毎の時間解像度を示す情報を解析する
画像処理方法。
(51) 符号化する画像データの部分領域毎の時間解像度を設定する時間解像度設定部と、
前記画像データを符号化し、前記時間解像度設定部により設定された前記部分領域毎の前記時間解像度を示す情報を含むビットストリームを生成する符号化部と
を備える画像処理装置。
(52) 前記部分領域を設定する部分領域設定部をさらに備え、
前記時間解像度設定部は、前記部分領域設定部により設定された各部分領域の時間解像度を設定するように構成される
(51)に記載の画像処理装置。
(53) 前記ビットストリームは、前記部分領域に関する情報を含む
(51)または(52)に記載の画像処理装置。
(54) 前記部分領域は独立して復号可能なタイルセットである
(51)乃至(53)のいずれかに記載の画像処理装置。
(55) 前記時間解像度を示す前記情報は、前記部分領域毎に設定されるテンポラルIDを含む
(51)乃至(54)のいずれかに記載の画像処理装置。
(56) 前記時間解像度を示す前記情報は、前記部分領域毎に設定されるレベル情報を含む
(51)乃至(54)のいずれかに記載の画像処理装置。
(57) 前記時間解像度を示す情報は、前記部分領域の復号の際に必要なピクチャを示す情報を含む
(51)乃至(54)のいずれかに記載の画像処理装置。
(58) 前記画像データは、視点を中心とする球体状にレンダリングされた全方位画像が単数の平面に展開された平面画像のデータである
(51)乃至(57)のいずれかに記載の画像処理装置。
(59) 前記時間解像度設定部は、前記全方位画像が展開された前記平面画像のより中央に近い位置の部分領域程、前記時間解像度を高く設定する
(58)に記載の画像処理装置。
(60) 前記時間解像度設定部は、前記全方位画像が展開された前記平面画像の上下方向について、より中央に近い位置の部分領域程、前記時間解像度を高く設定する
(59)に記載の画像処理装置。
(61) 前記時間解像度設定部は、前記全方位画像が展開された前記平面画像の上端近傍の部分領域の前記時間解像度を、前記平面画像の下端近傍の部分領域よりも高く設定する
(60)に記載の画像処理装置。
(62) 前記画像データは、視点を中心とする互いに直角な6方向の平面画像が単数の平面に展開された平面画像のデータである
(51)乃至(57)のいずれかに記載の画像処理装置。
(63) 前記時間解像度設定部は、前記6方向の内、前記視点から見て前方の平面画像の前記時間解像度を、他の方向の平面画像よりも高く設定する
(62)に記載の画像処理装置。
(64) 前記時間解像度設定部は、前記6方向の内、前記視点から見て左方、右方、および後方の平面画像の前記時間解像度を、前記視点から見て上方および下方の平面画像よりも高く設定する
(63)に記載の画像処理装置。
(65) 前記時間解像度設定部は、前記6方向の内、前記視点から見て左方および右方の平面画像の前記時間解像度を、前記視点から見て後方の平面画像よりも高く設定する
(64)に記載の画像処理装置。
(66) 前記時間解像度設定部は、前記6方向の内、前記視点から見て上方の平面画像の前記時間解像度を、前記視点から見て下方の平面画像よりも高く設定する
(65)に記載の画像処理装置。
(67) 前記符号化部は、前記時間解像度設定部により設定された前記部分領域毎の前記時間解像度に基づいて、前記画像データの各ピクチャについて、カレントピクチャ含まれる部分領域を符号化する
(51)乃至(66)のいずれかに記載の画像処理装置。
(68) 前記ビットストリームは、復号の際のピクチャの前記部分領域以外の領域の補完方法に関する情報を含む
(67)に記載の画像処理装置。
(69) 符号化する画像データの部分領域毎の時間解像度を設定し、
前記画像データを符号化し、設定された前記部分領域毎の前記時間解像度を示す情報を含むビットストリームを生成する
画像処理方法。
前記画像データを符号化し、前記時間解像度設定部により設定された前記部分領域毎の前記時間解像度を示す情報を含むビットストリームを生成する符号化部と
を備える画像処理装置。
(52) 前記部分領域を設定する部分領域設定部をさらに備え、
前記時間解像度設定部は、前記部分領域設定部により設定された各部分領域の時間解像度を設定するように構成される
(51)に記載の画像処理装置。
(53) 前記ビットストリームは、前記部分領域に関する情報を含む
(51)または(52)に記載の画像処理装置。
(54) 前記部分領域は独立して復号可能なタイルセットである
(51)乃至(53)のいずれかに記載の画像処理装置。
(55) 前記時間解像度を示す前記情報は、前記部分領域毎に設定されるテンポラルIDを含む
(51)乃至(54)のいずれかに記載の画像処理装置。
(56) 前記時間解像度を示す前記情報は、前記部分領域毎に設定されるレベル情報を含む
(51)乃至(54)のいずれかに記載の画像処理装置。
(57) 前記時間解像度を示す情報は、前記部分領域の復号の際に必要なピクチャを示す情報を含む
(51)乃至(54)のいずれかに記載の画像処理装置。
(58) 前記画像データは、視点を中心とする球体状にレンダリングされた全方位画像が単数の平面に展開された平面画像のデータである
(51)乃至(57)のいずれかに記載の画像処理装置。
(59) 前記時間解像度設定部は、前記全方位画像が展開された前記平面画像のより中央に近い位置の部分領域程、前記時間解像度を高く設定する
(58)に記載の画像処理装置。
(60) 前記時間解像度設定部は、前記全方位画像が展開された前記平面画像の上下方向について、より中央に近い位置の部分領域程、前記時間解像度を高く設定する
(59)に記載の画像処理装置。
(61) 前記時間解像度設定部は、前記全方位画像が展開された前記平面画像の上端近傍の部分領域の前記時間解像度を、前記平面画像の下端近傍の部分領域よりも高く設定する
(60)に記載の画像処理装置。
(62) 前記画像データは、視点を中心とする互いに直角な6方向の平面画像が単数の平面に展開された平面画像のデータである
(51)乃至(57)のいずれかに記載の画像処理装置。
(63) 前記時間解像度設定部は、前記6方向の内、前記視点から見て前方の平面画像の前記時間解像度を、他の方向の平面画像よりも高く設定する
(62)に記載の画像処理装置。
(64) 前記時間解像度設定部は、前記6方向の内、前記視点から見て左方、右方、および後方の平面画像の前記時間解像度を、前記視点から見て上方および下方の平面画像よりも高く設定する
(63)に記載の画像処理装置。
(65) 前記時間解像度設定部は、前記6方向の内、前記視点から見て左方および右方の平面画像の前記時間解像度を、前記視点から見て後方の平面画像よりも高く設定する
(64)に記載の画像処理装置。
(66) 前記時間解像度設定部は、前記6方向の内、前記視点から見て上方の平面画像の前記時間解像度を、前記視点から見て下方の平面画像よりも高く設定する
(65)に記載の画像処理装置。
(67) 前記符号化部は、前記時間解像度設定部により設定された前記部分領域毎の前記時間解像度に基づいて、前記画像データの各ピクチャについて、カレントピクチャ含まれる部分領域を符号化する
(51)乃至(66)のいずれかに記載の画像処理装置。
(68) 前記ビットストリームは、復号の際のピクチャの前記部分領域以外の領域の補完方法に関する情報を含む
(67)に記載の画像処理装置。
(69) 符号化する画像データの部分領域毎の時間解像度を設定し、
前記画像データを符号化し、設定された前記部分領域毎の前記時間解像度を示す情報を含むビットストリームを生成する
画像処理方法。
(71) 画像データが符号化されたビットストリームに含まれる、前記画像データの部分領域毎の時間解像度を示す情報を解析する解析部を備える
画像処理装置。
(72) 前記ビットストリームは、前記部分領域に関する情報を含む
(71)に記載の画像処理装置。
(73) 前記部分領域は独立して復号可能なタイルセットである
(71)または(72)に記載の画像処理装置。
(74) 前記時間解像度を示す前記情報は、前記部分領域毎に設定されるテンポラルIDを含む
(71)乃至(73)のいずれかに記載の画像処理装置。
(75) 前記時間解像度を示す前記情報は、前記部分領域毎に設定されるレベル情報を含む
(71)乃至(73)のいずれかに記載の画像処理装置。
(76) 前記時間解像度を示す情報は、前記部分領域の復号の際に必要なピクチャを示す情報を含む
(71)乃至(73)のいずれかに記載の画像処理装置。
(77) 前記画像データは、視点を中心とする球体状にレンダリングされた全方位画像が単数の平面に展開された平面画像のデータである
(71)乃至(76)のいずれかに記載の画像処理装置。
(78) 前記画像データは、前記全方位画像が展開された前記平面画像のより中央に近い位置の部分領域程、前記時間解像度が高く設定されている
(77)に記載の画像処理装置。
(79) 前記画像データは、前記全方位画像が展開された前記平面画像の上下方向について、より中央に近い位置の部分領域程、前記時間解像度が高く設定されている
(78)に記載の画像処理装置。
(80) 前記画像データは、前記全方位画像が展開された前記平面画像の上端近傍の部分領域の前記時間解像度が、前記平面画像の下端近傍の部分領域よりも高く設定されている
(79)に記載の画像処理装置。
(81) 前記画像データは、視点を中心とする互いに直角な6方向の平面画像が単数の平面に展開された平面画像のデータである
(71)乃至(76)のいずれかに記載の画像処理装置。
(82) 前記画像データは、前記6方向の内、前記視点から見て前方の平面画像の前記時間解像度が、他の方向の平面画像よりも高く設定されている
(81)に記載の画像処理装置。
(83) 前記画像データは、前記6方向の内、前記視点から見て左方、右方、および後方の平面画像の前記時間解像度が、前記視点から見て上方および下方の平面画像よりも高く設定されている
(82)に記載の画像処理装置。
(84) 前記画像データは、前記6方向の内、前記視点から見て左方および右方の平面画像の前記時間解像度が、前記視点から見て後方の平面画像よりも高く設定されている
(83)に記載の画像処理装置。
(85) 前記画像データは、前記6方向の内、前記視点から見て上方の平面画像の前記時間解像度が、前記視点から見て下方の平面画像よりも高く設定されている
(84)に記載の画像処理装置。
(86) 前記解析部の解析結果に従って、前記ビットストリームに含まれる前記画像データの符号化データの内、所望の部分領域の符号化データを復号する復号部をさらに備える
(71)乃至(85)のいずれかに記載の画像処理装置。
(87) 前記復号部は、前記解析部により解析された前記部分領域毎の前記時間解像度に基づいて、前記画像データの各ピクチャについて、カレントピクチャ含まれる部分領域の符号化データを復号する
(86)に記載の画像処理装置。
(88) 前記復号部は、カレントピクチャの前記部分領域以外の領域を補完する
(87)に記載の画像処理装置。
(89) 前記復号部は、前記カレントピクチャの前記部分領域以外の領域を、前記カレントピクチャと異なる他のピクチャの画像の複製、前記カレントピクチャと異なる複数の他のピクチャの画像の平均、または、新たに生成した画像を用いて補完する
(88)に記載の画像処理装置。
(90) 前記復号部は、前記カレントピクチャの前記部分領域以外の領域を、前記ビットストリームに含まれる、前記カレントピクチャの前記部分領域以外の領域の補完方法に関する情報に対応する方法を用いて補完する
(88)に記載の画像処理装置。
(91) 前記解析部の解析結果に従って、前記ビットストリームから所望の部分領域のデータを抽出するデータ抽出部と、
前記データ抽出部により抽出された前記部分領域のデータを含むビットストリームを生成するビットストリーム生成部と
をさらに備える(71)乃至(85)のいずれかに記載の画像処理装置。
(92) 画像データが符号化されたビットストリームに含まれる、前記画像データの部分領域毎の時間解像度を示す情報を解析する
画像処理方法。
画像処理装置。
(72) 前記ビットストリームは、前記部分領域に関する情報を含む
(71)に記載の画像処理装置。
(73) 前記部分領域は独立して復号可能なタイルセットである
(71)または(72)に記載の画像処理装置。
(74) 前記時間解像度を示す前記情報は、前記部分領域毎に設定されるテンポラルIDを含む
(71)乃至(73)のいずれかに記載の画像処理装置。
(75) 前記時間解像度を示す前記情報は、前記部分領域毎に設定されるレベル情報を含む
(71)乃至(73)のいずれかに記載の画像処理装置。
(76) 前記時間解像度を示す情報は、前記部分領域の復号の際に必要なピクチャを示す情報を含む
(71)乃至(73)のいずれかに記載の画像処理装置。
(77) 前記画像データは、視点を中心とする球体状にレンダリングされた全方位画像が単数の平面に展開された平面画像のデータである
(71)乃至(76)のいずれかに記載の画像処理装置。
(78) 前記画像データは、前記全方位画像が展開された前記平面画像のより中央に近い位置の部分領域程、前記時間解像度が高く設定されている
(77)に記載の画像処理装置。
(79) 前記画像データは、前記全方位画像が展開された前記平面画像の上下方向について、より中央に近い位置の部分領域程、前記時間解像度が高く設定されている
(78)に記載の画像処理装置。
(80) 前記画像データは、前記全方位画像が展開された前記平面画像の上端近傍の部分領域の前記時間解像度が、前記平面画像の下端近傍の部分領域よりも高く設定されている
(79)に記載の画像処理装置。
(81) 前記画像データは、視点を中心とする互いに直角な6方向の平面画像が単数の平面に展開された平面画像のデータである
(71)乃至(76)のいずれかに記載の画像処理装置。
(82) 前記画像データは、前記6方向の内、前記視点から見て前方の平面画像の前記時間解像度が、他の方向の平面画像よりも高く設定されている
(81)に記載の画像処理装置。
(83) 前記画像データは、前記6方向の内、前記視点から見て左方、右方、および後方の平面画像の前記時間解像度が、前記視点から見て上方および下方の平面画像よりも高く設定されている
(82)に記載の画像処理装置。
(84) 前記画像データは、前記6方向の内、前記視点から見て左方および右方の平面画像の前記時間解像度が、前記視点から見て後方の平面画像よりも高く設定されている
(83)に記載の画像処理装置。
(85) 前記画像データは、前記6方向の内、前記視点から見て上方の平面画像の前記時間解像度が、前記視点から見て下方の平面画像よりも高く設定されている
(84)に記載の画像処理装置。
(86) 前記解析部の解析結果に従って、前記ビットストリームに含まれる前記画像データの符号化データの内、所望の部分領域の符号化データを復号する復号部をさらに備える
(71)乃至(85)のいずれかに記載の画像処理装置。
(87) 前記復号部は、前記解析部により解析された前記部分領域毎の前記時間解像度に基づいて、前記画像データの各ピクチャについて、カレントピクチャ含まれる部分領域の符号化データを復号する
(86)に記載の画像処理装置。
(88) 前記復号部は、カレントピクチャの前記部分領域以外の領域を補完する
(87)に記載の画像処理装置。
(89) 前記復号部は、前記カレントピクチャの前記部分領域以外の領域を、前記カレントピクチャと異なる他のピクチャの画像の複製、前記カレントピクチャと異なる複数の他のピクチャの画像の平均、または、新たに生成した画像を用いて補完する
(88)に記載の画像処理装置。
(90) 前記復号部は、前記カレントピクチャの前記部分領域以外の領域を、前記ビットストリームに含まれる、前記カレントピクチャの前記部分領域以外の領域の補完方法に関する情報に対応する方法を用いて補完する
(88)に記載の画像処理装置。
(91) 前記解析部の解析結果に従って、前記ビットストリームから所望の部分領域のデータを抽出するデータ抽出部と、
前記データ抽出部により抽出された前記部分領域のデータを含むビットストリームを生成するビットストリーム生成部と
をさらに備える(71)乃至(85)のいずれかに記載の画像処理装置。
(92) 画像データが符号化されたビットストリームに含まれる、前記画像データの部分領域毎の時間解像度を示す情報を解析する
画像処理方法。
(101) 符号化する画像データの部分領域毎の時間解像度を設定する時間解像度設定部と、
前記部分領域毎の、前記時間解像度設定部により設定された前記時間解像度のビットストリームを生成する符号化部と
を備える画像処理装置。
(102) 前記部分領域を設定する部分領域設定部をさらに備え、
前記時間解像度設定部は、前記部分領域設定部により設定された各部分領域の時間解像度を設定するように構成され、
前記符号化部は、前記部分領域設定部により設定された部分領域毎の前記ビットストリームを生成するように構成される
(101)に記載の画像処理装置。
(103) 前記部分領域は独立して復号可能なタイルセットである
(101)または(102)に記載の画像処理装置。
(104) 前記画像データは、視点を中心とする球体状にレンダリングされた全方位画像が単数の平面に展開された平面画像のデータである
(101)乃至(103)のいずれかに記載の画像処理装置。
(105) 前記時間解像度設定部は、前記全方位画像が展開された前記平面画像のより中央に近い位置の部分領域程、前記時間解像度を高く設定する
(104)に記載の画像処理装置。
(106) 前記時間解像度設定部は、前記全方位画像が展開された前記平面画像の上下方向について、より中央に近い位置の部分領域程、前記時間解像度を高く設定する
(105)に記載の画像処理装置。
(107) 前記時間解像度設定部は、前記全方位画像が展開された前記平面画像の上端近傍の部分領域の前記時間解像度を、前記平面画像の下端近傍の部分領域よりも高く設定する
(106)に記載の画像処理装置。
(108) 前記画像データは、視点を中心とする互いに直角な6方向の平面画像が単数の平面に展開された平面画像のデータである
(101)乃至(103)のいずれかに記載の画像処理装置。
(109) 前記時間解像度設定部は、前記6方向の内、前記視点から見て前方の平面画像の前記時間解像度を、他の方向の平面画像よりも高く設定する
(108)に記載の画像処理装置。
(110) 前記時間解像度設定部は、前記6方向の内、前記視点から見て左方、右方、および後方の平面画像の前記時間解像度を、前記視点から見て上方および下方の平面画像よりも高く設定する
(109)に記載の画像処理装置。
(111) 前記時間解像度設定部は、前記6方向の内、前記視点から見て左方および右方の平面画像の前記時間解像度を、前記視点から見て後方の平面画像よりも高く設定する
(110)に記載の画像処理装置。
(112) 前記時間解像度設定部は、前記6方向の内、前記視点から見て上方の平面画像の前記時間解像度を、前記視点から見て下方の平面画像よりも高く設定する
(111)に記載の画像処理装置。
(113) 符号化する画像データの部分領域毎の時間解像度を設定し、
前記部分領域毎の、設定された前記時間解像度のビットストリームを生成する
画像処理方法。
前記部分領域毎の、前記時間解像度設定部により設定された前記時間解像度のビットストリームを生成する符号化部と
を備える画像処理装置。
(102) 前記部分領域を設定する部分領域設定部をさらに備え、
前記時間解像度設定部は、前記部分領域設定部により設定された各部分領域の時間解像度を設定するように構成され、
前記符号化部は、前記部分領域設定部により設定された部分領域毎の前記ビットストリームを生成するように構成される
(101)に記載の画像処理装置。
(103) 前記部分領域は独立して復号可能なタイルセットである
(101)または(102)に記載の画像処理装置。
(104) 前記画像データは、視点を中心とする球体状にレンダリングされた全方位画像が単数の平面に展開された平面画像のデータである
(101)乃至(103)のいずれかに記載の画像処理装置。
(105) 前記時間解像度設定部は、前記全方位画像が展開された前記平面画像のより中央に近い位置の部分領域程、前記時間解像度を高く設定する
(104)に記載の画像処理装置。
(106) 前記時間解像度設定部は、前記全方位画像が展開された前記平面画像の上下方向について、より中央に近い位置の部分領域程、前記時間解像度を高く設定する
(105)に記載の画像処理装置。
(107) 前記時間解像度設定部は、前記全方位画像が展開された前記平面画像の上端近傍の部分領域の前記時間解像度を、前記平面画像の下端近傍の部分領域よりも高く設定する
(106)に記載の画像処理装置。
(108) 前記画像データは、視点を中心とする互いに直角な6方向の平面画像が単数の平面に展開された平面画像のデータである
(101)乃至(103)のいずれかに記載の画像処理装置。
(109) 前記時間解像度設定部は、前記6方向の内、前記視点から見て前方の平面画像の前記時間解像度を、他の方向の平面画像よりも高く設定する
(108)に記載の画像処理装置。
(110) 前記時間解像度設定部は、前記6方向の内、前記視点から見て左方、右方、および後方の平面画像の前記時間解像度を、前記視点から見て上方および下方の平面画像よりも高く設定する
(109)に記載の画像処理装置。
(111) 前記時間解像度設定部は、前記6方向の内、前記視点から見て左方および右方の平面画像の前記時間解像度を、前記視点から見て後方の平面画像よりも高く設定する
(110)に記載の画像処理装置。
(112) 前記時間解像度設定部は、前記6方向の内、前記視点から見て上方の平面画像の前記時間解像度を、前記視点から見て下方の平面画像よりも高く設定する
(111)に記載の画像処理装置。
(113) 符号化する画像データの部分領域毎の時間解像度を設定し、
前記部分領域毎の、設定された前記時間解像度のビットストリームを生成する
画像処理方法。
100 画像処理システム, 111 撮像装置, 112 画像変換装置, 113 符号化装置, 114 送信装置, 120 ネットワーク, 131 受信装置, 132 ビットストリーム変換装置, 133 復号装置, 134 画像変換装置, 135 表示装置, 210 前処理部, 231 領域別フレームレート設定部, 232 タイルセット設定部, 233 テンポラルID設定部, 234 符号化制御部, 235 レベル情報設定部, 236 MCTSSEI設定部, 237 パラメータセット生成部, 251 制御部, 252 データ抽出部, 253 メタデータ更新部, 254 ビットストリーム生成部, 272 復号部, 400 画像処理システム, 411 復号装置, 421 領域別フレームレート設定部, 422 領域設定部, 423 領域別テンポラルID設定部, 424 符号化制御部, 425 パラメータセット生成部, 441 復号領域判定部, 442 復号部, 510 ビットストリーム, 520 ビットストリーム, 530 ビットストリーム, 540 ビットストリーム, 800 コンピュータ, 1600 ネットワークシステム, 1601 クラウドサービス, 1611 コンピュータ, 1612 AV機器, 1613 携帯型情報処理端末, 1614 IoTデバイス
Claims (20)
- 符号化する画像データの部分領域毎の時間解像度を設定する時間解像度設定部と、
前記画像データを符号化し、前記時間解像度設定部により設定された前記部分領域毎の前記時間解像度を示す情報を含むビットストリームを生成する符号化部と
を備える画像処理装置。 - 前記部分領域は独立して復号可能なタイルセットである
請求項1に記載の画像処理装置。 - 前記ビットストリームは、前記部分領域に関する情報を含む
請求項1に記載の画像処理装置。 - 前記時間解像度を示す前記情報は、前記画像データのピクチャ毎に設定されるテンポラルIDと、前記部分領域毎に設定されるレベル情報とを含む
請求項1に記載の画像処理装置。 - 前記画像データは、視点を中心とする球体状にレンダリングされた全方位画像が単数の平面に展開された平面画像のデータである
請求項1に記載の画像処理装置。 - 前記時間解像度設定部は、前記全方位画像が展開された前記平面画像のより中央に近い位置の部分領域程、前記時間解像度を高く設定する
請求項5に記載の画像処理装置。 - 前記画像データは、視点を中心とする互いに直角な6方向の平面画像が単数の平面に展開された平面画像のデータである
請求項1に記載の画像処理装置。 - 前記時間解像度設定部は、前記6方向の内、前記視点から見て前方の平面画像の前記時間解像度を、他の方向の平面画像よりも高く設定する
請求項7に記載の画像処理装置。 - 前記部分領域を設定する部分領域設定部をさらに備え、
前記時間解像度設定部は、前記部分領域設定部により設定された各部分領域の時間解像度を設定するように構成される
請求項1に記載の画像処理装置。 - 前記時間解像度を示す前記情報は、前記部分領域毎に設定されるテンポラルIDを含む
請求項1に記載の画像処理装置。 - 前記符号化部は、前記時間解像度設定部により設定された前記部分領域毎の前記時間解像度に基づいて、前記画像データの各ピクチャについて、カレントピクチャ含まれる部分領域を符号化する
請求項1に記載の画像処理装置。 - 前記ビットストリームは、復号の際のピクチャの前記部分領域以外の領域の補完方法に関する情報を含む
請求項11に記載の画像処理装置。 - 前記符号化部は、前記部分領域毎の、前記時間解像度設定部により設定された前記時間解像度のビットストリームを生成する
請求項1に記載の画像処理装置。 - 符号化する画像データの部分領域毎の時間解像度を設定し、
前記画像データを符号化し、設定された前記部分領域毎の前記時間解像度を示す情報を含むビットストリームを生成する
画像処理方法。 - 画像データが符号化されたビットストリームに含まれる、前記画像データの部分領域毎の時間解像度を示す情報を解析する解析部を備える
画像処理装置。 - 前記解析部の解析結果に従って、前記ビットストリームから所望の部分領域のデータを抽出するデータ抽出部と、
前記データ抽出部により抽出された前記部分領域のデータを含むビットストリームを生成するビットストリーム生成部と
をさらに備える請求項15に記載の画像処理装置。 - 前記解析部の解析結果に従って、前記ビットストリームに含まれる前記画像データの符号化データの内、所望の部分領域の符号化データを復号する復号部をさらに備える
請求項15に記載の画像処理装置。 - 前記復号部は、前記解析部により解析された前記部分領域毎の前記時間解像度に基づいて、前記画像データの各ピクチャについて、カレントピクチャ含まれる部分領域の符号化データを復号する
請求項17に記載の画像処理装置。 - 前記復号部は、前記カレントピクチャの前記部分領域以外の領域を、前記カレントピクチャと異なる他のピクチャの画像の複製、前記カレントピクチャと異なる複数の他のピクチャの画像の平均、または、新たに生成した画像を用いて補完する
請求項18に記載の画像処理装置。 - 画像データが符号化されたビットストリームに含まれる、前記画像データの部分領域毎の時間解像度を示す情報を解析する
画像処理方法。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017007743 | 2017-01-19 | ||
JP2017007743 | 2017-01-19 | ||
PCT/JP2018/000098 WO2018135321A1 (ja) | 2017-01-19 | 2018-01-05 | 画像処理装置および方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
JPWO2018135321A1 true JPWO2018135321A1 (ja) | 2019-11-07 |
Family
ID=62908160
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018563271A Pending JPWO2018135321A1 (ja) | 2017-01-19 | 2018-01-05 | 画像処理装置および方法 |
Country Status (4)
Country | Link |
---|---|
US (1) | US10944975B2 (ja) |
JP (1) | JPWO2018135321A1 (ja) |
CN (1) | CN110169069A (ja) |
WO (1) | WO2018135321A1 (ja) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10979663B2 (en) * | 2017-03-30 | 2021-04-13 | Yerba Buena Vr, Inc. | Methods and apparatuses for image processing to optimize image resolution and for optimizing video streaming bandwidth for VR videos |
EP3721625A1 (en) * | 2017-12-06 | 2020-10-14 | V-Nova International Limited | Methods and apparatuses for hierarchically encoding and decoding a bytestream |
WO2020185813A1 (en) * | 2019-03-11 | 2020-09-17 | Tencent America LLC | Tile and sub-picture partitioning |
US11164339B2 (en) * | 2019-11-12 | 2021-11-02 | Sony Interactive Entertainment Inc. | Fast region of interest coding using multi-segment temporal resampling |
EP4250282A1 (en) | 2021-06-07 | 2023-09-27 | Samsung Electronics Co., Ltd. | Display device and control method thereof |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2015197815A1 (en) * | 2014-06-27 | 2015-12-30 | Koninklijke Kpn N.V. | Determining a region of interest on the basis of a hevc-tiled video stream |
US20160094606A1 (en) * | 2014-09-29 | 2016-03-31 | Avaya Inc. | Segmented video codec for high resolution and high frame rate video |
WO2016076680A1 (en) * | 2014-11-14 | 2016-05-19 | Samsung Electronics Co., Ltd. | Coding of 360 degree videos using region adaptive smoothing |
JP2016127536A (ja) * | 2015-01-07 | 2016-07-11 | キヤノン株式会社 | 画像復号装置、画像復号方法、及びプログラム |
Family Cites Families (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH10271509A (ja) * | 1997-03-26 | 1998-10-09 | Sharp Corp | 画像符号化装置及び画像復号装置 |
JP4475513B2 (ja) * | 2003-08-29 | 2010-06-09 | 株式会社リコー | 画像処理装置、プログラム、及び、記録媒体 |
JP4895042B2 (ja) | 2007-07-20 | 2012-03-14 | 富士フイルム株式会社 | 画像圧縮装置、画像圧縮方法、及びプログラム |
JP5199196B2 (ja) * | 2009-08-04 | 2013-05-15 | 日本電信電話株式会社 | 動画像復号方法,動画像復号装置および動画像復号プログラム |
WO2012132267A1 (ja) * | 2011-03-31 | 2012-10-04 | パナソニック株式会社 | 全方向ステレオ画像出力装置 |
JP2013247663A (ja) * | 2012-05-29 | 2013-12-09 | Toshiba Corp | 映像再生装置、映像再生方法及び映像符号化方法 |
JP6214235B2 (ja) | 2012-07-02 | 2017-10-18 | キヤノン株式会社 | ファイル生成方法、ファイル生成装置、及びプログラム |
JP6483028B2 (ja) * | 2014-05-23 | 2019-03-13 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカPanasonic Intellectual Property Corporation of America | 画像符号化方法及び画像符号化装置 |
KR20240044535A (ko) * | 2016-02-09 | 2024-04-04 | 프라운호퍼 게젤샤프트 쭈르 푀르데룽 데어 안겐반텐 포르슝 에. 베. | 효율적인 감소성 또는 효율적인 랜덤 액세스를 허용하는 픽처/비디오 데이터 스트림들에 대한 개념 |
US10147224B2 (en) * | 2016-02-16 | 2018-12-04 | Samsung Electronics Co., Ltd. | Method and apparatus for generating omni media texture mapping metadata |
-
2018
- 2018-01-05 WO PCT/JP2018/000098 patent/WO2018135321A1/ja active Application Filing
- 2018-01-05 JP JP2018563271A patent/JPWO2018135321A1/ja active Pending
- 2018-01-05 US US16/477,627 patent/US10944975B2/en active Active
- 2018-01-05 CN CN201880006851.3A patent/CN110169069A/zh not_active Withdrawn
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2015197815A1 (en) * | 2014-06-27 | 2015-12-30 | Koninklijke Kpn N.V. | Determining a region of interest on the basis of a hevc-tiled video stream |
US20160094606A1 (en) * | 2014-09-29 | 2016-03-31 | Avaya Inc. | Segmented video codec for high resolution and high frame rate video |
WO2016076680A1 (en) * | 2014-11-14 | 2016-05-19 | Samsung Electronics Co., Ltd. | Coding of 360 degree videos using region adaptive smoothing |
JP2016127536A (ja) * | 2015-01-07 | 2016-07-11 | キヤノン株式会社 | 画像復号装置、画像復号方法、及びプログラム |
Non-Patent Citations (1)
Title |
---|
K. KAMMACHI SREEDHAR, A. AMINLOU, AND M. M. HANNUKSELA: "AHG8: Test results for viewport-dependent pyramid, cube map, and equirectangular panorama schemes", JOINT VIDEO EXPLORATION TEAM (JVET) OF ITU-T SG 16 WP 3 AND ISO/IEC JTC 1/SC 29/WG 11, vol. JVET-D0078, JPN6021048236, October 2016 (2016-10-01), pages 1 - 7, ISSN: 0004786178 * |
Also Published As
Publication number | Publication date |
---|---|
US20190342563A1 (en) | 2019-11-07 |
US10944975B2 (en) | 2021-03-09 |
WO2018135321A1 (ja) | 2018-07-26 |
CN110169069A (zh) | 2019-08-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
WO2018135321A1 (ja) | 画像処理装置および方法 | |
TW201840178A (zh) | 適應性擾動立方體之地圖投影 | |
US9538239B2 (en) | Decoder and method for decoding encoded input data containing a plurality of blocks or packets | |
US20220007028A1 (en) | Method and device for signaling information on chroma format | |
US11356690B2 (en) | Image processing apparatus and method | |
US11917194B2 (en) | Image encoding/decoding method and apparatus based on wrap-around motion compensation, and recording medium storing bitstream | |
US20230085554A1 (en) | Image encoding/decoding method and apparatus for signaling image feature information, and method for transmitting bitstream | |
US11785245B2 (en) | Image encoding/decoding method and device on basis of wrap-around motion compensation, and recording medium storing bitstream | |
CN113273192A (zh) | 使用mpm列表的基于帧内预测的视频编码方法及装置 | |
CN115244938A (zh) | 基于预测加权表对图像/视频进行编译的方法和装置 | |
CN114982245A (zh) | 基于滤波的图像编码装置和方法 | |
CN114631319A (zh) | 图像处理装置和方法 | |
CN115088263A (zh) | 基于预测加权表的图像/视频编译方法和设备 | |
US20140192881A1 (en) | Video processing system with temporal prediction mechanism and method of operation thereof | |
CN115244927A (zh) | 图像/视频编码***中的帧间预测方法和设备 | |
CN115280783A (zh) | 用于图像/视频编码的加权预测的方法和装置 | |
CN114762351A (zh) | 图像/视频编译方法和装置 | |
Hu et al. | Mobile edge assisted live streaming system for omnidirectional video | |
US20230308674A1 (en) | Method and apparatus for encoding/decoding image on basis of cpi sei message, and recording medium having bitstream stored therein | |
JP2024513689A (ja) | 没入型ビデオの前処理 | |
CN115104314A (zh) | 基于加权预测的图像/视频编译方法及装置 | |
CN114982242A (zh) | 发信号通知图片分割信息的方法和设备 | |
CN114762350A (zh) | 基于切片类型的图像/视频编译方法和设备 | |
CN115088264A (zh) | 图像/视频编码/解码方法和使用该方法的设备 | |
CN114788291A (zh) | 用于处理图像信息以进行图像/视频编译的方法和装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20201119 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20211207 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20220531 |