JP6305934B2 - 送信装置、送信方法、受信装置および受信方法 - Google Patents

送信装置、送信方法、受信装置および受信方法 Download PDF

Info

Publication number
JP6305934B2
JP6305934B2 JP2014552002A JP2014552002A JP6305934B2 JP 6305934 B2 JP6305934 B2 JP 6305934B2 JP 2014552002 A JP2014552002 A JP 2014552002A JP 2014552002 A JP2014552002 A JP 2014552002A JP 6305934 B2 JP6305934 B2 JP 6305934B2
Authority
JP
Japan
Prior art keywords
image data
banding suppression
video stream
information
banding
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2014552002A
Other languages
English (en)
Other versions
JPWO2014091984A1 (ja
Inventor
塚越 郁夫
郁夫 塚越
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Saturn Licensing LLC
Original Assignee
Saturn Licensing LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Saturn Licensing LLC filed Critical Saturn Licensing LLC
Publication of JPWO2014091984A1 publication Critical patent/JPWO2014091984A1/ja
Application granted granted Critical
Publication of JP6305934B2 publication Critical patent/JP6305934B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117Filters, e.g. for pre-processing or post-processing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/179Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a scene or a shot
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46Embedding additional information in the video signal during the compression process
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/86Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Description

本技術は、送信装置、送信方法、受信装置および受信方法に関し、特に、限定された階調数で量子化が行われた画像データを送信する送信装置等に関する。
画像データの処理装置には、Nビットの画像データを、それよりも階調数が低いMビットの画像データに変換する、いわゆる階調変換を行うものがある。このような階調変換は、例えば、Nビットの画素データにおける下位N−Mビットの値を単純に切り捨てて、Mビットの画素データに量子化することで行われる。しかし、この場合には、画像中のグラデーション部分のように、画素値が緩やかに変化する領域において、量子化誤差の影響で帯状の模様、すなわちバンディング(banding)が知覚されてしまうという不都合がある。
従来、このようなバンディングを抑制するバンディング抑制処理として種々の方法(種類)、例えば、ランダムディザ法、組織的ディザ法、誤差拡散法などが知られている(例えば、特許文献1参照)。
図22(a)は、ランダムディザ法によるバンディング抑制処理を施す階調変換装置の一例を示している。この階調変換装置は、演算部311、ランダムノイズ出力部312および量子化部313から構成される。
演算部311には、階調変換の対象の画像データ(階調変換前の画像)として、例えば、16ビットの画像データの各画素(x,y)の画素値IN(x,y)が、ラスタスキャン順に供給される。なお、画素(x,y)は、左からx番目で、上からy番目の画素を表す。また、この演算部311には、ランダムノイズを発生して出力するランダムノイズ出力部312からのランダムノイズが供給される。
演算部311は、画素値IN(x,y)とランダムノイズとを加算し、その結果得られる加算値を、量子化部313に供給する。量子化部313は、演算部311からの加算値を、例えば、8ビットに量子化し、その結果得られる8ビットの量子化値を、階調変換後の画像データの各画素(x,y)の画素値OUT(x,y)として出力する。
図22(b)は、組織的ディザ法によるバンディング抑制処理を施す階調変換装置の一例を示している。この階調変換装置は、演算部321および量子化部322から構成される。
演算部321には、階調変換の対象の画像として、例えば、16ビットの画像データの各画素(x,y)の画素値IN(x,y)が、ラスタスキャン順に供給される。また、この演算部321には、ディザマトリクスが供給される。演算部321は、画素値IN(x,y)と、その画素値IN(x,y)を有する画素(x,y)の位置に対応した、ディザマトリクスの値とを加算し、その結果得られる加算値を、量子化部322に供給する。
量子化部322は、演算部321からの加算値を、例えば、8ビットに量子化し、その結果得られる8ビットの量子化値を、階調変換後の画像データの画素(x,y)の画素値OUT(x,y)として出力する。
図22(c)は、誤差拡散法によるバンディング抑制処理を施す階調変換装置の一例を示している。この階調変換装置は、演算部331、量子化部332、演算部333および2次元フィルタ334から構成される。
演算部331には、階調変換の対象の画像として、例えば、16ビットの画像データの各画素(x,y)の画素値IN(x,y)が、ラスタスキャン順に供給される。また、この演算部331には、2次元フィルタ334の出力が供給される。演算部331は、画素値IN(x,y)と、2次元フィルタ334の出力とを加算し、その結果得られる加算値を、量子化部332および演算部333に供給する。
量子化部332は、演算部331からの加算値を、例えば、8ビットに量子化し、その結果得られる8ビットの量子化値を、階調変換後の画像データの各画素(x,y)の画素値OUT(x,y)として出力する。
また、量子化部332が出力する画素値OUT(x,y)は、演算部333にも供給される。演算部333は、演算部331からの加算値から、量子化部332からの画素値OUT(x,y)を減算して、量子化部332での量子化により生じる量子化誤差-Q(x,y)を求め、2次元フィルタ334に供給する。
2次元フィルタ334は、信号をフィルタリングする2次元のフィルタであり、演算部333からの量子化誤差-Q(x,y)をフィルタリングし、そのフィルタリングの結果を、演算部331に出力する。
演算部331では、以上のようにして、2次元フィルタ334が出力する、量子化誤差-Q(x,y)のフィルタリングの結果と、画素値IN(x,y)とが加算される。この場合、量子化誤差-Q(x,y)が、2次元フィルタ334を介して、入力側(演算部331)にフィードバックされており、2次元のΔΣ変調器が構成されている。
この2次元のΔΣ変調器によれば、量子化誤差-Q(x,y)が、水平方向(x方向)および、垂直方向(y方向)のいずれについても、空間周波数の高域に拡散される。そのため、この誤差拡散法は、ランダムディザ法や組織的ディザ法に比較して、階調変換後の画像として、良好な画質の画像を得ることができる。
図23は、バンディングと、上述のディザや誤差拡散との関係を示している。ここでは、N=16、M=8である場合、すなわち、16ビットの画像データを8ビットの画像データに量子化して階調変換を行う例である。この場合、入力される16ビットのデータの下位8ビットを切り捨てることで量子化が行われる。
オリジナルの16ビットの画像データとして、図23(a)に示すようなグラデーション画像が入力された場合を考える。この16ビットの画像データを8ビットの画像データに量子化する場合において、ディザや誤差拡散を行わなかった場合には、図23(b)に示すように、階調の不連続性、つまりはバンディングが生じる。これは、16ビットの場合よりも8ビットの場合の方が、分解能が低下することによって、図23(b)の右側に示すように同一の画素値が連続する平坦部分が発生してしまうことに起因する。
ディザや誤差拡散を行った場合には、図23(c)の右側に示すように画素値の平坦化が緩和され、その結果、図23(c)の左側に示されるように、オリジナルの16ビット画像データにより近い階調表現が実現されるものとなる。このようにディザや誤差拡散は、ドット密度で階調を表現するものであると捉えることができる。
特開2009―207113号公報
画像送受信システムにおいて、上述のバンディング抑制処理は、送信側で行うことも可能であるし、受信側で行うことも可能である。受信側では、送信側でバンディング抑制処理が行われている場合にはバンディング抑制処理は不要であり、一方、送信側でバンディング抑制処理が行われていない場合にはバンディング抑制処理を行うことが期待される。
本技術の目的は、受信側においてバンディング抑制処理が適切に行われるようにすることにある。
本技術の概念は、
符号化画像データを含むビデオストリームを有する所定フォーマットのコンテナを送信する送信部と、
上記ビデオストリームに、上記画像データのバンディング抑制処理に関する情報を挿入する情報挿入部とを備える
送信装置にある。
本技術において、送信部により、符号化画像データを含むビデオストリームを有する所定フォーマットのコンテナが送信される。例えば、送信部は、受信側からの要求に応じて、所定フォーマットのコンテナを送信する、ようにされてもよい。例えば、コンテナは、デジタル放送規格で採用されているトランスポートストリーム(MPEG−2 TS)であってもよい。また、例えば、コンテナは、インターネットの配信などで用いられるMP4、あるいはそれ以外のフォーマットのコンテナであってもよい。
情報挿入部により、ビデオストリームに、画像データのバンディング抑制処理に関する情報が挿入される。例えば、情報挿入部は、バンディング抑制処理に関する情報を、ビデオストリームに、ピクチャ単位あるいはシーン単位で挿入する、ようにされてもよい。
例えば、バンディング抑制処理に関する情報には、画像データにバンディング抑制処理が施されているかを示す情報が含まれる、ようにされてもよい。そして、この場合、バンディング抑制処理に関する情報には、画像データに施されるバンディング抑制処理の種類を表す情報が含まれる、ようにされてもよい。
また、例えば、バンディング抑制処理に関する情報には、画像データにバンディング抑制処理をすべきかを示す情報が含まれる、ようにされてもよい。また、例えば、バンディング抑制処理に関する情報には、画像データに階調数低下処理が施されているかを示す情報が含まれる、ようにされてもよい。そして、この場合、バンディング抑制処理に関する情報には、階調数低下処理前の階調数を示す情報が含まれる、ようにされてもよい。
このように本技術においては、ビデオストリームに、画像データのバンディング抑制処理に関する情報が挿入されるものである。そのため、受信側においては、このバンディング抑制処理に関する情報に基づいて、バンディング抑制処理を適切に行うことが可能となる。例えば、送信側でバンディング抑制処理が行われていない場合にのみバンディング抑制処理が行われるように制御できる。また、例えば、バンディング抑制処理をすべき画像データにのみバンディング抑制処理が行われるように制御できる。
なお、本技術において、例えば、コンテナのレイヤに、ビデオストリームにバンディング抑制処理に関する情報が挿入されているかを示す識別情報を挿入する識別情報挿入部をさらに備える、ようにされてもよい。この場合、例えば、コンテナはトランスポートストリームであり、識別情報挿入部は、識別情報を、トランスポートストリームに含まれるプログラム・マップ・テーブルのビデオエレメンタリ・ループの配下に挿入する、ようにされてもよい。この場合、受信機は、ビデオストリームをデコードしなくても、このビデオストリームにバンディング抑制処理に関する情報が挿入されているか否かを知ることができ、この情報の抽出を適切に行うことができる。
また、本技術の他の概念は、
符号化画像データを含み、画像データのバンディング抑制処理に関する情報が挿入されているビデオストリームを有する所定フォーマットのコンテナを受信する受信部と、
上記ビデオストリームをデコードして画像データを得るデコード部と、
上記デコード後の画像データに対してバンディング抑制処理を施す処理部と、
上記ビデオストリームに挿入されているバンディング抑制処理に関する情報に基づいて、上記処理部を制御する制御部とを備える
受信装置にある。
本技術において、受信部により、ビデオストリームを有する所定フォーマットのコンテナが受信される。このビデオストリームには、符号化画像データが含まれていると共に、画像データのバンディング抑制処理に関する情報が挿入されている。デコード部により、ビデオストリームがデコードされて画像データが得られる。処理部により、デコード後の画像データに対してバンディング抑制処理が施される。そして、制御部により、ビデオストリームに挿入されているバンディング抑制処理に関する情報に基づいて、処理部が制御される。
例えば、バンディング抑制処理に関する情報には、画像データにバンディング抑制処理をすべきかを示す情報および画像データにバンディング抑制処理が施されているかを示す情報が含まれており、制御部は、画像データがバンディング抑制処理をすべき画像データであって、画像データに対してバンディング抑制処理が施されていないとき、制御部でデコード後の画像データに対してバンディング抑制処理が施されるように制御する、ようにされてもよい。
このように本技術においては、ビデオストリームに挿入されている画像データのバンディング抑制処理に関する情報に基づいて、デコード後の画像データに対するバンディング抑制処理が制御されるものである。そのため、バンディング抑制処理を適切に行うことが可能となる。
また、本技術の他の概念は、
符号化画像データを含むビデオストリームを有する所定フォーマットのコンテナを受信する受信部と、
上記ビデオストリームをデコードして画像データを得るデコード部と、
上記デコード後の画像データに対してバンディング抑制処理を施す処理部と、
上記デコード後の画像データによる画像を表示する表示部における表示可能階調数と上記ビデオストリームにおける画像データのビット数とが異なるとき、上記デコード後の画像データに対してバンディング抑制処理が施されるように上記処理部を制御する制御部とを備える
受信装置にある。
本技術において、受信部により、符号化画像データを含むビデオストリームを有する所定フォーマットのコンテナが受信される。デコード部により、ビデオストリームがデコードされて画像データが得られる。処理部により、デコード後の画像データに対してバンディング抑制処理が施される。
そして、制御部により、処理部が制御される。この場合、デコード後の画像データによる画像を表示する表示部における表示可能階調数とビデオストリームにおける画像データのビット数とが異なるとき、デコード後の画像データに対してバンディング抑制処理が施されるように制御される。これにより、バンディング抑制処理が適切に行われる。
本技術によれば、受信側においてバンディング抑制処理を適切に行うことができる。
実施の形態としての画像送受信システムの構成例を示すブロック図である。 画像送受信システムを構成する送信装置の構成例を示すブロック図である。 送信装置を構成するバンディング抑制処理部の構成例を示すブロック図である。 ピクチャ・プロセシング・SEIメッセージ(picture processing SEI message)がアクセスユニットの“SEIs”の部分に挿入されることを説明するための図である。 「picture processing SEI message」の構造例(Syntax)を示す図である。 「Picture processing_sei ()」の構造例(Syntax)を示す図である。 「Picture processing_sei ()」の構造例における主要な情報の内容(Semantics)を示す図である。 ピクチャ・プロセシング・デスクリプタ(picture_processing descriptor)の構造例(Syntax)およびその主要な情報の内容(Semantics)を示す図である。 実施の形態におけるトランスポートストリームTSの構成例を示す図である。 画像送受信システムを構成する受信装置の構成例を示すブロック図である。 受信装置の制御部における、ピクチャ毎の、バンディング抑制処理の制御手順の一例を示すフローチャート(1/2)である。 受信装置の制御部における、ピクチャ毎の、バンディング抑制処理の制御手順の一例を示すフローチャート(2/2)である。 DASHベースのストリーム配信システムの構成例を示すブロック図である。 MPDファイルの階層構造を示す図である。 MPDファイルに含まれる各構造体の一例を時間軸上に並べて示した図である。 MPDファイルに階層的に配置されている各構造体の関係の一例を示す図である。 ピリオド(Period)と、リプレゼンテーション(Representation)と、セグメント(Segment)の関係の一例を示す図である。 コンテンツからDASHセグメントやDASH MPDファイルを生成するまでのフローの一例を示す図である。 ストリーム配信システムを構成するIPTVクライアントの構成例を示す図である。 一般的な、DASHベースのストリーム配信システムの系を示す図である。 ビデオストリームを含むFragmentedMP4ストリームの構成例を示す図である。 バンディング抑制処理としてのランダムディザ法、組織的ディザ法、誤差拡散法を説明するための図である。 バンディングとディザや誤差拡散との関係を説明するための図である。
以下、発明を実施するための形態(以下、「実施の形態」とする)について説明する。なお、説明は以下の順序で行う。
1.実施の形態
2.変形例
<1.実施の形態>
[画像送受信システム]
図1は、実施の形態としての画像送受信システム10の構成例を示している。この画像送受信システム10は、送信装置100および受信装置200により構成されている。送信装置100は、例えば、放送局を構成し、コンテナとしてのトランスポートストリームTSを放送波に載せて送信する。
このトランスポートストリームTSには、符号化画像データを含むビデオストリームが含まれる。そして、このビデオストリームには、画像データのバンディング抑制処理に関する情報(以下、適宜、「バンディング抑制処理情報」という)が挿入される。この場合、このバンディング抑制処理情報は、ビデオストリームのピクチャヘッダまたはシーケンスヘッダのユーザデータ領域などに、例えば、ピクチャ単位あるいはシーン単位などで挿入される。
このバンディング抑制処理情報には、画像データにバンディング抑制処理が施されているかを示す情報およびそのバンディング抑制処理の種類を表す情報が含まれる。また、このバンディング抑制処理情報には、画像データにバンディング抑制処理をすべきかを示す情報が含まれる。また、このバンディング抑制処理情報には、画像データに階調数低下処理が施されているかを示す情報および階調数低下処理前の階調数を示す情報が含まれる。このバンディング抑制処理情報の詳細については、後述する。
また、トランスポートストリームTSのレイヤに、ビデオストリームにバンディング抑制処理情報が挿入されているかを示す識別情報が挿入される。例えば、この識別情報は、トランスポートストリームTSに含まれるプログラム・マップ・テーブル(PMT:Program Map Table)のビデオエレメンタリ・ループ(Video ES loop)の配下に挿入される。この識別情報により、受信側では、ビデオストリームをデコードしなくても、このビデオストリームにバンディング抑制処理情報が挿入されているかを知ることができ、このバンディング抑制処理情報の抽出を適切に行うことが可能となる。この識別情報の詳細については、後述する。
受信装置200は、送信装置100から送られてくるトランスポートストリームTSを、放送波を介して受信する。受信装置200は、このトランスポートストリームTSに含まれるビデオデータストリームに対してデコード処理を行って、画像データを取得する。この際、受信装置200は、トランスポートストリームTSのレイヤに挿入されている識別情報により、ビデオストリームをデコードしなくても、このビデオストリームにバンディング抑制処理情報が挿入されているかを知ることができる。
受信装置200は、デコード後の画像データに対してバンディング抑制処理を施し、表示用の画像データを生成する。この際、受信装置200は、ビデオストリームに挿入されているバンディング抑制処理情報を抽出し、このバンディング抑制処理情報に基づいて、バンディング抑制処理を制御する。例えば、画像データがバンディング抑制処理をすべき画像データであって、画像データに対してバンディング抑制処理が施されていないとき、デコード後の画像データに対してバンディング抑制処理が施されるように制御する。
「送信装置の構成例」
図2は、送信装置100の構成例を示している。この送信装置100は、カメラ101と、バンディング抑制処理部102と、エンコーダ103と、送信部104を有している。カメラ101は、被写体を撮像して画像データを出力する。バンディング抑制処理部102は、カメラ101から出力される画像データに対し、その量子化ビット数(階調数)に応じて、階調数低下処理とバンディング抑制処理を行う。
すなわち、バンディング抑制処理部102は、カメラ101から出力される画像データがNビットであって、N>Mであるとき、Mビットの画像データに変換すると共にバンディング抑制処理を施し、Mビットの画像データを出力する。なお、カメラ101から出力される画像データがMビットの画像データであるとき、バンディング抑制処理部102は、カメラ101から出力される画像データをそのまま出力する。
図3は、バンディング抑制処理部102の構成例を示している。このバンディング抑制処理部102は、ディザ加算部51と1次元ΔΣ変調部52が直列接続された構成とされている。ディザ加算部51は、カメラ101から入力される入力画像データの各画素値IN(x,y)に、ランダムノイズを加算することにより、対象画像にディザを施し、1次元ΔΣ変調部52に供給する。1次元ΔΣ変調部52は、ディザ加算部51からの、ディザが施された画像データに、1次元のΔΣ変調を施し、その結果得られる出力画像データの各画素値OUT(x,y)を、エンコーダ103に供給する。
ディザ加算部51について説明する。ディザ加算部51は、演算部61、ハイパスフィルタ(HPF:High Pass Filter)62、ランダムノイズ出力部63および係数設定部64から構成される。演算部61には、入力画像データの画素値IN(x,y)が、ラスタスキャン順に供給される。また、この演算部61には、ハイパスフィルタ62の出力が供給される。
演算部61は、入力画像データの画素値IN(x,y)に、ハイパスフィルタ62の出力を加算し、その結果得られる加算値を、ディザが施された画像データの画素値F(x,y)として、1次元ΔΣ変調部52に供給する。ハイパスフィルタ62は、係数設定部64によって設定されるフィルタ係数に基づき、ランダムノイズ出力部63が出力するランダムノイズをフィルタリングし、そのフィルタリングの結果得られる、ランダムノイズの高域成分を、演算部61に供給する。
ランダムノイズ出力部63は、例えば、ガウス分布等に従うランダムノイズを発生し、ハイパスフィルタ62に出力する。係数設定部64は、人の視覚の空間周波数特性などに基づいて、ハイパスフィルタ62のフィルタ係数を決定し、ハイパスフィルタ62に設定する。
このディザ加算部51では、係数設定部64により、人の視覚の空間周波数特性などから、ハイパスフィルタ62のフィルタ係数が決定され、ハイパスフィルタ62に設定される。そして、ハイパスフィルタ62で、係数設定部64によって設定されたフィルタ係数と、ランダムノイズ出力部63が出力するランダムノイズとの積和演算等が行われることで、ランダムノイズ出力部63が出力するランダムノイズがフィルタリングされて高域成分が取り出される。この高域成分は演算部61に供給される。
演算部61では、入力画像データのNビットの画素値IN(x,y)と、ハイパスフィルタ62からのランダムノイズの高域成分とが加算され、その結果得られる、例えば、入力画像データと同一のビット数であるNビットの加算値またはそれ以上のビット数の加算値が、ディザが施された画素値F(x,y)として、1次元ΔΣ変調部52に供給される。
次に、1次元ΔΣ変調部52について説明する。この1次元ΔΣ変調部52は、演算部71、量子化部72、演算部73、1次元フィルタ74および係数設定部75から構成される。演算部71には、ディザ加算部51から、ディザが施された画像データの画素値F(x,y)が、ラスタスキャン順に供給される。また、演算部71には、1次元フィルタ74の出力が供給される。
演算部71は、ディザ加算部51からの画素値F(x,y)と、1次元フィルタ74の出力とを加算し、その結果得られる加算値を、量子化部72および演算部73に供給する。量子化部72は、演算部71からの加算値を、Mビットに量子化する。そして、量子化部72は、その結果得られるMビットの量子化値(量子化誤差-Q(x,y)を含む量子化値)を、階調数変換後の出力画像データの画素値OUT(x,y)として、エンコーダ103に供給すると共に、演算部73に供給する。
演算部73は、演算部71からの加算値から、量子化部72からの画素値OUT(x,y)を減算することで、量子化部72での量子化により生じる量子化誤差-Q(x,y)を求め、1次元フィルタ74に供給する。この1次元フィルタ74は、信号をフィルタリングする1次元のフィルタであり、演算部73からの量子化誤差-Q(x,y)をフィルタリングし、そのフィルタリングの結果を、演算部71に出力する。
ここで、演算部71では、1次元フィルタ74が出力する、量子化誤差-Q(x,y)のフィルタリングの結果と、画素値F(x,y)とが加算される。係数設定部75は、人の視覚の空間周波数特性など基づいて、1次元フィルタ74のフィルタ係数を決定し、1次元フィルタ74に設定する。
この1次元ΔΣ変調部52では、係数設定部75により、人の視覚の空間周波数特性などから、1次元フィルタ74のフィルタ係数が決定され、1次元フィルタ74に設定される。そして、1次元フィルタ74では、係数設定部75によって設定されたフィルタ係数と、演算部73が出力する量子化誤差-Q(x,y)との積和演算等を行われることで、演算部73が出力する量子化誤差-Q(x,y)がフィルタリングされ、量子化誤差-Q(x,y)の高域成分が取り出される。この高域成分は演算部71に供給される。
演算部71では、ディザ加算部51からの画素値F(x,y)と、1次元フィルタ74の出力とが加算され、その結果得られる加算値が、量子化部72および演算部73に供給される。量子化部72では、演算部71からの加算値がMビットに量子化され、その結果得られるMビットの量子化値は、階調数変換後の画像データの画素値OUT(x,y)として、エンコーダ103に供給されると共に、演算部73に供給される。
演算部73では、演算部71からの加算値から、量子化部72からの画素値OUT(x,y)が減算され、量子化部72からの画素値OUT(x,y)に含まれる量子化誤差-Q(x,y)が求められる。この量子化誤差-Q(x,y)は1次元フィルタ74に供給される。1次元フィルタ74では、演算部73からの量子化誤差-Q(x,y)がフィルタリングされ、そのフィルタリングの結果が、演算部71に出力される。演算部71では、1次元フィルタ74から出力される量子化誤差-Q(x,y)のフィルタリングの結果と、画素値F(x,y)とが加算される。
1次元ΔΣ変調部52では、量子化誤差-Q(x,y)が、1次元フィルタ74を介して、入力側(演算部71)にフィードバックされており、これにより、1次元のΔΣ変調が行われる。したがって、1次元ΔΣ変調部52では、ディザ加算部51からの画素値F(x,y)に対して、1次元のΔΣ変調が施され、その1次元のΔΣ変調の結果として、画素値OUT(x,y)が出力される。
なお、この1次元ΔΣ変調部52において、量子化誤差-Q(x,y)は、画素値F(x,y)に対する量子化誤差であるが、画素値F(x,y)をΔΣ変調して得られる画素値OUT(x,y)を求めるにあたっては、画素値F(x,y)に対する量子化誤差-Q(x,y)は使用されず、ラスタスキャン順で、画素値F(x,y)よりも前の画素値(先に処理された画素値)に対する量子化誤差が使用される。
図2に戻って、エンコーダ103は、バンディング抑制処理部102から出力されるMビットの画像データに対して、例えば、MPEG4−AVC(MVC)、MPEG2video、あるいはHEVC(High Efficiency Video Coding)などの符号化を施して、符号化画像データを得る。また、このビデオエンコーダ103は、後段に備えるストリームフォーマッタ(図示せず)により、この符号化画像データを含むビデオストリーム(ビデオエレメンタリストリーム)を生成する。
この際、エンコーダ103は、このビデオストリームに、ピクチャ単位あるいはシーン単位などで、バンディング抑制処理情報を、挿入する。このバンディング抑制処理情報は、例えば、バンディング抑制処理部102から供給される。このバンディング処理情報には、上述したように、画像データにバンディング抑制処理が施されているかを示す情報、バンディング抑制処理の種類を表す情報、画像データにバンディング抑制処理をすべきかを示す情報、画像データに階調数低下処理が施されているかを示す情報、階調数低下処理前の階調数を示す情報などが含まれる。
送信部104は、エンコーダ103で生成されたビデオストリームや図示しないオーディオエンコーダで生成されたオーディオストリームなどの他のストリームをパケット化して多重し、トランスポートストリームTSを生成する。そして、送信部104は、トランスポートストリームTSを、QPSK/OFDM等の放送に適した変調方式で変調し、そのRF変調信号を送信アンテナから送信する。
この際、送信部104は、トランスポートストリームTSのレイヤに、ビデオストリームにバンディング抑制処理情報が挿入されているかを示す識別情報を挿入する。例えば、この識別情報は、トランスポートストリームTSに含まれるプログラム・マップ・テーブル(PMT:Program Map Table)のビデオエレメンタリ・ループ(Video ES loop)の配下に挿入される。
図2に示す送信装置100の動作を簡単に説明する。カメラ101から出力される画像データはバンディング抑制処理部102に供給される。このバンディング抑制処理部102では、その量子化ビット数(階調数)に応じて、階調数低下処理とバンディング抑制処理が行われる。
この場合、バンディング抑制処理部102では、カメラ101から出力される画像データがNビットであって、N>Mであるとき、Mビットの画像データに変換されると共にバンディング抑制処理が施され、Mビットの画像データが出力される。一方、カメラ101から出力される画像データがMビットの画像データであるとき、バンディング抑制処理部102では、階調数低下処理やバンディング抑制処理は行われず、カメラ101から出力される画像データがそのまま出力される。
バンディング抑制処理部102から出力される画像データは、エンコーダ103に供給される。このエンコーダ103では、バンディング抑制処理部102から出力されるMビットの画像データに対して、例えば、MPEG4−AVC(MVC)、MPEG2video、あるいはHEVC(High Efficiency Video Coding)などの符号化が施されて、符号化画像データが生成され、この符号化画像データを含むビデオストリーム(ビデオエレメンタリストリーム)が生成される。この際、エンコーダ103では、このビデオストリームに、ピクチャ単位あるいはシーン単位などで、バンディング抑制処理情報が挿入される。
このエンコーダ103で生成されるビデオストリームは、送信部104に供給される。この送信部104では、このビデオストリームやオーディオストリームなどの他のストリームがパケット化されて多重され、トランスポートストリームTSが生成される。この際、トランスポートストリームTSのレイヤに、ビデオストリームにバンディング抑制処理情報が挿入されているかを示す識別情報が挿入される。そして、この送信部104では、トランスポートストリームTSが、QPSK/OFDM等の放送に適した変調方式で変調され、そのRF変調信号が送信アンテナから送信される。
[バンディング抑制処理情報、識別情報、TS構成]
上述したように、ビデオストリームに、バンディング抑制処理情報が挿入される。例えば、符号化方式がMPEG4−AVCである場合、または、HEVCのような、NALパケットなどの符号化構造が似通っている符号化方式である場合、このバンディング抑制処理情報は、アクセスユニット(AU)の“SEIs”の部分に、SEIメッセージとして挿入される。
この場合、バンディング抑制処理情報は、ピクチャ・プロセシング・SEIメッセージ(picture processing SEI message)として挿入される。図4(a)は、GOP(Group Of Pictures)の先頭のアクセスユニットを示しており、図4(b)は、GOPの先頭以外のアクセスユニットを示している。SEIメッセージは、画素データが符号化されているスライス(slices)よりもビットストリーム上、早い位置に符号化されるので、受信機はSEIの内容に基づいて、画像データに対するバンディング抑制処理の迅速な制御が可能となる。
図5(a)は、「picture processing SEI message」の構造例(Syntax)を示している。「uuid_iso_iec_11578」は、“ISO/IEC 11578:1996 AnnexA.”で示されるUUID値をもつ。「user_data_payload_byte」のフィールドに、「picture_processing_data()」が挿入される。図5(b)は、「picture_processing_data()」の構造例(Syntax)を示している。この中に、「Picture processing_sei()」が挿入される。「userdata_id」は、符号なし16ビットで示される「Picture processing_sei()」の識別子である。
図6は、「Picture processing_sei ()」の構造例(Syntax)を示している。また、図7は、図6に示す構造例における主要な情報の内容(Semantics)を示している。「tone_process_preferred」の1ビットフィールドは、画像データに対してバンディング抑制処理をすべきか否かを示す。“1”は、バンディング抑制処理をすべきこと、つまりバンディング抑制処理をして画質改善を行うことが期待されることを示す。“0”は、バンディング抑制処理は必要ないことを示す。
「levels_scaled」の1ビットフィールドは、画像データに階調数低下処理が施されているか否かを示す。“1”は、階調数低下処理が施されていることを示す。“0”は、階調数低下処理が施されていないことを示す。「levels_before_encoding」の2ビットフィールドは、階調数低下処理前の階調数(ビット数)を示す。“00”は、8ビット/ピクセルであることを示す。“01”は、10ビット/ピクセルであることを示す。“10”は12ビット/ピクセルであることを示す。“11”は、14ビット/ピクセルであることを示す。
「anti_banding_processed」の1ビットフィールドは、送信側でバンディング抑制処理が行われているか否かを示す。“1”は、バンディング抑制処理が行われていることを示す。“0”は、バンディング抑制処理が行われていないことを示す。「banding_process_type」の3ビットフィールドは、バンディング抑制処理の種類を示す。例えば、“001”はディザ法を示し、“010”は濃度パターン法を示し、“011”は誤差拡散法を示す。
また、上述したように、例えば、トランスポートストリームTSのプログラム・マップ・テーブル(PMT)のビデオエレメンタリ・ループ(Video ES loop)の配下に、ビデオストリームにバンディング抑制処理情報が含まれているか否かを示す識別情報が挿入される。
図8(a)は、この識別情報としてのピクチャ・プロセシング・デスクリプタ(picture_processing descriptor)の構造例(Syntax)を示している。また、図8(b)は、図8(a)に示す構造例における主要な情報の内容(Semantics)を示している。「picture_processing descriptor tag」の8ビットフィールドは、デスクリプタタイプを示し、ここでは、ピクチャ・プロセシング・デスクリプタであることを示す。「picture_processing descriptor length」の8ビットフィールドは、デスクリプタの長さ(サイズ)を示し、デスクリプタの長さとして以降のバイト数を示す。
「picture_processing_information_existed」の1ビットフィールドは、ビデオレイヤに画像処理が適用されているかを示す。“1”は、ビデオレイヤに画像処理が適用されていること、つまり、ビデオストリームにピクチャ・プロセシング・SEIメッセージが存在することを示す。“0”は、ビデオレイヤに画像処理が適用されていないこと、つまり、ビデオストリームにピクチャ・プロセシング・SEIメッセージが存在しないことを示す。
図9は、トランスポートストリームTSの構成例を示している。この例では、図面の簡単化のために、ビデオストリーム(ビデオエレメンタリストリーム)以外の部分については、図示を省略している。トランスポートストリームTSには、ビデオストリームのPESパケット「PID1:video PES1」が含まれている。このビデオストリームに、バンディング抑制処理情報が、ピクチャ・プロセシング・SEIメッセージ(picture processing SEI message)(図6参照)として挿入されている。
また、トランスポートストリームTSには、PSI(Program Specific Information)として、PMT(Program Map Table)が含まれている。このPSIは、トランスポートストリームTSに含まれる各エレメンタリストリームがどのプログラムに属しているかを記した情報である。また、トランスポートストリームTSには、イベント(番組)単位の管理を行うSI(Serviced Information)としてのEIT(Event Information Table)が含まれている。
PMTには、プログラム全体に関連する情報を記述するプログラム・ループ(Program loop)が存在する。また、PMTには、各エレメンタリストリームに関連した情報を持つエレメンタリ・ループが存在する。この構成例では、ビデオエレメンタリ・ループ(Video ES loop)が存在する。このビデオエレメンタリ・ループには、上述のビデオストリームに対応して、ストリームタイプ、パケット識別子(PID)等の情報が配置されると共に、そのビデオストリームに関連する情報を記述するデスクリプタも配置される。
このPMTのビデオエレメンタリ・ループ(Video ES loop)の配下に、ピクチャ・プロセシング・デスクリプタ(picture_processing descriptor)(図8(a)参照)が挿入されている。このデスクリプタは、上述したように、ビデオストリームにバンディング抑制処理情報、従ってピクチャ・プロセシング・SEIメッセージ(picture processing SEI message)が挿入されているか否かを示すものである。
なお、図2に示す送信装置100では、カメラ101の画像データを送信する例を示した。しかし、このカメラ101の代わりに画像データが記録されたストレージが配置される例も考えられる。その場合、ストレージから読み出される画像データを送信することとなる。
また、図2に示す送信装置100では、バンディング抑制処理部102で階調数低下処理も行われる例を示した。しかし、階調数低下処理は、バンディング抑制処理部102の前段あるいは後段で行われるようにしてもよい。その意味で、階調数低下処理は、エンコーダ103内で行われるようにしてもよい。
また、図2に示す送信装置100では、バンディング抑制処理部102におけるバンディング抑制処理はランダムディザ法で行う例を示した(図3参照)。しかし、本技術において、バンディング抑制処理は、このランダムディザ法に限定されるものではなく、組織的ディザ法、誤差拡散法などのその他の方法であってもよい。
「受信装置の構成例」
図10は、受信装置200の構成例を示している。この受信装置200は、受信部201と、デコーダ202と、バンディング抑制処理部203と、表示部204と、制御部205を有している。制御部205は、CPU(Central Processing Unit)を備え、受信装置200の各部を制御する。
受信部201は、受信アンテナで受信されたRF変調信号を復調し、トランスポートストリームTSを取得する。そして、この受信部201は、トランスポートストリームTSに含まれているビデオストリームなどの各ストリームを抽出する。また、受信部201は、トランスポートストリームTSからピクチャ・プロセシング・デスクリプタ(picture_processing descriptor)(図8(a)参照)を抽出し、制御部205に送る。制御部205は、このデスクリプタの記述から、ビデオストリームに、バンディング抑制情報が挿入されているか否かを認識する。
デコーダ202は、受信部201で抽出されたビデオストリームに対してデコード処理を行って、画像データを生成する。また、デコーダ202は、ビデオストリームに挿入されているピクチャ・プロセシング・SEIメッセージ(picture processing SEI message)、従ってバンディング抑制処理情報を抽出し、制御部205に送る。
バンディング抑制処理部203は、制御部205の制御のもと、デコーダ202から出力される画像データに対して、バンディング抑制処理を行う。詳細説明は省略するが、このバンディング抑制処理部203は、上述の送信装置100におけるバンディング抑制処理部102と同様に構成される。表示部204は、バンディング処理部203から出力される画像データによる画像を表示する。この表示部204は、LCD(Liquid Crystal Display)等のディスプレイにより構成されている。
制御部205は、バンディング抑制処理情報などに基づいて、バンディング抑制処理部203の動作を制御する。例えば、制御部205は、画像データがバンディング抑制処理をすべき画像データであって、画像データに対してバンディング抑制処理が施されていないとき、デコード後の画像データに対してバンディング抑制処理が施されるように制御する。
ここで、送信側でバンディング抑制処理が行われている場合、エンコード前の階調数低下処理前の画像データのビット数は、エンコードされている画像データのビット数(「slice data」としてストリームを構成するビット数)よりも大きい。また、エンコードされている画像データのビット数は、デコード後の画像データのビット数と比べて、同等あるいは大きい(デコーダがslice dataのビット数に従って忠実にデコードするか、簡略化デコードを行うかに依存する)。デコーダ202がビデオストリームを忠実にデコードする場合は、エンコードされている画像データのビット数と、デコード後の画像データのビット数は同等となる。
エンコード前の階調数低下処理前の画像データのビット数を第1のビット数とし、エンコードされている画像データのビット数を第2のビット数とし、デコード後の画像データのビット数を第3のビット数とすると、これらの関係は、以下の(1)式のようになる。
第1のビット数>第2のビット数≧第3のビット数 ・・・(1)
バンディング抑制処理部203は、制御部205の制御のもと、例えば、以下のようにバンディング抑制処理を実行する。
(1)エンコード前の階調数低下処理前の画像データのビット数がエンコードされている画像データのビット数より大きく、かつ送信側でバンディング抑制処理が行われていない場合、バンディング抑制処理を実行する。その際、エンコード前の階調数低下処理前の画像データのビット数に応じて、フィルタの種類を変えることが可能である。
(2)エンコードされている画像データのビット数とデコード後の画像データのビット数とが異なる場合は、デコード処理によって、雑音が生ずる場合があるので、それに対応した雑音対策を行うために、送信側で行われた抑制処理を元に戻した後に、あらためて抑制処理を行う。
(3)デコード後の画像データのビット数と表示可能なビット数とが異なる場合、異なる度合いに応じて、抑制処理のフィルタを切り換える。
図11、図12のフローチャートは、制御部205における、ピクチャ毎の、バンディング抑制処理の制御手順の一例を示している。制御部205は、ステップST1において、制御処理を開始し、その後に、ステップST2の処理に進む。このステップST2において、制御部205は、画像データに対してバンディング抑制処理をすべきか否かを判断する。制御部205は、この判断を、ピクチャ・プロセシング・SEIメッセージの「tone_process_preferred」の情報に基づいて行うことができる。
バンディング抑制処理は必要ないと判断するとき、制御部205は、直ちに、ステップST10の処理に進む。一方、バンディング抑制処理をすべきと判断するとき、制御部205は、ステップST3の処理に進む。このステップST3において、制御部205は、階調数低下処理が施されているか否かを判断する。制御部205は、この判断を、ピクチャ・プロセシング・SEIメッセージの「levels_scaled」の情報に基づいて行うことができる。階調数低下処理が施されていないと判断するとき、制御部205は、直ちに、ステップST10の処理に進む。
なお、制御部205は、ビデオストリームにピクチャ・プロセシング・SEIメッセージの挿入がなく、デコーダ202からこのSEIメッセージが送られてこない場合も、直ちに、ステップST10の処理に進む。このステップST10において、制御部205は、モニタ(表示部204)の表示可能階調数を認識する。制御部205は、例えば、モニタの機能情報を予め備えており、この機能情報に基づいて行うことができる。
次に、制御部205は、ステップST11の処理に進む。このステップST11において、制御部205は、モニタ表示可能階調数(ビット数)とエンコードされているビット数(ビデオストリームにおける画像データのビット数)が異なるか否かを判断する。異なっていないと判断する場合、制御部205は、直ちに、ステップST13に進み、制御処理を終了する。この場合、バンディング抑制処理部203では、バンディング抑制処理は行われず、入力画像データがそのまま出力される。
一方、異なっていると判断する場合、制御部205は、ステップST12において、バンディング抑制処理部203にバンディング抑制処理を実行させる。この場合、例えば、異なり度合いに応じて、抑制処理のフィルタを切り換えることが行われる。ステップST12の処理の後、制御部205は、ステップST13に進み、制御処理を終了する。
また、ステップST3で階調数低下処理が施されていると判断するとき、制御部205は、ステップST4の処理に進む。このステップST4において、制御部205は、階調数低下処理前の階調数を認識する。制御部205は、この認識を、ピクチャ・プロセシング・SEIメッセージの「levels_before_encoding」の情報に基づいて行うことができる。
次に、制御部205は、ステップST5において、バンディング抑制処理済みか否かを判断する。制御部205は、この判断を、ピクチャ・プロセシング・SEIメッセージの「anti_banding_processed levels_before_encoding」の情報に基づいて行うことができる。
バンディング抑制処理済みでないと判断するとき、制御部205は、ステップST10において、モニタ(表示部204)の表示可能階調数を認識し、その後に、ステップST11の処理に進む。このステップST11において、制御部205は、モニタ表示可能階調数(ビット数)とエンコードされているビット数(ビデオストリームにおける画像データのビット数)が異なるか否かを判断する。異なっていないと判断する場合、制御部205は、直ちに、ステップST13に進み、制御処理を終了する。この場合、バンディング抑制処理部203では、バンディング抑制処理は行われず、入力画像データがそのまま出力される。
一方、異なっていると判断する場合、制御部205は、ステップST12において、バンディング抑制処理部203にバンディング抑制処理を実行させる。この場合、例えば、異なり度合いに応じて、抑制処理のフィルタを切り換えることが行われる。また、この場合、ステップST4で認識された階調数低下処理前の階調数に応じてフィルタの種類を変えることが行われる。ステップST12の処理の後、制御部205は、ステップST13に進み、制御処理を終了する。
また、ステップST5でバンディング抑制処理済みであると判断するとき、制御部205は、ステップST6の処理に進む。このステップST6において、制御部205は、処理のタイプを認識する。制御部205は、この認識を、ピクチャ・プロセシング・SEIメッセージの「banding_process_type」の情報に基づいて行うことができる。そして、制御部205は、ステップST7において、デコード後のビット数を認識する。制御部205は、この認識を、デコーダ202からの情報により行うことができる。
次に、制御部205は、ステップST8において、デコード後のビット数とエンコードされているビット数が異なるか否かを判断する。例えば、デコーダ202で簡略化デコードが行われる場合には異なるものとなる。異なっていないと判断するとき、制御部205は、ステップST10において、モニタ(表示部204)の表示可能階調数を認識し、その後に、ステップST11の処理に進む。
このステップST11において、制御部205は、モニタ表示可能階調数(ビット数)とエンコードされているビット数(ビデオストリームにおける画像データのビット数)が異なるか否かを判断する。異なっていないと判断する場合、制御部205は、直ちに、ステップST13に進み、制御処理を終了する。この場合、バンディング抑制処理部203では、バンディング抑制処理は行われず、入力画像データがそのまま出力される。
一方、異なっていると判断する場合、制御部205は、ステップST12において、バンディング抑制処理部203にバンディング抑制処理を実行させる。この場合、例えば、異なり度合いに応じて、抑制処理のフィルタを切り換えることが行われる。また、この場合、ステップST4で認識された階調数低下処理前の階調数に応じてフィルタの種類を変えることが行われる。また、この場合、例えば、ステップST7で認識されたデコード後のビット数およびステップST10で認識されたモニタの表示可能階調数に応じて、抑制処理のフィルタを切り換えることが行われる。ステップST12の処理の後、制御部205は、ステップST13に進み、制御処理を終了する。
また、ステップST8で異なっていると判断するとき、制御部205は、ステップST9の処理に進む。このステップST9において、制御部205は、バンディング抑制処理部203に、送信側で行われているバンディング抑制処理の逆処理を実行させ、一旦、バンディング処理が行われていない元の状態に戻す。
次に、制御部205は、ステップST10において、モニタ(表示部204)の表示可能階調数を認識し、その後に、ステップST11の処理に進む。このステップST11において、制御部205は、モニタ表示可能階調数(ビット数)とエンコードされているビット数(ビデオストリームにおける画像データのビット数)が異なるか否かを判断する。異なっていないと判断する場合、制御部205は、直ちに、ステップST13に進み、制御処理を終了する。この場合、バンディング抑制処理部203では、バンディング抑制処理は行われず、入力画像データがそのまま出力される。
一方、異なっていると判断する場合、制御部205は、ステップST12において、バンディング抑制処理部203にバンディング抑制処理を実行させる。この場合、例えば、異なり度合いに応じて、抑制処理のフィルタを切り換えることが行われる。また、この場合、例えば、ステップST4で認識された階調数低下処理前の階調数に応じてフィルタの種類を変えることが行われる。また、この場合、例えば、ステップST7で認識されたデコード後のビット数およびステップST10で認識されたモニタの表示可能階調数に応じて、抑制処理のフィルタを切り換えることが行われる。ステップST12の処理の後、制御部205は、ステップST13に進み、制御処理を終了する。
図10に示す受信装置100の動作を簡単に説明する。受信部201では、受信アンテナで受信されたRF変調信号が復調され、トランスポートストリームTSが取得される。そして、この受信部201では、トランスポートストリームTSに含まれているビデオストリームなどの各ストリームが抽出される。受信部201で抽出されるビデオストリームは、デコーダ202に供給される。
また、受信部201では、トランスポートストリームTSからピクチャ・プロセシング・デスクリプタ(picture_processing descriptor)(図8(a)参照)が抽出され、制御部205に送られる。制御部205では、このデスクリプタの記述から、ビデオストリームに、バンディング抑制情報が挿入されているか否かが認識される。
デコーダ202では、ビデオストリームに対してデコード処理が行われ、画像データが生成される。この画像データは、バンディング抑制処理部203に供給される。また、デコーダ202では、ビデオストリームに挿入されているピクチャ・プロセシング・SEIメッセージ(picture processing SEI message)、従ってバンディング抑制処理情報が抽出され、制御部205に送られる。
バンディング抑制処理部203では、制御部205の制御のもと、デコーダ202から出力される画像データに対して、バンディング抑制処理が行われる。この場合、例えば、画像データがバンディング抑制処理をすべき画像データであって、画像データに対してバンディング抑制処理が施されていないとき、デコード後の画像データに対してバンディング抑制処理が施される。なお、バンディング抑制処理が行われない場合、バンディング抑制処理部203からは、入力画像データがそのまま出力される。
バンディング抑制処理部203から出力される画像データは表示部204に供給される。そして、表示部204には、画像データによる画像が表示される。
上述したように、図1に示す画像送受信システム10においては、送信装置100において、ビデオストリームに、画像データがバンディング抑制処理をすべきかを示す情報、画像データにバンディング抑制処理が行われているかを示す情報等を含む画像データのバンディング抑制処理情報が挿入される。そのため、受信装置200においては、このバンディング抑制処理情報に基づいて、バンディング抑制処理を適切に行うことが可能となる。
また、図1に示す画像送受信システム10においては、送信装置100において、トランスポートストリームTSのレイヤに、ビデオストリームにバンディング抑制処理情報が挿入されているかを示す識別情報が挿入される。そのため、受信装置200においては、ビデオストリームをデコードしなくても、このビデオストリームにバンディング抑制処理情報が挿入されているか否かを知ることができ、この情報の抽出を適切に行うことができる。
<2.変形例>
なお、上述実施の形態においては、コンテナがトランスポートストリーム(MPEG−2 TS)である例を示した。しかし、本技術は、インターネット等のネットワークを利用して受信端末に配信される構成のシステムにも同様に適用できる。インターネットの配信では、MP4やそれ以外のフォーマットのコンテナで配信されることが多い。
図13は、ストリーム配信システム10Aの構成例を示している。このストリーム配信システム10Aは、MPEG−DASHベースのストリーム配信システムである。このストリーム配信システム10Aは、DASHセグメントストリーマ11およびDASH MPDサーバ12に、N個のIPTVクライアント13-1,13-2,・・・,13-Nが、CDN(Content Delivery Network)14を介して、接続された構成となっている。
DASHセグメントストリーマ11は、所定のコンテンツのメディアデータ(ビデオデータ、オーディオデータ、字幕データなど)に基づいて、DASH仕様のストリームセグメント(以下、「DASHセグメント」という)を生成し、IPTVクライアントからのHTTP要求に応じてセグメントを送出する。このDASHセグメントストリーマ11は、ウェブ(Web)サーバである。
また、DASHセグメントストリーマ11は、IPTVクライアント13(13-1,13-2,・・・,13-N)からCDN14を介して送られてくる所定ストリームのセグメントの要求に対応して、そのストリームのセグメントを、CDN14を介して、要求元のIPTVクライアント13に送信する。この場合、IPTVクライアント13は、MPD(Media Presentation Description)ファイルに記載されているレートの値を参照して、クライアントの置かれているネットワーク環境の状態に応じて、最適なレートのストリームを選択して要求を行う。
DASH MPDサーバ12は、DASHセグメントストリーマ11において生成されるDASHセグメントを取得するためのMPDファイルを生成するサーバである。コンテンツマネジメントサーバ(図13には図示せず)からのコンテンツメタデータと、DASHセグメントストリーマ11において生成されたセグメントのアドレス(url)をもとに、MPDファイルを生成する。
MPDのフォーマットでは、ビデオやオーディオなどのそれぞれのストリーム毎にリプレゼンテーション(Representation)という要素を利用して、それぞれの属性が記述される。例えば、MPDファイルには、レートの異なる複数のビデオデータストリーム毎に、リプレゼンテーションを分けてそれぞれのレートが記述される。IPTVクライアント13では、そのレートの値を参考にして、上述したように、IPTVクライアント13の置かれているネットワーク環境の状態に応じて、最適なストリームを選択できる。
MPDファイルは、図14に示すように、階層構造をとる。このMPDファイルには、DASHセグメントストリーマ11に格納した動画の圧縮方式や符号化速度、画像サイズ、言語などの情報がXML形式で階層的に記述される。このMPDファイルは、ピリオド(Period)、アダプテーションセット(AdaptationSet)、リプレゼンテーション(Representation)、セグメントインフォ(SegmentInfo)、イニシャライゼーション・セグメント(Initialization Segment)、メディア・セグメント(Media Segment)などの構造体が、階層的に含まれている。
ピリオドの構造体は、プログラム(同期を取った1組の動画や音声等のデータ)の情報を持つ。また、ピリオドの構造体に含まれるアダプテーションセットの構造体は、ストリームの選択範囲(リプレゼンテーション群)をグルーピングする。また、アダプテーションセットの構造体に含まれるリプレゼンテーションの構造体は、動画や音声の符号化速度、動画の音声サイズなどの情報を持つ。
また、リプレゼンテーションの構造体に含まれるセグメントインフォの構造体は、動画や音声のセグメント関連の情報を持つ。また、セグメントインフォの構造体に含まれるイニシャライゼーション・セグメントの構造体は、データ圧縮方式などの初期化情報を持つ。また、セグメントインフォの構造体に含まれるメディア・セグメントの構造体は、動画や音声のセグメントを取得するアドレスなどの情報を持つ。
図15は、上述のMPDファイルに含まれる各構造体の一例を時間軸上に並べて示したものである。この例においては、MPDファイルにピリオドが2個含まれ、各ピリオドにセグメントが2個含まれている。また、この例においては、各ピリオドにアダプテーションセットが2個含まれ、各アダプテーションセットにストリーム属性の異なる同一内容のストリームに係るリプレゼンテーションが2個含まれている。
図16は、上述のMPDファイルに階層的に配置されている各構造体の関係の一例を示している。図16(a)に示すように、MPDファイル全体としてのメディア・プレゼンテーション(Media Presentation)には、時間間隔で区切られた複数のピリオド(Period)が存在する。例えば、最初のピリオドはスタートが0秒から、次のピリオドはスタートが100秒から、などとなっている。
図16(b)に示すように、ピリオドには、複数のリプレゼンテーション(Representation)が存在する。この複数のリプレゼンテーションには、上述したアダプテーションセット(AdaptationSet)でグルーピングされる、ストリーム属性、例えばレートの異なる同一内容のビデオデータストリームに係るリプレゼンテーション群が存在する。
図16(c)に示すように、リプレゼンテーションには、セグメントインフォ(SegmentInfo)が含まれている。このセグメントインフォには、図16(d)に示すように、イニシャライゼーション・セグメント(Initialization Segment)と、ピリオドをさらに細かく区切ったセグメント(Segment)毎の情報が記述される複数のメディア・セグメント(Media Segment)が存在する。メディア・セグメントには、ビデオやオーディオなどのセグメントデータを実際に取得するためのアドレス(url)の情報等が存在する。
なお、アダプテーションセットでグルーピングされている複数のリプレゼンテーションの間では、ストリームのスイッチングを自由に行うことができる。これにより、IPTVクライアントの置かれているネットワーク環境の状態に応じて、最適なレートのストリームを選択でき、途切れのない動画配信が可能となる。
図17は、ピリオド(Period)と、リプレゼンテーション(Representation)と、セグメント(Segment)の関係の一例を示している。この例においては、MPDファイルにピリオドが2個含まれ、各ピリオドにセグメントが2個含まれている。また、この例においては、各ピリオドに、同一のメディアコンテンツに係る複数のリプレゼンテーションが含まれている。
図18は、コンテンツからDASHセグメントやDASH MPDファイルを生成するまでのフローの一例を示している。コンテンツマネジメントサーバ15からDASHセグメントストリーマ11にコンテンツが送付される。DASHセグメントストリーマ11は、そのコンテンツを構成するビデオデータ、オーディオデータ等に基づいて、各データストリームのDASHセグメントを生成する。
また、DASHセグメントストリーマ11は、生成した各データストリームのDASHセグメントのアドレス(url)の情報を、DASH MPDサーバ12に送付する。コンテンツマネジメントサーバ15は、コンテンツのメタデータを、DASH MPDサーバ12に送付する。DASH MPDサーバ12は、各データストリームのDASHセグメントのアドレス情報と、コンテンツのメタデータとに基づいて、DASH MPDファイルを生成する。
図19は、IPTVクライアント13(13-1〜13-N)の構成例を示している。IPTVクライアント13は、ストリーミングデータ制御部131と、HTTPアクセス部132と、動画再生部133を有している。ストリーミングデータ制御部131は、DASH MPDサーバ12からMPDファイルを取得し、その内容を解析する。
HTTPアクセス部132は、動画再生に用いる動画や音声のセグメントをDASHセグメントストリーマ11に要求する。この際、IPTVクライアント13の画面サイズや伝送路の状態などを加味して、それに合わせた最適な画像サイズや符号化速度のストリームを選ぶ。例えば、最初の段階では符号化速度(レート)の遅いストリームのセグメントを要求し、通信状況が良好ならば符号化速度(レート)の速いストリームのセグメントを要求するように切り替える。
HTTPアクセス部132は、受け取った動画や音声のセグメントを動画再生部133に送る。動画再生部133は、HTTPアクセス部132から送られてくる各セグメントに復号処理を施して一本の動画コンテンツを得て、動画や音声を再生する。なお、IPTVクライアント13の各部の処理は例えばソフトウェアにより行われる。
図20は、一般的な、DASHベースのストリーム配信システムの系を示している。DASH MPDファイルも、DASHセグメントも、全てCDN(Content Delivery Network)14を介して配信される。CDN14は、複数のキャッシュサーバ(DASHキャッシュサーバ)がネットワーク配列された構成となっている。
キャッシュサーバは、IPTVクライアント13からのMPDファイルの取得のためのHTTPリクエストを受ける。キャッシュサーバは、ローカルMPDキャッシュにあれば、IPTVクライアント13にHTTPレスポンスとして返す。また、キャッシュサーバは、ローカルMPDキャッシュになければ、そのリクエストをDASH MPDサーバ12あるいは上位のキャッシュサーバに転送する。そして、キャッシュサーバは、MPDファイルの格納されたHTTPレスポンスを受け、IPTVクライアント13に転送すると共に、キャッシュ処理を行う。
また、キャッシュサーバは、IPTVクライアント13からのDASHセグメント取得のHTTPリクエストを受ける。キャッシュサーバは、ローカルセグメントキャッシュにあれば、IPTVクライアント13にHTTPレスポンスとして返す。また、キャッシュサーバは、ローカルセグメントキャッシュになければ、そのリクエストをDASHセグメントストリーマ11あるいは上位のキャッシュサーバに転送する。そして、キャッシュサーバは、DASHセグメントの格納されたHTTPレスポンスを受け、IPTVクライアント13に転送すると共に、キャッシュ処理を行う。
CDN14では、最初にHTTPリクエストを発したIPTVクライアント13-1へ配信されるDASHセグメントが、経路のキャッシュサーバで一時的にキャッシュされ、後続の他のIPTVクライアント13-2からのHTTPリクエストに対しては、そのキャッシュされたDASHセグメントが配信される。そのため、大多数のIPTVクライアントに対するHTTPストリーミングの配信効率を向上させることができる。
CDN14は、複数のキャッシュサーバの他に、所定個数のキャッシュ管理サーバを有している。このキャッシュ管理サーバは、MPDファイルに含まれる各ビデオデータストリームのDASHセグメントのキャッシュに関する指標に基づいて、キャッシュ制御ポリシーを作成し、各キャッシュサーバに配布する。各キャッシュサーバは、このキャッシュ制御ポリシーに基づいて、各ビデオデータストリームのDASHセグメントのキャッシング処理を行う。
図21は、FragmentedMP4ストリームの構成例を示している。ビデオのFragmentedMP4ストリームには、ビデオストリームをパケット化して得られたFragmentedMP4が含まれている。FragmentedMP4の「mdat」の部分にビデオストリームの所定ピクチャ分が挿入される。このビデオストリームには、上述実施の形態と同様に、ピクチャ毎に、ピクチャ・プロセシング・SEIメッセージ(picture processing SEI message)が挿入される。これにより、受信装置であるIPTVクライアント13に、バンディング抑制処理情報が送られる。そして、上述実施の形態と同様に、IPTVクライアント13では、このバンディング抑制処理情報に基づいて、バンディング抑制処理の制御が可能となる。
なお、Picture Processing SEI(バンディング抑制処理情報)を上述したようにビデオストリームに挿入して送る場合の他に、このPicture Processing SEIをMPDファイルで送ることも考えられる。この場合、アダプテーションセット(AdaptationSet)で新たなID付けを行い、ビデオストリームと共に、Picture Processing SEIだけを新規リプレゼンテーション(Representation)で定義することになる。また、トランスポートストリームTSをそのままDASHで送る場合もある。その場合には、ピクチャ・プロセシング・デスクリプタ(picture_processing descriptor)が挿入されたトランスポートストリームTSがそのまま送られる。
また、上述実施の形態においては、本技術を画像データの送受信系に適用した例を示したが、本技術は音声データの送受信系にも同様に適用できることは勿論である。この場合、送信側では、オーディオストリームに、所定の時間単位で、量子化ノイズ抑制処理情報(上述の実施の形態におけるバンディング抑制処理情報に相当する)が挿入される。そして、受信側では、送信側から送られてくる量子化ノイズ抑制処理情報に基づいて量子化ノイズ抑制処理が行われる。
また、本技術は、以下のような構成を取ることもできる。
(1)符号化画像データを含むビデオストリームを有する所定フォーマットのコンテナを送信する送信部と、
上記ビデオストリームに、上記画像データのバンディング抑制処理に関する情報を挿入する情報挿入部とを備える
送信装置。
(2)上記バンディング抑制処理に関する情報には、上記画像データにバンディング抑制処理が施されているかを示す情報が含まれる
前記(1)に記載の送信装置。
(3)上記バンディング抑制処理に関する情報には、上記画像データに施されるバンディング抑制処理の種類を表す情報が含まれる
前記(2)に記載の送信装置。
(4)上記バンディング抑制処理に関する情報には、上記画像データにバンディング抑制処理をすべきかを示す情報が含まれる
前記(1)から(3)のいずれかに記載の送信装置。
(5)上記バンディング抑制処理に関する情報には、上記画像データに階調数低下処理が施されているかを示す情報が含まれる
前記(1)から(4)のいずれかに記載の送信装置。
(6)上記バンディング抑制処理に関する情報には、上記階調数低下処理前の階調数を示す情報が含まれる
前記(5)に記載の送信装置。
(7)上記情報挿入部は、
上記バンディング抑制処理に関する情報を、上記ビデオストリームに、ピクチャ単位あるいはシーン単位で挿入する
前記(1)から(6)のいずれかに記載の送信装置。
(8)上記コンテナのレイヤに、上記ビデオストリームに上記バンディング抑制処理に関する情報が挿入されているかを示す識別情報を挿入する識別情報挿入部をさらに備える
前記(1)から(7)のいずれかに記載の送信装置。
(9)上記コンテナはトランスポートストリームであり、
上記識別情報挿入部は、上記識別情報を、上記トランスポートストリームに含まれるプログラム・マップ・テーブルのビデオエレメンタリ・ループの配下に挿入する
前記(8)に記載の送信装置。
(10)上記送信部は、受信側からの要求に応じて、上記所定フォーマットのコンテナを送信する
前記(1)から(9)のいずれかに記載の送信装置。
(11)符号化画像データを含むビデオストリームを有する所定フォーマットのコンテナを送信するステップと、
上記ビデオストリームに、上記画像データのバンディング抑制処理に関する情報を挿入するステップとを備える
送信方法。
(12)符号化画像データを含み、画像データのバンディング抑制処理に関する情報が挿入されているビデオストリームを有する所定フォーマットのコンテナを受信する受信部と、
上記ビデオストリームをデコードして画像データを得るデコード部と、
上記デコード後の画像データに対してバンディング抑制処理を施す処理部と、
上記ビデオストリームに挿入されているバンディング抑制処理に関する情報に基づいて、上記処理部を制御する制御部とを備える
受信装置。
(13)上記バンディング抑制処理に関する情報には、上記画像データにバンディング抑制処理をすべきかを示す情報および上記画像データにバンディング抑制処理が施されているかを示す情報が含まれており、
上記制御部は、上記画像データがバンディング抑制処理をすべき画像データであって、上記画像データに対してバンディング抑制処理が施されていないとき、上記デコード後の画像データに対してバンディング抑制処理が施されるように制御する
前記(12)に記載の受信装置。
(14)符号化画像データを含み、画像データのバンディング抑制処理に関する情報が挿入されているビデオストリームを有する所定フォーマットのコンテナを受信するステップと、
上記ビデオストリームをデコードして画像データを得るステップと、
上記デコード後の画像データに対して、上記ビデオストリームに挿入されているバンディング抑制処理に関する情報に基づいて、バンディング抑制処理を施すステップとを備える
受信方法。
(15)符号化画像データを含むビデオストリームを有する所定フォーマットのコンテナを受信する受信部と、
上記ビデオストリームをデコードして画像データを得るデコード部と、
上記デコード後の画像データに対してバンディング抑制処理を施す処理部と、
上記デコード後の画像データによる画像を表示する表示部における表示可能階調数と上記ビデオストリームにおける画像データのビット数とが異なるとき、上記デコード後の画像データに対してバンディング抑制処理が施されるように上記処理部を制御する制御部とを備える
受信装置。
本技術の主な特徴は、ビデオストリームに、画像データにバンディング抑制処理をすべきかを示す情報、画像データにバンディング抑制処理が施されているかを示す情報などを含むバンディング抑制処理情報(ピクチャ・プロセシング・SEIメッセージ)を挿入することで、受信側においてバンディング抑制処理が適切に行われるようにしたことである(図9参照)。また、本技術の主な特徴は、デコード後の画像データによる画像を表示する表示部における表示可能階調数とビデオストリームにおける画像データのビット数とが異なるとき、デコード後の画像データに対してバンディング抑制処理が施されるようにすることで、受信側においてバンディング抑制処理が適切に行われるようにしたことである(図12参照)。
10・・・画像送受信システム
10A・・・ストリーム配信システム
11・・・DASH セグメントストリーマ
12・・・DASH MPDサーバ
13,13-1〜13-N・・・IPTVクライアント
14・・・CDN
15・・・コンテンツマネジメントサーバ
61,71,73・・・演算部
62・・・ハイパスフィルタ
63・・・ランダムノイズ出力部
64,75・・・係数設定部
72・・・量子化部
74・・・1次フィルタ
100・・・送信装置
101・・・カメラ
102・・・バンディング抑制処理部
103・・・エンコーダ
131・・・ストリーミングデータ制御部
132・・・HTTPアクセス部
133・・・動画再生部
104・・・送信部
200・・・受信装置
201・・・受信部
202・・・デコーダ
203・・・バンディング抑制処理部
204・・・表示部
205・・・制御部

Claims (20)

  1. 低減ビット深度画像データを生成するために該低減ビット深度画像データより高いビット深度を持つ高ビット深度画像データにビット深度低減処理をし、
    上記低減ビット深度画像データを含むビデオストリームを有するコンテナを送信し、
    上記ビデオストリームに上記低減ビット深度画像データのバンディング抑制処理に関する情報を挿入するように構成された回路を備え、
    上記バンディング抑制処理に関する情報は、上記ビデオストリームに含まれる上記低減ビット深度画像データにバンディング抑制処理を適用するか否かを示す第1の情報を含み、
    上記バンディング抑制処理は、上記低減ビット深度画像データがデコードされるとき、上記ビデオストリームに挿入されている上記バンディング抑制処理に関する情報に基づいて、上記ビデオストリームに含まれる上記低減ビット深度画像データに適用され
    送信装置。
  2. 上記バンディング抑制処理に関する情報は、上記低減ビット深度画像データにバンディング抑制処理が適用されているか否かを示す第2の情報
    請求項1に記載の送信装置。
  3. 送信装置の回路により、低減ビット深度画像データを生成するために該低減ビット深度画像データより高いビット深度を持つ高ビット深度画像データにビット深度低減処理をし、
    上記回路により、上記低減ビット深度画像データを含むビデオストリームを有するコンテナを送信し、
    上記回路により、上記ビデオストリームに上記低減ビット深度画像データのバンディング抑制処理に関する情報を挿入し、
    上記バンディング抑制処理に関する情報は、上記ビデオストリームに含まれる上記低減ビット深度画像データにバンディング抑制処理を適用するか否かを示す第1の情報を含み、
    上記バンディング抑制処理は、上記低減ビット深度画像データがデコードされるとき、上記ビデオストリームに挿入されている上記バンディング抑制処理に関する情報に基づいて、上記ビデオストリームに含まれる上記低減ビット深度画像データに適用され
    送信方法。
  4. 低減ビット深度画像データと該低減ビット深度画像データのバンディング抑制処理に関する情報を含むビデオストリームを有するコンテナを受信し、
    上記ビデオストリームの低減ビット深度画像データをデコードしてデコードされた画像データを得
    上記デコードされた画像データに上記ビデオストリームに挿入されている上記バンディング抑制処理に関する情報に基づいて上記バンディング抑制処理を適用するように構成された回路を備え、
    上記バンディング抑制処理に関する情報は、上記ビデオストリームに含まれる上記低減ビット深度画像データにバンディング抑制処理を適用するか否かを示す第1の情報を含み、
    上記低減ビット深度画像データは、該低減ビット深度画像データより高いビット深度を持つ高ビット深度画像データから生成されたものであ
    受信装置。
  5. 上記バンディング抑制処理に関する情報は、上記低減ビット深度画像データにバンディング抑制処理が適用されているか否かを示す第2の情報み、
    上記回路は、上記第1の情報が上記バンディング抑制処理を適用することを示し上記第2の情報が上記バンディング抑制処理が施されていないことを示すとき、上記デコードされた画像データに上記バンディング抑制処理を適用する
    請求項4に記載の受信装置。
  6. 上記バンディング抑制処理に関する情報は、上記低減ビット深度画像データに適用される適用される上記バンディング抑制処理の種類を示す第3の情報
    請求項5に記載の受信装置。
  7. 上記バンディング抑制処理に関する情報は、上記低減ビット深度画像データに階調数低下処理が適用されているか否かを示す第4の情報
    請求項に記載の受信装置。
  8. 上記バンディング抑制処理に関する情報は、上記階調数低下処理前の階調数を示す第5の情報
    請求項に記載の受信装置。
  9. 上記バンディング抑制処理に関する情報は、上記ビデオストリームにピクチャ単位あるいはシーン単位で挿入され
    請求項に記載の受信装置。
  10. 上記ビデオストリームに上記バンディング抑制処理に関する情報か挿入されているか否かを示す識別情報が上記コンテナのレイヤに含まれる
    請求項に記載の受信装置。
  11. 上記コンテナはトランスポートストリームであり、
    上記識別情報は、上記トランスポートストリームに含まれるプログラム・マップ・テーブルのビデオエレメンタリループに挿入され
    請求項10に記載の受信装置。
  12. 上記回路は、該回路によって送られた要求に応じたフォーマットのコンテナを受信するように構成される
    請求項に記載の受信装置。
  13. 上記バンディング抑制処理に関する情報は、ディザ法、濃度パターン法または誤差拡散法のいずれかを示す
    請求項4に記載の受信装置。
  14. 上記回路は、上記ビデオストリームに挿入されている上記バンディング抑制処理に関する情報に基づいて上記バンディング抑制処理を適用するか否かを決定するように構成される
    請求項4に記載の受信装置。
  15. 表示部をさらに備える
    請求項4から14のいずれかに記載の受信装置。
  16. 受信装置の回路により、低減ビット深度画像データと該低減ビット深度画像データのバンディング抑制処理に関する情報を含むビデオストリームを有するコンテナを受信し、
    上記回路により、上記ビデオストリームの低減ビット深度画像データをデコードしてデコードされた画像データを得
    上記回路により、上記デコードされた画像データに上記ビデオストリームに挿入されている上記バンディング抑制処理に関する情報に基づいて上記バンディング抑制処理を適用し、
    上記バンディング抑制処理に関する情報は、上記ビデオストリームに含まれる上記低減ビット深度画像データにバンディング抑制処理を適用するか否かを示す第1の情報を含み、
    上記低減ビット深度画像データは、該低減ビット深度画像データより高いビット深度を持つ高ビット深度画像データから生成されたものであ
    受信方法。
  17. 符号化画像データと該符号化画像データのバンディング抑制処理に関する情報を含むビデオストリームを有するコンテナを受信し、
    上記ビデオストリームをデコードしてデコードされた画像データを得
    上記デコードされた画像データによる画像を表示する表示部でサポートされている階調数と上記ビデオストリームにおける画像データのビット数とが異なるとき、上記デコードされた画像データに対してバンディング抑制処理が適用されるように、上記デコードされた画像データに上記バンディング抑制処理を適用するように構成された回路を備える
    受信装置。
  18. 上記ビデオオストリームに含まれる符号化画像データは、低減ビット深度画像データであり、
    上記バンディング抑制処理に関する情報は、上記バンディング抑制処理を上記ビデオストリームに含まれる上記符号化画像データに適用するか否かを示す
    請求項17に記載の受信装置。
  19. 上記表示部をさらに備える
    請求項17または18に記載の受信装置。
  20. 符号化画像データと該符号化画像データのバンディング抑制処理に関する情報を含むビデオストリームを有するコンテナを受信し、
    上記ビデオストリームをデコードしてデコードされた画像データを得、
    上記デコードされた画像データによる画像を表示する表示部でサポートされている階調数と上記ビデオストリームにおける画像データのビット数とが異なるとき、上記デコードされた画像データに対してバンディング抑制処理が適用されるように、上記デコードされた画像データに上記バンディング抑制処理を適用する
    受信方法。
JP2014552002A 2012-12-13 2013-12-04 送信装置、送信方法、受信装置および受信方法 Active JP6305934B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2012271888 2012-12-13
JP2012271888 2012-12-13
PCT/JP2013/082579 WO2014091984A1 (ja) 2012-12-13 2013-12-04 送信装置、送信方法、受信装置および受信方法

Publications (2)

Publication Number Publication Date
JPWO2014091984A1 JPWO2014091984A1 (ja) 2017-01-12
JP6305934B2 true JP6305934B2 (ja) 2018-04-04

Family

ID=50934276

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014552002A Active JP6305934B2 (ja) 2012-12-13 2013-12-04 送信装置、送信方法、受信装置および受信方法

Country Status (9)

Country Link
US (1) US9979985B2 (ja)
EP (1) EP2934014A4 (ja)
JP (1) JP6305934B2 (ja)
KR (1) KR20150094619A (ja)
CN (1) CN104854872B (ja)
BR (1) BR112015013203A2 (ja)
RU (1) RU2651241C2 (ja)
SG (1) SG11201504459QA (ja)
WO (1) WO2014091984A1 (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5641090B2 (ja) 2013-03-14 2014-12-17 ソニー株式会社 送信装置、送信方法、受信装置および受信方法
CN111901599B (zh) * 2014-06-27 2024-05-14 松下知识产权经营株式会社 再现装置
US10136148B2 (en) 2015-05-18 2018-11-20 Telefonaktiebolaget Lm Ericsson (Publ) Methods, receiving device and sending device for managing a picture
CN108174164A (zh) * 2018-01-16 2018-06-15 北京三体云联科技有限公司 一种实时视频处理方法及装置
US10805658B2 (en) * 2018-09-12 2020-10-13 Roku, Inc. Adaptive switching in a whole home entertainment system

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
ES2202957T3 (es) 1993-11-19 2004-04-01 Canon Kabushiki Kaisha Aparato de impresion.
JP3554034B2 (ja) 1994-09-02 2004-08-11 キヤノン株式会社 カラー印刷装置及びその方法
CN100574433C (zh) * 2003-09-23 2009-12-23 汤姆森特许公司 用于减少视频流中的伪像的方法和装置
US7627033B2 (en) * 2004-11-15 2009-12-01 Microsoft Corporation Video rate control
RU2377736C2 (ru) * 2005-04-13 2009-12-27 Нокиа Корпорейшн Кодирование, хранение и передача информации о масштабируемости
US8014445B2 (en) * 2006-02-24 2011-09-06 Sharp Laboratories Of America, Inc. Methods and systems for high dynamic range video coding
US8194997B2 (en) * 2006-03-24 2012-06-05 Sharp Laboratories Of America, Inc. Methods and systems for tone mapping messaging
CN101682758A (zh) * 2006-12-19 2010-03-24 皇家飞利浦电子股份有限公司 用于对图像信号进行编码的方法和***、经编码的图像信号、用于对图像信号进行解码的方法和***
JP5490544B2 (ja) * 2007-01-16 2014-05-14 トムソン ライセンシング 画像におけるアーティファクトを低減するシステム及び方法
US8432968B2 (en) * 2007-10-15 2013-04-30 Qualcomm Incorporated Scalable video coding techniques for scalable bitdepths
US8385412B2 (en) * 2007-10-15 2013-02-26 Thomson Licensing Method and apparatus for inter-layer residue prediction for scalable video
CN101828401B (zh) * 2007-10-16 2013-07-17 汤姆森许可贸易公司 用于比特深度缩放的伪像去除的方法和设备
US8750390B2 (en) 2008-01-10 2014-06-10 Microsoft Corporation Filtering and dithering as pre-processing before encoding
JP5206276B2 (ja) 2008-02-01 2013-06-12 ソニー株式会社 階調変換装置、階調変換方法、及び、プログラム
JP5276170B2 (ja) * 2008-08-08 2013-08-28 トムソン ライセンシング バンディング・アーチファクトを検出する方法および装置
JP5317878B2 (ja) 2009-07-30 2013-10-16 キヤノン株式会社 画像形成装置
JP5281624B2 (ja) * 2010-09-29 2013-09-04 日本電信電話株式会社 画像符号化方法,画像復号方法,画像符号化装置,画像復号装置およびそれらのプログラム
JP2012151562A (ja) * 2011-01-17 2012-08-09 Hitachi Kokusai Electric Inc 映像処理方法
CN103385001B (zh) 2011-02-25 2017-08-08 太阳专利托管公司 用于去块的高效率决策

Also Published As

Publication number Publication date
SG11201504459QA (en) 2015-07-30
US20150281740A1 (en) 2015-10-01
RU2015121698A (ru) 2016-12-27
CN104854872B (zh) 2018-07-20
RU2651241C2 (ru) 2018-04-18
EP2934014A4 (en) 2016-07-13
EP2934014A1 (en) 2015-10-21
BR112015013203A2 (pt) 2017-07-11
CN104854872A (zh) 2015-08-19
US9979985B2 (en) 2018-05-22
JPWO2014091984A1 (ja) 2017-01-12
KR20150094619A (ko) 2015-08-19
WO2014091984A1 (ja) 2014-06-19

Similar Documents

Publication Publication Date Title
US11170473B2 (en) Method and apparatus for streaming data
US11284055B2 (en) Method and an apparatus and a computer program product for video encoding and decoding
JP2024003187A (ja) 処理装置
US20190158933A1 (en) Method, device, and computer program for improving streaming of virtual reality media content
JP2019149808A (ja) 受信装置、送信装置および表示装置
JP6305934B2 (ja) 送信装置、送信方法、受信装置および受信方法
JP7232183B2 (ja) 送信装置、送信方法、受信装置および受信方法
JP6930419B2 (ja) 画像処理装置、画像処理方法、受信装置および送信装置
KR20170120578A (ko) 송신 장치, 송신 방법, 수신 장치 및 수신 방법
US20180338168A1 (en) Splicing in adaptive bit rate (abr) video streams
JP7160158B2 (ja) 送信装置および送信方法
JP5734699B2 (ja) 配信映像の超解像化装置
Biatek et al. Versatile video coding for 3.0 next generation digital TV in Brazil
Kammachi‐Sreedhar et al. Omnidirectional video delivery with decoder instance reduction
US20230308719A1 (en) A method of controlling energy consumed by a mulitmedia streaming application
Meyer-Schwickerath Analysis of adaptive streaming technologies for segmented multimedia transport of high-resolution videos for 360° playback on multiple devices
GB2489020A (en) A method of communicating a traffic stream over a communications network comprising a variable traffic bandwidth

Legal Events

Date Code Title Description
A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20160929

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20161128

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20161128

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170822

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20171120

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180119

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180206

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180307

R150 Certificate of patent or registration of utility model

Ref document number: 6305934

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250