JP2013098899A - 符号化装置および符号化方法、並びに、復号装置および復号方法 - Google Patents
符号化装置および符号化方法、並びに、復号装置および復号方法 Download PDFInfo
- Publication number
- JP2013098899A JP2013098899A JP2011242150A JP2011242150A JP2013098899A JP 2013098899 A JP2013098899 A JP 2013098899A JP 2011242150 A JP2011242150 A JP 2011242150A JP 2011242150 A JP2011242150 A JP 2011242150A JP 2013098899 A JP2013098899 A JP 2013098899A
- Authority
- JP
- Japan
- Prior art keywords
- prediction
- unit
- vector
- accuracy
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/523—Motion estimation or motion compensation with sub-pixel accuracy
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/513—Processing of motion vectors
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
【課題】インター予測時に分数精度の動き補償処理を行う場合において、符号化効率を向上させる。
【解決手段】予測ベクトル変換部は、画像圧縮情報に含まれる検出精度情報に応じて、動きベクトルの精度が1/4画素精度であり、予測ベクトルの精度が1/8画素精度である場合、予測ベクトルに対して丸め処理を行うことにより1/4画素精度の予測ベクトルを生成する。動きベクトル生成部は、その1/4画素精度の予測ベクトルと、画像圧縮情報に含まれる差分ベクトルとを加算することにより、動きベクトルを生成する。インター予測部と演算部は、動きベクトルを用いて動き補償処理を行うことにより、画像を復号する。本技術は、例えば、復号装置に適用することができる。
【選択図】図7
【解決手段】予測ベクトル変換部は、画像圧縮情報に含まれる検出精度情報に応じて、動きベクトルの精度が1/4画素精度であり、予測ベクトルの精度が1/8画素精度である場合、予測ベクトルに対して丸め処理を行うことにより1/4画素精度の予測ベクトルを生成する。動きベクトル生成部は、その1/4画素精度の予測ベクトルと、画像圧縮情報に含まれる差分ベクトルとを加算することにより、動きベクトルを生成する。インター予測部と演算部は、動きベクトルを用いて動き補償処理を行うことにより、画像を復号する。本技術は、例えば、復号装置に適用することができる。
【選択図】図7
Description
本技術は、符号化装置および符号化方法、並びに、復号装置および復号方法に関し、特に、インター予測時に分数精度の動き補償処理を行う場合において、符号化効率を向上させることができるようにした符号化装置および符号化方法、並びに、復号装置および復号方法に関する。
画像を圧縮する標準規格として、H.264/MPEG(Moving Picture Experts Group)-4 Part10 Advanced Video Coding(以下H.264/AVCという)がある。
H.264/AVCにおいては、フレームまたはフィールド間の相関に注目したインター予測が行われる。インター予測では、符号化済みの画像内の一部の領域を用いて動き補償処理が行われ、予測画像が生成される。
近年、この動き補償処理において、動きベクトルの分解能を2分の1や4分の1といった分数精度に向上させることにより、動き補償処理の精度を高めることが考えられている。
分数精度の動き補償処理では、参照画像の隣接する画素の間にSub pelと呼ばれる仮想的な分数位置の画素を設定し、そのSub pelを生成する処理(以下、インターポーレーションという)が追加して行われる(例えば、非特許文献1参照)。即ち、分数精度の動き補償処理では、動きベクトルの最小分解能が画素の分数倍になるため、分数位置の画素を生成するためのインターポーレーションが行われる。
インターポーレーションに用いられるフィルタであるインターポーレーションフィルタ(Interpolation filter(IF))としては、通常、有限インパルス応答フィルタ(FIR(Finite Impulse Response) Filter)が用いられる。
以上のようにして動き補償処理の精度が向上すると、予測画像の品質は改善するが、その改善量は、一般的に、動き補償処理の精度が高まるにつれて低減する。また、動きベクトルは、符号化ストリームに含められて伝送される。従って、動きベクトルの精度を向上させ過ぎると、予測画像の品質が改善されても、その改善量以上に動きベクトルの情報量が増加し、符号化効率が悪化する。
Joint Collaborative Team on Video Coding (JCT-VC)of ITU-T SG16 WP3 and ISO/IEC JTC1/SC29/WG11 6th Meeting,Working Draft 4 of High-Efficiency Video Coding,JCTVC-F803_d2,Torino, IT, 14-22 July,2011
ところで、動きベクトルの予測方向が双方向である場合、一方向である場合に比べて、予測ブロック当たりの動きベクトルの数は2倍になる。また、予測ブロックのブロックサイズが小さい場合、ブロックサイズが大きい場合に比べて、ピクチャ当たりの動きベクトルの数は多くなる。
このように、伝送する動きベクトルの数が多い場合、動き補償処理の精度の向上により予測画像の精度が向上しても、動きベクトルの情報量の増加により、符号化効率が向上しない場合がある。
本技術は、このような状況に鑑みてなされたものであり、インター予測時に分数精度の動き補償処理を行う場合において、符号化効率を向上させることができるようにするものである。
本技術の第1の側面の復号装置は、符号化された画像、その画像のインター予測における動きベクトルと、その画像に近い画像の動きベクトルである予測ベクトルとの差分、および前記インター予測の予測方向が一方向である場合の前記動きベクトルの精度より、前記予測方向が双方向である場合の前記動きベクトルの精度の方が低いことを表す検出精度情報を受け取る受け取り部と、前記受け取り部により受け取られた前記検出精度情報に応じて、前記動きベクトルの精度が前記所定の精度より低い精度であり、前記予測ベクトルの精度が前記所定の精度である場合、前記予測ベクトルに対して丸め処理を行うことにより前記所定の精度より低い精度の前記予測ベクトルを生成する予測ベクトル変換部と、
前記予測ベクトル変換部により生成された前記所定の精度より低い精度の前記予測ベクトルと、前記受け取り部により受け取られた前記差分とを加算することにより、前記動きベクトルを生成する動きベクトル生成部と、前記動きベクトル生成部により生成された前記動きベクトルを用いて動き補償処理を行うことにより、前記画像を復号する復号部とを備える復号装置である。
前記予測ベクトル変換部により生成された前記所定の精度より低い精度の前記予測ベクトルと、前記受け取り部により受け取られた前記差分とを加算することにより、前記動きベクトルを生成する動きベクトル生成部と、前記動きベクトル生成部により生成された前記動きベクトルを用いて動き補償処理を行うことにより、前記画像を復号する復号部とを備える復号装置である。
本技術の第1の側面の復号方法は、本技術の第1の側面の復号装置に対応する。
本技術の第1の側面においては、符号化された画像、その画像のインター予測における動きベクトルと、その画像に近い画像の動きベクトルである予測ベクトルとの差分、および前記インター予測の予測方向が一方向である場合の前記動きベクトルの精度より、前記予測方向が双方向である場合の前記動きベクトルの精度の方が低いことを表す検出精度情報が受け取られ、前記検出精度情報に応じて、前記動きベクトルの精度が前記所定の精度より低い精度であり、前記予測ベクトルの精度が前記所定の精度である場合、前記予測ベクトルに対して丸め処理が行われることにより前記所定の精度より低い精度の前記予測ベクトルが生成され、前記所定の精度より低い精度の前記予測ベクトルと、前記差分とが加算されることにより、前記動きベクトルが生成され、前記動きベクトルを用いて動き補償処理が行われることにより、前記画像が復号される。
本技術の第2の側面の符号化装置は、符号化対象の画像のインター予測の予測方向が一方向である場合、前記符号化対象の画像と、前記符号化対象の画像に対する前記インター予測における参照画像を用いて、所定の精度で、前記符号化対象の画像に対する前記参照画像の前記動きベクトルを検出する高精度動き検出部と、前記予測方向が双方向である場合、前記符号化対象の画像と前記参照画像を用いて、前記所定の精度より低い精度で、前記動きベクトルを検出する低精度動き検出部と、前記高精度動き検出部または前記低精度動き検出部により検出された前記動きベクトルを用いて動き補償処理を行うことにより、前記符号化対象の画像を符号化する符号化部と、前記符号化部により符号化された前記符号化対象の画像と前記動きベクトルを伝送する伝送部とを備える符号化装置である。
本技術の第2の側面の符号化方法は、本技術の第2の側面の符号化装置に対応する。
本技術の第2の側面においては、符号化対象の画像のインター予測の予測方向が一方向である場合、前記符号化対象の画像と、前記符号化対象の画像に対する前記インター予測における参照画像を用いて、所定の精度で、前記符号化対象の画像に対する前記参照画像の前記動きベクトルが検出され、前記予測方向が双方向である場合、前記符号化対象の画像と前記参照画像を用いて、前記所定の精度より低い精度で、前記動きベクトルが検出され、前記動きベクトルを用いて動き補償処理が行われることにより、前記符号化対象の画像が符号化され、符号化された前記符号化対象の画像と前記動きベクトルが伝送される。
本技術の第1の側面によれば、インター予測時に分数精度の動き補償処理を行う場合において、符号化効率を向上させるように符号化された画像を復号することができる。
本技術の第2の側面によれば、インター予測時に分数精度の動き補償処理を行う場合において、符号化効率を向上させることができる。
<一実施の形態>
[符号化装置の一実施の形態の構成例]
図1は、本技術を適用した符号化装置の一実施の形態の構成例を示すブロック図である。
[符号化装置の一実施の形態の構成例]
図1は、本技術を適用した符号化装置の一実施の形態の構成例を示すブロック図である。
図1の符号化装置10は、A/D変換部11、画面並べ替えバッファ12、演算部13、直交変換部14、量子化部15、可逆符号化部16、蓄積バッファ17、逆量子化部18、逆直交変換部19、加算部20、デブロックフィルタ21、フレームメモリ22、イントラ予測部23、インター予測部24、動き予測部25、選択部26、およびレート制御部27により構成される。図1の符号化装置10は、入力された画像を圧縮符号化する。
具体的には、符号化装置10のA/D変換部11は、入力信号として入力されたフレーム単位の画像をA/D変換し、画面並べ替えバッファ12に出力して記憶させる。画面並べ替えバッファ12は、記憶した表示の順番のフレーム単位の画像を、GOP(Group of Picture)構造に応じて、符号化のための順番に並べ替える。そして、画面並べ替えバッファ12は、並び替え後の画像を、スライス単位、LCU(Largest Coding Unit)単位、およびCU(Coding Unit)単位に順に分割し、演算部13、イントラ予測部23、および動き予測部25に出力する。
演算部13は、符号化部として機能し、選択部26から供給される予測画像と、画面並べ替えバッファ12から出力された符号化対象の画像の差分を演算することにより、符号化を行う。具体的には、演算部13は、画面並べ替えバッファ12から出力された符号化対象の画像から、選択部26から供給される予測画像を減算する。演算部13は、減算の結果得られる画像を、残差情報として直交変換部14に出力する。なお、選択部26から予測画像が供給されない場合、演算部13は、画面並べ替えバッファ12から読み出された画像をそのまま残差情報として直交変換部14に出力する。
直交変換部14は、演算部13からの残差情報に対して離散コサイン変換、カルーネン・レーベ変換等の直交変換を施し、その結果得られる係数を量子化部15に供給する。
量子化部15は、直交変換部14から供給される係数を量子化する。量子化された係数は、可逆符号化部16に入力される。
可逆符号化部16は、最適イントラ予測モードを示す情報(以下、イントラ予測モード情報という)をイントラ予測部23から取得し、最適インター予測モードを示す情報(以下、インター予測モード情報という)、予測ブロックの動きベクトルと予測ベクトルとの差分である差分ベクトル(mvd)などをインター予測部24から取得する。
可逆符号化部16は、量子化部15から供給される量子化された係数に対して、可変長符号化(例えば、CAVLC(Context-Adaptive Variable Length Coding)など)、算術符号化(例えば、CABAC(Context-Adaptive Binary Arithmetic Coding)など)などの可逆符号化を行い、その結果得られる情報を圧縮画像とする。
また、可逆符号化部16は、差分ベクトルを取得した場合、差分ベクトルの絶対値を指数ゴロム符号で2値化する。指数ゴロム符号は、データ部であるサフィックスのビット数だけ0が連続するプリフィックス、セパレータとしての1、および、サフィックスとしての0または1の系列により構成される。従って、差分ベクトルの絶対値のビット数が多くなるほど、即ち、差分ベクトルの絶対値の分解能が高いほど、指数ゴロム符号の符号量は多くなる。可逆符号化部16は、2値化された差分ベクトルの絶対値と差分ベクトルのプラスマイナスの符号を差分ベクトル情報として生成する。
また、可逆符号化部16は、イントラ予測モード情報、または、インター予測モード情報および差分ベクトル情報などを可逆符号化し、その結果得られる情報を圧縮画像に付加されるヘッダ情報とする。可逆符号化部16は、可逆符号化の結果得られるヘッダ情報が付加された圧縮画像を画像圧縮情報として蓄積バッファ17に供給し、蓄積させる。
蓄積バッファ17は、可逆符号化部16から供給される画像圧縮情報を、一時的に記憶する。また、蓄積バッファ17は、伝送部として機能し、例えば、後段の図示せぬ記録装置や伝送路などに伝送する。
また、量子化部15より出力された、量子化された係数は、逆量子化部18にも入力され、逆量子化された後、逆直交変換部19に供給される。
逆直交変換部19は、逆量子化部18から供給される係数に対して、逆離散コサイン変換、逆カルーネン・レーベ変換等の逆直交変換を施し、その結果得られる残差情報を加算部20に供給する。
加算部20は、逆直交変換部19から供給される復号対象の画像としての残差情報と、選択部26から供給される予測画像を加算して、局部的に復号された画像を得る。なお、選択部26から予測画像が供給されない場合、加算部20は、逆直交変換部19から供給される残差情報を局部的に復号された画像とする。加算部20は、局部的に復号された画像をデブロックフィルタ21に供給するとともに、参照画像としてイントラ予測部23に供給する。
デブロックフィルタ21は、加算部20から供給される局部的に復号された画像をフィルタリングすることにより、ブロック歪を除去する。デブロックフィルタ21は、その結果得られる画像をフレームメモリ22に供給し、蓄積させる。フレームメモリ22に蓄積された画像は、参照画像としてインター予測部24および動き予測部25に出力される。
イントラ予測部23は、画面並べ替えバッファ12から読み出された画像と、加算部20から供給された参照画像とに基づいて、候補となる全てのイントラ予測モードのイントラ予測を行い、予測画像を生成する。
このとき、イントラ予測部23は、候補となる全てのイントラ予測モードに対してコスト関数値(詳細は後述する)を算出する。そして、イントラ予測部23は、コスト関数値が最小となるイントラ予測モードを最適イントラ予測モードに決定する。イントラ予測部23は、最適イントラ予測モードで生成された予測画像、および、対応するコスト関数値を、選択部26に供給する。イントラ予測部23は、選択部26から最適イントラ予測モードで生成された予測画像の選択が通知された場合、イントラ予測モード情報を可逆符号化部16に供給する。
なお、コスト関数値は、RD(Rate Distortion)コストともいい、例えば、H.264/AVC方式における参照ソフトウェアであるJM(Joint Model)で定められているような、High Complexity モードか、Low Complexity モードのいずれかの手法に基づいて算出される。
具体的には、コスト関数値の算出手法としてHigh Complexity モードが採用される場合、候補となる全ての予測モードに対して、仮に可逆符号化までが行われ、次の式(1)で表わされるコスト関数値が各予測モードに対して算出される。
Cost(Mode)=D+λ・R ・・・(1)
Dは、原画像と復号画像の差分(歪)、Rは、直交変換の係数まで含んだ発生符号量、λは、量子化パラメータQPの関数として与えられるラグランジュ乗数である。
一方、コスト関数値の算出手法としてLow Complexity モードが採用される場合、候補となる全ての予測モードに対して、復号画像の生成、および、予測モードを示す情報などのヘッダビットの算出が行われ、次の式(2)で表わされるコスト関数が各予測モードに対して算出される。
Cost(Mode)=D+QPtoQuant(QP)・Header_Bit ・・・(2)
Dは、原画像と復号画像の差分(歪)、Header_Bitは、予測モードに対するヘッダビット、QPtoQuantは、量子化パラメータQPの関数として与えられる関数である。
Low Complexity モードにおいては、全ての予測モードに対して、復号画像を生成するだけでよく、可逆符号化を行う必要がないため、演算量が少なくて済む。なお、ここでは、コスト関数値の算出手法としてHigh Complexity モードが採用されるものとする。
インター予測部24は、動き予測部25から供給されるインター予測モード情報と動きベクトルに基づいて、フレームメモリ22から参照画像を読み出す。インター予測部24は、動きベクトルとフレームメモリ22から読み出された参照画像とに基づいて、インター予測処理を行う。具体的には、インター予測部24は、動きベクトルに基づいて参照画像に対してインターポーレーションを行うことにより、分数精度の動き補償処理を行う。インター予測部24は、その結果生成される予測画像と、動き予測部25から供給されるコスト関数値とを選択部26に供給する。
なお、インター予測モードとは、予測ブロックのサイズ、予測方向、参照インデックス、および符号化モードを表す情報である。予測方向には、インター予測の対象とする画像よりも表示時刻が早い参照画像を用いた前方向の予測(L0予測)、インター予測の対象とする画像よりも表示時刻が遅い参照画像を用いた後方向の予測(L1予測)、およびインター予測の対象とする画像よりも表示時刻が早い参照画像と遅い参照画像を用いた両方向の予測(双方向予測(Bi-prediction))がある。
また、参照インデックスとは、参照画像を特定するための番号であり、例えば、インター予測の対象とする画像に近い画像の参照インデックスほど番号が小さい。符号化モードには、差分ベクトルと残差情報を0とし、差分ベクトル情報と残差情報を伝送しないスキップモード、差分ベクトルのみを0とし、残差情報を伝送するが差分ベクトル情報を伝送しないマージモード、差分ベクトルと残差情報の両方を0にせず、差分ベクトル情報と残差情報を伝送する通常モードなどがある。
また、インター予測部24は、選択部26から最適インター予測モードで生成された予測画像の選択が通知された場合、動きベクトルと予測ベクトルから差分ベクトルを求める。予測ベクトル(pmv)としては、現在の予測ブロックに空間的に近い予測ブロックまたは時間的に近い周辺位置の予測ブロックの動きベクトルのうち、現在の予測ブロックの動きベクトルとの差分が最も小さい動きベクトルが採用される。インター予測部24は、求められた差分ベクトル、インター予測モード情報、予測ベクトルとして選択された動きベクトルを表すpmv選択情報、検出精度情報などを可逆符号化部16に出力する。なお、検出精度情報とは、予測方向がL0予測またはL1予測である場合の動きベクトルの精度より、予測方向が双方向である場合の動きベクトルの精度が低いことを表す情報である。
動き予測部25は、画面並べ替えバッファ12から供給される画像と、フレームメモリ22から供給される参照画像とに基づいて、候補となる全てのインター予測モードの動きベクトルを、そのインター予測モードの予測方向に応じた分数精度で検出する。
また、動き予測部25は、候補となる全てのインター予測モードに対してコスト関数値を算出し、コスト関数値が最小となるインター予測モードを最適インター測モードに決定する。そして、動き予測部25は、インター予測モード情報、並びに、対応する動きベクトルおよびコスト関数値をインター予測部24に供給する。
選択部26は、イントラ予測部23およびインター予測部24から供給されるコスト関数値に基づいて、最適イントラ予測モードと最適インター予測モードのうちのいずれかを、最適予測モードに決定する。そして、選択部26は、最適予測モードの予測画像を、演算部13および加算部20に供給する。また、選択部26は、最適予測モードの予測画像の選択をイントラ予測部23またはインター予測部24に通知する。
レート制御部27は、蓄積バッファ17に蓄積された画像圧縮情報に基づいて、オーバーフローあるいはアンダーフローが発生しないように、量子化部15の量子化動作のレートを制御する。
[動き予測部の構成例]
図2は、図1の動き予測部25の構成例を示すブロック図である。
図2は、図1の動き予測部25の構成例を示すブロック図である。
図2において、動き予測部25は、L0動き検出部41、L1動き検出部42、双方向動き検出部43、および決定部44により構成される。
L0動き検出部41は、高精度動き検出部として機能し、整数ベクトル検出部51、1/2ベクトル検出部52、1/4ベクトル検出部53、および1/8ベクトル検出部54により構成される。L0動き検出部41は、予測方向としてL0予測を表すインター予測モードごとの動きベクトルを1/8画素精度で検出する。
具体的には、L0動き検出部41には、予測方向としてL0予測を表すインター予測モードごとに、画面並べ変えバッファ12から供給される符号化対象の画像と、フレームメモリ22から読みされた参照画像としての符号化対象の画像よりも表示時刻が早い画像とが供給される。
整数ベクトル検出部51は、符号化対象の画像と参照画像を用いて、予測方向としてL0予測を表すインター予測モードごとに、整数画素精度で動きベクトルを検出する。具体的には、整数ベクトル検出部51は、符号化対象の画像の予測ブロックとの差分が最も小さくなる参照画像のブロックを検出する。そして、整数ベクトル検出部51は、予測ブロックの位置に対する検出された参照画像のブロックの位置を表す動きベクトルを、予測ブロックに対する参照画像の整数画素精度の動きベクトルとして検出する。整数ベクトル検出部51は、検出された整数画素精度の動きベクトルを1/2ベクトル検出部52に供給する。
1/2ベクトル検出部52は、整数ベクトル検出部51から供給される整数画素精度の動きベクトルに基づいて、参照画像に対してインターポーレーションを行う。これにより、1/2ベクトル検出部52は、その動きベクトルに対応する位置を中心とした、水平方向および垂直方向の間隔が1/2画素位置の3×3画素の参照ブロックを生成する。
そして、1/2ベクトル検出部52は、生成された参照ブロックと符号化対象の画像を用いて、整数ベクトル検出部51と同様に、予測方向としてL0予測を表すインター予測モードごとに、1/2画素精度で動きベクトルを検出する。1/2ベクトル検出部52は、検出された1/2画素精度の動きベクトルを1/4ベクトル検出部53に供給する。
1/4ベクトル検出部53は、1/2ベクトル検出部52から供給される1/2画素精度の動きベクトルに基づいて、参照画像に対してインターポーレーションを行う。これにより、1/4ベクトル検出部53は、その動きベクトルに対応する位置を中心とした、水平方向および垂直方向の間隔が1/4画素位置の3×3画素の参照ブロックを生成する。
そして、1/4ベクトル検出部53は、生成された参照ブロックと符号化対象の画像を用いて、整数ベクトル検出部51と同様に、予測方向としてL0予測を表すインター予測モードごとに、1/4画素精度で動きベクトルを検出する。1/4ベクトル検出部53は、検出された1/4画素精度の動きベクトルを1/8ベクトル検出部54に供給する。
1/8ベクトル検出部54は、1/4ベクトル検出部53から供給される1/4画素精度の動きベクトルに基づいて、参照画像に対してインターポーレーションを行う。これにより、1/8ベクトル検出部54は、その動きベクトルに対応する位置を中心とした、水平方向および垂直方向の間隔が1/8画素位置の3×3画素の参照ブロックを生成する。
そして、1/8ベクトル検出部54は、生成された参照ブロックと符号化対象の画像を用いて、整数ベクトル検出部51と同様に、予測方向としてL0予測を表すインター予測モードごとに、1/8画素精度で動きベクトルを検出する。
また、1/8ベクトル検出部54は、検出された予測方向としてL0予測を表すインター予測モードごとの1/8画素精度の動きベクトル等を用いて、そのインター予測モードに対してコスト関数値を算出する。そして、1/8ベクトル検出部54は、コスト関数値が最小となるインター予測モードを、予測方向としてL0予測を表すインター予測モードの最適モード(以下、L0最適インター予測モードという)に決定する。1/8ベクトル検出部54は、L0最適インター予測モードと、対応するコスト関数値および動きベクトルを決定部44に供給する。
L1動き検出部42は、高精度動き検出部として機能し、整数ベクトル検出部61、1/2ベクトル検出部62、1/4ベクトル検出部63、および1/8ベクトル検出部64により構成される。L1動き検出部42は、予測方向としてL1予測を表すインター予測モードごとの動きベクトルを1/8画素精度で検出する。
なお、L1動き検出部42の各部の処理は、予測方向としてL1予測を表すインター予測モードごとに行われ、参照画像として符号化対象の画像よりも表示時刻が遅い画像がフレームメモリ22から読み出される点を除いて、L0動き検出部41の各部の処理と同様であるので、説明は省略する。
双方向動き検出部43は、低精度動き検出部として機能し、整数ベクトル検出部71、1/2ベクトル検出部72、1/4ベクトル検出部73、整数ベクトル検出部74、1/2ベクトル検出部75、および1/4ベクトル検出部76により構成される。双方向動き検出部43は、予測方向として双方向予測を表すインター予測モードごとの動きベクトルを1/4画素精度で検出する。
具体的には、双方向動き検出部43には、予測方向として双方向予測を表すインター予測モードごとに、画面並べ変えバッファ12から供給される符号化対象の画像、並びに、フレームメモリ22から読みされた参照画像としての符号化対象の画像よりも表示時刻が早い画像および遅い画像が供給される。
整数ベクトル検出部71は、1/4ベクトル検出部63により検出された後ろ方向の1/4画素精度の動きベクトルに基づいて、符号化対象の画像よりも表示時刻が遅い参照画像(以下、後ろ参照画像という)に対してインターポーレーションを行う。これにより、整数ベクトル検出部71は、その動きベクトルに対応する位置を中心とした、水平方向および垂直方向の間隔が1/4画素位置の3×3画素の後ろ参照ブロックを生成する。
整数ベクトル検出部71は、予測方向として双方向予測を表すインター予測モードごとに、後ろ参照ブロック、符号化対象の画像よりも表示時刻が早い参照画像(以下、前参照画像という)、および符号化対象の画像を用いて、整数画素精度で前方向の動きベクトルを検出する。具体的には、整数ベクトル検出部71は、予測方向として双方向予測を表すインター予測モードごとに、後ろ参照ブロックと前参照画像を合成し、その結果得られる画像と符号化対象の画像の予測ブロックとの差分が最も小さくなる前参照画像のブロックを検出する。そして、整数ベクトル検出部71は、予測ブロックの位置に対する検出された前参照画像のブロックの位置を表す動きベクトルを、前方向の整数画素精度の動きベクトルとして検出する。整数ベクトル検出部71は、検出された前方向の整数画素精度の動きベクトルを、1/2ベクトル検出部72に供給する。
1/2ベクトル検出部72は、整数ベクトル検出部71から供給される前方向の整数画素精度の動きベクトルに基づいて、前参照画像に対してインターポーレーションを行う。これにより、1/2ベクトル検出部72は、その動きベクトルに対応する位置を中心とした、水平方向および垂直方向の間隔が1/2画素位置の3×3画素の前参照ブロックを生成する。
そして、1/2ベクトル検出部72は、生成された前参照ブロック、後ろ参照ブロック、および符号化対象の画像を用いて、整数ベクトル検出部71と同様に、予測方向として双方向予測を表すインター予測モードごとに、1/2画素精度で前方向の動きベクトルを検出する。1/2ベクトル検出部72は、検出された前方向の1/2画素精度の動きベクトルを1/4ベクトル検出部73に供給する。
1/4ベクトル検出部73は、1/2ベクトル検出部72から供給される前方向の1/2画素精度の動きベクトルに基づいて、前参照画像に対してインターポーレーションを行う。これにより、1/4ベクトル検出部73は、その動きベクトルに対応する位置を中心とした、水平方向および垂直方向の間隔が1/4画素位置の3×3画素の前参照ブロックを生成する。
そして、1/4ベクトル検出部73は、生成された前参照ブロック、後ろ参照ブロック、および符号化対象の画像を用いて、整数ベクトル検出部71と同様に、予測方向として双方向予測を表すインター予測モードごとに、1/4画素精度で前方向の動きベクトルを検出する。1/4ベクトル検出部73は、検出された前方向の1/4画素精度の動きベクトルを整数ベクトル検出部74と1/4ベクトル検出部76に供給する。
整数ベクトル検出部74は、1/4ベクトル検出部73から供給される前方向の1/4画素精度の動きベクトルに基づいて、前参照画像に対してインターポーレーションを行う。これにより、整数ベクトル検出部74は、その動きベクトルに対応する位置を中心とした、水平方向および垂直方向の間隔が1/4画素位置の3×3画素の前参照ブロックを生成する。
整数ベクトル検出部74は、整数ベクトル検出部71と同様に、予測方向として双方向予測を表すインター予測モードごとに、前参照ブロック、後ろ参照画像、および符号化対象の画像を用いて、整数画素精度で後ろ方向の動きベクトルを検出する。整数ベクトル検出部74は、検出された後ろ方向の整数画素精度の動きベクトルを、1/2ベクトル検出部75に供給する。
1/2ベクトル検出部75と1/4ベクトル検出部76の処理は、前参照画像ではなく後ろ参照画像に対してインターポーレーションを行い、前方向ではなく後ろ方向の動きベクトルを検出する点を除いて、1/2ベクトル検出部72と1/4ベクトル検出部73の処理と同様である。
但し、1/4ベクトル検出部76は、予測方向として双方向予測を表すインター予測モードごとの、1/4ベクトル検出部73からの前方向の1/4画素精度の動きベクトル、後ろ方向の1/4画素精度の動きベクトル等を用いて、そのインター予測モードに対してコスト関数値を算出する。そして、1/4ベクトル検出部76は、コスト関数値が最小となるインター予測モードを、予測方向として双方向予測を表すインター予測モードの最適モード(以下、双方向最適インター予測モードという)に決定する。1/4ベクトル検出部76は、双方向最適インター予測モードと、対応するコスト関数値および動きベクトルを決定部44に供給する。
決定部44は、1/8ベクトル検出部54、1/8ベクトル検出部64、および、1/4ベクトル検出部76から供給されるコスト関数値から最小値を検出する。決定部44は、その最小値に対応して供給されるL0最適インター予測モード、予測方向としてL1予測を表すインター予測モードの最適モード(以下、L1最適インター予測モードという)、または双方向最適インター予測モードを最適インター予測モードに決定する。決定部44は、インター予測モード情報、並びに、対応する動きベクトルおよびコスト関数値をインター予測部24(図1)に供給する。
[符号化装置の処理の説明]
図3および図4は、図1の符号化装置10による符号化処理を説明するフローチャートである。この符号化処理は、例えば、入力信号としてフレーム単位の画像が符号化装置10に入力されるたびに行われる。
図3および図4は、図1の符号化装置10による符号化処理を説明するフローチャートである。この符号化処理は、例えば、入力信号としてフレーム単位の画像が符号化装置10に入力されるたびに行われる。
図3のステップS10において、符号化装置10のA/D変換部11は、入力信号として入力されたフレーム単位の画像をA/D変換し、画面並べ替えバッファ12に出力して記憶させる。
ステップS11において、画面並べ替えバッファ12は、記憶した表示の順番のフレームの画像を、GOP構造に応じて、符号化のための順番に並べ替える。画面並べ替えバッファ12は、並べ替え後のフレーム単位の画像を、スライス単位、LCU、およびCU単位に順に分割し、演算部13、イントラ予測部23、および動き予測部25に供給する。以降のステップS12乃至S31の処理は、例えばCU単位で行われる。
ステップS12において、イントラ予測部23は、画面並べ替えバッファ12から供給される画像と、加算部20から供給される参照画像とに基づいて、候補となる全てのイントラ予測モードのイントラ予測を行い、予測画像を生成する。また、イントラ予測部23は、候補となる全てのイントラ予測モードに対してコスト関数値を算出する。そして、イントラ予測部23は、コスト関数値が最小となるイントラ予測モードを最適イントラ予測モードに決定する。イントラ予測部23は、最適イントラ予測モードで生成された予測画像、および、対応するコスト関数値を、選択部26に供給する。
ステップS13において、動き予測部25は、画面並べ替えバッファ12から供給される画像に対して、フレームメモリ22から供給される参照画像を用いて、候補となる全てのインター予測モードの動き予測処理を行う。この動き予測処理の詳細は、後述する図5および図6を参照して説明する。
ステップS14において、動き予測部25の決定部44(図2)は、ステップS13の動き予測処理により得られたコスト関数値が最小であるインター予測モードを最適インター予測モードに決定する。そして、決定部44は、インター予測モード情報、並びに、対応する動きベクトルおよびコスト関数値をインター予測部24に供給する。
ステップS15において、インター予測部24は、動き予測部25から供給される動きベクトルとインター予測モード情報に基づいて、最適インター予測モードのインター予測を行い、予測画像を生成する。インター予測部24は、生成された予測画像と、動き予測部25から供給されるコスト関数値とを選択部26に供給する。
ステップS16において、選択部26は、イントラ予測部23およびインター予測部24から供給されるコスト関数値に基づいて、最適イントラ予測モードと最適インター予測モードのうちのコスト関数値が最小となる方を、最適予測モードに決定する。そして、選択部26は、最適予測モードの予測画像を、演算部13および加算部20に供給する。
ステップS17において、選択部26は、最適予測モードが最適インター予測モードであるかどうかを判定する。ステップS17で最適予測モードが最適インター予測モードであると判定された場合、選択部26は、最適インター予測モードで生成された予測画像の選択をインター予測部24に通知する。
そして、ステップS18において、インター予測部24は、動きベクトルと予測ベクトルから差分ベクトルを求める。このとき、動きベクトルの精度が1/4画素精度であり、予測ベクトルの精度が1/8画素精度である場合、インター予測部24は、予測ベクトル変換部として機能し、予測ベクトルに対して丸め処理を行うことにより、1/4画素精度の予測ベクトルを生成する。そして、インター予測部24は、1/4画素精度の予測ベクトルを用いて差分ベクトルを求める。インター予測部24は、求められた差分ベクトル、インター予測モード情報、pmv選択情報、および検出精度情報を可逆符号化部16に出力する。
ステップS19において、可逆符号化部16は、インター予測部24から供給される差分ベクトルから差分ベクトル情報を生成し、インター予測モード情報、差分ベクトル情報、pmv選択情報、および検出精度情報を可逆符号化する。可逆符号化部16は、その結果得られる情報を圧縮画像に付加されるヘッダ情報とし、処理をステップS21に進める。
一方、ステップS17で最適予測モードが最適インター予測モードではないと判定された場合、即ち最適予測モードが最適イントラ予測モードである場合、選択部26は、最適イントラ予測モードで生成された予測画像の選択をイントラ予測部23に通知する。これにより、イントラ予測部23は、イントラ予測モード情報を可逆符号化部16に供給する。
そして、ステップS20において、可逆符号化部16は、イントラ予測部23から供給されるイントラ予測モード情報などを可逆符号化し、その結果得られる情報を圧縮画像に付加されるヘッダ情報とする。そして、処理はステップS21に進む。
ステップS21において、演算部13は、画面並べ替えバッファ12から供給される画像から、選択部26から供給される予測画像を減算する。演算部13は、減算の結果得られる画像を、残差情報として直交変換部14に出力する。
ステップS22において、直交変換部14は、演算部13からの残差情報に対して直交変換を施し、その結果得られる係数を量子化部15に供給する。
ステップS23において、量子化部15は、直交変換部14から供給される係数を量子化する。量子化された係数は、可逆符号化部16と逆量子化部18に入力される。
ステップS24において、可逆符号化部16は、量子化部15から供給される量子化された係数を可逆符号化し、その結果得られる情報を圧縮画像とする。そして、可逆符号化部16は、ステップS19またはS20の処理で生成されたヘッダ情報を圧縮画像に付加し、画像圧縮情報を生成する。
図4のステップS25において、可逆符号化部16は、画像圧縮情報を蓄積バッファ17に供給し、蓄積させる。
ステップS26において、蓄積バッファ17は、蓄積されている画像圧縮情報を、例えば、後段の図示せぬ記録装置や伝送路などに出力する。
ステップS27において、逆量子化部18は、量子化部15から供給される量子化された係数を逆量子化する。
ステップS28において、逆直交変換部19は、逆量子化部18から供給される係数に対して逆直交変換を施し、その結果得られる残差情報を加算部20に供給する。
ステップS29において、加算部20は、逆直交変換部19から供給される残差情報と、選択部26から供給される予測画像を加算し、局部的に復号された画像を得る。加算部20は、得られた画像をデブロックフィルタ21に供給するとともに、参照画像としてイントラ予測部23に供給する。
ステップS30において、デブロックフィルタ21は、加算部20から供給される局部的に復号された画像に対してフィルタリングを行うことにより、ブロック歪を除去する。
ステップS31において、デブロックフィルタ21は、フィルタリング後の画像をフレームメモリ22に供給し、蓄積させる。フレームメモリ22に蓄積された画像は、参照画像としてインター予測部24および動き予測部25に出力される。そして、処理は終了する。
なお、図3および図4の符号化処理では、説明を簡単化するため、常に、イントラ予測処理と動き補償処理が行われるようにしたが、実際には、ピクチャタイプ等によっていずれか一方のみが行われる場合もある。また、可逆符号化部16において、差分ベクトル情報および量子化された係数が必ず可逆符号化されるようにしたが、実際には、符号化モードによって可逆符号化されない場合もある。即ち、スキップモードである場合、差分ベクトル情報と量子化された係数は可逆符号化されず、マージモードである場合、差分ベクトル情報は可逆符号化されない。
図5は、図3のステップS13の動き予測処理のうちの、予測方向としてL0予測を表すインター予測モードの動きベクトルを検出するL0動き予測処理を説明するフローチャートである。
ステップS51において、整数ベクトル検出部51は、画面並べ変えバッファ12から供給される符号化対象の画像と、フレームメモリ22から読みされた前参照画像を用いて、予測方向としてL0予測を表すインター予測モードごとに、整数画素精度の動きベクトルを検出する。整数ベクトル検出部51は、検出された整数画素精度の動きベクトルを1/2ベクトル検出部52に供給する。
ステップS52において、1/2ベクトル検出部52は、整数ベクトル検出部51から供給される整数画素精度の動きベクトルに基づいて、前参照画像に対してインターポーレーションを行う。これにより、1/2ベクトル検出部52は、その動きベクトルに対応する位置を中心とした、水平方向および垂直方向の間隔が1/2画素位置の3×3画素の参照ブロックを生成する。
ステップS53において、1/2ベクトル検出部52は、生成された参照ブロックと符号化対象の画像を用いて、整数ベクトル検出部51と同様に、予測方向としてL0予測を表すインター予測モードごとに、1/2画素精度の動きベクトルを検出する。1/2ベクトル検出部52は、検出された1/2画素精度の動きベクトルを1/4ベクトル検出部53に供給する。
ステップS54において、1/4ベクトル検出部53は、1/2ベクトル検出部52から供給される1/2画素精度の動きベクトルに基づいて、前参照画像に対してインターポーレーションを行う。これにより、1/4ベクトル検出部53は、その動きベクトルに対応する位置を中心とした、水平方向および垂直方向の間隔が1/4画素位置の3×3画素の参照ブロックを生成する。
ステップS55において、1/4ベクトル検出部53は、生成された参照ブロックと符号化対象の画像を用いて、整数ベクトル検出部51と同様に、予測方向としてL0予測を表すインター予測モードごとに、1/4画素精度の動きベクトルを検出する。1/4ベクトル検出部53は、検出された1/4画素精度の動きベクトルを1/8ベクトル検出部54に供給する。
ステップS56において、1/8ベクトル検出部54は、1/4ベクトル検出部53から供給される1/4画素精度の動きベクトルに基づいて、参照画像に対してインターポーレーションを行う。これにより、1/8ベクトル検出部54は、その動きベクトルに対応する位置を中心とした、水平方向および垂直方向の間隔が1/8画素位置の3×3画素の参照ブロックを生成する。
ステップS57において、1/8ベクトル検出部54は、生成された参照ブロックと符号化対象の画像を用いて、整数ベクトル検出部51と同様に、予測方向としてL0予測を表すインター予測モードごとに、1/8画素精度の動きベクトルを検出する。
ステップS58において、1/8ベクトル検出部54は、検出された予測方向としてL0予測を表すインター予測モードごとの1/8画素精度の動きベクトル等を用いて、そのインター予測モードに対してコスト関数値を求める。そして、1/8ベクトル検出部54は、コスト関数値が最小となるインター予測モードを、L0最適インター予測モードに決定し、L0最適インター予測モードと、対応するコスト関数値および動きベクトルを決定部44に供給する。
なお、予測方向としてL1予測を表すインター予測モードの動きベクトルを検出するL1動き予測処理は、図5のL0動き予測処理と同様であるので、説明は省略する。
図6は、図3のステップS13の動き予測処理のうちの、予測方向として双方向予測を表すインター予測モードの動きベクトルを検出する双方向動き予測処理を説明するフローチャートである。
ステップS70において、整数ベクトル検出部71は、1/4ベクトル検出部63により検出された後ろ方向の1/4画素精度の動きベクトルに基づいて、フレームメモリ22から読みされた後ろ参照画像に対してインターポーレーションを行う。これにより、整数ベクトル検出部71は、その動きベクトルに対応する位置を中心とした、水平方向および垂直方向の間隔が1/2画素位置の3×3画素の後ろ参照ブロックを生成する。
ステップS71において、整数ベクトル検出部71は、予測方向として双方向予測を表すインター予測モードごとに、後ろ参照ブロック、前参照画像、および符号化対象の画像を用いて、前方向の整数画素精度の動きベクトルを検出する。整数ベクトル検出部71は、検出された前方向の整数画素精度の動きベクトルを、1/2ベクトル検出部72に供給する。
ステップS72において、1/2ベクトル検出部72は、整数ベクトル検出部71から供給される前方向の整数画素精度の動きベクトルに基づいて、前参照画像に対してインターポーレーションを行う。これにより、1/2ベクトル検出部72は、その動きベクトルに対応する位置を中心とした、水平方向および垂直方向の間隔が1/2画素位置の3×3画素の前参照ブロックを生成する。
ステップS73において、1/2ベクトル検出部72は、生成された前参照ブロック、後ろ参照ブロック、および符号化対象の画像を用いて、整数ベクトル検出部71と同様に、予測方向として双方向予測を表すインター予測モードごとに、前方向の1/2画素精度の動きベクトルを検出する。1/2ベクトル検出部72は、検出された前方向の1/2画素精度の動きベクトルを1/4ベクトル検出部73に供給する。
ステップS74において、1/4ベクトル検出部73は、1/2ベクトル検出部72から供給される前方向の1/2画素精度の動きベクトルに基づいて、前参照画像に対してインターポーレーションを行う。これにより、1/4ベクトル検出部73は、その動きベクトルに対応する位置を中心とした、水平方向および垂直方向の間隔が1/4画素位置の3×3画素の前参照ブロックを生成する。
ステップS75において、1/4ベクトル検出部73は、生成された前参照ブロック、後ろ参照ブロック、および符号化対象の画像を用いて、整数ベクトル検出部71と同様に、予測方向として双方向予測を表すインター予測モードごとに、前方向の1/4画素精度の動きベクトルを検出する。1/4ベクトル検出部73は、検出された前方向の1/4画素精度の動きベクトルを整数ベクトル検出部74と1/4ベクトル検出部76に供給する。
ステップS76において、整数ベクトル検出部74は、1/4ベクトル検出部73から供給される前方向の1/4画素精度の動きベクトルに基づいて、前参照画像に対してインターポーレーションを行う。これにより、整数ベクトル検出部74は、その動きベクトルに対応する位置を中心とした、水平方向および垂直方向の間隔が1/4画素位置の3×3画素の前参照ブロックを生成する。
ステップS77において、整数ベクトル検出部74は、整数ベクトル検出部71と同様に、予測方向として双方向予測を表すインター予測モードごとに、前参照ブロック、後ろ参照画像、および符号化対象の画像を用いて、後ろ方向の整数画素精度の動きベクトルを検出する。整数ベクトル検出部74は、検出された後ろ方向の整数画素精度の動きベクトルを、1/2ベクトル検出部75に供給する。
ステップS78において、1/2ベクトル検出部75は、整数ベクトル検出部74から供給される後ろ方向の整数画素精度の動きベクトルに基づいて、後ろ参照画像に対してインターポーレーションを行う。これにより、1/2ベクトル検出部75は、その動きベクトルに対応する位置を中心とした、水平方向および垂直方向の間隔が1/2画素位置の3×3画素の後ろ参照ブロックを生成する。
ステップS79において、1/2ベクトル検出部75は、生成された後ろ参照ブロック、前参照ブロック、および符号化対象の画像を用いて、整数ベクトル検出部71と同様に、予測方向として双方向予測を表すインター予測モードごとに、後ろ方向の1/2画素精度の動きベクトルを検出する。1/2ベクトル検出部72は、検出された後ろ方向の1/2画素精度の動きベクトルを1/4ベクトル検出部76に供給する。
ステップS80において、1/4ベクトル検出部76は、1/2ベクトル検出部75から供給される後ろ方向の1/2画素精度の動きベクトルに基づいて、後ろ参照画像に対してインターポーレーションを行う。これにより、1/4ベクトル検出部76は、その動きベクトルに対応する位置を中心とした、水平方向および垂直方向の間隔が1/4画素位置の3×3画素の後ろ参照ブロックを生成する。
ステップS81において、1/4ベクトル検出部76は、生成された後ろ参照ブロック、前参照ブロック、および符号化対象の画像を用いて、整数ベクトル検出部71と同様に、予測方向として双方向予測を表すインター予測モードごとに、後ろ方向の1/4画素精度の動きベクトルを検出する。
ステップS82において、1/4ベクトル検出部76は、予測方向として双方向予測を表すインター予測モードごとの、ステップS75で検出された前方向の1/4画素精度の動きベクトル、ステップS81で検出された後ろ方向の1/4画素精度の動きベクトル等を用いて、そのインター予測モードに対してコスト関数値を求める。そして、1/4ベクトル検出部76は、コスト関数値が最小となるインター予測モードを、双方向最適インター予測モードに決定する。1/4ベクトル検出部76は、双方向最適インター予測モードと、対応するコスト関数値および動きベクトルを決定部44に供給し、処理を終了する。
なお、図2の動き予測部25の双方向動き検出部43は、後ろ方向の1/4画素精度の動きベクトルを固定したときの前方向の1/4画素精度の動きベクトルの検出と、前方向の1/4画素精度の動きベクトルを固定したときの後ろ方向の1/4画素精度の動きベクトルの検出を1回ずつ行ったが、所定の回数だけ繰り返してもよい。
以上のように、符号化装置10は、予測方向が双方向予測である場合の動きベクトルの精度を、予測方向がL0予測またはL1予測である場合の動きベクトルの精度より低くする。即ち、予測ブロック当たりの動きベクトルの数が多い場合の動きベクトルの精度を、予測ブロック当たりの動きベクトルの数が少ない場合の動きベクトルの精度より低くする。これにより、動きベクトルの情報量を抑制しつつ動き補償処理の精度を向上させることができる。その結果、符号化効率を向上させることができる。
[復号装置の構成例]
図7は、図1の符号化装置10から出力される画像圧縮情報を復号する、本技術を適用した復号装置の構成例を示すブロック図である。
図7は、図1の符号化装置10から出力される画像圧縮情報を復号する、本技術を適用した復号装置の構成例を示すブロック図である。
図7の復号装置100は、蓄積バッファ101、可逆復号化部102、逆量子化部103、逆直交変換部104、加算部105、デブロックフィルタ106、画面並べ替えバッファ107、D/A変換部108、フレームメモリ109、イントラ予測部110、インター予測部113、予測ベクトル変換部111、動きベクトル生成部112、およびスイッチ114により構成される。
復号装置100の蓄積バッファ101は、図1の符号化装置10から画像圧縮情報を受け取り、蓄積する。蓄積バッファ101は、蓄積されている画像圧縮情報を可逆復号化部102に供給する。
可逆復号化部102は、蓄積バッファ101からの画像圧縮情報に対して、可変長復号や、算術復号等の可逆復号を施すことで、量子化された係数とヘッダを得る。可逆復号化部102は、量子化された係数を逆量子化部103に供給する。また、可逆復号化部102は、ヘッダに含まれるイントラ予測モード情報などをイントラ予測部110に供給する。さらに、可逆復号化部102は、ヘッダに含まれる差分ベクトル情報をプラスマイナスの符号と差分ベクトルの絶対値の指数ゴロム符号に分解し、指数ゴロム符号を逆2値化してプラスマイナスの符号を付加することにより差分ベクトルを生成する。
可逆復号化部102は、生成された差分ベクトル、並びに、ヘッダに含まれるpmv選択情報および検出精度情報を予測ベクトル変換部111に供給する。また、可逆復号化部102は、ヘッダに含まれるインター予測モード情報をインター予測部113に供給する。さらに、可逆復号化部102は、ヘッダに含まれるイントラ予測モード情報またはインター予測モード情報をスイッチ114に供給する。
逆量子化部103、逆直交変換部104、加算部105、デブロックフィルタ106、フレームメモリ109、イントラ予測部110、および、インター予測部113は、図1の逆量子化部18、逆直交変換部19、加算部20、デブロックフィルタ21、フレームメモリ22、イントラ予測部23、および、インター予測部24とそれぞれ同様の処理を行い、これにより、画像が復号される。
具体的には、逆量子化部103は、可逆復号化部102からの量子化された係数を逆量子化し、その結果得られる係数を逆直交変換部104に供給する。
逆直交変換部104は、逆量子化部103からの係数に対して、逆離散コサイン変換、逆カルーネン・レーベ変換等の逆直交変換を施し、その結果得られる残差情報を加算部105に供給する。
加算部105は、復号部として機能し、逆直交変換部104から供給される復号対象の画像としての残差情報と、スイッチ114から供給される予測画像を加算することにより、復号を行う。加算部105は、復号の結果得られる画像をデブロックフィルタ106に供給するとともに、参照画像としてイントラ予測部110に供給する。なお、スイッチ114から予測画像が供給されない場合、加算部105は、逆直交変換部104から供給される残差情報である画像をデブロックフィルタ106に供給するとともに、参照画像としてイントラ予測部110に供給する。
デブロックフィルタ106は、加算部105から供給される画像をフィルタリングすることにより、ブロック歪を除去する。デブロックフィルタ106は、その結果得られる画像をフレームメモリ109に供給し、蓄積させるとともに、画面並べ替えバッファ107に供給する。フレームメモリ109に蓄積された画像は、参照画像としてインター予測部113に供給される。
画面並べ替えバッファ107は、デブロックフィルタ106から供給される画像をフレーム単位で記憶する。画面並べ替えバッファ107は、記憶した符号化のための順番のフレーム単位の画像を、元の表示の順番に並び替え、D/A変換部108に供給する。
D/A変換部108は、画面並べ替えバッファ107から供給されるフレーム単位の画像をD/A変換し、出力信号として出力する。
イントラ予測部110は、加算部105から供給される参照画像を用いて、可逆復号化部102から供給されるイントラ予測モード情報が表すイントラ予測モードのイントラ予測を行い、予測画像を生成する。そして、イントラ予測部110は、予測画像をスイッチ114に供給する。
予測ベクトル変換部111は、保持している動きベクトルのうちの、可逆復号化部102から供給されるpmv選択情報が表す動きベクトルを、予測ベクトルとして読み出す。予測ベクトル変換部111は、可逆復号化部102から供給される検出精度情報に応じて、差分ベクトルの精度が予測ベクトルの精度に比べて低い場合、即ち差分ベクトルの精度が1/4画素精度であり、予測ベクトルの精度が1/8画素精度である場合、予測ベクトルに対して丸め処理を行うことにより、1/4画素精度の予測ベクトルを生成する。予測ベクトル変換部111は、生成された1/4画素精度の予測ベクトル、または、読み出された予測ベクトルそのものと、差分ベクトルを動きベクトル生成部112に供給する。
動きベクトル生成部112は、予測ベクトル変換部111から供給される予測ベクトルと差分ベクトルを加算することにより、動きベクトルを生成する。動きベクトル生成部112は、生成された動きベクトルを、予測ベクトル変換部111に供給して保持させるとともに、インター予測部113に供給する。
インター予測部113は、動きベクトル生成部112から供給される動きベクトルと、可逆復号化部102から供給されるインター予測モード情報とに基づいて、図1のインター予測部24と同様に、フレームメモリ109から参照画像を読み出す。インター予測部113は、動きベクトルとフレームメモリ109から読み出された参照画像とに基づいて、インター予測部24と同様のインター予測処理を行う。インター予測部113は、その結果生成される予測画像をスイッチ114に供給する。
スイッチ114は、可逆復号化部102からイントラ予測モード情報が供給された場合、イントラ予測部110から供給される予測画像を加算部105に供給する。一方、可逆復号化部102からインター予測モード情報が供給された場合、インター予測部113から供給される予測画像を加算部105に供給する。
[復号装置の処理の説明]
図8は、図7の復号装置100による復号処理を説明するフローチャートである。この復号処理は、例えば、フレーム単位の画像圧縮情報が復号装置100に入力されるたびに行われる。
図8は、図7の復号装置100による復号処理を説明するフローチャートである。この復号処理は、例えば、フレーム単位の画像圧縮情報が復号装置100に入力されるたびに行われる。
図8のステップS101において、復号装置100の蓄積バッファ101は、図1の符号化装置10からフレーム単位の画像圧縮情報を受け取り、蓄積する。蓄積バッファ101は、蓄積されている画像圧縮情報を可逆復号化部102に供給する。なお、以下のステップS102乃至S113の処理は、例えばCU単位で行われる。
ステップS102において、可逆復号化部102は、蓄積バッファ101からの画像圧縮情報を可逆復号し、量子化された係数とヘッダを得る。可逆復号化部102は、量子化された係数を逆量子化部103に供給する。また、可逆復号化部102は、ヘッダに含まれるイントラ予測モード情報などをイントラ予測部110に供給する。さらに、可逆復号化部102は、ヘッダに含まれる差分ベクトル情報をプラスマイナスの符号と差分ベクトルの絶対値の指数ゴロム符号に分解し、指数ゴロム符号を逆2値化してプラスマイナスの符号を付加することにより差分ベクトルを生成する。
可逆復号化部102は、生成された差分ベクトル、並びに、ヘッダに含まれるpmv選択情報および検出精度情報を予測ベクトル変換部111に供給する。また、可逆復号化部102は、ヘッダに含まれるインター予測モード情報をインター予測部113に供給する。さらに、可逆復号化部102は、ヘッダに含まれるイントラ予測モード情報またはインター予測モード情報をスイッチ114に供給する。
ステップS103において、逆量子化部103は、可逆復号化部102からの量子化された係数を逆量子化し、その結果得られる係数を逆直交変換部104に供給する。
ステップS104において、逆直交変換部104は、逆量子化部103からの係数に対して逆直交変換を施し、その結果得られる残差情報を加算部105に供給する。
ステップS105において、予測ベクトル変換部111は、可逆復号化部102から差分ベクトル、pmv選択情報、および検出精度情報が供給されたかどうかを判定する。ステップS105で差分ベクトル、pmv選択情報、および検出精度情報が供給されたと判定された場合、予測ベクトル変換部111は、保持している動きベクトルのうちの、可逆復号化部102から供給されるpmv選択情報が表す動きベクトルを、予測ベクトルとして読み出す。そして、処理はステップS106に進む。
ステップS106において、予測ベクトル変換部111は、可逆復号化部102から供給される検出精度情報に応じて、差分ベクトルの精度が予測ベクトルの精度に比べて低いかどうかを判定する。差分ベクトルの精度が1/4画素精度であり、予測ベクトルの精度が1/8画素精度である場合、ステップS106で差分ベクトルの精度が予測ベクトルの精度に比べて低いと判定され、処理はステップS107に進む。
ステップS107において、予測ベクトル変換部111は、予測ベクトルに対して丸め処理を行うことにより1/4画素精度の予測ベクトルを生成し、その予測ベクトルと差分ベクトルを動きベクトル生成部112に供給する。そして、処理はステップS108に進む。
一方、差分ベクトルと予測ベクトルの両方の精度が1/4画素精度または1/8画素精度である場合、ステップS106で差分ベクトルの精度が予測ベクトルの精度に比べて低くないと判定される。そして、予測ベクトル変換部111は、読み出した予測ベクトルそのものと差分ベクトルを動きベクトル生成部112に供給し、処理をステップS108に進める。
ステップS108において、動きベクトル生成部112は、予測ベクトル変換部111から供給される予測ベクトルと差分ベクトルを加算することにより、動きベクトルを生成する。動きベクトル生成部112は、生成された動きベクトルを、予測ベクトル変換部111に供給して保持させるとともに、インター予測部113に供給する。
ステップS109において、インター予測部113は、動きベクトル生成部112から供給される動きベクトルと、可逆復号化部102から供給されるインター予測モード情報に基づいて、図1のインター予測部24と同様のインター予測処理を行う。インター予測部113は、その結果生成される予測画像を、スイッチ114を介して加算部105に供給し、処理をステップS111に進める。
一方、ステップS105で差分ベクトル、pmv選択情報、および検出精度情報が供給されていないと判定された場合、即ちイントラ予測モード情報がイントラ予測部110に供給された場合、処理はステップS110に進む。
ステップS110において、イントラ予測部110は、加算部105から供給される参照画像を用いて、可逆復号化部102から供給されるイントラ予測モード情報が表すイントラ予測モードのイントラ予測を行う。そして、イントラ予測部110は、その結果生成される予測画像を、スイッチ114を介して加算部105に供給し、処理をステップS111に進める。
ステップS111において、加算部105は、逆直交変換部104から供給される残差情報と、スイッチ114から供給される予測画像を加算する。加算部105は、その結果得られる画像をデブロックフィルタ106に供給するとともに、参照画像としてイントラ予測部110に供給する。
ステップS112において、デブロックフィルタ106は、加算部105から供給される画像に対してフィルタリングを行い、ブロック歪を除去する。
ステップS113において、デブロックフィルタ106は、フィルタリング後の画像をフレームメモリ109に供給し、蓄積させるとともに、画面並べ替えバッファ107に供給する。フレームメモリ109に蓄積された画像は、参照画像としてインター予測部113に供給される。
ステップS114において、画面並べ替えバッファ107は、デブロックフィルタ106から供給される画像をフレーム単位で記憶し、記憶した符号化のための順番のフレーム単位の画像を、元の表示の順番に並び替え、D/A変換部108に供給する。
ステップS115において、D/A変換部108は、画面並べ替えバッファ107から供給されるフレーム単位の画像をD/A変換し、出力信号として出力する。
以上のように、復号装置100は、検出精度情報に応じて、差分ベクトルの精度が1/4画素精度であり、予測ベクトルの精度が1/8画素精度である場合、予測ベクトルに対して丸め処理を行うことにより1/4画素精度の予測ベクトルを生成する。従って、符号化装置10において、予測ブロック当たりの動きベクトルの数が多い場合の動きベクトルの精度を、予測ブロック当たりの動きベクトルの数が少ない場合の動きベクトルの精度より低くすることにより、符号化効率を向上させるように符号化された画像圧縮情報を復号することができる。
なお、本実施の形態では、予測方向がL0予測またはL1予測であるか、双方向予測であるかによって動きベクトルの精度を切り替えたが、動きベクトルの精度は、動きベクトルの数が多い場合と少ない場合で切り替えられれば、切り替え方法はこれに限定されない。例えば、インター予測の予測ブロックのサイズが小さい場合、予測ブロックのサイズが大きい場合より動きベクトルの精度を低くするようにすることもできる。また、予測方向が双方向予測であるか、または、インター予測の予測ブロックのサイズが小さい場合、予測方向がL0予測またはL1予測であり、かつ、予測ブロックのサイズが大きい場合より動きベクトルの精度を低くするようにすることもできる。
また、本実施の形態では、差分ベクトルの絶対値が指数ゴロム符号で2値化されるものとしたが、2値化に用いられる符号は指数ゴロム符号以外の符号であってもよい。
さらに、本実施の形態では、予測方向が双方向予測である場合、全参照画像への動きベクトルの精度が、予測方向がL0予測またはL1予測である場合の精度に比べて低くされたが、一部の参照画像への動きベクトルの精度のみが低くされてもよい。この場合、参照画像ごとに検出精度情報が設定される。
また、本実施の形態では、動きベクトルの精度が1/4画素精度または1/8画素精度に切り替えられたが、動きベクトルの精度はこれに限定されない。例えば、動きベクトルの精度は、1/4画素精度または1/16画素精度に切り替えられるようにしてもよい。
<本技術を適用したコンピュータの説明>
次に、上述した符号化処理や復号処理は、ハードウェアにより行うこともできるし、ソフトウェアにより行うこともできる。符号化処理や復号処理をソフトウェアによって行う場合には、そのソフトウェアを構成するプログラムが、汎用のコンピュータ等にインストールされる。
次に、上述した符号化処理や復号処理は、ハードウェアにより行うこともできるし、ソフトウェアにより行うこともできる。符号化処理や復号処理をソフトウェアによって行う場合には、そのソフトウェアを構成するプログラムが、汎用のコンピュータ等にインストールされる。
そこで、図9は、上述した一連の処理を実行するプログラムがインストールされるコンピュータの一実施の形態の構成例を示している。
プログラムは、コンピュータに内蔵されている記録媒体としての記憶部408やROM(Read Only Memory)402に予め記録しておくことができる。
あるいはまた、プログラムは、リムーバブルメディア411に格納(記録)しておくことができる。このようなリムーバブルメディア411は、いわゆるパッケージソフトウエアとして提供することができる。ここで、リムーバブルメディア411としては、例えば、フレキシブルディスク、CD-ROM(Compact Disc Read Only Memory),MO(Magneto Optical)ディスク,DVD(Digital Versatile Disc)、磁気ディスク、半導体メモリ等がある。
なお、プログラムは、上述したようなリムーバブルメディア411からドライブ410を介してコンピュータにインストールする他、通信網や放送網を介して、コンピュータにダウンロードし、内蔵する記憶部408にインストールすることができる。すなわち、プログラムは、例えば、ダウンロードサイトから、デジタル衛星放送用の人工衛星を介して、コンピュータに無線で転送したり、LAN(Local Area Network)、インターネットといったネットワークを介して、コンピュータに有線で転送することができる。
コンピュータは、CPU(Central Processing Unit)401を内蔵しており、CPU401には、バス404を介して、入出力インタフェース405が接続されている。
CPU401は、入出力インタフェース405を介して、ユーザによって、入力部406が操作等されることにより指令が入力されると、それに従って、ROM402に格納されているプログラムを実行する。あるいは、CPU401は、記憶部408に格納されたプログラムを、RAM(Random Access Memory)403にロードして実行する。
これにより、CPU401は、上述したフローチャートにしたがった処理、あるいは上述したブロック図の構成により行われる処理を行う。そして、CPU401は、その処理結果を、必要に応じて、例えば、入出力インタフェース405を介して、出力部407から出力、あるいは、通信部409から送信、さらには、記憶部408に記録等させる。
なお、入力部406は、キーボードや、マウス、マイク等で構成される。また、出力部407は、LCD(Liquid Crystal Display)やスピーカ等で構成される。
ここで、本明細書において、コンピュータがプログラムに従って行う処理は、必ずしもフローチャートとして記載された順序に沿って時系列に行われる必要はない。すなわち、コンピュータがプログラムに従って行う処理は、並列的あるいは個別に実行される処理(例えば、並列処理あるいはオブジェクトによる処理)も含む。
また、プログラムは、1のコンピュータ(プロセッサ)により処理されるものであっても良いし、複数のコンピュータによって分散処理されるものであっても良い。さらに、プログラムは、遠方のコンピュータに転送されて実行されるものであっても良い。
<テレビジョン受像機の構成例>
図10は、本技術を適用した復号装置を用いるテレビジョン受像機の主な構成例を示すブロック図である。
図10は、本技術を適用した復号装置を用いるテレビジョン受像機の主な構成例を示すブロック図である。
図10に示されるテレビジョン受像機500は、地上波チューナ513、ビデオデコーダ515、映像信号処理回路518、グラフィック生成回路519、パネル駆動回路520、および表示パネル521を有する。
地上波チューナ513は、地上アナログ放送の放送波信号を、アンテナを介して受信し、復調し、映像信号を取得し、それをビデオデコーダ515に供給する。ビデオデコーダ515は、地上波チューナ513から供給された映像信号に対してデコード処理を施し、得られたデジタルのコンポーネント信号を映像信号処理回路518に供給する。
映像信号処理回路518は、ビデオデコーダ515から供給された映像データに対してノイズ除去などの所定の処理を施し、得られた映像データをグラフィック生成回路519に供給する。
グラフィック生成回路519は、表示パネル521に表示させる番組の映像データや、ネットワークを介して供給されるアプリケーションに基づく処理による画像データなどを生成し、生成した映像データや画像データをパネル駆動回路520に供給する。また、グラフィック生成回路519は、項目の選択などにユーザにより利用される画面を表示するための映像データ(グラフィック)を生成し、それを番組の映像データに重畳したりすることによって得られた映像データをパネル駆動回路520に供給するといった処理も適宜行う。
パネル駆動回路520は、グラフィック生成回路519から供給されたデータに基づいて表示パネル521を駆動し、番組の映像や上述した各種の画面を表示パネル521に表示させる。
表示パネル521はLCD(Liquid Crystal Display)などよりなり、パネル駆動回路520による制御に従って番組の映像などを表示させる。
また、テレビジョン受像機500は、音声A/D(Analog/Digital)変換回路514、音声信号処理回路522、エコーキャンセル/音声合成回路523、音声増幅回路524、およびスピーカ525も有する。
地上波チューナ513は、受信した放送波信号を復調することにより、映像信号だけでなく音声信号も取得する。地上波チューナ513は、取得した音声信号を音声A/D変換回路514に供給する。
音声A/D変換回路514は、地上波チューナ513から供給された音声信号に対してA/D変換処理を施し、得られたデジタルの音声信号を音声信号処理回路522に供給する。
音声信号処理回路522は、音声A/D変換回路514から供給された音声データに対してノイズ除去などの所定の処理を施し、得られた音声データをエコーキャンセル/音声合成回路523に供給する。
エコーキャンセル/音声合成回路523は、音声信号処理回路522から供給された音声データを音声増幅回路524に供給する。
音声増幅回路524は、エコーキャンセル/音声合成回路523から供給された音声データに対してD/A変換処理、増幅処理を施し、所定の音量に調整した後、音声をスピーカ525から出力させる。
さらに、テレビジョン受像機500は、デジタルチューナ516およびMPEGデコーダ517も有する。
デジタルチューナ516は、デジタル放送(地上デジタル放送、BS(Broadcasting Satellite)/CS(Communications Satellite)デジタル放送)の放送波信号を、アンテナを介して受信し、復調し、MPEG-TS(Moving Picture Experts Group-Transport Stream)を取得し、それをMPEGデコーダ517に供給する。
MPEGデコーダ517は、デジタルチューナ516から供給されたMPEG-TSに施されているスクランブルを解除し、再生対象(視聴対象)になっている番組のデータを含むストリームを抽出する。MPEGデコーダ517は、抽出したストリームを構成する音声パケットをデコードし、得られた音声データを音声信号処理回路522に供給するとともに、ストリームを構成する映像パケットをデコードし、得られた映像データを映像信号処理回路518に供給する。また、MPEGデコーダ517は、MPEG-TSから抽出したEPG(Electronic Program Guide)データを図示せぬ経路を介してCPU532に供給する。
テレビジョン受像機500は、このように映像パケットをデコードするMPEGデコーダ517として、上述した復号装置100を用いる。したがって、MPEGデコーダ517では、復号装置100の場合と同様に、インター予測時に分数精度の動き補償処理を行う場合において、符号化効率を向上させるように符号化された画像を復号することができる。
MPEGデコーダ517から供給された映像データは、ビデオデコーダ515から供給された映像データの場合と同様に、映像信号処理回路518において所定の処理が施される。そして、所定の処理が施された映像データは、グラフィック生成回路519において、生成された映像データ等が適宜重畳され、パネル駆動回路520を介して表示パネル521に供給され、その画像が表示される。
MPEGデコーダ517から供給された音声データは、音声A/D変換回路514から供給された音声データの場合と同様に、音声信号処理回路522において所定の処理が施される。そして、所定の処理が施された音声データは、エコーキャンセル/音声合成回路523を介して音声増幅回路524に供給され、D/A変換処理や増幅処理が施される。その結果、所定の音量に調整された音声がスピーカ525から出力される。
また、テレビジョン受像機500は、マイクロホン526、およびA/D変換回路527も有する。
A/D変換回路527は、音声会話用のものとしてテレビジョン受像機500に設けられるマイクロホン526により取り込まれたユーザの音声の信号を受信する。A/D変換回路527は、受信した音声信号に対してA/D変換処理を施し、得られたデジタルの音声データをエコーキャンセル/音声合成回路523に供給する。
エコーキャンセル/音声合成回路523は、テレビジョン受像機500のユーザ(ユーザA)の音声のデータがA/D変換回路527から供給されている場合、ユーザAの音声データを対象としてエコーキャンセルを行う。そして、エコーキャンセル/音声合成回路523は、エコーキャンセルの後、他の音声データと合成するなどして得られた音声のデータを、音声増幅回路524を介してスピーカ525より出力させる。
さらに、テレビジョン受像機500は、音声コーデック528、内部バス529、SDRAM(Synchronous Dynamic Random Access Memory)530、フラッシュメモリ531、CPU532、USB(Universal Serial Bus) I/F533、およびネットワークI/F534も有する。
A/D変換回路527は、音声会話用のものとしてテレビジョン受像機500に設けられるマイクロホン526により取り込まれたユーザの音声の信号を受信する。A/D変換回路527は、受信した音声信号に対してA/D変換処理を施し、得られたデジタルの音声データを音声コーデック528に供給する。
音声コーデック528は、A/D変換回路527から供給された音声データを、ネットワーク経由で送信するための所定のフォーマットのデータに変換し、内部バス529を介してネットワークI/F534に供給する。
ネットワークI/F534は、ネットワーク端子535に装着されたケーブルを介してネットワークに接続される。ネットワークI/F534は、例えば、そのネットワークに接続される他の装置に対して、音声コーデック528から供給された音声データを送信する。また、ネットワークI/F534は、例えば、ネットワークを介して接続される他の装置から送信される音声データを、ネットワーク端子535を介して受信し、それを、内部バス529を介して音声コーデック528に供給する。
音声コーデック528は、ネットワークI/F534から供給された音声データを所定のフォーマットのデータに変換し、それをエコーキャンセル/音声合成回路523に供給する。
エコーキャンセル/音声合成回路523は、音声コーデック528から供給される音声データを対象としてエコーキャンセルを行い、他の音声データと合成するなどして得られた音声のデータを、音声増幅回路524を介してスピーカ525より出力させる。
SDRAM530は、CPU532が処理を行う上で必要な各種のデータを記憶する。
フラッシュメモリ531は、CPU532により実行されるプログラムを記憶する。フラッシュメモリ531に記憶されているプログラムは、テレビジョン受像機500の起動時などの所定のタイミングでCPU532により読み出される。フラッシュメモリ531には、デジタル放送を介して取得されたEPGデータ、ネットワークを介して所定のサーバから取得されたデータなども記憶される。
例えば、フラッシュメモリ531には、CPU532の制御によりネットワークを介して所定のサーバから取得されたコンテンツデータを含むMPEG-TSが記憶される。フラッシュメモリ531は、例えばCPU532の制御により、そのMPEG-TSを、内部バス529を介してMPEGデコーダ517に供給する。
MPEGデコーダ517は、デジタルチューナ516から供給されたMPEG-TSの場合と同様に、そのMPEG-TSを処理する。このようにテレビジョン受像機500は、映像や音声等よりなるコンテンツデータを、ネットワークを介して受信し、MPEGデコーダ517を用いてデコードし、その映像を表示させたり、音声を出力させたりすることができる。
また、テレビジョン受像機500は、リモートコントローラ551から送信される赤外線信号を受光する受光部537も有する。
受光部537は、リモートコントローラ551からの赤外線を受光し、復調して得られたユーザ操作の内容を表す制御コードをCPU532に出力する。
CPU532は、フラッシュメモリ531に記憶されているプログラムを実行し、受光部537から供給される制御コードなどに応じてテレビジョン受像機500の全体の動作を制御する。CPU532とテレビジョン受像機500の各部は、図示せぬ経路を介して接続されている。
USB I/F533は、USB端子536に装着されたUSBケーブルを介して接続される、テレビジョン受像機500の外部の機器との間でデータの送受信を行う。ネットワークI/F534は、ネットワーク端子535に装着されたケーブルを介してネットワークに接続し、ネットワークに接続される各種の装置と音声データ以外のデータの送受信も行う。
テレビジョン受像機500は、MPEGデコーダ517として復号装置100を用いることにより、インター予測時に分数精度の動き補償処理を行う場合において、符号化効率を向上させるように符号化された画像を復号することができる。
<携帯電話機の構成例>
図11は、本技術を適用した符号化装置および復号装置を用いる携帯電話機の主な構成例を示すブロック図である。
図11は、本技術を適用した符号化装置および復号装置を用いる携帯電話機の主な構成例を示すブロック図である。
図11に示される携帯電話機600は、各部を統括的に制御するようになされた主制御部650、電源回路部651、操作入力制御部652、画像エンコーダ653、カメラI/F部654、LCD制御部655、画像デコーダ656、多重分離部657、記録再生部662、変復調回路部658、および音声コーデック659を有する。これらは、バス660を介して互いに接続されている。
また、携帯電話機600は、操作キー619、CCD(Charge Coupled Devices)カメラ616、液晶ディスプレイ618、記憶部623、送受信回路部663、アンテナ614、マイクロホン(マイク)621、およびスピーカ617を有する。
電源回路部651は、ユーザの操作により終話および電源キーがオン状態にされると、バッテリパックから各部に対して電力を供給することにより携帯電話機600を動作可能な状態に起動する。
携帯電話機600は、CPU、ROMおよびRAM等でなる主制御部650の制御に基づいて、音声通話モードやデータ通信モード等の各種モードで、音声信号の送受信、電子メールや画像データの送受信、画像撮影、またはデータ記録等の各種動作を行う。
例えば、音声通話モードにおいて、携帯電話機600は、マイクロホン(マイク)621で集音した音声信号を、音声コーデック659によってデジタル音声データに変換し、これを変復調回路部658でスペクトラム拡散処理し、送受信回路部663でデジタルアナログ変換処理および周波数変換処理する。携帯電話機600は、その変換処理により得られた送信用信号を、アンテナ614を介して図示しない基地局へ送信する。基地局へ伝送された送信用信号(音声信号)は、公衆電話回線網を介して通話相手の携帯電話機に供給される。
また、例えば、音声通話モードにおいて、携帯電話機600は、アンテナ614で受信した受信信号を送受信回路部663で増幅し、さらに周波数変換処理およびアナログデジタル変換処理し、変復調回路部658でスペクトラム逆拡散処理し、音声コーデック659によってアナログ音声信号に変換する。携帯電話機600は、その変換して得られたアナログ音声信号をスピーカ617から出力する。
更に、例えば、データ通信モードにおいて電子メールを送信する場合、携帯電話機600は、操作キー619の操作によって入力された電子メールのテキストデータを、操作入力制御部652において受け付ける。携帯電話機600は、そのテキストデータを主制御部650において処理し、LCD制御部655を介して、画像として液晶ディスプレイ618に表示させる。
また、携帯電話機600は、主制御部650において、操作入力制御部652が受け付けたテキストデータやユーザ指示等に基づいて電子メールデータを生成する。携帯電話機600は、その電子メールデータを、変復調回路部658でスペクトラム拡散処理し、送受信回路部663でデジタルアナログ変換処理および周波数変換処理する。携帯電話機600は、その変換処理により得られた送信用信号を、アンテナ614を介して図示しない基地局へ送信する。基地局へ伝送された送信用信号(電子メール)は、ネットワークおよびメールサーバ等を介して、所定のあて先に供給される。
また、例えば、データ通信モードにおいて電子メールを受信する場合、携帯電話機600は、基地局から送信された信号を、アンテナ614を介して送受信回路部663で受信し、増幅し、さらに周波数変換処理およびアナログデジタル変換処理する。携帯電話機600は、その受信信号を変復調回路部658でスペクトラム逆拡散処理して元の電子メールデータを復元する。携帯電話機600は、復元された電子メールデータを、LCD制御部655を介して液晶ディスプレイ618に表示する。
なお、携帯電話機600は、受信した電子メールデータを、記録再生部662を介して、記憶部623に記録する(記憶させる)ことも可能である。
この記憶部623は、書き換え可能な任意の記憶媒体である。記憶部623は、例えば、RAMや内蔵型フラッシュメモリ等の半導体メモリであってもよいし、ハードディスクであってもよいし、磁気ディスク、光磁気ディスク、光ディスク、USBメモリ、またはメモリカード等のリムーバブルメディアであってもよい。もちろん、これら以外のものであってもよい。
さらに、例えば、データ通信モードにおいて画像データを送信する場合、携帯電話機600は、撮像によりCCDカメラ616で画像データを生成する。CCDカメラ616は、レンズや絞り等の光学デバイスと光電変換素子としてのCCDを有し、被写体を撮像し、受光した光の強度を電気信号に変換し、被写体の画像の画像データを生成する。その画像データを、カメラI/F部654を介して、画像エンコーダ653で、例えばMPEG2やMPEG4等の所定の符号化方式によって圧縮符号化することにより符号化画像データに変換する。
携帯電話機600は、このような処理を行う画像エンコーダ653として、上述した符号化装置10を用いる。したがって、画像エンコーダ653は、符号化装置10の場合と同様に、インター予測時に分数精度の動き補償処理を行う場合において、符号化効率を向上させることができる。
なお、携帯電話機600は、このとき同時に、CCDカメラ616で撮像中にマイクロホン(マイク)621で集音した音声を、音声コーデック659においてアナログデジタル変換し、さらに符号化する。
携帯電話機600は、多重分離部657において、画像エンコーダ653から供給された符号化画像データと、音声コーデック659から供給されたデジタル音声データとを、所定の方式で多重化する。携帯電話機600は、その結果得られる多重化データを、変復調回路部658でスペクトラム拡散処理し、送受信回路部663でデジタルアナログ変換処理および周波数変換処理する。携帯電話機600は、その変換処理により得られた送信用信号を、アンテナ614を介して図示しない基地局へ送信する。基地局へ伝送された送信用信号(画像データ)は、ネットワーク等を介して、通信相手に供給される。
なお、画像データを送信しない場合、携帯電話機600は、CCDカメラ616で生成した画像データを、画像エンコーダ653を介さずに、LCD制御部655を介して液晶ディスプレイ618に表示させることもできる。
また、例えば、データ通信モードにおいて、簡易ホームページ等にリンクされた動画像ファイルのデータを受信する場合、携帯電話機600は、基地局から送信された信号を、アンテナ614を介して送受信回路部663で受信し、増幅し、さらに周波数変換処理およびアナログデジタル変換処理する。携帯電話機600は、その受信信号を変復調回路部658でスペクトラム逆拡散処理して元の多重化データを復元する。携帯電話機600は、多重分離部657において、その多重化データを分離して、符号化画像データと音声データとに分ける。
携帯電話機600は、画像デコーダ656において、符号化画像データを、MPEG2やMPEG4等の所定の符号化方式に対応した復号方式でデコードすることにより、再生動画像データを生成し、これを、LCD制御部655を介して液晶ディスプレイ618に表示させる。これにより、例えば、簡易ホームページにリンクされた動画像ファイルに含まれる動画データが液晶ディスプレイ618に表示される。
携帯電話機600は、このような処理を行う画像デコーダ656として、上述した復号装置100を用いる。したがって、画像デコーダ656は、復号装置100の場合と同様に、インター予測時に分数精度の動き補償処理を行う場合において、符号化効率を向上させるように符号化された画像を復号することができる。
このとき、携帯電話機600は、同時に、音声コーデック659において、デジタルの音声データをアナログ音声信号に変換し、これをスピーカ617より出力させる。これにより、例えば、簡易ホームページにリンクされた動画像ファイルに含まれる音声データが再生される。
なお、電子メールの場合と同様に、携帯電話機600は、受信した簡易ホームページ等にリンクされたデータを、記録再生部662を介して、記憶部623に記録する(記憶させる)ことも可能である。
また、携帯電話機600は、主制御部650において、撮像されてCCDカメラ616で得られた2次元コードを解析し、2次元コードに記録された情報を取得することができる。
さらに、携帯電話機600は、赤外線通信部681で赤外線により外部の機器と通信することができる。
携帯電話機600は、画像エンコーダ653として符号化装置10を用いることにより、インター予測時に分数精度の動き補償処理を行う場合において、符号化効率を向上させることができる。
また、携帯電話機600は、画像デコーダ656として復号装置100を用いることにより、インター予測時に分数精度の動き補償処理を行う場合において、符号化効率を向上させるように符号化された画像を復号することができる。
なお、以上において、携帯電話機600が、CCDカメラ616を用いるように説明したが、このCCDカメラ616の代わりに、CMOS(Complementary Metal Oxide Semiconductor)を用いたイメージセンサ(CMOSイメージセンサ)を用いるようにしてもよい。この場合も、携帯電話機600は、CCDカメラ616を用いる場合と同様に、被写体を撮像し、被写体の画像の画像データを生成することができる。
また、以上においては携帯電話機600として説明したが、例えば、PDA(Personal Digital Assistants)、スマートフォン、UMPC(Ultra Mobile Personal Computer)、ネットブック、ノート型パーソナルコンピュータ等、この携帯電話機600と同様の撮像機能や通信機能を有する装置であれば、どのような装置であっても携帯電話機600の場合と同様に、符号化装置10および復号装置100を適用することができる。
<ハードディスクレコーダの構成例>
図12は、本技術を適用した符号化装置および復号装置を用いるハードディスクレコーダの主な構成例を示すブロック図である。
図12は、本技術を適用した符号化装置および復号装置を用いるハードディスクレコーダの主な構成例を示すブロック図である。
図12に示されるハードディスクレコーダ(HDDレコーダ)700は、チューナにより受信された、衛星や地上のアンテナ等より送信される放送波信号(テレビジョン信号)に含まれる放送番組のオーディオデータとビデオデータを、内蔵するハードディスクに保存し、その保存したデータをユーザの指示に応じたタイミングでユーザに提供する装置である。
ハードディスクレコーダ700は、例えば、放送波信号よりオーディオデータとビデオデータを抽出し、それらを適宜復号し、内蔵するハードディスクに記憶させることができる。また、ハードディスクレコーダ700は、例えば、ネットワークを介して他の装置からオーディオデータやビデオデータを取得し、それらを適宜復号し、内蔵するハードディスクに記憶させることもできる。
さらに、ハードディスクレコーダ700は、例えば、内蔵するハードディスクに記録されているオーディオデータやビデオデータを復号してモニタ760に供給し、モニタ760の画面にその画像を表示させる。また、ハードディスクレコーダ700は、モニタ760のスピーカよりその音声を出力させることができる。
ハードディスクレコーダ700は、例えば、チューナを介して取得された放送波信号より抽出されたオーディオデータとビデオデータ、または、ネットワークを介して他の装置から取得したオーディオデータやビデオデータを復号してモニタ760に供給し、モニタ760の画面にその画像を表示させる。また、ハードディスクレコーダ700は、モニタ760のスピーカよりその音声を出力させることもできる。
もちろん、この他の動作も可能である。
図12に示されるように、ハードディスクレコーダ700は、受信部721、復調部722、デマルチプレクサ723、オーディオデコーダ724、ビデオデコーダ725、およびレコーダ制御部726を有する。ハードディスクレコーダ700は、さらに、EPGデータメモリ727、プログラムメモリ728、ワークメモリ729、ディスプレイコンバータ730、OSD(On Screen Display)制御部731、ディスプレイ制御部732、記録再生部733、D/Aコンバータ734、および通信部735を有する。
また、ディスプレイコンバータ730は、ビデオエンコーダ741を有する。記録再生部733は、エンコーダ751およびデコーダ752を有する。
受信部721は、リモートコントローラ(図示せず)からの赤外線信号を受信し、電気信号に変換してレコーダ制御部726に出力する。レコーダ制御部726は、例えば、マイクロプロセッサなどにより構成され、プログラムメモリ728に記憶されているプログラムに従って、各種の処理を実行する。レコーダ制御部726は、このとき、ワークメモリ729を必要に応じて使用する。
通信部735は、ネットワークに接続され、ネットワークを介して他の装置との通信処理を行う。例えば、通信部735は、レコーダ制御部726により制御され、チューナ(図示せず)と通信し、主にチューナに対して選局制御信号を出力する。
復調部722は、チューナより供給された信号を、復調し、デマルチプレクサ723に出力する。デマルチプレクサ723は、復調部722より供給されたデータを、オーディオデータ、ビデオデータ、およびEPGデータに分離し、それぞれ、オーディオデコーダ724、ビデオデコーダ725、またはレコーダ制御部726に出力する。
オーディオデコーダ724は、入力されたオーディオデータを、例えばMPEG方式でデコードし、記録再生部733に出力する。ビデオデコーダ725は、入力されたビデオデータを、例えばMPEG方式でデコードし、ディスプレイコンバータ730に出力する。レコーダ制御部726は、入力されたEPGデータをEPGデータメモリ727に供給し、記憶させる。
ディスプレイコンバータ730は、ビデオデコーダ725またはレコーダ制御部726より供給されたビデオデータを、ビデオエンコーダ741により、例えばNTSC(National Television Standards Committee)方式のビデオデータにエンコードし、記録再生部733に出力する。また、ディスプレイコンバータ730は、ビデオデコーダ725またはレコーダ制御部726より供給されるビデオデータの画面のサイズを、モニタ760のサイズに対応するサイズに変換する。ディスプレイコンバータ730は、画面のサイズが変換されたビデオデータを、さらに、ビデオエンコーダ741によってNTSC方式のビデオデータに変換し、アナログ信号に変換し、ディスプレイ制御部732に出力する。
ディスプレイ制御部732は、レコーダ制御部726の制御のもと、OSD(On Screen Display)制御部731が出力したOSD信号を、ディスプレイコンバータ730より入力されたビデオ信号に重畳し、モニタ760のディスプレイに出力し、表示させる。
モニタ760にはまた、オーディオデコーダ724が出力したオーディオデータが、D/Aコンバータ734によりアナログ信号に変換されて供給されている。モニタ760は、このオーディオ信号を内蔵するスピーカから出力する。
記録再生部733は、ビデオデータやオーディオデータ等を記録する記憶媒体としてハードディスクを有する。
記録再生部733は、例えば、オーディオデコーダ724より供給されるオーディオデータを、エンコーダ751によりMPEG方式でエンコードする。また、記録再生部733は、ディスプレイコンバータ730のビデオエンコーダ741より供給されるビデオデータを、エンコーダ751によりMPEG方式でエンコードする。記録再生部733は、そのオーディオデータの符号化データとビデオデータの符号化データとをマルチプレクサにより合成する。記録再生部733は、その合成データをチャネルコーディングして増幅し、そのデータを、記録ヘッドを介してハードディスクに書き込む。
記録再生部733は、再生ヘッドを介してハードディスクに記録されているデータを再生し、増幅し、デマルチプレクサによりオーディオデータとビデオデータに分離する。記録再生部733は、デコーダ752によりオーディオデータおよびビデオデータをMPEG方式でデコードする。記録再生部733は、復号したオーディオデータをD/A変換し、モニタ760のスピーカに出力する。また、記録再生部733は、復号したビデオデータをD/A変換し、モニタ760のディスプレイに出力する。
レコーダ制御部726は、受信部721を介して受信されるリモートコントローラからの赤外線信号により示されるユーザ指示に基づいて、EPGデータメモリ727から最新のEPGデータを読み出し、それをOSD制御部731に供給する。OSD制御部731は、入力されたEPGデータに対応する画像データを発生し、ディスプレイ制御部732に出力する。ディスプレイ制御部732は、OSD制御部731より入力されたビデオデータをモニタ760のディスプレイに出力し、表示させる。これにより、モニタ760のディスプレイには、EPG(電子番組ガイド)が表示される。
また、ハードディスクレコーダ700は、インターネット等のネットワークを介して他の装置から供給されるビデオデータ、オーディオデータ、またはEPGデータ等の各種データを取得することができる。
通信部735は、レコーダ制御部726に制御され、ネットワークを介して他の装置から送信されるビデオデータ、オーディオデータ、およびEPGデータ等の符号化データを取得し、それをレコーダ制御部726に供給する。レコーダ制御部726は、例えば、取得したビデオデータやオーディオデータの符号化データを記録再生部733に供給し、ハードディスクに記憶させる。このとき、レコーダ制御部726および記録再生部733が、必要に応じて再エンコード等の処理を行うようにしてもよい。
また、レコーダ制御部726は、取得したビデオデータやオーディオデータの符号化データを復号し、得られるビデオデータをディスプレイコンバータ730に供給する。ディスプレイコンバータ730は、ビデオデコーダ725から供給されるビデオデータと同様に、レコーダ制御部726から供給されるビデオデータを処理し、ディスプレイ制御部732を介してモニタ760に供給し、その画像を表示させる。
また、この画像表示に合わせて、レコーダ制御部726が、復号したオーディオデータを、D/Aコンバータ734を介してモニタ760に供給し、その音声をスピーカから出力させるようにしてもよい。
さらに、レコーダ制御部726は、取得したEPGデータの符号化データを復号し、復号したEPGデータをEPGデータメモリ727に供給する。
以上のようなハードディスクレコーダ700は、ビデオデコーダ725、デコーダ752、およびレコーダ制御部726に内蔵されるデコーダとして復号装置100を用いる。したがって、ビデオデコーダ725、デコーダ752、およびレコーダ制御部726に内蔵されるデコーダは、復号装置100の場合と同様に、インター予測時に分数精度の動き補償処理を行う場合において、符号化効率を向上させるように符号化された画像を復号することができる。
また、ハードディスクレコーダ700は、エンコーダ751として符号化装置10を用いる。したがって、エンコーダ751は、符号化装置10の場合と同様に、インター予測時に分数精度の動き補償処理を行う場合において、符号化効率を向上させることができる。
なお、以上においては、ビデオデータやオーディオデータをハードディスクに記録するハードディスクレコーダ700について説明したが、もちろん、記録媒体はどのようなものであってもよい。例えばフラッシュメモリ、光ディスク、またはビデオテープ等、ハードディスク以外の記録媒体を適用するレコーダであっても、上述したハードディスクレコーダ700の場合と同様に、符号化装置10および復号装置100を適用することができる。
<カメラの構成例>
図13は、本技術を適用した符号化装置および復号装置を用いるカメラの主な構成例を示すブロック図である。
図13は、本技術を適用した符号化装置および復号装置を用いるカメラの主な構成例を示すブロック図である。
図13に示されるカメラ800は、被写体を撮像し、被写体の画像をLCD816に表示させたり、それを画像データとして、記録メディア833に記録したりする。
レンズブロック811は、光(すなわち、被写体の映像)を、CCD/CMOS812に入射させる。CCD/CMOS812は、CCDまたはCMOSを用いたイメージセンサであり、受光した光の強度を電気信号に変換し、カメラ信号処理部813に供給する。
カメラ信号処理部813は、CCD/CMOS812から供給された電気信号を、Y,Cr,Cbの色差信号に変換し、画像信号処理部814に供給する。画像信号処理部814は、コントローラ821の制御の下、カメラ信号処理部813から供給された画像信号に対して所定の画像処理を施したり、その画像信号をエンコーダ841で例えばMPEG方式により符号化したりする。画像信号処理部814は、画像信号を符号化して生成した符号化データを、デコーダ815に供給する。さらに、画像信号処理部814は、オンスクリーンディスプレイ(OSD)820において生成された表示用データを取得し、それをデコーダ815に供給する。
以上の処理において、カメラ信号処理部813は、バス817を介して接続されるDRAM(Dynamic Random Access Memory)818を適宜利用し、必要に応じて画像データや、その画像データが符号化された符号化データ等をそのDRAM818に保持させる。
デコーダ815は、画像信号処理部814から供給された符号化データを復号し、得られた画像データ(復号画像データ)をLCD816に供給する。また、デコーダ815は、画像信号処理部814から供給された表示用データをLCD816に供給する。LCD816は、デコーダ815から供給された復号画像データの画像と表示用データの画像を適宜合成し、その合成画像を表示する。
オンスクリーンディスプレイ820は、コントローラ821の制御の下、記号、文字、または図形からなるメニュー画面やアイコンなどの表示用データを、バス817を介して画像信号処理部814に出力する。
コントローラ821は、ユーザが操作部822を用いて指令した内容を示す信号に基づいて、各種処理を実行するとともに、バス817を介して、画像信号処理部814、DRAM818、外部インタフェース819、オンスクリーンディスプレイ820、およびメディアドライブ823等を制御する。FLASH ROM824には、コントローラ821が各種処理を実行する上で必要なプログラムやデータ等が格納される。
例えば、コントローラ821は、画像信号処理部814やデコーダ815に代わって、DRAM818に記憶されている画像データを符号化したり、DRAM818に記憶されている符号化データを復号したりすることができる。このとき、コントローラ821は、画像信号処理部814やデコーダ815の符号化・復号方式と同様の方式によって符号化・復号処理を行うようにしてもよいし、画像信号処理部814やデコーダ815が対応していない方式により符号化・復号処理を行うようにしてもよい。
また、例えば、操作部822から画像印刷の開始が指示された場合、コントローラ821は、DRAM818から画像データを読み出し、それを、バス817を介して外部インタフェース819に接続されるプリンタ834に供給して印刷させる。
さらに、例えば、操作部822から画像記録が指示された場合、コントローラ821は、DRAM818から符号化データを読み出し、それを、バス817を介してメディアドライブ823に装着される記録メディア833に供給して記憶させる。
記録メディア833は、例えば、磁気ディスク、光磁気ディスク、光ディスク、または半導体メモリ等の、読み書き可能な任意のリムーバブルメディアである。記録メディア833は、もちろん、リムーバブルメディアとしての種類も任意であり、テープデバイスであってもよいし、ディスクであってもよいし、メモリカードであってもよい。もちろん、非接触ICカード等であっても良い。
また、メディアドライブ823と記録メディア833を一体化し、例えば、内蔵型ハードディスクドライブやSSD(Solid State Drive)等のように、非可搬性の記憶媒体により構成されるようにしてもよい。
外部インタフェース819は、例えば、USB入出力端子などで構成され、画像の印刷を行う場合に、プリンタ834と接続される。また、外部インタフェース819には、必要に応じてドライブ831が接続され、磁気ディスク、光ディスク、あるいは光磁気ディスクなどのリムーバブルメディア832が適宜装着され、それらから読み出されたコンピュータプログラムが、必要に応じて、FLASH ROM824にインストールされる。
さらに、外部インタフェース819は、LANやインターネット等の所定のネットワークに接続されるネットワークインタフェースを有する。コントローラ821は、例えば、操作部822からの指示に従って、DRAM818から符号化データを読み出し、それを外部インタフェース819から、ネットワークを介して接続される他の装置に供給させることができる。また、コントローラ821は、ネットワークを介して他の装置から供給される符号化データや画像データを、外部インタフェース819を介して取得し、それをDRAM818に保持させたり、画像信号処理部814に供給したりすることができる。
以上のようなカメラ800は、デコーダ815として復号装置100用いる。したがって、デコーダ815は、復号装置100の場合と同様に、インター予測時に分数精度の動き補償処理を行う場合において、符号化効率を向上させるように符号化された画像を復号することができる。
また、カメラ800は、エンコーダ841として符号化装置10を用いる。したがって、エンコーダ841は、符号化装置10の場合と同様に、インター予測の精度の悪化を抑制しつつ、インター予測時に分数精度の動き補償処理を行う場合において、符号化効率を向上させることができる。
なお、コントローラ821が行う復号処理に復号装置100の復号方法を適用するようにしてもよい。同様に、コントローラ821が行う符号化処理に符号化装置10の符号化方法を適用するようにしてもよい。
また、カメラ800が撮像する画像データは動画像であってもよいし、静止画像であってもよい。
もちろん、符号化装置10および復号装置100は、上述した装置以外の装置やシステムにも適用可能である。
本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
なお、本技術は、以下のような構成もとることができる。
(1)
符号化された画像、その画像のインター予測における動きベクトルと、その画像に近い画像の動きベクトルである予測ベクトルとの差分、および前記インター予測の予測方向が一方向である場合の前記動きベクトルの精度より、前記予測方向が双方向である場合の前記動きベクトルの精度の方が低いことを表す検出精度情報を受け取る受け取り部と、
前記受け取り部により受け取られた前記検出精度情報に応じて、前記動きベクトルの精度が前記所定の精度より低い精度であり、前記予測ベクトルの精度が前記所定の精度である場合、前記予測ベクトルに対して丸め処理を行うことにより前記所定の精度より低い精度の前記予測ベクトルを生成する予測ベクトル変換部と、
前記予測ベクトル変換部により生成された前記所定の精度より低い精度の前記予測ベクトルと、前記受け取り部により受け取られた前記差分とを加算することにより、前記動きベクトルを生成する動きベクトル生成部と、
前記動きベクトル生成部により生成された前記動きベクトルを用いて動き補償処理を行うことにより、前記画像を復号する復号部と
を備える復号装置。
(2)
前記動きベクトルは、前記インター予測の予測方向が一方向であり、かつ、前記インター予測における予測ブロックのサイズが大きい場合、前記所定の精度で検出され、前記インター予測の予測方向が双方向であるか、または、前記予測ブロックのサイズが小さい場合、前記所定の精度より低い精度で検出される
前記(1)に記載の復号装置。
(3)
復号装置が、
符号化された画像、その画像のインター予測における動きベクトルと、その画像に近い画像の動きベクトルである予測ベクトルとの差分、および前記インター予測の予測方向が一方向である場合の前記動きベクトルの精度より、前記予測方向が双方向である場合の前記動きベクトルの精度の方が低いことを表す検出精度情報を受け取る受け取りステップと、
前記受け取りステップの処理により受け取られた前記検出精度情報に応じて、前記動きベクトルの精度が前記所定の精度より低い精度であり、前記予測ベクトルの精度が前記所定の精度である場合、前記予測ベクトルに対して丸め処理を行うことにより前記所定の精度より低い精度の前記予測ベクトルを生成する予測ベクトル変換ステップと、
前記予測ベクトル変換ステップの処理により生成された前記所定の精度より低い精度の前記予測ベクトルと、前記受け取りステップの処理により受け取られた前記差分とを加算することにより、前記動きベクトルを生成する動きベクトル生成ステップと、
前記動きベクトル生成ステップの処理により生成された前記動きベクトルを用いて動き補償処理を行うことにより、前記画像を復号する復号ステップと
を含む復号方法。
(4)
符号化対象の画像のインター予測の予測方向が一方向である場合、前記符号化対象の画像と、前記符号化対象の画像に対する前記インター予測における参照画像を用いて、所定の精度で、前記符号化対象の画像に対する前記参照画像の前記動きベクトルを検出する高精度動き検出部と、
前記予測方向が双方向である場合、前記符号化対象の画像と前記参照画像を用いて、前記所定の精度より低い精度で、前記動きベクトルを検出する低精度動き検出部と、
前記高精度動き検出部または前記低精度動き検出部により検出された前記動きベクトルを用いて動き補償処理を行うことにより、前記符号化対象の画像を符号化する符号化部と、
前記符号化部により符号化された前記符号化対象の画像と前記動きベクトルを伝送する伝送部と
を備える符号化装置。
(5)
前記高精度動き検出部は、前記インター予測の予測方向が一方向であり、かつ、前記インター予測における予測ブロックのサイズが大きい場合、前記所定の精度で前記動きベクトルを検出し、
前記低精度動き検出部は、前記インター予測の予測方向が双方向であるか、または、前記予測ブロックのサイズが小さい場合、前記所定の精度より低い精度で前記動きベクトルを検出する
前記(4)に記載の符号化装置。
(6)
前記伝送部は、前記インター予測の予測方向が一方向である場合の前記動きベクトルの精度より、前記インター予測の予測方向が双方向である場合の前記動きベクトルの精度の方が低いことを表す検出精度情報を伝送する
前記(4)に記載の符号化装置。
(7)
前記伝送部は、前記高精度動き検出部または前記低精度動き検出部により検出された前記動きベクトルと、前記符号化対象の画像に近い画像の動きベクトルである予測ベクトルとの差分を伝送する
前記(4)乃至(6)のいずれかに記載の符号化装置。
(8)
前記動きベクトルが前記所定の精度より低い精度で検出され、前記予測ベクトルが前記所定の精度で検出された場合、前記予測ベクトルに対して丸め処理を行うことにより前記所定の精度より低い精度の前記予測ベクトルを生成する予測ベクトル変換部
をさらに備え、
前記伝送部は、前記動きベクトルと、前記所定の精度より低い精度の前記予測ベクトルとの差分を伝送する
前記(7)に記載の符号化装置。
(9)
符号化装置が、
符号化対象の画像のインター予測の予測方向が一方向である場合、前記符号化対象の画像と、前記符号化対象の画像に対する前記インター予測における参照画像を用いて、所定の精度で、前記符号化対象の画像に対する前記参照画像の前記動きベクトルを検出する高精度動き検出ステップと、
前記予測方向が双方向である場合、前記符号化対象の画像と前記参照画像を用いて、前記所定の精度より低い精度で、前記動きベクトルを検出する低精度動き検出ステップと、
前記高精度動き検出ステップまたは前記低精度動き検出ステップの処理により検出された前記動きベクトルを用いて動き補償処理を行うことにより、前記符号化対象の画像を符号化する符号化ステップと、
前記符号化ステップの処理により符号化された前記符号化対象の画像と前記動きベクトルを伝送する伝送ステップと
を含む符号化方法。
符号化された画像、その画像のインター予測における動きベクトルと、その画像に近い画像の動きベクトルである予測ベクトルとの差分、および前記インター予測の予測方向が一方向である場合の前記動きベクトルの精度より、前記予測方向が双方向である場合の前記動きベクトルの精度の方が低いことを表す検出精度情報を受け取る受け取り部と、
前記受け取り部により受け取られた前記検出精度情報に応じて、前記動きベクトルの精度が前記所定の精度より低い精度であり、前記予測ベクトルの精度が前記所定の精度である場合、前記予測ベクトルに対して丸め処理を行うことにより前記所定の精度より低い精度の前記予測ベクトルを生成する予測ベクトル変換部と、
前記予測ベクトル変換部により生成された前記所定の精度より低い精度の前記予測ベクトルと、前記受け取り部により受け取られた前記差分とを加算することにより、前記動きベクトルを生成する動きベクトル生成部と、
前記動きベクトル生成部により生成された前記動きベクトルを用いて動き補償処理を行うことにより、前記画像を復号する復号部と
を備える復号装置。
(2)
前記動きベクトルは、前記インター予測の予測方向が一方向であり、かつ、前記インター予測における予測ブロックのサイズが大きい場合、前記所定の精度で検出され、前記インター予測の予測方向が双方向であるか、または、前記予測ブロックのサイズが小さい場合、前記所定の精度より低い精度で検出される
前記(1)に記載の復号装置。
(3)
復号装置が、
符号化された画像、その画像のインター予測における動きベクトルと、その画像に近い画像の動きベクトルである予測ベクトルとの差分、および前記インター予測の予測方向が一方向である場合の前記動きベクトルの精度より、前記予測方向が双方向である場合の前記動きベクトルの精度の方が低いことを表す検出精度情報を受け取る受け取りステップと、
前記受け取りステップの処理により受け取られた前記検出精度情報に応じて、前記動きベクトルの精度が前記所定の精度より低い精度であり、前記予測ベクトルの精度が前記所定の精度である場合、前記予測ベクトルに対して丸め処理を行うことにより前記所定の精度より低い精度の前記予測ベクトルを生成する予測ベクトル変換ステップと、
前記予測ベクトル変換ステップの処理により生成された前記所定の精度より低い精度の前記予測ベクトルと、前記受け取りステップの処理により受け取られた前記差分とを加算することにより、前記動きベクトルを生成する動きベクトル生成ステップと、
前記動きベクトル生成ステップの処理により生成された前記動きベクトルを用いて動き補償処理を行うことにより、前記画像を復号する復号ステップと
を含む復号方法。
(4)
符号化対象の画像のインター予測の予測方向が一方向である場合、前記符号化対象の画像と、前記符号化対象の画像に対する前記インター予測における参照画像を用いて、所定の精度で、前記符号化対象の画像に対する前記参照画像の前記動きベクトルを検出する高精度動き検出部と、
前記予測方向が双方向である場合、前記符号化対象の画像と前記参照画像を用いて、前記所定の精度より低い精度で、前記動きベクトルを検出する低精度動き検出部と、
前記高精度動き検出部または前記低精度動き検出部により検出された前記動きベクトルを用いて動き補償処理を行うことにより、前記符号化対象の画像を符号化する符号化部と、
前記符号化部により符号化された前記符号化対象の画像と前記動きベクトルを伝送する伝送部と
を備える符号化装置。
(5)
前記高精度動き検出部は、前記インター予測の予測方向が一方向であり、かつ、前記インター予測における予測ブロックのサイズが大きい場合、前記所定の精度で前記動きベクトルを検出し、
前記低精度動き検出部は、前記インター予測の予測方向が双方向であるか、または、前記予測ブロックのサイズが小さい場合、前記所定の精度より低い精度で前記動きベクトルを検出する
前記(4)に記載の符号化装置。
(6)
前記伝送部は、前記インター予測の予測方向が一方向である場合の前記動きベクトルの精度より、前記インター予測の予測方向が双方向である場合の前記動きベクトルの精度の方が低いことを表す検出精度情報を伝送する
前記(4)に記載の符号化装置。
(7)
前記伝送部は、前記高精度動き検出部または前記低精度動き検出部により検出された前記動きベクトルと、前記符号化対象の画像に近い画像の動きベクトルである予測ベクトルとの差分を伝送する
前記(4)乃至(6)のいずれかに記載の符号化装置。
(8)
前記動きベクトルが前記所定の精度より低い精度で検出され、前記予測ベクトルが前記所定の精度で検出された場合、前記予測ベクトルに対して丸め処理を行うことにより前記所定の精度より低い精度の前記予測ベクトルを生成する予測ベクトル変換部
をさらに備え、
前記伝送部は、前記動きベクトルと、前記所定の精度より低い精度の前記予測ベクトルとの差分を伝送する
前記(7)に記載の符号化装置。
(9)
符号化装置が、
符号化対象の画像のインター予測の予測方向が一方向である場合、前記符号化対象の画像と、前記符号化対象の画像に対する前記インター予測における参照画像を用いて、所定の精度で、前記符号化対象の画像に対する前記参照画像の前記動きベクトルを検出する高精度動き検出ステップと、
前記予測方向が双方向である場合、前記符号化対象の画像と前記参照画像を用いて、前記所定の精度より低い精度で、前記動きベクトルを検出する低精度動き検出ステップと、
前記高精度動き検出ステップまたは前記低精度動き検出ステップの処理により検出された前記動きベクトルを用いて動き補償処理を行うことにより、前記符号化対象の画像を符号化する符号化ステップと、
前記符号化ステップの処理により符号化された前記符号化対象の画像と前記動きベクトルを伝送する伝送ステップと
を含む符号化方法。
10 符号化装置, 13 演算部, 17 蓄積バッファ, 24 インター予測部, 41 L0動き検出部, 42 L1動き検出部, 43 双方向動き検出部, 100 復号装置, 101 蓄積バッファ, 105 加算部, 111 予測ベクトル変換部, 112 動きベクトル生成部
Claims (9)
- 符号化された画像、その画像のインター予測における動きベクトルと、その画像に近い画像の動きベクトルである予測ベクトルとの差分、および前記インター予測の予測方向が一方向である場合の前記動きベクトルの精度より、前記予測方向が双方向である場合の前記動きベクトルの精度の方が低いことを表す検出精度情報を受け取る受け取り部と、
前記受け取り部により受け取られた前記検出精度情報に応じて、前記動きベクトルの精度が前記所定の精度より低い精度であり、前記予測ベクトルの精度が前記所定の精度である場合、前記予測ベクトルに対して丸め処理を行うことにより前記所定の精度より低い精度の前記予測ベクトルを生成する予測ベクトル変換部と、
前記予測ベクトル変換部により生成された前記所定の精度より低い精度の前記予測ベクトルと、前記受け取り部により受け取られた前記差分とを加算することにより、前記動きベクトルを生成する動きベクトル生成部と、
前記動きベクトル生成部により生成された前記動きベクトルを用いて動き補償処理を行うことにより、前記画像を復号する復号部と
を備える復号装置。 - 前記動きベクトルは、前記インター予測の予測方向が一方向であり、かつ、前記インター予測における予測ブロックのサイズが大きい場合、前記所定の精度で検出され、前記インター予測の予測方向が双方向であるか、または、前記予測ブロックのサイズが小さい場合、前記所定の精度より低い精度で検出される
請求項1に記載の復号装置。 - 復号装置が、
符号化された画像、その画像のインター予測における動きベクトルと、その画像に近い画像の動きベクトルである予測ベクトルとの差分、および前記インター予測の予測方向が一方向である場合の前記動きベクトルの精度より、前記予測方向が双方向である場合の前記動きベクトルの精度の方が低いことを表す検出精度情報を受け取る受け取りステップと、
前記受け取りステップの処理により受け取られた前記検出精度情報に応じて、前記動きベクトルの精度が前記所定の精度より低い精度であり、前記予測ベクトルの精度が前記所定の精度である場合、前記予測ベクトルに対して丸め処理を行うことにより前記所定の精度より低い精度の前記予測ベクトルを生成する予測ベクトル変換ステップと、
前記予測ベクトル変換ステップの処理により生成された前記所定の精度より低い精度の前記予測ベクトルと、前記受け取りステップの処理により受け取られた前記差分とを加算することにより、前記動きベクトルを生成する動きベクトル生成ステップと、
前記動きベクトル生成ステップの処理により生成された前記動きベクトルを用いて動き補償処理を行うことにより、前記画像を復号する復号ステップと
を含む復号方法。 - 符号化対象の画像のインター予測の予測方向が一方向である場合、前記符号化対象の画像と、前記符号化対象の画像に対する前記インター予測における参照画像を用いて、所定の精度で、前記符号化対象の画像に対する前記参照画像の前記動きベクトルを検出する高精度動き検出部と、
前記予測方向が双方向である場合、前記符号化対象の画像と前記参照画像を用いて、前記所定の精度より低い精度で、前記動きベクトルを検出する低精度動き検出部と、
前記高精度動き検出部または前記低精度動き検出部により検出された前記動きベクトルを用いて動き補償処理を行うことにより、前記符号化対象の画像を符号化する符号化部と、
前記符号化部により符号化された前記符号化対象の画像と前記動きベクトルを伝送する伝送部と
を備える符号化装置。 - 前記高精度動き検出部は、前記インター予測の予測方向が一方向であり、かつ、前記インター予測における予測ブロックのサイズが大きい場合、前記所定の精度で前記動きベクトルを検出し、
前記低精度動き検出部は、前記インター予測の予測方向が双方向であるか、または、前記予測ブロックのサイズが小さい場合、前記所定の精度より低い精度で前記動きベクトルを検出する
請求項4に記載の符号化装置。 - 前記伝送部は、前記インター予測の予測方向が一方向である場合の前記動きベクトルの精度より、前記インター予測の予測方向が双方向である場合の前記動きベクトルの精度の方が低いことを表す検出精度情報を伝送する
請求項4に記載の符号化装置。 - 前記伝送部は、前記高精度動き検出部または前記低精度動き検出部により検出された前記動きベクトルと、前記符号化対象の画像に近い画像の動きベクトルである予測ベクトルとの差分を伝送する
請求項4に記載の符号化装置。 - 前記動きベクトルが前記所定の精度より低い精度で検出され、前記予測ベクトルが前記所定の精度で検出された場合、前記予測ベクトルに対して丸め処理を行うことにより前記所定の精度より低い精度の前記予測ベクトルを生成する予測ベクトル変換部
をさらに備え、
前記伝送部は、前記動きベクトルと、前記所定の精度より低い精度の前記予測ベクトルとの差分を伝送する
請求項7に記載の符号化装置。 - 符号化装置が、
符号化対象の画像のインター予測の予測方向が一方向である場合、前記符号化対象の画像と、前記符号化対象の画像に対する前記インター予測における参照画像を用いて、所定の精度で、前記符号化対象の画像に対する前記参照画像の前記動きベクトルを検出する高精度動き検出ステップと、
前記予測方向が双方向である場合、前記符号化対象の画像と前記参照画像を用いて、前記所定の精度より低い精度で、前記動きベクトルを検出する低精度動き検出ステップと、
前記高精度動き検出ステップまたは前記低精度動き検出ステップの処理により検出された前記動きベクトルを用いて動き補償処理を行うことにより、前記符号化対象の画像を符号化する符号化ステップと、
前記符号化ステップの処理により符号化された前記符号化対象の画像と前記動きベクトルを伝送する伝送ステップと
を含む符号化方法。
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011242150A JP2013098899A (ja) | 2011-11-04 | 2011-11-04 | 符号化装置および符号化方法、並びに、復号装置および復号方法 |
PCT/JP2012/077583 WO2013065572A1 (ja) | 2011-11-04 | 2012-10-25 | 符号化装置および方法、並びに、復号装置および方法 |
US14/346,833 US20140254687A1 (en) | 2011-11-04 | 2012-10-25 | Encoding device and encoding method, and decoding device and decoding method |
CN201280052477.3A CN103907354A (zh) | 2011-11-04 | 2012-10-25 | 编码设备和编码方法,及解码设备和解码方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011242150A JP2013098899A (ja) | 2011-11-04 | 2011-11-04 | 符号化装置および符号化方法、並びに、復号装置および復号方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2013098899A true JP2013098899A (ja) | 2013-05-20 |
Family
ID=48191921
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2011242150A Pending JP2013098899A (ja) | 2011-11-04 | 2011-11-04 | 符号化装置および符号化方法、並びに、復号装置および復号方法 |
Country Status (4)
Country | Link |
---|---|
US (1) | US20140254687A1 (ja) |
JP (1) | JP2013098899A (ja) |
CN (1) | CN103907354A (ja) |
WO (1) | WO2013065572A1 (ja) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE102014208424A1 (de) | 2013-05-08 | 2014-11-13 | Mitutoyo Corporation | Beleuchtungseinstellverfahren, -Vorrichtung und computerlesbares Medium für ein Helligkeitswerkzeug einer Bildmessvorrichtung |
JP2018509087A (ja) * | 2015-02-16 | 2018-03-29 | 華為技術有限公司Huawei Technologies Co.,Ltd. | ビデオ画像符号化方法、ビデオ画像復号方法、符号化デバイス、および復号デバイス |
JP2020522169A (ja) * | 2017-05-31 | 2020-07-27 | インターデジタル ヴイシー ホールディングス, インコーポレイテッド | 候補リスト枝刈りの方法及び装置 |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
GB2524476B (en) * | 2014-03-14 | 2016-04-27 | Canon Kk | Method, device and computer program for optimizing transmission of motion vector related information when transmitting a video stream |
US10812822B2 (en) * | 2015-10-02 | 2020-10-20 | Qualcomm Incorporated | Intra block copy merge mode and padding of unavailable IBC reference region |
EP3451664A1 (en) * | 2017-09-01 | 2019-03-06 | Thomson Licensing | Motion compensation at a finer precision than motion vector differential |
US11095915B2 (en) * | 2019-01-31 | 2021-08-17 | Qualcomm Incorporated | Shared motion vector predictor list for intra block copy mode in video coding |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004048522A (ja) * | 2002-07-15 | 2004-02-12 | Hitachi Ltd | 動画像の符号化方法及び復号化方法 |
JP4369318B2 (ja) * | 2003-07-24 | 2009-11-18 | パナソニック株式会社 | 符号化モード決定装置、画像符号化装置、符号化モード決定方法、および符号化モード決定プログラム |
EP1578137A2 (en) * | 2004-03-17 | 2005-09-21 | Matsushita Electric Industrial Co., Ltd. | Moving picture coding apparatus with multistep interpolation process |
US8724697B2 (en) * | 2008-09-26 | 2014-05-13 | Qualcomm Incorporated | Locating motion vectors for video data units |
KR20130099242A (ko) * | 2011-01-07 | 2013-09-05 | 노키아 코포레이션 | 비디오 코딩의 움직임 예측 |
-
2011
- 2011-11-04 JP JP2011242150A patent/JP2013098899A/ja active Pending
-
2012
- 2012-10-25 US US14/346,833 patent/US20140254687A1/en not_active Abandoned
- 2012-10-25 CN CN201280052477.3A patent/CN103907354A/zh active Pending
- 2012-10-25 WO PCT/JP2012/077583 patent/WO2013065572A1/ja active Application Filing
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE102014208424A1 (de) | 2013-05-08 | 2014-11-13 | Mitutoyo Corporation | Beleuchtungseinstellverfahren, -Vorrichtung und computerlesbares Medium für ein Helligkeitswerkzeug einer Bildmessvorrichtung |
JP2018509087A (ja) * | 2015-02-16 | 2018-03-29 | 華為技術有限公司Huawei Technologies Co.,Ltd. | ビデオ画像符号化方法、ビデオ画像復号方法、符号化デバイス、および復号デバイス |
US10349079B2 (en) | 2015-02-16 | 2019-07-09 | Huawei Technologies Co., Ltd. | Video image encoding method, video image decoding method, encoding device, and decoding device |
JP2020522169A (ja) * | 2017-05-31 | 2020-07-27 | インターデジタル ヴイシー ホールディングス, インコーポレイテッド | 候補リスト枝刈りの方法及び装置 |
US11553175B2 (en) | 2017-05-31 | 2023-01-10 | Interdigital Vc Holdings, Inc. | Method and apparatus for candidate list pruning |
Also Published As
Publication number | Publication date |
---|---|
WO2013065572A1 (ja) | 2013-05-10 |
US20140254687A1 (en) | 2014-09-11 |
CN103907354A (zh) | 2014-07-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5234368B2 (ja) | 画像処理装置および方法 | |
WO2010101064A1 (ja) | 画像処理装置および方法 | |
WO2010035733A1 (ja) | 画像処理装置および方法 | |
WO2012096229A1 (ja) | 符号化装置および符号化方法、並びに復号装置および復号方法 | |
WO2011024685A1 (ja) | 画像処理装置および方法 | |
WO2010095559A1 (ja) | 画像処理装置および方法 | |
WO2011086964A1 (ja) | 画像処理装置および方法、並びにプログラム | |
WO2010035730A1 (ja) | 画像処理装置および方法 | |
WO2010035734A1 (ja) | 画像処理装置および方法 | |
JPWO2010095560A1 (ja) | 画像処理装置および方法 | |
WO2011089973A1 (ja) | 画像処理装置および方法 | |
WO2013065572A1 (ja) | 符号化装置および方法、並びに、復号装置および方法 | |
WO2011152315A1 (ja) | 画像処理装置および方法 | |
US20110229049A1 (en) | Image processing apparatus, image processing method, and program | |
JPWO2010035732A1 (ja) | 画像処理装置および方法 | |
JPWO2010064675A1 (ja) | 画像処理装置および画像処理方法、並びにプログラム | |
US20120288004A1 (en) | Image processing apparatus and image processing method | |
JP2011135184A (ja) | 画像処理装置および方法、並びにプログラム | |
WO2010038858A1 (ja) | 画像処理装置および方法 | |
WO2012077532A1 (ja) | 画像処理装置、画像処理方法、およびプログラム | |
JP2011244210A (ja) | 画像処理装置および方法 | |
JPWO2010035735A1 (ja) | 画像処理装置および方法 | |
JP2012019447A (ja) | 画像処理装置および方法 | |
WO2011125625A1 (ja) | 画像処理装置および方法 | |
WO2013065571A1 (ja) | 画像処理装置および画像処理方法 |