JP4949028B2 - 復号化装置、符号化装置、復号化方法、符号化方法 - Google Patents

復号化装置、符号化装置、復号化方法、符号化方法 Download PDF

Info

Publication number
JP4949028B2
JP4949028B2 JP2006532683A JP2006532683A JP4949028B2 JP 4949028 B2 JP4949028 B2 JP 4949028B2 JP 2006532683 A JP2006532683 A JP 2006532683A JP 2006532683 A JP2006532683 A JP 2006532683A JP 4949028 B2 JP4949028 B2 JP 4949028B2
Authority
JP
Japan
Prior art keywords
video data
image
data
motion vector
additional information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2006532683A
Other languages
English (en)
Other versions
JPWO2006025339A1 (ja
Inventor
寿郎 笹井
敏志 近藤
ヴェディ トーマス
ウィットマン ステファン
シュロッカーマン マーチン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Corp
Panasonic Holdings Corp
Original Assignee
Panasonic Corp
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Corp, Matsushita Electric Industrial Co Ltd filed Critical Panasonic Corp
Publication of JPWO2006025339A1 publication Critical patent/JPWO2006025339A1/ja
Application granted granted Critical
Publication of JP4949028B2 publication Critical patent/JP4949028B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H04N19/139—Analysis of motion vectors, e.g. their magnitude, direction, variance or reliability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/517—Processing of motion vectors by encoding
    • H04N19/52—Processing of motion vectors by encoding by predictive encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0135—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes
    • H04N7/014—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes involving the use of motion vectors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0125—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level one of the standards being a high definition standard

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Television Systems (AREA)

Description

本発明は、解像度の変換を伴うビデオデータの符号化装置および復号化装置に関する。
特許文献１には、解像度の変換を伴う復号化装置として、インターレース画像をプログレッシブ画像に変換する技術が開示されている。この従来技術では、インターレース画像の符号化ビットストリームに含まれる動きベクトルを利用して、プログレッシブ画像を生成している。
非特許文献１では、インターレース画像からプログレッシブ画像の画素をフィルタ等により推定し、その画素と類似の画像領域を動き予測により高解像度化を実現している。
特許文献２では、ベースとなるベース動画と、ベース動画を拡張した拡張動画とを符号化するスケーラブル符号化において、ベース動画の画素値を符号化すると共に、拡張動画とベース動画の画素値の差分を符号化する技術を開示している。
特開平１０−１２６７４９号公報号公報 「動き補償を用いたインタレース走査画像の順次走査変換法の検討」（栗田泰一郎，杉浦幸雄，信学論(D-II)，vol.J78-D-II，no.1，pp.40--49，Jan. 1995） 国際公開２００４／７３３１２Ａ１号パンフレット
しかしながら、非特許文献１によれば、高解像度推定のためのフィルタの精度が悪い場合には、誤った動きベクトルを用いてしまう場合があり、高解像度画像の精度が悪いという問題がある。
特許文献１によれば、ビットストリームに含まれる動きベクトルが必ずしも画像の動きと等しくないため、動きベクトルが誤っている場合があり、高解像度画像の精度が悪いという問題がある。
さらに、非特許文献１によれば復号装置において動きベクトルを検出するので、ビットストリームに含まれる動きベクトルよりも、画像の動きに近づけることができる反面、復号装置における処理負荷が著しく増加するという問題がある。
また、特許文献２によれば、ベース動画の画素値だけでなく、拡張動画の差分画素値を符号化することから低ビットレート化が困難であるという問題がある。
本発明の目的は、低解像度画像から高解像度画像の生成を、低ビットレート、低処理量かつ高画質に実現する復号化装置および符号化装置を提供することにある。
上記目的を達成するために本発明の一形態である復号化装置は、第１ビデオデータにおける画像の動きを示す動きベクトルを含む付加情報と、第１ビデオデータと同内容であって第１ビデオデータよりも解像度の低い第２ビデオデータの符号化データであるストリームデータとを取得する取得手段と、前記ストリームデータを第２ビデオデータの画像に復号化する復号化手段と、復号化された第２ビデオデータの画像に対して、前記付加情報に含まれる前記第１ビデオデータにおける画像の動きを示す動きベクトルを用いて補間することにより第１ビデオデータと同じ解像度の第３ビデオデータに変換する変換手段とを備える。
上記目的を達成するために本発明の一形態である復号化装置は、第１ビデオデータにおける画像の動きを示す動きベクトルを含む付加情報と、第１ビデオデータと同内容であって第１ビデオデータよりも解像度の低い第２ビデオデータの符号化データであるストリームデータとを取得する取得手段と、前記ストリームデータを第２ビデオデータの画像に復号化する復号化手段と、復号化された第２ビデオデータの画像に対して、付加情報を用いて補間することにより第１ビデオデータと同じ解像度の第３ビデオデータに変換する変換手段とを備える。
この構成によれば、復号化装置は、画像の動きを示す付加情報をストリームデータと共に得られるので、高解像度画像生成のために画像の動きを検出する必要がなく、かつ復号時にリアルタイムに動きを検出する必要もないため、高解像度化のための処理量を低減することができる。しかも、付加情報は第１ビデオデータの画素値を示す符号を含まないので、低ビットレート化することができる。
ここで、前記変換手段は、前記付加情報から動きベクトルを抽出する抽出手段と、抽出された動きベクトルを用いて、第２ビデオデータの画像に画素を補間する補間手段とを備えるようにしてもよい。
この構成によれば、第２ビデオデータの画像に対して、動きベクトルに従って画素を補間することにより高解像度画像を得ることができるので、処理量を少なくすることができる。
ここで、前記変換手段は、前記付加情報から動きベクトルを抽出する抽出手段と、復号化手段によって復号化された第２ビデオデータの画像に対して、当該画像の画素を用いて画素を補間する第１補間手段と、復号化手段によって復号化された第２ビデオデータの画像に対して、抽出された動きベクトルを用いて第２ビデオデータの画像に画素を補間する第２補間手段と、第１補間手段および第２補間手段を選択的に用いて、第３ビデオデータの画像を生成する生成手段とを備えるようにしてもよい。
この構成によれば、第１補間手段による画像内の補間と、第２補間手段による画像間の補間とを選択的に用いることにより、第３ビデオデータの画像を効率よく生成することができる。
ここで、前記第２補間手段は、第３ビデオデータの変換済の画像と、変換対象の第３ビデオデータの画像と保持するためのメモリ手段と、変換対象の第３ビデオデータの画像における補間すべき画素位置を特定する第１特定手段と、変換済の第３ビデオデータの画像において、第１特定手段に特定された画素位置に対応する画素を動きベクトルに従って特定する第２特定手段と、第２特定手段によって特定された画素の値を読み出す読み出し手段と、読み出し手段によって読み出された画素の値に従って、第１特定手段によって特定された画素位置に補間画素の値を書き込む書き込み手段とを備えるようにしてもよい。
この構成によれば、変換対象の第３ビデオデータの画像における補間すべき画素を、動きベクトルに従って第３ビデオデータの変換済の画像から得るので、少ない処理量で効率よく画像間で補間することができる。
ここで、前記付加情報は、第１ビデオデータを構成するブロック単位に動きベクトルを含み、前記第第１特定手段は、ブロック内の補間すべき画素位置を特定し、前記第第２特定手段は、ブロック単位の動きベクトルに従って、第１特定手段に特定された画素位置に対応する画素を特定するようにしてよもい。
この構成によれば、変換対象の第３ビデオデータのブロックにおける補間すべき画素を、動きベクトルに従って第３ビデオデータの変換済の画像から得るという、画像間の補間を行うことができる。
ここで、前記付加情報は、第１ビデオデータを構成するブロック単位に２つの動きベクトルを含み、前記第２特定手段と、変換済の第３ビデオデータの２つの画像において、第１特定手段に特定された画素位置に対応する２つの画素を２つの動きベクトルに従って特定し、前記読み出し手段は、第２特定手段によって特定された２つの画素の値を読み出し、前記書き込み手段は、読み出し手段によって読み出された２つの画素の値に基づいて、前記補間画素の値を算出するようにしてもよい。
この構成によれば、変換済の第３ビデオデータの２つの画像を用いて、画像間の補間を行うので、第３ビデオデータをより高画質にすることができる。
ここで、前記生成手段は、第２ビデオデータの画像が画像内符号化されている場合には、当該画像を第１補間手段を用いて、第３ビデオデータの画像を生成し、第２ビデオデータの画像が画像間予測符号化されている場合には、当該画像を第２補間手段を用いて、第３ビデオデータの画像を生成するようにしてもよい。
この構成によれば、第２ビデオデータの画像の符号化方式と連動して第３ビデオデータを生成する補間方法が定まるので、付加情報中に補間方法を示す情報がなくてもよく、低ビットレート化に適している。
また、本発明の符号化方法は、第１ビデオデータを、第１ビデオデータのよりも低い解像度の第２ビデオデータに変換する変換手段と、第２ビデオデータをストリームデータに符号化する符号化手段と、第１ビデオデータの動きを示し、第２ビデオデータの画像に画素を補間するための付加情報を生成する生成手段と、第１ビデオデータの画素値を示す符号を出力することなく、前記ストリームデータと前記付加情報とを出力する出力手段とを備える。
この構成によれば、画像の動きを示す付加情報を、低解像度の第２ビデオデータからではなく高解像度の第１ビデオデータから検出するので、復号化装置では高解像度画像を高画質に生成することができる。
また、本発明の復号化方法、符号化方法、それを実現するプログラムについても、上記と同様の構成を有する。
以上のように本発明の復号化装置は、画像の動きを示す付加情報をストリームデータと共に得られるので、高解像度画像生成のために画像の動きを検出する必要がなく、かつ復号時にリアルタイムに動きを検出する必要もないため、高解像度化のための処理量を低減することができる。しかも、付加情報は第１ビデオデータの画素値を示す符号を含まないので、低ビットレート化することができる。
（実施の形態１）
図１は、本発明の実施の形態１における符号化装置および復号化装置の概略構成を示すブロック図である。
同図のように符号化装置１は、低解像度化部１００、符号化部１０１、付加情報生成部１０２を備える。符号化装置１のより具体的な装置は、例えばコンピュータｅｘ１１１、インタネットサービスプロバイダｅｘ１０２、ストリーミングサーバｅｘ１０３等である。
低解像度化部１００は、高解像度ビデオデータＨＶ１を低解像度ビデオデータＬＶ１に変換する。低解像度ビデオデータＬＶ１の解像度は高解像度ビデオデータの解像度よりも低い。例えば、高解像度ビデオデータＨＶ１はＶＧＡ（６４０＊４８０画素）、低解像度ビデオデータＬＶ１はＱＶＧＡ（３２０＊２４０）である。
符号化部１０１は、低解像度ビデオデータＬＶ１を圧縮符号化する。この圧縮符号化は、例えば、ＭＰＥＧ１、２、４、４ＡＶＣ等である。符号化後の低解像度ビデオデータＬＶ１は、低解像度ビデオストリームＬＶＳとして出力される。
付加情報生成部１０２は、第２ビデオデータを高解像度化するための付加情報ＡＩを生成する。付加情報ＡＩは、高解像度ビデオデータＨＶ１における画像の動きを示す動き情報と、低解像度ビデオデータから高解像度ビデオデータを生成するための変換モード情報とを含む。変換モード情報は、(Ａ)時間的空間的に周囲に存在する画素を用いて画素を補間すべきことを示す第１モード、（Ｂ）付加情報が前方向動きベクトルを含むことを示す第２モード、(Ｃ)付加情報が後方向動きベクトルを含むことを示す第３モード、（Ｄ）付加情報が複数の動きベクトルを含むことを示す第４モードなどを示す。第１モード以外は、動きベクトルに従って、既に高解像度化済みの画像から部分的な画像を取得することによって高解像度化すべきことを示す。変換モードは、復号化装置２における低処理量かつ高画質を実現するために、マクロブロック等を単位に選択される。
また、図１のように復号化装置２は、復号化装置２００、高解像度化部２０２を備える。復号化装置２の具体的な装置は、コンピュータｅｘ１１１、テレビｅｘ４０１、ＳＴＢｅｘ４０７などであり、高解像度画像を表示可能な機器である。
復号化装置２００は、復号化部２０１を備え、低解像度ビデオストリームＬＶＳを復号化する。復号化部２０１は、符号化部１０１に対応し、例えばＭＰＥＧ１、２、４、４ＡＶＣ等により復号化する。復号化後の低解像度ビデオストリームＬＶＳは、低解像度ビデオデータＬＶ２として出力される。復号化装置２００の具体的な装置は、例えば、コンピュータｅｘ１１１、ＰＤＡｅｘ１１２、携帯電話機ｅｘ１１４、携帯電話機ｅｘ１１５、デジタルカメラｅｘ１１６、ＤＶＤレコーダｅｘ４２０などであり、低解像度のディスプレイを備える装置、または選択的に低解像度画像を表示する装置である。
高解像度化部２０２は、低解像度ビデオデータＬＶ２を付加情報ＡＩに基づいて高解像度ビデオデータＨＶ２に高解像度化する。
図２は、符号化部１０１および付加情報生成部１０２の詳細な構成を示すブロック図である。同図のように符号化部１０１は、減算器１１０、直交変換部１１１、量子化部１１２、可変長符号化部１１３、逆量子化部１１４、逆直交変換部１１５、加算器１１６、予測画像生成部１１７、動きベクトル検出部１１８を備える。この符号化部１０１の構成は、ＭＰＥＧ１、２、４、４ＡＶＣ等の従来技術により構成すればよいので詳細については説明を省略する。
付加情報生成部１０２は、高解像度画像生成部１２１、動きベクトル検出部１２２、時空間補間画像生成部１２３、生成モード選択部１２４、可変長符号化１２５を備える。
高解像度画像生成部１２１は、高解像度化済みの画像を保持する内部メモリを有し、動きベクトル検出部１２２によって検出された動きベクトルに従って、内部メモリに保持された既に高解像度化済みの画像から部分的な画像を取得することによって、符号化部１０１内で局所復号された低解像度ビデオデータを高解像度化する（上記第２〜第４モード）。この高解像度化は、上記（Ｂ）〜（Ｄ）の第２〜第４モードで実行される。また、この高解像度化は、付加情報生成部１０２内部で行われ、生成モード選択部１２４によって、高解像度化の精度および発生符号化量を評価し、生成モードの選択するために用いられる。
動きベクトル検出部１２２は、高解像度ビデオデータＨＶ１から動きベクトルを検出する。例えば、動きベクトル検出部１２２は、生成モード選択部により選択された生成モードが第２モードの場合には、既に高解像度化済の画像のうち前方向の画像を探索対象として動きベクトルを検出する。同様に、第３モードの場合には後方向の画像を探索対象として動きベクトルを検出し、第４モードの場合には前方向の動きベクトルと後方向の動きベクトルとを検出し、または同じ方向の複数の動きベクトルを検出する。
図３は、差分動きベクトルの説明図である。同図において右側は、高解像度ビデオデータに含まれる現在の入力画像を表している。左側は、既に高解像度化済の画像を表している。右側のハッチング部分は入力画像における動きベクトル検出対象のブロックを表す。左側の破線部分は、既に高解像度化済の画像から探索された類似の（又は同じ）部分画像の領域を表す。つまり、同図の高解像度ＭＶは、動きベクトル検出部１２２によって検出された動きベクトルを示す。
また、左側のハッチング部分は、対応する低解像度画像において動きベクトル検出部１１８によって検出された部分画像の領域を表す。同図のストリームＭＶは、動きベクトル検出部１１８によって低解像度画像から検出された動きベクトルを示す。ただし、同図では高解像度ＭＶとストリームＭＶとを同じサイズにスケーリングして図示してある。
可変長符号化部１２５は、高解像度ＭＶとストリームＭＶとの差分動きベクトルを符号化する。これにより、動き情報の符号量を低減することができる。図３のように、高解像度ＭＶとストリームＭＶとはだいたい同じような値を取ると考えられるが、高解像度ＭＶの方がより正確な動きを表現することができる。
時空間補間画像生成部１２３は、時間的空間的に周囲に存在する画素を用いて画素を補間によって高解像度化画像を生成する。この高解像度化は、上記（Ａ）の第１モードで実行される。
図４Ａ、４Ｂは、時空間画素補間による水平方向、垂直方向に2倍ずつの解像度を実現する高解像度画像生成の説明図である。図４Ａにおいて、縦に並ぶ○印は同じ１枚の画像中の画素を表す。図４Ａでは時間の異なる３枚の画像の画素を表している。ハッチングされた○印は低解像度画像の画素を、白抜きの○印は高解像度画像の補間すべき画素を示している。例えば、ａで示した画素を時空間画素補間で生成する場合、図で示すように周囲の画素の情報を用いて補間する。このとき、時間の異なる画像の既に高解像度化された画素を用いてもよい。なお、時間的、空間的に隣接する画素であればどの画素の情報を用いても良い。また、補間画素は、周辺の複数の画素それぞれに重みを付けて平均することにより生成される。同様に図４Ｂでは、２枚の画像を表している。例えば、bで示した画素を時空間画素補間で生成する場合も、同様に時間的、空間的に隣接する画素を用いて補間する。
前記のように時空間補間画像生成部１２３は、時間方向および空間方向に周囲に存在する複数の画素をフィルタリングすることによって画素を補間する。
生成モード選択部１２４は、高解像度画像の生成モード（上記変換モード）をブロック毎に選択する。選択基準としては、例えば、まず、符号化部１０１における４つの符号化モード（ａ）〜（ｄ）に対応させて上記（Ａ）〜（Ｄ）を選択してもよいし、高解像度画像の精度や発生符号量を評価し、評価結果に応じて選択してもよい。符号化部１０１における４つの符号化モードは、（ａ）イントラ符号化モード、（ｂ）前方向予測符号化モード、（ｃ）後方向予測符号化モード、（ｄ）双予測符号化モードである。
図５は、低解像度画像と高解像度画像の関連を示す図である。同図上段のＩ１、Ｂ２、Ｂ３、・・・は、低解像度画像を表示順で示している。Ｉは、上記（ａ）のイントラ符号化ピクチャを示す。Ｐは、上記（ｂ）又は（ｃ）の単方向予測符号化ピクチャを示す。Ｂは、上記（ｄ）の双予測符号化ピクチャを示す。Ｉ、Ｂ、Ｐの横の数字は表示順を示す。（ ）内の数字は符号化順を示す。
同図下段のＨ１、Ｈ２、Ｈ３、・・・は、各低解像度画像に対応する高解像度画像を示す。同図の例では、Ｈ１、Ｈ５、Ｈ６ピクチャは、上記（Ａ）第１モードの時間的空間的な画素補間により高解像度化されている。Ｈ２、Ｈ３、Ｈ８、Ｈ９ピクチャは、上記（Ａ）のモードで時空間的な補間で高解像度化されるか、（Ｂ）〜（Ｄ）のモードに従って、高解像度化済みの他のピクチャから部分的な画像を取得することによって高解像度化されている。Ｈ４、Ｈ７、Ｈ１０ピクチャは、上記（Ａ）のモードで時空間的な補間で高解像度されるか、（Ｂ）の動きベクトルに従って、前方向にある高解像度化済みのピクチャから部分的な画像を取得することによって高解像度化されている。ただし、ピクチャ内でブロック毎に異なるモードをとり得る。
可変長符号化１２５は、生成モード選択部１２４に選択された生成モード（上記変換モード）が第１モードである場合には、第１モードを表す変換モード情報を付加情報として可変長符号化し、選択された生成モードが第２〜第４モードである場合変換モード情報と動き情報とを付加情報として可変長符号化する。その際可変長符号化部１２５は、動き情報を差分動きベクトルとして可変長符号化する。
図６Ａ、６Ｂは、生成モードの符号を示す説明図である。
図６Ａにおいて、符号化モード欄は、低解像度画像の符号化モードを示している。すなわち、"ＩＮＴＲＡ"は上記（ａ）を、"ＩＮＴＥＲ−ＦＷＤ"は上記（ｂ）を、"ＩＮＴＥＲ−ＢＷＤ"は上記（ｃ）を、"ＩＮＴＥＲ−ＢＩＤ"は上記（ｄ）を示す。
補間生成モード欄は、対応する高解像度画像の生成モード（変換モード）を示す。すなわち、"ＩＮＴＲＡ補間"は上記（Ａ）を、"ＭＣ ＦＷＤ"は上記（Ｂ）を、"ＭＣ ＢＷＤ"は上記（Ｃ）を、"ＭＣ ＢＩＤ"は上記（Ｄ）を示す。また、"ＭＣ Ｗｅｉｇｈｔ"は上記（Ｄ）の場合に複数枚の高解像度化済の画像を用いて重み付けを伴う線形予測により高解像度画像を生成することを示す。"ＩＮＴＲＡ補間 Ｗｅｉｇｈｔ"は上記（Ａ）の場合に複数枚の高解像度化済の画像を用いて重み付けを伴うフィルタリングにより高解像度画像を生成することを示す。"ＩＮＴＲＡ−ＭＣ 混合"は上記（Ａ）と上記（Ｂ）〜（Ｄ）の何れかとを混在させて高解像度画像を生成することを示す。
図６Ａの例では、生成モードの符号は、高解像度画像のブロックに対応する低解像度画像のブロックの符号化モードと関連付けて割り当てられている。つまり、生成モードの符号は、符号化モードと生成モードとが同類である場合に短くなるように（０になるように）、割り当てられている。今、生成モード"ＭＣ ＢＩＤ"欄を注目する。高解像度画像のあるブロックの生成モードが"ＭＣ ＢＩＤ"である場合、当該ブロックに対応する低解像度画像のブロックの符号化モードが"ＩＮＴＥＲ−ＢＩＤ"、"ＩＮＴＥＲ−ＢＷＤ"、"ＩＮＴＥＲ−ＦＷＤ"、"ＩＮＴＲＡ"であれば、高解像度画像の当該ブロックの符号はそれぞれ"０"、"３"、"３"、"６"となっている。
図６Ｂは、より具体的は生成モードの可変長符号テーブルを示す図である。
図６ＢにおいてテーブルＴ１は符号化モードが上記（ａ）の場合可変長符号テーブルを示す。同様に、テーブルＴ２、Ｔ３、Ｔ４は符号化モードが上記（ｂ）（ｃ）（ｄ）の場合可変長符号テーブルを示す。例えば、符号化モードが上記（ａ）のイントラ符号化である場合、生成モードが上記（Ａ）の時空間補間である場合には、生成モードの符号は"０"となる。また、符号化モードが上記（ａ）のイントラ符号化である場合、生成モードが上記（Ｂ）の前方向動きベクトルの場合には、生成モードの符号は"１"となる。このテーブルＴ１〜Ｔ４では、符号化モードと生成モードとが同類である場合に符号が短くなるように割り当てられている。
なお、生成モードの符号化はこれに限らない。例えば、生成モードの符号化は、発生符号量の確率を用いた符号化方式（いわゆる算術符号化(arithmetic coding)）であってもよい。
図７は、符号化部１０１および付加情報生成部１０２における画像符号化処理および付加情報生成処理を示すフローチャートである。
同図のように、符号化部１０１は、ブロック単位（正確にはマクロブロック単位）で符号化を行い（Ｓ７１）、生成モード選択部１２４は、可変長符号化部１１３から当該マクロブロックの符号化残差を取得する（Ｓ７２）。このとき、低解像度画像の局所復号ピクチャがブロック単位に予測画像生成部１１７内の参照メモリに格納される。
一方、高解像度画像生成部１２１および時空間補間画像生成部１２３は、符号化された低解像度画像に対応する高解像度化画像を生成し（S７３）、動きベクトル検出部１２２は、生成された高解像度化画像を探索対象として新たに入力された高解像度ビデオデータＨＶ１の画像の動きベクトルを検出し（Ｓ７４）、動きベクトル検出部１１８によって検出された動きベクトルと、高解像度画像の動きベクトルとの差分動きベクトルを算出する（Ｓ７５）。時空間補間画像生成部１２３は、対応する低解像度画像を時空間補間による画素補間により高解像度画像を生成する（Ｓ７６）。
さらに、生成モード選択部１２４は、低解像度画像の符号化残差および動きベクトルに基づいて最適な生成モードを選択する（Ｓ７７）。可変長符号化部１２５は、付加情報を可変長符号化する（Ｓ７８）。つまり、可変長符号化部１２５は、選択された生成モードを符号化し、選択された生成モードが第２〜第４モードであれば差分動きベクトルも符号化する。
図８は、図７のＳ７７における生成モード選択処理を示すフローチャートである。
生成モード選択部１２４は、Ｓ７２において取得された符号化残差の情報量がしきい値Ｔｈ１より小さく、かつ、Ｓ７４において検出された動きベクトル又は動きベクトル検出部１１８によって検出された動きベクトルがしきい値Ｔｈ２より小さい場合には、生成モードとして第１〜第４モード（上記（Ｂ）〜（Ｄ）の動きベクトルによる高解像度化）のうち符号化モードに対応するものを選択する（Ｓ８３）。
また、生成モード選択部１２４は、Ｓ７２において取得された符号化残差の情報量がしきい値ＴＨ１より大きい場合、又は、Ｓ７４において検出された動きベクトル又は動きベクトル検出部１１８によって検出された動きベクトルがしきい値ＴＨ２より大きい場合には、生成モードとして第１モード（上記（Ａ）の時空間画素補間による高解像度化）を選択する（Ｓ８４）。
この生成モード選択処理では、高解像度画像および低解像画像における動きが激しい場合には、第１モードを生成モードとすることにより、符号量の増加を抑えている。また、動きベクトルが周囲の動きベクトルと相関がない場合には、誤った動きが検出されている可能性があるため、生成モード選択部１２４は、生成モードとして第１モード（上記（Ａ）の時空間画素補間による高解像度化）を選択する。具体的には、生成モード選択部１２４は、周囲の動きベクトルとの分散値を算出し（Ｓ８２ａ）、その値がしきい値より大きい場合に（Ｓ８２ｂ）、第１モードを選択する（Ｓ８４）。
図９Ａ、９Ｂは、可変長符号化部１２５によってストリームデータに関連付けられた付加情報のストリームフォーマット例を示す説明図である。
図９Ａは、付加情報がピクチャ単位にユーザデータとして付加されるフォーマット例を示す。つまり、マクロブロック単位の付加情報は、ピクチャヘッダとピクチャデータとからなるストリームデータ部分に対して、ユーザデータとして付加されている。このユーザデータは、ストリーム中にユーザが任意に定めてもよいデータである。
図９Ｂは、前記出力手段は、前記ストリームデータ内に付加情報を埋め込むフォーマット例を示す。図９Ｂでは、マクロブロックデータ内に、マクロブロック単位の付加情報が埋め込まれている。同図Ｂは、図９Ａと比べてマクロブロックアドレスが不要である点でデータ量を少なくできる。
なお、付加情報を電子透かし技術等のような情報埋め込み技術により実質的にストリームデータ中に埋め込み、埋め込まれたストリームデータを伝送する構成としてもよい。例えば、符号化部１０１は、付加情報生成部１０２から付加情報を取得し、電子透かし技術等を用いて、復号画像の画質を損なわない範囲で、付加情報を符号化対象の画像データに埋め込む構成としてもよい。電子透かし技術には、時間軸差分埋め込み法、空間軸差分埋め込み法、レイヤ構造埋め込み法、ウェーブレット変換、スペクトラム拡散等がある。
図１０は、復号化装置２における復号化処理を示すフローチャートである。
復号化装置２は、付加情報を取得すると（Ｓ１０１）、接続されているディスプレイに表示可能なサイズであるかどうかを判定し（Ｓ１０２）、表示可能サイズでない場合には、復号化部２０１によって復号化された低解像度ビデオデータＬＶ２を表示のために出力する（Ｓ１０４）。また、表示可能サイズである場合には、復号化部２０１によって復号化された低解像度ビデオデータＬＶ２から高解像度画像を生成してから（Ｓ１０３）、表示のために出力する（Ｓ１０４）。
図１１Ａは、図１０のＳ１０３における高解像度画像生成処理を示すフローチャートである。
高解像度化部２０２は、付加情報を可変長復号化し（Ｓ１１１）、付加情報中に生成モード情報（つまり変換モード情報）があるか否かを判定し（Ｓ１１２）、ある場合には生成モード情報に従って高解像度画像を生成し（Ｓ１１３）、ない場合には時空間画素補間により高解像度画像を生成し（Ｓ１１４）、生成した高解像度画像を出力する（Ｓ１１５）。
なお、この高解像度画像生成処理は、例えば、付加情報がマクロブロック単位に付与されている場合には、マクロブロック単位に処理され、付加情報がピクチャ単位に付与されている場合には、ピクチャ単位に処理される。
図１１Ｂは、図１１ＡのステップＳ１１３に示した高解像度化処理の概略を示すフローチャートである。同図のように、高解像度化部２０２は、付加情報中の生成モード情報（つまり変換モード情報）を判定し（Ｓ１２０）、生成モード情報が上記（Ａ）ＩＮＴＲＡ補間を示す場合にはＩＮＴＲＡ補間処理を行い（Ｓ１２１）、生成モード情報が上記（Ｂ）ＭＣ ＦＷＤまたは（Ｃ）ＭＣ ＢＷＤを示す場合にはＭＣ補間処理を行い（Ｓ１２２）、生成モード情報が上記（Ｄ）ＭＣ ＢＩＤを示す場合にはＭＣ ＢＩＤ補間処理を行い（Ｓ１２３）、生成モード情報がＩＮＴＲＡ−ＭＣ混合処理を示す場合にはＩＮＴＲＡ−ＭＣ混合処理を行う（Ｓ１２４）。
なお、図１１Ｂでは、付加情報中に生成モード情報がある場合を説明したが、生成モード情報がない場合であっても、一定のルールに従って何れかの補間処理を選択するようにしてもよい。例えば、補間処理により高解像度化すべき処理対象の画像に対応する低解像度画像の符号化モード（上記の（ａ）イントラ符号化モード、（ｂ）前方向予測符号化モード、（ｃ）後方向予測符号化モード、（ｄ）双予測符号化モード）に対応させて、補間処理を選択してもよい。
図１１Ｃは、図１１ＢのステップＳ１２２におけるＭＣ補間処理の説明図である。同図の左側は高解像度化済の画像で参照用の画像の水平１行または垂直１列の画素を示している。白丸は低解像度画像に含まれる画素を、黒丸は補間された画素を示す。同図の右側は高解像度化の処理対象の画像における水平１行または垂直１列の画素を示している。白丸は低解像度画像に含まれる画素を、破線の丸は補間すべき画素を示している。処理対象の画像中のブロックＢ１の動きベクトルが、高解像度化済の画像中の領域Ｒ１を指しているものとする。この場合、高解像度化部２０２は、ブロックＢ１中の補間すべき画素位置ａ１には、領域Ｒ１中の画素ｐ１の画素値を用いて補間し、ブロックＢ１中の補間すべき画素位置ａ２には、領域Ｒ１中の画素ｐ２の画素値を用いて補間する。
また、処理対象の画像中のブロックＢ２の動きベクトルが、高解像度化済の画像中の領域Ｒ２を指しているものとする。この場合、高解像度化部２０２は、ブロックＢ２中の補間すべき画素位置ａ３には、領域Ｒ２中の画素ｐ３の画素値を用いて補間し、ブロックＢ２中の補間すべき画素位置ａ４には、領域Ｒ２中の画素ｐ４の画素値を用いて補間する。
同図では、補間生成モードが（Ｂ）ＭＣ−ＦＷＤおよび（Ｃ）ＭＣ−ＢＷＤの場合を示している。補間生成モードが（Ｄ）ＭＣ−ＢＩＤの場合には、高解像度化部２０２は、高解像度化済の２つの画像から得られる２つの画素値について、重み付け平均をとることにより補間すべき画素の画素値を算出する。
図１１Ｄは、図１１ＢのステップＳ１２２に示したＭＣ補間処理をより詳細に示すフローチャートである。同図では、処理対象画像をブロック単位に高解像度化する場合の１ブロック分の処理を示している。また、復号化装置２は、高解像度化が完了した画像と、処理対象の画像とを保持するためのメモリを有している。高解像度化が完了した画像は、動きベクトルによる補間に際して参照される。処理対象の画像は、低解像度画像を構成する画素と、補間すべき画素からなる。
まず、高解像度化部２０２は、付加情報に含まれる差分動きベクトルを可変長復号し（Ｓ１３０）、得られた差分を低解像度画像の対応する動きベクトルに加算することにより高解像度画像用の動きベクトルＨ−ＭＶを算出し（Ｓ１３１）、高解像度化済の参照画像中の矩形領域を特定する（Ｓ１３２）。
次に、高解像度化部２０２は、ループ１処理においてブロック内の全ての補間すべき画素を補間する（Ｓ１３３〜Ｓ１３７）。ループ１処理において高解像度化部２０２は、特定された矩形領域において、補間すべき画素に対応する画素を特定し（Ｓ１３４）、特定された画素の値をメモリから読み出し（Ｓ１３５）、読み出された画素値をブロック内の補間すべき画素の値として、メモリに書き込む（Ｓ１３６）。以上により、図１１Ｃに示したように、処理対象の画像中の全ての補間すべき画素は、動きベクトルに従って参照画像からから読み出された画素値を用いて補間される。
図１１Ｅは、図１１ＢのステップＳ１２３に示したＭＣ−ＢＩＤ補間処理をより詳細に示すフローチャートである。図１１Ｅは、図１１Ｄと比べて、ステップＳ１３０〜Ｓ１３５、Ｓ１３７の代わりにステップＳ１３０ａ〜Ｓ１３５ａ、Ｓ１３７ａを有している点と、Ｓ１４０が追加された点とが異なる。同じ点は説明を省略し、以下異なる点を中心に説明する。
まず、高解像度化部２０２は、付加情報に含まれる２つの差分動きベクトルを可変長復号し（Ｓ１３０ａ）、得られた２つ差分を低解像度画像の対応する２つ動きベクトルに加算することにより、高解像度画像用の２つの動きベクトルＨ−ＭＶ１、Ｈ−ＭＶ２を算出し（Ｓ１３１ａ）、高解像度化済の２つの参照画像中の２つの矩形領域を特定する（Ｓ１３２ａ）。
次に、高解像度化部２０２は、ループ１処理においてブロック内の全ての補間すべき画素を補間する（Ｓ１３３ａ〜Ｓ１３７ａ）。ループ１処理において高解像度化部２０２は、特定された２つ矩形領域において、補間すべき画素に対応する２つ画素を特定し（Ｓ１３４ａ）、特定された２つ画素の値をメモリから読み出す（Ｓ１３５ａ）。さらに、読み出された２つの画素値の重み付け平均を算出する。各画素値の重みは、例えば、処理対象画像から各参照画像までの距離に応じて定めればよい。また、２つの画素値に対応する動きベクトルの大きさに応じて重みを変更してもよい。例えば、２つの動きベクトルのうち大きさが小さい方に対応する画素値の重みを、もうひとつの画素値の重みよりも大きくしてもよい。重み付け平均算出結果は、補間すべき画素の値として、メモリに書き込まれる（Ｓ１３６）。以上のように、ＭＣ−ＢＩＤ補間処理では、処理対象の画像中の全ての補間すべき画素は、２つの参照画像から２つ動きベクトルに従って読み出された２つ画素値に基づいて補間される。
なお、図１１ＥのＭＣ−ＢＩＤ補間処理では２つの動きベクトル、２つの参照画像を用いるが、３つ以上の動きベクトル、３つ以上の参照画像を用いてもよい。
図１１Ｆは、図１１ＢのステップＳ１２４に示したＩＮＴＲＡ−ＭＣ混合補間処理をより詳細に示すフローチャートである。図１１Ｆは、図１１Ｅと比べて、Ｓ１５０、Ｓ１５１が追加された点と異なる。同じ点は説明を省略し、以下異なる点を中心に説明する。
Ｓ１５０において高解像度化部２０２は、当該補間すべき画素をＩＮＴＲＡ補間すべきかＭＣ補間すべきかを判定する。この判定は、補間すべき画素のブロック中の位置や、補間すべき画素に隣接する画素が低解像度画像の画素であるか補間画素であるかを基準とすることができる。例えば、隣接画素が低解像度画像の画素であればＩＮＴＲＡ補間、隣接画素が補間画素であればＭＣ補間と判定する。ＩＮＴＲＡ補間と判定された場合には、Ｓ１５１において高解像度化部２０２は、当該補間すべき画素をＩＮＴＲＡ補間する。
なお、図１１Ｆでは、補間すべき画素毎にＩＮＴＲＡ補間すべきかＭＣ補間すべきかを判定しているが、ブロック毎やスライス毎に判定するようにしてもよい。
また、可変長符号化部１２５は、可変長符号化部１１３からの低解像度画像ビットストリームＬＶＳを一旦入力して、付加情報と関連付けて出力するようにしてもよい。
以上説明してきたように、本実施の形態における画像符号化装置および画像復号化装置によれば、低解像度画像から高解像度画像の生成を、低処理量かつ高画質に実現することができる。
（実施の形態１の変形例１）
実施の形態１は実用上の範囲内で次のような変形をおこなってもよい。
図２中の付加情報生成部１０２は、高解像度画像生成部１２１を取り除き、代わりに、復号高解像度化画像信号と同じ時刻の高解像度画像信号ＨＶ１を探索対象として動きベクトル検出部１２２に入力する構成としてもよい。動き検出部１２２では、高解像度画像信号ＨＶ１から高解像度画像の動きベクトルを検出し、高解像度画像用の差分動きベクトルを生成する。このようにすることで、符号化装置１の構成を簡略化することができ、低処理量を実現することができる。
また、図２中の付加情報生成部１０２は、高解像度画像生成部１２１を取り除き、代わりに、復号高解像度化画像信号と同じ時刻の高解像度画像信号ＨＶ２を高解像度化部２０２から探索対象として動きベクトル検出部１２２に入力する構成としてもよい。動き検出部１２２では、高解像度画像信号ＨＶ１と高解像度画像信号ＨＶ２とから高解像度画像の動きベクトルを検出し、高解像度画像用の差分動きベクトルを生成する。
なお、高解像度画像生成部１２１を取り除かず、生成モード選択のためだけに高解像度画像生成部１２１を用いてもよい。このようにすることで、1フレーム前の復号画像を高解像度化する処理を削減しつつ、高画質を実現することができる。
（実施の形態２）
図１２は、実施の形態２における画像符号化処理の他の一例を示すフローチャートである。同図は、実施の形態１における図７及び図８の代わりに実行される。
図１２において、動きベクトル検出部１２２は、原画（高解像度画像ＨＶ１）から、高解像度画像生成部１２１内の既に高解像度化済の画像を参照して動きベクトルを検出し（Ｓ１２１）、検出された動きベクトルと動きベクトル検出部１１８によって検出された動きベクトルとの差分動きベクトルを算出する（Ｓ１２２）。生成モード選択部１２４は、高解像度画像生成部１２１によって差分動きベクトルに従って生成された高解像度化画像と、原画（高解像度画像ＨＶ１）との差分値Ｄを算出し（Ｓ１２３）、差分動きベクトルを付加情報として符号化した場合の発生符号量を算出し（Ｓ１２４）、次式に示すＣＯＳＴを算出する（Ｓ１２５）。
ＣＯＳＴ＝Σ｜高解像度画像−補間生成画像｜＋発生符号量
式中のΣ｜高解像度画像−補間生成画像｜は、Ｓ１２３で算出された差分値Ｄの和であり、原画(高解像度画像ＨＶ１）と、差分動きベクトルに従って生成された高解像度化画像とのブロック毎の画素値の差分の和を意味する。この値が０であれば補間生成画像が原画とピッタリ一致していること（補間生成画像の画質が最高であること）を意味し、この値が大きければ大きいほど、補間生成画像が原画からかけ離れていること（高解像度化の精度が悪く、画質が悪いこと）を意味する。発生符号量は、Ｓ１２４で算出されたものであり、発生符号量が小さければ低解像度画像ビットストリームＬＶＳの符号化効率をあまり悪化させていないことを意味し、発生符号量が大きければ低解像度画像ビットストリームＬＶＳの符号化効率を悪化させていることを意味する。上記ＣＯＳＴの値が大きければ、高解像度化画像の画質と符号化効率の少なくとも一方が悪いことを意味し、上記ＣＯＳＴの値が小さければ小さいほど、高解像度化画像の画質の良さと符号化効率の良さとの両者を達成していることを意味する。
さらに、生成モード選択部１２４は、算出されたＣＯＳＴとＣＯＳＴ１とを比較し（Ｓ１２６）、ＣＯＳＴが小さければＣＯＳＴ１の値をＣＯＳＴの値に更新する（Ｓ１２７）。
ここでＣＯＳＴ１の初期値は、最低限確保すべきＣＯＳＴのしきい値であり、ＣＯＳＴ１は、動きベクトルの探索範囲を終了するまで（Ｓ１２８）のループ処理において、最小のＣＯＳＴの値に更新されていく。なお、Ｓ１２８において生成モード選択部１２４は、探索範囲を終了したか否かを判定しているが、符号化モードに類似の生成モード（第２〜第４モード）からいくつかの生成モードを試行したか否かを判定してもよい。
上記により生成モード選択部１２４は、差分動きベクトルに従って生成された高解像度化画像についての最小のＣＯＳＴ１となる動きベクトル又は生成モードを得ることができる。
また、時空間補間画像生成部１２３は、時空間補間による補間画像を生成し（Ｓ１２９）、生成モード選択部１２４は、生成された補間画像と、原画（高解像度画像ＨＶ１）との差分値Ｄを算出し（Ｓ１３０）、ＣＯＳＴを算出する（Ｓ１３１）。さらに、生成モード選択部１２４は、算出されたＣＯＳＴとＣＯＳＴ２とを比較し（Ｓ１３２）、ＣＯＳＴが小さければＣＯＳＴ２の値をＣＯＳＴの値に更新する（Ｓ１３３）。ここでＣＯＳＴ２の初期値は、最低限確保すべきＣＯＳＴのしきい値であり、ＣＯＳＴ１の初期値と同じ値でもよい。ＣＯＳＴ２は、動きベクトルの補間による生成方法を終了するまで（Ｓ１３４）のループ処理において、最小のＣＯＳＴの値に更新されていく。なお、Ｓ１３４において生成モード選択部１２４は、補間による生成方法を終了したか否かを判定しているが、この判定は、補間に用いるフィルタの種類や強度の選択を変更しながら試行し終えたか否かを判定すればよい。補間に用いるフィルタの種類や強度は、ダウンサンプリング情報ＤＳＩに従って選択してもよい。
上記により生成モード選択部１２４は、時空間補間によって生成される高解像度化画像についての最小のＣＯＳＴ２となる生成モードを得ることができる。
次いで、生成モード選択部１２４は、ＣＯＳＴ１とＣＯＳＴ２のうち最小の方に対応する生成モードを選択する（Ｓ１３５）。可変長符号化部１２５は、選択された生成モードを示す生成モード情報を符号化する（Ｓ１３６）。
このように、ＣＯＳＴは高解像度化画像の画質悪さと付加情報を付加することによる低解像度画像の符号化効率の劣化と評価するものさしとなる。本実施の形態における生成モード選択部１２４は、種々の生成モードにおけうＣＯＳＴを算出し、ＣＯＳＴが最小になる生成モードを選択するよう構成されている。その結果、高解像度化画像の画質を向上させると共に、付加情報を付加することによる符号化効率の劣化を最小限に留めることができる。
（実施の形態３）
さらに、上記各実施の形態で示した符号化処理および復号化処理の構成を実現するための符号化および復号化プログラムや符号列（データストリーム）を、フレキシブルディスク等の記録媒体に記録するようにすることにより、上記各実施の形態で示した処理を、独立したコンピュータシステムにおいて簡単に実施することが可能となる。
図１３（ａ）〜（ｃ）は、上記実施の形態１から２の符号化あるいは復号化処理を、上記符号化および復号化プログラムを格納したフレキシブルディスクを用いて、コンピュータシステムにより実施する場合を説明するための図である。
図１３（ｂ）は、フレキシブルディスクの正面からみた外観、断面構造、及びフレキシブルディスクを示し、図１３（ａ）は、記録媒体本体であるフレキシブルディスクの物理フォーマットの例を示している。フレキシブルディスクＦＤはケースＦ内に内蔵され、該ディスクの表面には、同心円状に外周からは内周に向かって複数のトラックＴｒが形成され、各トラックは角度方向に１６のセクタＳｅに分割されている。従って、上記プログラムを格納したフレキシブルディスクでは、上記フレキシブルディスクＦＤ上に割り当てられた領域に、上記プログラムとしてのデータが記録されている。
また、図１３（ｃ）は、フレキシブルディスクＦＤに上記プログラムの記録再生を行うための構成を示す。上記プログラムをフレキシブルディスクＦＤに記録する場合は、コンピュータシステムＣｓから上記プログラムとしてのデータをフレキシブルディスクドライブを介して書き込む。また、フレキシブルディスク内のプログラムにより上記符号化および復号化方法をコンピュータシステム中に構築する場合は、フレキシブルディスクドライブによりプログラムをフレキシブルディスクから読み出し、コンピュータシステムに転送する。
なお、上記説明では、記録媒体としてフレキシブルディスクを用いて説明を行ったが、光ディスクを用いても同様に行うことができる。また、記録媒体はこれに限らず、ＩＣカード、ＲＯＭカセット等、プログラムを記録できるものであれば同様に実施することができる。
また、上記実施の形態に示した符号化方法・復号化方法は、携帯電話やカーナビゲーションシステム等の移動体通信機器やデジタルビデオカメラやデジタルスチールカメラ等の撮影機器にＬＳＩ等の半導体によって実装することが可能である。また、実装形式としては、符号化器・復号化器を両方持つ送受信型の端末の他に、符号化器のみの送信端末、復号化器のみの受信端末の３通りが考えられる。具体的な応用例を図１４〜図１７を用いて説明する。
図１４は、コンテンツ配信サービスを実現するコンテンツ供給システムex１００の全体構成を示すブロック図である。通信サービスの提供エリアを所望の大きさに分割し、各セル内にそれぞれ固定無線局である基地局ex１０７〜ex１１０が設置されている。
このコンテンツ供給システムex１００は、例えば、インターネットex１０１にインターネットサービスプロバイダex１０２および電話網ex１０４、および基地局ex１０７〜ex１１０を介して、コンピュータex１１１、ＰＤＡ（personal digital assistant）ex１１２、カメラex１１３、携帯電話ex１１４、カメラ付きの携帯電話ｅｘ１１５などの各機器が接続される。
しかし、コンテンツ供給システムex１００は図１４のような組合せに限定されず、いずれかを組み合わせて接続するようにしてもよい。また、固定無線局である基地局ex１０７〜ex１１０を介さずに、各機器が電話網ex１０４に直接接続されてもよい。
カメラex１１３はデジタルビデオカメラ等の動画撮影が可能な機器である。また、携帯電話は、ＰＤＣ（Personal Digital Communications）方式、ＣＤＭＡ（Code Division Multiple Access）方式、Ｗ−ＣＤＭＡ（Wideband-Code Division Multiple Access）方式、若しくはＧＳＭ（Global System for Mobile Communications）方式の携帯電話機、またはＰＨＳ（Personal Handyphone System）等であり、いずれでも構わない。
また、ストリーミングサーバex１０３は、カメラex１１３から基地局ex１０９、電話網ex１０４を通じて接続されており、カメラex１１３を用いてユーザが送信する符号化処理されたデータに基づいたライブ配信等が可能になる。撮影したデータの符号化処理はカメラex１１３で行っても、データの送信処理をするサーバ等で行ってもよい。また、カメラex１１６で撮影した動画データはコンピュータex１１１を介してストリーミングサーバex１０３に送信されてもよい。カメラex１１６はデジタルカメラ等の静止画、動画が撮影可能な機器である。この場合、動画データの符号化はカメラex１１６で行ってもコンピュータex１１１で行ってもどちらでもよい。また、符号化処理はコンピュータex１１１やカメラex１１６が有するＬＳＩex１１７において処理することになる。なお、画像符号化・復号化用のソフトウェアをコンピュータex１１１等で読み取り可能な記録媒体である何らかの蓄積メディア（ＣＤ−ＲＯＭ、フレキシブルディスク、ハードディスクなど）に組み込んでもよい。さらに、カメラ付きの携帯電話ex１１５で動画データを送信してもよい。このときの動画データは携帯電話ex１１５が有するＬＳＩで符号化処理されたデータである。
このコンテンツ供給システムex１００では、ユーザがカメラex１１３、カメラex１１６等で撮影しているコンテンツ（例えば、音楽ライブを撮影した映像等）を上記実施の形態同様に符号化処理してストリーミングサーバex１０３に送信する一方で、ストリーミングサーバex１０３は要求のあったクライアントに対して上記コンテンツデータをストリーム配信する。クライアントとしては、上記符号化処理されたデータを復号化することが可能な、コンピュータex１１１、ＰＤＡex１１２、カメラex１１３、携帯電話ex１１４等がある。このようにすることでコンテンツ供給システムex１００は、符号化されたデータをクライアントにおいて受信して再生することができ、さらにクライアントにおいてリアルタイムで受信して復号化し、再生することにより、個人放送をも実現可能になるシステムである。
このシステムを構成する各機器の符号化、復号化には上記各実施の形態で示した画像符号化装置あるいは画像復号化装置を用いるようにすればよい。
その一例として携帯電話について説明する。
図１５は、上記実施の形態で説明した画像符号化方法と画像復号化方法を用いた携帯電話ex１１５を示す図である。携帯電話ex１１５は、基地局ex１１０との間で電波を送受信するためのアンテナex２０１、ＣＣＤカメラ等の映像、静止画を撮ることが可能なカメラ部ex２０３、カメラ部ex２０３で撮影した映像、アンテナex２０１で受信した映像等が復号化されたデータを表示する液晶ディスプレイ等の表示部ex２０２、操作キーｅｘ２０４群から構成される本体部、音声出力をするためのスピーカ等の音声出力部ex２０８、音声入力をするためのマイク等の音声入力部ex２０５、撮影した動画もしくは静止画のデータ、受信したメールのデータ、動画のデータもしくは静止画のデータ等、符号化されたデータまたは復号化されたデータを保存するための記録メディアex２０７、携帯電話ex１１５に記録メディアex２０７を装着可能とするためのスロット部ex２０６を有している。記録メディアex２０７はＳＤカード等のプラスチックケース内に電気的に書換えや消去が可能な不揮発性メモリであるＥＥＰＲＯＭ（Electrically Erasable and Programmable Read Only Memory）の一種であるフラッシュメモリ素子を格納したものである。
さらに、携帯電話ex１１５について図１６を用いて説明する。携帯電話ex１１５は表示部ex２０２及び操作キーｅｘ２０４を備えた本体部の各部を統括的に制御するようになされた主制御部ex３１１に対して、電源回路部ex３１０、操作入力制御部ex３０４、画像符号化部ex３１２、カメラインターフェース部ex３０３、ＬＣＤ（Liquid Crystal Display）制御部ex３０２、画像復号化部ex３０９、多重分離部ex３０８、記録再生部ex３０７、変復調回路部ex３０６及び音声処理部ex３０５が同期バスex３１３を介して互いに接続されている。
電源回路部ex３１０は、ユーザの操作により終話及び電源キーがオン状態にされると、バッテリパックから各部に対して電力を供給することによりカメラ付ディジタル携帯電話ex１１５を動作可能な状態に起動する。
携帯電話ex１１５は、ＣＰＵ、ＲＯＭ及びＲＡＭ等でなる主制御部ex３１１の制御に基づいて、音声通話モード時に音声入力部ex２０５で集音した音声信号を音声処理部ex３０５によってディジタル音声データに変換し、これを変復調回路部ex３０６でスペクトラム拡散処理し、送受信回路部ex３０１でディジタルアナログ変換処理及び周波数変換処理を施した後にアンテナex２０１を介して送信する。また携帯電話機ex１１５は、音声通話モード時にアンテナex２０１で受信した受信データを増幅して周波数変換処理及びアナログディジタル変換処理を施し、変復調回路部ex３０６でスペクトラム逆拡散処理し、音声処理部ex３０５によってアナログ音声データに変換した後、これを音声出力部ex２０８を介して出力する。
さらに、データ通信モード時に電子メールを送信する場合、本体部の操作キーｅｘ２０４の操作によって入力された電子メールのテキストデータは操作入力制御部ex３０４を介して主制御部ex３１１に送出される。主制御部ex３１１は、テキストデータを変復調回路部ex３０６でスペクトラム拡散処理し、送受信回路部ex３０１でディジタルアナログ変換処理及び周波数変換処理を施した後にアンテナex２０１を介して基地局ex１１０へ送信する。
データ通信モード時に画像データを送信する場合、カメラ部ex２０３で撮像された画像データをカメラインターフェース部ex３０３を介して画像符号化部ex３１２に供給する。また、画像データを送信しない場合には、カメラ部ex２０３で撮像した画像データをカメラインターフェース部ex３０３及びＬＣＤ制御部ex３０２を介して表示部ex２０２に直接表示することも可能である。
画像符号化部ex３１２は、本願発明で説明した画像符号化装置を備えた構成であり、カメラ部ex２０３から供給された画像データを上記実施の形態で示した画像符号化装置に用いた符号化方法によって圧縮符号化することにより符号化画像データに変換し、これを多重分離部ex３０８に送出する。また、このとき同時に携帯電話機ex１１５は、カメラ部ex２０３で撮像中に音声入力部ex２０５で集音した音声を音声処理部ex３０５を介してディジタルの音声データとして多重分離部ex３０８に送出する。
多重分離部ex３０８は、画像符号化部ex３１２から供給された符号化画像データと音声処理部ex３０５から供給された音声データとを所定の方式で多重化し、その結果得られる多重化データを変復調回路部ex３０６でスペクトラム拡散処理し、送受信回路部ex３０１でディジタルアナログ変換処理及び周波数変換処理を施した後にアンテナex２０１を介して送信する。
データ通信モード時にホームページ等にリンクされた動画像ファイルのデータを受信する場合、アンテナex２０１を介して基地局ex１１０から受信した受信データを変復調回路部ex３０６でスペクトラム逆拡散処理し、その結果得られる多重化データを多重分離部ex３０８に送出する。
また、アンテナex２０１を介して受信された多重化データを復号化するには、多重分離部ex３０８は、多重化データを分離することにより画像データのビットストリームと音声データのビットストリームとに分け、同期バスex３１３を介して当該符号化画像データを画像復号化部ex３０９に供給すると共に当該音声データを音声処理部ex３０５に供給する。
次に、画像復号化部ex３０９は、本願発明で説明した画像復号化装置を備えた構成であり、画像データのビットストリームを上記実施の形態で示した符号化方法に対応した復号化方法で復号することにより再生動画像データを生成し、これをＬＣＤ制御部ex３０２を介して表示部ex２０２に供給し、これにより、例えばホームページにリンクされた動画像ファイルに含まれる動画データが表示される。このとき同時に音声処理部ex３０５は、音声データをアナログ音声データに変換した後、これを音声出力部ex２０８に供給し、これにより、例えばホームページにリンクされた動画像ファイルに含まる音声データが再生される。
なお、上記システムの例に限られず、最近は衛星、地上波によるディジタル放送が話題となっており、図１７に示すようにディジタル放送用システムにも上記実施の形態の少なくとも画像符号化装置または画像復号化装置のいずれかを組み込むことができる。具体的には、放送局ex４０９では映像情報のビットストリームが電波を介して通信または放送衛星ex４１０に伝送される。これを受けた放送衛星ex４１０は、放送用の電波を発信し、この電波を衛星放送受信設備をもつ家庭のアンテナex４０６で受信し、テレビ（受信機）ex４０１またはセットトップボックス（ＳＴＢ）ex４０７などの装置によりビットストリームを復号化してこれを再生する。また、記録媒体であるCDやDVD等の蓄積メディアex４０２に記録したビットストリームを読み取り、復号化する再生装置ex４０３にも上記実施の形態で示した画像復号化装置を実装することが可能である。この場合、再生された映像信号はモニタex４０４に表示される。また、ケーブルテレビ用のケーブルex４０５または衛星／地上波放送のアンテナex４０６に接続されたセットトップボックスex４０７内に画像復号化装置を実装し、これをテレビのモニタex４０８で再生する構成も考えられる。このときセットトップボックスではなく、テレビ内に画像復号化装置を組み込んでも良い。また、アンテナex４１１を有する車ex４１２で衛星ex４１０からまたは基地局ex１０７等から信号を受信し、車ex４１２が有するカーナビゲーションex４１３等の表示装置に動画を再生することも可能である。
更に、画像信号を上記実施の形態で示した画像符号化装置で符号化し、記録媒体に記録することもできる。具体例としては、DVDディスクｅｘ４２１に画像信号を記録するDVDレコーダや、ハードディスクに記録するディスクレコーダなどのレコーダｅx４２０がある。更にSDカードｅｘ４２２に記録することもできる。レコーダｅｘ４２０が上記実施の形態で示した画像復号化装置を備えていれば、DVDディスクｅｘ４２１やSDカードｅｘ４２２に記録した画像信号を再生し、モニタｅｘ４０８で表示することができる。
なお、カーナビゲーションex４１３の構成は例えば図１５に示す構成のうち、カメラ部ex２０３とカメラインターフェース部ex３０３、画像符号化部ｅｘ３１２を除いた構成が考えられ、同様なことがコンピュータex１１１やテレビ（受信機）ex４０１等でも考えられる。
また、上記携帯電話ex１１４等の端末は、符号化器・復号化器を両方持つ送受信型の端末の他に、符号化器のみの送信端末、復号化器のみの受信端末の３通りの実装形式が考えられる。
なお、図１、図２に示したブロック図の各機能ブロックは典型的には集積回路装置であるＬＳＩとして実現される。このＬＳＩは１チップ化されても良いし、複数チップ化されても良い。（例えばメモリ以外の機能ブロックが１チップ化されていても良い。）ここでは、ＬＳＩとしたが、集積度の違いにより、ＩＣ、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。
集積回路化の手法はＬＳＩに限るものではなく、専用回路又は汎用プロセサで実現してもよい。ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（Field Programmable Gate Array）や、ＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用しても良い。
さらには、半導体技術の進歩又は派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。バイオ技術の適応等が可能性としてありえる。
また、各機能ブロックのうち、データを格納するユニットだけ１チップ化せずに、本実施形態の記録媒体１１５のように別構成としても良い。
なお、図１、２に示したブロック図の各機能ブロックおよび図７、８、１０〜１２に示したフローチャートにおいて、中心的な部分はプロセッサおよびプログラムによっても実現される。
このように、上記実施の形態で示した画像符号化方法あるいは画像復号化方法を上述したいずれの機器・システムに用いることは可能であり、そうすることで、上記実施の形態で説明した効果を得ることができる。
また、本発明はかかる上記実施形態に限定されるものではなく、本発明の範囲を逸脱することなく種々の変形または修正が可能である。
本発明は、画像を符号化又は復号化するする符号化装置、復号化装置に適しており、動画配信するウェブサーバー、それを受信するネットワーク端末、動画の記録再生可能なデジタルカメラ、カメラ付き携帯電話機、ＤＶＤ録画／再生機、ＰＤＡ、パーソナルコンピュータ等に適している。
図１は、本発明の符号化装置および復号化装置の概略構成を示すブロック図である。 図２は、符号化部１０１および付加情報生成部１０２の構成を示すブロック図である。 図３は、差分動きベクトルの説明図である。 図４Ａは、時空間画素補間による高解像度画像生成の説明図である。 図４Ｂは、時空間画素補間による高解像度画像生成の説明図である。 図５は、低解像度画像と高解像度画像の関連を示す図である。 図６Ａは、補間画像生成モードの符号を示す説明図である。 図６Ｂは、補間画像生成モードの符号を示す説明図である。 図７は、画像符号化処理を示すフローチャートである。 図８は、生成モード選択処理を示すフローチャートである。 図９Ａは、ストリームデータに関連付けられた付加情報のストリームフォーマットを示す説明図である。 図９Ｂは、ストリームデータに関連付けられた付加情報のストリームフォーマットを示す説明図である。 図１０は、復号化処理を示すフローチャートである。 図１１Ａは、図１０のＳ１０３における高解像度画像生成処理を示すフローチャートである。 図１１Ｂは、図１１ＡのステップＳ１１３に示した高解像度化処理をより詳細に示すフローチャートである。 図１１Ｃは、ＭＣ補間処理の説明図である。 図１１Ｄは、図１１ＢのステップＳ１２２に示したＭＣ補間処理をより詳細に示すフローチャートである。 図１１Ｅは、図１１ＢのステップＳ１２３に示したＭＣ−ＢＩＤ補間処理をより詳細に示すフローチャートである。 図１１Ｆは、図１１ＢのステップＳ１２４に示したＩＮＴＲＡ−ＭＣ混合補間処理をより詳細に示すフローチャートである。 図１２は、画像符号化処理の他の例を示すフローチャートである。 図１３Ａは、記録媒体本体であるフレキシブルディスクの物理フォーマットの例を示している。 図１３Ｂは、フレキシブルディスクの正面からみた外観、断面構造、及びフレキシブルディスクを示す。 図１３Ｃは、フレキシブルディスクＦＤに上記プログラムの記録再生を行うための構成を示す。 図１４は、コンテンツ配信サービスを実現するコンテンツ供給システムの全体構成を示すブロック図である。 図１５は、画像符号化方法と画像復号化方法を用いた携帯電話ex１１５を示す図である。 図１６は、携帯電話の外観を示す図である。 図１７は、ディジタル放送用システムを示す図である。
符号の説明
１ 符号化装置
２ 復号化装置
１００ 低解像度化部
１０１ 符号化部
１０２ 付加情報生成部
１０３ 復号化装置
２０１ 複合化部
２０２ 高解像度化部
ＨＶ１ 高解像度画像
ＬＶ１ 低解像度画像
ＬＶ２ 低解像度画像
ＨＶ２ 高解像度画像
ＬＶＳ 低解像度画像ビットストリーム
ＡＩ 付加情報
ＤＳＩ ダウンサンプリング情報
Ｐ１ パラメータ
Ｐ２ パラメータ
１１０ 減算器
１１１ 直交変換部
１１２ 量子化部
１１３ 可変長符号化部
１１４ 逆量子化部
１１５ 逆直交変換部
１１６ 加算器
１１７ 予測画像生成部
１１８ 動きベクトル検出部
１２１ 高解像度画像生成部
１２２ 動きベクトル検出部
１２３ 時空間補間画像生成部
１２４ 生成モード選択部
１２５ 可変長符号化部

Claims (17)

  1. 第１ビデオデータにおける画像の動きを示す動きベクトルを含む付加情報と、第１ビデオデータと同内容であって第１ビデオデータよりも解像度の低い第２ビデオデータの符号化データであるストリームデータとを取得する取得手段と、
    前記ストリームデータを第２ビデオデータの画像に復号化する復号化手段と、
    復号化された第２ビデオデータの画像に対して、前記付加情報に含まれる前記第１ビデオデータにおける画像の動きを示す動きベクトルを用いて補間することにより第１ビデオデータと同じ解像度の第３ビデオデータに変換する変換手段と
    を備えることを特徴とする復号化装置。
  2. 前記変換手段は、
    前記付加情報から動きベクトルを抽出する抽出手段と、
    復号化手段によって復号化された第２ビデオデータの画像に対して、当該画像の画素を用いて画素を補間する第１補間手段と、
    復号化手段によって復号化された第２ビデオデータの画像に対して、抽出された動きベクトルを用いて第２ビデオデータの画像に画素を補間する第２補間手段と、
    第１補間手段および第２補間手段を選択的に用いて、第３ビデオデータの画像を生成する生成手段と
    を備えることを特徴とする請求項１記載の復号化装置。
  3. 前記第２補間手段は、
    第３ビデオデータの変換済の画像と、変換対象の第３ビデオデータの画像とを保持するためのメモリ手段と、
    変換対象の第３ビデオデータの画像における補間すべき画素位置を特定する第１特定手段と、
    変換済の第３ビデオデータの画像において、第１特定手段に特定された画素位置に対応する画素を動きベクトルに従って特定する第２特定手段と、
    第２特定手段によって特定された画素の値を読み出す読み出し手段と、
    読み出し手段によって読み出された画素の値に従って、第１特定手段によって特定された画素位置に補間画素の値を書き込む書き込み手段と
    を備えることを特徴とする請求項２記載の復号化装置。
  4. 前記付加情報は、第１ビデオデータを構成するブロック単位に動きベクトルを含み、
    前記第１特定手段は、ブロック内の補間すべき画素位置を特定し、
    前記第２特定手段は、ブロック単位の動きベクトルに従って、第１特定手段に特定された画素位置に対応する画素を特定する
    ことを特徴とする請求項３記載の復号化装置。
  5. 前記付加情報は、第１ビデオデータを構成するブロック単位に２つの動きベクトルを含み、
    前記第２特定手段は、変換済の第３ビデオデータの２つの画像において、第１特定手段に特定された画素位置に対応する２つの画素を２つの動きベクトルに従って特定し、
    前記読み出し手段は、第２特定手段によって特定された２つの画素の値を読み出し
    前記書き込み手段は、読み出し手段によって読み出された２つの画素の値に基づいて、前記補間画素の値を算出する
    ことを特徴とする請求項３記載の復号化装置。
  6. 前記生成手段は、第２ビデオデータの画像が画像内符号化されている場合には、第１補間手段を用いて、当該画像から第３ビデオデータの画像を生成し、
    第２ビデオデータの画像が画像間予測符号化されている場合には、第２補間手段を用いて、当該画像から第３ビデオデータの画像を生成する
    ことを特徴とする請求項３記載の復号化装置。
  7. 第１ビデオデータにおける画像の動きを示す動きベクトルを含む付加情報と、第１ビデオデータと同内容であって第１ビデオデータよりも解像度の低い第２ビデオデータの符号化データであるストリームデータとを取得し、
    前記ストリームデータを第２ビデオデータの画像に復号化し、
    復号化された第２ビデオデータの画像を、前記付加情報に含まれる前記第１ビデオデータにおける画像の動きを示す動きベクトルを用いて補間することにより第１ビデオデータと同じ解像度の第３ビデオデータに変換する
    ことを特徴とする復号化方法。
  8. 第２ビデオデータから第３ビデオデータへの前記変換において、
    前記付加情報から動きベクトルを抽出し、
    第１補間法および第２補間法の何れかを選択し、
    第１補間法が選択された場合に、復号化された第２ビデオデータの画像に対して、当該画像の画素を用いて画素を補間し、
    第２補間法が選択された場合に、復号化された第２ビデオデータの画像に対して、抽出された動きベクトルを用いて第２ビデオデータの画像に画素を補間する
    ことを特徴とする請求項７記載の復号化方法。
  9. 前記第２補間法による補間において、
    第３ビデオデータの変換済の画像と変換対象の第３ビデオデータの画像とを保持するためのメモリを参照することにより、変換対象の第３ビデオデータの画像における補間すべき画素位置を特定し、
    変換済の第３ビデオデータの画像において、特定された画素位置に対応する画素を動きベクトルに従って特定し、
    特定された画素の値を読み出し、
    読み出された画素の値に従って、特定された画素位置に補間画素の値を書き込む
    ことを特徴とする請求項８記載の復号化方法。
  10. 前記付加情報は、第１ビデオデータを構成するブロック単位に動きベクトルを含み、
    前記画素位置は、ブロック毎に特定され、
    特定された画素位置に対応する、変換済の第３ビデオデータの画像における画素は、ブロック単位の動きベクトルに従って、特定される
    ことを特徴とする請求項９記載の復号化方法。
  11. 前記付加情報は、第１ビデオデータを構成するブロック単位に２つの動きベクトルを含み、
    前記画素位置は、ブロック毎に特定され、
    特定された画素位置に対応する、変換済の第３ビデオデータの画像における２つの画素は、２つの動きベクトルに従って、特定され、
    ２つの画素の値に基づいて、前記補間画素の値が算出される
    ことを特徴とする請求項９記載の復号化方法。
  12. 前記第１補間法または第２補間法の選択において、
    第２ビデオデータの画像が画像内符号化されている場合には、第１補間法を選択し、
    第２ビデオデータの画像が画像間予測符号化されている場合には、第２補間法を選択する
    ことを特徴とする請求項９記載の復号化方法。
  13. 第１ビデオデータを、第１ビデオデータのよりも低い解像度の第２ビデオデータに変換する変換手段と、
    第２ビデオデータをストリームデータに符号化する符号化手段と、
    第１ビデオデータの動きを示し、第２ビデオデータの画像に画素を補間するための付加情報を生成する生成手段と、
    第１ビデオデータの画素値を示す符号を出力することなく、前記ストリームデータと、前記第１ビデオデータにおける画像の動きを示す動きベクトルを含む前記付加情報とを出力する出力手段と
    を備えることを特徴とする画像符号化装置。
  14. 第１ビデオデータを、第１ビデオデータのよりも低い解像度の第２ビデオデータに変換し、
    第２ビデオデータをストリームデータに符号化し、
    第１ビデオデータの動きを示し、第２ビデオデータの画像に画素を補間するための付加情報を生成し、
    第１ビデオデータの画素値を示す符号を出力することなく、前記ストリームデータと、前記第１ビデオデータにおける画像の動きを示す動きベクトルを含む前記付加情報とを出力する
    ことを特徴とする画像符号化方法。
  15. コンピュータ読み取り可能なプログラムであって、
    第１ビデオデータにおける画像の動きを示す動きベクトルを含む付加情報と、第１ビデオデータと同内容であって第１ビデオデータよりも解像度の低い第２ビデオデータの符号化データであるストリームデータとを取得する取得手段、
    前記ストリームデータを第２ビデオデータの画像に復号化する復号化手段、及び
    復号化された第２ビデオデータの画像に対して、前記付加情報に含まれる前記第１ビデオデータにおける画像の動きを示す動きベクトルを用いて補間することにより第１ビデオデータと同じ解像度の第３ビデオデータに変換する変換手段、
    としてコンピュータを機能させることを特徴とするプログラム。
  16. コンピュータ読み取り可能なプログラムであって、
    第１ビデオデータを、第１ビデオデータのよりも低い解像度の第２ビデオデータに変換する変換手段、
    第２ビデオデータをストリームデータに符号化する符号化手段、
    第１ビデオデータの動きを示し、第２ビデオデータの画像に画素を補間するための付加情報を生成する生成手段、及び
    第１ビデオデータの画素値を示す符号を出力することなく、前記ストリームデータと、前記第１ビデオデータにおける画像の動きを示す動きベクトルを含む前記付加情報とを出力する出力手段、
    としてコンピュータを機能させることを特徴とするプログラム。
  17. 第１ビデオデータにおける画像の動きを示す動きベクトルを含む付加情報と、第１ビデオデータと同内容であって第１ビデオデータよりも解像度の低い第２ビデオデータの符号化データであるストリームデータとを取得する取得手段と、
    前記ストリームデータを第２ビデオデータの画像に復号化する復号化手段と、
    復号化された第２ビデオデータの画像に対して、付加情報に含まれる前記第１ビデオデータにおける画像の動きを示す動きベクトルを用いて補間することにより第１ビデオデータと同じ解像度の第３ビデオデータに変換する変換手段と
    を備えることを特徴とする半導体装置。
JP2006532683A 2004-08-30 2005-08-29 復号化装置、符号化装置、復号化方法、符号化方法 Active JP4949028B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP04020569A EP1631089A1 (en) 2004-08-30 2004-08-30 Video coding apparatus and decoding apparatus
EP04020569.2 2004-08-30
PCT/JP2005/015679 WO2006025339A1 (ja) 2004-08-30 2005-08-29 復号化装置、符号化装置、復号化方法、符号化方法

Publications (2)

Publication Number Publication Date
JPWO2006025339A1 JPWO2006025339A1 (ja) 2008-05-08
JP4949028B2 true JP4949028B2 (ja) 2012-06-06

Family

ID=34926354

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006532683A Active JP4949028B2 (ja) 2004-08-30 2005-08-29 復号化装置、符号化装置、復号化方法、符号化方法

Country Status (4)

Country Link
US (1) US8208549B2 (ja)
EP (2) EP1631089A1 (ja)
JP (1) JP4949028B2 (ja)
WO (1) WO2006025339A1 (ja)

Families Citing this family (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4529874B2 (ja) * 2005-11-07 2010-08-25 ソニー株式会社 記録再生装置および記録再生方法、記録装置および記録方法、再生装置および再生方法、並びにプログラム
GB2449631B (en) * 2007-05-21 2012-02-15 Doo Technologies Fze Method and system for processing of images
JP4518111B2 (ja) * 2007-07-13 2010-08-04 ソニー株式会社 映像処理装置、映像処理方法、及びプログラム
AU2007237313A1 (en) * 2007-12-03 2009-06-18 Canon Kabushiki Kaisha Improvement for error correction in distributed vdeo coding
AU2007242924A1 (en) * 2007-12-12 2009-07-02 Canon Kabushiki Kaisha Improvement for error correction in distributed video coding
KR100939917B1 (ko) 2008-03-07 2010-02-03 에스케이 텔레콤주식회사 움직임 예측을 통한 부호화 시스템 및 움직임 예측을 통한부호화 방법
US8274603B2 (en) * 2008-03-28 2012-09-25 Microsoft Corporation Choosing video deinterlacing interpolant based on cost
JP5105179B2 (ja) * 2008-04-04 2012-12-19 富士フイルム株式会社 画像処理システム、画像処理方法、およびプログラム
JP5337969B2 (ja) * 2008-04-08 2013-11-06 富士フイルム株式会社 画像処理システム、画像処理方法、およびプログラム
US8447128B2 (en) 2008-04-07 2013-05-21 Fujifilm Corporation Image processing system
US20090304293A1 (en) * 2008-06-08 2009-12-10 Te-Hao Chang Motion estimation method and related apparatus for efficiently selecting motion vector
US8755515B1 (en) 2008-09-29 2014-06-17 Wai Wu Parallel signal processing system and method
US8121830B2 (en) * 2008-10-24 2012-02-21 The Nielsen Company (Us), Llc Methods and apparatus to extract data encoded in media content
US8359205B2 (en) 2008-10-24 2013-01-22 The Nielsen Company (Us), Llc Methods and apparatus to perform audio watermarking and watermark detection and extraction
US9667365B2 (en) 2008-10-24 2017-05-30 The Nielsen Company (Us), Llc Methods and apparatus to perform audio watermarking and watermark detection and extraction
US8667162B2 (en) * 2008-12-31 2014-03-04 Industrial Technology Research Institute Method, apparatus and computer program product for providing a mobile streaming adaptor
US8520736B2 (en) * 2009-04-14 2013-08-27 Fastvdo, Llc Real-time superresolution and video transmission
WO2010127268A1 (en) 2009-05-01 2010-11-04 The Nielsen Company (Us), Llc Methods, apparatus and articles of manufacture to provide secondary content in association with primary broadcast media content
JP5184447B2 (ja) * 2009-06-22 2013-04-17 株式会社Ｋｄｄｉ研究所 動画像符号化装置および復号装置
US9813707B2 (en) 2010-01-22 2017-11-07 Thomson Licensing Dtv Data pruning for video compression using example-based super-resolution
EP2526698A1 (en) * 2010-01-22 2012-11-28 Thomson Licensing Methods and apparatus for sampling -based super resolution video encoding and decoding
US8548062B2 (en) * 2010-07-16 2013-10-01 Sharp Laboratories Of America, Inc. System for low resolution power reduction with deblocking flag
WO2012033971A1 (en) 2010-09-10 2012-03-15 Thomson Licensing Recovering a pruned version of a picture in a video sequence for example - based data pruning using intra- frame patch similarity
WO2012033972A1 (en) 2010-09-10 2012-03-15 Thomson Licensing Methods and apparatus for pruning decision optimization in example-based data pruning compression
TWI606418B (zh) * 2012-09-28 2017-11-21 輝達公司 圖形處理單元驅動程式產生內插的圖框之電腦系統及方法
US20150350565A1 (en) * 2014-05-29 2015-12-03 Opentv, Inc. Techniques for magnifying a high resolution image
EP3086562B1 (en) 2015-04-23 2017-05-24 Axis AB Method and device for processing a video stream in a video camera
CN112313938B (zh) * 2018-07-10 2022-06-21 奥林巴斯株式会社 摄像装置、图像校正方法以及计算机可读记录介质
EP3648059B1 (en) * 2018-10-29 2021-02-24 Axis AB Video processing device and method for determining motion metadata for an encoded video
US11381867B2 (en) * 2019-01-08 2022-07-05 Qualcomm Incorporated Multiple decoder interface for streamed media data
CN115361582B (zh) * 2022-07-19 2023-04-25 鹏城实验室 一种视频实时超分辨率处理方法、装置、终端及存储介质

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2540809B2 (ja) 1986-07-30 1996-10-09 ソニー株式会社 高能率符号化装置
JP3189258B2 (ja) 1993-01-11 2001-07-16 ソニー株式会社 画像信号符号化方法および画像信号符号化装置、並びに画像信号復号化方法および画像信号復号化装置
DE69426584T2 (de) * 1993-08-06 2001-06-13 Lg Electronics Inc Einrichtung zur Umsetzung der Vollbildfrequenz
US5569520A (en) * 1994-01-12 1996-10-29 Martin Marietta Energy Systems, Inc. Rechargeable lithium battery for use in applications requiring a low to high power output
US5621467A (en) * 1995-02-16 1997-04-15 Thomson Multimedia S.A. Temporal-spatial error concealment apparatus and method for video signal processors
JPH10126749A (ja) * 1996-10-14 1998-05-15 Toshiba Corp 順次走査変換装置
EP0961991B1 (en) * 1997-12-22 2004-06-16 Koninklijke Philips Electronics N.V. Method and arrangement for creating a high-resolution still picture
EP1084577A1 (en) 1998-04-03 2001-03-21 Miranda Technologies Inc. Hdtv up converter
US6192079B1 (en) * 1998-05-07 2001-02-20 Intel Corporation Method and apparatus for increasing video frame rate
JP2000036963A (ja) 1998-07-17 2000-02-02 Sony Corp 画像符号化装置、画像符号化方法および画像復号化装置
US6300973B1 (en) * 2000-01-13 2001-10-09 Meir Feder Method and system for multimedia communication control
US6510177B1 (en) * 2000-03-24 2003-01-21 Microsoft Corporation System and method for layered video coding enhancement
JP4765194B2 (ja) * 2001-05-10 2011-09-07 ソニー株式会社 動画像符号化装置、動画像符号化方法、動画像符号化プログラム格納媒体及び動画像符号化プログラム
US7088780B2 (en) * 2001-05-11 2006-08-08 Mitsubishi Electric Research Labs, Inc. Video transcoder with drift compensation
US6612153B2 (en) * 2001-06-05 2003-09-02 Agilent Technologies, Inc. Planar manifold with integrated heated injector inlet and unheated pneumatics
JP2003134476A (ja) * 2001-10-24 2003-05-09 Hitachi Ltd 走査変換処理装置
CN1253008C (zh) * 2001-10-26 2006-04-19 皇家飞利浦电子股份有限公司 空间可分级压缩的方法和设备
JP4015934B2 (ja) * 2002-04-18 2007-11-28 株式会社東芝 動画像符号化方法及び装置
US20040131122A1 (en) * 2002-12-09 2004-07-08 Kei Kudo Encoding device and encoding method
CN1751519A (zh) * 2003-02-17 2006-03-22 皇家飞利浦电子股份有限公司 视频编码

Also Published As

Publication number Publication date
EP1788817A1 (en) 2007-05-23
JPWO2006025339A1 (ja) 2008-05-08
US20080117975A1 (en) 2008-05-22
US8208549B2 (en) 2012-06-26
EP1631089A1 (en) 2006-03-01
WO2006025339A1 (ja) 2006-03-09
EP1788817A4 (en) 2009-07-01

Similar Documents

Publication Publication Date Title
JP4949028B2 (ja) 復号化装置、符号化装置、復号化方法、符号化方法
JP4594201B2 (ja) 画像符号化方法、画像符号化装置、プログラムおよび集積回路
KR100967237B1 (ko) 동화상 부호화 방법 및 동화상 복호화 방법
KR100985236B1 (ko) 움직임 보상 방법, 화상 부호화 방법 및 화상 복호화 방법
KR100976672B1 (ko) 동화상 부호화 방법 및 동화상 복호화 방법
JP4130783B2 (ja) 動きベクトル符号化方法および動きベクトル復号化方法
WO2004008773A1 (ja) フィルタリング強度の決定方法、動画像符号化方法、および動画像復号化方法
JP4313710B2 (ja) 画像符号化方法および画像復号化方法
JP4641995B2 (ja) 画像符号化方法および画像符号化装置
JP2005303994A (ja) 動画符号化装置
JP4519676B2 (ja) 動き検出方法および動画像符号化方法
JP2004215215A (ja) 動きベクトル検出方法
JP4580901B2 (ja) フィルタリング強度の決定方法、動画像符号化方法、および動画像復号化方法
JP2004040512A (ja) 画像符号化方法および画像復号方法
JP2005341545A (ja) 動画像符号化方法、動画像復号方法、動画像符号化装置、動画像復号装置、動画像符号化プログラムおよび動画像復号プログラム
JP4406239B2 (ja) 動き補償方法および動き補償装置
JP4503959B2 (ja) 画像符号化方法
JP4580903B2 (ja) フィルタリング強度の決定方法、動画像符号化方法、および動画像復号化方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20080801

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110308

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110509

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20111129

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120120

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120214

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120307

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150316

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 4949028

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

S131 Request for trust registration of transfer of right

Free format text: JAPANESE INTERMEDIATE CODE: R313133

SZ02 Written request for trust registration

Free format text: JAPANESE INTERMEDIATE CODE: R313Z02

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250