JP4561401B2 - データ変換装置および方法、データ逆変換装置および方法、情報処理システム、記録媒体、並びにプログラム - Google Patents

データ変換装置および方法、データ逆変換装置および方法、情報処理システム、記録媒体、並びにプログラム Download PDF

Info

Publication number
JP4561401B2
JP4561401B2 JP2005049954A JP2005049954A JP4561401B2 JP 4561401 B2 JP4561401 B2 JP 4561401B2 JP 2005049954 A JP2005049954 A JP 2005049954A JP 2005049954 A JP2005049954 A JP 2005049954A JP 4561401 B2 JP4561401 B2 JP 4561401B2
Authority
JP
Japan
Prior art keywords
block
data
unit
analysis
conversion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2005049954A
Other languages
English (en)
Other versions
JP2006238069A (ja
JP2006238069A5 (ja
Inventor
哲二郎 近藤
左近 山元
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2005049954A priority Critical patent/JP4561401B2/ja
Publication of JP2006238069A publication Critical patent/JP2006238069A/ja
Publication of JP2006238069A5 publication Critical patent/JP2006238069A5/ja
Application granted granted Critical
Publication of JP4561401B2 publication Critical patent/JP4561401B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Television Signal Processing For Recording (AREA)

Description

本発明は、データ変換装置および方法、データ逆変換装置および方法、情報処理システムおよび方法、記録媒体、並びにプログラムに関し、特に、画像が表示されなくなったり、回路規模の増大を招いたりといった不都合を発生させることなく、２回目以降の符号化や復号では画像データを著しく劣化させることで、アナログ画像信号を利用した不正コピーを防止することができるようにした、データ変換装置および方法、データ逆変換装置および方法、情報処理システムおよび方法、記録媒体、並びにプログラムに関する。
図１は、従来の画像表示システムの構成例を示している。この画像表示システムは、再生装置１と表示装置２とから構成されている。
再生装置１は、復号部１１とD/A変換部１２とから構成されている。復号部１１は、図示せぬ光ディスク等の記録媒体から再生された符号化デジタル画像信号を復号し、その結果得られるデジタル画像信号Vdg0をD/A変換部１２に供給する。D/A変換部１２は、このデジタル画像信号Vdg0をD/A（Digital-to-Analog）変換し、その結果得られるアナログ画像信号Vanを外部に出力する。即ち、アナログ画像信号Vanは、再生装置１から出力されて表示装置２に供給される。
表示装置２は、例えばCRT(Cathode-Ray Tube)ディスプレイやLCD(Liquid Crystal Display)等で構成され、再生装置１から供給されたアナログ画像信号Vanに対応する画像を表示する。
また、従来、図１に示されるような、A/D変換部２１、符号化部２２、および記録部２３から構成される符号化装置３が存在する。この符号化装置３と、再生装置１から出力されたアナログ画像信号Vanとを利用することで、不正コピーが行われるおそれがある。
即ち、再生装置１から出力されたアナログ画像信号Vanが符号化装置３に入力されてしまうと、A/D変換部２１は、そのアナログ画像信号VanをA/D（Analog-to-Digital）変換し、その結果得られるデジタル画像信号Vdg’を符号化部２２に供給する。符号化部２２は、そのデジタル画像信号Vdg’を符号化し、その結果得られる符号化デジタル画像信号Vcd’を記録部２３に供給する。記録部２３は、その符号化デジタル画像信号Vcd’を、図示せぬ光ディスク等の記録媒体に記録する。このようにして、不正コピーが行われてしまう。
そこで、特許文献１には、このようなアナログ画像信号Vanを利用した不正コピーを防止するために、著作権保護がなされているアナログ画像信号Vanをスクランブル処理して出力するか、或いはその出力を禁止する、といった手法が開示されている。
また、特許文献２には、再生側と記録側とのうちのいずれか一方もしくは両方の圧縮復号部に雑音情報発生部を設け、１回の処理では画像再生時に識別できない程度の雑音情報をデジタル画像信号に埋め込むことにより、コピー自体は可能とするが、複数回コピーを繰り返すと画像が著しく劣化し、これによって実質的にコピーの回数を制限する、といった手法が開示されている。
しかしながら、特許文献１の手法では、上述したように、再生装置１から出力されたアナログ画像信号Vanをスクランブル処理して出力するか或いはその出力を禁止するので、不正コピーの防止自体は図れるが、一方、表示装置２に正常な画像が表示されなくなるという問題点を有している。
また、特許文献２の手法では、再生側または記録側に、雑音情報発生部とこれを埋め込むための回路を搭載することが必須となり、回路規模が増大してしまうという問題点を有している。
即ち、特許文献１や特許文献２等の手法では、アナログ画像信号Vanを利用した不正コピーの防止自体は図られるが、その副作用として、表示装置２に適切な画像が表示されなくなったり、回路規模の増大を招いたりといった不都合が発生してしまう、という問題点が存在する。
そこで、画像が表示されなくなることや回路規模の増大を招くこと等の不都合を発生することなく、アナログ画像信号を利用した不正コピーを防止する手法が、本出願人により提案されている（例えば、特許文献３参照）。
そこで、画像が表示されなくなることや回路規模の増大を招くこと等の不都合を発生することなく、アナログ画像信号を利用した不正コピーを防止する手法が、本出願人により提案されている（例えば、特許文献３参照）。
即ち、特許文献３の手法とは、アナログ画像信号をA/D変換することにより得られるデジタル画像信号の位相ズレに着目し、そのデジタル画像信号に対して位相ズレに着目した符号化を行うことによってコピー前の画像の質を落とさずに、良好な質を維持したままでのコピーを不可能とし、これによりアナログ画像信号を利用した不正コピーを防止する、という手法である。
特開２００１−２４５２７０号公報 特開平１０−２８９５２２号公報 特開２００４−２８９６８５号公報
このように、特許文献３の手法を適用することで、不正コピーを防止することが可能になった。しかしながら、デジタルコンテンツの流通が一般的になっている近年においては、特許文献３の他にも、不正コピーを防止するための別の手法の提案が要請されている。
本発明は、このような状況に鑑みてなされたものであり、画像が表示されなくなったり、回路規模の増大を招いたりといった不都合を発生させることなく、２回目以降の符号化や復号では画像データを著しく劣化させることで、アナログ画像信号を利用した不正コピーを防止するようにするものであって、特許文献３の手法とは異なる手法を提案するものである。
本発明の第１の側面のデータ変換装置は、少なくとも第１のアクセスユニットと第２のアクセスユニットから構成される入力データのうちの前記第１のアクセスユニットを、１以上の第１のブロックに分割する設定手段と、前記設定手段により設定された１以上の前記第１のブロックのそれぞれを処理対象に１つずつ順次設定し、前記処理対象の前記第１のブロックについての、前記第２のアクセスユニットに対する前記動きベクトルを推定する動きベクトル推定手段と、前記第２のアクセスユニットにおける、前記処理対象の前記第１のブロックの位置から、前記処理対象の前記第１のブロックについての前記動きベクトルに対応する分だけ離間している第２のブロックを分析領域として抽出し、抽出された前記第２のブロックを複数の分析データに分割し、複数の前記分析データを対象とする主成分分析を行うことで、前記処理対象の前記第１のブロックの表現形式を変換するための基底を分析領域毎に個別に生成する分析手段と、生成された分析領域毎の前記基底のうちの所定の１つを利用して、前記処理対象の前記第１のブロックの表現形式を変換した出力データを生成する変換手段とを備えることを特徴とする。
前記出力データと、前記出力データが生成されたとき前記変換手段により利用された前記基底とを対応付けて重畳し、その結果得られるデータを出力する出力手段をさらに設けることができる。
前記変換手段には、前記処理対象の前記第１のブロックを構成する複数の小ブロックのそれぞれの表現形式を変換することで、前記出力データを生成させることができる。
前記処理対象の前記第１のブロックと前記第２のブロックとの差分を算出することで差分ブロックを生成する差分ブロック生成手段をさらに設け、前記変換手段には、前記処理対象の前記差分ブロックを構成する複数の小ブロックのそれぞれの表現形式を変換することで、前記出力データを生成させることができる。
データに対してアナログ歪みを生じさせるアナログ歪み生成手段をさらに設け、前記アナログ歪み生成手段によりアナログノイズが付加されたデータが、前記入力データとして前記設定手段に入力されるようにすることができる。
本発明の第１の側面のデータ変換方法は、少なくとも第１のアクセスユニットと第２のアクセスユニットから構成される入力データのうちの少なくとも一部の表現形式を変換するデータ変換装置のデータ変換方法であって、前記第１のアクセスユニットを、１以上の第１のブロックに分割する設定ステップと、前記設定ステップの処理により設定された１以上の前記第１のブロックのそれぞれを処理対象に１つずつ順次設定し、前記処理対象の前記第１のブロックについての、前記第２のアクセスユニットに対する前記動きベクトルを推定する動きベクトル推定ステップと、前記第２のアクセスユニットにおける、前記処理対象の前記第１のブロックの位置から、前記処理対象の前記第１のブロックについての前記動きベクトルに対応する分だけ離間している第２のブロックを分析領域として抽出し、抽出された前記第２のブロックを複数の分析データに分割し、複数の前記分析データを対象とする主成分分析を行うことで、前記処理対象の前記第１のブロックの表現形式を変換するための基底を分析領域毎に個別に生成する分析ステップと、生成された分析領域毎の前記基底のうちの所定の１つを利用して、前記処理対象の前記第１のブロックの表現形式を変換した出力データを生成する変換ステップとを含むことを特徴とする。
本発明の第１の側面の記録媒体は、少なくとも第１のアクセスユニットと第２のアクセスユニットから構成される入力データのうちの少なくとも一部の表現形式を変換する装置を制御するコンピュータに、前記第１のアクセスユニットを、１以上の第１のブロックに分割する設定ステップと、前記設定ステップの処理により設定された１以上の前記第１のブロックのそれぞれを処理対象に１つずつ順次設定し、前記処理対象の前記第１のブロックについての、前記第２のアクセスユニットに対する前記動きベクトルを推定する動きベクトル推定ステップと、前記第２のアクセスユニットにおける、前記処理対象の前記第１のブロックの位置から、前記処理対象の前記第１のブロックについての前記動きベクトルに対応する分だけ離間している第２のブロックを分析領域として抽出し、抽出された前記第２のブロックを複数の分析データに分割し、複数の前記分析データを対象とする主成分分析を行うことで、前記処理対象の前記第１のブロックの表現形式を変換するための基底を分析領域毎に個別に生成する分析ステップと、生成された分析領域毎の前記基底のうちの所定の１つを利用して、前記処理対象の前記第１のブロックの表現形式を変換した出力データを生成する変換ステップとを含む処理を実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体である。
本発明の第１の側面のプログラムは、少なくとも第１のアクセスユニットと第２のアクセスユニットから構成される入力データのうちの少なくとも一部の表現形式を変換する装置を制御するコンピュータに、前記第１のアクセスユニットを、１以上の第１のブロックに分割する設定ステップと、前記設定ステップの処理により設定された１以上の前記第１のブロックのそれぞれを処理対象に１つずつ順次設定し、前記処理対象の前記第１のブロックについての、前記第２のアクセスユニットに対する前記動きベクトルを推定する動きベクトル推定ステップと、前記第２のアクセスユニットにおける、前記処理対象の前記第１のブロックの位置から、前記処理対象の前記第１のブロックについての前記動きベクトルに対応する分だけ離間している第２のブロックを分析領域として抽出し、抽出された前記第２のブロックを複数の分析データに分割し、複数の前記分析データを対象とする主成分分析を行うことで、前記処理対象の前記第１のブロックの表現形式を変換するための基底を分析領域毎に個別に生成する分析ステップと、生成された分析領域毎の前記基底のうちの所定の１つを利用して、前記処理対象の前記第１のブロックの表現形式を変換した出力データを生成する変換ステップとを含む処理を実行させるためのものである。
本発明の第１の側面においては、第１のアクセスユニットが、１以上の第１のブロックに分割され、１以上の第１のブロックのそれぞれが処理対象として１つずつ順次設定され、処理対象の第１のブロックについての、第２のアクセスユニットに対する動きベクトルが推定され、第２のアクセスユニットにおける、処理対象の第１のブロックの位置から、処理対象の第１のブロックについての動きベクトルに対応する分だけ離間している第２のブロックが分析領域として抽出され、抽出された第２のブロックが複数の分析データに分割され、複数の分析データを対象とする主成分分析を行うことで、処理対象の第１のブロックの表現形式を変換するための基底が分析領域毎に個別に生成され、生成された分析領域毎の基底のうちの所定の１つを利用して、処理対象の第１のブロックの表現形式が変換された出力データが生成される。
本発明の第２の側面のデータ逆変換装置は、少なくとも第１のアクセスユニットと第２のアクセスユニットから構成されるデータが元データとされて、前記第１のアクセスユニットから、第１のブロックが１以上設定され、設定された１以上の前記第１のブロックのそれぞれが処理対象に１つずつ順次設定され、前記処理対象の前記第１のブロックについての、前記第２のアクセスユニットに対する動きベクトルが推定され、前記第２のアクセスユニットにおける、前記処理対象の前記第１のブロックの位置から前記動きベクトルに対応する分だけ離間している第２のブロックが分析領域として設定され、前記処理対象の前記第第１のブロックの表現形式を変換するための基底が、前記第２のブロックを複数の分析データに分割し、複数の前記分析データを対象とする主成分分析を行うことで、分析領域毎に個別に生成され、生成された分析領域毎の前記基底のうちの所定の１つが利用されて、前記処理対象の前記第第１のブロックの表現形式が変換されて生成された変換データが、そのとき利用された前記基底と対応付けられて重畳されたデータが、入力データのうちの少なくとも一部として入力されるデータ逆変換装置であって、前記入力データから、前記変換データと前記基底を分離する分離手段と、前記分離手段により前記入力データから分離された前記変換データを、分離された前記基底を利用して表現形式を逆変換することにより、前記第１のブロックを生成する逆変換手段とを備えることを特徴とする。
前記変換データが生成されるときに利用された前記基底の代わりに、その基底を生成するために必要な情報である基底生成用情報が重畳されたデータが、前記入力データのうちの少なくとも一部として入力される場合には、前記分離手段には、前記変換データと前記基底生成用情報とを分離させ、分離された前記基底生成用情報を利用して、前記変換データが生成されるときに利用された前記基底を生成する基底生成手段をさらに設けることができる。
前記変換データは、前記第１のブロックを複数の小ブロックに分割し、その小ブロックのそれぞれの表現形式が変換されたものであり、前記逆変換手段には、前記複数の小ブロックのそれぞれの表現形式を、分離して得られた前記基底を利用して逆変換することにより、前記第１のブロックを生成させることができる。
前記変換データは、前記第１のブロックの前記動きベクトルに対応する分だけ離間している前記第２のアクセスユニットの第２のブロックと、前記第１のブロックとの差分である差分ブロックを複数の小ブロックに分割し、その小ブロックのそれぞれの表現形式が変換されたものであり、前記逆変換手段には、前記複数の小ブロックのそれぞれの表現形式を、分離して得られた前記基底を利用して逆変換することにより、前記第１のブロックを生成させることができる。
前記元データにはアナログ歪みが生じているようにすることができる。
本発明の第２の側面のデータ逆変換方法は、少なくとも第１のアクセスユニットと第２のアクセスユニットから構成されるデータが元データとされて、前記第１のアクセスユニットから、第１のブロックが１以上設定され、設定された１以上の前記第１のブロックのそれぞれが処理対象に１つずつ順次設定され、前記処理対象の前記第１のブロックについての、前記第２のアクセスユニットに対する動きベクトルが推定され、前記第２のアクセスユニットにおける、前記処理対象の前記第１のブロックの位置から前記動きベクトルに対応する分だけ離間している第２のブロックが分析領域として設定され、前記処理対象の前記第第１のブロックの表現形式を変換するための基底が、前記第２のブロックを複数の分析データに分割し、複数の前記分析データを対象とする主成分分析を行うことで、分析領域毎に個別に生成され、生成された分析領域毎の前記基底のうちの所定の１つが利用されて、前記処理対象の前記第第１のブロックの表現形式が変換されて生成された変換データが、そのとき利用された前記基底と対応付けられて重畳されたデータが、入力データのうちの少なくとも一部として入力されるデータ逆変換装置のデータ逆変換方法であって、前記入力データから、前記変換データと前記基底を分離する分離ステップと、前記分離ステップの処理により前記入力データから分離された前記変換データを、分離された前記基底を利用して表現形式を逆変換することにより、前記第１のブロックを生成する逆変換ステップとを含むことを特徴とする。
本発明の第２の側面の記録媒体は、少なくとも第１のアクセスユニットと第２のアクセスユニットから構成されるデータが元データとされて、前記第１のアクセスユニットから、第１のブロックが１以上設定され、設定された１以上の前記第１のブロックのそれぞれが処理対象に１つずつ順次設定され、前記処理対象の前記第１のブロックについての、前記第２のアクセスユニットに対する動きベクトルが推定され、前記第２のアクセスユニットにおける、前記処理対象の前記第１のブロックの位置から前記動きベクトルに対応する分だけ離間している第２のブロックが分析領域として設定され、前記処理対象の前記第第１のブロックの表現形式を変換するための基底が、前記第２のブロックを複数の分析データに分割し、複数の前記分析データを対象とする主成分分析を行うことで、分析領域毎に個別に生成され、生成された分析領域毎の前記基底のうちの所定の１つが利用されて、前記処理対象の前記第第１のブロックの表現形式が変換されて生成された変換データが、そのとき利用された前記基底と対応付けられて重畳されたデータが、入力データのうちの少なくとも一部として入力される装置を制御するコンピュータに、記入力データから、前記変換データと前記基底を分離する分離ステップと、前記分離ステップの処理により前記入力データから分離された前記変換データを、分離された前記基底を利用して表現形式を逆変換することにより、前記第１のブロックを生成する逆変換ステップとを含む処理を実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体である。
本発明の第２の側面のプログラムは、少なくとも第１のアクセスユニットと第２のアクセスユニットから構成されるデータが元データとされて、前記第１のアクセスユニットから、第１のブロックが１以上設定され、設定された１以上の前記第１のブロックのそれぞれが処理対象に１つずつ順次設定され、前記処理対象の前記第１のブロックについての、前記第２のアクセスユニットに対する動きベクトルが推定され、前記第２のアクセスユニットにおける、前記処理対象の前記第１のブロックの位置から前記動きベクトルに対応する分だけ離間している第２のブロックが分析領域として設定され、前記処理対象の前記第第１のブロックの表現形式を変換するための基底が、前記第２のブロックを複数の分析データに分割し、複数の前記分析データを対象とする主成分分析を行うことで、分析領域毎に個別に生成され、生成された分析領域毎の前記基底のうちの所定の１つが利用されて、前記処理対象の前記第第１のブロックの表現形式が変換されて生成された変換データが、そのとき利用された前記基底と対応付けられて重畳されたデータが、入力データのうちの少なくとも一部として入力される装置を制御するコンピュータに、前記入力データから、前記変換データと前記基底を分離する分離ステップと、前記分離ステップの処理により前記入力データから分離された前記変換データを、分離された前記基底を利用して表現形式を逆変換することにより、前記第１のブロックを生成する逆変換ステップとを含む処理を実行させるためのプログラムである。
本発明の第２の側面においては、入力データから、変換データと基底が分離され、分離された変換データが、分離された基底を利用して表現形式を逆変換することにより、第１のブロックが生成される。
本発明の第３の側面の情報処理システムは、画像データの表現形式を変換する変換部と、前記画像データの、前記変換部により変換された表現形式を逆変換する逆変換部とを構成要素として含む情報処理システムにおいて、前記変換部は、前記設定手段により設定された１以上の前記第１のブロックのそれぞれを処理対象に１つずつ順次設定し、前記処理対象の前記第１のブロックについての、前記第２のアクセスユニットに対する前記動きベクトルを推定する動きベクトル推定手段と、前記第２のアクセスユニットにおける、前記処理対象の前記第１のブロックの位置から、前記処理対象の前記第１のブロックについての前記動きベクトルに対応する分だけ離間している第２のブロックを分析領域として抽出し、抽出された前記第２のブロックを複数の分析データに分割し、複数の前記分析データを対象とする主成分分析を行うことで、前記処理対象の前記第１のブロックの表現形式を変換するための基底を分析領域毎に個別に生成する分析手段と、生成された分析領域毎の前記基底のうちの所定の１つを利用して、前記処理対象の前記第１のブロックの表現形式を変換した出力データを生成する変換手段とを有することを特徴とする。
本発明の第３の側面においては、変換部において、第１のアクセスユニットが、１以上の第１のブロックに分割され、１以上の第１のブロックのそれぞれが処理対象として１つずつ順次設定され、処理対象の第１のブロックについての、第２のアクセスユニットに対する動きベクトルが推定され、第２のアクセスユニットにおける、処理対象の第１のブロックの位置から、処理対象の第１のブロックについての動きベクトルに対応する分だけ離間している第２のブロックが分析領域として抽出され、抽出された第２のブロックが複数の分析データに分割され、複数の分析データを対象とする主成分分析を行うことで、処理対象の第１のブロックの表現形式を変換するための基底が分析領域毎に個別に生成され、生成された分析領域毎の基底のうちの所定の１つを利用して、処理対象の第１のブロックの表現形式が変換された出力データが生成される。
本発明の第４の側面の情報処理システムは、画像データの表現形式を変換する変換部と、前記画像データの、前記変換部により変換された表現形式を逆変換する逆変換部とを構成要素として含む情報処理システムにおいて、前記変換部、または、前記変換部以外の装置により、少なくとも第１のアクセスユニットと第２のアクセスユニットから構成されるデータが元データとされて、前記第１のアクセスユニットから、第１のブロックが１以上設定され、設定された１以上の前記第１のブロックのそれぞれが処理対象に１つずつ順次設定され、前記処理対象の前記第１のブロックについての、前記第２のアクセスユニットに対する動きベクトルが推定され、前記第２のアクセスユニットにおける、前記処理対象の前記第１のブロックの位置から前記動きベクトルに対応する分だけ離間している第２のブロックが分析領域として設定され、前記処理対象の前記第第１のブロックの表現形式を変換するための基底が、前記第２のブロックを複数の分析データに分割し、複数の前記分析データを対象とする主成分分析を行うことで、分析領域毎に個別に生成され、生成された分析領域毎の前記基底のうちの所定の１つが利用されて、前記処理対象の前記第第１のブロックの表現形式が変換されて生成された変換データが、そのとき利用された前記基底と対応付けられて重畳されたデータが、入力データのうちの少なくとも一部として前記逆変換部に入力され、前記逆変換部は、前記入力データから、前記変換データと前記基底を分離する分離手段と、前記分離手段により前記入力データから分離された前記変換データを、分離された前記基底を利用して表現形式を逆変換することにより、前記第１のブロックを生成する逆変換手段とを有することを特徴とする。
本発明の第４の側面においては、逆変換部において、入力データから、変換データと基底が分離され、分離された変換データが、分離された基底を利用して表現形式を逆変換することにより、第１のブロックが生成される。
以上のごとく、本発明によれば、画像データの符号化や復号を行うことができる。特に、画像が表示されなくなったり、回路規模の増大を招いたりといった不都合を発生させることなく、２回目以降の符号化や復号では画像データを著しく劣化させることで、アナログ画像信号を利用した不正コピーを防止するようにすることができる。
以下に本発明の実施の形態を説明するが、請求項に記載の構成要件と、発明の実施の形態における具体例との対応関係を例示すると、次のようになる。この記載は、請求項に記載されている発明をサポートする具体例が、発明の実施の形態に記載されていることを確認するためのものである。従って、発明の実施の形態中には記載されているが、構成要件に対応するものとして、ここには記載されていない具体例があったとしても、そのことは、その具体例が、その構成要件に対応するものではないことを意味するものではない。逆に、具体例が構成要件に対応するものとしてここに記載されていたとしても、そのことは、その具体例が、その構成要件以外の構成要件には対応しないものであることを意味するものでもない。
さらに、この記載は、発明の実施の形態に記載されている具体例に対応する発明が、請求項に全て記載されていることを意味するものではない。換言すれば、この記載は、発明の実施の形態に記載されている具体例に対応する発明であって、この出願の請求項には記載されていない発明の存在、すなわち、将来、分割出願されたり、補正により追加されたりする発明の存在を否定するものではない。
本発明の第１の側面のデータ変換装置は、
少なくとも第１のアクセスユニットと第２のアクセスユニットから構成される入力データのうちの前記第１のアクセスユニットを、１以上の第１のブロック（例えば、図４の大ブロックBL）に分割する設定手段（例えば、図３または図１３の大ブロック化部１２２等）と、
前記設定手段により設定された１以上の前記第１のブロックのそれぞれを処理対象に１つずつ順次設定し、前記処理対象の前記第１のブロックについての、前記第２のアクセスユニットに対する前記動きベクトルを推定する動きベクトル推定手段（例えば、図３または図１３の動きベクトル検出部１２３）と、
前記第２のアクセスユニットにおける、前記処理対象の前記第１のブロックの位置から、前記処理対象の前記第１のブロックについての前記動きベクトルに対応する分だけ離間している第２のブロック（例えば、図７の動きベクトル先大ブロックBLbc）を分析領域として抽出し、抽出された前記第２のブロックを複数の分析データに分割し、複数の前記分析データを対象とする主成分分析を行うことで、前記処理対象の前記第１のブロックの表現形式を変換するための基底を分析領域毎に個別に生成する分析手段（例えば、図３または図１３の直交変換基底生成部１２５）と、
生成された分析領域毎の前記基底のうちの所定の１つを利用して、前記処理対象の前記第１のブロックの表現形式を変換した出力データを生成する変換手段（例えば、図３または図１３の直交変換符号化部１２８）と
を備えることを特徴とする。
前記出力データと、前記出力データが生成されたとき前記変換手段により利用された前記基底とを対応付けて重畳し、その結果得られるデータを出力する出力手段（例えば、図３または図１３の重畳部１２９や出力部１３２）をさらに備える。
前記処理対象の前記第１のブロックと前記第２のブロックとの差分を算出することで差分ブロック（例えば、図８の残差大ブロックBLD）を生成する差分ブロック生成手段をさらに備え、
前記変換手段は、前記処理対象の前記差分ブロックを構成する複数の小ブロック（例えば、図８の小ブロックBD）のそれぞれの表現形式を変換することで、前記出力データを生成する。
データに対してアナログ歪みを生じさせるアナログ歪み生成手段（例えば、図２１のアナログ歪み付加部４５１）をさらに備え、
前記アナログ歪み生成手段によりアナログノイズが付加されたデータが、前記入力データとして前記設定手段に入力される。
本発明の第２の側面のデータ逆変換装置は、
少なくとも第１のアクセスユニットと第２のアクセスユニットから構成されるデータが元データとされて、
前記第１のアクセスユニットから、第１のブロックが１以上設定され、
設定された１以上の前記第１のブロックのそれぞれが処理対象に１つずつ順次設定され、前記処理対象の前記第１のブロックについての、前記第２のアクセスユニットに対する動きベクトルが推定され、
前記第２のアクセスユニットにおける、前記処理対象の前記第１のブロックの位置から前記動きベクトルに対応する分だけ離間している第２のブロックが分析領域として設定され、前記処理対象の前記第第１のブロックの表現形式を変換するための基底が、前記第２のブロックを複数の分析データに分割し、複数の前記分析データを対象とする主成分分析を行うことで、分析領域毎に個別に生成され、
生成された分析領域毎の前記基底のうちの所定の１つが利用されて、前記処理対象の前記第第１のブロックの表現形式が変換されて生成された変換データが、そのとき利用された前記基底と対応付けられて重畳されたデータが、入力データのうちの少なくとも一部として入力されるデータ逆変換装置であって、
前記入力データから、前記変換データと前記基底を分離する分離手段（例えば、図１１または図１５のデータ分解部１７２）と、
前記分離手段により前記入力データから分離された前記変換データを、分離された前記基底を利用して表現形式を逆変換することにより、前記第１のブロックを生成する逆変換手段（例えば、図１１または図１５の逆直行変換復号部１７５）と
を備えることを特徴とする。
前記変換データが生成されるときに利用された前記基底の代わりに、その基底を生成するために必要な情報である基底生成用情報が重畳されたデータが、前記入力データのうちの少なくとも一部として入力される場合には、
前記分離手段は、前記変換データと前記基底生成用情報とを分離し、
分離された前記基底生成用情報を利用して、前記変換データが生成されるときに利用された前記基底を生成する基底生成手段（例えば、図１１または図１５の動きベクトル先小ブロック化部１７３や直交変換基底生成部１７４）をさらに備える。
次に、図面を参照して、本発明の実施の形態について説明する。
図２は、本発明が適用される画像処理システムの構成例を示している。
なお、図２の画像処理システムにおいて、図１の従来の画像表示システムと対応する部分には同一の符号を付してあり、その説明は適宜省略する。ただし、再生装置１から出力されるアナログ画像信号の符号は、図１ではVanとされているが、図２ではVan1とされている。後述するD/A変換部５５から出力されるアナログ画像信号Van2と区別するためである。
図２の例では、画像処理システムは、再生装置１、表示装置２、および記録再生装置３１から構成されている。即ち、図１の従来の画像表示システムに対して記録再生装置３１を付加したシステムが、本発明が適用される画像処理システムの一実施の形態である。
なお、再生装置１から出力されるアナログ画像信号Van1は、アナログ歪みを伴う信号である。ここでいうアナログ歪みとは、信号がD/A変換されるときにその信号に生じる歪み、即ち、その信号に乗るノイズをいう。従って、このアナログ歪みには、例えば、再生装置１のD/A変換部１２により信号がD/A変換されるときにその信号に生じる歪み、具体的には例えば、その信号から高周波成分が除去されることでその信号に生じる歪みや、その信号の位相がずれることでその信号に生じる歪み等が含まれる。なお、このアナログ歪みによる画像の劣化を評価する方法として、S/N(Signal-to-Noise)評価や、視覚評価（視覚的劣化の評価）等がある。また、このアナログ歪みは、自然に生じるものでも良いし、意図的に生じさせるようにしても良い（後述する図２１のアナログ歪み付加部４５１参照）。
図２の例では、記録再生装置３１は、符号化装置４１と復号装置４２とから構成されている。即ち、符号化装置４１が、本発明が適用されるデータ変換装置である符号化装置の一実施の形態であり、復号装置４２が、本発明が適用されるデータ逆変換装置である復号装置４２の一実施の形態である。なお、図２の例では、１台の符号化装置４１と1台の復号装置４２とから１台の記録再生装置３１が構成されているが、符号化装置４１と復号装置４２とを分離して画像処理システムを構成することも容易にできる。
図２の例では、符号化装置４１は、A/D変換部５１、符号化部５２、および記録部５３から構成されている。
A/D変換部５１は、再生装置１から出力されたアナログ画像信号Van1をA/D変換し、その結果得られるデジタル画像信号Vdg1を符号化部５２に供給する。符号化部５２は、そのデジタル画像信号Vdg1を符号化し、その結果得られる符号化デジタル画像信号Vcdを記録部５３に供給する。記録部５３は、その符号化デジタル画像信号Vcdを、図示せぬ光ディスク等の記録媒体に記録する。
また、図２の例では、復号部５４は、復号部５４、D/A変換部５５、および表示部５６から構成されている。
復号部５４は、符号化装置４１の符号化部５２から出力された符号化デジタル画像信号Vcdを復号し、その結果得られるデジタル画像信号Vdg2をD/A変換部５５に供給する。D/A変換部５５は、このデジタル画像信号Vdg2をD/A変換し、その結果得られるアナログ画像信号Van2を表示部５６に供給する。表示部５６は、例えばCRTディスプレイやLCD等で構成され、D/A変換部５５から供給されたアナログ画像信号Van2に対応する画像を表示する。
ここで注目すべき点は、図２の符号化装置４１の符号化部５２から出力される符号化デジタル画像信号Vcdが復号部５４により再度復号された際に得られるデジタル画像信号Vdg2は、従来の図１の符号化装置３の符号化部２２から出力される符号化デジタル画像信号Vcd’が再度復号された際に得られるデジタル画像信号とは異なり、再生装置１の復号部１１から出力されるデジタル画像信号Vdg0に比較して大幅に劣化しているという点である。換言すると、復号部５４により再度復号された際に得られるデジタル画像信号Vdg2が、再生装置１の復号部１１から出力されるデジタル画像信号Vdg0に比較して大幅に劣化するような符号化処理を、符号化部５２が実行する点である。
この点により、記録部５３で記録媒体に記録された符号化デジタル画像信号Vcdが再生されて得られる画像は、再生装置１から出力されるアナログ画像信号Van1に対応する画像、即ち、表示装置２に表示される画像に比べて、その画質が大幅に劣化することになる。さらに、符号化装置４１または同様の符号化装置による符号化と、復号装置４２または同様の復号装置による復号が繰り返される度に、劣化の度合いは益々大きくなっていく。従って、図２の符号化装置４１では、良好な画質を維持したままでのコピーは不可能となる。即ち、不正コピーの防止が図られる。
また、図２の画像処理システムにおいては、上述したように、良好な画質を維持したままでのコピーを不可能とする処理が記録再生装置３１側で実行されるため、再生装置１から表示装置２に供給されるアナログ画像信号Van1には何等加工が施されず、その結果、表示装置２に表示される画像の画質を落とすことはない。即ち、図２の画像処理システムは、上述した特許文献１の発明が有する課題を解決することができる。
さらにまた、図２の画像処理システムでは、同図の構成から明らかなように、再生側と記録側との何れにも、雑音情報発生部やこれを埋め込むための回路等の特別な回路を搭載する必要がなく、回路規模も増大することはない。即ち、図２の画像処理システムは、上述した特許文献２の発明が有する課題を解決することができる。
換言すると、従来の課題を解決するためには、上述したように、復号部５４により再度復号された際に得られるデジタル画像信号Vdg2が、再生装置１の復号部１１から出力されるデジタル画像信号Vdg0に比較して大幅に劣化するような符号化処理を、符号化部５２が実行すればよい。即ち、符号化部５２は、このような符号化処理を実行できれば足り、その形態は特に限定されず、様々な実施の形態を取ることができる。また、符号化部５２の様々な実施の形態に応じて、復号部５４も様々な実施の形態を取ることができる。
そこで、以下、図３乃至図１６を参照して、主成分分析を伴う符号化部５２と、それに対応する復号処理を実行する復号部５４とのそれぞれについての一実施の形態を説明する。
図３は、主成分分析を伴う符号化部５２の一構成例を示している。図３の例では、符号化部５２は、入力部１２１乃至出力部１３２から構成されている。なお、主成分分析については後述する。
入力部１２１は、図２のA/D変換部５１からのデジタル画像信号Vdg1を例えば１フレーム分入力して、大ブロック化部１２２に供給する。
大ブロック化部１２２は、入力部１２１から供給された１フレーム分のデジタル画像信号Vdg1を複数の大ブロックに分割し、動きベクトル検出部１２３と残差算出部１２６に供給する。
なお、大ブロックの大きさは、特に限定されないのは言うまでもない。このことは、後述する他のブロック（小ブロック等）でも同様とされる。
動きベクトル検出部１２３は、大ブロック化部１２２から供給された処理対象のフレーム（以下、現フレームと称する）の複数の大ブロックのそれぞれについて、処理対象の大ブロックと、フレームメモリ１３１に蓄積された１つ前のフレーム（以下、前フレームと称する）に対応する復号済みのデジタル画像信号とを利用して、処理対象の大ブロックの動きベクトルを検出する。そして、動きベクトル検出部１２３は、現フレーム分の各大ブロックの動きベクトルのそれぞれを示す各情報をデジタル信号Vcdmvとして、動きベクトル先小ブロック化部１２４、残差算出部１２６、および重畳部１２９に供給する。
具体的には例えば、本実施の形態では、大ブロック化部１２２においては、デジタル画像信号Vdg1のうちの１つの有効画面の画像信号が、例えば図４に示されるように、水平方向に１６画素分で垂直方向に１６画素分の大きさの大ブロックBLに分割される。なお、以下、水平方向にｈ画素分で垂直方向にｖ画素分の大きさを、（ｈ×ｖ）画素の大きさと称する。即ち、図４の例では、大ブロックBLは、（１６×１６）画素の大きさとされている。また、図４において、○（丸印）は、デジタル画像信号Vdg1のうちの１つの有効画面の画像信号を構成する画素データを示している。
この場合、動きベクトル検出部１２３は、例えば図５に示されるように、現フレーム分のデジタル画像信号FLnにおける処理対象の大ブロックBL（以下、処理対象の大ブロックBLを、注目大ブロックBLと称する）に対して、前フレーム分のデジタル画像信号FLbにおける注目大ブロックBLと同一位置の大ブロックBLb0を中心に含む所定のサーチ範囲sbを設定する。そして、動きベクトル検出部１２３は、このサーチ範囲sbにおいて例えばいわゆるブロックマッチングを行う。具体的には例えば、動きベクトル検出部１２３は、このサーチ範囲sbの中から、注目大ブロックBLの各画素値との差分絶対値の総和が最小となる大ブロックを検出する。なお、本実施の形態では、サーチ範囲sbは例えば、大ブロックBLb0から、水平方向に−８画素乃至＋８画素、および、垂直方向に−８画素乃至＋８画素の領域とされている。
例えば、注目大ブロックBLとの差分絶対値総和が最小となるブロックとして、図６に示される大ブロックBLbcが検出されたとする。この場合、動きベクトル検出部１２３は、図６に示されるベクトルmvを、注目大ブロックBLの動きベクトルとして検出することになる。従って、動きベクトル検出部１２３は、注目大ブロックBLの動きベクトルmvを示す情報を生成し、それをデジタル信号Vcdmvに含めて、動きベクトル先小ブロック化部１２４、残差算出部１２６、および重畳部１２９に供給する。なお、動きベクトルmvを示す情報の形態は特に限定されないが、本実施の形態では、注目大ブロックBLの座標位置からの相対座標とされている。
なお、注目大ブロックBLとの差分絶対値総和が最小となるブロック、即ち例えば図６の例では大ブロックBLbcは、注目大ブロックBLから見た場合、動きベクトルの先（図６中矢印の逆方向）にある大ブロックであるといえる。そこで、以下、注目大ブロックBLとの差分絶対値総和が最小となるブロックを、動きベクトル先大ブロックと称する。
図３に戻り、動きベクトル先小ブロック化部１２４は、現フレーム分の各大ブロックのそれぞれについて、動きベクトル検出部１２３から供給されたデジタル信号Vcdmvで特定される処理対象の大ブロックの動きベクトルに基づいて、フレームメモリ１３１に蓄積された前フレームの復号済みのデジタル画像信号から、処理対象の大ブロックに対応する動きベクトル先大ブロックを抽出する。そして、動きベクトル先小ブロック化部１２４は、現フレーム分の各大ブロックのそれぞれについて、処理対象の大ブロックに対応する動きベクトル先大ブロックを、さらに細かいM個の小ブロック（N個の画素分の大きさのブロック）に分割し、直交変換基底生成部１２５に供給する。
具体的には例えば、処理対象の大ブロック（注目大ブロック）が図６の大ブロックBLとされ、その動きベクトルとして、図６の例の動きベクトルmvが動きベクトル検出部１２３により検出されたとする。この場合、動きベクトル先小ブロック化部１２４は、同図の大ブロックBLbcを動きベクトル先大ブロックとして抽出する。そして、例えば本実施の形態では、動きベクトル先小ブロック化部１２４は、図７に示されるように、動きベクトル先大ブロックBLbcをさらに、（４×４）画素の大きさの１６個の小ブロックBSに分割する。なお、図７において、○（丸印）は、前フレームのデジタル画像信号のうちの動きベクトル先大ブロックBLbcを構成する画素データを示している。
図３に戻り、直交変換基底生成部１２５は、現フレーム分の各大ブロックのそれぞれについて、処理対象の大ブロックに対応する動きベクトル先大ブロックが動きベクトル先小ブロック化部１２４により分割された結果得られるM個の小ブロックに対して主成分分析を施すことで、処理対象の大ブロック（それに対応する動きベクトル先大ブロック）についての直交変換の基底を適応的に生成する。このようにして、現フレームの大ブロック毎に、他の大ブロックとは異なる基底がそれぞれ個別に生成される。そして、直交変換基底生成部１２５は、現フレーム分の各大ブロックのそれぞれについての直交変換の基底を直交変換符号化部１２８に供給する。
即ち、例えば、直交変換基底生成部１２５は、現フレーム分の各大ブロックに対応する各動きベクトル先大ブロックのそれぞれについて、処理対象の動きベクトル先大ブロックを構成するM個の小ブロックを抽出する。このM個の小ブロックがN次元で表されるデータであるとすると、直交変換基底生成部１２５は、動きベクトル先大ブロック毎に抽出されたM個の小ブロックのそれぞれをベクトル化する。なお、以下、このようにして動きベクトル先大ブロック毎に得られるM個のN次元のベクトルを、処理ベクトルと称する。
例えば、小ブロックがN画素分の画素データで構成されているとすると、直交変換基底生成部１２５は、N画素分の画素データの値（画素値）のそれぞれを、N個の成分のうちの所定の１つに代入することで、N次元の処理ベクトルを生成することができる。具体的には例えば、本実施の形態では、図７に示されるように、動きベクトル先大ブロックBLbcは、（４×４）画素の大きさの１６個（＝M個）の小ブロックBSに分割される。即ち、１つの小ブロックBSは、１６（＝N個）画素分の画素データで構成されるので、１つの動きベクトル先大ブロックBLbcについて、これらの１６個の画素データの値（画素値）を各成分値とする処理ベクトルが、１６個の小ブロックBSのそれぞれ毎に生成される。即ち、１つの動きベクトル先大ブロックBLbcにつき、１６個の処理ベクトルがそれぞれ生成される。
直交変換基底生成部１２５は、現フレーム分の各動きベクトル先大ブロックのそれぞれについて、処理対象の動きベクトル先大ブロックから得られたM個の処理ベクトルに対して主成分分析を施すことで、処理対象の動きベクトル先大ブロックについてのN次元の正規直交基底をN個生成する。
本明細書では、このようなN個のN次元の正規直交基底をまとめて、直交変換の基底と称している。即ち、現フレーム分の動きベクトル先大ブロック毎に、直交変換の基底がそれぞれ個別に生成される。
詳細には例えば、直交変換基底生成部１２５は、次のような処理を実行することができる。
即ち、直交変換基底生成部１２５は、現フレーム分の各動きベクトル先大ブロックのそれぞれについて、処理対象の動きベクトル先大ブロックから得られたM個のN次元の処理ベクトルのそれぞれを列成分として有する行列D、即ち、N行M列の行列Dをそれぞれ生成する。そして、直交変換基底生成部１２５は、現フレーム分の動きベクトル先大ブロック毎の各行列Dのそれぞれに対して特異値分解を施すことで、各行列Dのそれぞれを次の式（１）を満たす成分行列U，Σ，Vのそれぞれに分解する。なお、式（１）において、成分行列UはN行N列の左特異行列を、成分行列VはＭ行Ｍ列の右特異行列を、成分行列ΣはN行M列の特異行列を、それぞれ示している。また、V~は成分行列Vの転置行列を示している。
D ＝ UΣV~ ・・・（１）
ここで、行列Dのランクをｒ（rは、N以下の整数値）とすると、成分行列Uの最初のr個の列成分（左特異ベクトル）のそれぞれが正規直交基底となり、左から順に重要な基底となる。なお、以下、成分行列Uの最初のr個の列成分（左特異ベクトル）、即ち、ｒ個の正規直交基底ベクトルのうちの左からf番目（fは、１乃至rのうちの何れかの整数値）のものを、第ｆ主成分と適宜称する。また、ここでは、説明の簡略上、行列DのランクをNとする。即ち、ここでは、現フレーム分の動きベクトル先大ブロック毎に、N個の主成分がそれぞれ得られるとする。即ち、１つの行列Dが、１つの動きベクトル先大ブロックについての直交変換の基底を示すことになる。
残差算出部１２６は、大ブロック化部１２２から供給された現フレーム分の各大ブロックのそれぞれに対して、動きベクトル先小ブロック化部１２４と基本的に同様の処理を施すことで、各大ブロックのそれぞれに対応する動きベクトル先大ブロックをフレームメモリ１３１から抽出する。次に、残差算出部１２６は、現フレーム分の各大ブロックのそれぞれについて、処理対象の大ブロックと、対応する動きベクトル先大ブロックとの残差を算出し、その結果得られるブロック、即ち、処理対象の大ブロックを構成する各画素値と、対応する動きベクトル先大ブロックの対応する画素値との差分値を各画素値として有する大ブロック（以下、残差大ブロックと称する）を小ブロック化部１２７に供給する。
小ブロック化部１２７は、現フレーム分の各大ブロックのそれぞれについて、残差算出部１２６から供給された残差大ブロックのうちの、処理対象の大ブロックに対応する残差大ブロックを、M個の小ブロック（N個の画素分の大きさの画素データ）に分割し、直交変換符号化部１２８に供給する。即ち、小ブロック化部１２７により生成される小ブロックは、動きベクトル先少ブロック化部１２４に生成される小ブロックと同一サイズになる。
具体的には例えば本実施の形態では、図８に示されるような（１６×１６）画素の大きさの残差大ブロックBLDが残差算出部１２６から小ブロック化部１２７に供給される。この場合、小ブロック化部１２７は、同図に示されるように、残差大ブロックBLDをさらに、（４×４）画素の大きさの１６個の小ブロックBDに分割する。なお、図８において、○（丸印）は、残差大ブロックBLDを構成する画素データを示している。
図３に戻り、直交変換符号化部１２８は、現フレーム分の各大ブロックのそれぞれについて、直交変換基底生成部１２５から供給された（処理対象の大ブロックに対応する動きベクトル先大ブロックついての）直交変換の基底を利用して、小ブロック化部１２７によりM個の小ブロックに分割された（処理対象の大ブロックに対応する）残差大ブロックに対して直交変換符号化処理を施し、その処理結果をデジタル信号Vcdoとして重畳部１２９に供給する。即ち、現フレームの大ブロック毎に、対応する基底（他の大ブロックとは異なる基底）が利用される。
直交変換符号化処理とは、例えば、次のような一連の処理を言う。
即ち、直交変換符号化部１２８は、例えば、現フレーム分の各残差大ブロックのそれぞれについて、処理対象の残差大ブロックを構成するM個の小ブロックを抽出する。現フレーム分の残差大ブロック毎にM個だけ抽出された小ブロックがN次元で表されるデータであるとすると、直交変換符号化部１２８は、現フレーム分の各残差大ブロックのそれぞれについて、処理対象の残差大ブロックを構成するM個の小ブロックのそれぞれをベクトル化することで、処理対象の残差大ブロックについてのN次元の処理ベクトルをM個だけ生成する。即ち、現フレーム分の残差大ブロック毎に、M個の処理ベクトルがそれぞれ生成される。
具体的には例えば、本実施の形態では、図８に示されるように、１つの残差大ブロックBLDは、（４×４）画素の大きさの１６個（＝M個）の小ブロックBDに分割される。即ち、１つの小ブロックBDは、１６（＝N個）画素分の画素データで構成されるので、１つの残差大ブロックBLDについて、これらの１６個の画素データの値（画素値）を各成分値とする処理ベクトルが、１６個の小ブロックBDのそれぞれ毎に生成される。即ち、現フレーム分の残差大ブロックBLD毎に、１６個の処理ベクトルがそれぞれ生成される。
そこで、直交変換符号化部１２８は、例えば、現フレーム分の各残差大ブロックのそれぞれについて、元のN次元の第１の座標系から、N個の主成分を軸とする第２の座標系に変換する軸変換処理を、処理対象の残差大ブロックから得られたM個のN次元の処理ベクトルのそれぞれに対して施す。詳細には例えば、直交変換符号化部１２８は、次の式（２）を演算する。
Va ＝ U~ Vb ・・・（２）
なお、式（２）において、Vbは、N行１列の行列（列ベクトル）であり、処理対象の残差大ブロックから得られたM個のN次元の処理ベクトルのうちの所定の１つ、即ち、処理対象の残差大ブロックを構成するM個の小ブロックのそれぞれを示すM個のN次元の処理ベクトルのうちの所定の１つ、換言すると、第１の座標系で表現される処理ベクトルのうちの所定の１つを示している。Vaは、N行１列の行列（列ベクトル）であり、第２の座標系で表現され直された処理ベクトルを示している。また、U~は、式（１）の成分行列Uの転置行列、即ち、直交変換基底生成部１２５から供給された処理対象の残差大ブロックについての直交変換の基底を示す行列Uの転置行列を示している。
このようにして、直交変換符号化部１２８は、現フレーム分の各残差大ブロックのそれぞれについて、処理対象の残差大ブロックから得られたM個の処理ベクトルVbのそれぞれを利用して、上述した式（２）の演算をM回繰り返すことで、M個の処理ベクトルVaのそれぞれを算出する。即ち、直交変換符号化部１２８は、現フレーム分の残差大ブロック毎に、M個の処理ベクトルVbのそれぞれを、M個の処理ベクトルVaのそれぞれに変換する。
そして、直交変換符号化部１２８は、現フレーム分の各残差大ブロックのそれぞれについて、処理対象の残差大ブロックについての変換後のM個の処理ベクトルVaを１単位として、所定の符号化方式に従った符号化処理を実行し、処理対象の残差大ブロックに対するその符号化処理の結果をデジタル信号Vcdoに含めて重畳部１２９に供給する。
なお、ここでいう「所定の符号化方式」とは、特定の１つの符号化方式を指すのではなく、単に、様々な符号化方式のうちの直交変換符号化部１２８に採用されている符号化方式を指す。即ち、直交変換符号化部１２８は、様々な符号化方式を採用することができる。
例えば、直交変換符号化部１２８は、現フレーム分の各残差大ブロックのそれぞれを処理対象に１つずつ順次設定し、処理対象の残差大ブロックについての変換後のM個の処理ベクトルVaのそれぞれについて、ｆ（fは、上述したように１乃至Nのうちの何れかの整数値）行目の成分値をそれぞれ抽出し、抽出されたM個の成分値のそれぞれを画素値として所定の順番に配置させることで、１つのデジタル画像信号（ブロック）を生成することができる。処理ベクトルVａの成分値のうちのｆ行目の成分値（列ベクトルの場合、上からf番目の成分値）とは、第ｆ主成分の軸の座標値（以下、第ｆ主成分値と称する）を示している。従って、このブロックは、とある１つの残差大ブロックについての、変換後のM個の処理ベクトルVaのそれぞれの第ｆ主成分値を各画素値とするデジタル画像信号となる。そこで、以下、このようなブロックを第ｆ主成分ブロックと称する。
結局、直交変換符号化部１２８は、現フレーム分の残差大ブロック毎に、N個の第１主成分ブロック乃至第N主成分ブロックをそれぞれ生成できることになる。
そこで、この場合、直交変換符号化部１２８は、現フレーム分の各残差大ブロックのそれぞれを処理対象に１つずつ順次設定し、処理対象の残差大ブロックについての第１主成分ブロック乃至第N主成分ブロックのそれぞれについて、処理対象の主成分ブロックを構成する各画素値（対応する各主成分値）を量子化することができる。この場合、例えば次のような量子化の手法を採用することができる。即ち、１つの主成分ブロックを構成する各画素値に対して除算される値として、第１主成分ブロック乃至第N主成分ブロックの全てについて同一の値を使用する、といった量子化の手法を採用することができる。或いは、高次の主成分ブロック（第ｆ主成分の番号ｆが若い主成分ブロック）を構成する各画素値に対して除算される値として、低次の主成分ブロックで利用される値よりも大きな値を使用する、といった量子化の手法を採用することもできる。
そして、直交変換符号化部１２８は、現フレーム分の各残差大ブロックのそれぞれを処理対象に１つずつ順次設定し、処理対象の残差大ブロックの第１主成分ブロック乃至第N主成分ブロックのそれぞれについて、量子化後の各値に対して例えばハフマン符号などの符号割当処理を施し、処理対象の残差大ブロックについてのその処理結果をデジタル信号Vcdoに含めて重畳部１２９に供給することができる。
或いは例えば、直交変換符号化部１２８は、現フレーム分の各残差大ブロックのそれぞれを処理対象に１つずつ順次設定し、処理対象の残差大ブロックの第１主成分ブロック乃至第N主成分ブロックのそれぞれに対して、ADRC(Adaptive Dynamic Range Coding)方式の符号化処理を施し、処理対象の残差大ブロックについての処理結果をデジタル信号Vcdoに含めて重畳部１２９に供給することもできる。
本明細書では、以上のような直交変換符号化部１２８により実行される一連の処理が、直交変換符号化処理と称されている。
このようにして、直交変換符号化部１２８による現フレーム分の各残差大ブロックのそれぞれに対する直交変換符号化処理の結果は、デジタル信号Vcdoに含められて重畳部１２９に供給される。そこで、重畳部１２９は、このデジタル信号Vcdoに対して、動きベクトル検出部１２３から供給されたデジタル信号Vcdmv（現フレーム分の大ブロック毎の動きベクトルを示す情報）を重畳し、その結果得られるデジタル信号を、現フレーム分のデジタル信号Vdg1の復号信号である符号化デジタル画像信号Vcdとして、即ち、現フレーム分の符号化デジタル画像信号Vcdとしてローカルデコード部１３０と出力部１３２とに供給する。
ローカルデコード部１３０は、図３の例の符号化部５２の処理対象が現フレームから次のフレームに移った際、即ち、次のフレームが新たな現フレームとなった際、この新たな現フレーム（次のフレーム）についての動きベクトルの参照先となる前フレーム分のデジタル画像信号を生成する。即ち、ローカルデコード部１３０は、重畳部１２９から供給された現フレーム分の符号化デジタル画像信号Vcdに対して復号処理を施し、その結果得られるデジタル画像信号を、次のフレームにとっての前フレームのデジタル画像信号として、フレームメモリ１３１に記憶させる。
このようなローカルデコード部１３０は、例えば図９に示されるように構成することができる。ただし、図９の例のローカルデコード部１３０は、後述する図１１の例の復号部５４のうちの点線部分１８１と基本的に同様の構成と機能とを有している。即ち、図９のデータ分解部１５１乃至ブロック分解部１５６のそれぞれは、図１１のデータ分解部１７２乃至ブロック分解部１７７のそれぞれと基本的に同様の構成と機能とを有している。そこで、図１１の点線部分１８１についての後述する説明をもって、ローカルデコード部１３０の説明とする。即ち、ここでは、ローカルデコード部１３０の説明は省略する。
図３に戻り、フレームメモリ１３１は、前フレーム分のデジタル画像信号、即ち、処理対象の現フレームから見て１つ前のフレーム分のデジタル画像信号を記憶する。従って、本実施の形態では、フレームメモリ１３１の記憶内容（デジタル画像信号）は、符号化部５２の処理対象が現フレームから次のフレームに移った際に、書き換えられるとする。
出力部１３２は、重畳部１２９から供給された現フレーム分の符号化デジタル画像信号Vcdを、図２の記録部５３や復号部５４に出力する。
以上、図３の例の符号化部５２の構成について説明した。なお、先頭フレーム分のデジタル画像信号Vdg1については、符号化による歪みのない状態で図３の例の符号化部５２内を伝送されるとする。
次に、図１０のフローチャートを参照して、図３の例の符号化部５２の符号化処理例について説明する。
ステップＳ８１において、入力部１２１は、デジタル画像信号Vdg1を、例えば１フレーム分だけ入力する。即ち、ステップＳ８１において、入力部１２１は、現フレーム分のデジタル画像信号Vdg1を入力する。現フレーム分のデジタル画像信号Vdg1が、入力部１２１から大ブロック化部１２２に供給されると、処理はステップＳ８２に進む。
ステップＳ８２において、大ブロック化部１２２は、現フレーム分のデジタル画像信号Vdg1を分割化する。即ち、現フレーム分のデジタル画像信号Vdg1から複数の大ブロックが分割される。現フレーム分の複数の大ブロックのそれぞれが、大ブロック化部１２２から動きベクトル検出部１２３と残差算出部１２６に供給されると、処理はステップＳ８３に進む。
ステップＳ８３において、動きベクトル検出部１２３は、現フレーム分の各大ブロックのそれぞれについての動きベクトルを検出する。現フレーム分の各大ブロックのそれぞれについての動きベクトルを示す各情報が、現フレーム分のデジタル信号Vcdmvとして、動きベクトル先小ブロック化部１２４、残差算出部１２６、および重畳部１２９に供給されると、処理はステップＳ８４に進む。
ステップＳ８４において、動きベクトル先小ブロック化部１２４と直交変換基底生成部１２５は、現フレーム分の各大ブロック（対応する動きベクトル先大ブロック）のそれぞれについての直交変換の基底を適応的に生成する。現フレーム分の大ブロック毎の直交変換の基底が、直交変換基底生成部１２５から直交変換符号化部１２８に供給されると、処理はステップＳ８５に進む。
ステップＳ８５において、残差算出部１２６は、現フレーム分の各大ブロックのそれぞれについての残差を演算する。ステップＳ８５の処理結果、即ち、現フレーム分の各大ブロックのそれぞれに対応する残差大ブロックが残差算出部１２６から小ブロック化部１２７に供給されると、処理はステップＳ８６に進む。
ステップＳ８６において、小ブロック化部１２７と直交変換符号化部１２８は、現フレーム分の各大ブロックに対応する各残差大ブロックのそれぞれに対して、現フレーム分の各大ブロックに対応する各動きベクトル先大ベクトルについての直交変換の基底のうちの、対応する直交変換の基底を用いて直交変換符号化処理を施す。ステップＳ８６の処理の結果として得られる現フレーム分のデジタル信号Vcdoが、直交変換符号化部１２８から重畳部１２９に供給されると、処理はステップＳ８７に進む。
ステップＳ８７において、重畳部１２９は、ステップＳ８６の処理結果として直交変換符号化部１２８から出力された現フレーム分のデジタル信号Vcdoに対して、ステップＳ８３の処理結果として動きベクトル検出部１２３から出力された現フレーム分のデジタル信号Vcdmvを重畳することで、現フレーム分の符号化デジタル画像信号Vcdを生成する。この現フレーム分の符号化デジタル画像信号Vcdが重畳部１２９から出力部１３２に提供されると、処理はステップＳ８８に進む。
ステップＳ８８において、出力部１３２は、この符号化デジタル画像信号Vcdを外部に出力する。
ステップＳ８９において、符号化部５２は、処理すべき全フレームに対する処理が終了したか否かを判定する。
全フレームに対する処理がまだ終了していない場合、ステップＳ８９においてNOであると判定されて、ステップＳ８７の処理で生成された現フレーム分の符号化デジタル画像信号Vcdはまた、ローカルデコード部１３０にも供給される。これにより、処理はステップＳ９０に進む。
ステップＳ９０において、ローカルデコード部１３０は、現フレーム分の符号化デジタル画像信号Vcdをローカルデコードし（復号処理を施し）、その結果得られるデジタル画像信号を、次のフレームにとっての前フレームのデジタル画像信号としてフレームメモリ１３１に記憶させる。
その後、処理はステップＳ８１に戻され、それ以降の処理が繰り返される。即ち、次の１フレーム分のデジタル画像信号Vdg1が、ステップＳ８１の処理で入力され、ステップＳ８２乃至Ｓ８７の処理で上述した符号化処理が施され、その結果、次の１フレーム分の符号化デジタル画像信号Vcdが得られ、この符号化デジタル画像信号VcdがステップＳ８８の処理で出力される。
このようなステップＳ８１乃至Ｓ９０のループ処理が全フレームに対して施され、最後のフレーム分の符号化デジタル画像信号Vcdが出力されると、次のステップＳ８９においてYESであると判定されて、図１０の例の符号化処理は終了となる。
以上、図１０を参照して、図３の例の符号化部５２の符号化処理の例について説明した。
次に、図１１と図１２を参照して、図３の例の符号化部５２に対応する復号部５４の一実施の形態について説明する。
図１１は、図３の例の符号化部５２に対応する復号部５４の構成例を示している。図１１の例では、復号部５４は、入力部１７１乃至出力部１７９から構成されている。
入力部１７１は、図３の例の符号化部５２から出力された符号化デジタル画像信号Vcdを例えば１フレーム分入力して、即ち、現フレーム分の符号化デジタル画像信号Vcdを入力して、データ分解部１７２に供給する。
データ分解部１７２は、現フレーム分の符号化デジタル画像信号Vcdを、図３の動きベクトル検出部１２３の出力である現フレーム分のデジタル信号Vcdmvと、図３の直交変換符号化部１２８の出力である現フレーム分のデジタル信号Vcdoとに分解し、現フレーム分のデジタル信号Vcdmvを動きベクトル先小ブロック化部１７３に供給し、かつ、現フレーム分のデジタル信号Vcdoを逆直交変換復号部１７５に供給する。
動きベクトル先小ブロック化部１７３は、図３の動きベクトル先小ブロック化部１２４と基本的に同様の機能と構成とを有している。即ち、動きベクトル先小ブロック化部１７３は、現フレーム分の各大ブロックのそれぞれについて、データ分解部１７２から供給されたデジタル信号Vcdmvに含まれる処理対象の大ブロックの動きベクトルに基づいて、フレームメモリ１７８に蓄積された前フレームの復号済みのデジタル画像信号から、処理対象の大ブロックに対応する動きベクトル先大ブロックを抽出する。現フレーム分の各大ブロックのそれぞれに対応する各動きベクトル先大ブロックのそれぞれは、加算部１７６に供給される。そして、動きベクトル先小ブロック化部１７３は、現フレーム分の各大ブロックのそれぞれに対応する動きベクトル先大ブロックのそれぞれを、さらに細かいM個の小ブロック（N個の画素分の大きさのブロック）に分割し、直交変換基底生成部１７４にそれぞれ供給する。
直交変換基底生成部１７４は、図３の直交変換基底生成部１２５と基本的に同様の機能と構成とを有している。即ち、直交変換基底生成部１７４は、現フレーム分の各大ブロックのそれぞれについて、処理対象の大ブロックに対応する動きベクトル先大ブロックが動きベクトル先小ブロック化部１７３により分割された結果得られるM個の小ブロックに対して主成分分析を施すことで、処理対象の大ブロック（対応する動きベクトル先大ブロック）についての直交変換の基底（第１乃至第N主成分）を適応的に生成し、逆直交変換復号部１７５に供給する。即ち、現フレームの大ブロック毎に、他の大ブロックとは異なる直交変換の基底がそれぞれ個別に生成され、逆直交変換復号部１７５に供給される。
逆直交変換復号部１７５は、データ分解部１７２から供給された現フレーム分のデジタル信号Vcdoに対して、直交変換基底生成部１７４から供給された現フレーム分の各大ブロック（対応する動きベクトル先大ブロック）についての各直交変換の基底うちの対応する基底を利用して逆直交変換復号処理を大ブロック単位で施す。即ち、現フレームの大ブロック毎に、対応する直交変換の基底（他の大ブロックとは異なる基底）が利用される。
逆直交変換復号処理とは、例えば、次のような一連の処理を言う。
逆直交変換復号部１７５は、現フレーム分のデジタル信号Vcdoに対して、図３の直交変換符号化部１２８で採用されている符号化方式に対応する復号方式の復号処理（逆量子化処理等）を施す。この復号処理により、現フレーム分の各大ブロック（対応する残差大ブロック）のそれぞれについて、例えば上述した第１主成分ブロック乃至第N主成分ブロックが得られることになる。
次に、逆直交変換復号部１７５は、現フレーム分の各大ブロックのそれぞれに対応する各残差大ブロックのそれぞれについて、処理対象の残差大ブロックについての第１主成分ブロック乃至第N主成分ブロックから、上述した式（２）で示される処理ベクトルVa、即ち、第１主成分乃至第N主成分を軸とする第２の座標系によって表現される処理ベクトルVaをM個生成（復元）する。即ち、現フレーム分の残差大ブロック毎に、M個の処理ベクトルVaがそれぞれ生成（復元）される。
次に、逆直交変換復号部１７５は、現フレーム分の各残差大ブロックのそれぞれについて、第２の座標系から元のN次元の第１の座標系に逆変換する逆軸変換処理を、処理対象の残差大ブロックに対応するM個の処理ベクトルVaのそれぞれに対して施す。詳細には例えば、逆直交変換復号部１７５は、次の式（３）を演算することで、処理対象の残差大ブロックについてのM個の処理ベクトルVbを生成（復元）する。
Vb ＝ （U~）-1 Va ・・・（３）
なお、式（３）において、（U~）-1は、上述した式（１）の成分行列Uの転置行列U~の逆行列を示している。この成分行列Uは、処理対象の残差大ブロックについての直交変換の基底を示す行列であって、その各成分値（係数群）が直交変換基底生成部１７４から供給される。そこで、逆直交変換復号部１７５は、この係数群から行列（U~）-1を生成することができる。
次に、逆直交変換復号部１７５は、現フレーム分の各残差大ブロックのそれぞれについて、処理対象の残差大ブロックについてのM個の処理ベクトルVbから、処理対象の残差大ブロックを構成するM個の小ブロックを生成（復元）する。即ち、現フレーム分の残差大ブロック毎に、M個の小ブロックがそれぞれ生成（復元）される。
そして、逆直交変換復号部１７５は、処理対象の残差大ブロックを構成するM個の小ブロックのそれぞれを元の位置に並べることで、処理対象の残差大ブロックを生成（復元）する。即ち、逆直交変換復号部１７５は、現フレーム分の各残差大ブロックのそれぞれについてこのような処理を繰り返し実行することで、現フレーム分の各大ブロックを生成（復元）する。
本明細書では、逆直交変換復号部１７５の上述した一連の処理が、逆直交変換復号処理と称されている。
そして、逆直交変換復号部１７３は、このようにして生成（復元）された現フレーム分の各残差大ブロックを、加算部１７６に供給する。
加算部１７６は、逆直交変換復号部１７５から供給された現フレーム分の各残差大ブロックのそれぞれと、動きベクトル先小ブロック化部１７３から供給された動きベクトル先大ブロックのうちの対応する１つとを加算し、その結果得られる現フレーム分の各大ブロックをブロック分解部１７７に供給する。
ブロック分解部１７７は、加算部１７６から供給された現フレーム分の各大ブロックを分割前の位置に配置し、その結果得られるデジタル画像信号を、現フレーム分の符号化デジタル画像信号Vcdの復号信号であるデジタル画像信号Vdg2、即ち、現フレーム分のデジタル画像信号Vdg2として、出力部１７９とフレームメモリ１７８に供給する。
フレームメモリ１７８は、前フレーム分のデジタル画像信号、即ち、処理対象の現フレームから見て１つ前のフレーム分のデジタル画像信号を記憶する。従って、本実施の形態では、フレームメモリ１７８の記憶内容（デジタル画像信号）は、復号部５４の処理対象が現フレームから次のフレームに移った際に、書き換えられるとする。
出力部１７９は、ブロック分解部１７７から供給された現フレーム分のデジタル画像信号Vdg2を図２のD/A変換部５５に出力する。
なお、繰り返しになるが、図９の例のローカルデコード部１３０は、図１１の例の復号部５４のうちの点線部分１８１と基本的に同様の構成と機能とを有している。即ち、図９のデータ分解部１５１乃至ブロック分解部１５６のそれぞれは、図１１のデータ分解部１７２乃至ブロック分解部１７７のそれぞれと基本的に同様の構成と機能とを有している。
以上、図１１の例の復号部５４の構成について説明した。次に、図１２のフローチャートを参照して、図１１の例の復号部５４の復号処理例について説明する。
ステップＳ１０１において、入力部１７１は、符号化デジタル画像信号Vcdを、例えば１フレーム分だけ入力する。即ち、ステップＳ１０１において、入力部１７１は、例えば現フレーム分の符号化デジタル画像信号Vcdを入力する。現フレーム分の符号化デジタル画像信号Vcdが、入力部１７１からデータ分解部１７２に供給されると、処理はステップＳ１０２に進む。
ステップＳ１０２において、データ分解部１７２は、現フレーム分の符号化デジタル画像信号Vcdを、現フレーム分のデジタル信号Vcdmvと現フレーム分のデジタル信号Vcdoとに分解する。現フレーム分のデジタル信号Vcdmvが動きベクトル先小ブロック化部１７３に供給され、かつ、現フレーム分のデジタル信号Vcdoが逆直交変換復号部１７５に供給されると、処理はステップＳ１０３に進む。
ステップＳ１０３において、動きベクトル先小ブロック化部１７３は、現フレーム分の各動きベクトル先大ブロックを生成（復元）する。さらに、動きベクトル先小ブロック化部１７３が、現フレーム分の各動きベクトル先大ブロックのそれぞれを小ブロック化し、小ブロック化された現フレーム分の各動きベクトル先大ブロックを直行変換基底生成部１７４に供給する。これにより、処理はステップＳ１０４に進む。
ステップＳ１０４において、直行変換基底生成部１７４は、小ブロック化された現フレーム分の各動きベクトル先大ブロックのそれぞれについての直交変換の基底を生成（復元）する。現フレーム分の各動きベクトル先大ブロックのそれぞれについての直交変換の基底が、逆直交変換復号部１７５に供給されると、処理はステップＳ１０５に進む。
ステップＳ１０５において、逆直交変換復号部１７５は、現フレーム分の各動きベクトル先大ブロックのそれぞれについての直交変換の基底のうちの対応する１つを利用して、現フレーム分のデジタル信号Vcdoに対して逆直交変換復号処理を大ブロック（残差大ブロック）単位で施す。さらに、逆直交変換復号部１７５は、上述したように、逆直交変換復号処理の結果から、現フレーム分の各残差大ブロックを生成する。現フレーム分の各残差大ブロックが、逆直交変換復号部１７５から加算部１７６に供給されると、処理はステップＳ１０６に進む。
ステップＳ１０６において、加算部１７６は、ステップＳ１０３の処理で生成された現フレーム分の各動きベクトル先大ブロックのそれぞれと、ステップＳ１０５の処理結果である現フレーム分の各残差大ブロックのうちの対応する１つとを加算する。すると、上述したように、現フレーム分の各大ブロックが得られる。現フレーム分の各大ブロックが、加算部１７６からブロック分解部１７７に供給されると、処理はステップＳ１０７に進む。
ステップＳ１０７において、ブロック分解部１７７は、ステップＳ１０６の処理結果である現フレーム分の複数の大ブロックを元の配置位置に並べることで、現フレーム分のデジタル画像信号Vdg2を生成する。この現フレーム分のデジタル画像信号Vdg2が、ブロック分解部１７７から出力部１７９に供給されると、処理はステップＳ１０８に進む。
ステップＳ１０８において、出力部１７９は、現フレーム分のデジタル画像信号Vdg2を外部に出力する。
ステップＳ１０９において、復号部５４は、処理すべき全フレームに対する処理が終了したか否かを判定する。
全フレームに対する処理がまだ終了していない場合、ステップＳ１０９においてNOであると判定されて、処理はステップＳ１１０に進む。
ステップＳ１１０において、復号部５４は、フレームメモリ１７８の書き換えを行う。即ち、ステップＳ１０８の処理でブロック分解部１７７から出力された現フレーム分のデジタル画像信号Vdg2がフレームメモリ１７８に書き込まれる。
その後、処理はステップＳ１０１に戻され、それ以降の処理が繰り返される。即ち、次の１フレーム分の符号化デジタル画像信号Vcdが、ステップＳ１０１の処理で入力され、ステップＳ１０２乃至Ｓ１０７の処理で上述した復号処理が施され、その結果、次の１フレーム分のデジタル画像信号Vdg2が得られ、このデジタル画像信号Vdg2がステップＳ１０８の処理で出力される。
このようなステップＳ１０１乃至Ｓ１１０のループ処理が全フレームに対して施され、最後のフレーム分のデジタル画像信号Vdg2が出力されると、次のステップＳ１０９においてYESであると判定されて、図１２の例の復号処理は終了となる。
以上、図１２を参照して、図１１の例の復号部５４の復号処理の例について説明した。
次に、図１３乃至図１６を参照して、図３の例の符号化部５２の変形例と、図１１の例の復号部５４の変形例のそれぞれについて説明する。
図１３は、主成分分析を伴う符号化部５２の一構成例（上述した図１５や図３の例とは異なる構成例）を示している。
なお、図１３の例の符号化部５２において、図３の例の符号化部５２と対応する部分には同一の符号を付してあり、その説明は適宜省略する。
図１３と図３とを比較するに、図１３の例の符号化部５２の構成は、図３の例の符号化部５２から残差算出部１２６を除いた構成であることがわかる。
即ち、図３の例の符号化部５２においては、小ブロック化部１２７は、残差算出部１２６から供給された残差大ブロックを小ブロック化し、直交変換符号化部１２８は、小ブロック化された残差大ブロックに対して直交変換符号化処理を施している。
これに対して、図１３の例の符号化部５２においては、小ブロック化部１２７は、大ブロック化部１２２から供給された大ブロックを小ブロック化し、直交変換符号化部１２８は、小ブロック化された大ブロックに対して直交変換符号化処理を施している。
このため、図１３の例の符号化部５２の符号化処理は、図３の例の符号化部５２の符号化処理と基本的に同様の流れとなるが、即ち、図１０のフローチャートと基本的に同様の流れとなるが、ステップ８５の「残差算出」という処理が省略されることになる。従って、図１３の例の符号化部５２の符号化処理は、例えば図１４のフローチャートに示される通りになる。即ち、図１４のステップＳ１２１乃至Ｓ１２４のそれぞれの処理は、図１０のステップＳ８１乃至Ｓ８４のそれぞれの処理と基本的に同様の処理である。また、図１４のステップＳ１２５乃至Ｓ１２９のそれぞれの処理は、図１０のステップＳ８６乃至Ｓ９０のそれぞれの処理と基本的に同様の処理である。ただし、ステップＳ１２５とＳ８６の直行変換符号化処理の対象は、上述したように異なることになる。
図１５は、図１３の例の符号化部５２に対応する復号部５４の一構成例（上述した図１１の変形例）を示している。
なお、図１５の例の復号部５４において、図１１の例の復号部５４と対応する部分には同一の符号を付してあり、その説明は適宜省略する。
図１５と図１１とを比較するに、図１５の例の符号化部５２の構成は、図１１の例の復号部５４から加算部１７６を除いた構成であることがわかる。なぜならば、データ分解部１７２から出力されるデジタル信号Vcdoは、図１３の例の直交変換符号化部１２８の出力信号と同様の信号であるからである。即ち、図１３の例の直交変換符号化部１２８の処理対象は、上述したように、現フレーム分のデジタル画像信号Vdg1から分割された複数の大ブロックであって、これらの複数の大ブロックに対する直交変換符号化処理の結果がデジタル信号Vcdoであることから、図１５の逆直交変換符号部１７５から直接複数の大ブロックが出力されるからである。即ち、移動ベクトル先大ブロックを加算する必要がないからである。
このため、図１５の例の復号部５４の復号処理は、図１１の例の復号部５４の復号処理と基本的に同様の流れとなるが、即ち、図１２のフローチャートと基本的に同様の流れとなるが、ステップ１０６の「動きベクトル先大ブロックと残差大ブロックとの加算（大ブロック生成）」という処理が省略されることになる。従って、図１５の例の復号部５４の復号処理は、例えば図１６のフローチャートに示される通りになる。即ち、図１６のステップＳ１４１乃至Ｓ１４５のそれぞれの処理は、図１２のステップＳ１０１乃至Ｓ１０５のそれぞれの処理と基本的に同様の処理である。ただし、ステップＳ１４３の処理で生成された動きベクトル先大ブロックは、次のステップＳ１４４の「直行変換基底生成」という処理で利用されるだけである。また、図１６のステップＳ１４６乃至Ｓ１４８のそれぞれの処理は、図１２のステップＳ１０７乃至Ｓ１１０のそれぞれの処理と基本的に同様の処理である。
以上説明したように、図２の再生装置１から出力されるアナログ歪みを伴うアナログ画像信号Van1は、A/D変換部５１に供給されてA/D変換され、その結果、デジタル画像信号Vdg1として、図３または図１３の例の符号化部５２に供給される。
すると、図３または図１３の例の符号化部５２は、例えば現フレーム分のデジタル画像信号Vdg1を複数の大ブロックに分割する。次に、図３または図１３の例の符号化部５２は、現フレーム分の複数の大ブロックのそれぞれについて、処理対象の大ブロックの動きベクトルを検出することで、処理対象の大ブロックに対応する動きベクトル先大ブロックを求め、その動きベクトル先大ブロックを利用して適応的な直交変換の基底を生成する。即ち、現フレーム分の複数の大ブロック毎に直交変換の基底がそれぞれ個別に生成される。
次に、図３の例の場合、符号化部５２は、現フレーム分の複数の大ブロックのそれぞれに対応する残差大ブロックのそれぞれに対して、対応する直交変換の基底を利用する直交変換符号化処理を施す。そして、図３の例の符号化部５２は、直交変換符号化処理の結果を示す現フレーム分のデジタル信号Vcdoと、現フレーム分の各動きベクトルを示すデジタル信号Vcdmvとからなるデジタル信号を、現フレーム分の符号化デジタル画像信号Vcdとして出力する。
一方、図１３の例の場合、符号化部５２は、現フレーム分の複数の大ブロックのそれぞれに対して、対応する直交変換の基底を利用する直交変換符号化処理を施す。そして、図１３の例の符号化部５２は、直交変換符号化処理の結果を示す現フレーム分のデジタル信号Vcdoと、現フレーム分の各動きベクトルを示すデジタル信号Vcdmvとからなるデジタル信号を、現フレーム分の符号化デジタル画像信号Vcdとして出力する。
図３または図１３の例の符号化部５２から出力された符号化デジタル画像信号Vcdは、図２の記録部５３に供給される。記録部５３は、この符号化デジタル画像信号Vcdを光ディスク等の記録媒体に記録する。このようにして、記録部５３において、アナログ画像信号Van1に基づくコピーが行われる。
再生装置１から出力されたアナログ画像信号Van1が１回目の符号化と復号とを経た信号である場合、記録部５３により記録媒体に記録された符号化デジタル画像信号Vcdが、図１１または図１５の例の復号部５４を含む別の装置（図示せず）により復号された結果得られるデジタル画像信号は、２回目の符号化と復号を経た信号となる。この場合、２回目の符号化と復号を経たデジタル画像信号は、再生装置１の復号部１１から出力されたデジタル画像信号Vdg0に比べて、大きく劣化したものとなる。
なぜならば、アナログ画像信号Van1は、上述したようにアナログ歪みを伴うものであるからである。
即ち、例えばアナログ画像信号Van1が、上述した信号の位相ずれにより生じるアナログ歪みを伴う場合、A/D変換部５１がそのアナログ画像信号Van1をデジタル信号に変換する際に生じるサンプリング位相の揺らぎのために、図３または図１３の例の符号化部５２により現フレーム分のデジタル画像信号Vdg1から分割されて得られる複数の大ブロックの各位置が、１回目の符号化と復号における位置に対してずれる。
そのため、図３または図１３の例の符号化部５２において、現フレーム分の複数の大ブロックのそれぞれに対応する動きベクトル移動先大ブロックとして、１回目の符号化のそれとは異なる大ブロックが算出される。その結果、１回目の符号化で使用された直交変換の基底とは異なる直交変換の基底が大ブロック毎に生成され、かつそれらの直交変換の基底を利用して、複数の大ブロックのそれぞれ、または、それらに対応する複数の残差大ブロックのそれぞれに対して直交変換符号化処理が施されるため、１回目の符号化において発生した量子化歪みとは異なる新たな量子化歪みがさらに発生し、結果として大きな歪となる。
以上のことから、図３または図１３の例の符号化部５２から出力されて、図２の記録部５３により記録媒体に記録されたた符号化デジタル画像信号Vcdが再生され、その結果得られる画像は、再生装置１から出力されるアナログ画像信号Van1に対応する画像、即ち、表示装置２に表示される画像に比べて、大幅に劣化した画質になる。
さらに、再生装置１から出力されるアナログ画像信号Van1が２回目以降の符号化と復号とを経た信号である場合、図３または図１３の例の符号化部５２で符号化されて、さらに復号されて得られるデジタル画像信号は、３回目以降の符号化と復号とを経たものとなり、より一層劣化したものとなる。
従って、３回目以降の符号化と復号とを経た符号化デジタル画像信号が記録部５３により記録媒体に記録され、その後、その符号化デジタル画像信号が再生された場合、その結果得られる画像は、再生装置１から出力されるアナログ画像信号Van1に対応する画像、即ち、表示装置２に表示される画像に比べて、さらに一段と大幅に劣化した画質になる。よって、この符号化装置４１では、良好な画質を維持したままでのコピーは不可能となる。即ち、不正コピー防止が図られる。
同様の理由で、図１１または図１５の例の復号部５４を有する復号装置４２においても、その表示部５６に表示される画像、即ち、D/A変換部５５から出力されるアナログ信号Van2に対応する画像は、再生装置１から出力されるアナログ画像信号Van1に対応する画像、即ち、表示装置２に表示される画像に比べて、大幅に劣化した画質になる。さらに、この画質の劣化の度合いは、符号化と復号とを繰り返す度に大きくなっていく。
また、図３の例の符号化部５２と図１１の例の復号部５４とを含む図２の画像処理システム、または、図１３の例の符号化部５２と図１５の例の復号部５４とを含む図２の画像処理システムにおいては、良好な画質を維持したままでのコピーを不可能とする処理が、図３または図１３の例の符号化部５２と図１１または図１５の例の復号部５４とを含む記録再生装置３１側で実行されるため、再生装置１から表示装置２に供給されるアナログ画像信号Van1には何等加工が施されず、その結果、表示装置２に表示される画像の画質を落とすことはない。即ち、図３の例の符号化部５２と図１１の例の復号部５４とを含む図２の画像処理システムと、図１３の例の符号化部５２と図１５の例の復号部５４とを含む図２の画像処理システムとは何れも、上述した特許文献１の発明が有する課題を解決することができる。
さらにまた、図３の例の符号化部５２と図１１の例の復号部５４とを含む図２の画像処理システム、または、図１３の例の符号化部５２と図１５の例の復号部５４とを含む図２の画像処理システムにおいては、同図の構成から明らかなように、再生側と記録側との何れにも、雑音情報発生部やこれを埋め込むための回路等の特別な回路を搭載する必要がなく、回路規模も増大することはない。即ち、図３の例の符号化部５２と図１１の例の復号部５４とを含む図２の画像処理システムと、図１３の例の符号化部５２と図１５の例の復号部５４とを含む図２の画像処理システムとは何れも、上述した特許文献２の発明が有する課題を解決することができる。
なお、アナログ信号Van1にアナログ歪みがない場合には、２回目以降の符号化においても、ほとんどの場合において直前の回と同位置の大ブロックBLが利用され、その結果、直前の回の符号化で生成された直交変換の基底（主成分）が、２回目以降においてもほぼ同様に再現されるため、２回目以降の符号化における量子化歪みは極めて少なく、通常の品質での再生が可能となる。
以上、図３乃至図１６を参照して、本発明が適用される図２の符号化部５２と復号部５４とのそれぞれの実施の形態として、２つの例を説明した。即ち、はじめに、図３の例の符号化部５２と図１１の例の復号部５４とについて説明した。そして、図１３の例の符号化部５２と図１５の例の復号部５４とについて説明した。
ただし、上述したように、本発明が適用される図２の符号化部５２は、上述した２つの例に限定されず、様々な形態を取ることが可能である。同様に、本発明が適用される図２の復号部５４は、上述した２つの例に限定されず、様々な形態を取ることが可能である。
換言すると、本発明が適用される図２の符号化部５２は、例えば図１７の機能的構成を有していれば足り、図１７の機能的構成を実現するための実施の形態は特に限定されない。即ち、その様々な実施の形態のうちの幾つかが、上述した図３と図１３のそれぞれの例の符号化部５２である。このように、図１７は、本発明が適用される図２の符号化部５２のより一般的な機能的構成例（上述した幾つかの例の上位概念の構成例）を示している。また、図１８のフローチャートは、図１７の機能的構成を有する符号化部５２が実行する符号化処理の一例を示している。
同様に、本発明が適用される図２の復号部５４は、図１９の機能的構成を有していれば足り、図１９の機能的構成を実現するための実施の形態は特に限定されない。即ち、その様々な実施の形態のうちの幾つかが、上述した図１１と図１５とのそれぞれの例の符号化部５２である。このように、図１９は、本発明が適用される図２の復号部５４のより一般的な機能的構成例（上述した幾つかの例の上位概念の構成例）を示している。また、図１９のフローチャートは、図１８の機能的構成を有する復号部５４が実行する復号処理の一例を示している。
以下、図１７乃至図１９を参照して、本発明が適用される図２の符号化部５２と復号部５４とについてさらに説明する。
図１７の例では、符号化部５２は、設定部４０１、分析部４０２、変換部４０３、および、重畳部４０４から構成されている。
設定部４０１は、入力データであるデジタル画像信号Vdg1から、N次元で表される処理データを設定し、M個の処理データを分析単位として設定し、入力データをその分析単位で区分することで、M個の処理データからなるデータ群を1以上生成する。そして、設定部４０１は、１以上のデータ群を、分析部４０２と変換部４０３とに供給する。
なお、設定部４０１において、後述する変換情報を図１９の例の復調部５４側で生成するために必要な情報（以下、変換情報生成用情報と称する）が、生成または使用された場合、必要に応じて、その変換情報生成用情報はデジタル信号Vbとして重畳部４０４に供給される。さらにまた、設定部４０１において、復号処理に利用されるその他の情報を図１９の例の復調部５４側で生成するために必要な情報（以下、復号情報生成用情報と称する）が、生成または使用された場合、必要に応じて、その復号情報生成用情報はデジタル信号Vbとして重畳部４０４に供給される。
例えば、図３の例の符号化部５２では、設定部４０１は、大ブロック化部１２２、動きベクトル検出部１２３、動きベクトル先小ブロック化部１２４、残差算出部１２６、小ブロック化部１２７、ローカルデコード部１３０、およびフレームメモリ１３１から構成されている。即ち、図３の例の符号化部５２では、小ブロック化部１２７または動きベクトル先小ブロック化部１２４により生成されN個の画素値からなる小ブロックが、処理データとして採用されている。そして、この小ブロックがM個集まって構成される大ブロック、即ち、残差算出部１２６により算出された残差大ブロック、または、動きベクトル検出部１２３により抽出された動きベクトル先大ブロックが、分析単位として採用されている。なお、図３の例の符号化部５２では、動きベクトル検出部１２３から出力されたデジタル信号Vcdmvが、変換情報生成用情報である図１７のデジタル信号Vbとして採用されている。
例えば、図１３の例の符号化部５２では、設定部４０１は、大ブロック化部１２２、動きベクトル検出部１２３、動きベクトル先小ブロック化部１２４、小ブロック化部１２７、ローカルデコード部１３０、およびフレームメモリ１３１から構成されている。即ち、図１３の例の符号化部５２では、小ブロック化部１２７または動きベクトル先小ブロック化部１２４により生成されN個の画素値からなる小ブロックが、処理データとして採用されている。そして、この小ブロックがM個集まって構成される大ブロック、即ち、大ブロック化部１２２によりデジタル画像信号Vdg1から分割された大ブロック、または、動きベクトル検出部１２３により抽出された動きベクトル先大ブロックが、分析単位として採用されている。なお、図１３の例の符号化部５２では、動きベクトル検出部１２３から出力されたデジタル信号Vcdmvが、変換情報生成用情報である図１７のデジタル信号Vbとして採用されている。
図１７の分析部４０２は、設定部４０１から供給される１以上のデータ群のそれぞれを順次処理対象に設定し、処理対象のデータ群を分析することで、処理対象のデータ群の表現形式を変換するための変換情報を処理対象毎に個別に生成し、変換部４０３に供給する。
なお、変換情報自身、または、それに対応する変換情報生成用情報は、必要に応じて、デジタル信号Vbとして、分析部４０２から重畳部４０４に供給される。さらにまた、復号情報生成用情報が、分析部４０２により生成または利用された場合、必要に応じて、デジタル信号Vbとして、分析部４０２から重畳部４０４に供給される。
例えば、図３の例の符号化部５２では、分析部４０２は、直交変換基底生成部１２５から構成されている。即ち、図３の例の符号化部５２では、直交変換基底生成部１２５により生成される動き先大ブロック毎（対応する大ブロック毎）の直交変換の基底（第１乃至第N主成分）が、変換情報として採用されている。
例えば、図１３の例の符号化部５２では、分析部４０２は、直交変換基底生成部１２５から構成されている。即ち、図３の例の符号化部５２では、直交変換基底生成部１２５により生成される動き先大ブロック毎（対応する大ブロック毎）の直交変換の基底（第１乃至第N主成分）が、変換情報として採用されている。
図１７の変換部４０３は、設定部４０１から供給される１以上のデータ群のそれぞれについて、分析部４０２から供給された変換情報のうちの処理対象のデータ群についての変換情報を利用して、処理対象のデータ群を構成するM個の処理データのそれぞれの表現形式を変換する。そして、変換部４０３は、それぞれ表現形式が変換された１以上のデータ群を、デジタル信号Vaとして重畳部４０４に供給する。
このように、変換情報とは、処理データの表現形式のうちの、変換部４０３による変換前の第１の表現形式と、変換部４０３による変換後の第２の表現形式との間の関係を示すまたは規定する情報である、といえる。
なお、ここで言う表現形式の変換とは、上述した軸変換等による表現形式の変換の他、所定の符号化方式による符号化（量子化等）を含めてもよいし、含めなくてもよい。前者の場合、符号化部５２は、データの表現形式を変換するデータ変換装置またはその一部であると言える。また、後者の場合、変換部４０３は、それぞれ表現形式が変換された１以上のデータ群を符号化し、その結果得られる信号をデジタル信号Vaとして重畳部４０４に供給することになる。
例えば、図３の例の符号化部５２では、変換部４０３は直交変換符号化部１２８から構成されている。即ち、図３の例の符号化部５２では、直交変換符号化部１２８から出力されたデジタル信号Vcdoが、図１７のデジタル信号Vaとして採用されている。
例えば、図１３の例の符号化部５２では、変換部４０３は直交変換符号化部１２８から構成されている。即ち、図１３の例の符号化部５２では、直交変換符号化部１２８から出力されたデジタル信号Vcdoが、図１７のデジタル信号Vaとして採用されている。
重畳部４０４は、変換部４０３から供給されたデジタル信号Vaに対して、設定部４０１と分析部４０２とのうちの少なくとも一方から供給されたデジタル信号Vb（変換情報、変換情報生成用情報、および復号情報生成用情報のうちの少なくとも１つ）を重畳し、その結果得られるデジタル信号を符号化デジタル画像信号Vcdとして、図２の記録部５３や復号部５４に出力する。
例えば、図３と図１３の例の符号化部５２では、重畳部４０４は重畳部１２９から構成されている。
以上、図１７を参照して、図２の符号化部５２の機能的構成について説明した。
次に、図１８のフローチャートを参照して、図１７の機能的構成を有する符号化部５２の符号化処理例について説明する。
ステップＳ２０１において、設定部４０１は、デジタル画像信号Vdg1を、例えば１フレーム分だけ入力する。
ステップＳ２０２において、設定部４０１は、１フレーム分のデジタル画像信号Vdg1から、処理データと分析単位との設定を行う。そして、１フレーム分の複数の処理データが分析単位で区分され、その結果得られるM個の処理データからなる１以上のデータ群、即ち、１フレーム分の１以上のデータ群が、設定部４０１から分析部４０２と変換部４０３とに供給されると、処理はステップＳ２０３に進む。
ステップＳ２０３において、分析部４０２は、分析単位毎に変換情報を１フレーム分だけ生成する。即ち、分析部４０２は、１フレーム分の１以上のデータ群のそれぞれについての変換情報を生成する。１フレーム分の分析単位毎の変換情報が、分析部４０２から変換部４０３に供給されると、処理はステップＳ２０４に進む。
ステップＳ２０４において、変換部４０３は、１フレーム分の分析単位毎の変換情報を利用して、１フレーム分の画像信号Vdg1の表現形式を分析単位毎に変換する。即ち、変換部４０３は、１フレーム分の１以上のデータ群のそれぞれについて、処理対象のデータ群についての変換情報を利用して、処理対象のデータ群の表現形式を変換する。このステップＳ２０４の処理の結果として１フレーム分のデジタル信号Vaが得られ、このデジタル信号Vaが変換部４０３から重畳部４０４に供給されると、処理はステップＳ２０５に進む。
ステップＳ２０５において、重畳部４０４は、変換部４０３から供給された１フレーム分のデジタル信号Vaに対して、設定部４０１と分析部４０２とのうちの少なくとも一方から供給されたデジタル信号Vbを重畳することで、符号化デジタル画像信号Vcdを生成する。
ステップＳ２０６において、重畳部４０４は、この符号化デジタル画像信号Vcdを外部に出力する。
ステップＳ２０７において、符号化部５２は、処理すべき全フレームに対する処理が終了したか否かを判定する。
全フレームに対する処理がまだ終了していない場合、ステップＳ２０７においてNOであると判定されて、処理はステップＳ２０１に戻され、それ以降の処理が繰り返される。即ち、次の１フレーム分のデジタル画像信号Vdg1が、ステップＳ２０１の処理で入力され、ステップＳ２０２乃至Ｓ２０５の処理で上述した符号化処理が施され、その結果、次の１フレーム分の符号化デジタル画像信号Vcdが得られ、この符号化デジタル画像信号VcdがステップＳ２０６の処理で出力される。
このようなステップＳ２０１乃至Ｓ２０７のループ処理が全フレームに対して施され、最後のフレーム分の符号化デジタル画像信号Vcdが出力されると、次のステップＳ２０７においてYESであると判定されて、図１８の例の符号化処理は終了となる。
以上、図１８を参照して、図１７の機能的構成を有する符号化部５２の符号化処理の例について説明した。
次に、図１９と図２０を参照して、図１７の機能的構成を有する符号化部５２に対応する復号部５４の機能的構成例について説明する。
図１９の例では、復号部５４は、データ分解部４１１乃至復号画像生成部４１４から構成されている。ただし、後述するように、分析部４１２は、必要に応じて省略可能である。
データ分解部４１１には、図１７の機能的構成を有する符号化部５２から出力された符号化デジタル画像信号Vcdが供給される。
データ分解部４１１は、この符号化デジタル画像信号Vcdを、図１７の変換部４０３の出力であるデジタル信号Vaと、図１７の設定部４０１と分析部４０２とのうちの少なくとも一方の出力であるデジタル信号Vbとに分解する。
上述したように、デジタル信号Vbには、変換情報自身およびそれに対応する変換情報生成用情報、並びに復号情報生成用情報のうちの少なくとも１つが含まれている。そこで、データ分解部４１１は、デジタル信号Vbに変換情報が含まれている場合、その変換情報を逆変換部４１３に供給する。これに対して、データ分解部４１１は、デジタル信号Vbに変換情報生成用情報が含まれている場合、その変換情報生成用情報を分析部４１２に供給する。また、データ分解部４１１は、デジタル信号Vbに復号情報生成用情報が含まれている場合、その復号情報生成用情報を、分析部４１２乃至復号画像生成部４１４のうちの少なくとも１つに供給する。
例えば、図１１と図１５の例の復号部５４では、データ分解部４１１はデータ分解部１７２から構成されている。
分析部４１２は、変換情報生成用情報であるデジタル信号Vbがデータ分解部４１１から供給された場合、その変換情報生成用情報を利用することで、分析単位毎の変換情報（図１７の分析部４０２の出力に対応する各変換情報）をそれぞれ生成し、逆変換部４１３に供給する。即ち、分析部４１２は、１以上のデータ群のそれぞれについての変換情報を生成し、逆変換部４１３に供給する。
例えば、図１１と図１５の例の復号部５４では、分析部４１２は、動きベクトル先小ブロック化部１７３、直交変換基底生成部１７４、およびフレームメモリ１７８から構成されている。
逆変換部４１３は、データ分解部４１１からデジタル信号Vbとして供給された分析単位毎の変換情報、または、分析部４１２から供給された分析単位毎の変換情報を利用して、データ分解部４１１から供給されたデジタル信号Vaの表現形式を元に戻す。即ち、逆変換部４１３は、表現形式が変換された分析単位毎の処理データ（１以上のデータ群）のそれぞれについて、処理対象のデータ群についての変換情報を利用して、表現形式が変換された処理対象のデータ群の表現形式を元に戻す。そして、逆変換部４１３は、表現形式が元に戻された分析単位毎の処理データ（１以上のデータ群）を、復号画像生成部４１４に供給する。
なお、ここで言う表現形式を元に戻すとは、上述した逆軸変換等により表現形式を元に戻す他、図１７の変換部４０３に採用されている符号化方式に対応する復号方式の復号（逆量子化等）も含めてもよいし、含めなくてもよい。前者の場合、復号部５４は、データの表現形式を逆変換するデータ逆変換装置またはその一部分である、といえる。また、後者の場合、逆変換部４１３は、データ分解部４１１から供給されたデジタル信号Vaを復号し、その結果得られる信号の表現形式を元に戻すことになる。
例えば、図１１と図１５の例の復号部５４では、逆変換部４１３は逆直交変換復号部１７５から構成されている。
復号画像生成部４１４は、逆変換部４１３により表現形式が元に戻された分析単位毎の処理データ（１以上のデータ群）を利用して、データ分解部４１１に入力された符号化デジタル画像信号Vcdの復号信号であるデジタル画像信号Vdg2を生成し、図２のD/A変換部５５等に供給する。
例えば、図１１の例の復号部５４では、復号画像生成部４１４は加算部１７６とブロック分解部１７７とから構成されている。例えば、図１５の例の復号部５４では、復号画像生成部４１４はブロック分解部１７７から構成されている。
なお、以上説明した分析部４１２乃至復号画像生成部４１４は、復号情報生成用情報であるデジタル信号Vbが供給された場合、必要に応じて、その復号情報生成用情報を利用して上述した各種処理を実行する。
以上、図１５の機能的構成を有する復号部５４の構成について説明した。次に、図１６のフローチャートを参照して、図１５の機能的構成を有する復号部５４の復号処理例について説明する。
ステップＳ２２１において、データ分解部４１１は、符号化デジタル画像信号Vcdを、例えば１フレーム分だけ入力する。
ステップＳ２２２において、データ分解部４１１は、１フレーム分の符号化デジタル画像信号Vcdを、１フレーム分のデジタル信号Vaと１フレーム分のデジタル信号Vbとに分解する。
ステップＳ２２３において、データ分解部４１１は、変換情報が分解されたか否かを判定する。
ステップＳ２２２の処理で符号化デジタル画像信号Vcdから分解されたデジタル信号Vbに、１フレーム分の分析単位毎の変換情報が含まれている場合、ステップＳ２２３において変換情報が分解されたと判定されて、ステップＳ２２４の処理は実行されずに処理はステップＳ２２５に進む。その際、１フレーム分の分析単位毎の変換情報であるデジタル信号Vbは、データ分解部４１１から逆変換部４１３に提供される。
これに対して、ステップＳ２２２の処理で符号化デジタル画像信号Vcdから分解されたデジタル信号Vbに、変換情報が含まれておれず、１フレーム分の分析単位毎の変換情報生成用情報が含まれている場合、ステップＳ２２３において変換情報が分解されていないと判定されて、１フレーム分の分析単位毎の変換情報生成用情報であるデジタル信号Vbは、データ分解部４１１から分析部４１２に提供される。これにより、処理はステップＳ２２４に進む。
ステップＳ２２４において、分析部４１２は、１フレーム分の分析単位毎の変換情報生成用情報のそれぞれを利用して、１フレーム分の分析単位毎の変換情報を生成する。１フレーム分の分析単位毎の変換情報が、分析部４１２から逆変換部４１３に提供されると、処理はステップＳ２２５に進む。
ステップ２２５において、逆変換部４１３は、データ分解部４１１または分析部４１２から提供された１フレーム分の分析単位毎の変換情報を利用して、１フレーム分の符号化デジタル画像信号Vcdの表現形式を分析単位毎に元に戻す。即ち、ステップＳ２２５の処理とは、図１８のステップＳ２０４の変換処理の逆処理（逆変換処理）であるとも言える。
符号化デジタル画像信号Vcdの表現形式が分析単位毎に元に戻されるとは、上述したように、表現形式が元に戻された分析単位毎の処理データ（１以上のデータ群）が得られることを言う。従って、ステップＳ２２５の処理の結果、表現形式が元に戻された分析単位毎の処理データ（１以上のデータ群）が、逆変換部４１３から復号画像生成部４１４に提供される。これにより、処理はステップＳ２２６に進む。
ステップＳ２２６において、復号画像生成部４１４は、表現形式が元に戻された分析単位毎の処理データ（１以上のデータ群）から、ステップＳ２２１の処理で入力された１フレーム分の符号化デジタル画像信号Vcdの復号信号である１フレーム分のデジタル画像信号Vdg2を生成する。
ステップＳ２２７において、復号画像生成部４１４は、この１フレーム分のデジタル画像信号Vdg2を出力する。
ステップＳ２２８において、復号部５４は、処理すべき全フレームに対する処理が終了したか否かを判定する。
全フレームに対する処理がまだ終了していない場合、ステップＳ２２８においてNOであると判定されて、処理はステップＳ２２１に戻され、それ以降の処理が繰り返される。即ち、次の１フレーム分の符号化デジタル画像信号Vcdが、ステップＳ２２１の処理で入力され、ステップＳ２２２乃至Ｓ２２６の処理で上述した復号処理が施され、その結果、次の１フレーム分のデジタル画像信号Vdg2が得られ、このデジタル画像信号Vdg2がステップＳ２２７の処理で出力される。
このようなステップＳ２２１乃至Ｓ２２８のループ処理が全フレームに対して施され、最後のフレーム分のデジタル画像信号Vdg2が出力されると、次のステップＳ２２８においてYESであると判定されて、図２０の例の復号処理は終了となる。
以上、図２０を参照して、図１９の機能的構成を有する復号部５４の復号処理の例について説明した。
即ち、以上、図３乃至図２０を参照して、図２の符号化部５２とそれに対応する復号部５４との詳細について説明した。
ところで、本発明が適用される画像処理システムは、図２の例に限定されず、様々な実施の形態を取ることができる。即ち、本発明が適用される画像処理システムは、例えば、上述した図１７の機能的構成を有する符号化部５２と、上述した図１９の機能的構成を有する復号部５４とを含む構成であれば、その構成は特に限定されない。具体的には例えば、本発明が適用される画像処理システムは、図２１に示されるように構成することもできる。
即ち、図２１は、本発明が適用される画像処理システムの構成例を示している。
なお、図２１の例の画像処理システムにおいて、図２の例の画像処理システムと対応する部分には同一の符号を付してあり、その説明は適宜省略する。
図２１と図２とを比較するに、図２１の例の符号化装置４１は、図２の例の符号化装置４１に対して、アナログ歪み付加部４５１がさらに含むように構成されている。
アナログ歪み生成部４５１は、その名称の通り、再生装置１から出力されたアナログ画像信号Van1に対してアナログ歪みを積極的に生じさせる（アナログノイズを強制的に付加する）。そして、アナログ歪み生成部４５１は、アナログノイズが強制的に付加されたアナログ画像信号Van1をA/D変換部５１に供給する。
なお、アナログ歪み生成部４５１の配置位置は、図５８の例に限定されず、任意の位置でよい。例えば、復号装置４２のD/A変換部５５の後段や、再生装置１のD/A変換部１２の後段に、アナログ歪み生成部４５１を配置させてもよい。
図２１の例の画像処理システムにおけるその他の構成は、図２の例の画像処理システムにおける対応する構成と基本的に同様である。従って、図２１の例の画像処理システムの動作は、アナログ歪み付加部４５１によりアナログ歪みがアナログ画像信号Van1に対して強制的に付加されることを除いて、図２の例の画像処理システムの動作と基本的に同様である。従って、その説明については省略する。
ところで、上述した一連の処理（或いはそのうちの一部分の処理）は、ハードウエアにより実行させることもできるが、ソフトウエアにより実行させることもできる。
この場合、図２または図２１の画像処理システムのうちの、符号化装置４１や復号装置４２の全体若しくはその一部分（例えば、符号化部５２や復号部５４等）は、例えば、図５９に示される構成のコンピュータで構成することができる。
図２２において、CPU（Central Processing Unit）５０１は、ROM（Read Only Memory）５０２に記録されているプログラム、または記憶部５０８からRAM（Random Access Memory）５０３にロードされたプログラムに従って各種の処理を実行する。RAM５０３にはまた、CPU５０１が各種の処理を実行する上において必要なデータなども適宜記憶される。
CPU５０１、ROM５０２、およびRAM５０３は、バス５０４を介して相互に接続されている。このバス５０４にはまた、入出力インタフェース５０５も接続されている。
入出力インタフェース５０５には、キーボード、マウスなどよりなる入力部５０６、ディスプレイなどよりなる出力部５０７、ハードディスクなどより構成される記憶部５０８、および、モデム、ターミナルアダプタなどより構成される通信部５０９が接続されている。通信部５０９は、インターネットを含むネットワークを介して他の装置との通信処理を行う。
入出力インタフェース５０５にはまた、必要に応じてドライブ５１０が接続され、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどよりなるリムーバブル記録媒体５１１が適宜装着され、それらから読み出されたコンピュータプログラムが、必要に応じて記憶部５０８にインストールされる。
一連の処理をソフトウエアにより実行させる場合には、そのソフトウエアを構成するプログラムが、専用のハードウエアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、ネットワークや記録媒体からインストールされる。
このようなプログラムを含む記録媒体は、図２２に示されるように、装置本体とは別に、ユーザにプログラムを提供するために配布される、プログラムが記録されている磁気ディスク（フロッピディスクを含む）、光ディスク（CD-ROM(Compact Disk-Read Only Memory),DVD(Digital Versatile Disk)を含む）、光磁気ディスク（ＭＤ（Mini-Disk）を含む）、もしくは半導体メモリなどよりなるリムーバブル記録媒体（パッケージメディア）５１１により構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに提供される、プログラムが記録されているROM５０２や、記憶部５０８に含まれるハードディスクなどで構成される。
なお、本明細書において、記録媒体に記録されるプログラムを記述するステップは、その順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
また、上述したように、本明細書において、システムとは、複数の処理装置や処理部により構成される装置全体を表すものである。
また、符号化または復号の対象は、上述した例では画像信号とされたが、特に画像信号に限定されず、その他の任意の信号であってもよい。
さらにまた、上述した各種画像処理の単位は、上述した例ではフレームとされたが、基本的にアクセスユニットであればよい。ここで言うアクセスユニットとは、フレームのような画像全体若しくはそれを構成する画像データのみならず、画像の一部分（例えばフィールド）若しくは画像データといった画像の単位を言う。
従来の画像表示システムの構成例を示すブロック図である。 本発明が適用される画像処理システムの構成例を示すブロック図である。る。 図２の画像処理システムのうちの符号化部５２の構成例を示すブロック図である。 図３の大ブロック化部１２２の処理例を説明する図である。 図３の動きベクトル検出部１２３の処理例を説明する図である。 図３の動きベクトル検出部１２３の処理例を説明する図である。 図３の動きベクトル先小ブロック化部１２４の処理例を説明する図である。 図３の小ブロック化部１２７の処理例を説明する図である。 図３のローカルデコード部１３０の詳細な構成例を示すブロック図である。 図３の例の符号化部５２の符号化処理例を説明するフローチャートである。 図２の画像処理システムのうちの、図３の例の符号化部５２に対応する復号部５４の構成例を示すブロック図である。 図１１の例の復号部５４の復号処理例を説明するフローチャートである。 図２の画像処理システムのうちの符号化部５２の構成例を示すブロック図である。 図１３の例の符号化部５２の符号化処理例を説明するフローチャートである。 図２の画像処理システムのうちの、図１３の例の符号化部５２に対応する復号部５４の構成例を示すブロック図である。 図１５の例の復号部５４の復号処理例を説明するフローチャートである。 図２の画像処理システムのうちの符号化部５２の機能的構成例を示す機能ブロック図である。 図１７の機能的構成の符号化部５２の符号化処理例を説明するフローチャートである。 図２の画像処理システムのうちの、図１７の機能的構成の符号化部５２に対応する復号部５４の機能的構成例を示す機能ブロック図である。 図１９の機能的構成の復号部５４の復号処理例を説明するフローチャートである。 本発明が適用される画像処理システムの図２とは異なる構成例を示すブロック図である。 本発明が適用される符号化装置または復号装置の少なくとも一部分のハードウエア構成の一例を示すブロック図である。
符号の説明
１ 再生装置， ２ 表示部， １１ 復号部， １２ D/A変換部， ３１ 記録再生装置， ４１ 符号化装置， ４２ 復号装置， ５１ A/D変換部， ５２ 符号化部， ５３ 記録部， ５４ 復号部， ５５ D/A変換部， ５６ 表示部， １２１ 入力部， １２２ 大ブロック化部， １２３ 動きベクトル検出部， １２４ 動きベクトル先少ブロック化部， １２５ 直交変換基底生成部， １２６ 残差算出部， １２７ 小ブロック化部， １２８ 直交変換符号化部， １２９ 重畳部， １３０ ローカルデコード部， １３１ フレームメモリ， １３２ 出力部， １５１ データ分解部， １５２ 動きベクトル先小ブロック化部， １５３ 直交変換基底生成部， １５４ 逆直交変換復号部， １５５ 加算部， １５６ ブロック分解部， １７１ 入力部， １７２ データ分解部， １７３ 動きベクトル先少ブロック化部， １７４ 直交変換基底生成部， １７５ 逆直交変換復号部， １７６ 加算部， １７７ ブロック分解部， １７８ フレームメモリ， １７９ 出力部， ４０１ 設定部４０１ 分析部， ４０３ 変換部， ４０４ 重畳部， ４１１ データ分解部， ４１２ 分析部， ４１３ 逆変換部， ４１４ 復号画像生成部， ４５１ アナログ歪み付加部， ５０１ ＣＰＵ， ５０２ ＲＯＭ， ５０３ ＲＡＭ， ５０８ 記憶部， ５１１ リムーバブル記録媒体

Claims (18)

  1. 少なくとも第１のアクセスユニットと第２のアクセスユニットから構成される入力データのうちの前記第１のアクセスユニットを、１以上の第１のブロックに分割する設定手段と、
    前記設定手段により設定された１以上の前記第１のブロックのそれぞれを処理対象に１つずつ順次設定し、前記処理対象の前記第１のブロックについての、前記第２のアクセスユニットに対する前記動きベクトルを推定する動きベクトル推定手段と、
    前記第２のアクセスユニットにおける、前記処理対象の前記第１のブロックの位置から、前記処理対象の前記第１のブロックについての前記動きベクトルに対応する分だけ離間している第２のブロックを分析領域として抽出し、抽出された前記第２のブロックを複数の分析データに分割し、複数の前記分析データを対象とする主成分分析を行うことで、前記処理対象の前記第１のブロックの表現形式を変換するための基底を分析領域毎に個別に生成する分析手段と、
    生成された分析領域毎の前記基底のうちの所定の１つを利用して、前記処理対象の前記第１のブロックの表現形式を変換した出力データを生成する変換手段と
    を備えることを特徴とするデータ変換装置。
  2. 前記出力データと、前記出力データが生成されたとき前記変換手段により利用された前記基底とを対応付けて重畳し、その結果得られるデータを出力する出力手段
    をさらに備えることを特徴とする請求項１に記載のデータ変換装置。
  3. 前記変換手段は、前記処理対象の前記第１のブロックを構成する複数の小ブロックのそれぞれの表現形式を変換することで、前記出力データを生成する
    ことを特徴とする請求項２に記載のデータ変換装置。
  4. 前記処理対象の前記第１のブロックと前記第２のブロックとの差分を算出することで差分ブロックを生成する差分ブロック生成手段をさらに備え、
    前記変換手段は、前記処理対象の前記差分ブロックを構成する複数の小ブロックのそれぞれの表現形式を変換することで、前記出力データを生成する
    ことを特徴とする請求項２に記載のデータ変換装置。
  5. データに対してアナログ歪みを生じさせるアナログ歪み生成手段をさらに備え、
    前記アナログ歪み生成手段によりアナログノイズが付加されたデータが、前記入力データとして前記設定手段に入力される
    ことを特徴とする請求項１に記載のデータ変換装置。
  6. 少なくとも第１のアクセスユニットと第２のアクセスユニットから構成される入力データのうちの少なくとも一部の表現形式を変換するデータ変換装置のデータ変換方法であって、
    前記第１のアクセスユニットを、１以上の第１のブロックに分割する設定ステップと、
    前記設定ステップの処理により設定された１以上の前記第１のブロックのそれぞれを処理対象に１つずつ順次設定し、前記処理対象の前記第１のブロックについての、前記第２のアクセスユニットに対する前記動きベクトルを推定する動きベクトル推定ステップと、
    前記第２のアクセスユニットにおける、前記処理対象の前記第１のブロックの位置から、前記処理対象の前記第１のブロックについての前記動きベクトルに対応する分だけ離間している第２のブロックを分析領域として抽出し、抽出された前記第２のブロックを複数の分析データに分割し、複数の前記分析データを対象とする主成分分析を行うことで、前記処理対象の前記第１のブロックの表現形式を変換するための基底を分析領域毎に個別に生成する分析ステップと、
    生成された分析領域毎の前記基底のうちの所定の１つを利用して、前記処理対象の前記第１のブロックの表現形式を変換した出力データを生成する変換ステップと
    を含むことを特徴とするデータ変換方法。
  7. 少なくとも第１のアクセスユニットと第２のアクセスユニットから構成される入力データのうちの少なくとも一部の表現形式を変換する装置を制御するコンピュータに、
    前記第１のアクセスユニットを、１以上の第１のブロックに分割する設定ステップと、
    前記設定ステップの処理により設定された１以上の前記第１のブロックのそれぞれを処理対象に１つずつ順次設定し、前記処理対象の前記第１のブロックについての、前記第２のアクセスユニットに対する前記動きベクトルを推定する動きベクトル推定ステップと、
    前記第２のアクセスユニットにおける、前記処理対象の前記第１のブロックの位置から、前記処理対象の前記第１のブロックについての前記動きベクトルに対応する分だけ離間している第２のブロックを分析領域として抽出し、抽出された前記第２のブロックを複数の分析データに分割し、複数の前記分析データを対象とする主成分分析を行うことで、前記処理対象の前記第１のブロックの表現形式を変換するための基底を分析領域毎に個別に生成する分析ステップと、
    生成された分析領域毎の前記基底のうちの所定の１つを利用して、前記処理対象の前記第１のブロックの表現形式を変換した出力データを生成する変換ステップと
    を含む処理を実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体。
  8. 少なくとも第１のアクセスユニットと第２のアクセスユニットから構成される入力データのうちの少なくとも一部の表現形式を変換する装置を制御するコンピュータに、
    前記第１のアクセスユニットを、１以上の第１のブロックに分割する設定ステップと、
    前記設定ステップの処理により設定された１以上の前記第１のブロックのそれぞれを処理対象に１つずつ順次設定し、前記処理対象の前記第１のブロックについての、前記第２のアクセスユニットに対する前記動きベクトルを推定する動きベクトル推定ステップと、
    前記第２のアクセスユニットにおける、前記処理対象の前記第１のブロックの位置から、前記処理対象の前記第１のブロックについての前記動きベクトルに対応する分だけ離間している第２のブロックを分析領域として抽出し、抽出された前記第２のブロックを複数の分析データに分割し、複数の前記分析データを対象とする主成分分析を行うことで、前記処理対象の前記第１のブロックの表現形式を変換するための基底を分析領域毎に個別に生成する分析ステップと、
    生成された分析領域毎の前記基底のうちの所定の１つを利用して、前記処理対象の前記第１のブロックの表現形式を変換した出力データを生成する変換ステップと
    を含む処理を実行させるためのプログラム。
  9. 少なくとも第１のアクセスユニットと第２のアクセスユニットから構成されるデータが元データとされて、
    前記第１のアクセスユニットから、第１のブロックが１以上設定され、
    設定された１以上の前記第１のブロックのそれぞれが処理対象に１つずつ順次設定され、前記処理対象の前記第１のブロックについての、前記第２のアクセスユニットに対する動きベクトルが推定され、
    前記第２のアクセスユニットにおける、前記処理対象の前記第１のブロックの位置から前記動きベクトルに対応する分だけ離間している第２のブロックが分析領域として設定され、前記処理対象の前記第第１のブロックの表現形式を変換するための基底が、前記第２のブロックを複数の分析データに分割し、複数の前記分析データを対象とする主成分分析を行うことで、分析領域毎に個別に生成され、
    生成された分析領域毎の前記基底のうちの所定の１つが利用されて、前記処理対象の前記第第１のブロックの表現形式が変換されて生成された変換データが、そのとき利用された前記基底と対応付けられて重畳されたデータが、入力データのうちの少なくとも一部として入力されるデータ逆変換装置であって、
    前記入力データから、前記変換データと前記基底を分離する分離手段と、
    前記分離手段により前記入力データから分離された前記変換データを、分離された前記基底を利用して表現形式を逆変換することにより、前記第１のブロックを生成する逆変換手段と
    を備えることを特徴とするデータ逆変換装置。
  10. 前記変換データが生成されるときに利用された前記基底の代わりに、その基底を生成するために必要な情報である基底生成用情報が重畳されたデータが、前記入力データのうちの少なくとも一部として入力される場合には、
    前記分離手段は、前記変換データと前記基底生成用情報とを分離し、
    分離された前記基底生成用情報を利用して、前記変換データが生成されるときに利用された前記基底を生成する基底生成手段をさらに備える
    ことを特徴とする請求項９に記載のデータ逆変換装置。
  11. 前記変換データは、前記第１のブロックを複数の小ブロックに分割し、その小ブロックのそれぞれの表現形式が変換されたものであり、
    前記逆変換手段は、前記複数の小ブロックのそれぞれの表現形式を、分離して得られた前記基底を利用して逆変換することにより、前記第１のブロックを生成する
    ことを特徴とする請求項１０に記載のデータ逆変換装置。
  12. 前記変換データは、前記第１のブロックの前記動きベクトルに対応する分だけ離間している前記第２のアクセスユニットの第２のブロックと、前記第１のブロックとの差分である差分ブロックを複数の小ブロックに分割し、その小ブロックのそれぞれの表現形式が変換されたものであり、
    前記逆変換手段は、前記複数の小ブロックのそれぞれの表現形式を、分離して得られた前記基底を利用して逆変換することにより、前記第１のブロックを生成する
    ことを特徴とする請求項１０に記載のデータ逆変換装置。
  13. 前記元データにはアナログ歪みが生じている
    ことを特徴とする請求項９に記載のデータ逆変換装置。
  14. 少なくとも第１のアクセスユニットと第２のアクセスユニットから構成されるデータが元データとされて、
    前記第１のアクセスユニットから、第１のブロックが１以上設定され、
    設定された１以上の前記第１のブロックのそれぞれが処理対象に１つずつ順次設定され、前記処理対象の前記第１のブロックについての、前記第２のアクセスユニットに対する動きベクトルが推定され、
    前記第２のアクセスユニットにおける、前記処理対象の前記第１のブロックの位置から前記動きベクトルに対応する分だけ離間している第２のブロックが分析領域として設定され、前記処理対象の前記第第１のブロックの表現形式を変換するための基底が、前記第２のブロックを複数の分析データに分割し、複数の前記分析データを対象とする主成分分析を行うことで、分析領域毎に個別に生成され、
    生成された分析領域毎の前記基底のうちの所定の１つが利用されて、前記処理対象の前記第第１のブロックの表現形式が変換されて生成された変換データが、そのとき利用された前記基底と対応付けられて重畳されたデータが、入力データのうちの少なくとも一部として入力されるデータ逆変換装置のデータ逆変換方法であって、
    前記入力データから、前記変換データと前記基底を分離する分離ステップと、
    前記分離ステップの処理により前記入力データから分離された前記変換データを、分離された前記基底を利用して表現形式を逆変換することにより、前記第１のブロックを生成する逆変換ステップと
    を含むことを特徴とするデータ逆変換方法。
  15. 少なくとも第１のアクセスユニットと第２のアクセスユニットから構成されるデータが元データとされて、
    前記第１のアクセスユニットから、第１のブロックが１以上設定され、
    設定された１以上の前記第１のブロックのそれぞれが処理対象に１つずつ順次設定され、前記処理対象の前記第１のブロックについての、前記第２のアクセスユニットに対する動きベクトルが推定され、
    前記第２のアクセスユニットにおける、前記処理対象の前記第１のブロックの位置から前記動きベクトルに対応する分だけ離間している第２のブロックが分析領域として設定され、前記処理対象の前記第第１のブロックの表現形式を変換するための基底が、前記第２のブロックを複数の分析データに分割し、複数の前記分析データを対象とする主成分分析を行うことで、分析領域毎に個別に生成され、
    生成された分析領域毎の前記基底のうちの所定の１つが利用されて、前記処理対象の前記第第１のブロックの表現形式が変換されて生成された変換データが、そのとき利用された前記基底と対応付けられて重畳されたデータが、入力データのうちの少なくとも一部として入力される装置を制御するコンピュータに、
    前記入力データから、前記変換データと前記基底を分離する分離ステップと、
    前記分離ステップの処理により前記入力データから分離された前記変換データを、分離された前記基底を利用して表現形式を逆変換することにより、前記第１のブロックを生成する逆変換ステップと
    を含む処理を実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体。
  16. 少なくとも第１のアクセスユニットと第２のアクセスユニットから構成されるデータが元データとされて、
    前記第１のアクセスユニットから、第１のブロックが１以上設定され、
    設定された１以上の前記第１のブロックのそれぞれが処理対象に１つずつ順次設定され、前記処理対象の前記第１のブロックについての、前記第２のアクセスユニットに対する動きベクトルが推定され、
    前記第２のアクセスユニットにおける、前記処理対象の前記第１のブロックの位置から前記動きベクトルに対応する分だけ離間している第２のブロックが分析領域として設定され、前記処理対象の前記第第１のブロックの表現形式を変換するための基底が、前記第２のブロックを複数の分析データに分割し、複数の前記分析データを対象とする主成分分析を行うことで、分析領域毎に個別に生成され、
    生成された分析領域毎の前記基底のうちの所定の１つが利用されて、前記処理対象の前記第第１のブロックの表現形式が変換されて生成された変換データが、そのとき利用された前記基底と対応付けられて重畳されたデータが、入力データのうちの少なくとも一部として入力される装置を制御するコンピュータに、
    前記入力データから、前記変換データと前記基底を分離する分離ステップと、
    前記分離ステップの処理により前記入力データから分離された前記変換データを、分離された前記基底を利用して表現形式を逆変換することにより、前記第１のブロックを生成する逆変換ステップと
    を含む処理を実行させるためのプログラム。
  17. 画像データの表現形式を変換する変換部と、前記画像データの、前記変換部により変換された表現形式を逆変換する逆変換部とを構成要素として含む情報処理システムにおいて、
    前記変換部は、
    前記設定手段により設定された１以上の前記第１のブロックのそれぞれを処理対象に１つずつ順次設定し、前記処理対象の前記第１のブロックについての、前記第２のアクセスユニットに対する前記動きベクトルを推定する動きベクトル推定手段と、
    前記第２のアクセスユニットにおける、前記処理対象の前記第１のブロックの位置から、前記処理対象の前記第１のブロックについての前記動きベクトルに対応する分だけ離間している第２のブロックを分析領域として抽出し、抽出された前記第２のブロックを複数の分析データに分割し、複数の前記分析データを対象とする主成分分析を行うことで、前記処理対象の前記第１のブロックの表現形式を変換するための基底を分析領域毎に個別に生成する分析手段と、
    生成された分析領域毎の前記基底のうちの所定の１つを利用して、前記処理対象の前記第１のブロックの表現形式を変換した出力データを生成する変換手段と
    を有する
    ことを特徴とする情報処理システム。
  18. 画像データの表現形式を変換する変換部と、前記画像データの、前記変換部により変換された表現形式を逆変換する逆変換部とを構成要素として含む情報処理システムにおいて、
    前記変換部、または、前記変換部以外の装置により、
    少なくとも第１のアクセスユニットと第２のアクセスユニットから構成されるデータが元データとされて、
    前記第１のアクセスユニットから、第１のブロックが１以上設定され、
    設定された１以上の前記第１のブロックのそれぞれが処理対象に１つずつ順次設定され、前記処理対象の前記第１のブロックについての、前記第２のアクセスユニットに対する動きベクトルが推定され、
    前記第２のアクセスユニットにおける、前記処理対象の前記第１のブロックの位置から前記動きベクトルに対応する分だけ離間している第２のブロックが分析領域として設定され、前記処理対象の前記第第１のブロックの表現形式を変換するための基底が、前記第２のブロックを複数の分析データに分割し、複数の前記分析データを対象とする主成分分析を行うことで、分析領域毎に個別に生成され、
    生成された分析領域毎の前記基底のうちの所定の１つが利用されて、前記処理対象の前記第第１のブロックの表現形式が変換されて生成された変換データが、そのとき利用された前記基底と対応付けられて重畳されたデータが、入力データのうちの少なくとも一部として前記逆変換部に入力され、
    前記逆変換部は、
    前記入力データから、前記変換データと前記基底を分離する分離手段と、
    前記分離手段により前記入力データから分離された前記変換データを、分離された前記基底を利用して表現形式を逆変換することにより、前記第１のブロックを生成する逆変換手段と
    を有する
    ことを特徴とする情報処理システム。
JP2005049954A 2005-02-25 2005-02-25 データ変換装置および方法、データ逆変換装置および方法、情報処理システム、記録媒体、並びにプログラム Expired - Fee Related JP4561401B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2005049954A JP4561401B2 (ja) 2005-02-25 2005-02-25 データ変換装置および方法、データ逆変換装置および方法、情報処理システム、記録媒体、並びにプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2005049954A JP4561401B2 (ja) 2005-02-25 2005-02-25 データ変換装置および方法、データ逆変換装置および方法、情報処理システム、記録媒体、並びにプログラム

Publications (3)

Publication Number Publication Date
JP2006238069A JP2006238069A (ja) 2006-09-07
JP2006238069A5 JP2006238069A5 (ja) 2007-10-11
JP4561401B2 true JP4561401B2 (ja) 2010-10-13

Family

ID=37045234

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2005049954A Expired - Fee Related JP4561401B2 (ja) 2005-02-25 2005-02-25 データ変換装置および方法、データ逆変換装置および方法、情報処理システム、記録媒体、並びにプログラム

Country Status (1)

Country Link
JP (1) JP4561401B2 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101543200B1 (ko) 2015-01-08 2015-08-25 뉴라컴 인코포레이티드 다중 참조를 허용하는 비디오 코덱에서 모션 벡터를 예측하는 방법, 및 그 방법을 이용한 모션 벡터 부호화/복호화 장치

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002315006A (ja) * 2001-04-13 2002-10-25 Kddi Research & Development Laboratories Inc 動き補償予測特異値展開符号化装置
JP2002314428A (ja) * 2001-04-09 2002-10-25 Ntt Docomo Inc 信号符号化方法及び装置並びに復号方法及び装置
JP2004289685A (ja) * 2003-03-24 2004-10-14 Sony Corp データ符号化装置およびデータ符号化方法、並びにデータ出力装置およびデータ出力方法
JP2005039428A (ja) * 2003-07-17 2005-02-10 Ntt Docomo Inc 動画像符号化装置、動画像符号化方法、動画像符号化プログラム、動画像復号装置、動画像復号方法、及び動画像復号プログラム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002314428A (ja) * 2001-04-09 2002-10-25 Ntt Docomo Inc 信号符号化方法及び装置並びに復号方法及び装置
JP2002315006A (ja) * 2001-04-13 2002-10-25 Kddi Research & Development Laboratories Inc 動き補償予測特異値展開符号化装置
JP2004289685A (ja) * 2003-03-24 2004-10-14 Sony Corp データ符号化装置およびデータ符号化方法、並びにデータ出力装置およびデータ出力方法
JP2005039428A (ja) * 2003-07-17 2005-02-10 Ntt Docomo Inc 動画像符号化装置、動画像符号化方法、動画像符号化プログラム、動画像復号装置、動画像復号方法、及び動画像復号プログラム

Also Published As

Publication number Publication date
JP2006238069A (ja) 2006-09-07

Similar Documents

Publication Publication Date Title
US7957471B2 (en) Encoding apparatus and method, decoding apparatus and method, image processing system and method, and recording medium
JP2007184942A (ja) 関心領域基盤の映像符号化、復号化方法及び装置
JPH05161128A (ja) 動画像変換符号化誤り修整装置
JP4742614B2 (ja) データ変換装置および方法、データ逆変換装置および方法、情報処理システム、記録媒体、並びにプログラム
JP2012235407A (ja) 画像処理装置および画像処理方法
JP4561401B2 (ja) データ変換装置および方法、データ逆変換装置および方法、情報処理システム、記録媒体、並びにプログラム
JP4552677B2 (ja) 符号化装置および方法、復号装置および方法、情報処理システム、記録媒体、並びにプログラム
JP4556694B2 (ja) 符号化装置および方法、記録媒体、プログラム、並びに画像処理システム
JP4385969B2 (ja) データ変換装置および方法、データ逆変換装置および方法、情報処理システム、記録媒体、並びにプログラム
JP2006217403A (ja) 符号化装置および方法、復号化装置および方法、記録媒体、プログラム、画像処理システム、並びに画像処理方法
JP4349299B2 (ja) データ変換装置および方法、データ逆変換装置および方法、符号化装置および方法、復号装置および方法、情報処理システム、記録媒体、並びにプログラム
JP4716086B2 (ja) 符号化装置および方法、記録媒体、プログラム、並びに画像処理システム
JP4461382B2 (ja) 符号化装置および方法、復号装置および方法、情報処理システム、記録媒体、並びにプログラム
KR101979379B1 (ko) 영상의 부호화 방법 및 장치, 및 영상의 복호화 방법 및 장치
JP4770704B2 (ja) 画像処理装置、画像処理方法、およびプログラム
CN1822676B (zh) 编码设备和方法、解码设备和方法、图像处理***和方法
JP2003244696A (ja) 符号化処理装置、復号処理装置、および方法、並びにコンピュータ・プログラム
JP4581733B2 (ja) 符号化装置および方法、復号装置および方法、記録媒体、並びにプログラム、画像処理システム
JP4573112B2 (ja) 符号化装置および方法、記録媒体、プログラム、並びに画像処理システム
JP2005311588A (ja) 信号処理装置および方法、記録媒体、並びにプログラム
JP2008252726A (ja) 画像処理装置、画像処理方法及び画像処理プログラム
JP4696577B2 (ja) 符号化装置および方法、復号装置および方法、記録媒体、並びにプログラム、画像処理システムおよび方法
JP2001285882A (ja) ノイズ低減装置および方法
JP3310633B2 (ja) 復号装置
JP3271100B2 (ja) ディジタル画像信号復号装置および方法

Legal Events

Date Code Title Description
A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070827

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20070827

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20090925

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20091027

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20091221

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20100706

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20100719

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130806

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130806

Year of fee payment: 3

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees