JP2006238374A - 符号化装置および方法、復号装置および方法、画像処理システムおよび方法、記録媒体、並びにプログラム - Google Patents

符号化装置および方法、復号装置および方法、画像処理システムおよび方法、記録媒体、並びにプログラム Download PDF

Info

Publication number
JP2006238374A
JP2006238374A JP2005053879A JP2005053879A JP2006238374A JP 2006238374 A JP2006238374 A JP 2006238374A JP 2005053879 A JP2005053879 A JP 2005053879A JP 2005053879 A JP2005053879 A JP 2005053879A JP 2006238374 A JP2006238374 A JP 2006238374A
Authority
JP
Japan
Prior art keywords
image data
data
frame
block
difference
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2005053879A
Other languages
English (en)
Other versions
JP4577043B2 (ja
Inventor
Shinsuke Shintani
眞介 新谷
Tetsujiro Kondo
哲二郎 近藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2005053879A priority Critical patent/JP4577043B2/ja
Publication of JP2006238374A publication Critical patent/JP2006238374A/ja
Application granted granted Critical
Publication of JP4577043B2 publication Critical patent/JP4577043B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Television Signal Processing For Recording (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

【課題】アナログ信号を利用した不正コピーを防止する
【解決手段】
符号化部１３２は、D/A変換部１２２およびA/D変換部１３１により歪みが付加された画像データの第２基準フレームデータについて、第１基準フレームデータに対する動きベクトルを推定し、推定した動きベクトルに基づいて、第１基準フレームデータとの間の差分データを生成し、補間フレームデータについて、第２基準フレームデータの動きベクトルに基づいて、第１基準フレームデータに対する動きベクトルを推定し、推定した動きベクトルに基づいて、第２基準フレーデータとの間の差分データを生成する。本発明は、画像データを再生および記録する画像処理システムに適用することができる。
【選択図】図２

Description

本発明は、符号化装置および方法、復号装置および方法、画像処理システムおよび方法、記録媒体、並びにプログラムに関し、特に、アナログ信号を利用した不正コピーを防止する符号化装置および方法、復号装置および方法、画像処理システムおよび画像処理方法、記録媒体、並びにプログラムに関する。
近年、テレビ番組などのコンテンツをデジタル信号でHD（ハードディスク）やDVD(Digital Versatile Disk)などの記録媒体に記録するデジタル記録再生装置が急速に普及してきている。
HDやDVDを記録媒体とするデジタル記録再生装置の普及により、視聴者であるユーザが、テレビ番組などを高品質に記録媒体に記録することが容易にできるようになった。
一方で、デジタル記録再生装置の普及により、DVDなどで販売されている、テレビ番組や映画などのコンテンツを不正にコピーすることが容易になるという側面もある。
図１は、記録媒体に記録されたコンテンツを再生し、ディスプレイに表示させるとともに、再生されたコンテンツを他の記録媒体に記録する画像処理システムの構成の一例を示している。
図１において、画像処理システム１は、DVDなどの光ディスク等の記録媒体に記録されたコンテンツの画像データを再生し、その結果得られるアナログの画像データVanを出力する再生装置１１、再生装置１１が出力する画像データVanに基づく画像を表示するディスプレイ１２、および、再生装置１１が出力する画像データVanを利用して、光ディスク等の記録媒体にデジタルの画像データを記録する記録装置１３により構成されている。
再生装置１１は、復号部２１とD/A（Digital-to-Analog）変換部２２とから構成されている。復号部２１は、図示せぬ記録媒体から読み出した符号化されたデジタルの画像データを復号し、その結果得られるデジタルの画像データをD/A変換部２２に供給する。D/A変換部２２は、復号部２１から供給されたデジタルの画像データをアナログ信号に変換し、その結果得られるアナログの画像データVanを出力する。
ディスプレイ１２は、例えばCRT(Cathode-Ray Tube)やLCD(Liquid Crystal Display)等で構成され、D/A変換部２２からの画像データVanに基づく画像を表示する。これにより、ユーザは、記録媒体に記録されている画像データに対応する画像を見ることができる。
また、再生装置１１から出力された画像データVanは、記録装置１３にも供給(入力)される。
記録装置１３は、A/D（Analog-to-Digital）変換部３１、符号化部３２、および記録部３３により構成され、入力される画像データVanを光ディスク等の図示せぬ記録媒体に記録する。
A/D変換部３１には、再生装置１１が出力する画像データVanが入力される。A/D変換部３１は、入力された画像データVanをデジタル信号に変換し、その結果得られるデジタルの画像データVdgを符号化部３２に供給する。符号化部３２は、A/D変換部３１からの画像データVdgを符号化し、その結果得られる符号化されたデジタルの画像データVcdを記録部３３に供給する。記録部３３は、画像データVcdを記録媒体に記録する。
以上のように構成される画像処理システム１では、再生装置１１から出力されたアナログの画像データVanを利用して、再生された記録媒体と異なる記録媒体に画像データを記録することができる。すなわち、再生装置１１が出力するアナログの画像データVanを利用して、コンテンツ（の画像データ）が、不正にコピーされるおそれがある。
従来、このようなアナログの画像データVanを利用した不正コピーを防止するために、著作権保護がなされている場合には、画像データVanをスクランブル処理して出力する、あるいは画像データVanの出力を禁止することが提案されている（例えば、特許文献１参照）。
しかしながら、特許文献１のように画像データVanをスクランブル処理して出力する、あるいは画像データVanの出力を禁止する方法では、不正コピーを防止することはできるが、ディスプレイ１２に正常な画像を表示することもできなくなるという問題が発生する。
そこで、画像が表示されなくなること等の不都合を発生することなく、アナログの画像データを利用した不正コピーを防止する手法が、本出願人により提案されている（例えば、特許文献２参照）。
特開２００１−２４５２７０号公報 特開２００４−２８９６８５号公報
特許文献２に記載の手法では、アナログの画像データをA/D変換することにより得られるデジタルの画像データの位相ずれなどのアナログノイズに着目し、そのデジタルの画像データに対してアナログノイズを考慮した符号化を行うことによって、コピー前の画像の質を落とさずに、良好な質を維持したままでのコピーを不可能とし、これによりアナログの画像データを利用した不正コピーを防止するが、デジタルコンテンツの流通が一般的になっている近年においては、上述のように不正コピーを防止するための別の手法の提案が要請されている。
本発明は、このような状況に鑑みてなされたものであり、アナログ信号を利用した不正コピーを防止することができるようにするものである。
本発明の符号化装置は、第１のフレーム、第２のフレーム、および第１のフレームと第２のフレームとの間に位置する第３のフレームを含む動画像データを符号化する符号化装置において、第２のフレームの画像データである第１の画像データを所定の大きさの第１のブロックに分割する分割手段と、第１の画像データの第１のフレームの画像データである第２の画像データに対する第１の動きベクトルを第１のブロックごとに推定する第１の動きベクトル推定手段と、第１の動きベクトルに基づいて、第２の画像データと第１の画像データとの差分をとることにより、第１の差分データを生成する第１の差分データ生成手段と、第１の差分データを符号化する第１の符号化手段と、第１の動きベクトルに基づいて、第２の画像データと第３のフレームの画像データである第３の画像データとの差分をとることにより、第２の差分データを生成する第２の差分データ生成手段と、第２の差分データを符号化する第２の符号化手段とを含むことを特徴とする。
動画像データにノイズを付加するノイズ付加手段をさらに含むようにすることができる。
第１の動きベクトルに基づいて、第１のブロック内の被写体が記録されている第３の画像データの第２のブロックの位置を推定し、第２のブロック内の各画素の第２の画像データに対する動きベクトルである第２の動きベクトルを、第２のブロック内に同じ被写体が記録されていると推定された第１のブロックの第１の動きベクトルに基づいて推定する第２の動きベクトル推定手段をさらに含み、第１の動きベクトル推定手段は、第１のブロックごとに、第１の画像データの第１のブロック内の画素の画素値と、第１のブロックとフレーム上で同じ位置にある第２の画像データの第３のブロック内の画素の画素値との差分をとることにより生成された第３の差分データの水平方向および垂直方向のラインごとに、水平方向および垂直方向のラインにおける画素値の平均値を連続して上回るまたは下回る画素の個数に基づいて、第１の動きベクトルの水平方向および垂直方向の成分を推定し、第２の差分データ生成手段は、第１の動きベクトルに基づいて推定された第２の動きベクトルに基づいて、第２の差分データを生成するようにすることができる。
第１の差分データ生成手段は、第１のブロックごとに、第１のブロック内の画素の画素値と、第１のブロックに対応する第１の動きベクトルの方向および距離だけ第１のブロックの位置から移動したブロックとフレーム上で同じ位置にある第２の画像データの第４のブロック内の画素の画素値との差分をとることにより、第１の差分データを生成し、第２の差分データ生成手段は、第３の画像データの画素ごとに、第３の画像データの画素の画素値と、第３の画像データの画素に対応する第２の動きベクトルの方向および距離だけ第３の画像データの画素の位置から移動した画素とフレーム上で同じ位置にある第２の画像データの画素の画素値との差分をとることにより、第２の差分データを生成するようにすることができる。
第２の画像データを符号化する符号化手段をさらに含むようにすることができる。
符号化された第２の画像データ、第１の差分データ、第１の動きベクトルを示すデータ、第２の差分データ、および、第２の動きベクトルを示すデータを含む動画像データを符号化した符号化動画像データを外部に出力する出力手段をさらに含むようにすることができる。
第１の符号化手段は、第１の差分データの高周波成分を除去するように第１のブロックごとにDCTおよび量子化を行うことにより、第１の差分データを符号化し、第２の符号化手段は、第２の差分データを所定の大きさの複数の第２のブロックに分割し、第２の差分データの高周波成分を除去するように第２のブロックごとにDCTおよび量子化を行うことにより、第２の差分データを符号化するようにすることができる。
本発明の符号化方法は、第１のフレーム、第２のフレーム、および第１のフレームと第２のフレームとの間に位置する第３のフレームを含む動画像データを符号化する符号化方法において、第２のフレームの画像データである第１の画像データを所定の大きさの第１のブロックに分割する分割ステップと、第１の画像データの第１のフレームの画像データである第２の画像データに対する第１の動きベクトルを第１のブロックごとに推定する第１の動きベクトル推定ステップと、第１の動きベクトルに基づいて、第２の画像データと第１の画像データとの差分をとることにより、第１の差分データを生成する第１の差分データ生成ステップと、第１の差分データを符号化する第１の符号化ステップと、第１の動きベクトルに基づいて、第２の画像データと第３のフレームの画像データである第３の画像データとの差分をとることにより、第２の差分データを生成する第２の差分データ生成ステップと、第２の差分データを符号化する第２の符号化ステップとを含むことを特徴とする。
本発明の第１の記録媒体に記録されているプログラムは、第１のフレーム、第２のフレーム、および第１のフレームと第２のフレームとの間に位置する第３のフレームを含む動画像データを符号化する符号化処理用のプログラムであって、第２のフレームの画像データである第１の画像データを所定の大きさの第１のブロックに分割する分割ステップと、第１の画像データの第１のフレームの画像データである第２の画像データに対する第１の動きベクトルを第１のブロックごとに推定する第１の動きベクトル推定ステップと、第１の動きベクトルに基づいて、第２の画像データと第１の画像データとの差分をとることにより、第１の差分データを生成する第１の差分データ生成ステップと、第１の差分データを符号化する第１の符号化ステップと、第１の動きベクトルに基づいて、第２の画像データと第３のフレームの画像データである第３の画像データとの差分をとることにより、第２の差分データを生成する第２の差分データ生成ステップと、第２の差分データを符号化する第２の符号化ステップとを含むことを特徴とする。
本発明の第１のプログラムは、第１のフレーム、第２のフレーム、および第１のフレームと第２のフレームとの間に位置する第３のフレームを含む動画像データを符号化する符号化処理用のコンピュータに、符号化処理を行わせるプログラムであって、第２のフレームの画像データである第１の画像データを所定の大きさの第１のブロックに分割する分割ステップと、第１の画像データの第１のフレームの画像データである第２の画像データに対する第１の動きベクトルを第１のブロックごとに推定する第１の動きベクトル推定ステップと、第１の動きベクトルに基づいて、第２の画像データと第１の画像データとの差分をとることにより、第１の差分データを生成する第１の差分データ生成ステップと、第１の差分データを符号化する第１の符号化ステップと、第１の動きベクトルに基づいて、第２の画像データと第３のフレームの画像データである第３の画像データとの差分をとることにより、第２の差分データを生成する第２の差分データ生成ステップと、第２の差分データを符号化する第２の符号化ステップとを含むことを特徴とする。
本発明の復号装置は、第１のフレーム、第２のフレーム、および第１のフレームと第２のフレームとの間に位置する第３のフレームを含む動画像データを符号化した符号化動画像データを復号する復号装置において、符号化された第１のフレームの画像データである第１の画像データを復号する第１の復号手段と、第２のフレームの画像データである第２の画像データを所定の大きさに分割した第１のブロックごとに、第２の画像データの第１のブロック内の画素の画素値と、第１のブロックとフレーム上で同じ位置にある第１の画像データの第２のブロック内の画素の画素値との差分をとることにより生成された第１の差分データの水平方向および垂直方向のラインごとに、水平方向および垂直方向のラインにおける画素値の平均値を連続して上回るまたは下回る画素の個数に基づき、水平方向および垂直方向の成分が推定された第１の動きベクトルに基づいて、第１の画像データと第２の画像データとの差分をとることにより生成された第２の差分データであって、符号化された第２の差分データを復号する第２の復号手段と、復号された第２の差分データの第１のブロックごとに、第１のブロック内の画素の画素値と、第１のブロックに対応する第１の動きベクトルの方向および距離だけ第１のブロックの位置から移動したブロックとフレーム上で同じ位置にある復号された第１の画像データの第３のブロック内の画素の画素値とを加算することにより、第２の画像データを復号する第３の復号手段と、第１の動きベクトルに基づいて、第３のフレームの画像データである第３の画像データにおける第１のブロック内の被写体が記録されている第４のブロックの位置を推定し、第４のブロック内に同じ被写体が記録されていると推定された第１のブロックの第１の動きベクトルに基づき推定された第４のブロック内の各画素の第１の画像データに対する動きベクトルである第２の動きベクトルに基づいて、第１の画像データと第３の画像データとの差分をとることにより生成された第３の差分データであって、符号化された第３の差分データを復号する第４の復号手段と、復号された第３の差分データの画素ごとに、第３の差分データの画素の画素値と、第３の差分データの画素に対応する第２の動きベクトルの方向および距離だけ第３の差分データの画素の位置から移動した画素とフレーム上で同じ位置にある復号された第１の画像データの画素の画素値とを加算することにより、第３の画像データを復号する第５の復号手段とを含むことを特徴とする。
本発明の復号方法は、第１のフレーム、第２のフレーム、および第１のフレームと第２のフレームとの間に位置する第３のフレームを含む動画像データを符号化した符号化動画像データを復号する復号方法において、符号化された第１のフレームの画像データである第１の画像データを復号する第１の復号ステップと、第２のフレームの画像データである第２の画像データを所定の大きさに分割した第１のブロックごとに、第２の画像データの第１のブロック内の画素の画素値と、第１のブロックとフレーム上で同じ位置にある第１の画像データの第２のブロック内の画素の画素値との差分をとることにより生成された第１の差分データの水平方向および垂直方向のラインごとに、水平方向および垂直方向のラインにおける画素値の平均値を連続して上回るまたは下回る画素の個数に基づき、水平方向および垂直方向の成分が推定された第１の動きベクトルに基づいて、第１の画像データと第２の画像データとの差分をとることにより生成された第２の差分データであって、符号化された第２の差分データを復号する第２の復号ステップと、復号された第２の差分データの第１のブロックごとに、第１のブロック内の画素の画素値と、第１のブロックに対応する第１の動きベクトルの方向および距離だけ第１のブロックの位置から移動したブロックとフレーム上で同じ位置にある復号された第１の画像データの第３のブロック内の画素の画素値とを加算することにより、第２の画像データを復号する第３の復号ステップと、第１の動きベクトルに基づいて、第３のフレームの画像データである第３の画像データにおける第１のブロック内の被写体が記録されている第４のブロックの位置を推定し、第４のブロック内に同じ被写体が記録されていると推定された第１のブロックの第１の動きベクトルに基づき推定された第４のブロック内の各画素の第１の画像データに対する動きベクトルである第２の動きベクトルに基づいて、第１の画像データと第３の画像データとの差分をとることにより生成された第３の差分データであって、符号化された第３の差分データを復号する第４の復号ステップと、復号された第３の差分データの画素ごとに、第３の差分データの画素の画素値と、第３の差分データの画素に対応する第２の動きベクトルの方向および距離だけ第３の差分データの画素の位置から移動した画素とフレーム上で同じ位置にある復号された第１の画像データの画素の画素値とを加算することにより、第３の画像データを復号する第５の復号ステップとを含むことを特徴とする。
本発明の第２の記録媒体に記録されているプログラムは、第１のフレーム、第２のフレーム、および第１のフレームと第２のフレームとの間に位置する第３のフレームを含む動画像データを符号化した符号化動画像データを復号する復号処理用のプログラムであって、符号化された第１のフレームの画像データである第１の画像データを復号する第１の復号ステップと、第２のフレームの画像データである第２の画像データを所定の大きさに分割した第１のブロックごとに、第２の画像データの第１のブロック内の画素の画素値と、第１のブロックとフレーム上で同じ位置にある第１の画像データの第２のブロック内の画素の画素値との差分をとることにより生成された第１の差分データの水平方向および垂直方向のラインごとに、水平方向および垂直方向のラインにおける画素値の平均値を連続して上回るまたは下回る画素の個数に基づき、水平方向および垂直方向の成分が推定された第１の動きベクトルに基づいて、第１の画像データと第２の画像データとの差分をとることにより生成された第２の差分データであって、符号化された第２の差分データを復号する第２の復号ステップと、復号された第２の差分データの第１のブロックごとに、第１のブロック内の画素の画素値と、第１のブロックに対応する第１の動きベクトルの方向および距離だけ第１のブロックの位置から移動したブロックとフレーム上で同じ位置にある復号された第１の画像データの第３のブロック内の画素の画素値とを加算することにより、第２の画像データを復号する第３の復号ステップと、第１の動きベクトルに基づいて、第３のフレームの画像データである第３の画像データにおける第１のブロック内の被写体が記録されている第４のブロックの位置を推定し、第４のブロック内に同じ被写体が記録されていると推定された第１のブロックの第１の動きベクトルに基づき推定された第４のブロック内の各画素の第１の画像データに対する動きベクトルである第２の動きベクトルに基づいて、第１の画像データと第３の画像データとの差分をとることにより生成された第３の差分データであって、符号化された第３の差分データを復号する第４の復号ステップと、復号された第３の差分データの画素ごとに、第３の差分データの画素の画素値と、第３の差分データの画素に対応する第２の動きベクトルの方向および距離だけ第３の差分データの画素の位置から移動した画素とフレーム上で同じ位置にある復号された第１の画像データの画素の画素値とを加算することにより、第３の画像データを復号する第５の復号ステップとを含むことを特徴とする。
本発明の第２のプログラムは、第１のフレーム、第２のフレーム、および第１のフレームと第２のフレームとの間に位置する第３のフレームを含む動画像データを符号化した符号化動画像データを復号する復号処理用のコンピュータに、復号処理を行わせるプログラムであって、符号化された第１のフレームの画像データである第１の画像データを復号する第１の復号ステップと、第２のフレームの画像データである第２の画像データを所定の大きさに分割した第１のブロックごとに、第２の画像データの第１のブロック内の画素の画素値と、第１のブロックとフレーム上で同じ位置にある第１の画像データの第２のブロック内の画素の画素値との差分をとることにより生成された第１の差分データの水平方向および垂直方向のラインごとに、水平方向および垂直方向のラインにおける画素値の平均値を連続して上回るまたは下回る画素の個数に基づき、水平方向および垂直方向の成分が推定された第１の動きベクトルに基づいて、第１の画像データと第２の画像データとの差分をとることにより生成された第２の差分データであって、符号化された第２の差分データを復号する第２の復号ステップと、復号された第２の差分データの第１のブロックごとに、第１のブロック内の画素の画素値と、第１のブロックに対応する第１の動きベクトルの方向および距離だけ第１のブロックの位置から移動したブロックとフレーム上で同じ位置にある復号された第１の画像データの第３のブロック内の画素の画素値とを加算することにより、第２の画像データを復号する第３の復号ステップと、第１の動きベクトルに基づいて、第３のフレームの画像データである第３の画像データにおける第１のブロック内の被写体が記録されている第４のブロックの位置を推定し、第４のブロック内に同じ被写体が記録されていると推定された第１のブロックの第１の動きベクトルに基づき推定された第４のブロック内の各画素の第１の画像データに対する動きベクトルである第２の動きベクトルに基づいて、第１の画像データと第３の画像データとの差分をとることにより生成された第３の差分データであって、符号化された第３の差分データを復号する第４の復号ステップと、復号された第３の差分データの画素ごとに、第３の差分データの画素の画素値と、第３の差分データの画素に対応する第２の動きベクトルの方向および距離だけ第３の差分データの画素の位置から移動した画素とフレーム上で同じ位置にある復号された第１の画像データの画素の画素値とを加算することにより、第３の画像データを復号する第５の復号ステップとを含むことを特徴とする。
本発明の第１の画像処理システムは、符号化部と、復号部とを含み、第１のフレーム、第２のフレーム、および第１のフレームと第２のフレームとの間に位置する第３のフレームを含む動画像データを画像処理する画像処理システムにおいて、符号化部は、第２のフレームの画像データである第１の画像データを所定の大きさの第１のブロックに分割する分割手段と、第１の画像データの第１のフレームの画像データである第２の画像データに対する第１の動きベクトルを第１のブロックごとに推定する第１の動きベクトル推定手段と、第１の動きベクトルに基づいて、第２の画像データと第１の画像データとの差分をとることにより、第１の差分データを生成する第１の差分データ生成手段と、第１の差分データを符号化する第１の符号化手段と、第１の動きベクトルに基づいて、第２の画像データと第３のフレームの画像データである第３の画像データとの差分をとることにより、第２の差分データを生成する第２の差分データ生成手段と、第２の差分データを符号化する第２の符号化手段とを含むことを特徴とする。
復号部から符号化部に供給される動画像データにノイズを付加するノイズ付加部をさらに含むようにすることができる。
本発明の第１の画像処理方法は、符号化部と、復号部とを含み、第１のフレーム、第２のフレーム、および第１のフレームと第２のフレームとの間に位置する第３のフレームを含む動画像データを画像処理する画像処理システムの画像処理方法において、符号化部により実行される、第２のフレームの画像データである第１の画像データを所定の大きさの第１のブロックに分割する分割ステップと、第１の画像データの第１のフレームの画像データである第２の画像データに対する第１の動きベクトルを第１のブロックごとに推定する第１の動きベクトル推定ステップと、第１の動きベクトルに基づいて、第２の画像データと第１の画像データとの差分をとることにより、第１の差分データを生成する第１の差分データ生成ステップと、第１の差分データを符号化する第１の符号化ステップと、第１の動きベクトルに基づいて、第２の画像データと第３のフレームの画像データである第３の画像データとの差分をとることにより、第２の差分データを生成する第２の差分データ生成ステップと、第２の差分データを符号化する第２の符号化ステップとを含むことを特徴とする。
画像処理システムは、ノイズ付加部をさらに含み、ノイズ付加部により実行される、復号部から符号化部に供給される動画像データにノイズを付加するノイズ付加ステップをさらに含むようにすることができる。
本発明の第２の画像処理システムは、符号化部と、復号部とを含み、第１のフレーム、第２のフレーム、および第１のフレームと第２のフレームとの間に位置する第３のフレームを含む動画像データを画像処理する画像処理システムにおいて、復号部は、符号化された第１のフレームの画像データである第１の画像データを復号する第１の復号手段と、第２のフレームの画像データである第２の画像データを所定の大きさに分割した第１のブロックごとに、第２の画像データの第１のブロック内の画素の画素値と、第１のブロックとフレーム上で同じ位置にある第１の画像データの第２のブロック内の画素の画素値との差分をとることにより生成された第１の差分データの水平方向および垂直方向のラインごとに、水平方向および垂直方向のラインにおける画素値の平均値を連続して上回るまたは下回る画素の個数に基づき、水平方向および垂直方向の成分が推定された第１の動きベクトルに基づいて、第１の画像データと第２の画像データとの差分をとることにより生成された第２の差分データであって、符号化された第２の差分データを復号する第２の復号手段と、復号された第２の差分データの第１のブロックごとに、第１のブロック内の画素の画素値と、第１のブロックに対応する第１の動きベクトルの方向および距離だけ第１のブロックの位置から移動したブロックとフレーム上で同じ位置にある復号された第１の画像データの第３のブロック内の画素の画素値とを加算することにより、第２の画像データを復号する第３の復号手段と、第１の動きベクトルに基づいて、第３のフレームの画像データである第３の画像データにおける第１のブロック内の被写体が記録されている第４のブロックの位置を推定し、第４のブロック内に同じ被写体が記録されていると推定された第１のブロックの第１の動きベクトルに基づき推定された第４のブロック内の各画素の第１の画像データに対する動きベクトルである第２の動きベクトルに基づいて、第１の画像データと第３の画像データとの差分をとることにより生成された第３の差分データであって、符号化された第３の差分データを復号する第４の復号手段と、復号された第３の差分データの画素ごとに、第３の差分データの画素の画素値と、第３の差分データの画素に対応する第２の動きベクトルの方向および距離だけ第３の差分データの画素の位置から移動した画素とフレーム上で同じ位置にある復号された第１の画像データの画素の画素値とを加算することにより、第３の画像データを復号する第５の復号手段とを含むことを特徴とする。
復号部から符号化部に供給される動画像データにノイズを付加するノイズ付加部をさらに含むようにすることができる。
本発明の第２の画像処理方法は、符号化部と、復号部とを含み、第１のフレーム、第２のフレーム、および第１のフレームと第２のフレームとの間に位置する第３のフレームを含む動画像データを画像処理する画像処理システムの画像処理方法において、復号部により実行される、符号化された第１のフレームの画像データである第１の画像データを復号する第１の復号ステップと、第２のフレームの画像データである第２の画像データを所定の大きさに分割した第１のブロックごとに、第２の画像データの第１のブロック内の画素の画素値と、第１のブロックとフレーム上で同じ位置にある第１の画像データの第２のブロック内の画素の画素値との差分をとることにより生成された第１の差分データの水平方向および垂直方向のラインごとに、水平方向および垂直方向のラインにおける画素値の平均値を連続して上回るまたは下回る画素の個数に基づき、水平方向および垂直方向の成分が推定された第１の動きベクトルに基づいて、第１の画像データと第２の画像データとの差分をとることにより生成された第２の差分データであって、符号化された第２の差分データを復号する第２の復号ステップと、復号された第２の差分データの第１のブロックごとに、第１のブロック内の画素の画素値と、第１のブロックに対応する第１の動きベクトルの方向および距離だけ第１のブロックの位置から移動したブロックとフレーム上で同じ位置にある復号された第１の画像データの第３のブロック内の画素の画素値とを加算することにより、第２の画像データを復号する第３の復号ステップと、第１の動きベクトルに基づいて、第３のフレームの画像データである第３の画像データにおける第１のブロック内の被写体が記録されている第４のブロックの位置を推定し、第４のブロック内に同じ被写体が記録されていると推定された第１のブロックの第１の動きベクトルに基づき推定された第４のブロック内の各画素の第１の画像データに対する動きベクトルである第２の動きベクトルに基づいて、第１の画像データと第３の画像データとの差分をとることにより生成された第３の差分データであって、符号化された第３の差分データを復号する第４の復号ステップと、復号された第３の差分データの画素ごとに、第３の差分データの画素の画素値と、第３の差分データの画素に対応する第２の動きベクトルの方向および距離だけ第３の差分データの画素の位置から移動した画素とフレーム上で同じ位置にある復号された第１の画像データの画素の画素値とを加算することにより、第３の画像データを復号する第５の復号ステップとを含むことを特徴とする。
画像処理システムは、ノイズ付加部をさらに含み、ノイズ付加部により実行される、復号部から符号化部に供給される動画像データにノイズを付加するノイズ付加ステップをさらに含むようにすることができる。
本発明の符号化装置、符号化方法、第１の記録媒体、第１のプログラム、第１の画像処理システム、および、第１の画像処理方法においては、第２のフレームの画像データである第１の画像データが所定の大きさの第１のブロックに分割され、第１の画像データの第１のフレームの画像データである第２の画像データに対する第１の動きベクトルが第１のブロックごとに推定され、第１の動きベクトルに基づいて、第２の画像データと第１の画像データとの差分をとることにより、第１の差分データが生成され、第１の差分データが符号化され、第１の動きベクトルに基づいて、第２の画像データと第３のフレームの画像データである第３の画像データとの差分をとることにより、第２の差分データが生成され、第２の差分データが符号化される。
本発明の復号装置、復号方法、第２の記録媒体、第２のプログラム、第２の画像処理システム、および、第２の画像処理方法においては、符号化された第１のフレームの画像データである第１の画像データが復号され、第２のフレームの画像データである第２の画像データを所定の大きさに分割した第１のブロックごとに、第２の画像データの第１のブロック内の画素の画素値と、第１のブロックとフレーム上で同じ位置にある第１の画像データの第２のブロック内の画素の画素値との差分をとることにより生成された第１の差分データの水平方向および垂直方向のラインごとに、水平方向および垂直方向のラインにおける画素値の平均値を連続して上回るまたは下回る画素の個数に基づき、水平方向および垂直方向の成分が推定された第１の動きベクトルに基づいて、第１の画像データと第２の画像データとの差分をとることにより生成された第２の差分データであって、符号化された第２の差分データが復号され、復号された第２の差分データの第１のブロックごとに、第１のブロック内の画素の画素値と、第１のブロックに対応する第１の動きベクトルの方向および距離だけ第１のブロックの位置から移動したブロックとフレーム上で同じ位置にある復号された第１の画像データの第３のブロック内の画素の画素値とを加算することにより、第２の画像データが復号され、第１の動きベクトルに基づいて、第３のフレームの画像データである第３の画像データにおける第１のブロック内の被写体が記録されている第４のブロックの位置を推定し、第４のブロック内に同じ被写体が記録されていると推定された第１のブロックの第１の動きベクトルに基づき推定された第４のブロック内の各画素の第１の画像データに対する動きベクトルである第２の動きベクトルに基づいて、第１の画像データと第３の画像データとの差分をとることにより生成された第３の差分データであって、符号化された第３の差分データが復号され、復号された第３の差分データの画素ごとに、第３の差分データの画素の画素値と、第３の差分データの画素に対応する第２の動きベクトルの方向および距離だけ第３の差分データの画素の位置から移動した画素とフレーム上で同じ位置にある復号された第１の画像データの画素の画素値とを加算することにより、第３の画像データが復号される。
本発明によれば、画像データを符号化または復号することができる。また、本発明によれば、アナログ信号に基づいて表示される画像の画質を落とさずに、アナログ信号を利用した不正コピーを防止することができる。
以下に本発明の実施の形態を説明するが、請求項に記載の構成要件と、発明の実施の形態における具体例との対応関係を例示すると、次のようになる。この記載は、請求項に記載されている発明をサポートする具体例が、発明の実施の形態に記載されていることを確認するためのものである。従って、発明の実施の形態中には記載されているが、構成要件に対応するものとして、ここには記載されていない具体例があったとしても、そのことは、その具体例が、その構成要件に対応するものではないことを意味するものではない。逆に、具体例が構成要件に対応するものとしてここに記載されていたとしても、そのことは、その具体例が、その構成要件以外の構成要件には対応しないものであることを意味するものでもない。
さらに、この記載は、発明の実施の形態に記載されている具体例に対応する発明が、請求項に全て記載されていることを意味するものではない。換言すれば、この記載は、発明の実施の形態に記載されている具体例に対応する発明であって、この出願の請求項には記載されていない発明の存在、すなわち、将来、分割出願されたり、補正により追加される発明の存在を否定するものではない。
請求項１に記載の（例えば、図２に記載の記録装置１１３）は、第１のフレーム（例えば、第１基準フレーム）、第２のフレーム（例えば、第２基準フレーム）、および前記第１のフレームと前記第２のフレームとの間に位置する第３のフレーム（例えば、補間フレーム）を含む動画像データを符号化する符号化装置であって、前記第２のフレームの画像データである第１の画像データ（例えば、第２基準フレームデータ）を所定の大きさの第１のブロックに分割する分割手段（例えば、図７のブロック分割部２１１）と、前記第１の画像データの前記第１のフレームの画像データである第２の画像データ（例えば、第１基準フレームデータ）に対する第１の動きベクトルを前記第１のブロックごとに推定する第１の動きベクトル推定手段（例えば、図７の動きベクトル決定部２１２）と、前記第１の動きベクトルに基づいて、前記第２の画像データと前記第１の画像データとの差分をとることにより、第１の差分データ（例えば、第２基準差分データ）を生成する第１の差分データ生成手段（例えば、図７の差分データ生成部２１３）と、前記第１の差分データを符号化する第１の符号化手段（例えば、図７の差分データ符号化部２１４）と、前記第１の動きベクトルに基づいて、前記第２の画像データと前記第３のフレームの画像データである第３の画像データ（例えば、補間フレームデータ）との差分をとることにより、第２の差分データ（例えば、補間差分データ）を生成する第２の差分データ生成手段（例えば、図９の差分データ生成部２５２）と、前記第２の差分データを符号化する第２の符号化手段（例えば、図９の差分データ符号化部２５３）とを含むことを特徴とする。
請求項２に記載の符号化装置（例えば、図２に記載の記録装置１１３）においては、前記動画像データにノイズを付加するノイズ付加手段（例えば、図２のA/D変換部１３１）をさらに含むことを特徴とする。
請求項３に記載の符号化装置（例えば、図２に記載の記録装置１１３）においては、前記第１の動きベクトルに基づいて、前記第１のブロック内の被写体が記録されている前記第３の画像データの第２のブロックの位置を推定し、前記第２のブロック内の各画素の前記第２の画像データに対する動きベクトルである第２の動きベクトルを、前記第２のブロック内に同じ被写体が記録されていると推定された前記第１のブロックの前記第１の動きベクトルに基づいて推定する第２の動きベクトル推定手段（例えば、図９の動きベクトル決定部２５１）をさらに含み、前記第１の動きベクトル推定手段は、前記第１のブロックごとに、前記第１の画像データの前記第１のブロック内の画素の画素値と、前記第１のブロックとフレーム上で同じ位置にある前記第２の画像データの第３のブロック内の画素の画素値との差分をとることにより生成された第３の差分データの水平方向および垂直方向のラインごとに、前記水平方向および垂直方向のラインにおける画素値の平均値を連続して上回るまたは下回る画素の個数に基づいて、前記第１の動きベクトルの水平方向および垂直方向の成分を推定し、前記第２の差分データ生成手段は、前記第１の動きベクトルに基づいて推定された前記第２の動きベクトルに基づいて、前記第２の差分データを生成することを特徴とする。
請求項５に記載の符号化装置（例えば、図２に記載の記録装置１１３）は、前記第２の画像データを符号化する符号化手段（例えば、図５の第１基準フレーム処理部２０３）を
さらに含むことを特徴とする。
請求項６に記載の符号化装置（例えば、図２に記載の記録装置１１３）は、符号化された前記第２の画像データ、前記第１の差分データ、前記第１の動きベクトルを示すデータ、前記第２の差分データ、および、前記第２の動きベクトルを示すデータを含む前記動画像データを符号化した符号化動画像データを外部に出力する出力手段（図５の出力部２０７）をさらに含むことを特徴とする。
請求項８に記載の符号化方法は、第１のフレーム（例えば、第１基準フレーム）、第２のフレーム（例えば、第２基準フレーム）、および前記第１のフレームと前記第２のフレームとの間に位置する第３のフレーム（例えば、補間フレーム）を含む動画像データを符号化する符号化方法であって、前記第２のフレームの画像データである第１の画像データ（例えば、第２基準フレームデータ）を所定の大きさの第１のブロックに分割する分割ステップ（例えば、図１３のステップＳ５）と、前記第１の画像データの前記第１のフレームの画像データである第２の画像データ（例えば、第１基準フレームデータ）に対する第１の動きベクトルを前記第１のブロックごとに推定する第１の動きベクトル推定ステップ（例えば、図１３のステップＳ６）と、前記第１の動きベクトルに基づいて、前記第２の画像データと前記第１の画像データとの差分をとることにより、第１の差分データ（例えば、第２基準差分データ）を生成する第１の差分データ生成ステップ（例えば、図１３のステップＳ７）と、前記第１の差分データを符号化する第１の符号化ステップ（例えば、図１３のステップＳ８）と、前記第１の動きベクトルに基づいて、前記第２の画像データと前記第３のフレームの画像データである第３の画像データ（例えば、補間フレームデータ）との差分をとることにより、第２の差分データ（例えば、補間差分データ）を生成する第２の差分データ生成ステップ（例えば、図１３のステップＳ１０）と、前記第２の差分データを符号化する第２の符号化ステップ（例えば、図１３のステップＳ１１）とを含むことを特徴とする。
請求項９に記載の記録媒体（例えば、図３１のリムーバブルメディア７１１）に記録されているプログラムは、第１のフレーム（例えば、第１基準フレーム）、第２のフレーム（例えば、第２基準フレーム）、および前記第１のフレームと前記第２のフレームとの間に位置する第３のフレーム（例えば、補間フレーム）を含む動画像データを符号化する符号化処理用のプログラムであって、前記第２のフレームの画像データである第１の画像データ（例えば、第２基準フレームデータ）を所定の大きさの第１のブロックに分割する分割ステップ（例えば、図１３のステップＳ５）と、前記第１の画像データの前記第１のフレームの画像データである第２の画像データ（例えば、第１基準フレームデータ）に対する第１の動きベクトルを前記第１のブロックごとに推定する第１の動きベクトル推定ステップ（例えば、図１３のステップＳ６）と、前記第１の動きベクトルに基づいて、前記第２の画像データと前記第１の画像データとの差分をとることにより、第１の差分データ（例えば、第２基準差分データ）を生成する第１の差分データ生成ステップ（例えば、図１３のステップＳ７）と、前記第１の差分データを符号化する第１の符号化ステップ（例えば、図１３のステップＳ８）と、前記第１の動きベクトルに基づいて、前記第２の画像データと前記第３のフレームの画像データである第３の画像データ（例えば、補間フレームデータ）との差分をとることにより、第２の差分データ（例えば、補間差分データ）を生成する第２の差分データ生成ステップ（例えば、図１３のステップＳ１０）と、前記第２の差分データを符号化する第２の符号化ステップ（例えば、図１３のステップＳ１１）とを含むことを特徴とする。
請求項１０に記載のプログラムは、第１のフレーム（例えば、第１基準フレーム）、第２のフレーム（例えば、第２基準フレーム）、および前記第１のフレームと前記第２のフレームとの間に位置する第３のフレーム（例えば、補間フレーム）を含む動画像データを符号化する符号化処理用のコンピュータに、符号化処理を行わせるプログラムであって、前記第２のフレームの画像データである第１の画像データ（例えば、第２基準フレームデータ）を所定の大きさの第１のブロックに分割する分割ステップ（例えば、図１３のステップＳ５）と、前記第１の画像データの前記第１のフレームの画像データである第２の画像データ（例えば、第１基準フレームデータ）に対する第１の動きベクトルを前記第１のブロックごとに推定する第１の動きベクトル推定ステップ（例えば、図１３のステップＳ６）と、
前記第１の動きベクトルに基づいて、前記第２の画像データと前記第１の画像データとの差分をとることにより、第１の差分データ（例えば、第２基準差分データ）を生成する第１の差分データ生成ステップ（例えば、図１３のステップＳ７）と、前記第１の差分データを符号化する第１の符号化ステップ（例えば、図１３のステップＳ８）と、前記第１の動きベクトルに基づいて、前記第２の画像データと前記第３のフレームの画像データである第３の画像データ（例えば、補間フレームデータ）との差分をとることにより、第２の差分データ（例えば、補間差分データ）を生成する第２の差分データ生成ステップ（例えば、図１３のステップＳ１０）と、前記第２の差分データを符号化する第２の符号化ステップ（例えば、図１３のステップＳ１１）とを含むことを特徴とする。
請求項１１に記載の復号装置（例えば、図２に記載の復号部１２１または復号部１３４）は、第１のフレーム（例えば、第１基準フレーム）、第２のフレーム（例えば、第２基準フレーム）、および前記第１のフレームと前記第２のフレームとの間に位置する第３のフレーム（例えば、補間フレーム）を含む動画像データを符号化した符号化動画像データを復号する復号装置であって、符号化された前記第１のフレームの画像データである第１の画像データ（例えば、第１基準フレームデータ）を復号する第１の復号手段（例えば、図１０の第１基準フレーム復号部３０３）と、前記第２のフレームの画像データである第２の画像データ（例えば、第２基準フレームデータ）を所定の大きさに分割した第１のブロックごとに、前記第２の画像データの前記第１のブロック内の画素の画素値と、前記第１のブロックとフレーム上で同じ位置にある前記第１の画像データの第２のブロック内の画素の画素値との差分をとることにより生成された第１の差分データの水平方向および垂直方向のラインごとに、前記水平方向および垂直方向のラインにおける画素値の平均値を連続して上回るまたは下回る画素の個数に基づき、水平方向および垂直方向の成分が推定された第１の動きベクトルに基づいて、前記第１の画像データと前記第２の画像データとの差分をとることにより生成された第２の差分データ（例えば、第２基準差分データ）であって、符号化された前記第２の差分データを復号する第２の復号手段（例えば、図１１の差分データ復号部３１２）と、復号された前記第２の差分データの前記第１のブロックごとに、前記第１のブロック内の画素の画素値と、前記第１のブロックに対応する前記第１の動きベクトルの方向および距離だけ前記第１のブロックの位置から移動したブロックとフレーム上で同じ位置にある復号された前記第１の画像データの第３のブロック内の画素の画素値とを加算することにより、前記第２の画像データを復号する第３の復号手段（例えば、図１１の加算部３１３）と、前記第１の動きベクトルに基づいて、前記第３のフレームの画像データである第３の画像データ（例えば、補間フレームデータ）における前記第１のブロック内の被写体が記録されている第４のブロックの位置を推定し、前記第４のブロック内に同じ被写体が記録されていると推定された前記第１のブロックの前記第１の動きベクトルに基づき推定された前記第４のブロック内の各画素の前記第１の画像データに対する動きベクトルである第２の動きベクトルに基づいて、前記第１の画像データと前記第３の画像データとの差分をとることにより生成された第３の差分データ（例えば、補間差分データ）であって、符号化された前記第３の差分データを復号する第４の復号手段（例えば、図１２の差分データ復号部３２２）と、復号された前記第３の差分データの画素ごとに、前記第３の差分データの画素の画素値と、前記第３の差分データの画素に対応する前記第２の動きベクトルの方向および距離だけ前記第３の差分データの画素の位置から移動した画素とフレーム上で同じ位置にある復号された前記第１の画像データの画素の画素値とを加算することにより、前記第３の画像データを復号する第５の復号手段（例えば、図１１の加算部３２３）と
を含むことを特徴とする。
請求項１２に記載の復号方法は、第１のフレーム（例えば、第１基準フレーム）、第２のフレーム（例えば、第２基準フレーム）、および前記第１のフレームと前記第２のフレームとの間に位置する第３のフレーム（例えば、補間フレーム）を含む動画像データを符号化した符号化動画像データを復号する復号方法であって、符号化された前記第１のフレームの画像データである第１の画像データ（例えば、第１基準フレームデータ）を復号する第１の復号ステップ（例えば、図２６のステップＳ１０３）と、前記第２のフレームの画像データである第２の画像データ（例えば、第２基準フレームデータ）を所定の大きさに分割した第１のブロックごとに、前記第２の画像データの前記第１のブロック内の画素の画素値と、前記第１のブロックとフレーム上で同じ位置にある前記第１の画像データの第２のブロック内の画素の画素値との差分をとることにより生成された第１の差分データの水平方向および垂直方向のラインごとに、前記水平方向および垂直方向のラインにおける画素値の平均値を連続して上回るまたは下回る画素の個数に基づき、水平方向および垂直方向の成分が推定された第１の動きベクトルに基づいて、前記第１の画像データと前記第２の画像データとの差分をとることにより生成された第２の差分データ（例えば、第２基準差分データ）であって、符号化された前記第２の差分データを復号する第２の復号ステップ（例えば、図２６のステップＳ１０５）と、復号された前記第２の差分データの前記第１のブロックごとに、前記第１のブロック内の画素の画素値と、前記第１のブロックに対応する前記第１の動きベクトルの方向および距離だけ前記第１のブロックの位置から移動したブロックとフレーム上で同じ位置にある復号された前記第１の画像データの第３のブロック内の画素の画素値とを加算することにより、前記第２の画像データを復号する第３の復号ステップ（例えば、図２６のステップＳ１０６）と、前記第１の動きベクトルに基づいて、前記第３のフレームの画像データである第３の画像データ（例えば、補間フレームデータ）における前記第１のブロック内の被写体が記録されている第４のブロックの位置を推定し、前記第４のブロック内に同じ被写体が記録されていると推定された前記第１のブロックの前記第１の動きベクトルに基づき推定された前記第４のブロック内の各画素の前記第１の画像データに対する動きベクトルである第２の動きベクトルに基づいて、前記第１の画像データと前記第３の画像データとの差分をとることにより生成された第３の差分データ（例えば、補間差分データ）であって、符号化された前記第３の差分データを復号する第４の復号ステップ（例えば、図１２のステップＳ１０８）と、復号された前記第３の差分データの画素ごとに、前記第３の差分データの画素の画素値と、前記第３の差分データの画素に対応する前記第２の動きベクトルの方向および距離だけ前記第３の差分データの画素の位置から移動した画素とフレーム上で同じ位置にある復号された前記第１の画像データの画素の画素値とを加算することにより、前記第３の画像データを復号する第５の復号ステップ（例えば、図１２のステップＳ１０９）とを含むことを特徴とする。
請求項１３に記載の記録媒体（例えば、図３１のリムーバブルメディア７１１）に記録されているプログラムは、第１のフレーム（例えば、第１基準フレーム）、第２のフレーム（例えば、第２基準フレーム）、および前記第１のフレームと前記第２のフレームとの間に位置する第３のフレーム（例えば、補間フレーム）を含む動画像データを符号化した符号化動画像データを復号する復号処理用のプログラムであって、符号化された前記第１のフレームの画像データである第１の画像データ（例えば、第１基準フレームデータ）を復号する第１の復号ステップ（例えば、図２６のステップＳ１０３）と、前記第２のフレームの画像データである第２の画像データ（例えば、第２基準フレームデータ）を所定の大きさに分割した第１のブロックごとに、前記第２の画像データの前記第１のブロック内の画素の画素値と、前記第１のブロックとフレーム上で同じ位置にある前記第１の画像データの第２のブロック内の画素の画素値との差分をとることにより生成された第１の差分データの水平方向および垂直方向のラインごとに、前記水平方向および垂直方向のラインにおける画素値の平均値を連続して上回るまたは下回る画素の個数に基づき、水平方向および垂直方向の成分が推定された第１の動きベクトルに基づいて、前記第１の画像データと前記第２の画像データとの差分をとることにより生成された第２の差分データ（例えば、第２基準差分データ）であって、符号化された前記第２の差分データを復号する第２の復号ステップ（例えば、図２６のステップＳ１０５）と、復号された前記第２の差分データの前記第１のブロックごとに、前記第１のブロック内の画素の画素値と、前記第１のブロックに対応する前記第１の動きベクトルの方向および距離だけ前記第１のブロックの位置から移動したブロックとフレーム上で同じ位置にある復号された前記第１の画像データの第３のブロック内の画素の画素値とを加算することにより、前記第２の画像データを復号する第３の復号ステップ（例えば、図２６のステップＳ１０６）と、前記第１の動きベクトルに基づいて、前記第３のフレームの画像データである第３の画像データ（例えば、補間フレームデータ）における前記第１のブロック内の被写体が記録されている第４のブロックの位置を推定し、前記第４のブロック内に同じ被写体が記録されていると推定された前記第１のブロックの前記第１の動きベクトルに基づき推定された前記第４のブロック内の各画素の前記第１の画像データに対する動きベクトルである第２の動きベクトルに基づいて、前記第１の画像データと前記第３の画像データとの差分をとることにより生成された第３の差分データ（例えば、補間差分データ）であって、符号化された前記第３の差分データを復号する第４の復号ステップ（例えば、図１２のステップＳ１０８）と、復号された前記第３の差分データの画素ごとに、前記第３の差分データの画素の画素値と、前記第３の差分データの画素に対応する前記第２の動きベクトルの方向および距離だけ前記第３の差分データの画素の位置から移動した画素とフレーム上で同じ位置にある復号された前記第１の画像データの画素の画素値とを加算することにより、前記第３の画像データを復号する第５の復号ステップ（例えば、図１２のステップＳ１０９）とを含むことを特徴とする。
請求項１４に記載のプログラムは、第１のフレーム（例えば、第１基準フレーム）、第２のフレーム（例えば、第２基準フレーム）、および前記第１のフレームと前記第２のフレームとの間に位置する第３のフレーム（例えば、補間フレーム）を含む動画像データを符号化した符号化動画像データを復号する復号処理用のコンピュータに、復号処理を行わせるプログラムであって、符号化された前記第１のフレームの画像データである第１の画像データ（例えば、第１基準フレームデータ）を復号する第１の復号ステップ（例えば、図２６のステップＳ１０３）と、前記第２のフレームの画像データである第２の画像データ（例えば、第２基準フレームデータ）を所定の大きさに分割した第１のブロックごとに、前記第２の画像データの前記第１のブロック内の画素の画素値と、前記第１のブロックとフレーム上で同じ位置にある前記第１の画像データの第２のブロック内の画素の画素値との差分をとることにより生成された第１の差分データの水平方向および垂直方向のラインごとに、前記水平方向および垂直方向のラインにおける画素値の平均値を連続して上回るまたは下回る画素の個数に基づき、水平方向および垂直方向の成分が推定された第１の動きベクトルに基づいて、前記第１の画像データと前記第２の画像データとの差分をとることにより生成された第２の差分データ（例えば、第２基準差分データ）であって、符号化された前記第２の差分データを復号する第２の復号ステップ（例えば、図２６のステップＳ１０５）と、復号された前記第２の差分データの前記第１のブロックごとに、前記第１のブロック内の画素の画素値と、前記第１のブロックに対応する前記第１の動きベクトルの方向および距離だけ前記第１のブロックの位置から移動したブロックとフレーム上で同じ位置にある復号された前記第１の画像データの第３のブロック内の画素の画素値とを加算することにより、前記第２の画像データを復号する第３の復号ステップ（例えば、図２６のステップＳ１０６）と、前記第１の動きベクトルに基づいて、前記第３のフレームの画像データである第３の画像データ（例えば、補間フレームデータ）における前記第１のブロック内の被写体が記録されている第４のブロックの位置を推定し、前記第４のブロック内に同じ被写体が記録されていると推定された前記第１のブロックの前記第１の動きベクトルに基づき推定された前記第４のブロック内の各画素の前記第１の画像データに対する動きベクトルである第２の動きベクトルに基づいて、前記第１の画像データと前記第３の画像データとの差分をとることにより生成された第３の差分データ（例えば、補間差分データ）であって、符号化された前記第３の差分データを復号する第４の復号ステップ（例えば、図１２のステップＳ１０８）と、復号された前記第３の差分データの画素ごとに、前記第３の差分データの画素の画素値と、前記第３の差分データの画素に対応する前記第２の動きベクトルの方向および距離だけ前記第３の差分データの画素の位置から移動した画素とフレーム上で同じ位置にある復号された前記第１の画像データの画素の画素値とを加算することにより、前記第３の画像データを復号する第５の復号ステップ（例えば、図１２のステップＳ１０９）とを含むことを特徴とする。
請求項１５に記載の画像処理システム（例えば、図２の画像処理システム１０１）は、符号化部（例えば、図２の符号化部１３２）と復号部（例えば、図２の復号部１２１）を含み、第１のフレーム（例えば、第１基準フレーム）、第２のフレーム（例えば、第２基準フレーム）、および前記第１のフレームと前記第２のフレームとの間に位置する第３のフレーム（例えば、補間フレーム）を含む動画像データを画像処理する画像処理システムであって、前記符号化部は、前記第２のフレームの画像データである第１の画像データ（例えば、第２基準フレームデータ）を所定の大きさの第１のブロックに分割する分割手段（例えば、図７のブロック分割部２１１）と、前記第１の画像データの前記第１のフレームの画像データである第２の画像データ（例えば、第１基準フレームデータ）に対する第１の動きベクトルを前記第１のブロックごとに推定する第１の動きベクトル推定手段（例えば、図７の動きベクトル決定部２１２）と、前記第１の動きベクトルに基づいて、前記第２の画像データと前記第１の画像データとの差分をとることにより、第１の差分データ（例えば、第２基準差分データ）を生成する第１の差分データ生成手段（例えば、図７の差分データ生成部２１３）と、前記第１の差分データを符号化する第１の符号化手段（例えば、図７の差分データ符号化部２１４）と、前記第１の動きベクトルに基づいて、前記第２の画像データと前記第３のフレームの画像データである第３の画像データ（例えば、補間フレームデータ）との差分をとることにより、第２の差分データ（例えば、補間差分データ）を生成する第２の差分データ生成手段（例えば、図９の差分データ生成部２５２）と、前記第２の差分データを符号化する第２の符号化手段（例えば、図９の差分データ符号化部２５３）とを含むことを特徴とする。
請求項１６に記載の画像処理システム（例えば、図２の画像処理システム１０１）は、前記復号部から前記符号化部に供給される前記動画像データにノイズを付加するノイズ付加部ノイズ付加部（例えば、図２のD/A変換部１２２またはA/D変換部１３１）をさらに含むことを特徴とする。
請求項１７に記載の画像処理方法は、符号化部（例えば、図２の符号化部１３２）と復号部（例えば、図２の復号部１２１）を含み、第１のフレーム（例えば、第１基準フレーム）、第２のフレーム（例えば、第２基準フレーム）、および前記第１のフレームと前記第２のフレームとの間に位置する第３のフレーム（例えば、補間フレーム）を含む動画像データを画像処理する画像処理システム（例えば、図２の画像処理システム１０１）の画像処理方法であって、前記符号化部により実行される、前記第２のフレームの画像データである第１の画像データ（例えば、第２基準フレームデータ）を所定の大きさの第１のブロックに分割する分割ステップ（例えば、図１３のステップＳ５）と、前記第１の画像データの前記第１のフレームの画像データである第２の画像データ（例えば、第１基準フレームデータ）に対する第１の動きベクトルを前記第１のブロックごとに推定する第１の動きベクトル推定ステップ（例えば、図１３のステップＳ６）と、前記第１の動きベクトルに基づいて、前記第２の画像データと前記第１の画像データとの差分をとることにより、第１の差分データ（例えば、第２基準差分データ）を生成する第１の差分データ生成ステップ（例えば、図１３のステップＳ７）と、前記第１の差分データを符号化する第１の符号化ステップ（例えば、図１３のステップＳ８）と、前記第１の動きベクトルに基づいて、前記第２の画像データと前記第３のフレームの画像データである第３の画像データ（例えば、補間フレームデータ）との差分をとることにより、第２の差分データ（例えば、補間差分データ）を生成する第２の差分データ生成ステップ（例えば、図１３のステップＳ１０）と、前記第２の差分データを符号化する第２の符号化ステップ（例えば、図１３のステップＳ１１）とを含むことを特徴とする。
請求項１８に記載の画像処理方法においては、前記画像処理システムは、ノイズ付加部（例えば、図２のD/A変換部１２２またはA/D変換部１３１）をさらに含み、前記ノイズ付加部により実行される、前記復号部から前記符号化部に供給される前記動画像データにノイズを付加するノイズ付加ステップ（例えば、図１５のステップＳ５５またはＳ６０）をさらに含むことを特徴とする
請求項１９に記載の画像処理システム（例えば、図２の画像処理システム１０１）は、符号化部（例えば、図２の符号化部１３２）と復号部（例えば、図２の復号部１２１）を含み、第１のフレーム（例えば、第１基準フレーム）、第２のフレーム（例えば、第２基準フレーム）、および前記第１のフレームと前記第２のフレームとの間に位置する第３のフレーム（例えば、補間フレーム）を含む動画像データを画像処理する画像処理システムであって、前記復号部は、符号化された前記第１のフレームの画像データである第１の画像データ（例えば、第１基準フレームデータ）を復号する第１の復号手段（例えば、図１０の第１基準フレーム復号部３０３）と、前記第２のフレームの画像データである第２の画像データ（例えば、第２基準フレームデータ）を所定の大きさに分割した第１のブロックごとに、前記第２の画像データの前記第１のブロック内の画素の画素値と、前記第１のブロックとフレーム上で同じ位置にある前記第１の画像データの第２のブロック内の画素の画素値との差分をとることにより生成された第１の差分データの水平方向および垂直方向のラインごとに、前記水平方向および垂直方向のラインにおける画素値の平均値を連続して上回るまたは下回る画素の個数に基づき、水平方向および垂直方向の成分が推定された第１の動きベクトルに基づいて、前記第１の画像データと前記第２の画像データとの差分をとることにより生成された第２の差分データ（例えば、第２基準差分データ）であって、符号化された前記第２の差分データを復号する第２の復号手段（例えば、図１１の差分データ復号部３１２）と、復号された前記第２の差分データの前記第１のブロックごとに、前記第１のブロック内の画素の画素値と、前記第１のブロックに対応する前記第１の動きベクトルの方向および距離だけ前記第１のブロックの位置から移動したブロックとフレーム上で同じ位置にある復号された前記第１の画像データの第３のブロック内の画素の画素値とを加算することにより、前記第２の画像データを復号する第３の復号手段（例えば、図１１の加算部３１３）と、前記第１の動きベクトルに基づいて、前記第３のフレームの画像データである第３の画像データ（例えば、補間フレームデータ）における前記第１のブロック内の被写体が記録されている第４のブロックの位置を推定し、前記第４のブロック内に同じ被写体が記録されていると推定された前記第１のブロックの前記第１の動きベクトルに基づき推定された前記第４のブロック内の各画素の前記第１の画像データに対する動きベクトルである第２の動きベクトルに基づいて、前記第１の画像データと前記第３の画像データとの差分をとることにより生成された第３の差分データ（例えば、補間差分データ）であって、符号化された前記第３の差分データを復号する第４の復号手段（例えば、図１２の差分データ復号部３２２）と、復号された前記第３の差分データの画素ごとに、前記第３の差分データの画素の画素値と、前記第３の差分データの画素に対応する前記第２の動きベクトルの方向および距離だけ前記第３の差分データの画素の位置から移動した画素とフレーム上で同じ位置にある復号された前記第１の画像データの画素の画素値とを加算することにより、前記第３の画像データを復号する第５の復号手段（例えば、図１１の加算部３２３）とを含むことを特徴とする。
請求項２０に記載の画像処理システム（例えば、図２の画像処理システム１０１）は、前記復号部から前記符号化部に供給される前記動画像データにノイズを付加するノイズ付加部ノイズ付加部（例えば、図２のD/A変換部１２２またはA/D変換部１３１）をさらに含むことを特徴とする。
請求項２１に記載の画像処理方法は、符号化部（例えば、図２の符号化部１３２）と復号部（例えば、図２の復号部１２１）を含み、第１のフレーム（例えば、第１基準フレーム）、第２のフレーム（例えば、第２基準フレーム）、および前記第１のフレームと前記第２のフレームとの間に位置する第３のフレーム（例えば、補間フレーム）を含む動画像データを画像処理する画像処理システム（例えば、図２の画像処理システム１０１）の画像処理方法であって、前記第２のフレームの画像データである第２の画像データ（例えば、第２基準フレームデータ）を所定の大きさに分割した第１のブロックごとに、前記第２の画像データの前記第１のブロック内の画素の画素値と、前記第１のブロックとフレーム上で同じ位置にある前記第１の画像データの第２のブロック内の画素の画素値との差分をとることにより生成された第１の差分データの水平方向および垂直方向のラインごとに、前記水平方向および垂直方向のラインにおける画素値の平均値を連続して上回るまたは下回る画素の個数に基づき、水平方向および垂直方向の成分が推定された第１の動きベクトルに基づいて、前記第１の画像データと前記第２の画像データとの差分をとることにより生成された第２の差分データ（例えば、第２基準差分データ）であって、符号化された前記第２の差分データを復号する第２の復号ステップ（例えば、図２６のステップＳ１０５）と、復号された前記第２の差分データの前記第１のブロックごとに、前記第１のブロック内の画素の画素値と、前記第１のブロックに対応する前記第１の動きベクトルの方向および距離だけ前記第１のブロックの位置から移動したブロックとフレーム上で同じ位置にある復号された前記第１の画像データの第３のブロック内の画素の画素値とを加算することにより、前記第２の画像データを復号する第３の復号ステップ（例えば、図２６のステップＳ１０６）と、前記第１の動きベクトルに基づいて、前記第３のフレームの画像データである第３の画像データ（例えば、補間フレームデータ）における前記第１のブロック内の被写体が記録されている第４のブロックの位置を推定し、前記第４のブロック内に同じ被写体が記録されていると推定された前記第１のブロックの前記第１の動きベクトルに基づき推定された前記第４のブロック内の各画素の前記第１の画像データに対する動きベクトルである第２の動きベクトルに基づいて、前記第１の画像データと前記第３の画像データとの差分をとることにより生成された第３の差分データ（例えば、補間差分データ）であって、符号化された前記第３の差分データを復号する第４の復号ステップ（例えば、図１２のステップＳ１０８）と、復号された前記第３の差分データの画素ごとに、前記第３の差分データの画素の画素値と、前記第３の差分データの画素に対応する前記第２の動きベクトルの方向および距離だけ前記第３の差分データの画素の位置から移動した画素とフレーム上で同じ位置にある復号された前記第１の画像データの画素の画素値とを加算することにより、前記第３の画像データを復号する第５の復号ステップ（例えば、図１２のステップＳ１０９）とを含むことを特徴とする。
請求項２２に記載の画像処理方法においては、前記画像処理システムは、ノイズ付加部（例えば、図２のD/A変換部１２２またはA/D変換部１３１）をさらに含み、前記ノイズ付加部により実行される、前記復号部から前記符号化部に供給される前記動画像データにノイズを付加するノイズ付加ステップ（例えば、図１５のステップＳ５５またはＳ６０）をさらに含むことを特徴とする
以下、図を参照して、本発明の実施の形態について説明する。
図２は、本発明を適用した画像処理システム１０１の一実施の形態を示すブロック図である。画像処理システム１０１は、アナログの画像データVan1を出力する再生装置１１１、画像データVan1に基づく画像を表示するディスプレイ１１２、画像データVan1を符号化して記録する記録装置１１３により構成される。
再生装置１１１は、復号部１２１およびD/A変換部１２２を含むように構成される。
復号部１２１は、例えば、図示せぬ磁気ディスク、光ディスク、光磁気ディスク、あるいは半導体メモリなどよりなる記録媒体から読み出された、符号化されたデジタルの画像データを画像データVdg0に復号し、画像データVdg0をD/A変換部１２２に供給する。
D/A変換部１２２は、デジタルの画像データVdg0をアナログの画像データVan1にD/A変換し、画像データVan1をディスプレイ１１２および記録装置１１３に出力する。
ディスプレイ１１２は、例えば、CRTディスプレイ、LCD等で構成され、画像データVan1に基づく画像を表示する。
記録装置１１３は、A/D変換部１３１、符号化部１３２、記録部１３３、復号部１３４、D/A変換部１３５、およびディスプレイ１３６を含むように構成される。
A/D変換部１３１は、再生装置１１１から入力されるアナログの画像データVan1をデジタルの画像データVdg1にA/D変換し、画像データVdg1を符号化部１３２に供給する。
符号化部１３２は、図１２および図１３を参照して後述するように、上述した再生装置１１１により再生される記録媒体に記録されているデジタルの画像データと同様の方式に基づいて、画像データVdg1を画像データVcd1に符号化する。符号化部１３２は、画像データVcd1を記録部１３３および復号部１３４に供給する。
記録部１３３は、磁気ディスク、光ディスク、光磁気ディスク、あるいは半導体メモリなどよりなる記録媒体に画像データVcd1を記録させる。すなわち、記録部１３３は、アナログの画像データVan1を符号化したデジタルの画像データVcd1を記録媒体にコピーする。
復号部１３４は、図１４を参照して後述するように、画像データVcd1を画像データVdg2に復号し、画像データVdg2をD/A変換部１３５に供給する。
D/A変換部１３５は、デジタルの画像データVdg2をアナログの画像データVan2にD/A変換し、画像データVan2をディスプレイ１３６に供給する。
ディスプレイ１３６は、例えば、CRTディスプレイ、LCD等により構成され、画像データVan2に基づく画像を表示する。
なお、復号部１３４、D/A変換部１３５、およびディスプレイ１３６は、例えば、符号化部１３２により符号化された画像データVcd1に基づく画像を、ユーザがモニタするために利用される。
ところで、D/A変換部１２２においてデジタルの画像データVdg0をD/A変換するとき、A/D変換部１３１においてアナログの画像データVan1をA/D変換するとき、および、D/A変換部１３５においてデジタルの画像データVdg2をD/A変換するとき、その変換処理において、画像データの高周波（空間周波数が高い）成分の歪み、および、画像データの位相がずれることによる歪み（以下、位相ずれと称する）などが生じる。すなわち、高周波成分の歪みおよび位相ずれなどが画像データに付加される。この高周波成分の歪みや位相ずれなどは、アナログノイズとも称される。なお、このアナログノイズのうち、高周波成分の歪みは、主にホワイトノイズと呼ばれるノイズに起因するものである。
図３を参照して、ホワイトノイズに起因する高周波成分の歪みについて説明する。
D/A変換部１２２およびD/A変換部１３５において、デジタルの画像データがアナログの画像データに変換される過程において、または、A/D変換部１３１において、アナログの画像データがデジタルの画像データに変換される過程において、周波数成分がほぼ均一なホワイトノイズが画像データに付加される。ホワイトノイズのレベルは、時系列でランダムに変化し、その分布はほぼ正規分布に従う。すなわち、各画素に対応するアナログの画像データに付加されるホワイトノイズのレベルはランダムに変化する。
従って、例えば、復号部１２１から出力されるデジタルの画像データVdg0において、水平方向と垂直方向に整列して位置する画素のうちの所定の１ラインに含まれる複数の画素の画素値が、図３Ａに示されるように、同一の画素値を有していたとしても、D/A変換部１２２によりD/A変換され、さらに、A/D変換部１３１によりA/D変換された後のデジタルの画像データVdg1において、上述した１ラインに含まれる複数の画素の画素値は、図３Ｂに示されるように、もとの値を中心とするある程度の範囲内でランダムに分散された値となる。これらの分散された値と、もとの値との差異は乱数で表現される性質のものであり、一律に決まるものではない。その結果、画像データに高周波成分の歪みが生じる。また、水平方向だけでなく、垂直方向にも同様に高周波成分の歪みが生じる。なお、各画素に付加されるホワイトノイズのレベルの散らばり具合によっては、高周波成分以外の成分の歪みが生じる場合もある。
このように、D/A変換部１２２、D/A変換部１３５、およびA/D変換部１３１においては、デジタルの画像データがアナログの画像データに変換される過程において、または、アナログの画像データがデジタルの画像データに変換される過程において、水平方向と垂直方向の２次元に、データの歪みが生じる。
このホワイトノイズによる高周波成分の歪みが発生しても、画像データに対するホワイトノイズのS/N比が低い場合、ユーザが視認することができるレベルにおける画像の画質にはほとんど影響を及ぼさない。
次に、図４を参照して位相ずれについて説明する。図内の白い円は、画像データVdg0の画素の位置を示しており、図内の黒い円は、画像データVdg0をD/A変換するときに位相ずれが発生し、位相ずれによる歪みが付加された画像データVan1をA/D変換した場合の画像データVdg1の画素の位置の例を示している。この例の場合、位相ずれによる歪みが付加されることにより、画像データVdg2の画素の位置は、本来の画像データVdg0の画素の位置と比べて、水平方向にφhおよび垂直方向にφvだけずれてしまっている。なお、水平方向の位相ずれの幅φhは、水平方向の画素間隔より小さくなったり大きくなったりする一方、垂直方向の位相ずれの幅φvは、垂直方向の画素間隔の整数倍となる。また、位相ずれは、水平方向または垂直方向の一方向のみ生じる場合がある。なお、位相がずれて空いてしまった画素には、例えば、本来の画像データの画素の画素値ではない、同期信号などに基づく値が設定される。
この位相ずれが発生することにより、位相ずれの幅だけ画像の表示位置がずれ、ずれた部分に、画素値以外の同期信号などに基づく画像が表示されてしまうことになるが、表示位置のずれはわずかであり、ユーザが視認することができるレベルにおける画像の画質にはほとんど影響を及ぼさない。
なお、D/A変換部１２２、A/D変換部１３１、および、D/A変換部１３５は、それぞれ、デジタルの画像データがアナログの画像データに変換される過程において、または、アナログの画像データがデジタルの画像データに変換される過程において、上述したホワイトノイズなどを必ず付加するようにしても良い。また、D/A変換部１２２、A/D変換部１３１、および、D/A変換部１３５は、上述したホワイトノイズ以外にも、例えば、ピンクノイズなど、不均一な周波数特性を有するノイズ成分を出力されるデータに付加するようにしても良い。
また、D/Ａ変換部１２２、および、D/A変換部１３５は、それぞれ、デジタルの画像データがアナログの画像データに変換される過程において、上述した位相ずれを必ず発生させるようにしてもよい。
さらに、上述したホワイトノイズなど、不均一な周波数特性を有するノイズ成分を含む、上述したアナログノイズは、D/A変換部１２２、A/D変換部１３１、および、D/A変換部１３５において実行される変換処理時以外にも、D/A変換部１２２からA/D変換部１３１へアナログの画像データVan1を伝送する際に、画像データVan1に付加される場合もある。
また、D/Ａ変換部１２２は復号部１２１と、D/A変換部１３５は復号部１３４と、それぞれ、１つの構成要素として構成とするようにしても良い。
さらに、図２の再生装置１１１および記録装置１１３を構成する各部は、それぞれ、独立した装置として構成するようにしても良い。すなわち、例えば、D/A変換部１２２と復号部１２１とをそれぞれ独立した装置として構成したり、２つの構成要素を持つ１つの装置として構成しても良い。また、符号化部１３２や復号部１３４をそれぞれ独立した装置として構成したり、A/D変換部１３１と符号化部１３２との２つの構成要素を持つ１つの装置として構成したり、D/A変換部１３５と復号部１３４との２つの構成要素を持つ１つの装置として構成するようにしてもよい。
図５は、図２の記録装置１１３の符号化部１３２の機能の構成例を示すブロック図である。符号化部１３２は、入力部２０１、フレーム割当部２０２、第１基準フレーム処理部２０３、第１基準フレーム復号部２０４、第２基準フレーム処理部２０５、補間フレーム処理部２０６、および出力部２０７を含むように構成される。
入力部２０１は、A/D変換部１３１から供給される画像データVdg1をフレーム割当部２０２に供給する。
フレーム割当部２０２は、画像データVdg1を構成する複数のフレームを、所定のフレーム数ごとに一括りにした処理フレーム範囲に分割する。
図６は、処理フレーム範囲の例を示している。この例において、１つの処理フレーム範囲に含まれるフレーム数は４フレームであり、処理フレーム範囲のうち、時間軸方向で先頭のフレームを第１基準フレーム、時間軸方向で最後尾のフレームを第２基準フレーム、第１基準フレームと第２基準フレームとの間のフレームを補間フレームとされる。なお、処理フレーム範囲の決め方（例えば、フレーム数など）は、例えば、ユーザ設定などにより任意に設定することができる。
なお、以下、フレーム割当部２０２は、画像データVdg1を構成する複数のフレームを、図６に示されるように設定するものとして説明する。また、以下、各フレームに対応する画像データをフレームデータと称し、特に、第１基準フレームに対応する画像データを第１基準フレームデータとも称し、第２基準フレームに対応する画像データを第２基準フレームデータとも称し、補間フレームに対応する画像データを補間フレームデータとも称する。
フレーム割当部２０２は、画像データVdg1を構成するフレームデータのうち、第１基準フレームデータを第１基準フレーム処理部２０３に供給し、第２基準フレームデータを第２基準フレーム処理部２０５に供給し、補間フレームデータを補間フレーム処理部２０６に供給する。
第１基準フレーム処理部２０３は、第１基準フレームデータを、例えば、ADRC（Adaptive Dynamic Range Coding）方式に基づいて符号化する。第１基準フレーム処理部２０３は、符号化した第１基準フレームデータ（以下、符号化第１基準フレームデータとも称する）に、第１基準フレームデータを符号化したデータであることを示す情報を付加して、符号化第１基準フレームデータを、第１基準フレーム復号部２０４および出力部２０７に供給する。
ADRC方式とは、入力された画像データの各画素の画素値の最大値および最小値の差であるダイナミックレンジに対応した可変長の量子化コードを出力する可変長符号化方式である。ADRC方式では、画像データが複数の画素からなる所定の大きさ（例えば、８画素×８画素）のブロックに分割された後、ブロックごとにダイナミックレンジが検出される。そして、各ブロックのダイナミックレンジを基に、元の量子化ビット数（例えば、８ビット）よりも少ないビット数で、画像データの各画素の画素値を量子化するものである。なお、ADRC方式については、例えば、本件出願人が先に出願した特開昭６１−１４４９８９号公報などに、その詳細が開示されている。
第１基準フレーム復号部２０４は、ADRC方式に基づいて、符号化第１基準フレームデータを復号する。第１基準フレーム復号部２０４は、復号した第１基準フレームデータ（以下、復号第１基準フレームデータとも称する）を第２基準フレーム処理部２０５および補間フレーム処理部２０６に供給する。
第２基準フレーム処理部２０５は、図１８を参照して後述するように、第２基準フレームデータを所定の大きさ（例えば、８画素×８画素）のブロックに分割し、各ブロックごとに、各ブロック内の画像データの被写体（画像）が第１基準フレームデータにおいて記録されているブロック（以下、推定移動前ブロックとも称する）を推定する。第２基準フレーム処理部２０５は、各ブロックから、そのブロックの推定移動前ブロックとフレーム（画面）上で同じ位置にある第２基準フレームデータのブロックへの移動距離と方向を示す動きベクトルを求めることにより、第２基準フレームデータの第１基準フレームデータに対する動きベクトルを推定する。第２基準フレーム処理部２０５は、推定した動きベクトルを示すデータ（以下、第２基準動きベクトルデータとも称する）を補間フレーム処理部２０６および出力部２０７に供給する。
また、第２基準フレーム処理部２０５は、図１３および図１４を参照して後述するように、第２基準フレームデータの各ブロックについて、そのブロック内の各画素の画素値と、そのブロックに対応する復号第１基準フレームデータの推定移動前ブロック内の各画素の画素値との差分をとることにより、第２基準フレームデータと第１基準フレームデータとの間の差分データ（以下、第２基準差分データとも称する）を生成する。
さらに、第２基準フレーム処理部２０５は、第２基準差分データの各画素の画素値に対して、ブロックごとにDCT（Discrete Cosine Transform、離散コサイン変換）および量子化（以下、まとめてDCT処理とも称する）を行うことにより、第２基準差分データを符号化する。第２基準フレーム処理部２０５は、符号化した第２基準差分データ（以下、符号化第２基準差分データとも称する）に、第２基準フレームデータの差分データであることを示す情報を付加して、符号化第２基準差分データを出力部２０７に供給する。
補間フレーム処理部２０６は、図２３を参照して後述するように、補間フレームデータの各画素ごとに、各画素の画像データの被写体（画像）が第１基準フレームデータにおいて記録されている画素（以下、推定移動前画素とも称する）を推定する。補間フレーム処理部２０６は、各画素から、その画素の推定移動前画素とフレーム（画面）上で同じ位置にある第２基準フレームデータの画素への移動距離と方向を示す動きベクトルを求めることにより、補間フレームデータの第１基準フレームデータに対する動きベクトルを推定する。第２基準フレーム処理部２０５は、推定した動きベクトルを示すデータ（以下、第２基準動きベクトルデータとも称する）を補間フレーム処理部２０６および出力部２０７に供給する。
また、補間フレーム処理部２０６は、図１３および図１４を参照して後述するように、補間フレームデータの各画素について、その画素の画素値と、その画素に対応する復号第１基準フレームデータの推定移動前画素の画素値との差分をとることにより、補間フレームデータと第１基準フレームデータとの間の差分データ（以下、補間差分データとも称する）を生成する。
第２基準フレーム処理部２０５は、補間差分データを所定の大きさ（例えば、８画素×８画素）のブロックに分割して、補間差分データの各画素の画素値に対して、ブロックごとにDCT処理を行うことにより、補間差分データを符号化する。補間フレーム処理部２０６は、符号化した補間差分データ（以下、符号化補間差分データとも称する）に、補間フレームデータの差分データであることを示す情報を付加して、符号化補間差分データを出力部２０７に供給する。
出力部２０７は、符号化補間差分データ、符号化補間差分データに対応する動きベクトル、および符号化補間差分データと動きベクトルを関連づける情報を含むデータ（以下、符号化補間フレームデータとも称する）を生成する。また、出力部２０７は、符号化第２基準差分データ、符号化第２基準差分データに対応する動きベクトル、および符号化第２基準差分データと動きベクトルを関連づける情報を含むデータ（以下、符号化第２基準フレームデータとも称する）を生成する。さらに、出力部２０７は、符号化第１基準フレームデータ、符号化補間フレームデータ、符号化第２基準フレームデータ、並びに、同じ処理フレーム範囲内の符号化第１基準フレームデータ、符号化補間フレームデータ、および、符号化第２基準フレームデータを相互に関連づける情報を含む画像データ、すなわち、画像データVcdを、記録部１３３および復号部１３４に出力する。
図７は、符号化部１３２の第２基準フレーム処理部２０５の機能の構成例を示す図である。第２基準フレーム処理部２０５は、ブロック分割部２１１、動きベクトル決定部２１２、差分データ生成部２１３、および、差分データ符号化部２１４を含むように構成される。
ブロック分割部２１１は、復号第１基準フレームデータおよび第２基準フレームデータを、所定の大きさ（例えば、８画素×８画素）のブロックに分割する。ブロック分割部２１１は、復号第１基準フレームデータおよび第２基準フレームデータの各画素の画素値を、ブロック単位で動きベクトル決定部２１２および差分データ生成部２１３に供給する。
動きベクトル決定部２１２は、図１８を参照して後述するように、第２基準フレームデータの各ブロックの第１基準フレームデータに対する動きベクトルを推定する。動きベクトル決定部２１２は、推定した動きベクトルを示す第２基準動きベクトルデータを補間フレーム処理部２０６、出力部２０７、および差分データ生成部２１３に供給する。
差分データ生成部２１３は、図１３および図１４を参照して後述するように、第２基準フレームデータの各ブロックの動きベクトルに基づいて、第２基準差分データを生成し、第２基準差分データを差分データ符号化部２１４に供給する。
差分データ符号化部２１４は、図１３および図１４を参照して後述するように、第２基準差分データを符号化する。差分データ符号化部２１４は、符号化した第２基準差分データ（符号化第２基準差分データ）に、第２基準フレームデータの差分データであることを示す情報を付加して、符号化第２基準差分データを出力部２０７に供給する。
図８は、第２基準フレーム処理部２０５の動きベクトル決定部２１２の機能の構成例を示す図である。動きベクトル決定部２１２は、差分データ生成部２３１、水平方向データ抽出部２３２、平均値導出部２３３、候補データ抽出部２３４、判定部２３５、垂直方向データ抽出部２３６、平均値導出部２３７、候補データ抽出部２３８、判定部２３９、および出力部２４０を含むように構成される。
差分データ生成部２３１は、第２基準フレームデータのブロック内の各画素の画素値と、同じ位置にある復号第１基準フレームデータのブロック内の各画素の画素値との差分をとることにより差分データ（以下、ブロック差分データとも称する）を生成し、ブロック差分データを水平方向データ抽出部２３２および垂直方向データ抽出部２３６に供給する。
水平方向データ抽出部２３２は、ブロック差分データの各画素の画素値（差分値）を、水平方向のライン単位に抽出し、水平方向のライン単位で平均値導出部２３３および候補データ抽出部２３４に供給する。
平均値導出部２３３は、ブロック差分データの各画素の画素値の平均値を算出し、算出した平均値を示すデータを候補データ抽出部２３４に供給する。
候補データ抽出部２３４は、図１８を参照して後述するように、第２基準フレームデータの各ブロックの動きベクトルの水平方向の成分の候補を求め、求めた動きベクトルの水平方向の成分の候補を示すデータを判定部２３５に供給する。
判定部２３５は、図１８を参照して後述するように、第２基準フレームデータの各ブロックの動きベクトルの水平方向の成分を、動きベクトルの水平方向の成分の候補の中から決定する。判定部２３５は、決定した動きベクトルの水平方向の成分を示すデータを出力部２４０に供給する。
垂直方向データ抽出部２３６は、ブロック差分データの各画素の画素値（差分値）を、垂直方向のライン単位に抽出し、垂直方向のライン単位で平均値導出部２３７および候補データ抽出部２３８に供給する。
平均値導出部２３７は、ブロック差分データの各画素の画素値の平均値を算出し、算出した平均値を示すデータを候補データ抽出部２３８に供給する。
候補データ抽出部２３８は、図１８を参照して後述するように、第２基準フレームデータの各ブロックの動きベクトルの垂直方向の成分の候補を求め、求めた動きベクトルの垂直方向の成分の候補を示すデータを判定部２３９に供給する。
判定部２３９は、図１８を参照して後述するように、第２基準フレームデータの各ブロックの動きベクトルの垂直方向の成分を、動きベクトルの垂直方向の成分の候補の中から決定する。判定部２３９は、決定した動きベクトルの垂直方向の成分を示すデータを出力部２４０に供給する。
出力部２４０は、第２基準フレームデータの各ブロックの動きベクトルを示すデータ、すなわち、第２基準動きベクトルデータを、補間フレーム処理部２０６、出力部２０７、および差分データ生成部２１３に供給する。
図９は、符号化部１３２の補間フレーム処理部２０６の機能の構成例を示す図である。補間フレーム処理部２０６は、動きベクトル決定部２５１、差分データ生成部２５２、および、差分データ符号化部２５３を含むように構成される。
動きベクトル決定部２５１は、図２３を参照して後述するように、補間フレームデータの各画素の動きベクトルを推定する。動きベクトル決定部２５１は、推定した動きベクトルを示す補間動きベクトルデータを出力部２０７、および差分データ生成部２５２に供給する。
差分データ生成部２５２は、図１３および図１４を参照して後述するように、補間フレームデータの各画素の動きベクトルに基づいて、補間差分データを生成し、補間差分データを差分データ符号化部２５３に供給する。
差分データ符号化部２５３は、図１３および図１４を参照して後述するように、補間差分データを符号化する。差分データ符号化部２５３は、符号化した補間差分データ（符号化補間差分データ）に、補間フレームデータの差分データであることを示す情報を付加して、符号化補間差分データを出力部２０７に供給する。
図１０は、図２の再生装置１１１の復号部１２１、および、記録装置１１３の復号部１３４の機能の構成例を示すブロック図である。復号部１２１および復号部１３４は、同様の機能の構成を有しており、入力部３０１、フレーム割当検出部３０２、第１基準フレーム復号部３０３、第２基準フレーム復号部３０４、補間フレーム復号部３０５、および出力部３０６を含むように構成される。
入力部３０１は、外部から入力される画像データ（例えば、画像データVcd1）をフレーム割当検出部３０２に供給する。
フレーム割当検出部３０２は、画像データを符号化第１基準フレームデータ、符号化補間フレームデータ、および、符号化第２基準フレームデータに分離する。フレーム割当検出部３０２は、さらに、符号化補間フレームデータを符号化補間差分データと補間動きベクトルデータに分離し、符号化第２基準フレームデータを符号化第２基準差分データと第２基準動きベクトルデータに分離する。フレーム割当検出部３０２は、符号化第１基準フレームデータを第１基準フレーム復号部３０３に供給し、符号化第２基準差分データおよび第２基準動きベクトルデータを第２基準フレーム復号部３０４に供給し、符号化補間差分データおよび補間動きベクトルデータを補間フレーム復号部３０５に供給する。
第１基準フレーム復号部３０３は、符号化部１３２の第１基準フレーム復号部２０４と同様に、符号化第１基準フレームデータを復号する。第１基準フレーム復号部３０３は、復号した第１基準フレームデータ（復号第１基準フレームデータ）を、第２基準フレーム復号部３０４、補間フレーム復号部３０５、および、出力部３０６に供給する。
第２基準フレーム復号部３０４は、図２６を参照して後述するように、復号第１基準フレームデータ、符号化第２基準差分データおよび第２基準動きベクトルデータを用いて、第２基準フレームデータを復号する。第２基準フレーム復号部３０４は、復号した第２基準フレームデータ（以下、復号第２基準フレームデータとも称する）を、出力部３０６に供給する。
補間フレーム復号部３０５は、図２６を参照して後述するように、復号第１基準フレームデータ、符号化補間差分データおよび補間動きベクトルデータを用いて、補間フレームデータを復号する。補間フレーム復号部３０５は、復号した補間フレームデータ（以下、復号補間フレームデータとも称する）を、出力部３０６に供給する。
出力部３０６は、復号第１基準フレームデータ、復号補間フレームデータ、および第２基準フレームデータを含む画像データ、すなわち、画像データVdg0またはVdg2を外部に出力する。
図１１は、復号部１２１および復号部１３４の第２基準フレーム復号部３０４の機能の構成例を示す図である。第２基準フレーム復号部３０４は、動きベクトル検出部３１１、差分データ復号部３１２、および加算部３１３を含むように構成される。
動きベクトル検出部３１１は、第２基準動きベクトルデータに基づいて、第２基準フレームデータの各ブロックに対応する動きベクトルを検出し、各ブロックの動きベクトルを示すデータを加算部３１３に供給する。
差分データ復号部３１２は、符号化第２基準差分データを所定の大きさのブロックに分割し、符号化第２基準差分データに対して、ブロックごとに逆量子化および逆DCT（以下、まとめて逆DCT処理とも称する）を行うことにより、第２基準差分データを復号する。差分データ復号部３１２は、復号した第２基準差分データ（以下、復号第２基準差分データとも称する）の各画素の画素値を、ブロック単位で加算部３１３に供給する。
加算部３１３は、図２６を参照して後述するように、復号第１基準フレームデータの各画素の画素値と復号第２基準差分データの各画素の画素値を加算することにより、第２基準フレームデータを復号する。加算部３１３は、復号した第２基準フレームデータ（以下、復号第２基準フレームデータとも称する）を出力部３０６に供給する。
図１２は、復号部１２１および復号部１３４の補間フレーム復号部３０５の機能の構成例を示す図である。補間フレーム復号部３０５は、動きベクトル検出部３２１、差分データ復号部３２２、および加算部３２３を含むように構成される。
動きベクトル検出部３２１は、補間動きベクトルデータに基づいて、補間フレームデータの各画素に対応する動きベクトルを検出し、各画素の動きベクトルを示すデータを加算部３２３に供給する。
差分データ復号部３２２は、符号化補間差分データを所定の大きさのブロックに分割し、符号化補間差分データに対して、ブロックごとに逆DCT処理を行うことにより、補間差分データを復号する。差分データ復号部３２２は、復号した補間差分データ（以下、復号補間差分データとも称する）の各画素の画素値を加算部３２３に供給する。
加算部３２３は、図２１を参照して後述するように、復号第１基準フレームデータの各画素の画素値と復号補間差分データの各画素の画素値を加算することにより、補間フレームデータを復号する。加算部３２３は、復号した補間フレームデータ（以下、復号補間フレームデータとも称する）を出力部３０６に供給する。
次に、図１３乃至図２６を参照して、画像処理システム１０１の処理について説明する。
まず、図１３および図１４のフローチャートを参照して、画像処理システム１０１の符号化部１３２により実行される符号化処理を説明する。なお、この処理は、例えば、A/D変換部１３１からの画像データVdg1の入力が開始されたとき開始される。
ステップＳ１において、フレーム割当部２０２は、A/D変換部１３１から入力された画像データVdg1を、入力部２０１を介して取得する。フレーム割当部２０２は、画像データVdg1を、所定のフレーム数ごとに一括りにした処理フレーム範囲に分割する。
ステップＳ２において、フレーム割当部２０２は、画像データVdg1を分離する。具体的には、フレーム割当部２０２は、まだ符号化されてない処理フレーム範囲のうち、時間軸上で先頭にある処理フレーム範囲を選択する。フレーム割当部２０２は、選択した処理フレーム範囲のうち、時間軸方向で先頭のフレームデータを、第１基準フレームデータに設定するとともに、第１基準フレーム処理部２０３に供給し、時間軸方向で最後尾のフレームデータを、第２基準フレームデータに設定するとともに、第２基準フレーム処理部２０５のブロック分割部２１１に供給し、第１基準フレームデータと第２基準フレームデータの間にあるフレームデータを、補間フレームデータに設定するとともに、補間フレーム処理部２０６の動きベクトル決定部２５１および差分データ生成部２５２に供給する。
ステップＳ３において、第１基準フレーム処理部２０３は、ADRC方式に基づいて、第１基準フレームデータを符号化する。第１基準フレーム処理部２０３は、第１基準フレームデータを符号化することにより得られた各画素の量子化コード、並びに、各ブロックの画素値の最小値およびダイナミックレンジを含む符号化第１基準フレームデータに、第１基準フレームデータを符号化したことを示す情報を付加して、符号化第１基準フレームデータを、第１基準フレーム復号部２０４および出力部２０７に供給する。
ステップＳ４において、第１基準フレーム復号部２０４は、ADRC方式に基づいて、第１基準フレームデータ（符号化第１基準フレームデータ）を復号する。第１基準フレーム復号部２０４は、復号した第１基準フレームデータ（復号第１基準フレームデータ）を、第２基準フレーム処理部２０５のブロック分割部２１１、並びに、補間フレーム処理部２０６の動きベクトル決定部２５１および差分データ生成部２５２に供給する。
ステップＳ５において、ブロック分割部２１１は、第１基準フレームデータ（復号第１基準フレームデータ）と第２基準フレームデータを、所定の大きさのブロックに分割する。ブロック分割部２１１は、復号第１基準フレームデータおよび第２基準フレームデータを、ブロックごとに動きベクトル決定部２１２の差分データ生成部２３１に供給する。
ステップＳ６において、動きベクトル決定部２１２は、第２基準フレーム動きベクトル推定処理を実行する。第２基準フレーム動きベクトル推定処理の詳細については図１８を参照して後述するが、この処理により、第２基準フレームデータの各ブロックに対応する動きベクトルが推定され、推定された動きベクトルを示す第２基準動きベクトルデータが、補間フレーム処理部２０６の動きベクトル決定部２５１、出力部２０７、および差分データ生成部２１３に供給される。
ステップＳ７において、差分データ生成部２１３は、第２基準フレームデータの差分データを生成する。ここで、図１５および図１６を参照して、第２基準フレームデータの差分データの生成方法について説明する。
なお、以下、図１５に示されるように、差分データを生成する第２基準フレームデータ４０４が含まれる処理フレーム範囲には、他に第１基準フレームデータ４０１、および、補間フレームデータ４０２，４０３が含まれ、第１基準フレームデータ４０１を１回符号化および復号したデータを、復号第１基準フレームデータ４０５とする。
図１６の復号第１基準フレームデータ４０５のブロック４１２は、第２基準フレームデータ４０４のブロック４２１とフレーム（画面）上で同じ位置にあるブロック４１１を、矢印４１３で示されるブロック４２１に対応する動きベクトルの方向および距離だけ移動させたブロックである。すなわち、ブロック４１２は、ブロック４２１の推定移動前ブロックである。差分データ生成部２１３は、ブロック４２１内の各画素の画素値と、ブロック４１２内の各画素の画素値の差分をとり、他のブロックについても同様に、そのブロック内の画素の画素値と、そのブロックに対応する復号第１基準フレームデータの推定移動前ブロック内の画素の画素値との差分をとることにより、第２基準差分データを生成する。
差分データ生成部２１３は、生成した第２基準差分データを差分データ符号化部２１４に供給する。
ステップＳ８において、差分データ符号化部２１４は、第２基準フレームデータの差分データを符号化する。具体的には、差分データ符号化部２１４は、第２基準差分データの各画素の画素値に対して、ブロックごとにDCTを行い、さらに量子化を行うことにより、第２基準差分データを符号化する。このとき、差分データ符号化部２１４は、第２基準差分データの各ブロックの画素値の高周波（空間周波数が高い）成分を除去するように量子化を行う。差分データ符号化部２１４は、符号化した第２基準差分データ（符号化第２基準差分データ）に、第２基準フレームデータの差分データであることを示す情報を付加して、符号化第２基準差分データを出力部２０７に供給する。
ステップＳ９において、動きベクトル決定部２５１は、補間フレーム動きベクトル推定処理を実行する。補間フレーム動きベクトル推定処理の詳細については図２３を参照して後述するが、この処理により、補間フレームデータの各画素に対応する動きベクトルが推定され、推定された動きベクトルを示す補間動きベクトルデータを出力部２０７、および差分データ生成部２５２に供給される。
ステップＳ１０において、差分データ生成部２５２は、補間フレームデータの差分データを生成する。ここで、図１７を参照して、補間フレームデータの差分データの生成方法について説明する。
図１７の復号第１基準フレームデータ４０５の画素４３１は、補間フレームデータ４０２の画素４４１から、矢印４４３で示される画素４４１に対応する動きベクトルの方向および距離だけ移動した画素４４２とフレーム（画面）上で同じ位置にある画素である。すなわち、画素４３１は、画素４４１の推定移動前画素である。差分データ生成部２５２は、画素４４１の画素値と画素４３１の画素値の差分をとり、他の画素についても同様に、その画素の画素値と、その画素に対応する復号第１基準フレームデータの推定移動前画素の画素値との差分をとることにより、補間差分データ４５１を生成する。
差分データ生成部２５２は、生成した補間差分データを差分データ符号化部２５３に供給する。
ステップＳ１１において、差分データ符号化部２５３は、補間フレームデータの差分データを符号化する。具体的には、差分データ符号化部２５３は、補間差分データを所定の大きさのブロックに分割する。差分データ符号化部２５３は、補間差分データの各画素の画素値に対して、ブロックごとにDCTを行い、さらに量子化を行うことにより、補間差分データを符号化する。このとき、差分データ符号化部２５３は、補間差分データの各ブロックの画素値の高周波（空間周波数が高い）成分を除去するように量子化を行う。差分データ符号化部２５３は、符号化した補間差分データ（符号化補間差分データ）に、補間フレームデータの差分データであることを示す情報を付加して、符号化補間差分データを出力部２０７に供給する。
ステップＳ１２において、出力部２０７は、符号化したデータを出力する。具体的には、出力部２０７は、符号化補間差分データ、符号化補間差分データに対応する動きベクトル、および符号化補間差分データと動きベクトルを関連づける情報を含む符号化補間フレームデータを生成する。また、出力部２０７は、符号化第２基準差分データ、符号化第２基準差分データに対応する動きベクトル、および符号化第２基準差分データと動きベクトルを関連づける情報を含む符号化第２基準フレームデータを生成する。さらに、出力部２０７は、符号化第１基準フレームデータ、符号化補間フレームデータ、並びに、符号化第２基準フレームデータに、同じ処理フレーム範囲内の符号化第１基準フレームデータ、符号化補間フレームデータ、および、符号化第２基準フレームデータを相互に関連づける情報を含む画像データ、すなわち、画像データVcdを、記録部１３３および復号部１３４に出力する。
ステップＳ１３において、フレーム割当部２０２は、ステップＳ１において取得した画像データVdg1の全てのフレームデータの符号化が終了したか否かを判定する。全てのフレームデータの符号化が終了していないと判定された場合、処理はステップＳ２に戻り、ステップＳ１３において、全てのフレームデータの符号化が終了したと判定されるまで、ステップＳ２以降の処理が繰り返し実行され、残りのフレームデータが符号化される。
ステップＳ１３において、全てのフレームデータの符号化が終了したと判定された場合、処理はステップＳ１４に進む。
ステップＳ１４において、入力部２０１は、新たな画像データが入力されたか否かを判定する。新たな画像データが入力されたと判定された場合、すなわち、A/D変換部１３１から新たに画像データVdg1が入力部２０１に入力された場合、処理はステップＳ１に戻り、ステップＳ１以降の処理が実行される。
ステップＳ１４において、新たな画像データが入力されていないと判定された場合、符号化処理は終了する。
次に、図１８のフローチャートを参照して、図１３のステップＳ６の第２基準フレーム動きベクトル推定処理の詳細を説明する。
ステップＳ３１において、差分データ生成部２３１は、上述した図１３のステップＳ５において取得した第２基準フレームデータのブロックのうち、動きベクトルを推定するブロックを選択する。
ステップＳ３２において、差分データ生成部２３１は、第１基準フレームデータと第２基準フレームデータの差分をとる。具体的には、差分データ生成部２３１は、ステップＳ３１において選択した第２基準フレームデータのブロック内の画素の画素値と、同じ位置にある復号第１基準フレームデータのブロック内の画素の画素値との差分をとる。差分データ生成部２３１は、差分をとることにより生成したブロック差分データを水平方向データ抽出部２３２および垂直方向データ抽出部２３６に供給する。
ステップＳ３３において、水平方向データ抽出部２３２は、ブロック差分データの水平方向の各ラインのデータを抽出する。具体的には、水平方向データ抽出部２３２は、ブロック差分データの各画素の画素値（差分値）を、水平方向のライン単位に抽出し、水平方向のライン単位で平均値導出部２３３および候補データ抽出部２３４に供給する。
ステップＳ３４において、平均値導出部２３３は、ブロック差分データの水平方向の各ラインの平均値を算出する。具体的には、平均値導出部２３３は、処理対象になっているブロックの水平方向の各ラインごとに、ブロック差分データの各画素の画素値の平均値を算出する。平均値導出部２３３は、算出した平均値を示すデータを候補データ抽出部２３４に供給する。
ステップＳ３５において、候補データ抽出部２３４は、処理対象となっているブロックの動きベクトルの水平方向の成分の候補を求める。ここで、図１９乃至図２２を参照して、第２基準フレームデータの各ブロックの動きベクトルの水平方向の成分の候補を求める方法について説明する。
図１９は、同じ処理フレームに属する第１基準フレームデータ４６１と第２基準フレームデータ４６２の例を示している。なお、第１基準フレームデータ４６１および第２基準フレームデータ４６２内の複数の正方形の領域は、各フレームデータのブロックを示している。また、第１基準フレームデータ４６１および第２基準フレームデータ４６２の左上隅のブロックに示される複数の円は画素を示しており、図をわかりやすくするために、画素の一部のみを示している。
第１基準フレームデータ４６１と第２基準フレームデータ４６２には、それぞれ同じ物体４７１の画像が記録されている。第２基準フレームデータ４６２では、第１基準フレームデータ４６１と比べて、物体４７１の位置が右斜め下方向にわずかに移動している。
図２０は、第１基準フレームデータ４６１のブロックの１つであるブロック４７２、および、ブロック４７２と同じ位置にある第２基準フレームデータ４６２のブロック４７３を拡大して示している。なお、ブロック４７２およびブロック４７３内の複数の円は画素を示している。
ブロック４７２および４７３内には、物体４７１の画像の一部が記録されており、ブロック４７３では、ブロック４７２と比べて、物体４７１の位置が右斜め下方向にわずかに移動している。なお、物体４７１の位置を分かりやすくするために、ブロック４７２およびブロック４７３において、物体４７１は画素の位置を考慮せずに示されている。
ブロック４７３の動きベクトルは、物体４７１の移動距離と方向、換言すれば、ブロック４７２における物体４７１の位置とブロック４７３における物体４７１の位置の差に基づいて求められる。なお、以下、第２基準フレームデータの各ブロックの動きベクトルの方向は、第２基準フレームデータの被写体（例えば、物体４７１）の位置を基準にして、同じ被写体の第１基準フレームデータの位置に向かう方向とされるものとする。なお、第２基準フレームデータの各ブロックの動きベクトルの方向を、上述した方向とは逆方向に定義するようにしてもよい。
ブロック４７２内の画素の画素値とブロック４７３内の画素の画素値の差分をとることにより生成されるデータがブロック差分データ４７４である。ブロック差分データ４７４には、影をつけた部分４８１に示されるように、ブロック４７２とブロック４７３の物体４７１の位置の違いによる残差成分が現れる。なお、ブロック差分データ４７４内の複数の円は画素を示している。また、部分４８１の位置を分かりやすくするために、ブロック差分データ４７４において、部分４８１は、画素の位置を考慮せずに示されている。
物体４７１の画素値がほぼ一様であるとした場合、ブロック差分データ４７４の画素値の分布は、図２１のグラフ４９１および４９２に示されるとおりとなる。グラフ４９１は、横軸が画素の位置を示し、縦軸が画素値を示し、ブロック差分データ４７４の水平方向の各ラインの画素値の分布を示し、グラフ４９２は、縦軸が画素の位置を示し、横軸が画素値を示し、ブロック差分データ４７４の垂直方向の各ラインの画素値の分布を示している。グラフ４９１および４９２に示されるように、ブロック差分データ４７４では、部分４８１の位置において、画素値が正の値となり、部分４８１以外の位置において、画素値はほぼ０となる。従って、ブロック差分データ４７４において、各ラインごとに画素値が正となる画素が連続する個数は、物体４７１の動きベクトルの水平方向の成分または垂直方向の成分の大きさをほぼ正確に表す。
図２１に示される例において、候補データ抽出部２３４は、水平方向の各ラインごとに、画素値が正となる画素が連続する個数を検出し、その個数の大きさをブロック４７３の動きベクトルの水平方向の成分の大きさの候補とする。また、候補データ抽出部２３４は、動きベクトルの水平方向の成分の方向（左または右方向）を、ブロック４７２内の画素値とブロック４７３内の画素値を比較することにより推定する。これにより、８個の（８ライン分の）ブロック４７３の動きベクトルの水平方向の成分が求められる。
なお、ブロック内の画素の画素値は様々に変化し、ブロック差分データの画素値は正負両方の値をとるので、より詳細には、候補データ抽出部２３４は、各ブロックの動きベクトルの水平方向の成分を以下の方法で求める。
まず、候補データ抽出部２３４は、ブロック差分データの水平方向のラインごとに、絶対値が最大となる画素値の符号を検出する。
次に、絶対値が最大の画素値の符号が正（プラス）の場合、候補データ抽出部２３４は、ブロック差分データの水平方向のラインごとに、平均値を上回る画素値を持つ画素が連続する数を検出し、その数を動きベクトルの水平方向の成分の大きさの候補とする。もし、画素値が平均値を上回る画素が連続する部分が２カ所以上ある場合、連続する画素の数の最大値を動きベクトルの水平方向の成分の大きさの候補とする。
次に、絶対値が最大の画素値の符号が負（マイナス）の場合、候補データ抽出部２３４は、ブロック差分データの水平方向のラインごとに、平均値を下回る画素値を持つ画素が連続する数を検出し、その数を動きベクトルの水平方向の成分の大きさの候補とする。もし、画素値が平均値を下回る画素が連続する部分が２カ所以上ある場合、連続する画素の数の最大値を動きベクトルの水平方向の成分の大きさの候補とする。
例えば、図２２に示される水平方向のラインの画素値が、左から０，０，０，７，１０，７，０，０となる場合、絶対値が最大の画素値の符号が正なので、画素値の平均値３を連続して上回る画素の数である３が、このラインの動きベクトルの水平成分の大きさとされる。
また、画素値が左から０，０，０，−１０，−１５，−７，０，０のラインの場合、絶対値が最大の画素値の符号が負なので、画素値の平均値−４を連続して下回る画素の数である３が、このラインの動きベクトルの水平成分の大きさとされる。
候補データ抽出部２３４は、求めた動きベクトルの水平方向の成分の候補を示すデータを判定部２３５に供給する。
ステップＳ３６において、判定部２３５は、処理対象となっているブロックの動きベクトルの水平方向の成分を決定する。具体的には、判定部２３５は、動きベクトルの水平方向の成分の候補のうち、その大きさが最も大きな候補を、処理対象となっているブロックの動きベクトルの水平方向の成分に決定する。判定部２３５は、決定した動きベクトルの水平方向の成分を示すデータを出力部２４０に供給する。
ステップＳ３７において、垂直方向データ抽出部２３６は、上述したステップＳ３３の水平方向データ抽出部２３２による処理と同様の処理により、ブロック差分データの垂直方向の各ラインのデータを抽出する。
ステップＳ３８において、平均値導出部２３７は、上述したステップＳ３４の平均値導出部２３３による処理と同様の処理により、ブロック差分データの垂直方向の各ラインの平均値を算出する。
ステップＳ３９において、候補データ抽出部２３８は、上述したステップＳ３５の候補データ抽出部２３４による処理と同様の処理により、動きベクトルの垂直方向の成分の候補を求める。
ステップＳ４０において、判定部２３９は、上述したステップＳ３６の判定部２３５による処理と同様の処理により、動きベクトルの垂直方向の成分を決定する。
ステップＳ４１において、ブロック差分データ生成部２３１は、全てのブロックの動きベクトルを推定したか否かを判定する。まだ全てのブロックの動きベクトルが推定されていないと判定された場合、処理はステップＳ３１に戻り、ステップＳ４１において、全てのブロックの動きベクトルが推定されたと判定されるまで、ステップＳ３１以降の処理が繰り返され、全てのブロックの動きベクトルが推定される。
ステップＳ４１において、全てブロックの動きベクトルが推定されたと判定された場合、処理はステップＳ４２に進む。
ステップＳ４２において、出力部２４０は、推定された動きベクトルを示す第２基準動きベクトルデータを、補間フレーム処理部２０６の動きベクトル決定部２５１、出力部２０７、および差分データ生成部２１３に供給し、第２基準フレーム動きベクトル推定処理は終了する。
次に、図２３のフローチャートを参照して、図１３のステップＳ９の補間フレーム動きベクトル推定処理の詳細を説明する。
ステップＳ６１において、動きベクトル決定部２５１は、第２基準フレームデータの各ブロック内の被写体の画像の補間フレームデータにおける位置を推定する。ここで、図２４および図２５を参照して、第２基準フレームデータの各ブロック内の被写体の画像の補間フレームデータにおける位置の推定方法について説明する。
図２４Ａは、１つの処理フレーム範囲に含まれる第１基準フレームデータ５０１、補間フレームデータ５０２，５０３、および第２基準フレームデータ５０４を時系列に並べて、模式的に表した図である。なお、各フレームデータ内の複数の円は、各フレームデータの画素を表している。
以下、第２基準フレームデータ５０４のブロック５１４内の被写体の画像が、第１基準フレームデータ５０１のブロック５１１から移動したと推定されている場合について考える。なお、説明を簡単にするために、図２４および図２５では、各ブロックの１辺の長さを３画素としている。
動きベクトル決定部２５１は、第１基準フレームデータ５０１のブロック５１１内の被写体の画像が、ブロック５１４の動きベクトルの向きと逆方向に等速度で第２基準フレームデータのブロック５１４まで移動したと仮定して、ブロック５１４内の被写体の画像が記録されている補間フレームデータ５０２および補間フレームデータ５０３の位置であるブロック５１２およびブロック５１３の位置を推定する。なお、以下、例えば、ブロック５１２または５１３のように、位置が推定された補間フレームデータのブロックを推定ブロックとも称する。
図２４Ｂは、図２４Ａを上から見た図である。図２４Ｂ内の各円は、各フレームデータの画素の横方向（ｘ軸方向）の並びを示しており、１行目が第２基準フレームデータ５０４のブロック５１４の２行目と同じ行にある画素の並び、４行目が第１基準フレームデータ５０１のブロック５１１の２行目と同じ行にある画素の並びを示している。ベクトル５２２−１は、ブロック５１４の２行目の左端にある画素５２１−７からブロック５１１の２行目の左端にある画素５２１−１への動きベクトルであり、ベクトル５２２−２は、ブロック５１４の２行目の右端にある画素５２１−８からブロック５１１の２行目の右端にある画素５２１−２への動きベクトルである。
図２４Ｂの２行目は、ベクトル５２２−１および５２２−２が補間フレームデータ５０３を通過する位置から最も近い行の画素の並びを示しており、３行目は、ベクトル５２２−１および５２２−２が補間フレームデータ５０２を通過する位置から最も近い行の画素の並びを示している。画素５２１−３および５２１−４は、水平方向においてベクトル５２２−１と５２２−２の間にある補間フレームデータ５０３の画素であり、画素５２１−５および５２１−６は、水平方向においてベクトル５２２−１と５２２−２の間にある補間フレームデータ５０２の画素である。
なお、図２４Ａの各フレームデータの画素は模式的に表したものであり、図２４Ｂの画素の数と一致しない。
図２５を参照して、ブロック５１２および５１３の範囲の求め方について説明する。
図２５は、図２４Ｂに示される図に、水平方向のｘ軸、垂直方向のｔ軸（時間軸）を追加した図である。すなわち、ｘ軸は各フレームデータの水平方向の画素の位置を示しており、ｔ軸は第１基準フレームデータを基準とする各フレームデータまでの経過時間を示している。なお、フレームデータの垂直方向の画素の位置を示すｙ軸は、ｔ軸およびｘ軸に対して垂直な方向であり、図示は省略している。また、直線５３１−１は、画素５２１−１と画素５２１−７を結ぶ直線であり、直線５３１−２は、画素５２１−２と画素５２１−８を結ぶ直線である。
以下、画素５２１−７の座標を（xs1，ys1，ts1）、画素５２１−１の座標を（xs2，ys2，ts2）、画素５２１−８の座標を（xe1，ye1，te2）、画素５２１−２の座標を（xe2，ye2，te2）とし、直線５３１−１のｘ成分の式を式（１）とし、直線５３１−２のｘ成分の式を式（２）とする。
t＝ax1・ｘ＋bx1 ・・・（１）
t＝a x2・ｘ＋b x2 ・・・（２）
式（１）に、画素５２１−１および５２１−７の座標を代入することにより、式（１）のax1およびbx1は、式（３）および式（４）のように求まる。
Figure 2006238374
Figure 2006238374
式（２）に、画素５２１−２および５２１−８の座標を代入することにより、式（２）のax2およびbx2は、式（５）および式（６）のように求まる。
Figure 2006238374
Figure 2006238374
補間フレームデータ５０２（または、５０３）の第１基準フレームデータからの経過時間をt＝αとすると、t＝αのときの２直線のｘ成分の間にあるｘ軸方向の座標の範囲である、ブロック５１２（または、５１３）のｘ軸方向の範囲は、式（７）で表される。
Figure 2006238374
なお、式（７）に示されるブロック５１２（または、５１３）のｘ軸方向の範囲は、直線５３１−１および５３１−２の代わりに、ブロック５１１内の左辺の画素のうち任意の画素と、ブロック５１４内で同じ位置にある画素を結ぶ直線、および、ブロック５１１内の右辺の画素のうち任意の画素と、ブロック５１４内で同じ位置にある画素を結ぶ直線を用いても求めることができる。
同様に、ブロック５１１内の上辺の画素のうち任意の画素と、ブロック５１４内で同じ位置にある画素を結ぶ直線、および、ブロック５１１内の下辺の画素のうち任意の画素と、ブロック５１４内で同じ位置にある画素を結ぶ直線を用いて、補間フレームデータ５０２（または、５０３）における、２直線のｙ成分の間にあるｙ軸方向の座標の範囲を求めることにより、ブロック５１２（または、５１３）のｙ軸方向の範囲が求まる。
以上のようにして、第２基準フレームデータの各ブロック内の被写体の画像の補間フレームデータにおける位置である推定ブロックのｘ軸方向およびｙ軸方向の範囲を求めることができ、推定ブロック内に含まれる画素を特定することができる。
ステップＳ６２において、動きベクトル決定部２５１は、補助フレームデータの各画素の動きベクトルを決定し、補間フレーム動きベクトル推定処理は終了する。具体的には、動きベクトル決定部２５１は、補間フレームデータの各画素が、ステップＳ６１において推定したどの推定ブロックに属するかを検出する。動きベクトル決定部２５１は、補間フレームデータの各画素に、その画素が属する推定ブロックに対応する第２基準フレームデータのブロックの動きベクトルと同じ方向のベクトルであって、第１基準フレームデータから第２基準フレームデータまでの時間に対する第１基準フレームデータからその補間フレームデータまでの時間の比率を動きベクトルの大きさに乗じた大きさのベクトルを割り当てる。
例えば、ブロック５１２内の画素５２１−３および５２１−４の動きベクトルは、図２４Ｂのベクトル５２３−１および５２３−２に模式的に示されるように、ブロック５１４の動きベクトルと同じ方向で、かつ、大きさが１／３のベクトルが割り当てられ、ブロック５１３内の画素５２１−５および５２１−６の動きベクトルは、ベクトル５２３−３および５２３−４に示されるように、ブロック５１４の動きベクトルと同じ方向で、かつ、大きさが２／３のベクトルを割り当てる。なお、図２４Ｂのベクトル５２３−１乃至５２３−４は、実際に画素５２１−３乃至５２１−６に割り当てられる動きベクトルに、時間軸方向の距離を加味したベクトルを示している。
なお、１つの画素が複数の推定ブロックに属し、その画素の動きベクトルの候補が複数ある場合、複数の動きベクトルのうち最も大きな（最も移動距離の長い）ベクトルがその画素に割り当てられる。また、どの推定ブロックにも属さず、動きベクトルの候補が存在しない画素の場合、動きベクトルの大きさが０のベクトル、すなわち、第１基準フレームデータの同じ位置の画素へのベクトルがその画素に割り当てられる。また、各画素について、その画素から動きベクトルだけ移動した位置に画素が存在しない場合、その位置から最も近い画素へ向かうように動きベクトルの方向を補正する。
動きベクトル決定部２５１は、推定した動きベクトルを示す補間動きベクトルデータを出力部２０７、および差分データ生成部２５２に供給する。
次に、図２６のフローチャートを参照して、図２の再生装置１１１の復号部１２１または記録装置１１３の復号部１３４により実行される復号処理を説明する。なお、この処理は、例えば、図示せぬ磁気ディスク、光ディスク、光磁気ディスク、あるいは半導体メモリなどよりなる記録媒体から読み出された、符号化されているデジタルの画像データの復号部１２１への入力が開始されたとき、または、符号化部１３２からの画像データVcd1の入力が開始されたとき開始される。
ステップＳ１０１において、フレーム割当検出部３０２は、外部から入力された画像データ（例えば、画像データVcd1）を、入力部３０１を介して取得する。
ステップＳ１０２において、フレーム割当検出部３０２は、画像データを分離する。具体的には、フレーム割当検出部３０２は、ステップＳ１０１において取得した画像データを符号化第１基準フレームデータ、符号化補間フレームデータ、および、符号化第２基準フレームデータに分離する。データ分離部３０２は、さらに、符号化補間フレームデータを符号化補間差分データと補間動きベクトルデータに分離し、符号化第２基準フレームデータを符号化第２基準差分データと第２基準動きベクトルデータに分離する。フレーム割当検出部３０２は、符号化第１基準フレームデータを第１基準フレーム復号部３０３に供給し、符号化第２基準差分データを第２基準フレーム復号部３０４の差分データ復号部３１２に供給し、第２基準動きベクトルデータを第２基準フレーム復号部３０４の動きベクトル検出部３１１に供給し、符号化補間差分データを補間フレーム復号部３０５の差分データ復号部３２２に供給し、補間動きベクトルデータを補間フレーム復号部３０５の動きベクトル検出部３２１に供給する。
ステップＳ１０３において、第１基準フレーム復号部３０３は、上述した図１３のステップＳ４における符号化部１３２の第１基準フレーム復号部２０４による処理と同様に、第１基準フレームデータを復号する。第１基準フレーム復号部３０３は、復号した第１基準フレームデータ（復号第１基準フレームデータ）を、第２基準フレーム復号部３０４の加算部３１３、補間フレーム復号部３０５の加算部３２３、および、出力部３０６に供給する。
ステップＳ１０４において、動きベクトル検出部３１１は、第２基準フレームデータの各ブロックの動きベクトルを検出する。具体的には、動きベクトル検出部３１１は、第２基準動きベクトルデータに基づいて、第２基準フレームデータの各ブロックに対応する動きベクトルを検出し、各ブロックの動きベクトルを示すデータを加算部３１３に供給する。
ステップＳ１０５において、差分データ復号部３１２は、第２基準フレームデータの差分データを復号する。具体的には、差分データ復号部３１２は、符号化第２基準差分データを所定の大きさのブロックに分割し、符号化第２基準差分データに対して、ブロックごとに逆量子化および逆ＤＣＴを行うことにより、第２基準差分データを復号する。差分データ復号部３１２は、復号した第２基準差分データ（復号第２基準差分データ）を、ブロック単位で加算部３１３に供給する。
ステップＳ１０６において、加算部３１３は、第２基準フレームデータを復号する。具体的には、加算部３１３は、復号第２基準差分データの各ブロックについて、ブロック内の各画素の画素値と、そのブロックの動きベクトルの方向および距離だけそのブロックから移動した復号第１基準フレームデータ４０５のブロック、すなわち、推定移動前ブロック内の各画素の画素値とを加算することにより、第２基準フレームデータを復号する。例えば、上述した図１６の例において、第２基準フレームデータ４０４のブロック４２１に対応する差分データの各画素の画素値と、復号第１基準フレームデータ４０５のブロック４１２内の各画素の画素値とを加算する。加算部３１３は、復号した第２基準フレームデータ（復号第２基準フレームデータ）を出力部３０６に供給する。
ステップＳ１０７において、動きベクトル検出部３２１は、補間フレームデータの各画素の動きベクトルを検出する。具体的には、動きベクトル検出部３２１は、補間動きベクトルデータに基づいて、補間フレームデータの各画素に対応する動きベクトルを検出し、各画素の動きベクトルを示すデータを加算部３２３に供給する。
ステップＳ１０８において、差分データ復号部３２２は、補間フレームデータの差分データを復号する。具体的には、差分データ復号部３２２は、符号化補間差分データをブロックに分割し、符号化補間差分データに対して、ブロックごとに逆量子化および逆ＤＣＴを行うことにより、補間差分データを復号する。差分データ復号部３２２は、復号した補間差分データ（復号補間差分データ）を加算部３２３に供給する。
ステップＳ１０９において、加算部３２３は、補間フレームデータを復号する。具体的には、加算部３２３は、復号補間差分データの各画素について、その画素の画素値と、その画素の動きベクトルの方向および距離だけその画素から移動した復号第１基準フレームデータ４０５の画素、すなわち、推定移動前画素の画素値とを加算することにより、補間フレームデータを復号する。例えば、上述した図１７の例において、補間フレームデータ４０２の画素４４１に対応する差分データの画素値と、復号第１基準フレームデータ４０５の画素４３１の画素値とを加算する。加算部３２３は、復号した補間フレームデータ、すなわち、復号補間フレームデータを出力部３０６に供給する。
なお、ステップＳ１０７乃至Ｓ１０９の処理は、１つの処理フレーム範囲に含まれる全ての補間フレームデータについて行われる。
ステップＳ１１０において、出力部３０６は、復号したデータを出力する。具体的には、出力部３０６は、復号第１基準フレームデータ、復号補間フレームデータ、および第２基準フレームデータを元の順番に配列した画像データ（画像データVdg0またはVdg2）を外部に出力する。
例えば、復号部１２１の出力部３０６から画像データVdg0が出力される場合、出力された画像データVdg0は、D/A変換部１２２およびA/D変換部１３１を介して、符号化部１３２に供給される。この復号部１２１から符号化部１３２に画像データVdg0が供給されるとき、画像データVdg0がD/A変換およびA/D変換される過程において、図３および図４を参照して上述したように、高周波成分の歪みや位相ずれなどのアナログノイズが画像データに付加される。
ステップＳ１１１において、フレーム割当検出部３０２は、ステップＳ１０１において取得した画像データの全てのフレームデータの復号が終了したか否かを判定する。全てのフレームデータの復号が終了していないと判定された場合、処理はステップＳ１０２に戻り、ステップＳ１１１において、全てのフレームデータの復号が終了したと判定されるまで、ステップＳ１０２以降の処理が繰り返し実行され、残りのフレームデータが復号される。
ステップＳ１１１において、全てのフレームデータの復号が終了したと判定された場合、処理はステップＳ１１２に進む。
ステップＳ１１２において、入力部３０１は、外部から新たな画像データが入力されたか否かを判定する。新たな画像データが入力されたと判定された場合、処理はステップＳ１０１に戻り、ステップＳ１０１以降の処理が実行される。
ステップＳ１１２において、新たな画像データが入力されていないと判定された場合、復号処理は終了する。
次に、図２７乃至図３０を参照して、画像処理システム１０１を用いて画像データをコピーした場合の画質の変化について説明する。
なお、以下の説明において、図２７に示される画像データ６０１乃至６０４を以下のとおりに定義する。すなわち、例えば、撮像装置などにより撮像した原画像の符号化する前の画像データ（以下、原画像データとも称する）を画像データ６０１とする。また、記録装置１１３と同様の方式により画像データ６０１を符号化した画像データを再生装置１１１により再生するときに、復号部１２１により復号された画像データを画像データ６０２とする。すなわち、画像データ６０２は、画像データ６０１に対して、１回目の符号化および復号を行った後の画像データである。
さらに、画像データ６０２を再生装置１１１のD/A変換部１２２によりD/A変換し、さらに記録装置１１３のA/D変換部１３１によりA/D変換された画像データであって、D/A変換するときに高周波成分の歪みや位相ずれなどが発生した画像データを画像データ６０３とする。すなわち、画像データ６０３は、画像データ６０２にアナログノイズが付加された画像データである。また、画像データ６０３を記録装置１１３により符号化して記録媒体に記録し、記録された画像データ（以下、1回目のコピー画像データと称する）を再生装置１１１により再生するときに、復号部１２１により復号された画像データを画像データ６０４とする。すなわち、画像データ６０４は、画像データ６０１に対して、２回目の符号化および復号を行った後の画像データである。
図２８は、画像データ６０１に含まれる１つの処理フレーム範囲の例を示している。図２８に示される処理フレーム範囲には、第１基準フレームデータ６１１、補間フレームデータ６１２，６１３、および、第２基準フレームデータ６１４が含まれる。また、ブロック６２１乃至６２４は、第１基準フレームデータ６１１、補間フレームデータ６１２，６１３、および、第２基準フレームデータ６１４の各フレームデータの同じ位置にあるブロックである。さらに、図２８に示されるように、ブロック６２１乃至６２４は、物体６３１の画像データが記録されており、ブロック６２１乃至６２４において、物体６３１の画像データは、時間の経過に伴い右斜め下方向に移動している。
図２９は、記録装置１１３と同様の方式により画像データ６０１を符号化するときに、ブロック６２２乃至６２４について、推定される動きベクトル、および、生成される差分データを示している。ブロック６２２に対応する動きベクトルおよび差分データが、動きベクトル６４１−１および差分データ６４２−１であり、ブロック６２３に対応する動きベクトルおよび差分データが、動きベクトル６４１−２および差分データ６４２−２であり、ブロック６２４に対応する動きベクトルおよび差分データが、動きベクトル６４１−３および差分データ６４２−３である。なお、ブロック６２２および６２３では、実際には各画素の動きベクトルが推定されるが、説明を簡単にするために、全ての画素の動きベクトルが、動きベクトル６４１−１または６４１−２で共通であるものとする。
また、ブロック６２２内の各画素の画素値と、ブロック６２２内の各画素に対応する第１基準フレームデータ６１１（より正確には、第１基準フレームデータ６１１を１回符号化および復号したフレームデータ）の推定移動前画素の画素値との差を、差分データ６４２−１内の残差成分６４３−１として示している。同様に、ブロック６２３内の各画素の画素値と、ブロック６２３内の各画素に対応する第１基準フレームデータ６１１（より正確には、第１基準フレームデータ６１１を１回符号化および復号したフレームデータ）の推定移動前画素の画素値との差を、差分データ６４２−２内の残差成分６４３−２として示している。さらに、ブロック６２４内の各画素の画素値と、ブロック６２４に対応する第１基準フレームデータ６１１（より正確には、第１基準フレームデータ６１１を１回符号化および復号したフレームデータ）の推定移動前ブロック内の画素値との差を、差分データ６４２−３内の残差成分６４３−３として示している。
画像データ６０１を符号化する場合、上述したアナログノイズが付加されないため、図２９に示されるように、画像データ６０１に基づいて推定された動きベクトル６４２−１乃至６４２−３には、物体６３１の動きがほぼ正確に反映される。従って、差分データ６４２−１乃至６４２−３における残差成分６４３−１乃至６４３−３は少なくなる。上述したように、差分データを符号化するときの量子化において、差分データの各画素の画素値の高周波成分が除去されるが、差分データ６４２−１乃至６４２−３の情報量（残差成分６４３−１乃至６４３−３）が少ないため、失われる情報も少ない。従って、動きベクトル６４１−１乃至６４１−３および差分データ６４２−１乃至６４２−３などを用いて復号される画像データ６０２は、画像データ６０１からほとんど劣化しない。すなわち、画像データ６０２に基づく画像の画質は、原画像からほとんど劣化しない。
図３０は、記録装置１１３の符号化部１３２により画像データ６０３を符号化するときに、ブロック６２２乃至６２４について、推定される動きベクトル、および、生成される差分データを示している。ブロック６２２に対応する動きベクトルおよび差分データが、動きベクトル６４４−１および差分データ６４５−１であり、ブロック６２３に対応する動きベクトルおよび差分データが、動きベクトル６４４−２および差分データ６４５−２であり、ブロック６２４に対応する動きベクトルおよび差分データが、動きベクトル６４４−３および差分データ６４５−３である。なお、ブロック６２２および６２３では、実際には各画素の動きベクトルが推定されるが、説明を簡単にするために、全ての画素の動きベクトルが、動きベクトル６４４−１または６４４−２で共通であるものとする。
また、ブロック６２２内の各画素の画素値と、ブロック６２２内の各画素に対応する第１基準フレームデータ６１１（より正確には、第１基準フレームデータ６１１を２回符号化および復号したフレームデータ）の推定移動前画素の画素値との差を、差分データ６４５−１内の残差成分６４６−１として示している。同様に、ブロック６２３内の各画素の画素値と、ブロック６２３内の各画素に対応する第１基準フレームデータ６１１（より正確には、第１基準フレームデータ６１１を２回符号化および復号したフレームデータ）の推定移動前画素の画素値との差を、差分データ６４５−２内の残差成分６４６−２として示している。さらに、ブロック６２４内の各画素の画素値と、ブロック６２４に対応する第１基準フレームデータ６１１（より正確には、第１基準フレームデータ６１１を２回符号化および復号したフレームデータ）の推定移動前ブロック内の画素値との差を、差分データ６４５−３内の残差成分６４６−３として示している。
アナログノイズが付加された画像データ６０３を符号化する場合、画像データ６０３の画素値が変化したり、画像データ６０１に対して画素の位置が移動するため、図１８を参照して上述した第２基準フレーム動きベクトル推定処理において求められる動きベクトルの水平方向および垂直方向の成分の候補、および、その中から選択される動きベクトルの水平方向および垂直方向の成分の候補が、１回目の符号化（画像データ６０１の符号化）から変化する場合がある。すなわち、推定される第２基準フレームデータの各ブロックの動きベクトルが、１回目の符号化から変化する場合がある。
例えば、図３０に示されるように、動きベクトル６４４−３の大きさおよび方向が、１回目の符号化により推定された動きベクトル６４１−３から変化する場合がある。第２基準フレームデータの動きベクトルが変化すると、第２基準フレームデータの動きベクトルに基づいて推定される補間フレームデータの動きベクトルも当然変化する。例えば、図３０に示されるように、動きベクトル６４４−１および６４４−２の大きさおよび方向が、１回目の符号化により推定された動きベクトル６４１−１および６４１−２から変化する。
動きベクトル６４４−１乃至６４４−３が動きベクトル６４１−１乃至６４１−３から変化すると、動きベクトル６４４−１乃至６４４−３は物体６３１の動きを正確に反映しなくなるため、差分データ６４５−１乃至６４５−３における残差成分６４６−１乃至６４６−３が増加する。従って、差分データを符号化するときの量子化において、差分データの各画素の画素値の高周波成分が除去されるのに伴い、差分データ６４５−１乃至６４５−３から失われる情報量は、差分データ６４２−１乃至６４２−３に比べて増加する。これにより、動きベクトル６４４−１乃至６４４−３および差分データ６４５−１乃至６４５−３などを用いて復号される画像データ６０４は、画像データ６０３から大きく劣化したものとなり、当然、画像データ６０１から大きく劣化したものとなる。すなわち、画像データ６０４に基づく画像の画質は、原画像から大きく劣化する。
以上をまとめると、原画像データを符号化した画像データを再生装置１１１により再生する場合に、再生装置１１１から出力される画像データVan1に付加されるアナログノイズは、主にD/A変換部１２２の性能に起因するものであり、画像データVan1には一切の加工が加えられない。従って、画像データVan1に基づいて表示されるディスプレイ１１２に表示される画像の画質は、原画像からほとんど劣化しない。より厳密に言えば、ディスプレイ１１２に表示される画像の画質は、再生装置１１１の性能に依存する。
一方、１回目のコピー画像データを再生装置１１１により再生する場合、上述したように、画像データ６０４は、原画像の画像データ６０１から大きく劣化したものとなる。従って、画像データ６０４をD/A変換した画像データVan1に基づいてディスプレイ１１２に表示される画像の画質は、原画像から大きく劣化したものとなる。同様の理由により、２回目以降のコピー画像データを再生装置１１１により再生する場合、コピーの回数が増えるほど、ディスプレイ１１２に表示される画像の画質はさらに劣化する。
また、同様に、原画像データを符号化した画像データを再生装置１１１により再生する場合、記録装置１１３の復号部１３４から出力される画像データVdg2は、原画像データに対して、２回目の符号化および復号を行った画像データである。従って、画像データVdg2をD/A変換した画像データVan2に基づいて、ディスプレイ１３６に表示される画像の画質は、１回目のコピー画像データを再生装置１１１により再生する場合にディスプレイ１１２に表示される画像の画質とほぼ同等であり、原画像から大きく劣化したものとなる。同様の理由により、１回目以降のコピー画像データを再生装置１１１により再生する場合、コピーの回数が増えるほど、ディスプレイ１３６に表示される画像データの画質はさらに劣化する。
このように、アナログ信号（アナログの画像データ）に基づいて表示される画像の画質を落とさずに、アナログ信号を利用した不正コピーを防止することができる。換言すれば、コピー前のアナログの画像データに基づいて表示される画像の画質を落とさずに、画質を維持したまま画像データをコピーすることを不可能にすることができる。
以上のように、第２のフレームの画像データである第１の画像データを所定の大きさの第１のブロックに分割し、第１の画像データの第１のフレームの画像データである第２の画像データに対する第１の動きベクトルを第１のブロックごとに推定し、第１の動きベクトルに基づいて、第２の画像データと第１の画像データとの差分をとることにより、第１の差分データを生成し、第１の差分データを符号化し、第１の動きベクトルに基づいて、第２の画像データと第３のフレームの画像データである第３の画像データとの差分をとることにより、第２の差分データを生成し、第２の差分データを符号化する場合には、画像データを符号化または復号することができる。また、アナログ信号に基づいて表示される画像の画質を落とさずに、アナログ信号を利用した不正コピーを防止することができる。
また、符号化された第１のフレームの画像データである第１の画像データを復号し、第２のフレームの画像データである第２の画像データを所定の大きさに分割した第１のブロックごとに、第２の画像データの第１のブロック内の画素の画素値と、第１のブロックとフレーム上で同じ位置にある第１の画像データの第２のブロック内の画素の画素値との差分をとることにより生成された第１の差分データの水平方向および垂直方向のラインごとに、水平方向および垂直方向のラインにおける画素値の平均値を連続して上回るまたは下回る画素の個数に基づき、水平方向および垂直方向の成分が推定された第１の動きベクトルに基づいて、第１の画像データと第２の画像データとの差分をとることにより生成された第２の差分データであって、符号化された第２の差分データを復号し、復号された第２の差分データの第１のブロックごとに、第１のブロック内の画素の画素値と、第１のブロックに対応する第１の動きベクトルの方向および距離だけ第１のブロックの位置から移動したブロックとフレーム上で同じ位置にある復号された第１の画像データの第３のブロック内の画素の画素値とを加算することにより、第２の画像データを復号し、第１の動きベクトルに基づいて、第３のフレームの画像データである第３の画像データにおける第１のブロック内の被写体が記録されている第４のブロックの位置を推定し、第４のブロック内に同じ被写体が記録されていると推定された第１のブロックの第１の動きベクトルに基づき推定された第４のブロック内の各画素の第１の画像データに対する動きベクトルである第２の動きベクトルに基づいて、第１の画像データと第３の画像データとの差分をとることにより生成された第３の差分データであって、符号化された第３の差分データを復号し、復号された第３の差分データの画素ごとに、第３の差分データの画素の画素値と、第３の差分データの画素に対応する第２の動きベクトルの方向および距離だけ第３の差分データの画素の位置から移動した画素とフレーム上で同じ位置にある復号された第１の画像データの画素の画素値とを加算することにより、第３の画像データを復号する場合には、画像データを符号化または復号することができる。また、アナログ信号に基づいて表示される画像の画質を落とさずに、アナログ信号を利用した不正コピーを防止することができる。
なお、第１基準フレームの符号化に、上述したADRC方式以外の符号化方式を用いるようにしてもよい。
また、補間フレームデータの動きベクトルは、第２基準フレームデータの動きベクトルのみを用いて推定（算出）することができるので、復号部１２１または１３４が、符号化部１３２と同様の処理により、第２基準フレームデータの動きベクトルに基づいて、補間フレームデータの動きベクトルを推定し、推定した動きベクトルに基づいて、補間フレームデータを復号するようにしてもよい。これにより、符号化部１３４から補間動きベクトルデータを出力する必要がなくなり、符号化された画像データの容量を削減することができる。
さらに、以上の説明においては、差分データを生成する場合、第２基準フレームデータまたは補間フレームデータと、１回符号化および復号した第１基準フレームデータ（復号第１基準フレームデータ）との差分をとるようにしたが、符号化および復号する前の第１基準フレームデータをそのまま用いるようにしてもよい。
また、本発明では、より大きな高周波成分の歪みや位相ずれなどのアナログノイズが発生するD/A変換部１２２を用いた方が、記録装置１１３の記録部１３３により記録媒体に記録される画像データの画質がより大きく劣化するようになり、より効果が大きくなる。
さらに、記録装置１１３のA/D変換部１３１に入力されるアナログの画像データVan1にアナログノイズを付加する手段を設けるようにしてもよい。
上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウェアにより実行させることもできる。一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、ネットワークや記録媒体からインストールされる。
図３１は、汎用のパーソナルコンピュータ７００の内部の構成例を示す図である。CPU（Central Processing Unit）７０１は、ROM（Read Only Memory）７０２に記憶されているプログラム、または記録部７０８からRAM（Random Access Memory）７０３にロードされたプログラムに従って各種の処理を実行する。RAM７０３にはまた、CPU７０１が各種の処理を実行する上において必要なデータなども適宜記憶される。
CPU７０１、ROM７０２、およびRAM７０３は、バス７０４を介して相互に接続されている。このバス７０４にはまた、入出力インタフェース７０５も接続されている。
入出力インタフェース７０５には、ボタン、スイッチ、キーボードあるいはマウスなどで構成される入力部７０６、CRT（Cathode Ray Tube）やLCD（Liquid Crystal Display）などのディスプレイ、並びにスピーカなどで構成される出力部７０７、ハードディスクなどで構成される記録部７０８、およびモデムやターミナルアダプタなどで構成される通信部７０９が接続されている。通信部７０９は、インターネットを含むネットワークを介して通信処理を行う。
入出力インタフェース７０５にはまた、必要に応じてドライブ７１０が接続され、磁気ディスク、光ディスク、光磁気ディスク、あるいは半導体メモリなどよりなるリムーバブルメディア７１１が適宜装着され、そこから読み出されたコンピュータプログラムが、記録部７０８にインストールされる。
コンピュータにインストールされ、コンピュータによって実行可能な状態とされるプログラムを記録する記録媒体は、図３１に示されるように、装置本体とは別に、ユーザにプログラムを提供するために配布される、プログラムが記録されている磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM（Compact Disc-Read Only Memory）、DVD(Digital Versatile Disc)を含む）、光磁気ディスク（MD(Mini-Disc)（登録商標）を含む）、もしくは半導体メモリなどよりなるリムーバブルメディア７１１により構成されるだけでなく、装置本体にあらかじめ組み込まれた状態でユーザに提供される、プログラムが記録されているROM７０３または記録部７０８に含まれるハードディスクなどで構成される。
なお、本明細書において、プログラム格納媒体に格納されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
また、本明細書において、システムの用語は、複数の装置、手段などにより構成される全体的な装置を意味するものである。
従来の画像処理システムの構成を示すブロック図である。 本発明の画像処理システムの一実施の形態を示すブロック図である。 画像データに付加されるホワイトノイズによる歪みを説明する図である。 画像データに付加される位相ずれによる歪みを説明する図である。 図２の符号化部の機能の構成例を示す図である。 画像データのフレームの構成例を示す図である。 図５の第２基準フレーム処理部の機能の構成例を示す図である。 図７の動きベクトル決定部の機能の構成例を示す図である。 図５の補間フレーム処理部の機能の構成例を示す図である。 図２の復号部の機能の構成例を示す図である。 図１０の第２基準フレーム復号部の機能の構成例を示す図である。 図１０の補間フレーム復号部の機能の構成例を示す図である。 図２の記録装置により実行される符号化処理を説明するフローチャートである。 図２の記録装置により実行される符号化処理を説明するフローチャートである。 処理フレーム範囲に含まれるフレームデータの構成の例を示す図である。 第２基準フレームデータの差分データの生成方法を説明する図である。 補間フレームデータの差分データの生成方法を説明する図である。 図１３のステップＳ６の第２基準フレーム動きベクトル推定処理の詳細を説明するフローチャートである。 第１基準フレームデータと第２基準フレームデータの例を示す図である。 第１基準フレームデータと第２基準フレームデータの差分データの例を示す図である。 第２基準フレームデータの差分データの画素値の波形の例を示す図である。 第２基準フレームデータの動きベクトルの候補の求め方を説明する図である。 図１３のステップＳ９の補間フレーム動きベクトル推定処理の詳細を説明するフローチャートである。 補間フレームデータの動きベクトルの推定方法を説明する図である。 補間フレームデータの動きベクトルの推定方法を説明する図である。 図２の再生装置および記録装置により実行される復号処理を説明するフローチャートである。 画像データの遷移を示す図である。 画像データの例を示す図である。 １回目の符号化時の画像データの動きベクトルおよび差分データの例を示す図である。 ２回目の符号化時の画像データの動きベクトルおよび差分データの例を示す図である。 パーソナルコンピュータの構成例を示すブロック図である。
符号の説明
１０１ 画像処理システム， １１１ 再生装置， １１３ 記録装置， １２１ 復号部， １２２ D/A変換部， １３１ A/D変換部， １３２ 符号化部， １３４ 復号部， １３５ D/A変換部， ２０２ フレーム割当部， ２０３ 第１基準フレーム処理部， ２０４ 第１基準フレーム復号部， ２０５ 第２基準フレーム処理部， ２０６ 補間フレーム処理部， ２０７ 出力部， ２１１ ブロック分割部， ２１２ 動きベクトル決定部， ２１３ 差分データ生成部， ２１４ 差分データ符号化部, ２３１ 差分データ生成部， ２３３ 平均値導出部， ２３４ 候補データ抽出部， ２３５ 判定部， ２３７ 平均値導出部， ２３８ 候補データ抽出部， ２３９ 判定部， ２５１ 動きベクトル決定部， ２５２ 差分データ生成部， ２５３ 差分データ符号化部, ３０２ フレーム割当検出部， ３０３ 第１基準フレーム復号部， ３０４ 第２基準フレーム復号部， ３０５ 補間フレーム復号部， ３１１ 動きベクトル検出部， ３１２ 差分データ復号部， ３１３ 加算部， ３２１ 動きベクトル検出部， ３２２ 差分データ復号部， ３２３ 加算部， ７０１ CPU， ７０２ ROM， ７０３ RAM， ７０８ 記録部， ７１０ ドライブ， ７２１ リムーバブルメディア

Claims (22)

  1. 第１のフレーム、第２のフレーム、および前記第１のフレームと前記第２のフレームとの間に位置する第３のフレームを含む動画像データを符号化する符号化装置において、
    前記第２のフレームの画像データである第１の画像データを所定の大きさの第１のブロックに分割する分割手段と、
    前記第１の画像データの前記第１のフレームの画像データである第２の画像データに対する第１の動きベクトルを前記第１のブロックごとに推定する第１の動きベクトル推定手段と、
    前記第１の動きベクトルに基づいて、前記第２の画像データと前記第１の画像データとの差分をとることにより、第１の差分データを生成する第１の差分データ生成手段と、
    前記第１の差分データを符号化する第１の符号化手段と、
    前記第１の動きベクトルに基づいて、前記第２の画像データと前記第３のフレームの画像データである第３の画像データとの差分をとることにより、第２の差分データを生成する第２の差分データ生成手段と、
    前記第２の差分データを符号化する第２の符号化手段と
    を含むことを特徴とする符号化装置。
  2. 前記動画像データにノイズを付加するノイズ付加手段をさらに含む
    ことを特徴とする請求項１に記載の符号化装置。
  3. 前記第１の動きベクトルに基づいて、前記第１のブロック内の被写体が記録されている前記第３の画像データの第２のブロックの位置を推定し、前記第２のブロック内の各画素の前記第２の画像データに対する動きベクトルである第２の動きベクトルを、前記第２のブロック内に同じ被写体が記録されていると推定された前記第１のブロックの前記第１の動きベクトルに基づいて推定する第２の動きベクトル推定手段を
    さらに含み、
    前記第１の動きベクトル推定手段は、前記第１のブロックごとに、前記第１の画像データの前記第１のブロック内の画素の画素値と、前記第１のブロックとフレーム上で同じ位置にある前記第２の画像データの第３のブロック内の画素の画素値との差分をとることにより生成された第３の差分データの水平方向および垂直方向のラインごとに、前記水平方向および垂直方向のラインにおける画素値の平均値を連続して上回るまたは下回る画素の個数に基づいて、前記第１の動きベクトルの水平方向および垂直方向の成分を推定し、
    前記第２の差分データ生成手段は、前記第１の動きベクトルに基づいて推定された前記第２の動きベクトルに基づいて、前記第２の差分データを生成する
    ことを特徴とする請求項１に記載の符号化装置。
  4. 前記第１の差分データ生成手段は、前記第１のブロックごとに、前記第１のブロック内の画素の画素値と、前記第１のブロックに対応する前記第１の動きベクトルの方向および距離だけ前記第１のブロックの位置から移動したブロックとフレーム上で同じ位置にある前記第２の画像データの第４のブロック内の画素の画素値との差分をとることにより、前記第１の差分データを生成し、
    前記第２の差分データ生成手段は、前記第３の画像データの画素ごとに、前記第３の画像データの画素の画素値と、前記第３の画像データの画素に対応する前記第２の動きベクトルの方向および距離だけ前記第３の画像データの画素の位置から移動した画素とフレーム上で同じ位置にある前記第２の画像データの画素の画素値との差分をとることにより、前記第２の差分データを生成する
    ことを特徴とする請求項３に記載の符号化装置。
  5. 前記第２の画像データを符号化する符号化手段をさらに含む
    ことを特徴とする請求項３に記載の符号化装置。
  6. 符号化された前記第２の画像データ、前記第１の差分データ、前記第１の動きベクトルを示すデータ、前記第２の差分データ、および、前記第２の動きベクトルを示すデータを含む前記動画像データを符号化した符号化動画像データを外部に出力する出力手段を
    さらに含むことを特徴とする請求項５に記載の符号化装置。
  7. 前記第１の符号化手段は、前記第１の差分データの高周波成分を除去するように前記第１のブロックごとにDCTおよび量子化を行うことにより、前記第１の差分データを符号化し、
    前記第２の符号化手段は、前記第２の差分データを所定の大きさの複数の第２のブロックに分割し、前記第２の差分データの高周波成分を除去するように前記第２のブロックごとにDCTおよび量子化を行うことにより、前記第２の差分データを符号化する
    ことを特徴とする請求項１に記載の符号化装置。
  8. 第１のフレーム、第２のフレーム、および前記第１のフレームと前記第２のフレームとの間に位置する第３のフレームを含む動画像データを符号化する符号化方法において、
    前記第２のフレームの画像データである第１の画像データを所定の大きさの第１のブロックに分割する分割ステップと、
    前記第１の画像データの前記第１のフレームの画像データである第２の画像データに対する第１の動きベクトルを前記第１のブロックごとに推定する第１の動きベクトル推定ステップと、
    前記第１の動きベクトルに基づいて、前記第２の画像データと前記第１の画像データとの差分をとることにより、第１の差分データを生成する第１の差分データ生成ステップと、
    前記第１の差分データを符号化する第１の符号化ステップと、
    前記第１の動きベクトルに基づいて、前記第２の画像データと前記第３のフレームの画像データである第３の画像データとの差分をとることにより、第２の差分データを生成する第２の差分データ生成ステップと、
    前記第２の差分データを符号化する第２の符号化ステップと
    を含むことを特徴とする符号化方法。
  9. 第１のフレーム、第２のフレーム、および前記第１のフレームと前記第２のフレームとの間に位置する第３のフレームを含む動画像データを符号化する符号化処理用のプログラムであって、
    前記第２のフレームの画像データである第１の画像データを所定の大きさの第１のブロックに分割する分割ステップと、
    前記第１の画像データの前記第１のフレームの画像データである第２の画像データに対する第１の動きベクトルを前記第１のブロックごとに推定する第１の動きベクトル推定ステップと、
    前記第１の動きベクトルに基づいて、前記第２の画像データと前記第１の画像データとの差分をとることにより、第１の差分データを生成する第１の差分データ生成ステップと、
    前記第１の差分データを符号化する第１の符号化ステップと、
    前記第１の動きベクトルに基づいて、前記第２の画像データと前記第３のフレームの画像データである第３の画像データとの差分をとることにより、第２の差分データを生成する第２の差分データ生成ステップと、
    前記第２の差分データを符号化する第２の符号化ステップと
    を含むことを特徴とするコンピュータが読み取り可能なプログラムが記録されている記録媒体。
  10. 第１のフレーム、第２のフレーム、および前記第１のフレームと前記第２のフレームとの間に位置する第３のフレームを含む動画像データを符号化する符号化処理用のコンピュータに、符号化処理を行わせるプログラムであって、
    前記第２のフレームの画像データである第１の画像データを所定の大きさの第１のブロックに分割する分割ステップと、
    前記第１の画像データの前記第１のフレームの画像データである第２の画像データに対する第１の動きベクトルを前記第１のブロックごとに推定する第１の動きベクトル推定ステップと、
    前記第１の動きベクトルに基づいて、前記第２の画像データと前記第１の画像データとの差分をとることにより、第１の差分データを生成する第１の差分データ生成ステップと、
    前記第１の差分データを符号化する第１の符号化ステップと、
    前記第１の動きベクトルに基づいて、前記第２の画像データと前記第３のフレームの画像データである第３の画像データとの差分をとることにより、第２の差分データを生成する第２の差分データ生成ステップと、
    前記第２の差分データを符号化する第２の符号化ステップと
    を含むことを特徴とするプログラム。
  11. 第１のフレーム、第２のフレーム、および前記第１のフレームと前記第２のフレームとの間に位置する第３のフレームを含む動画像データを符号化した符号化動画像データを復号する復号装置において、
    符号化された前記第１のフレームの画像データである第１の画像データを復号する第１の復号手段と、
    前記第２のフレームの画像データである第２の画像データを所定の大きさに分割した第１のブロックごとに、前記第２の画像データの前記第１のブロック内の画素の画素値と、前記第１のブロックとフレーム上で同じ位置にある前記第１の画像データの第２のブロック内の画素の画素値との差分をとることにより生成された第１の差分データの水平方向および垂直方向のラインごとに、前記水平方向および垂直方向のラインにおける画素値の平均値を連続して上回るまたは下回る画素の個数に基づき、水平方向および垂直方向の成分が推定された第１の動きベクトルに基づいて、前記第１の画像データと前記第２の画像データとの差分をとることにより生成された第２の差分データであって、符号化された前記第２の差分データを復号する第２の復号手段と、
    復号された前記第２の差分データの前記第１のブロックごとに、前記第１のブロック内の画素の画素値と、前記第１のブロックに対応する前記第１の動きベクトルの方向および距離だけ前記第１のブロックの位置から移動したブロックとフレーム上で同じ位置にある復号された前記第１の画像データの第３のブロック内の画素の画素値とを加算することにより、前記第２の画像データを復号する第３の復号手段と、
    前記第１の動きベクトルに基づいて、前記第３のフレームの画像データである第３の画像データにおける前記第１のブロック内の被写体が記録されている第４のブロックの位置を推定し、前記第４のブロック内に同じ被写体が記録されていると推定された前記第１のブロックの前記第１の動きベクトルに基づき推定された前記第４のブロック内の各画素の前記第１の画像データに対する動きベクトルである第２の動きベクトルに基づいて、前記第１の画像データと前記第３の画像データとの差分をとることにより生成された第３の差分データであって、符号化された前記第３の差分データを復号する第４の復号手段と、
    復号された前記第３の差分データの画素ごとに、前記第３の差分データの画素の画素値と、前記第３の差分データの画素に対応する前記第２の動きベクトルの方向および距離だけ前記第３の差分データの画素の位置から移動した画素とフレーム上で同じ位置にある復号された前記第１の画像データの画素の画素値とを加算することにより、前記第３の画像データを復号する第５の復号手段と
    を含むことを特徴とする復号装置。
  12. 第１のフレーム、第２のフレーム、および前記第１のフレームと前記第２のフレームとの間に位置する第３のフレームを含む動画像データを符号化した符号化動画像データを復号する復号方法において、
    符号化された前記第１のフレームの画像データである第１の画像データを復号する第１の復号ステップと、
    前記第２のフレームの画像データである第２の画像データを所定の大きさに分割した第１のブロックごとに、前記第２の画像データの前記第１のブロック内の画素の画素値と、前記第１のブロックとフレーム上で同じ位置にある前記第１の画像データの第２のブロック内の画素の画素値との差分をとることにより生成された第１の差分データの水平方向および垂直方向のラインごとに、前記水平方向および垂直方向のラインにおける画素値の平均値を連続して上回るまたは下回る画素の個数に基づき、水平方向および垂直方向の成分が推定された第１の動きベクトルに基づいて、前記第１の画像データと前記第２の画像データとの差分をとることにより生成された第２の差分データであって、符号化された前記第２の差分データを復号する第２の復号ステップと、
    復号された前記第２の差分データの前記第１のブロックごとに、前記第１のブロック内の画素の画素値と、前記第１のブロックに対応する前記第１の動きベクトルの方向および距離だけ前記第１のブロックの位置から移動したブロックとフレーム上で同じ位置にある復号された前記第１の画像データの第３のブロック内の画素の画素値とを加算することにより、前記第２の画像データを復号する第３の復号ステップと、
    前記第１の動きベクトルに基づいて、前記第３のフレームの画像データである第３の画像データにおける前記第１のブロック内の被写体が記録されている第４のブロックの位置を推定し、前記第４のブロック内に同じ被写体が記録されていると推定された前記第１のブロックの前記第１の動きベクトルに基づき推定された前記第４のブロック内の各画素の前記第１の画像データに対する動きベクトルである第２の動きベクトルに基づいて、前記第１の画像データと前記第３の画像データとの差分をとることにより生成された第３の差分データであって、符号化された前記第３の差分データを復号する第４の復号ステップと、
    復号された前記第３の差分データの画素ごとに、前記第３の差分データの画素の画素値と、前記第３の差分データの画素に対応する前記第２の動きベクトルの方向および距離だけ前記第３の差分データの画素の位置から移動した画素とフレーム上で同じ位置にある復号された前記第１の画像データの画素の画素値とを加算することにより、前記第３の画像データを復号する第５の復号ステップと
    を含むことを特徴とする復号方法。
  13. 第１のフレーム、第２のフレーム、および前記第１のフレームと前記第２のフレームとの間に位置する第３のフレームを含む動画像データを符号化した符号化動画像データを復号する復号処理用のプログラムであって、
    符号化された前記第１のフレームの画像データである第１の画像データを復号する第１の復号ステップと、
    前記第２のフレームの画像データである第２の画像データを所定の大きさに分割した第１のブロックごとに、前記第２の画像データの前記第１のブロック内の画素の画素値と、前記第１のブロックとフレーム上で同じ位置にある前記第１の画像データの第２のブロック内の画素の画素値との差分をとることにより生成された第１の差分データの水平方向および垂直方向のラインごとに、前記水平方向および垂直方向のラインにおける画素値の平均値を連続して上回るまたは下回る画素の個数に基づき、水平方向および垂直方向の成分が推定された第１の動きベクトルに基づいて、前記第１の画像データと前記第２の画像データとの差分をとることにより生成された第２の差分データであって、符号化された前記第２の差分データを復号する第２の復号ステップと、
    復号された前記第２の差分データの前記第１のブロックごとに、前記第１のブロック内の画素の画素値と、前記第１のブロックに対応する前記第１の動きベクトルの方向および距離だけ前記第１のブロックの位置から移動したブロックとフレーム上で同じ位置にある復号された前記第１の画像データの第３のブロック内の画素の画素値とを加算することにより、前記第２の画像データを復号する第３の復号ステップと、
    前記第１の動きベクトルに基づいて、前記第３のフレームの画像データである第３の画像データにおける前記第１のブロック内の被写体が記録されている第４のブロックの位置を推定し、前記第４のブロック内に同じ被写体が記録されていると推定された前記第１のブロックの前記第１の動きベクトルに基づき推定された前記第４のブロック内の各画素の前記第１の画像データに対する動きベクトルである第２の動きベクトルに基づいて、前記第１の画像データと前記第３の画像データとの差分をとることにより生成された第３の差分データであって、符号化された前記第３の差分データを復号する第４の復号ステップと、
    復号された前記第３の差分データの画素ごとに、前記第３の差分データの画素の画素値と、前記第３の差分データの画素に対応する前記第２の動きベクトルの方向および距離だけ前記第３の差分データの画素の位置から移動した画素とフレーム上で同じ位置にある復号された前記第１の画像データの画素の画素値とを加算することにより、前記第３の画像データを復号する第５の復号ステップと
    を含むことを特徴とするコンピュータが読み取り可能なプログラムが記録されている記録媒体。
  14. 第１のフレーム、第２のフレーム、および前記第１のフレームと前記第２のフレームとの間に位置する第３のフレームを含む動画像データを符号化した符号化動画像データを復号する復号処理用のコンピュータに、復号処理を行わせるプログラムであって、
    符号化された前記第１のフレームの画像データである第１の画像データを復号する第１の復号ステップと、
    前記第２のフレームの画像データである第２の画像データを所定の大きさに分割した第１のブロックごとに、前記第２の画像データの前記第１のブロック内の画素の画素値と、前記第１のブロックとフレーム上で同じ位置にある前記第１の画像データの第２のブロック内の画素の画素値との差分をとることにより生成された第１の差分データの水平方向および垂直方向のラインごとに、前記水平方向および垂直方向のラインにおける画素値の平均値を連続して上回るまたは下回る画素の個数に基づき、水平方向および垂直方向の成分が推定された第１の動きベクトルに基づいて、前記第１の画像データと前記第２の画像データとの差分をとることにより生成された第２の差分データであって、符号化された前記第２の差分データを復号する第２の復号ステップと、
    復号された前記第２の差分データの前記第１のブロックごとに、前記第１のブロック内の画素の画素値と、前記第１のブロックに対応する前記第１の動きベクトルの方向および距離だけ前記第１のブロックの位置から移動したブロックとフレーム上で同じ位置にある復号された前記第１の画像データの第３のブロック内の画素の画素値とを加算することにより、前記第２の画像データを復号する第３の復号ステップと、
    前記第１の動きベクトルに基づいて、前記第３のフレームの画像データである第３の画像データにおける前記第１のブロック内の被写体が記録されている第４のブロックの位置を推定し、前記第４のブロック内に同じ被写体が記録されていると推定された前記第１のブロックの前記第１の動きベクトルに基づき推定された前記第４のブロック内の各画素の前記第１の画像データに対する動きベクトルである第２の動きベクトルに基づいて、前記第１の画像データと前記第３の画像データとの差分をとることにより生成された第３の差分データであって、符号化された前記第３の差分データを復号する第４の復号ステップと、
    復号された前記第３の差分データの画素ごとに、前記第３の差分データの画素の画素値と、前記第３の差分データの画素に対応する前記第２の動きベクトルの方向および距離だけ前記第３の差分データの画素の位置から移動した画素とフレーム上で同じ位置にある復号された前記第１の画像データの画素の画素値とを加算することにより、前記第３の画像データを復号する第５の復号ステップと
    を含むことを特徴とするプログラム。
  15. 符号化部と、復号部とを含み、第１のフレーム、第２のフレーム、および前記第１のフレームと前記第２のフレームとの間に位置する第３のフレームを含む動画像データを画像処理する画像処理システムにおいて、
    前記符号化部は、
    前記第２のフレームの画像データである第１の画像データを所定の大きさの第１のブロックに分割する分割手段と、
    前記第１の画像データの前記第１のフレームの画像データである第２の画像データに対する第１の動きベクトルを前記第１のブロックごとに推定する第１の動きベクトル推定手段と、
    前記第１の動きベクトルに基づいて、前記第２の画像データと前記第１の画像データとの差分をとることにより、第１の差分データを生成する第１の差分データ生成手段と、
    前記第１の差分データを符号化する第１の符号化手段と、
    前記第１の動きベクトルに基づいて、前記第２の画像データと前記第３のフレームの画像データである第３の画像データとの差分をとることにより、第２の差分データを生成する第２の差分データ生成手段と、
    前記第２の差分データを符号化する第２の符号化手段と
    を含むことを特徴とする画像処理システム。
  16. 前記復号部から前記符号化部に供給される前記動画像データにノイズを付加するノイズ付加部をさらに含む
    ことを特徴とする請求項１５に記載の画像処理システム。
  17. 符号化部と、復号部とを含み、第１のフレーム、第２のフレーム、および前記第１のフレームと前記第２のフレームとの間に位置する第３のフレームを含む動画像データを画像処理する画像処理システムの画像処理方法において、
    前記符号化部により実行される、
    前記第２のフレームの画像データである第１の画像データを所定の大きさの第１のブロックに分割する分割ステップと、
    前記第１の画像データの前記第１のフレームの画像データである第２の画像データに対する第１の動きベクトルを前記第１のブロックごとに推定する第１の動きベクトル推定ステップと、
    前記第１の動きベクトルに基づいて、前記第２の画像データと前記第１の画像データとの差分をとることにより、第１の差分データを生成する第１の差分データ生成ステップと、
    前記第１の差分データを符号化する第１の符号化ステップと、
    前記第１の動きベクトルに基づいて、前記第２の画像データと前記第３のフレームの画像データである第３の画像データとの差分をとることにより、第２の差分データを生成する第２の差分データ生成ステップと、
    前記第２の差分データを符号化する第２の符号化ステップと
    を含むことを特徴とする画像処理方法。
  18. 前記画像処理システムは、
    ノイズ付加部を
    さらに含み、
    前記ノイズ付加部により実行される、
    前記復号部から前記符号化部に供給される前記動画像データにノイズを付加するノイズ付加ステップをさらに含む
    ことを特徴とする請求項１７に記載の画像処理方法。
  19. 符号化部と、復号部とを含み、第１のフレーム、第２のフレーム、および前記第１のフレームと前記第２のフレームとの間に位置する第３のフレームを含む動画像データを画像処理する画像処理システムにおいて、
    前記復号部は、
    符号化された前記第１のフレームの画像データである第１の画像データを復号する第１の復号手段と、
    前記第２のフレームの画像データである第２の画像データを所定の大きさに分割した第１のブロックごとに、前記第２の画像データの前記第１のブロック内の画素の画素値と、前記第１のブロックとフレーム上で同じ位置にある前記第１の画像データの第２のブロック内の画素の画素値との差分をとることにより生成された第１の差分データの水平方向および垂直方向のラインごとに、前記水平方向および垂直方向のラインにおける画素値の平均値を連続して上回るまたは下回る画素の個数に基づき、水平方向および垂直方向の成分が推定された第１の動きベクトルに基づいて、前記第１の画像データと前記第２の画像データとの差分をとることにより生成された第２の差分データであって、符号化された前記第２の差分データを復号する第２の復号手段と、
    復号された前記第２の差分データの前記第１のブロックごとに、前記第１のブロック内の画素の画素値と、前記第１のブロックに対応する前記第１の動きベクトルの方向および距離だけ前記第１のブロックの位置から移動したブロックとフレーム上で同じ位置にある復号された前記第１の画像データの第３のブロック内の画素の画素値とを加算することにより、前記第２の画像データを復号する第３の復号手段と、
    前記第１の動きベクトルに基づいて、前記第３のフレームの画像データである第３の画像データにおける前記第１のブロック内の被写体が記録されている第４のブロックの位置を推定し、前記第４のブロック内に同じ被写体が記録されていると推定された前記第１のブロックの前記第１の動きベクトルに基づき推定された前記第４のブロック内の各画素の前記第１の画像データに対する動きベクトルである第２の動きベクトルに基づいて、前記第１の画像データと前記第３の画像データとの差分をとることにより生成された第３の差分データであって、符号化された前記第３の差分データを復号する第４の復号手段と、
    復号された前記第３の差分データの画素ごとに、前記第３の差分データの画素の画素値と、前記第３の差分データの画素に対応する前記第２の動きベクトルの方向および距離だけ前記第３の差分データの画素の位置から移動した画素とフレーム上で同じ位置にある復号された前記第１の画像データの画素の画素値とを加算することにより、前記第３の画像データを復号する第５の復号手段と
    を含むことを特徴とする画像処理システム。
  20. 前記復号部から前記符号化部に供給される前記動画像データにノイズを付加するノイズ付加部をさらに含む
    ことを特徴とする請求項１９に記載の画像処理システム。
  21. 符号化部と、復号部とを含み、第１のフレーム、第２のフレーム、および前記第１のフレームと前記第２のフレームとの間に位置する第３のフレームを含む動画像データを画像処理する画像処理システムの画像処理方法において、
    前記復号部により実行される、
    符号化された前記第１のフレームの画像データである第１の画像データを復号する第１の復号ステップと、
    前記第２のフレームの画像データである第２の画像データを所定の大きさに分割した第１のブロックごとに、前記第２の画像データの前記第１のブロック内の画素の画素値と、前記第１のブロックとフレーム上で同じ位置にある前記第１の画像データの第２のブロック内の画素の画素値との差分をとることにより生成された第１の差分データの水平方向および垂直方向のラインごとに、前記水平方向および垂直方向のラインにおける画素値の平均値を連続して上回るまたは下回る画素の個数に基づき、水平方向および垂直方向の成分が推定された第１の動きベクトルに基づいて、前記第１の画像データと前記第２の画像データとの差分をとることにより生成された第２の差分データであって、符号化された前記第２の差分データを復号する第２の復号ステップと、
    復号された前記第２の差分データの前記第１のブロックごとに、前記第１のブロック内の画素の画素値と、前記第１のブロックに対応する前記第１の動きベクトルの方向および距離だけ前記第１のブロックの位置から移動したブロックとフレーム上で同じ位置にある復号された前記第１の画像データの第３のブロック内の画素の画素値とを加算することにより、前記第２の画像データを復号する第３の復号ステップと、
    前記第１の動きベクトルに基づいて、前記第３のフレームの画像データである第３の画像データにおける前記第１のブロック内の被写体が記録されている第４のブロックの位置を推定し、前記第４のブロック内に同じ被写体が記録されていると推定された前記第１のブロックの前記第１の動きベクトルに基づき推定された前記第４のブロック内の各画素の前記第１の画像データに対する動きベクトルである第２の動きベクトルに基づいて、前記第１の画像データと前記第３の画像データとの差分をとることにより生成された第３の差分データであって、符号化された前記第３の差分データを復号する第４の復号ステップと、
    復号された前記第３の差分データの画素ごとに、前記第３の差分データの画素の画素値と、前記第３の差分データの画素に対応する前記第２の動きベクトルの方向および距離だけ前記第３の差分データの画素の位置から移動した画素とフレーム上で同じ位置にある復号された前記第１の画像データの画素の画素値とを加算することにより、前記第３の画像データを復号する第５の復号ステップと
    を含むことを特徴とする画像処理方法。
  22. 前記画像処理システムは、
    ノイズ付加部を
    さらに含み、
    前記ノイズ付加部により実行される、
    前記復号部から前記符号化部に供給される前記動画像データにノイズを付加するノイズ付加ステップをさらに含む
    ことを特徴とする請求項２１に記載の画像処理方法。
JP2005053879A 2005-02-28 2005-02-28 画像処理装置および方法、記録媒体、並びにプログラム Expired - Fee Related JP4577043B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2005053879A JP4577043B2 (ja) 2005-02-28 2005-02-28 画像処理装置および方法、記録媒体、並びにプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2005053879A JP4577043B2 (ja) 2005-02-28 2005-02-28 画像処理装置および方法、記録媒体、並びにプログラム

Publications (2)

Publication Number Publication Date
JP2006238374A true JP2006238374A (ja) 2006-09-07
JP4577043B2 JP4577043B2 (ja) 2010-11-10

Family

ID=37045490

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2005053879A Expired - Fee Related JP4577043B2 (ja) 2005-02-28 2005-02-28 画像処理装置および方法、記録媒体、並びにプログラム

Country Status (1)

Country Link
JP (1) JP4577043B2 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008109176A (ja) * 2006-10-23 2008-05-08 Sanyo Electric Co Ltd 撮像装置及び撮像方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003259377A (ja) * 2002-03-06 2003-09-12 Matsushita Electric Ind Co Ltd 動画像符号化方法、動画像復号化方法および符号列フォーマット
JP2004088737A (ja) * 2002-07-02 2004-03-18 Matsushita Electric Ind Co Ltd 画像符号化方法および画像復号化方法
JP2004289685A (ja) * 2003-03-24 2004-10-14 Sony Corp データ符号化装置およびデータ符号化方法、並びにデータ出力装置およびデータ出力方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003259377A (ja) * 2002-03-06 2003-09-12 Matsushita Electric Ind Co Ltd 動画像符号化方法、動画像復号化方法および符号列フォーマット
JP2004088737A (ja) * 2002-07-02 2004-03-18 Matsushita Electric Ind Co Ltd 画像符号化方法および画像復号化方法
JP2004289685A (ja) * 2003-03-24 2004-10-14 Sony Corp データ符号化装置およびデータ符号化方法、並びにデータ出力装置およびデータ出力方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008109176A (ja) * 2006-10-23 2008-05-08 Sanyo Electric Co Ltd 撮像装置及び撮像方法

Also Published As

Publication number Publication date
JP4577043B2 (ja) 2010-11-10

Similar Documents

Publication Publication Date Title
JP4556124B2 (ja) 符号化装置および方法、復号装置および方法、画像処理システム、記録媒体、並びにプログラム
US6111990A (en) Digital-watermark superposing apparatus and digital-watermarker detecting apparatus
US8290310B2 (en) Image processing apparatus and method, program, and recording medium
JP3772846B2 (ja) データ符号化装置およびデータ符号化方法、並びにデータ出力装置およびデータ出力方法
CN101969557B (zh) 图像记录设备、图像记录方法
JP2007336468A (ja) 再符号化装置、再符号化方法およびプログラム
JP4577043B2 (ja) 画像処理装置および方法、記録媒体、並びにプログラム
JP2006217403A (ja) 符号化装置および方法、復号化装置および方法、記録媒体、プログラム、画像処理システム、並びに画像処理方法
JP4716086B2 (ja) 符号化装置および方法、記録媒体、プログラム、並びに画像処理システム
JP4556694B2 (ja) 符号化装置および方法、記録媒体、プログラム、並びに画像処理システム
JP4552677B2 (ja) 符号化装置および方法、復号装置および方法、情報処理システム、記録媒体、並びにプログラム
US7952769B2 (en) Systems and methods for image processing coding/decoding
JP4573110B2 (ja) 符号化装置および方法、記録媒体、プログラム、並びに画像処理システム
JP4556125B2 (ja) 符号化装置および方法、復号装置および方法、画像処理システム、記録媒体、並びにプログラム
JP4573112B2 (ja) 符号化装置および方法、記録媒体、プログラム、並びに画像処理システム
JP2006229460A (ja) 符号化装置および方法、記録媒体、プログラム、画像処理システム、並びに画像処理方法
JP4696577B2 (ja) 符号化装置および方法、復号装置および方法、記録媒体、並びにプログラム、画像処理システムおよび方法
JP4715222B2 (ja) 符号化装置および方法、復号装置および方法、画像処理システム、記録媒体、並びにプログラム
JP2006238373A (ja) 符号化装置および方法、復号装置および方法、画像処理システムおよび画像処理方法、記録媒体、並びにプログラム
JP4697519B2 (ja) 符号化装置および方法、復号装置および方法、画像処理システム、記録媒体、並びにプログラム
JP4581733B2 (ja) 符号化装置および方法、復号装置および方法、記録媒体、並びにプログラム、画像処理システム
JP4099600B2 (ja) 信号処理システム、信号処理装置および信号処理方法、符号化装置および符号化方法、並びに復号化装置および復号化方法
JP3906822B2 (ja) 符号化装置と符号化方法
JP2006238375A (ja) 符号化装置および方法、復号装置および方法、画像処理システムおよび方法、記録媒体、並びにプログラム
US7593063B1 (en) Method of detecting a format type of an incoming video signal and source format detector thereof

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20070810

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20091027

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20091126

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100118

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20100727

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20100809

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130903

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130903

Year of fee payment: 3

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees