JP4182447B2 - 情報処理装置および方法、プログラム、並びに記録媒体 - Google Patents

Description

本発明は、情報処理装置および方法、プログラム、並びに記録媒体に関し、特に、少ない容量で構成される内蔵メモリとの間でデータをやり取りすることで、高速なウェーブレット変換を行うことができるようにした情報処理装置および方法、プログラム、並びに記録媒体に関する。

従来の代表的な画像圧縮方法として、ISO(International Standards Organization)によって標準化されたJPEG(Joint Photographic Experts Group)方式がある。これは離散コサイン変換(Discrete Cosine Transform ; DCT)を用い、比較的高いビットが割り当てられる場合には、良好な符号化画像および復号画像を供することが知られている。しかしながら、ある程度以上に符号化ビット数を少なくすると、DCT変換特有のブロック歪みが顕著になり、主観的に劣化が目立つようになる。

一方、近年では、フィルタバンクと呼ばれるハイパスフィルタとローパスフィルタとを組み合わせたフィルタによって画像を複数の帯域（サブバンド）に分割し、帯域毎に符号化を行う方式の研究が盛んになっている。その中でも、ウェーブレット変換符号化は、DCT変換のように高圧縮でブロック歪みが顕著になるという欠点がないことから、DCT変換に代わる新たな技術として有力視されている。

2001年1月に国際標準化が完了したJPEG2000方式は、このウェーブレット変換と、高能率なエントロピ符号化（ビットプレーン単位のビットモデリングと算術符号化）とを組み合わせた方式を採用しており、JPEG方式に較べて符号化効率の大きな改善を実現している。

ウェーブレット変換は、基本的に画像データを入力して、水平方向のフィルタリングと垂直方向のフィルタリングを行いながら、低域成分を階層的に分割する手法を用いる。この際、画像データの読み出し、フィルタリングの結果生成された周波数係数のメモリへの書き込み、周波数係数の再度の読み出しなど、データの読み出しと書き込みが高頻度で必要になる。

この問題に対して、画像信号は大量のデータを持っていることから、ウェーブレット変換を高速に行う手法が必要とされてきた。また、外部メモリに周波数係数を書き出して、再度読み込む手法もこれまでに多く提案されている（特許文献１参照）。

特開平１０−２８３３４２号公報

しかしながら、外部メモリに周波数係数を書き出して、再度読み込みを行う手法は、外部メモリとウェーブレット変換部との間でデータをやり取りするため、バンド幅を十分に取ることができず、高速にウェーブレット変換を行うことが困難であった。

また、外部メモリとウェーブレット変換部との間でデータの高速化のためには、クロック（動作周波数）を上げることが有効であるが、単にクロックを上げてしまうと、消費電力が大きくなる欠点だけでなく、FPGA(Field Programmable Gate Array)やPLD(Programmable Logic Device)のようなハードウェアでは対応が困難となってしまっていた。

本発明は、このような状況に鑑みてなされたものであり、外部メモリを必要とすることなく、高速なウェーブレット変換を行うことができるようにするものである。

本発明の第１の側面は、画像信号の周波数成分を低域成分および高域成分に分割する水平方向の分析フィルタリングの結果得られる前記低域成分および前記高域成分を、前記周波数成分の分割レベル毎に独立して記憶し、前記画像信号の周波数成分を低域成分および高域成分に分割する垂直方向の分析フィルタリングに対して、前記分析フィルタリングの分割レベルに対応する前記周波数成分を選択して供給する第１のバッファと、前記垂直方向の前記分析フィルタリングの演算過程で生成される前記低域成分および前記高域成分の一部を、前記分割レベル毎に独立して記憶し、前記垂直方向の前記分析フィルタリングに対して、前記分析フィルタリングの分割レベルに対応する前記周波数成分を選択して供給する第２のバッファと、分割前の前記画像信号、または、前記垂直方向の前記分析フィルタリングの結果得られる前記周波数成分に対して、前記水平方向の前記分析フィルタリングを行い、前記分析フィルタリングの結果得られる前記低域成分および前記高域成分を前記第１のバッファに記憶させる水平フィルタリング手段と、前記第１のバッファおよび前記第２のバッファから処理対象の分割レベルに対応する前記周波数成分を読み出し、読み出した前記周波数成分を用いて、前記垂直方向の前記分析フィルタリングを行い、前記分析フィルタリングの演算過程で生成される前記低域成分および前記高域成分の一部を前記第２のバッファに記憶させる垂直フィルタリング手段とを備える情報処理装置である。

前記水平フィルタリング手段および前記垂直フィルタリング手段は、前記分析フィルタリングをリフティング構成により実現することができる。

前記水平フィルタリング手段は、前記水平方向の前記分析フィルタリングを複数段階の演算に分けて行う構成の前記リフティング構成により、予め設定されたコラム数分の前記水平方向の前記分析フィルタリングを行うことができる。

前記水平フィルタリング手段は、前記リフティング構成による前記複数段階の演算の過程で得られる前記低域成分および前記高域成分の一部を保持する保持手段を備え、次段の前記水平方向の前記分析フィルタリングを行う場合、前記垂直フィルタリング手段により得られる前記周波数成分を必要なコラム数分だけ入力し、さらに、前段の前記リフティング構成による前記複数段階の演算の過程で前記保持手段に保持された前記周波数成分を読み出して、前記リフティング構成による前記複数段階の演算を行うことができる。

前記水平フィルタリング手段は、前記リフティング構成による前記水平方向の前記分析フィルタリングを、前記水平方向のコラム数がすべてなくなるまで実行することができる。

前記リフティング構成に１度に入力されるコラム数は３コラムであり、前記保持手段に保持される前記低域成分および前記高域成分の個数は３つであることができる。

前記水平フィルタリング手段は、前記リフティング構成による前記複数段階の演算を最終段階まで行うことで生成された前記低域成分および前記高域成分を、前記低域成分および前記高域成分の分割レベルに対応する前記第１のバッファに記憶させることができる。

前記垂直フィルタリング手段は、前記垂直方向の前記分析フィルタリングを複数段階の演算に分けて行う構成の前記リフティング構成により、予め設定されたライン数分の前記垂直方向の前記分析フィルタリングを行うことができる。

前記垂直フィルタリング手段は、前記リフティング構成による前記複数段階の演算の過程で得られる前記低域成分および前記高域成分の一部を前記第２のバッファに記憶させ、次段の前記垂直方向の前記分析フィルタリングを行う場合、前記水平フィルタリング手段による前記水平方向の前記分析フィルタリングの結果得られた前記周波数成分を必要なライン数分だけ前記第１のバッファより読み出し、さらに、前段の前記リフティング構成による前記複数段階の演算の過程で前記第２のバッファに記憶された前記周波数成分を読み出して、前記リフティング構成による前記複数段階の演算を行うことができる。

前記垂直フィルタリング手段は、前記リフティング構成による前記垂直方向の前記分析フィルタリングを、前記垂直方向のライン数がすべてなくなるまで実行することができる。

前記第１のバッファから読み出されるライン数は３ライン分であり、前記第２のバッファに記憶される前記低域成分および前記高域成分の個数は３つであることができる。

前記第１のバッファは、前記垂直方向の前記分析フィルタリングを行うのに必要なライン数分の、独立したバッファを内包して構成されることができる。

前記第２のバッファは、前記複数段階の演算の過程で必要になる前記低域成分および前記高域成分と同数の、独立したバッファを内包して構成されることができる。

前記水平フィルタリング手段は、前記画像信号をライン単位で入力し、前記水平方向のサンプル数が所定数に達する度に、前記水平方向の前記分析フィルタリングを行い、前記垂直フィルタリング手段は、前記水平フィルタリング手段による前記水平方向の前記分析フィルタリングの結果である前記垂直方向のライン数が所定数に達する度に、前記垂直方向の前記分析フィルタリングを行うことができる。

前記水平フィルタリング手段および前記垂直フィルタリング手段は、最低域の周波数成分に対して階層的に前記分析フィルタリングを行うことができる。

前記画像信号は、複数のピクチャからなるビデオ信号であり、前記ビデオ信号の垂直同期信号を検出することにより各ピクチャの終端を検知する検知手段をさらに備え、前記水平フィルタリング手段および前記垂直フィルタリング手段は、ピクチャ毎に前記分析フィルタリングを行うことができる。

本発明の第１の側面はまた、画像信号の周波数成分を低域成分および高域成分に分割する水平方向の分析フィルタリングの結果得られる前記低域成分および前記高域成分を、前記周波数成分の分割レベル毎に独立して記憶し、前記画像信号の周波数成分を低域成分および高域成分に分割する垂直方向の分析フィルタリングに対して、前記分析フィルタリングの分割レベルに対応する前記周波数成分を選択して供給する第１のバッファと、前記垂直方向の前記分析フィルタリングの演算過程で生成される前記低域成分および前記高域成分の一部を、前記分割レベル毎に独立して記憶し、前記垂直方向の前記分析フィルタリングに対して、前記分析フィルタリングの分割レベルに対応する前記周波数成分を選択して供給する第２のバッファとを有する情報処理装置の情報処理方法であって、分割前の前記画像信号、または、前記垂直方向の前記分析フィルタリングの結果得られる前記周波数成分に対して、前記水平方向の前記分析フィルタリングを行う水平フィルタステップと、前記フィルタステップの処理の結果得られる前記低域成分および前記高域成分を前記第１のバッファに記憶させる第１の記憶制御ステップと、前記第１のバッファおよび前記第２のバッファから処理対象の分割レベルに対応する前記周波数成分を読み出す読み出しステップと、前記読み出しステップの処理により読み出した前記周波数成分を用いて、前記垂直方向の前記分析フィルタリングを行う垂直フィルタステップと、前記垂直フィルタステップの処理の演算過程で生成される前記低域成分および前記高域成分の一部を前記第２のバッファに記憶させる第２の記憶制御ステップとを含む情報処理方法である。

本発明の第１の側面はさらに、画像信号の周波数成分を低域成分および高域成分に分割する水平方向の分析フィルタリングの結果得られる前記低域成分および前記高域成分を、前記周波数成分の分割レベル毎に独立して記憶し、前記画像信号の周波数成分を低域成分および高域成分に分割する垂直方向の分析フィルタリングに対して、前記分析フィルタリングの分割レベルに対応する前記周波数成分を選択して供給する第１のバッファと、前記垂直方向の前記分析フィルタリングの演算過程で生成される前記低域成分および前記高域成分の一部を、前記分割レベル毎に独立して記憶し、前記垂直方向の前記分析フィルタリングに対して、前記分析フィルタリングの分割レベルに対応する前記周波数成分を選択して供給する第２のバッファとを有するコンピュータを、分割前の前記画像信号、または、前記垂直方向の前記分析フィルタリングの結果得られる前記周波数成分に対して、前記水平方向の前記分析フィルタリングを行い、前記分析フィルタリングの結果得られる前記低域成分および前記高域成分を前記第１のバッファに記憶させる水平フィルタリング手段と、前記第１のバッファおよび前記第２のバッファから処理対象の分割レベルに対応する前記周波数成分を読み出し、読み出した前記周波数成分を用いて、前記垂直方向の前記分析フィルタリングを行い、前記分析フィルタリングの演算過程で生成される前記低域成分および前記高域成分の一部を前記第２のバッファに記憶させる垂直フィルタリング手段として機能させるプログラムである。

本発明の第１の側面はまた、画像信号の周波数成分を低域成分および高域成分に分割する水平方向の分析フィルタリングの結果得られる前記低域成分および前記高域成分を、前記周波数成分の分割レベル毎に独立して記憶し、前記画像信号の周波数成分を低域成分および高域成分に分割する垂直方向の分析フィルタリングに対して、前記分析フィルタリングの分割レベルに対応する前記周波数成分を選択して供給する第１のバッファと、前記垂直方向の前記分析フィルタリングの演算過程で生成される前記低域成分および前記高域成分の一部を、前記分割レベル毎に独立して記憶し、前記垂直方向の前記分析フィルタリングに対して、前記分析フィルタリングの分割レベルに対応する前記周波数成分を選択して供給する第２のバッファとを有するコンピュータを、分割前の前記画像信号、または、前記垂直方向の前記分析フィルタリングの結果得られる前記周波数成分に対して、前記水平方向の前記分析フィルタリングを行い、前記分析フィルタリングの結果得られる前記低域成分および前記高域成分を前記第１のバッファに記憶させる水平フィルタリング手段と、前記第１のバッファおよび前記第２のバッファから処理対象の分割レベルに対応する前記周波数成分を読み出し、読み出した前記周波数成分を用いて、前記垂直方向の前記分析フィルタリングを行い、前記分析フィルタリングの演算過程で生成される前記低域成分および前記高域成分の一部を前記第２のバッファに記憶させる垂直フィルタリング手段として機能させるプログラムが記録されている記録媒体である。

本発明の第２の側面は、画像信号の低域成分および高域成分を合成する水平方向の合成フィルタリングの結果である、合成された周波数成分の一部を、前記周波数成分の分割レベル毎に独立して記憶し、前記画像信号の前記低域成分および前記高域成分を合成する垂直方向の合成フィルタリングに対して、前記合成フィルタリングの分割レベルに対応する前記低域成分および前記高域成分を選択して供給する第１のバッファと、前記垂直方向の前記合成フィルタリングの演算過程で生成される、合成された前記周波数成分の一部を、前記分割レベル毎に独立して記憶し、前記垂直方向の前記合成フィルタリングに対して、前記合成フィルタリングの分割レベルに対応する前記低域成分および前記高域成分を選択して供給する第２のバッファと、前記第１のバッファおよび前記第２のバッファから処理対象の分割レベルに対応する前記低域成分および前記高域成分を読み出し、読み出した前記低域成分および前記高域成分を用いて前記垂直方向の前記合成フィルタリングを行い、前記合成フィルタリングの演算過程で生成される、合成された前記周波数成分の一部を前記第２のバッファに記憶させる垂直フィルタリング手段と、前記垂直フィルタリング手段の前記垂直方向の前記合成フィルタリングの結果である、上位の分割レベルの前記低域成分および前記高域成分に対して前記水平方向の前記合成フィルタリングを行い、前記合成フィルタリングの結果得られる、合成された前記周波数成分を前記第１のバッファに記憶させる水平フィルタリング手段とを備える情報処理装置である。

前記垂直フィルタリング手段および前記水平フィルタリング手段は、前記合成フィルタリングをリフティング構成により実現することができる。

前記垂直フィルタリング手段は、前記垂直方向の前記合成フィルタリングを複数段階の演算に分けて行う構成の前記リフティング構成により、予め設定されたライン数分の前記垂直方向の前記合成フィルタリングを行うことができる。

前記垂直フィルタリング手段は、前記リフティング構成による前記複数段階の演算の過程で得られる前記周波数成分の一部を前記第２のバッファに記憶させ、次段の前記垂直方向の前記合成フィルタリングを行う場合、前記水平フィルタリング手段による前記水平方向の前記合成フィルタリングの結果の前記周波数成分を必要なライン数分だけ前記第１のバッファから読み出し、さらに、前段の前記リフティング構成による前記複数段階の演算の過程で前記第２のバッファに記憶された前記周波数成分を読み出して、前記リフティング構成による前記複数段階の演算を行うことができる。

前記垂直フィルタリング手段は、前記リフティング構成による前記垂直方向の前記合成フィルタリングを、前記垂直方向のライン数がすべてなくなるまで実行することができる。

前記第１のバッファから読み出されるライン数は３ライン分であり、前記第２のバッファに記憶される前記周波数成分の個数は３つであることができる。

前記第１のバッファは、前記垂直方向の前記合成フィルタリングを行うのに必要なライン数分の、独立したバッファを内包して構成されることができる。

前記第２のバッファは、前記複数段階の演算の過程で必要になる前記周波数成分と同数の、独立したバッファを内包して構成されることができる。

前記リフティング構成は、前記水平方向の前記合成フィルタリングを複数段階の演算に分けて行う構成であり、前記水平フィルタリング手段は、前記リフティング構成により、予め設定されたコラム数分の前記水平方向の前記合成フィルタリングを行うことができる。

前記水平フィルタリング手段は、前記リフティング構成による前記複数段階の演算の過程で得られる前記低域成分および前記高域成分の一部を保持する保持手段を備え、前記複数段階の演算を最終段階まで行うことで、前記画像を生成し、次段の前記水平方向の前記合成フィルタリングを行う場合、前記垂直フィルタリング手段による垂直方向の前記合成フィルタリングの結果の前記周波数成分を必要なコラム数分だけ入力し、さらに、前段の前記リフティング構成による前記複数段階の演算の過程で前記保持手段に保持された前記周波数成分を読み出して、前記リフティング構成による前記複数段階の演算を行うことができる。

前記水平フィルタリング手段は、前記リフティング構成による前記水平方向の前記合成フィルタリングを、水平方向のコラム数がすべてなくなるまで実行することができる。

前記リフティング構成に１度に入力されるコラム数は３コラムであり、前記保持手段に保持される前記低域成分成分および前記高域成分の個数は３つであることができる。

前記水平フィルタリング手段は、前記リフティング構成による前記複数段階の演算を最終段階まで行うことで生成された前記周波数成分を、前記周波数成分の分割レベルに対応する前記第１のバッファに記憶することができる。

前記水平フィルタリング手段は、前記周波数成分をライン単位で入力し、前記水平方向のサンプル数が所定数に達する度に、前記水平方向の前記合成フィルタリングを行い、前記垂直フィルタリング手段は、前記水平フィルタリング手段による前記水平方向の合成フィルタリングの結果の周波数成分の前記垂直方向のライン数が所定数に達する度に、前記垂直方向の前記合成フィルタリングを行うことができる。

前記画像信号は、複数のピクチャからなるビデオ信号であり、最低域の周波数成分に対して階層的に分析フィルタリングを行うことにより複数の周波数成分に分割されており、前記垂直フィルタリング手段および前記水平フィルタリング手段は、複数の周波数成分のうち、最低域の周波数成分を含む所定数の周波数成分から階層的に前記合成フィルタリングを行い、最終的にピクチャを生成することができる。

前記垂直フィルタリング手段および前記水平フィルタリング手段により生成された各ピクチャ間に垂直同期信号を挿入し、ビデオ信号を生成する垂直同期信号挿入手段をさらに備えることができる。

本発明の第２の側面はまた、画像信号の低域成分および高域成分を合成する水平方向の合成フィルタリングの結果である、合成された周波数成分の一部を、前記周波数成分の分割レベル毎に独立して記憶し、前記画像信号の前記低域成分および前記高域成分を合成する垂直方向の合成フィルタリングに対して、前記合成フィルタリングの分割レベルに対応する前記低域成分および前記高域成分を選択して供給する第１のバッファと、前記垂直方向の前記合成フィルタリングの演算過程で生成される、合成された前記周波数成分の一部を、前記分割レベル毎に独立して記憶し、前記垂直方向の前記合成フィルタリングに対して、前記合成フィルタリングの分割レベルに対応する前記低域成分および前記高域成分を選択して供給する第２のバッファとを備える情報処理装置の情報処理方法であって、前記第１のバッファおよび前記第２のバッファから処理対象の分割レベルに対応する前記低域成分および前記高域成分を読み出す読み出しステップと、前記読み出しステップの処理により読み出された前記低域成分および前記高域成分を用いて前記垂直方向の前記合成フィルタリングを行う垂直フィルタステップと、前記垂直フィルタステップの処理の演算過程で生成される、合成された前記周波数成分の一部を前記第２のバッファに記憶させる第１の記憶制御ステップと、前記垂直フィルタステップの処理の前記垂直方向の前記合成フィルタリングの結果である、上位の分割レベルの前記低域成分および前記高域成分に対して前記水平方向の前記合成フィルタリングを行う水平フィルタステップと、前記水平フィルタステップの処理の結果得られる、合成された前記周波数成分を前記第１のバッファに記憶させる第２の記憶制御ステップとを含む情報処理方法である。

本発明の第２の側面はさらに、画像信号の低域成分および高域成分を合成する水平方向の合成フィルタリングの結果である、合成された周波数成分の一部を、前記周波数成分の分割レベル毎に独立して記憶し、前記画像信号の前記低域成分および前記高域成分を合成する垂直方向の合成フィルタリングに対して、前記合成フィルタリングの分割レベルに対応する前記低域成分および前記高域成分を選択して供給する第１のバッファと、前記垂直方向の前記合成フィルタリングの演算過程で生成される、合成された前記周波数成分の一部を、前記分割レベル毎に独立して記憶し、前記垂直方向の前記合成フィルタリングに対して、前記合成フィルタリングの分割レベルに対応する前記低域成分および前記高域成分を選択して供給する第２のバッファとを備えるコンピュータを、前記第１のバッファおよび前記第２のバッファから処理対象の分割レベルに対応する前記低域成分および前記高域成分を読み出し、読み出した前記低域成分および前記高域成分を用いて前記垂直方向の前記合成フィルタリングを行い、前記合成フィルタリングの演算過程で生成される、合成された前記周波数成分の一部を前記第２のバッファに記憶させる垂直フィルタリング手段と、前記垂直フィルタリング手段の前記垂直方向の前記合成フィルタリングの結果である、上位の分割レベルの前記低域成分および前記高域成分に対して前記水平方向の前記合成フィルタリングを行い、前記合成フィルタリングの結果得られる、合成された前記周波数成分を前記第１のバッファに記憶させる水平フィルタリング手段として機能させるプログラムである。

本発明の第２の側面はまた、画像信号の低域成分および高域成分を合成する水平方向の合成フィルタリングの結果である、合成された周波数成分の一部を、前記周波数成分の分割レベル毎に独立して記憶し、前記画像信号の前記低域成分および前記高域成分を合成する垂直方向の合成フィルタリングに対して、前記合成フィルタリングの分割レベルに対応する前記低域成分および前記高域成分を選択して供給する第１のバッファと、前記垂直方向の前記合成フィルタリングの演算過程で生成される、合成された前記周波数成分の一部を、前記分割レベル毎に独立して記憶し、前記垂直方向の前記合成フィルタリングに対して、前記合成フィルタリングの分割レベルに対応する前記低域成分および前記高域成分を選択して供給する第２のバッファとを備えるコンピュータを、前記第１のバッファおよび前記第２のバッファから処理対象の分割レベルに対応する前記低域成分および前記高域成分を読み出し、読み出した前記低域成分および前記高域成分を用いて前記垂直方向の前記合成フィルタリングを行い、前記合成フィルタリングの演算過程で生成される、合成された前記周波数成分の一部を前記第２のバッファに記憶させる垂直フィルタリング手段と、前記垂直フィルタリング手段の前記垂直方向の前記合成フィルタリングの結果である、上位の分割レベルの前記低域成分および前記高域成分に対して前記水平方向の前記合成フィルタリングを行い、前記合成フィルタリングの結果得られる、合成された前記周波数成分を前記第１のバッファに記憶させる水平フィルタリング手段として機能させるプログラムが記録されている記録媒体である。

本発明の第１の側面においては、画像信号の周波数成分を低域成分および高域成分に分割する水平方向の分析フィルタリングの結果得られる低域成分および高域成分を、周波数成分の分割レベル毎に独立して記憶し、画像信号の周波数成分を低域成分および高域成分に分割する垂直方向の分析フィルタリングに対して、前記分析フィルタリングの分割レベルに対応する周波数成分を選択して供給する第１のバッファと、垂直方向の分析フィルタリングの演算過程で生成される低域成分および高域成分の一部を、分割レベル毎に独立して記憶し、垂直方向の分析フィルタリングに対して、前記分析フィルタリングの分割レベルに対応する周波数成分を選択して供給する第２のバッファとが備えられ、分割前の画像信号、または、垂直方向の分析フィルタリングの結果得られる周波数成分に対して、水平方向の分析フィルタリングが行われ、結果得られる低域成分および高域成分が第１のバッファに記憶され、第１のバッファおよび第２のバッファから処理対象の分割レベルに対応する周波数成分が読み出され、読み出された周波数成分が用いられて、垂直方向の分析フィルタリングが行われ、演算過程で生成される低域成分および高域成分の一部が第２のバッファに記憶される。

本発明の第２の側面においては、画像信号の低域成分および高域成分を合成する水平方向の合成フィルタリングの結果である、合成された周波数成分の一部を、周波数成分の分割レベル毎に独立して記憶し、画像信号の低域成分および高域成分を合成する垂直方向の合成フィルタリングに対して、前記合成フィルタリングの分割レベルに対応する低域成分および高域成分を選択して供給する第１のバッファと、垂直方向の合成フィルタリングの演算過程で生成される、合成された周波数成分の一部を、分割レベル毎に独立して記憶し、垂直方向の合成フィルタリングに対して、合成フィルタリングの分割レベルに対応する低域成分および高域成分を選択して供給する第２のバッファとが備えられ、第１のバッファおよび第２のバッファから処理対象の分割レベルに対応する低域成分および高域成分が読み出され、読み出された低域成分および高域成分を用いて垂直方向の合成フィルタリングが行われ、演算過程で生成される、合成された周波数成分の一部が第２のバッファに記憶され、垂直方向の合成フィルタリングの結果である、上位の分割レベルの低域成分および高域成分に対して水平方向の合成フィルタリングが行われ、結果得られる、合成された周波数成分が第１のバッファに記憶される。

第１の本発明によれば、係数を記憶するメモリを少量で構成することができる。これにより、外部メモリを必要とすることなく、高速なウェーブレット変換を行うことができる。

第２の本発明によれば、係数を記憶するメモリを少量で構成することができる。これにより、外部メモリを必要とすることなく、高速なウェーブレット逆変換を行うことができる。

以下、図を参照して本発明の実施の形態について説明する。

図１は、本発明を適用したウェーブレット変換装置の一実施形態に係る構成例を示す図である。このウェーブレット変換装置１は、入力された画像信号に対して、水平方向のフィルタリングと垂直方向のフィルタリングを行いながら、低域成分を、所定の分割レベル（図１の例の場合、分割レベル４）まで階層的に分割する帯域分析装置である。

図１のウェーブレット変換装置１は、水平分析フィルタ部１１、レベル１バッファ１２、レベル２バッファ１３、レベル３バッファ１４、レベル４バッファ１５、セレクタ１６、Y係数バッファ１７、垂直分析フィルタ部１８、水平分析フィルタ部１９、および制御部２０により構成されている。

水平分析フィルタ部１１には、画像信号D10が入力される。水平分析フィルタ部１１は、画像信号D10に対して、分割レベル１の水平方向の低域分析フィルタリングおよび高域分析フィルタリングを行い、水平分析フィルタリング結果である、低域成分の係数と高域成分の係数からなる周波数成分の係数（以下、適宜、低域成分、高域成分、周波数成分とも称する）D11を生成する。

このとき、水平分析フィルタ部１１においては、図示せぬ内蔵メモリ（またはレジスタ）に展開されるベースバンド上の隣接する位置にある画素のデータが読み出されながら、水平方向の低域分析フィルタリングおよび高域分析フィルタリングが行われる。

レベル１バッファ１２は、分割レベル１の水平分析フィルタリングの結果を記憶、保持する。すなわち、レベル１バッファ１２には、水平分析フィルタ部１１による分割レベル１の水平分析フィルタリングの結果の周波数成分（低域成分と高域成分）の係数D11が記憶、保持される。そして、レベル１バッファ１２に垂直方向の分析フィルタリングを実行できるだけの所定の垂直ライン分のデータ（係数）が溜まり次第、垂直ライン分の係数D12は、セレクタ１６を介して読み出される。

レベル２バッファ１３は、分割レベル２の水平分析フィルタリングの結果を記憶、保持する。すなわち、レベル２バッファ１３には、水平分析フィルタ部１９による分割レベル２の水平分析フィルタリングの結果の周波数成分（低域成分と高域成分）の係数D20が記憶、保持される。そして、レベル２バッファ１３に垂直方向の分析フィルタリングを実行できるだけの所定の垂直ライン分のデータ（係数）が溜まり次第、垂直ライン分の係数D13は、セレクタ１６を介して読み出される。

レベル３バッファ１４は、分割レベル３の水平分析フィルタリングの結果を記憶、保持する。すなわち、レベル３バッファ１４には、水平分析フィルタ部１９による分割レベル３の水平分析フィルタリングの結果の周波数成分（低域成分と高域成分）の係数D21が記憶、保持される。そして、レベル３バッファ１４に垂直方向の分析フィルタリングを実行できるだけの所定の垂直ライン分のデータ（係数）が溜まり次第、垂直ライン分の係数D14は、セレクタ１６を介して読み出される。

レベル４バッファ１５は、分割レベル４の水平分析フィルタリングの結果を記憶、保持する。すなわち、レベル４バッファ１５には、水平分析フィルタ部１９による分割レベル４の水平分析フィルタリングの結果の周波数成分（低域成分と高域成分）の係数D22が記憶、保持される。そして、レベル４バッファ１５に垂直方向の分析フィルタリングを実行できるだけの所定の垂直ライン分のデータ（係数）が溜まり次第、垂直ライン分の係数D15は、セレクタ１６を介して読み出される。

セレクタ１６は、垂直分析フィルタ部１８の制御のもと、レベル１バッファ１２乃至レベル４バッファ１５のうち、対応する分割レベルのバッファからの出力を選択し、選択した出力を、係数D16として、垂直分析フィルタ部１８に出力する。

係数バッファ１７は、垂直分析フィルタリング途中に生成される係数の一部を記憶、保持する。すなわち、係数バッファ１７には、垂直分析フィルタ部１８による垂直分析フィルタリング途中に生成される係数のうち、次の垂直分析フィルタリングの処理で必要な係数が、途中演算用の係数として記憶、保持される。そして、次の垂直分析フィルタリングの際に垂直分析フィルタ部１８により読み出される。

垂直分析フィルタ部１８は、セレクタ１６からの所定の垂直ライン分の係数D16が入力されると、係数バッファ１７から途中演算用の係数（すなわち、今の垂直分析フィルタリングの際に必要な係数）D18を読み出し、係数D16および係数D18を用いて、垂直分析フィルタリングを行う。そして、垂直分析フィルタ部１８は、垂直分析フィルタリング結果の周波数成分のうち、水平方向も垂直方向も低域である低域成分の係数D19のみを水平分析フィルタ部１９に出力し、それ以外の高域成分D23をウェーブレット変換装置１の図示せぬ外部（以下、単に外部と称する）に出力する。

水平分析フィルタ部１９は、処理する対象の周波数成分の分割レベルが異なるだけであり、基本的に、水平分析フィルタ部１１と同様に構成される。すなわち、水平分析フィルタ部１９においては、図示せぬ内蔵メモリ（またはレジスタ）に展開されるベースバンド上の隣接する位置にある係数D19が読み出されながら、係数D19に対しての水平方向の低域分析フィルタリングおよび高域分析フィルタリングが行われる。

そして、水平分析フィルタ部１９は、水平分析フィルタリング結果である周波数成分（低域成分と高域成分）D20乃至D22のいずれかを、対応するレベルのバッファ（レベル２バッファ１３乃至レベル４バッファ１５のうちのいずれか）に記憶、保持させる。

制御部２０は、例えばCPU（Central Processing Unit）、ROM（Read Only Memory）、およびRAM（Random Access Memory）を含むマイクロコンピュータなどにより構成され、各種のプログラムなどを実行することにより、ウェーブレット変換装置１の各部の処理を制御する。

なお、レベル１バッファ１２乃至レベル４バッファ１５の詳細な構成については、図１０を参照して後述する。また、係数バッファ１７の詳細な構成については、図１１を参照して後述する。

次に、図２のフローチャートを参照して、図１のウェーブレット変換装置１の動作について説明する。すなわち、図２の例においては、ウェーブレット変換装置１により実行されるウェーブレット変換処理が示されている。

外部（例えば、後述する図２７のビデオカメラ部３０３など）から、水平分析フィルタ部１１に画像信号D10が入力される。ステップＳ１２において、水平分析フィルタ部１１は、画像信号D10に対して、分割レベル１の水平分析フィルタリングを行う。

すなわち、水平分析フィルタ部１１は、図示せぬ内蔵メモリ（またはレジスタ）を有しており、内蔵メモリには、図３に示される番号順に、入力される画像信号の画素が順に展開されていく。なお、図３の例においては、四角で示される画素が順に展開された結果のベースバンド画像が示されている。

水平分析フィルタ部１１は、内蔵メモリに展開されたベースバンド上の隣接する位置にある所定の数（図３の場合、５コラム（サンプル）数）の画素のデータを、位置をずらしながら読み出し、水平方向の低域分析フィルタリングおよび高域分析フィルタリングを順番に行う。

水平方向のデータは、メモリの番地に容易に展開しやすい。したがって、メモリからデータを読み出しながら、水平分析フィルタ部１１においては、水平分析フィルタリングが順番に実行される。なお、水平方向の低域分析フィルタリングおよび高域分析フィルタリングの詳細については、図７を参照して後述する。

水平分析フィルタ部１１は、ステップＳ１２において、分割レベル１の水平分析フィルタリング結果の周波数成分の係数D11を、対応するレベルのバッファ（いまの場合、レベル１バッファ１２）に記憶させる。

このとき、水平分析フィルタ部１１は、図４に示されるように、水平分析フィルタリング結果である高域成分(H)と低域成分(L)をインターリーブさせて、レベル１バッファ１２に記憶させる。

なお、従来においては、水平分析フィルタリングの結果は、低域と高域の両成分に分割されて、バッファに記憶されていた。しかしながら、従来のように、低域成分と高域成分をバッファの別のアドレスにマッピングするには、それを分配するためのコントローラが別途必要になる。

これに対して、本発明の例が示される図４の例においては、レベル１バッファ１２に、高域成分(H)と低域成分(L)が交互に記憶されている。すなわち、水平分析フィルタ部１１により、水平分析フィルタリング結果である高域成分と低域成分がインターリーブされて、レベル１バッファ１２に記憶されるので、このレベル１バッファ１２に記憶されている係数を読み出す際に、レベル１バッファ１２の先頭から順番に読み出すだけでよく、制御を単純（シンプル）にすることができる。

図２に戻り、例えば、図４に示されるレベル１バッファ１２に水平分析フィルタリング結果の周波数成分の係数が、垂直分析フィルタリングを実行できるだけの所定の垂直ライン分（図４の場合、３ライン分）溜まると、ステップＳ１３において、垂直分析フィルタ部１８は、セレクタ１６がレベル１バッファ１２の出力を選択するように制御することで、必要な垂直ライン分の周波数成分の係数をレベル１バッファ１２から読み出させる。読み出された周波数成分の係数は、係数D16として、セレクタ１６を介して、垂直分析フィルタ部１８に入力される。

垂直分析フィルタ部１８は、ステップＳ１４において、１つ前の周波数係数を求める処理において係数バッファ１７に記憶された途中演算用の係数D18を読み出し、ステップＳ１５において、３ライン分の周波数成分の係数D16、および途中演算用の係数D18を用いて、対応する分割レベル（いまの場合、分割レベル１）の垂直分析フィルタリングを行う。なお、垂直方向の低域分析フィルタリングおよび高域分析フィルタリングの詳細については、図９を参照して後述する。

垂直分析フィルタ部１８は、ステップＳ１５において、分割レベル１の垂直分析フィルタリング途中（垂直分析フィルタリングの演算過程）に生成される係数の一部（すなわち、次回の垂直分析フィルタリングに必要な係数）を、途中演算用の係数D17として係数バッファ１７に記憶させる。

この分割レベル１の垂直分析フィルタリングの結果（すなわち、分割レベル１の分析フィルタリングの結果）、図５に示されるように、低域成分(1LL)の係数および高域成分(1HH,1LH,1HH)の係数からなる４つの周波数成分の係数が生成される。なお、図５の例における四角は、１つの係数を示し、「L」および「H」の順序は、前側が水平分析フィルタリングを行った結果の帯域（低域または高域）を示し、後側が垂直分析フィルタリングを行った結果の帯域を示す。また、「L」および「H」の前の数字は分割レベルを表す。

以上が分割レベル１の分析フィルタリングであり、その結果、垂直分析フィルタ部１８においては、低域成分(1LL)D19と高域成分(1HL,1LH,1HH)D23が生成される。なお、これらのうち、各低域成分(1LL) だけは設定されている分割レベル（最終レベル）まで再度分析されるが、高域成分は、通常それ以上に分析されない。すなわち、低域成分は、最終レベルまでさらに分割されるので、最終レベルは、最低域を出力する最低域レベルとも言える。

ステップＳ１７において、垂直分析フィルタ部１８は、分析フィルタリングが、設定されている分割レベルの最終レベル（図１の場合、分割レベル４）まで終了したか否かを判定する。分割レベル１の場合、まだ、最終レベルまで終了していないので、処理は、ステップＳ１８に進む。

ステップＳ１８において、垂直分析フィルタ部１８は、高域成分(1HL,1LH,1HH)D23を、外部（例えば、後述する図２３の量子化部１１２）に出力する。

一方、低域成分(1LL)D19は、水平分析フィルタ部１９に出力される。ステップＳ１９において、水平分析フィルタ部１９は、内蔵するメモリに展開される低域成分D19の係数に対して、対応する分割レベル（いまの場合、分割レベル２）の水平分析フィルタリング（水平方向の低域分析フィルタリングおよび高域分析フィルタリング）を行い、水平分析フィルタリング結果である低域成分と高域成分を生成する。なお、ステップＳ１９の処理は、処理対象の周波数成分の分割レベルが異なるだけであり、上述したステップＳ１３の処理と基本的に同様の処理である。

ステップＳ１９の後、処理は、ステップＳ１２に戻り、それ以降の処理が繰り返される。すなわち、ステップＳ１２において、水平分析フィルタ部１９は、水平分析フィルタリング結果の周波数成分（低域成分と高域成分）の係数D20を、図４を参照して上述したように、対応するレベルのバッファ（いまの場合、レベル２バッファ１３）に記憶、保持させる。

そして、レベル２バッファ１３に水平分析フィルタリング結果の周波数成分の係数が、垂直分析フィルタリングを実行できるだけの所定の垂直ライン分溜まると、ステップＳ１３において、所定の垂直ライン分の係数D16がレベル２バッファ１３から読み出され、セレクタ１６を介して、垂直分析フィルタ部１８に入力される。そして、ステップＳ１４において、係数バッファ１７から途中演算用の係数D18が読み出され、ステップＳ１５において、所定の垂直ライン分の係数D16と途中演算用の係数D18を用いて、分割レベル２の垂直分析フィルタリングが行われる。

ステップＳ１６において、分割レベル２の垂直分析フィルタリング途中の係数の一部の係数D17が、係数バッファ１７に記憶され、レベル２の垂直分析フィルタリングの結果、低域成分(2LL)および高域成分(2HH,2LH,2HH)からなる４つの周波数成分が生成され、ステップＳ１７において、最終レベルまで終了していないと判定され、ステップＳ１８において、高域成分(2HH,2LH,2HH)D23が外部に出力される。

そして、ステップＳ１９において、低域成分(2LL)D19に対して、分割レベル２の水平分析フィルタリングが行われて、水平分析フィルタリング結果である低域成分と高域成分D21が生成され、再度、処理は、ステップＳ１２に戻り、生成された低域成分と高域成分D21が、レベル３バッファ１４に記憶、保持され、それ以降の処理が予め設定された分割レベルの最終レベルまで繰り返される。

以上の一連の処理が、予め設定された分割レベルの最終レベル（分割レベル４）の垂直分析フィルタリング途中の係数の記憶まで同様に行われる。その後、ステップＳ１７において、最終レベルまで終了したと判定され、処理は、ステップＳ２０に進む。

ステップＳ２０において、垂直分析フィルタ部１８は、最終レベルの周波数成分 (4LL,4HL,4LH,4HH)D23を、外部に出力する。これにより、分割レベル４の画像信号のウェーブレット変換は終了される。

以上のように、図１のウェーブレット変換装置１においては、レベル１から所定のレベル数までの分割レベル毎のバッファを備え、水平分析フィルタリングを行いながら、水平分析フィルタリングの結果を、分割レベル毎のバッファに記憶させている。したがって、この水平分析フィルタリングの結果を、分割レベル毎のバッファから読み出しながら、垂直方向のフィルタリングを行うことができる。すなわち、水平方向と垂直方向のフィルタリングを同時並行的に動作させることができる。

これにより、動画像や解像度が大きい画像に対しても、高速にウェーブレット変換を実行することができる。

また、図１のウェーブレット変換装置１においては、レベル１から所定のレベル数までの分割レベル毎のバッファとともに、係数バッファを配置し、垂直方向の分析フィルタリングの際に、次回の処理に必要な係数を保持しておき、その係数を次回の垂直分析フィルタリングの際に読み出して実行するようにしたので、特許文献１のように、外部にメモリを構成する必要がなくなる。

これにより、外部メモリとのデータのやり取りが必要なくなり、高速にウェーブレット変換を行うことができるようになる。この結果、外部メモリとウェーブレット変換装置との間でデータの高速化のための手段として、クロック（周波数）を上げる必要もないので、省電力化することができる。

次に、上述した分析フィルタリングにおける演算方法について具体的に説明する。分析フィルタリングにおける演算方法で最も一般的な演算方法は、畳み込み演算と呼ばれる方法である。この畳み込み演算は、デジタルフィルタの最も基本的な実現手段であり、フィルタのタップ係数に、実際の入力データを畳み込み乗算するものである。しかしながら、この畳み込み演算では、タップ長が長いとその分、計算負荷が増えてしまう場合もある。

これに対応する方法として、論文「W.Swelden,“The lifting scheme :A custom-design construction of Biorthogonal wavelets.”, Appl. Comput. Harmon. Anal., vol3, no.2, pp.186-200, 1996」で紹介されたウェーブレット変換のリフティング技術が知られている。

図６は、JPEG(Joint Photographic Experts Group)2000規格でも採用されている９×７分析フィルタのリフティング構成を示している。この９×７分析フィルタに対してリフティング技術を適用したときの分析フィルタリングについて説明する。

図６の例において、１段目（最上段）は、入力画像のサンプル群（画素列）を示し、２，３段目は、それぞれステップＡ１およびステップＡ２の処理で生成される成分（係数）を示す。また、４段目は、ステップＡ３の処理で生成される高域成分出力を示し、５段目は、ステップＡ４の処理で生成される低域成分出力を示している。最上段部は、入力画像のサンプル群に限らず、前の分析フィルタリングで得られた係数であってもよい。ここでは、最上段部が入力画像のサンプル群であるものとし、四角印（■）が偶数番目のサンプルまたはライン、丸印（●）が奇数番目のサンプルまたはラインとする。

９×７分析フィルタに対してリフティング技術を適用した分析フィルタリングにおいては、ステップＡ３の処理で高域成分が得られ、ステップＡ４の処理で低域成分が得られる。なお、ステップＡ１乃至ステップＡ４の処理は、次の式（１）乃至式（４）で表される。

このように、リフティング技術を適用した分析フィルタリングにおいては、ステップＡ１およびＡ２の処理が行われ、ステップＡ３で、高域成分の係数が生成された後に、ステップＡ４で、低域成分の係数が生成される。この際に用いられるフィルタバンクは、式（１）乃至式（４）に示されるように、加算とシフト演算のみで実現できる。したがって、計算量を大幅に低減することができる。そこで、次に説明するように、ウェーブレット変換装置１においても、水平分析フィルタリングおよび垂直分析フィルタリングに、このリフティング技術を適用する。

まず、水平分析フィルタ部１１および１９により実行される水平分析フィルタリングの処理について具体的に説明する。図７は、図２を参照して上述したように、水平方向の係数群に対しての水平分析フィルタリングを、図６のリフティング構成により実行する場合の例を示している。

図７の例においては、入力される水平方向の係数に対して、図６で上述した４つのステップ（ステップＡ１乃至Ａ４）の処理を経て、高域成分の係数（以下、高域係数とも称する）と低域成分の係数（以下、低域係数とも称する）が生成される例が示されており、リフティングのステップの方向は、図中上から下に進む。また、水平方向の係数の上に示される数字は、列（コラム）番号を示している。

さらに、上から１段目の丸および四角は、それぞれ、入力される高域係数および低域係数を表しており、２段目以降の丸および四角は、それぞれ、リフティング演算の過程で生成される高域係数および低域係数を表しており、その中でも、ハッチが付された丸および四角は、それぞれ、リフティング演算の結果である高域係数および低域係数を表している。

以下、動作について上から順に説明する。図７の上段には、水平方向にコラム番号４乃至６の３コラムの係数が入力されて、水平方向のリフティング構成による演算（以下、水平リフティング演算と称する）が行われる場合の例が示されている。

この水平リフティング演算のステップＡ３において１番目の高域係数を求め、ステップＡ４において１番目の低域係数を求めるためには、コラム番号０乃至４の４コラムの係数の入力が必要である。

その後、２番目の高域係数と低域係数を求めるためには、太線実線で示される３つの係数と、丸数字で示されるコラム番号５および６の２コラムの係数が必要であり、さらに、ステップＡ２のＰ１が示される係数を算出するためには、丸数字で示されるコラム番号４の係数も必要である。

太線実線で示される３つの係数は、１番目の高域係数および低域係数を求めるための水平リフティング演算（以下、１番目の水平リフティング演算とも称する）の過程で生成される係数のうちの一部である。

すなわち、２番目の高域係数と低域係数を求めるためには、結局、丸数字で示されるコラム番号４乃至６の３コラムの係数の入力が必要であり、さらに、１番目の水平リフティング演算の過程において生成される太線実線で示される３つの係数を、途中演算用の係数として、ラッチしておく必要がある。実際には、高々３つの係数であるので、水平分析フィルタ部１１および水平分析フィルタ部２０に、ラッチとしてよく用いられるフリップフロップを内蔵することで対応できる。

したがって、１番目の水平リフティング演算においてラッチされていた太線実線で示される３つの係数と、入力されたコラム番号４乃至６の３コラムの係数が用いられて水平リフティング演算が行われることにより、その演算過程および終了時においては、２番目の高域係数と低域係数を含めた４つの係数（太線点線で示される）が生成される。これらのうち、一点鎖線で示される３つの係数は、３番目の高域係数と低域係数を求めるために必要な係数であるので、途中演算用の係数として、内蔵されるフリップフロップにラッチされる。

コラム番号６の係数の入力の後、水平方向に２コラムの係数が追加入力される場合、すなわち、水平方向にコラム番号６乃至８の３コラムの係数が入力されて、水平リフティング演算が行われる場合の例が、図７の下段に示されている。

２番目の場合と同様に、３番目の高域係数と低域係数を求めるためには、太線実線で示される３つの係数と、丸数字で示されるコラム番号７および８の２コラムの係数が必要であり、さらに、ステップＡ２のＰ２が示される係数を算出するためには、丸数字で示されるコラム番号６の係数も必要であることがわかる。

なお、下段の太線実線で示される３つの係数は、上段の一点鎖線で示されるように、２番目の水平リフティング演算でフリップフロップにラッチされている。

したがって、２番目の水平リフティング演算でラッチされていた太線実線で示される３つの係数と、入力されたコラム番号６乃至８の３コラムの係数が用いられて水平リフティング演算が行われることにより、３番目の高域係数と低域係数を含めた４つの係数（太線点線で示される）が生成される。これらのうち、一点鎖線で示される３つの係数は、４番目の高域係数と低域係数を求めるために必要な係数であるので、内蔵されるフリップフロップにラッチされる。

以上のようにして、３コラム分の係数を順次入力しながら、途中演算用の３つの係数を保持しながら、水平リフティング演算が、画面の最右端のコラムまで実行されることで、水平方向の分析フィルタリングが完了される。

なお、以上においては、リフティング構成による１ライン分の水平分析フィルタリングの例を説明したが、上述した動作によって、係数のラインを上から下方向に順次入力しながら、リフティング構成により水平分析フィルタリングを行う動作を、図８を参照して説明する。なお、図８において、図６および図７と対応する係数については同様に図示されており、その詳細な説明は繰り返しになるので省略する。

図８の左側には、各入力ラインに対して、水平リフティング演算が行われる例が示されており、右側には、上から下の垂直方向に順に展開されていく各入力ラインの水平リフティング演算の結果の係数に対して、垂直リフティング演算が行われる例が概念的に示されている。

図中左から順に説明すると、先頭の入力ライン０における係数に対して、４つのステップからなる水平リフティング演算を経て１乃至１１の数字が付されている低域係数および高域係数が生成されている。このうち、奇数番目の数字（１，３，５，７，９，１１）が付されている係数は低域係数で、偶数番目の数字（２，４，６，８，１０）が付されている係数は高域係数である。

入力ライン１しか図示されていないが、入力ライン１乃至入力ラインｎに関しても同様である。すなわち、先頭の入力ライン１における係数に対して、４つのステップからなる水平リフティング演算を経て１乃至１１の数字が付されている低域係数および高域係数が生成されており、このうち、奇数番目の数字（１，３，５，７，９，１１）が付されている係数は低域係数で、偶数番目の数字（２，４，６，８，１０）が付されている係数は高域係数である。

そして、図８の右側に示すように、入力ライン０の水平フィルタリングの結果の１乃至１１が付された係数は、上から１段目に、手前から奥への水平方向に並べて展開される。入力ライン１の水平フィルタリングの結果の１乃至１１が付された係数は、上から２段目に、手前から奥への水平方向に並べて展開される。入力ライン２の水平フィルタリングの結果の係数は、上から３段目に、手前から奥への水平方向に並べて展開される。

以上のように、各入力ライン０乃至入力ラインｎに対しての水平フィルタリングの結果の係数が、図８の右側に示すように、上から下の垂直方向に順番に展開されていく。なお、実際には、各入力ラインの水平フィルタリングの結果の１乃至１１が付された係数は、手前から奥への水平方向に低域と高域が交互に並んでいる。

そして、垂直方向の係数が所定数集まり次第、すなわち、所定ライン数集まり次第、右側のリフティングのステップの方向に示されるように、左から右へと、垂直方向のリフティング構成による演算（すなわち、垂直リフティング演算）が行われる。

次に、垂直分析フィルタ部１８により実行される垂直分析フィルタリングについて具体的に説明する。図９は、水平分析フィルタリングの結果の係数を、図３を参照して上述したように垂直方向に並べ、垂直方向の分析フィルタリングを、図６のリフティング構成により実行する場合の例を示している。

なお、この図は、図８の右側に概念的に示した水平方向に展開されて並ぶ係数１つに着目したものであり、実際の２次元のウェーブレット変換では、ウェーブレット変換の過程で生成される周波数成分（サブバンド）の水平方向の係数の個数だけ、垂直方向の分析フィルタリングの計算が必要になることは自明である。

図９の例においては、垂直方向の係数に対して、図６で上述した４つのステップ（ステップＡ１乃至Ａ４）の処理を経て、高域係数と低域係数が生成される例が示されており、リフティングのステップの方向は、図中左から右に進む。また、垂直方向の係数の左に示される数字は、ライン番号を示している。

さらに、左から１列目の丸および四角は、それぞれ、入力される高域係数および低域係数を表しており、２列目以降の丸および四角は、それぞれ、リフティング演算の過程で生成される高域係数および低域係数を表しており、その中でも、ハッチが付された丸および四角は、それぞれ、リフティング演算の結果である高域係数および低域係数を表している。

以下、動作について左から順に説明する。図９の左側には、垂直方向にライン番号４乃至６の３ラインの係数が入力されて、垂直リフティング演算が行われる場合の例が示されている。

この垂直リフティング演算のステップＡ３において１番目の高域係数を求め、ステップＡ４において１番目の低域係数を求めるためには、ライン番号０乃至４の４ラインの係数が必要である。

その後、２番目の高域係数と低域係数を求めるためには、太線実線で示される３つの係数と、丸数字で示されるライン番号５および６の２ラインの係数が必要であり、さらに、ステップＡ２のＰ１が示される係数を算出するためには、丸数字で示されるライン番号４の係数も必要である。

太線実線で示される３つの係数は、１番目の高域係数および低域係数を求めるための垂直リフティング演算（以下、１番目の垂直リフティング演算と称する）の過程で生成される係数のうちの一部である。

すなわち、２番目の高域係数と低域係数を求めるためには、結局、丸数字で示されるライン番号４乃至６の３ラインの係数の入力が必要であり、さらに、１番目の垂直リフティング演算の過程において生成される太線実線で示される３つの係数を、途中演算用の係数として、図１の係数バッファ１７に記憶しておく必要がある。なお、このとき、垂直方向の３ラインの係数は、図１の対応するレベルのバッファから、レベル毎に読み出される。すなわち、現在のウェーブレット変換の分割レベルが２であれば、レベル２バッファ１３から係数が読み出される。

したがって、１番目の垂直リフティング演算で係数バッファ１７に記憶されていた太線実線で示される３つの係数と、対応するレベルのバッファから読み出され入力されるライン番号４乃至６の３ラインの係数が用いられて垂直リフティング演算が行われることにより、２番目の高域係数と低域係数を含めた４つの係数（太線点線で示される）が得られる。これらのうち、一点鎖線で示される３つの係数は、３番目の高域係数と低域係数を求めるために必要な係数であるので、係数バッファ１７に記憶される。

ライン番号６の係数の読み出しの後、２ラインの係数が追加して読み出される場合、すなわち、垂直方向にライン番号６乃至８の３ラインの係数が入力されて、垂直リフティング演算が行われる場合の例が、図９の右側に示されている。

２番目の場合と同様に、３番目の高域係数と低域係数を求めるためには、太線実線で示される３つの係数と、丸数字で示されるライン番号７および８の２ラインの係数が必要であり、さらに、ステップＡ２のＰ２が示される係数を算出するためには、丸数字で示されるライン番号６の係数も必要であることがわかる。

なお、右側の太線実線で示される３つの係数は、左側の一点鎖線で示されるように、２番目の垂直リフティング演算で係数バッファ１７に記憶されている。

したがって、２番目の垂直リフティング演算で記憶されていた太線実線で示される３つの係数と、対応するレベルのバッファから読み出されて入力されるライン番号６乃至８の３ラインの係数が用いられて垂直リフティング演算が行われることにより、３番目の高域係数と低域係数を含めた４つの係数（太線点線で示される）が得られる。これらのうち、一点鎖線で示される３つの係数は、４番目の高域係数と低域係数を求めるために必要な係数であるので、係数バッファ１７に記憶される。

以上のようにして、３ライン分の係数を順次入力しながら、途中演算用の３つの係数を保持しながら、垂直リフティング演算が、画面の最下位のラインまで実行されることで、垂直方向の分析フィルタリングが完了される。

図１０は、水平分析フィルタリング結果の係数が記憶される図１のレベル１バッファ１２乃至レベル４バッファ１５の構成例を示している。

レベル１バッファ１２は、水平分析フィルタ部１１から入力され、垂直分析フィルタ部１８により読み出される１ライン分の係数をそれぞれ記憶するレベル１バッファ１２−１およびレベル１バッファ１２−２により構成される。

すなわち、レベル１バッファ１２−２は、水平分析フィルタ部１１からの１ライン分の係数を記憶し、次の１ラインが入力される際に、記憶していた１ライン分の係数を、レベル１バッファ１２−１に転送する。レベルバッファ１２−１は、レベル１バッファ１２−２からの１ライン分の係数を記憶する。なお、レベル１バッファ１２−１においては、記憶していた１ライン分の係数は、次の１ラインが入力される際に上書きされる。

レベル２バッファ１３は、水平分析フィルタ部１９から入力され、垂直分析フィルタ部１８により読み出される１ライン分の係数をそれぞれ記憶するレベル２バッファ１３−１乃至レベル２バッファ１３−３により構成される。

すなわち、レベル２バッファ１３−３は、水平分析フィルタ部１９からの１ライン分の係数を記憶し、次の１ラインが入力される際に、記憶していた１ライン分の係数を、レベル２バッファ１３−２に転送する。レベル２バッファ１３−２は、レベル２バッファ１３−３の１ライン分の係数を記憶し、次の１ラインが入力される際に、記憶していた１ライン分の係数を、レベル２バッファ１３−１に転送する。レベル２バッファ１３−１は、レベル２バッファ１３−２からの１ライン分の係数を記憶する。なお、レベル２バッファ１３−１においては、記憶していた１ライン分の係数は、次の１ラインが入力される際に上書きされる。

レベル３バッファ１４は、水平分析フィルタ部１９から入力され、垂直分析フィルタ部１８により読み出される１ライン分の係数をそれぞれ記憶するレベル３バッファ１４−１乃至レベル３バッファ１４−３により構成される。

すなわち、レベル３バッファ１４−３は、水平分析フィルタ部１９からの１ライン分の係数を記憶し、次の１ラインが入力される際に、記憶していた１ライン分の係数を、レベル３バッファ１４−２に転送する。レベル３バッファ１４−２は、レベル３バッファ１４−３の１ライン分の係数を記憶し、次の１ラインが入力される際に、記憶していた１ライン分の係数を、レベル３バッファ１４−１に転送する。レベル３バッファ１４−１は、レベル３バッファ１４−２からの１ライン分の係数を記憶する。なお、レベル３バッファ１４−１においては、記憶していた１ライン分の係数は、次の１ラインが入力される際に上書きされる。

レベル４バッファ１５は、水平分析フィルタ部１９から入力され、垂直分析フィルタ部１８により読み出される１ライン分の係数をそれぞれ記憶するレベル４バッファ１５−１乃至レベル４バッファ１５−３により構成される。

すなわち、レベル４バッファ１５−３は、水平分析フィルタ部１９からの１ライン分の係数を記憶し、次の１ラインが入力される際に、記憶していた１ライン分の係数を、レベル４バッファ１５−２に転送する。レベル４バッファ１５−２は、レベル４バッファ１５−３の１ライン分の係数を記憶し、次の１ラインが入力される際に、記憶していた１ライン分の係数を、レベル４バッファ１５−１に転送する。レベル４バッファ１５−１は、レベル４バッファ１５−２からの１ライン分の係数を記憶する。なお、レベル４バッファ１５−１においては、記憶していた１ライン分の係数は、次の１ラインが入力される際に上書きされる。

これらのバッファ構成について詳しく説明する。図９を参照して上述したように、垂直分析フィルタリングに、９×７ウェーブレット変換フィルタのリフティング構成が用いられることで、対応する分割レベルのバッファには、３ライン分の係数を記憶するバッファ（例えば、レベル２バッファ１３−１乃至レベル２バッファ１３−３）が必要となる。

ただし、レベル１バッファ１２においては、最初のラインはバッファに溜めることなく、水平方向の分析フィルタリングの結果を、即座に垂直分析フィルタ部１８に出力する構成を取れるため、２ライン分のレベル１バッファ１２−１およびレベル１バッファ１２−２のみでよい。

また、例えば、図９のＰ１やＰ２の係数を求めるため、垂直リフティング演算の際、すでに使用したラインの係数も、次の垂直リフティング演算に必要になる。したがって、対応するレベルのバッファの内部では、上述したように、１つのラインの係数用のバッファに記憶されている係数を、隣接するラインの係数用のバッファに、次々と転送していく構成となる。

以上のように、各レベルのバッファには、多くとも３ライン分の係数（レベル１バッファ１２については２ライン分の係数）を記憶しておけばよい。したがって、各レベルのバッファに必要な記憶容量は、例えば、入力画像の解像度が1920×1080（通称フルHDTV）の場合には、以下のように算出される。ここで、Ｎは、係数のビット精度（例えば、16）を表す。

（１）レベル１バッファ１２の場合
レベル１バッファ１２−１に必要な記憶容量 ＝ 1920×Ｎビット
レベル１バッファ１２−２に必要な記憶容量 ＝ 1920×Ｎビット

（２）レベル２バッファ１３の場合
レベル２バッファ１３−１に必要な記憶容量 ＝ 960×Ｎビット
レベル２バッファ１３−２に必要な記憶容量 ＝ 960×Ｎビット
レベル２バッファ１３−３に必要な記憶容量 ＝ 960×Ｎビット

（３）レベル３バッファ１４の場合
レベル３バッファ１４−１に必要な記憶容量 ＝ 480×Ｎビット
レベル３バッファ１４−２に必要な記憶容量 ＝ 480×Ｎビット
レベル３バッファ１４−３に必要な記憶容量 ＝ 480×Ｎビット

（４）レベル４バッファ１５の場合
レベル４バッファ１５−１に必要な記憶容量 ＝ 240×Ｎビット
レベル４バッファ１５−２に必要な記憶容量 ＝ 240×Ｎビット
レベル４バッファ１５−３に必要な記憶容量 ＝ 240×Ｎビット

ここで、例えば、Ｎ＝16として、原画像のビット精度＝12ビットとして計算すると、

原画像のデータ量 ＝ 1920×1080×12ビット ＝ 24,883,200ビット
上記のデータ量 ＝ (1920×2＋960×3＋480×3＋240×3)×16ビット
＝ 142,080ビット
したがって、142,080 ÷ 24,883,200 ＝ 0.0057 (略175分の1)

以上のように、原画像のデータサイズから較べると、175分の1という遥かに小さいメモリ容量を各レベルのバッファに用意しておけばよいので、外部メモリを用いることなく、ウェーブレット変換装置１における内部のメモリとしてレベル１バッファ１２乃至レベル４バッファ１５を構成することができる。

図１１は、垂直分析フィルタリング過程で生成される係数の一部が記憶される図１の係数バッファ１７の構成例を示している。

係数バッファ１７は、レベル１バッファ３１−１乃至３１−３、レベル２バッファ３２−１乃至３２−３、レベル３バッファ３３−１乃至３３−３、レベル４バッファ３４−１乃至３４−４、およびセレクタ３５−１乃至３５−３により構成され、図９を参照して上述したように、垂直リフティング演算の過程で生成される途中演算用の３つの係数（すなわち、次の垂直リフティング演算に必要な３つの係数）が記憶される。

レベル１バッファ３１−１乃至３１−３は、レベル１の垂直リフティング演算の過程で生成される３つの係数をそれぞれ記憶する。レベル２バッファ３２−１乃至３２−３は、レベル２の垂直リフティング演算の過程で生成される３つの係数をそれぞれ記憶する。レベル３バッファ３３−１乃至３３−３は、レベル３の垂直リフティング演算の過程で生成される３つの係数をそれぞれ記憶する。レベル４バッファ３４−１乃至３４−３は、レベル４の垂直リフティング演算の過程で生成される３つの係数をそれぞれ記憶する。

セレクタ３５−１は、垂直分析フィルタ部１８の制御のもと、レベル１バッファ３１−１、レベル２バッファ３２−１、レベル３バッファ３３−１、レベル４バッファ３４−１のうち、対応する分割レベルのバッファを選択し、選択したバッファから対応する分割レベルの係数を読み出す。

セレクタ３５−２は、垂直分析フィルタ部１８の制御のもと、レベル１バッファ３１−２、レベル２バッファ３２−２、レベル３バッファ３３−２、レベル４バッファ３４−２のうち、対応する分割レベルのバッファを選択し、選択したバッファから対応する分割レベルの係数を読み出す。

セレクタ３５−３は、垂直分析フィルタ部１８の制御のもと、レベル１バッファ３１−３、レベル２バッファ３２−３、レベル３バッファ３３−３、レベル４バッファ３４−３のうち、対応する分割レベルのバッファを選択し、選択したバッファから対応する分割レベルの係数を読み出す。

セレクタ３５−１乃至３５−３からの３つの係数は、係数D18として、垂直分析フィルタ部１８に入力される。

なお、図９の上段において、２番目の垂直リフティング演算で記憶される一点鎖線３つの係数と、下段において、３番目の垂直リフティング演算で記憶される一点鎖線３つの係数は、同一の係数ではない。したがって、図１０の各レベルのバッファのように係数の転送を行う必要はなく、係数バッファ１７を構成する各バッファは、単純に過去の係数に、新しい係数を上書きする構成とされる。

以上のように、係数バッファ１７には、多くともレベル毎の３つの係数しか記憶しておく必要がないので、比較的少ないメモリで構成できる。なお、各レベルのバッファも、上述したように、小さいメモリ容量で構成することができる。したがって、外部メモリを用いることなく、ウェーブレット変換装置１における内部のメモリとしてレベル１バッファ１２乃至レベル４バッファ１５、および係数バッファ１７を構成することができる。

これにより、外部にメモリを構成することが必要なくなるので、外部メモリとのデータのやり取りが必要なくなり、高速にウェーブレット変換を行うことができるようになる。この結果、外部メモリとウェーブレット変換装置との間でデータの高速化のための手段として、クロック（周波数）を上げる必要もないので、省電力化することができる。

ところで、上記説明においては、一般の画像信号を用いて、図１のウェーブレット変換装置１の構成や動作を説明したが、次に、動画像であるビデオ信号がウェーブレット変換装置１に入力される場合について説明する。

ビデオ信号は、通常規格で定められており、例えば、現在我々が視聴しているテレビジョン放送の規格は、NTSC(National Television Standards Committee)方式である。また、HDTV方式は、米国の規格化団体SMPTE(The Society of Motion Picture and Television Engineers)によって、SMPTE274Mという規格番号で標準化されている。ここでは、HDTV方式(1920×1080の解像度)を用いて説明する。

図１２は、HDTV方式のビデオ信号のデータの構成要素を示している。ビデオ信号のうち、輝度成分Yの実サンプルデータ数は、１ライン当り1,920サンプルであり、Yの実サンプルデータの前に、EAV(End of Active Video)、SAV(Start of Active Video)のサンプルデータが配置される。これらは、計280サンプルからなる。この構成は、色差成分Cb,Crについても同様であるが、4:2:2のフォーマットであり、Cb,Crの実サンプルデータ数は、各々Yの半分であるため、CbとCrを合わせてYと同数になる。

このYとCb,Crを多重化すると、EAVおよびSAVで計560サンプル、Y,Cb,Crで計3840サンプルのデータが生成される。したがって、HDTV方式のSMPTE274M規格（通称HD-SDI I(High Definition-Serial Data Interface)規格）のビデオ信号をウェーブレット変換装置１に入力した場合、図１の例における画像信号D10は、この多重化されたサンプルデータになる。以降、これを前提として説明を続ける。

ウェーブレット変換装置１に、画像信号として、ビデオ信号が入力される場合には、１秒間に60フィールドのピクチャが１/60秒の速度で入力されるので、この短い時間内に、図２を参照して上述したウェーブレット変換を完了させなければならない。すなわち、高速にウェーブレット変換を行う必要がある。

その１つの方法として、図１３に示されるように、水平分析フィルタ部１１においては、ビデオ信号（画像信号D10）を入力しながら、水平方向の列数（サンプル数）が所定数に達した時点で直ちに水平方向の低域分析フィルタおよび高域分析フィルタリングが行われるようにする。

例えば、水平分析フィルタ部１１は、図示せぬ内蔵メモリに、画像信号D10がＭコラム（列）分だけ入力されて展開されるまで待機している。このＭの値は、水平分析フィルタリングのタップ数に対応しており、タップ数が大きければその分だけＭの値は大きくなる。

水平分析フィルタ部１１は、内蔵メモリにＭコラム分溜まった時点で直ちに水平分析フィルタリングを行う。すなわち、水平分析フィルタ部１１は、内蔵メモリよりＭコラム分（例えば、図３の場合、Ｍ＝３）を順次読み出し、水平方向の低域分析フィルタリングと高域分析フィルタリングとを行う。そして、その水平分析フィルタリングの結果である低域成分と高域成分は、インターリーブされて、レベル１バッファ１２に記憶される。レベル１バッファ１２に記憶されている低域成分および高域成分は、ライン数がＮラインになり次第、垂直分析フィルタ部１８に読み出され入力される。

垂直分析フィルタ部１８は、低域および高域成分のライン数がＮライン（図４の場合、Ｎ＝３）分溜まった時点で、直ちに、垂直方向の低域分析フィルタリングおよび高域分析フィルタリングを行う。このＮの値は、垂直分析フィルタリングのタップ数に対応しており、タップ数が大きければその分だけＮの値は多くなる。この垂直分析フィルタリングにより、図１３および図１４に示すように、垂直分析フィルタリング結果の低域成分(1LL)D19と、高域成分(1HL,1LH,1HH)D23とが生成される。

垂直分析フィルタリングの後、水平分析フィルタ部１９においては、内蔵メモリに、低域成分D19が水平方向の分析フィルタリングが可能になるだけのコラム数が溜まった時点で、直ちに、分割レベル２の水平分析フィルタリングが行われる。なお、このように、低域成分が繰り返し分析されるのは、画像信号のエネルギの大部分が低域成分に集中しているためである。

すなわち、分割レベル２の水平分析フィルタリングとして、水平分析フィルタ部１９は、内蔵メモリよりＭコラム分を順次読み出し、水平方向の低域分析フィルタリングと高域分析フィルタリングとを行う。その水平分析フィルタリングの結果である低域成分と高域成分は、インターリーブされて、レベル２バッファ１３に記憶される。

そして、垂直分析フィルタ部１８は、図１４に示すように、レベル２バッファ１３の低域成分および高域成分のライン数がＮ／２ラインになり次第、垂直方向の低域分析フィルタリングおよび高域分析フィルタリングを行う。この垂直フィルタリングにより、図１５に示すように、低域成分(2LL)と高域成分(2HL,2LH,2HH)が生成される。すなわち、図１５の例においては、分割レベル１の1LLの周波数成分が、2LL, 2HL,2LH,2HHの４つの周波数成分に分割されている。

以上のように、所定の分割レベルまで繰り返し実行されるウェーブレット変換が、後続するビデオ信号を入力しながら、１ピクチャのビデオ信号の終端まで繰り返し実行されることで、１画像が所定の分割レベルまで帯域分割される。

なお、さらに分割レベル数を増やす場合には、低域成分に対して繰り返し分析フィルタリングを行えばよい。図１６は、実際の画像が、Ｎ＝４とした分析フィルタリングによって分割レベル３まで分割された例を示す図である。

すなわち、この画像に対して、分割レベル１の垂直分析フィルタリングにおいては、４ライン分の周波数成分が溜まった時点ですぐに、垂直分析フィルタリングが行われ、分割レベル２の垂直分析フィルタリングにおいては、２ライン分の周波数成分が溜まった時点ですぐに、垂直分析フィルタリングが行われ、分割レベル３の垂直分析フィルタリングにおいては、１ライン分の周波数成分が溜まった時点ですぐに、垂直分析フィルタリングが行われることにより、分割レベル３まで分割されたことがわかる。

以上のように、所定の列数分または所定のライン数分の周波数成分が溜まった時点ですぐに分析フィルタリングを行うようにしたので、１ピクチャのビデオ信号の分析フィルタリングを効率的に行うことができる。すなわち、高速にウェーブレット変換を行うことができる。

また、このように、最低域成分１ライン分の係数データが得られるだけの分析フィルタリングを、画面全体のラインに対して複数回に分けて段階的に行うことで、さらに、図２７などで後述するが、例えば、ウェーブレット変換後の周波数成分を符号化し伝送して、復号を行うようなシステムにおいて、低遅延で復号画像を得ることができる。

なお、以上のビデオ信号に対しての分析フィルタリングは、ビデオ信号を構成するピクチャ（フィールドまたはフレーム）単位で行われるため、ピクチャの終端を検知し、分析フィルタリングの動作を停止してリセットする必要がある。この場合、その図示は省略するが、ピクチャの終端を検知するために、例えば、水平分析フィルタ部１１の前段などに、ビデオ信号の垂直同期信号を検出する垂直同期信号検出部を内蔵させるようにウェーブレット変換装置１が構成される。

図１７は、SMPTE274M規格の信号のうち、インタレース信号の信号分布図である。図１７の例において、上段は、第１フィールド、下段は、第２フィールドを示す。第１フィールドの先頭には、２２ライン分の垂直同期信号が存在しており、第２フィールドの先頭には、２３ライン分の垂直同期信号が存在している。

したがって、ウェーブレット変換装置１においては、水平分析フィルタ部１１の前段などに、ビデオ信号の垂直同期信号を検出する垂直同期信号検出部を内蔵させ、内蔵された垂直同期信号検出部に、これらの垂直同期信号を検出させる。

これにより、容易にピクチャの終端を検出することができ、検出次第、分析フィルタリングの動作を停止させることができる。すなわち、ビデオ信号に対しての分析フィルタリングを、ビデオ信号を構成するピクチャ（フィールドまたはフレーム）単位で行うことができる。

図１８は、図１のウェーブレット変換装置に対応したウェーブレット逆変換装置の一実施形態に係る構成例を示す図である。このウェーブレット逆変換装置５１は、図１のウェーブレット変換装置１により画像信号が所定の分割レベル（図１８の例の場合、分割レベル４）までウェーブレット変換して分割された周波数成分を入力して、合成フィルタリングを行う帯域合成装置である。なお、もちろん、ウェーブレット変換の分割レベル数が異なれば、その分割レベル数分だけのウェーブレット逆変換が行われる。

図１８のウェーブレット逆変換装置５１は、レベル３バッファ６１、レベル２バッファ６２、レベル１バッファ６３、セレクタ６４、垂直合成フィルタ部６５、係数バッファ６６、水平合成フィルタ部６７、セレクタ６８、および制御部６９により構成されている。すなわち、ウェーブレット逆変換装置５１には、最低域レベル（分割レベル４）以外の分割レベル毎に独立したバッファ（レベル３バッファ６１乃至レベル１バッファ６３）が構成されている。

図示せぬ外部（例えば、後述する図２７のディジタル復調部３１３など）より、分割レベル４の低域成分の係数(4LL)D61と高域成分の係数(4HL,4LH,4HH)D62が、セレクタ６４に入力される。分割レベル３の高域成分の係数(3HL,3LH,3HH)D63が、レベル３バッファ６１に入力される。分割レベル２の高域成分の係数(2HL,2LH,2HH)D64が、レベル２バッファ６２に入力される。分割レベル１の高域成分の係数(1HL,1LH,1HH)D65が、レベル１バッファ６３に入力される。

レベル３バッファ６１は、分割レベル４の垂直合成フィルタリングの結果に対して、水平合成フィルタリングが行われた結果の分割レベル３の低域成分の係数(3LL)D74と、外部からの分割レベル３の高域成分の係数(3HL,3LH,3HH)D63を記憶、保持する。分割レベル３の低域成分の係数(3LL)D74と分割レベル３の高域成分の係数(3HL,3LH,3HH)D63とは、レベル３バッファ６１において多重化されて、分割レベル３の周波数成分の係数(3LL, 3HL,3LH,3HH))D66としてレベル３バッファ６１から出力される。

レベル２バッファ６２は、分割レベル３の垂直合成フィルタリングの結果に対して、水平合成フィルタリングが行われた結果の分割レベル２の低域成分の係数(2LL)D75と、外部からの分割レベル２の高域成分の係数(2HL,2LH,2HH)D64を記憶、保持する。分割レベル２の低域成分の係数(2LL)D75と分割レベル２の高域成分の係数(2HL,2LH,2HH)D64とは、レベル２バッファ６２において多重化されて、分割レベル２の周波数成分の係数(2LL, 2HL,2LH,2HH)D67としてレベル２バッファ６２から出力される。

レベル１バッファ６３は、分割レベル２の垂直合成フィルタリングの結果に対して、水平合成フィルタリングが行われた結果の分割レベル１の低域成分の係数(1LL)D76と、外部からの分割レベル１の高域成分の係数(1HL,1LH,1HH)D65を記憶、保持する。分割レベル２の低域成分の係数(1LL)D76と分割レベル１の高域成分の係数(1HL,1LH,1HH)D65とは、レベル１バッファ６３において多重化されて、分割レベル１の周波数成分の係数(1LL, 1HL,1LH,1HH))D68としてレベル１バッファ６３から出力される。

なお、レベル３バッファ６１乃至レベル１バッファ６３は、例えば、図１のレベル２バッファ１３乃至レベル４バッファ１５と基本的に同様構成とされる。すなわち、図１０を参照して上述したように、レベル３バッファ６１乃至レベル１バッファ６３は、それぞれ、処理対象のレベルに対応して、垂直分析フィルタ部１８により読み出される１ライン分の係数を記憶する３つのバッファにより構成されている。

セレクタ６４は、垂直合成フィルタ部６５の制御のもと、外部、およびレベル３バッファ６１乃至レベル１バッファ６３のうち、外部または対応する分割レベルのバッファからの出力を選択し、選択した出力を、周波数成分の係数D69として垂直分析フィルタ部６５に出力する。

垂直合成フィルタ部６５は、セレクタ６４を介して、外部または対応する分割レベルのバッファから周波数成分の係数を読み出し、係数バッファ６６に記憶される途中演算用の係数D70を読み出し、セレクタ６４からの係数D69と係数D70を用いて、垂直合成フィルタリングを行いながら、その垂直合成フィルタリング途中で生成される係数の一部の係数（次の演算過程で必要な係数）を、途中演算用の係数D71として、係数バッファ６６に記憶させる。

係数バッファ６６は、垂直合成フィルタリングを実行する際に、途中演算用の係数を記憶、保持する。すなわち、係数バッファ６６には、垂直合成フィルタ部６５によるそのフィルタリング途中に生成される係数のうち、次の垂直合成フィルタリングの処理で必要な係数が記憶、保持される。そして、次の垂直合成フィルタリングの際に垂直合成フィルタ部６５により読み出される。

なお、係数バッファ６６は、例えば、図１の係数バッファ１７と基本的に同様の構成とされる。すなわち、係数バッファ６６は、図１１を参照して上述したように、各レベル毎に、垂直リフティング演算の過程で生成される途中演算用の３つの係数が記憶される３つのバッファで構成される。

水平合成フィルタ部６７は、垂直合成フィルタリングの結果生成される係数D72を水平方向に並べて、水平合成フィルタリングを行う。この結果、画像の上位ラインから順番に低域成分のラインが生成され、生成された低域成分（または画像）D73が、セレクタ６８に出力される。

セレクタ６８は、水平合成フィルタ部６７の制御のもと、次の分割レベルに進む場合には、低域成分D74乃至D76のいずれかを、次の分割レベルに対応するレベルのバッファに記憶させるため、次の分割レベルに対応するレベルのバッファ側へ出力し、ウェーブレット逆変換が、最終レベル（すなわち、ウェーブレット変換における最初の分割レベルである分割レベル１）まで完了した場合には、ベースバンド画像D77を外部に出力する。

制御部６９は、例えばCPU、ROM、およびRAMを含むマイクロコンピュータなどにより構成され、各種のプログラムなどを実行することにより、ウェーブレット逆変換装置５１の各部の処理を制御する。

次に、図１９のフローチャートを参照して、図１８のウェーブレット逆変換装置５１の動作について説明する。すなわち、図１９の例においては、ウェーブレット逆変換装置５１により実行されるウェーブレット逆変換処理が示されており、このウェーブレット逆変換処理においては、１番解像度の小さい低域成分から高域成分の順番で逆変換が行われていく。分割レベルでいえば、レベル４、レベル３、レベル２、およびレベル１の順番で実行される。

ステップＳ６１において、セレクタ６４は、外部からの分割レベル４の低域成分の係数(4LL)D61と高域成分の係数(4HL,4LH,4HH)D62を入力する。そして、セレクタ６４は、垂直合成フィルタ部６５の制御のもと、この外部からの出力を選択し、選択した出力（低域成分の係数(4LL)D61と高域成分の係数(4HL,4LH,4HH)D62）を、周波数成分の係数D69として、垂直分析フィルタ部６５に出力する。

ステップＳ６２において、垂直合成フィルタ部６５は、１つ前の周波数係数を求める処理において係数バッファ６６に記憶された途中演算用の係数D70を読み出す。なお、この係数は、前の垂直合成フィルタリングの処理で生成され、前のステップＳ６５において記憶された係数である。

ステップＳ６３において、垂直合成フィルタ部６５は、周波数成分の係数D69および読み出した係数D70を用いて、分割レベル４の垂直合成フィルタリングを行う。なお、この垂直合成フィルタリングの詳細については、図２１を参照して後述する。

ステップＳ６４において、垂直合成フィルタ部６５は、垂直合成フィルタリング途中で生成される係数の一部の係数（すなわち、途中演算用の係数）71を係数バッファ６６に記憶させる。また、垂直合成フィルタリングの結果生成される係数D72は、水平合成フィルタ部６７に入力される。

ステップＳ６５において、水平合成フィルタ部６７は、垂直合成フィルタリングの結果生成される係数D72を水平方向に並べて、分割レベル４の水平合成フィルタリングを行う。なお、この水平合成フィルタリングの詳細については、図２２を参照して後述するが、水平合成フィルタリング途中で生成される係数の一部が、内蔵される図示せぬフリップフロップに記憶される。

そして、この水平合成フィルタリングの結果、分割レベル４の低域および高域成分のウェーブレット逆変換が完了し、分割レベル３の低域成分の係数(3LL)D73が生成される。

ステップＳ６６において、制御部６９は、ウェーブレット変換における最初レベル（換言するに、ウェーブレット逆変換における最終レベル）である分割レベル１まで終了したか否かを判定し、まだ分割レベル１まで終了していないと判定した場合、処理は、ステップＳ６７に進む。

ステップＳ６７において、制御部６９は、セレクタ６８がレベル３バッファ６１への出力を選択するように制御し、水平合成フィルタリング結果の分割レベル３の低域成分の係数(3LL)D73を低域成分の係数(3LL)D74として、対応するレベルバッファ（いまの場合、レベル３バッファ６１）に記憶させる。

ステップＳ６８において、制御部６９は、外部からの分割レベル３の高域成分の係数(3HL,3LH,3HH)D63を、レベル３バッファ６１に転送させ、記憶させる。

ステップＳ６９において、垂直合成フィルタ部６５は、セレクタ６４にレベル３バッファ６１からの出力を選択するように制御することで、周波数成分の係数D66を、レベル３バッファ６１から読み出し、読み出された周波数成分の係数が、周波数成分の係数D65として、入力する。

すなわち、レベル３バッファ６１においては、分割レベル３の低域成分の係数(3LL)D74と分割レベル３の高域成分の係数(3HL,3LH,3HH)D63とは、レベル３バッファ６１において多重化されて、分割レベル３の周波数成分の係数(3LL, 3HL,3LH,3HH)D66としてレベル３バッファ６１から出力される。したがって、セレクタ６４より、分割レベル３の周波数成分の係数(3LL, 3HL,3LH,3HH)D66が、周波数成分の係数D69として、垂直分析フィルタ部６５に出力される。

その後、処理は、ステップＳ６２に戻り、それ以降の処理が繰り返される。すなわち、ステップＳ６２において、係数バッファ６６から係数が読み出され、ステップＳ６３において、分割レベル３の垂直合成フィルタリングが行われ、ステップＳ６４において、演算過程の係数が、係数バッファ６６に記憶され、ステップＳ６５において、分割レベル３の水平合成フィルタリングが行われて、分割レベル２の低域成分(2LL)が生成される。

この場合、ステップＳ６６において、まだ分割レベル１まで終了していないと判定されるので、水平合成フィルタリング結果の分割レベル２の低域成分(2LL)D75は、対応するレベルバッファ（いまの場合、レベル２バッファ６２）に記憶される。同様に、外部からの分割レベル２の高域成分(2HL,2LH,2HH)D64が、レベル２バッファ６２に転送される。

このとき、レベル３バッファ６１の場合と同様に、レベル２バッファ６２においては、分割レベル２の低域成分(2LL)D75と分割レベル２の高域成分(2HL,2LH,2HH)D64とが多重化されて、分割レベル２の周波数成分の係数(2LL,2HL,2LH,2HH)D67としてレベル２バッファ６２から出力される。

以上の一連の処理が、分割レベル１の周波数成分がレベル１バッファ６３に記憶され、読み出されるまで同様に行われる。その後、ステップＳ６２において、係数バッファ６６から係数が読み出され、ステップＳ６３において、分割レベル１の垂直合成フィルタリングが行われ、ステップＳ６４において、演算過程の係数が、係数バッファ６６に記憶され、ステップＳ６５において、分割レベル１の水平合成フィルタリングが行われて、この結果、分割レベル１まで合成フィルタリングが終了したベースバンド画像が生成され、ステップＳ６６において、分割レベル１まで終了したと判定される。

したがって、処理は、ステップＳ７０に進み、ステップＳ７０において、セレクタ６８を介して、水平合成フィルタ部６７からのベースバンド画像D77が外部（例えば、後述する図２５の逆量子化部１６２）へ出力される。

以上のように、図１８のウェーブレット逆変換装置５１においても、最低域レベル以外の分割レベル毎のバッファを内蔵メモリで対応するようにしたので、水平合成フィルタリングを行いながら、水平合成フィルタリングの結果を、分割レベル毎のバッファに記憶させている。したがって、この水平合成フィルタリングの結果を、分割レベル毎のバッファから読み出しながら、垂直方向のフィルタリングを行うことができる。すなわち、水平方向と垂直方向のフィルタリングを同時並行的に動作させることができる。

これにより、動画像や解像度が大きい画像に対しても、高速にウェーブレット変換を実行することができる。

また、図１８のウェーブレット逆変換装置５１においても、最低域レベル以外の分割レベル毎のバッファとともに、係数バッファを配置し、垂直方向の合成フィルタリングの際に、次回の処理に必要な係数を保持しておき、その係数を次回の垂直合成フィルタリングの際に読み出して実行するようにしたので、特許文献１のように、外部メモリで構成する必要がなくなる。

これにより、外部メモリとのデータのやり取りが必要なくなり、高速にウェーブレット逆変換を行うことができるようになる。

次に、上述した合成フィルタリングにおける演算方法について説明する。図６を参照して上述したリフティング技術を適用したときの分析フィルタリングに対応して、効率的にフィルタリングを実行することができることから、ウェーブレット逆変換の合成フィルタリングにおいても、同様にリフティング技術を用いることが好ましい。

図２０は、JPEG2000規格でも採用されている９×７分析フィルタのリフティング構成を示している。この９×７分析フィルタに対してリフティング技術を適用したときの合成フィルタリングについて説明する。

図２０の例において、１段目（最上段）は、ウェーブレット変換により生成された係数であり、丸印（●）が高域成分の係数を示し、四角印（■）が低域成分の係数を示す。２，３段目は、それぞれステップＢ１およびステップＢ２の処理で生成される成分（係数）を示す。また、４段目は、ステップＢ３の処理で生成される偶数成分出力を示し、５段目は、ステップＢ４の処理で生成される奇数成分出力を示している。

９×７分析フィルタに対してリフティング技術を適用した合成フィルタリングにおいては、ステップＢ３の処理で偶数成分が得られ、ステップＢ４の処理で奇数成分が得られる。なお、ステップＢ１乃至ステップＢ４の処理は、次の式（５）乃至式（８）で表される。

このように、リフティング技術を適用した合成フィルタリングにおいては、ステップＢ１およびＢ２の処理が行われ、ステップＢ３で、偶数成分の係数が生成された後に、ステップＢ４で、奇数成分の係数が生成される。この際に用いられるフィルタバンクは、式（５）乃至式（８）に示されるように、除算とシフト演算のみで実現できる。したがって、計算量を大幅に低減することができる。

そこで、次に説明するように、ウェーブレット逆変換装置５１においても、垂直合成フィルタリングおよび水平合成フィルタリングに、このリフティング技術を適用する。なお、用いる式が異なるだけであり、垂直合成フィルタリングは、図９を参照して上述した垂直分析フィルタリングと基本的に同様な動作を行い、水平合成フィルタリングは、図７を参照して上述した水平分析フィルタリングと基本的に同様な動作を行う。

まず、垂直合成フィルタ部６５により実行される垂直合成フィルタリングの処理について具体的に説明する。図２１は、垂直方向の係数群に対しての垂直合成フィルタリングを、図２０のリフティング構成により実行する場合の例を示している。

図２１の例においては、垂直方向の係数に対して、図２０で上述した４つのステップ（ステップＢ１乃至Ｂ４）の処理を経て、偶数番目の係数（以下、偶数係数とも称する）と奇数番目の係数（以下、奇数係数とも称する）が生成される例が示されており、リフティングのステップの方向は、図中左から右に進む。

また、垂直方向の係数の左側に示される数字は、ライン番号を示しており、左から１列目のハッチが付された丸および四角は、それぞれ、高域入力および低域入力を表している。さらに、２列目以降の丸および四角は、それぞれ、リフティング演算の過程で生成される高域係数および低域係数を表しており、その中でも、黒丸および黒四角は、それぞれ、リフティング演算の結果である奇数係数および偶数係数を表している。

以下、動作について左から順に説明する。図２１の左側には、垂直方向にライン番号４乃至６の３ラインの係数が入力されて、垂直方向のリフティング構成による演算（すなわち、垂直リフティング演算）が行われる場合の例が示されている。なお、いまの場合、最上段の偶数係数は、奇数係数と組みになっていないのでその説明を省略する。

この垂直リフティング演算のステップＢ３において１番目の偶数係数を求め、ステップＢ４において１番目の奇数係数を求めるためには、ライン番号０乃至５の６ラインの係数が必要である。

その後、２番目の偶数係数と奇数係数を求めるためには、太線実線で示される３つの係数と、丸数字で示されるライン番号６および７の２ラインの係数が必要であり、さらに、ステップＢ２のＱ１が示される係数を算出するためには、丸数字で示されるライン番号５の係数も必要である。

太線実線で示される３つの係数は、１番目の偶数係数および奇数係数を求めるための垂直リフティング演算（以下、１番目の垂直リフティング演算と称する）の過程で生成される係数のうちの一部である。

したがって、２番目の偶数係数と奇数係数を求めるためには、結局、丸数字で示されるライン番号５乃至７の３ラインの係数の入力が必要であり、さらに、１番目の偶数係数と奇数係数を求めるための垂直リフティング演算の過程において生成される太線実線で示される３つの係数を、図１８の係数バッファ６６に記憶しておく必要がある。なお、このとき、垂直方向の３ラインの係数は、図１８の対応するレベルのバッファから、レベル毎に読み出される。すなわち、現在のウェーブレット変換の分割レベルが２であれば、レベル２バッファ６２から係数が読み出される。

したがって、１番目の垂直リフティング演算で係数バッファ６６に記憶されていた太線実線で示される３つの係数と、対応するレベルのバッファから読み出され入力されるライン番号５乃至７の３ラインの係数が用いられて垂直リフティング演算が行われることにより、２番目の偶数係数と奇数係数を含めた４つの係数（太線点線で示される）が得られる。このうち、一点鎖線で示される３つの係数は、３番目の偶数係数と奇数係数を求めるために必要な係数であるので、係数バッファ６６に記憶される。

ライン番号７の係数の読み出しの後、２ラインの係数が追加して読み出される場合、すなわち、垂直方向にライン番号７乃至９の３ラインの係数が入力されて、垂直リフティング演算が行われる場合の例が、図２１の右側に示されている。

２番目の場合と同様に、３番目の偶数係数と奇数係数を求めるためには、太線実線で示される３つの係数と、丸数字で示されるライン番号８および９の２ラインの係数が必要であり、さらに、ステップＢ２のＱ２が示される係数を算出するためには、丸数字で示されるライン番号７の係数も必要である。

なお、右側の太線実線で示される３つの係数は、左側の一点鎖線で示されるように、２番目の垂直リフティング演算で係数バッファ６６に記憶されている。

したがって、２番目の垂直リフティング演算で記憶されていた太線実線で示される３つの係数と、対応するレベルのバッファから読み出されて入力されるライン番号７乃至９の３ラインの係数が用いられて垂直リフティング演算が行われることにより、３番目の偶数係数と奇数係数を含めた４つの係数（太線点線で示される）が得られる。このうち、一点鎖線で示される３つの係数は、３番目の偶数係数と奇数係数を求めるために必要な係数であるので、係数バッファ６６に記憶される。

以上のようにして、３ライン分の係数を順次入力しながら、途中演算用の３つの係数を保持しながら、垂直リフティング演算が、画面の最下位のラインまで実行されることで、垂直方向の合成フィルタリングが完了される。

次に、水平合成フィルタ部６７により実行される水平合成フィルタリングについて具体的に説明する。図２２は、垂直方向の合成フィルタリングの結果を水平方向に並べて、水平合成フィルタリングを、図２０のリフティング構成により実行する場合の例を示している。

図２２の例においては、水平方向の係数に対して、図２０で上述した４つのステップ（ステップＢ１乃至Ｂ４）の処理を経て、奇数係数と偶数係数が生成される例が示されており、リフティングのステップの方向は、図中上から下に進む。

また、水平方向の係数の上に示される数字は、列（コラム）番号を示しており、上から１段目のハッチが付された丸および四角は、それぞれ、高域入力および低域入力を表しており、２段目以降の丸および四角は、それぞれ、リフティング演算の過程で生成される高域係数および低域係数を表しており、その中でも、黒丸および黒四角は、それぞれ、リフティング演算の結果である奇数係数および偶数係数を表している。

以下、動作について上から順に説明する。図２２の上段には、水平方向にコラム番号５乃至７の３コラムの係数が入力されて水平方向のリフティング構成による演算（以下、水平リフティング演算と称する）が行われる場合の例が示されている。なお、いまの場合、最左側の偶数係数は奇数係数と組みになっていないのでその説明を省略する。

この水平リフティング演算のステップＢ３において１番目の偶数係数を求め、ステップＢ４において１番目の奇数係数を求めるためには、コラム番号０乃至５の６コラムの係数が必要である。

その後、２番目の奇数係数と偶数係数を求めるためには、太線実線で示される３つの係数と、丸数字で示されるコラム番号６および７の２コラムの係数が必要であり、さらに、ステップＢ２のＱ１が示される係数を算出するためには、丸数字で示されるコラム番号５の係数も必要である。

太線実線で示される３つの係数は、１番目の奇数係数および偶数係数を求めるための水平リフティング演算（以下、１番目の水平リフティング演算とも称する）の過程で生成される係数のうちの一部である。

すなわち、２番目の奇数係数と偶数係数を求めるためには、結局、丸数字で示されるコラム番号５乃至７の３コラムの係数の入力が必要であり、さらに、１番目の水平リフティング演算の過程において生成される太線実線で示される３つの係数を、ラッチしておく必要がある。実際には、高々３つの係数であるので、水平分析フィルタ部６７に、ラッチとしてよく用いられるフリップフロップを内蔵することで対応できる。

したがって、１番目の水平リフティング演算でラッチされていた太線実線で示される３つの係数と、入力されたコラム番号５乃至７の３コラムの係数が用いられて水平リフティング演算が行われることにより、その演算過程および終了時においては、２番目の奇数係数と偶数係数を含めた４つの係数（太線点線で示される）が得られる。このうち、一点鎖線で示される３つの係数は、３番目の奇数係数と偶数係数を求めるために必要な係数であるので、内蔵されるフリップフロップにラッチされる。

コラム番号７の係数の入力の後、水平方向に２コラムの係数が追加入力される場合、すなわち、水平方向にコラム番号７乃至９の３コラムの係数が入力されて、水平リフティング演算が行われる場合の例が、図２２の下段に示されている。

２番目の場合と同様に、３番目の奇数係数と偶数係数を求めるためには、太線実線で示される３つの係数と、丸数字で示されるコラム番号８および９の２コラムの係数が必要であり、さらに、ステップＢ２のＱ２が示される係数を算出するためには、丸数字で示されるコラム番号７の係数も必要である。

なお、下段の太線実線で示される３つの係数は、上段の一点鎖線で示されるように、２番目の水平リフティング演算でラッチされている。

したがって、２番目の水平リフティング演算でラッチされていた太線実線で示される３つの係数と、新たに入力されるコラム番号７乃至９の３コラムの係数が用いられて水平リフティング演算が行われることにより、３番目の奇数係数と偶数係数を含めた４つの係数（太線点線で示される）が得られる。このうち、一点鎖線で示される３つの係数は、４番目の奇数係数と偶数係数を求めるために必要な係数であるので、内蔵されるフリップフロップにラッチされる。

以上のようにして、３コラム分の係数を順次入力しながら、途中演算用の３つの係数を保持しながら、水平リフティング演算が、画面の最右端のコラムまで実行されることで、水平方向の合成フィルタリングが完了される。

以上のように、垂直合成フィルタリングおよび水平合成フィルタリングにおいても、９×７ウェーブレット変換フィルタのリフティング構成が用いられることで、図１０を参照して上述したように、対応する分割レベルのバッファには、３ライン分の係数を記憶する各ラインの係数用のバッファが必要となり、さらに、図２１のＱ１およびＱ２の係数を求めるため、垂直リフティング演算の際、すでに使用したラインの係数も、次の垂直リフティング演算に必要になる。

したがって、対応するレベルのバッファの内部では、１つのラインの係数用のバッファに記憶されている係数を、隣接するラインの係数用のバッファに、次々と転送していく構成となる。すなわち、図１８のレベル３バッファ６１乃至レベル１バッファ６３も、図１０に示したレベル２バッファ１３乃至レベル４バッファ１５と基本的に同様の構成とされる。

また、垂直合成フィルタリングにおいても、図１８の係数バッファ６６には、９×７ウェーブレット変換フィルタのリフティング構成が用いられることで、レベル毎の垂直リフティング演算の過程で生成される３つの係数をそれぞれ記憶する必要がある。したがって、図１８の係数バッファ６６も、図１１に示した係数バッファ１７と基本的に同様の構成とされる。

以上のように、図１８のレベル３バッファ６１乃至レベル１バッファ６３も、係数バッファ６６も、比較的少ないメモリで構成できる。したがって、図１８のウェーブレット逆変換装置５１内に、レベル３バッファ６１乃至レベル１バッファ６３も、係数バッファ６６を構成できるので、外部メモリを設ける必要がない。

したがって、外部メモリとのデータのやり取りが必要なくなり、高速にウェーブレット変換を行うことができるようになる。この結果、外部メモリとウェーブレット変換装置との間でデータの高速化のための手段として、クロック（周波数）を上げる必要もないので、省電力化することができる。

ところで、上記説明においては、図１２乃至図１６を参照して、動画像であるビデオ信号をウェーブレット変換する例を説明したが、ビデオ信号を構成するピクチャ単位でウェーブレット変換して生成（分割）された周波数成分の係数をウェーブレット逆変換する場合にも、同様に、高速にウェーブレット逆変換を行う必要がある。

したがって、ウェーブレット逆変換装置５１における垂直合成フィルタ部６５も、ウェーブレット変換装置１における垂直分析フィルタ部１８と同様に、周波数成分の係数が、垂直方向に所定数（垂直合成フィルタリングを実行可能だけの数）分溜まった時点で、直ちに、垂直方向の合成フィルタリングを行う。

ウェーブレット逆変換装置５１における水平合成フィルタ部６７も、ウェーブレット変換装置１における水平分析フィルタ部１１と同様に、周波数成分の係数が、水平方向に所定数（水平合成フィルタリングを実行可能だけの数）に達した時点で直ちに水平方向の合成フィルタリングを行う。

以上のように、周波数成分の係数が、垂直方向および水平方向に所定数溜まった時点ですぐに合成フィルタリングを行うようにしたので、１ピクチャのビデオ信号の合成フィルタリングを効率的に行うことができる。すなわち、高速にウェーブレット逆変換を行うことができる。

また、上記説明においては、図１７を参照して、図１のウェーブレット変換装置１において、動画像であるビデオ信号をウェーブレット変換する場合には、ビデオ信号の垂直同期信号を検出する手段が備えることで、ピクチャの終端を検知するように説明した。

図１７で説明したようにしてピクチャの終端を検知して、ビデオ信号を構成するピクチャ単位でウェーブレット変換して生成された周波数成分を、ウェーブレット逆変換する場合には、その図示は省略するが、ウェーブレット逆変換装置５１のセレクタ６８の後段には、ウェーブレット逆変換によって生成されたピクチャ信号（すなわち、上述したベースバンド画像D77）の後ろに、ビデオの垂直同期信号を挿入する垂直同期信号挿入部が構成される。

すなわち、ウェーブレット逆変換装置５１のセレクタ６８の後段に垂直同期信号挿入部を構成させ、垂直同期信号挿入部に、例えば、セレクタ６８からのベースバンド画像D77の後ろに、ビデオの垂直同期信号を挿入させ、生成したビデオ信号を外部に出力させる。

以上のようにして、後続のピクチャにも同様に、ビデオの垂直同期信号を継続して挿入することで、生成されたビデオ信号を順次出力することができる。これにより、動画像を再現することができる。

以上のように、本発明のウェーブレット変換装置においては、レベル１から所定のレベル数までの分割レベル毎のバッファを備え、水平分析フィルタリングを行いながら、水平分析フィルタリングの結果が、分割レベル毎のバッファに記憶されるようにしたので、この水平分析フィルタリングの結果を、分割レベル毎のバッファから読み出しながら、垂直方向のフィルタリングを行うことができる。すなわち、水平方向と垂直方向のフィルタリングを同時並行的に動作させることができる。

これにより、動画像や解像度が大きい画像に対しても、高速にウェーブレット変換を実行することができる。

また、各分析フィルタリングを、リフティングで構成するようにしたので、水平分析フィルタリングの結果を記憶させるレベル毎のバッファや、垂直分析フィルタリング途中の係数の一部を記憶しておく係数バッファを少ない容量で構成することができる。これにより、これらのバッファを、ウェーブレット変換装置内に内蔵させることができるので、外部にメモリを構成する必要がなくなる。

これにより、外部メモリとのデータのやり取りが必要なくなり、高速にウェーブレット変換を行うことができるようになる。この結果、外部メモリとウェーブレット変換装置との間でデータの高速化のための手段として、クロック（周波数）を上げる必要もないので、省電力化することができる。

一方、本発明のウェーブレット逆変換装置においても、最低域レベル以外の分割レベル毎のバッファを備え、水平合成フィルタリングを行いながら、水平合成フィルタリングの結果が、分割レベル毎のバッファに記憶されるようにしたので、この水平合成フィルタリングの結果を、分割レベル毎のバッファから読み出しながら、垂直方向のフィルタリングを行うことができる。すなわち、水平方向と垂直方向のフィルタリングを同時並行的に動作させることができる。

これにより、動画像や解像度が大きい画像に対しても、高速にウェーブレット変換を実行することができる。

また、各合成フィルタリングを、リフティングで構成するようにしたので、水平合成フィルタリングの結果を記憶させるレベル毎のバッファや、垂直合成フィルタリング途中の係数の一部を記憶しておく係数バッファを少ない容量で構成することができる。これにより、これらのバッファを、ウェーブレット逆変換装置内に内蔵させることができるので、外部にメモリを構成する必要がなくなる。

これにより、外部メモリとのデータのやり取りが必要なくなり、高速にウェーブレット変換を行うことができるようになる。この結果、外部メモリとウェーブレット逆変換装置との間でデータの高速化のための手段として、クロック（周波数）を上げる必要もないので、省電力化することができる。

さらに、本発明のウェーブレット変換装置およびウェーブレット逆変換装置においては、所定の数の周波数成分が溜まった時点ですぐに分析フィルタリングおよび合成フィルタリングを行うようにしたので、分析フィルタリングおよび合成フィルタリングを効率的に行うことができる。すなわち、高速にウェーブレット変換および逆変換を行うことができ、１秒間に60フィールドのピクチャが１/60秒の速度で入力されるビデオ信号のウェーブレット変換および逆変換にも対応することができる。

これにより、さらに、後述するウェーブレット変換を用いた符号化処理およびウェーブレット逆変換を用いた復号処理を含む伝送システムにおいて、ライン毎の並行処理が可能になり、低遅延での復号画像を得ることができるようになる。

また、本発明のウェーブレット変換装置において、垂直同期信号を検出する手段を備え、本発明のウェーブレット逆変換装置において、垂直同期信号を挿入する手段を備えるようにしたので、ビデオ信号に対しての分析フィルタリングを、ビデオ信号を構成するピクチャ（フィールドまたはフレーム）単位で行うことができる。

以上説明した本発明は、画像またはビデオ信号をウェーブレット変換する装置または方法に関するものであり、また、帯域分析された情報を合成フィルタバンクリングして画像またはビデオ信号に復元するウェーブレット逆変換する装置または方法に関するものであり、そのような装置または方法であれば、様々なものに適用することができる。

すなわち、上記説明においては、ウェーブレット変換を行って、画像信号やビデオ信号を複数の周波数成分に分割するウェーブレット変換装置１、および、ウェーブレット変換装置１に対応し、ウェーブレット変換装置１により生成された周波数成分をウェーブレット逆変換するウェーブレット逆変換装置５１について説明したが、ウェーブレット変換は、通常、画像圧縮の前処理として多用されている。そこで、次に、ウェーブレット変換により生成される周波数成分（以下、係数データとも称する）を圧縮符号化する画像符号化装置と、画像符号化装置により圧縮符号化された係数データを復号する画像復号装置について説明する。

図２３は、本発明を適用した画像符号化装置の一実施形態に係る構成例を示す図である。すなわち、画像符号化装置においては、本発明のウェーブレット変換を圧縮の前処理として行う。

図２３の例において、画像符号化装置１０１は、ウェーブレット変換部１１１、量子化部１１２、エントロピ符号化部１１３、およびレート制御部１１４により構成されている。

ウェーブレット変換部１１１は、図１のウェーブレット変換装置１と基本的に同様の構成とされる。すなわち、ウェーブレット変換部１１１は、分割レベル毎に独立したバッファ（レベル１バッファ１２乃至レベル４バッファ１５）と、垂直分析フィルタリング途中の係数の一部を記憶する係数バッファ１７とを備えており、入力したビデオ信号D110（画像信号D10に相当）が所定のコラム数まで溜まった時点で、直ちにビデオ信号D110に対して水平分析フィルタリングを行い、水平分析フィルタリングの結果の係数データ（周波数成分）を各レベルに対応したバッファに記憶する。そして、水平分析フィルタリングの結果の係数データが、各レベルに対応したバッファに所定のライン数まで溜まった時点で、結果の係数データと係数バッファ１７からの係数データを用いて、垂直分析フィルタリングを行い、垂直分析フィルタリング途中の係数の一部を係数バッファ１７に記憶させ、垂直分析フィルタリング結果を水平分析フィルタリングの入力とすることを所定の分割レベルまで繰り返し、分析後の係数データD111を量子化部１１２に供給する。

例えば、分割レベル２の分析フィルタリングでは、図１６に示したように、分割レベル１の分析フィルタリングで生成される1LLの４ラインをウェーブレット変換することで、2LL,2HL,2LH,2HHの２ラインが得られる。分割レベル３の分析フィルタリングでは、2LLの２ラインをウェーブレット変換することで、3LL,3HL,3LH,3HHの１ラインが得られる。分割レベル３の最終の分析フィルタリングであった場合には、3LLが最低域となる。

なお、図１７を参照して上述したように、ビデオ信号の入力時には、ビデオ信号の垂直同期信号（すなわち、ピクチャの終端）を検出することにより、ピクチャの終端で分析フィルタリングの動作が停止され、ピクチャ毎にウェーブレット変換が行われている。

量子化部１１２は、ウェーブレット変換部１１１により生成される係数データD111を、例えば量子化ステップサイズで除算することにより量子化し、量子化係数データD112を生成する。

この際、量子化部１１２は、生成された周波数成分の最低域（図１６の場合、3LL）の１ライン分と、この１ラインを生成するために必要になった他の周波数成分の複数ラインとから構成される単位をラインブロックとし、このラインブロック毎に量子化ステップサイズを設定することができる。このラインブロックは、ある画像領域のすべての周波数成分（図１６の場合、3LL乃至1HHまでの１０個の周波数成分）の係数を包含しているため、ラインブロック毎に量子化を行えば、ウェーブレット変換の特徴である多重解像度分析の利点を活かすことができる。また、全画面でラインブロック数だけを決めればよいため、画像符号化装置１０１の負荷も小さくて済む。

さらに、画像信号のエネルギは一般的に低域成分に集中しており、また、人間の視覚上、低域成分の劣化が目立ちやすいという特性があるため、量子化に際しては、低域成分のサブバンドでの量子化ステップサイズが結果的に小さな値になるように、重み付けを行うことが有効である。この重み付けにより、低域成分には相対的に多くの情報量が割り当てられるようになり、全体の主観的な画質が向上する。

エントロピ符号化部１１３は、量子化部１１２で生成された量子化係数データD112を情報源符号化し、圧縮された符号化コードストリームD113を生成する。情報源符号化としては、例えばJPEG方式やMPEG（Moving Picture Experts Group）方式で用いられているハフマン符号化や、JPEG2000方式で用いられているさらに高精度な算術符号化を用いることができる。

ここで、エントロピ符号化をどの範囲の係数に対して行うかは、圧縮効率に直接関係する非常に重要な要素になる。例えば、JPEG方式やMPEG方式では、８×８のブロックに対してDCT（Discrete Cosine Transform）変換を施し、生成された６４個のDCT変換係数に対してハフマン符号化を行うことで、情報を圧縮している。すなわち、６４個のDCT変換係数がエントロピ符号化の範囲になる。

ウェーブレット変換部１１１では、８×８ブロックに対するDCT変換とは異なり、ライン単位でウェーブレット変換を施しているため、エントロピ符号化部１１３では、各周波数帯域独立に、且つ各周波数帯域内をＰライン毎に情報源符号化する。

Ｐは１ラインが最低であるが、ライン数が少ない場合には参照情報が少なくて済み、メモリ容量を減らすことができる。逆に、ライン数が多い場合には情報量がその分増えるため、符号化効率が向上させることができる。しかしながら、Ｐが各周波数帯域内のラインブロックのライン数を超えた値になると、次のラインブロックのラインまで必要になる。このため、このラインブロックの量子化係数データがウェーブレット変換及び量子化によって生成されるまで待たなければならず、この時間が遅延時間となってしまう。

したがって、低遅延のためには、Ｐはラインブロックのライン数以下である必要がある。例えば、図１６の例では、3LL,3HL,3LH,3HHの周波数帯域については、ラインブロックのライン数＝１ラインであるためＰ＝１となる。また、2HL,2LH,2HHのサブバンドについては、ラインブロックのライン数＝２ラインであるためＰ＝１または２となる。

レート制御部１１４は、最終的に目標のビットレート又は圧縮率に合わせるための制御を行い、レート制御後の符号化コードストリームD114を外部に出力する。例えば、このレート制御部１１４は、ビットレートを上げる場合には量子化ステップサイズを小さくし、ビットレートを下げる場合には量子化ステップサイズを大きくするように、量子化部１１２に対して制御信号D115を送信する。

次に、図２４のフローチャートを参照して、図２３の画像符号化装置１０１の画像符号化処理について説明する。

図示せぬ外部（例えば、後述する図２７のビデオカメラ部３０３など）から、ウェーブレット変換部１１１には、ビデオ信号D110が入力される。ステップＳ１１１において、ウェーブレット変換部１１１は、入力したビデオ信号D110に対して、ウェーブレット変換処理を実行する。なお、このウェーブレット変換処理は、ビデオ信号D110から垂直同期信号が検出されることでピクチャ毎に、かつライン単位で行われる処理であるが、図２を参照して上述したウェーブレット変換処理と基本的に略同様な処理を行うので、その説明は省略する。

ステップＳ１１１のウェーブレット変換処理により、入力したビデオ信号D110（画像信号D10に相当）が所定のコラム数まで溜まった時点で、直ちにビデオ信号D110に対して水平分析フィルタリングを行い、水平分析フィルタリングの結果の係数データ（周波数成分）を各レベルに対応したバッファに記憶する。そして、水平分析フィルタリングの結果の係数データが、各レベルに対応したバッファに所定のライン数まで溜まった時点で、結果の係数データと係数バッファ１７からの係数データを用いて、垂直分析フィルタリングを行い、垂直分析フィルタリング途中の係数の一部を係数バッファ１７に記憶させ、垂直分析フィルタリング結果を水平分析フィルタリングの入力とすることが所定の分割レベルまで繰り返されることで、分析後の係数データD111が量子化部１１２に供給される。

すなわち、ウェーブレット変換部１１１は、図１３乃至図１６を参照して上述したように、最低域分１ライン分の係数データが得られるだけのフィルタ処理を段階的に、画面全体のラインに対して複数回に分けて行っている。

ステップＳ１１２において、量子化部１１２は、前回の後述するステップＳ１１４のレート制御部１１４からの制御のもと、ウェーブレット変換部１１１により生成される係数データD111を、例えば量子化ステップサイズで除算することにより量子化し、量子化係数データD112を生成する。

この際、量子化部１１２は、生成された周波数成分の最低域（図１６の場合、3LL）の１ライン分と、この１ラインを生成するために必要になった他の周波数成分の複数ラインとから構成される単位をラインブロックとし、このラインブロック毎に量子化ステップサイズを設定し、量子化を行っている。すなわち、量子化部１１２も所定のライン数が溜まった時点で、直ちにラインブロック毎に量子化を行っている。

ステップＳ１１３において、エントロピ符号化部１１３は、量子化部１１２で生成された量子化係数データD112をエントロピ符号化（情報源符号化）し、圧縮された符号化コードストリームD113を生成する。

ここで、ウェーブレット変換部１１１においては、ライン単位でウェーブレット変換を施しているため、エントロピ符号化部１１３でも、各周波数帯域独立に、かつ各周波数帯域内をＰライン毎に情報源符号化している。すなわち、エントロピ符号化部１１３も、Ｐライン（ラインブロックのライン数以下）が溜まった時点で直ちに情報源符号化を行っている。

ステップＳ１１４において、レート制御部１１４は、レート制御（すなわち、最終的に目標のビットレートまたは圧縮率に合わせるための制御）を行い、レート制御後の符号化コードストリームD114を外部に出力する。

以上のように、画像符号化装置においては、ライン単位でウェーブレット変換が行われ、ラインブロック毎に量子化が行われ、ラインブロックのライン数以下のＰライン毎に、情報源符号化が行われて、外部に、Ｐライン毎に符号化された符号化コードストリームD114が外部に出力されている。すなわち、ウェーブレット変換処理、量子化処理、および情報源符号化処理を、各所定のライン単位で並列に動作させることができる。

これにより、例えば、画像符号化装置により符号化された符号化データを伝送した際には、Ｐライン毎に符号化されたデータが次々に伝送されるので、符号化データを受信し復号する画像復号装置（図２５の画像復号装置１５１）においては、低遅延で復号画像を得ることができる。

図２５は、図２３の画像符号化装置に対応する画像復号装置の一実施形態に係る構成例を示す図である。

図２５の例において、画像復号装置１５１は、エントロピ復号部１６１、逆量子化部１６２、ウェーブレット逆変換部１６３により構成されている。

エントロピ復号部１６１は、入力した符号化コードストリームD160を情報源復号し、量子化係数データD161を生成する。情報源復号としては、画像符号化装置１０１の情報源符号化に対応して、ハフマン復号や、高効率な算術復号などを用いることができる。なお、図２３で上述したように、画像符号化装置１０１においてＰラインごとに情報源符号化されている場合には、エントロピ復号部１６１においても同様に、各サブバンドが独立に、かつ各サブバンド内がＰライン毎に情報源復号される。

逆量子化部１６２は、量子化係数データD161に量子化ステップサイズを乗算することにより逆量子化し、係数データD162を生成する。この量子化ステップサイズは、通常、符号化コードストリームのヘッダなどに記述されている。なお、図２３で上述したように、画像符号化装置１０１において、ラインブロック毎に量子化ステップサイズが設定されている場合には、逆量子化部１６２においても同様に、ラインブロック毎に逆量子化ステップサイズが設定されて、逆量子化される。

ウェーブレット逆変換部１６３は、図１８のウェーブレット逆変換装置５１と基本的に同様の構成とされる。すなわち、ウェーブレット逆変換部１６３は、最低域のレベル以外の分割レベル毎に独立したバッファ（レベル３バッファ６１乃至レベル３バッファ６３）と垂直合成フィルタリング途中の係数の一部を記憶する係数バッファ６６とを備えており、係数データD162に対して、垂直合成フィルタリングと水平合成フィルタリングを行い、垂直合成フィルタリング途中の係数の一部を係数バッファ６６に記憶し、水平合成フィルタリングの結果の係数データを各レベルに対応したバッファに記憶する。そして、ウェーブレット逆変換部１６３は、各レベルに対応したバッファに記憶された係数データが所定数溜まった時点で直ちに、結果の係数データと係数バッファ６６からの係数を用いて、垂直合成フィルタリングと水平合成フィルタリングを行うことをレベル１まで繰り返し、ベースバンド画像を生成する。このとき、さらに、ウェーブレット逆変換部１６３においては、ベースバンド画像に、垂直同期信号が挿入されて、ビデオ信号D163が生成され、外部に出力される。

次に、図２６のフローチャートを参照して、図２５の画像復号装置１５１の画像復号処理について説明する。

エントロピ復号部１６１には、外部（例えば、後述する図２７のディジタル復調部３１３）から、図２４の画像符号化処理により符号化された符号化コードストリームD160が入力される。エントロピ復号部１６１は、ステップＳ１６１において、入力した符号化コードストリームD160をエントロピ復号（情報源復号）し、量子化係数データD161を生成する。

このとき、画像符号化装置１０１においてＰライン毎に情報源符号化されているので、エントロピ復号部１６１においても同様に、各サブバンドが独立に、かつ各サブバンド内がＰライン毎に情報源復号される。

逆量子化部１６２は、ステップＳ１６２において、量子化係数データD161に量子化ステップサイズを乗算することにより逆量子化し、係数データD162を生成する。

このとき、画像符号化装置１０１において、ラインブロック毎に量子化ステップサイズが設定されているので、逆量子化部１６２においても同様に、ラインブロック毎に逆量子化ステップサイズが設定されて、逆量子化される。

ウェーブレット逆変換部１６３は、ステップＳ１６３において、係数データD162に対して、ウェーブレット逆変換処理を実行する。なお、このウェーブレット逆変換処理は、ライン単位で行われ、画像が生成された後に垂直同期信号が挿入される処理であるが、図９１を参照して上述したウェーブレット逆変換処理と基本的に略同様な処理を行うので、その説明は省略する。

ステップＳ１６３のウェーブレット変換処理により、係数データD162に対して、垂直合成フィルタリングと水平合成フィルタリングを行い、垂直合成フィルタリング途中の係数の一部を係数バッファ６６に記憶し、水平合成フィルタリングの結果の係数データを各レベルに対応したバッファに記憶し、各レベルに対応したバッファに記憶された係数データが所定数溜まった時点で直ちに、結果の係数データと係数バッファ６６からの係数を用いて、垂直合成フィルタリングと水平合成フィルタリングを行うことが、レベル１まで繰り返されることで、ベースバンド画像が生成される。このとき、さらに、ベースバンド画像に、垂直同期信号が挿入されて、ビデオ信号D163が生成され、外部（例えば、後述する図２７のビデオカメラ部３０３）に出力される。

すなわち、画像符号化装置１０１において、ライン単位でウェーブレット変換処理が行われているので、ウェーブレット逆変換部１６３においても同様に、ライン単位で、ウェーブレット逆変換処理が行われる。

以上のように、画像復号装置１５１においては、入力された符号化コードストリームがＰライン毎に情報源復号され、ラインブロック毎に逆量子化が行われ、ライン単位でウェーブレット逆変換が行われて、ベースバンド画像が生成され、ベースバンド画像に、垂直同期信号が挿入されて、ビデオ信号D163が生成され、外部に出力される。すなわち、復号処理、逆量子化処理、およびウェーブレット逆変換処理は、各所定のライン単位で並列に動作させることができる。

これにより、符号化データを伝送した際には、次々に伝送されてきた符号化され、データが、次々に、Ｐライン毎に復号され、ライン単位で生成されるので、低遅延で復号画像を得ることができる。

以上のように、図２３および図２５を参照して上述した画像符号化装置１０１および画像復号装置１５１における各処理は、ライン単位で並列的に動作させることで、画像の圧縮符号化および復号処理をより低遅延で行うことが可能である。

次に、図２３および図２５を参照して上述した画像符号化装置１０１および画像復号装置１５１を様々なシステムに適用した例について説明する。

図２７は、本発明のウェーブレット変換を含む画像符号化およびウェーブレット逆変換を含む画像復号方法を適用可能なディジタルトライアックスシステムの一例の構成を示している。

トライアックスシステムは、テレビジョン放送局や制作スタジオなどにおいて、スタジオ収録や中継などの際に、ビデオカメラと、カメラコントロールユニットやスイッチャとを接続する１本の同軸ケーブルで、映像信号、音声信号、送り返し（リターン）の映像信号、同期信号など複数の信号を重畳させて送信すると共に、電源の供給も行うようにしたシステムである。

従来のトライアックスシステムは、アナログ信号を用いて上述の各信号の伝送を行うようにした例が大部分であった。一方、近年では、システム全体のディジタル化に伴い、放送局内などで用いるトライアックスシステムのディジタル化が進んでいる。

既存のディジタルトライアックスシステムでは、トライアックスケーブルを介して伝送されるディジタルビデオ信号は、非圧縮のビデオ信号であった。これは、特に放送局などにおいては信号の遅延時間に対する要求スペックが厳しく、基本的に、撮像から例えばモニタ出力までの遅延時間が１フィールド（16.67msec）以内であることが要求されるためである。高圧縮率および高画質を実現したMPEG２やMPEG４といった圧縮符号化方式は、ビデオ信号の圧縮符号化や圧縮ビデオ信号の復号に際して数フレーム分の時間を要し、遅延時間が大きいため、トライアックスシステムに採用されることはなかった。

本発明のウェーブレット変換を含む画像符号化およびウェーブレット逆変換を含む画像復号方法は、図２および図１９を参照して上述したように水平フィルタリングと垂直フィルタリングの並行動作が可能であるとともに、図２４および図２６を参照して上述したように、ライン単位で行われることから並行動作が可能であり、画像データの入力から出力画像が得られるまでの遅延時間が短くできるため、ディジタルトライアックスシステムに対して用いて好適なものである。

図２７のディジタルトライアックスシステムは、送信ユニット３００とカメラ制御部３０２とがトライアックスケーブル（同軸ケーブル）３０１を介して接続される。送信ユニット３００からカメラ制御部３０２に対する、実際に放映されたり、素材として用いられるディジタルビデオ信号およびディジタルオーディオ信号（以下、本線信号と呼ぶ）の送出、カメラ制御部３０２から送信ユニット３００に対する、インカム用のオーディオ信号およびリターン用のディジタルビデオ信号の送出が、トライアックスケーブル３０１を介して行われる。

送信ユニット３００は、例えば図示されないビデオカメラ装置に内蔵される。これに限らず、送信ユニット３００がビデオカメラ装置に対する外部装置として、ビデオカメラ装置と所定に接続されて用いられるものとしてもよい。また、カメラ制御部３０２は、例えば一般的にCCU(Camera Control Unit)と呼ばれる装置である。

なお、ディジタルオーディオ信号については、この発明の主旨と関わりが少ないので、繁雑さを避けるための説明を省略する。

ビデオカメラ部３０３は、例えば図示されないビデオカメラ装置内に構成され、レンズ、フォーカス機構、ズーム機構、アイリス調整機構などを有する光学系３５０を介して入射された被写体からの光を、CCD(Charge Coupled Device)などからなる図示されない撮像素子で受光する。撮像素子は、受光された光を光電変換で電気信号に変換し、さらに所定の信号処理を施してベースバンドのディジタルビデオ信号を出力する。このディジタルビデオ信号は、例えばHD-SDI(High Definition-Serial Data Interface)のフォーマットにマッピングして出力される。

また、ビデオカメラ部３０３は、モニタ用に用いられる表示部３５１と、外部と音声によるやりとりを行うためのインカム３５２が接続される。

送信ユニット３００は、ビデオ信号符号化部３１０およびビデオ信号復号部３１１、ディジタル変調部３１２およびディジタル復調部３１３、アンプ３１４および３１５、並びに、ビデオ分離／合成部３１６を有する

送信ユニット３００において、ビデオカメラ部３０３から、例えばHD-SDIのフォーマットにマッピングされたベースバンドのディジタルビデオ信号が供給される。このディジタルビデオ信号は、ビデオ信号符号化部３１０で圧縮符号化され、符号化ストリームとされてディジタル変調部３１２に供給される。ディジタル変調部３１２は、供給された符号化ストリームを、トライアックスケーブル３０１を介した伝送に適した形式の信号に変調して出力する。ディジタル変調部３１２から出力された信号は、アンプ３１４を介してビデオ分離／合成部３１６に供給される。ビデオ分離／合成部３１６は、供給された信号をトライアックスケーブル３０１に送出する。この信号は、トライアックスケーブル３０１を介してカメラ制御部３０２に受信される。

カメラ制御部３０２から出力された信号が、トライアックスケーブル３０１を介して送信ユニット３００に受信される。受信された信号は、ビデオ分離／合成部３１６に供給され、ディジタルビデオ信号の部分とその他の信号の部分とが分離される。受信信号のうちディジタルビデオ信号の部分は、アンプ３１５を介してディジタル復調部３１３に供給され、カメラ制御部３０２側でトライアックスケーブル３０１を介した伝送に適した形式の信号に変調された信号が復調され、符号化ストリームが復元される。

符号化ストリームは、ビデオ信号復号部３１１に供給され、圧縮符号を復号され、ベースバンドのディジタルビデオ信号とされる。この復号されたディジタルビデオ信号は、HD-SDIのフォーマットにマッピングされて出力され、リターン用のディジタルビデオ信号としてビデオカメラ部３０３に供給される。このリターン用のディジタルビデオ信号は、ビデオカメラ部３０３に接続される表示部３５１に供給され、撮影者のためのモニタなどに利用される。

カメラ制御部３０２は、ビデオ分離／合成部３２０、アンプ３２１および３２２、フロントエンド部３２３、ディジタル復調部３２４およびディジタル変調部３２５、並びに、ビデオ信号復号部３２６およびビデオ信号符号化部３２７を有する。

送信ユニット３００から出力された信号が、トライアックスケーブル３０１を介してカメラ制御部３０２に受信される。受信された信号は、ビデオ分離／合成部３２０に供給される。ビデオ分離／合成部３２０は、供給された信号を、アンプ３２１およびフロントエンド部３２３を介してディジタル復調部３２４に供給する。なお、フロントエンド部３２３は、入力信号のゲインを調整するゲイン制御部や、入力信号に対して所定のフィルタ処理を施すフィルタ部などを有する。

ディジタル復調部３２４は、送信ユニット３００側でトライアックスケーブル３０１を介した伝送に適した形式の信号に変調された信号を復調し、符号化ストリームを復元する。この符号化ストリームは、ビデオ信号復号部３２６に供給され、圧縮符号を復号され、ベースバンドのディジタルビデオ信号にとされる。この復号されたディジタルビデオ信号は、HD-SDIのフォーマットにマッピングされて出力され、本線信号として外部に出力される。

外部からカメラ制御部３０２に対して、リターン用のディジタルビデオ信号と、ディジタルオーディオ信号とが供給される。ディジタルオーディオ信号は、例えば、撮影者のインカム３５２に供給され、外部から撮影者に対する音声による指示を伝達するのに用いられる。

リターン用のディジタルビデオ信号は、ビデオ信号符号化部３２７に供給されて圧縮符号化され、ディジタル変調部３２５に供給される。ディジタル変調部３２５は、供給された符号化ストリームを、トライアックスケーブル３０１を介した伝送に適した形式の信号に変調して出力する。ディジタル変調部３２５から出力された信号は、フロントエンド部３２３およびアンプ３２２を介してビデオ分離／合成部３２０に供給される。ビデオ分離／合成部３２０は、この信号を他の信号と多重化し、トライアックスケーブル３０１に送出する。この信号は、トライアックスケーブル３０１を介して送信ユニット３００に受信される。

図２７の例においては、ビデオ信号符号化部３１０および３２７、ならびに、ビデオ信号復号部３１１および３２６に対して、図２３の画像符号化装置１０１および図２５の画像復号装置１５１がそれぞれ適用される。すなわち、ビデオ信号符号化部３１０および３２７は、図２３の画像符号化装置１０１と基本的に同様の構成とされ、ビデオ信号復号部３１１および３２６は、図２５の画像復号装置１５１と基本的に同様の構成とされる。

すなわち、送信ユニット３００側において、ビデオ信号符号化部３１０は、供給されたディジタルビデオ信号に対して、図２４を参照して上述したウェーブレット変換およびエントロピ符号化を施し、符号化ストリームを出力する。図１３乃至図１６を参照して上述したように、ビデオ信号符号化部３１０は、ウェーブレット変換に用いるフィルタのタップ数およびウェーブレット変換の分解レベル数に応じたライン数が入力されると、ウェーブレット変換を開始する。さらに、図２４および図２６を参照して上述したように、画像符号化装置および画像復号装置において、各要素に必要な係数データが蓄積されると、順次、各要素による処理が行われる。１フレームまたは１フィールドの下端のラインまで処理が終了したら、次の１フレームまたは１フィールドの処理が開始される。

以上のように、図２３および図２５の画像符号化装置１０１および画像復号装置１５１においては、それらの各要素の処理が並列的に行われるため、画像符号化装置１０１および画像復号装置１５１は、ビデオカメラ部３０３で撮影された映像がカメラ制御部３０２から出力される際の遅延や、外部から供給されカメラ制御部３０２からビデオカメラ部３０３に送信されるリターン用のディジタルビデオ信号の遅延を低く抑えることができ、図２７のディジタルトライアックスシステムに用いて好適である。

カメラ制御部３０２側から送信ユニット３００側に、リターン用のディジタルビデオ信号を送信する場合も同様である。すなわち、カメラ制御部３０２側において、ビデオ信号符号化部３２７は、外部から供給されたリターン用のディジタルビデオ信号に対して、図２４を参照して上述したウェーブレット変換およびエントロピ符号化を施し、符号化ストリームを出力する。

ここで、リターン用のディジタルビデオ信号は、本線信号のディジタルビデオ信号よりも画質が低くても構わないとされている場合が多い。そこで、ビデオ信号符号化部３２７において、符号化時のビットレートを下げるようにするとよい。

例えば、ビデオ信号符号化部３２７において、レート制御部１１４により、エントロピ符号化部１１３でのエントロピ符号化処理をより低ビットレートになるまで行うように制御する。また例えば、カメラ制御部３０２側では、ビデオ信号符号化部３２７においてウェーブレット変換部１１１でより高い分解レベルまで変換処理を行い、送信ユニット３００側では、ビデオ信号復号部３１１のウェーブレット逆変換部１６３におけるウェーブレット逆変換を、より低い分解レベルまでに止める方法も考えられる。カメラ制御部３０２側のビデオ信号符号化部３２７における処理は、この例に限らず、ウェーブレット変換における分解レベルをより低く抑えて変換処理による負担を軽減することも考えられる。

図２８は、本発明のウェーブレット変換を含む画像符号化およびウェーブレット逆変換を含む画像復号方法を適用可能な無線伝送システムの一例の構成を示している。すなわち、図２８の例においては、本発明のウェーブレット変換を含む画像符号化装置で符号化された符号化データの画像復号装置側への伝送を、無線通信を用いて行うようにしている。

なお、この図２８の例では、ビデオ信号は、ビデオカメラまたは送信ユニット４００（以下、送信ユニット４００と略称する）側から受信装置４０１側に、一方向的に送信される。オーディオ信号およびその他の信号は、送信ユニット４００と受信装置４０１との間で双方向の通信が可能である。

送信ユニット４００は、例えばビデオカメラ部４０２を有する図示されないビデオカメラ装置に内蔵される。これに限らず、送信ユニット４００がビデオカメラ部４０２を有するビデオカメラ装置に対する外部装置として、ビデオカメラ装置と所定に接続されて用いられるものとしてもよい。

ビデオカメラ部４０２は、例えば所定の光学系と、例えばCCDからなる撮像素子と、撮像素子から出力された信号をディジタルビデオ信号として出力する信号処理部とを有する。ビデオカメラ部４０２から、例えばHD-SDIのフォーマットにマッピングされてディジタルビデオ信号が出力される。これはこの例に限らず、ビデオカメラ部４０２から出力されるディジタルビデオ信号は、他のフォーマットでもよい。

送信ユニット４００は、ビデオ信号符号化部４１０、ディジタル変調部４１１、および無線モジュール部４１２を有する。このビデオ信号符号化部４１０は、図２３の画像符号化装置１０１と基本的に同様の構成とされる。

送信ユニット４００において、ビデオカメラ部４０２から、ベースバンドのディジタルビデオ信号が例えばHD-SDIのフォーマットにマッピングされて出力される。このディジタルビデオ信号は、ビデオ信号符号化部４１０において、図２４を参照して上述したウェーブレット変換およびエントロピ符号化により圧縮符号化され、符号化ストリームとされてディジタル変調部４１１に供給される。ディジタル変調部４１１は、供給された符号化ストリームを、無線通信を行うために適した形式の信号にディジタル変調して出力する。

また、ディジタル変調部４１１には、ディジタルオーディオ信号やその他の信号、例えば所定のコマンドやデータも供給される。例えば、ビデオカメラ部４０２は、マイクロフォンを有し、集音された音声を音声信号に変換し、さらに当該音声信号をA/D変換してディジタルオーディオ信号として出力する。また、ビデオカメラ部４０２は、所定のコマンドやデータを出力できるようになっている。コマンドやデータは、ビデオカメラ部４０２の内部で発生するようにしても良いし、ビデオカメラ部４０２に操作部を設け、当該操作部に対するユーザの操作に応じてコマンドやデータを生成するようにしてもよい。ビデオカメラ部４０２に対してコマンドやデータを入力する入力装置を接続するようにしてもよい。

ディジタル変調部４１１は、これらディジタルオーディオ信号やその他の信号をディジタル変調し、出力する。ディジタル変調部４１１から出力されたディジタル変調信号は、無線モジュール部４１２に供給されアンテナ４１３から電波として無線送信される。

なお、無線モジュール部４１２は、受信装置４０１側からの自動再送要求(ARQ：Auto Repeat Request)を受信すると、ディジタル変調部４１１に対してこのARQを通知し、データの再送を要求する。

アンテナ４１３から送信された電波は、受信装置４０１側のアンテナ４２０で受信され、無線モジュール部４２１に供給される。受信装置４０１は、無線モジュール部４２１、フロントエンド部４２２、ディジタル復調部４２３、およびビデオ信号復号部４２４を有する。このビデオ信号復号部４２４は、図２５の画像復号装置１５１と基本的に同様の構成とされる。

無線モジュール部４２１は、受信された電波に基づくディジタル変調信号をフロントエンド部４２２に供給する。フロントエンド部４２２は、供給されたディジタル変調信号に対して例えばゲイン制御といった所定の信号処理を施して、ディジタル復調部４２３に供給する。ディジタル復調部４２３は、供給されたディジタル変調信号を復調し、符号化ストリームを復元する。

ディジタル復調部４２３で復元された符号化ストリームは、ビデオ信号復号部４２４に供給され、図２６を参照して上述した復号方法で以て圧縮符号を復号され、ベースバンドのディジタルビデオ信号とされる。この復号されたディジタルビデオ信号は、例えばHD-SDIのフォーマットにマッピングされて出力される。

ディジタル復調部４２３には、送信ユニット４００側でディジタル変調され送信された、ディジタルオーディオ信号やその他の信号も供給される。ディジタル復調部４２３は、これらディジタルオーディオ信号やその他の信号がディジタル変調された信号を復調し、ディジタルオーディオ信号やその他の信号を復元して出力する。

また、フロントエンド部４２２は、無線モジュール部４２１から供給された受信信号に対して所定の方法でエラー検出を行い、例えば誤ったフレームが受信されたといったエラーが検出されると、ARQを出力する。ARQは、無線モジュール部４２１に供給され、アンテナ４２０から送信される。

このような構成において、送信ユニット４００を例えばビデオカメラ部４０２を有する比較的小型のビデオカメラ装置に内蔵させ、受信装置４０１にはモニタ装置を接続し、ビデオ信号復号部４２４から出力されたディジタルビデオ信号をモニタ装置に供給する。受信装置４０１に対して、送信ユニット４００の内蔵されたビデオカメラ装置が無線モジュール部４１２から送信される電波の到達範囲内にあれば、ビデオカメラ装置で撮影された映像を、低遅延、例えば１フィールドまたは１フレーム時間以内の遅延でモニタ装置により見ることができる。

なお、図２８の例においては、送信ユニット４００と受信装置４０１との間の通信を、無線通信を用いて行い、ビデオ信号を無線通信を介して伝送するようにしているが、これはこの例に限定されない。例えば、送信ユニット４００と受信装置４０１は、インターネットなどのネットワークを介して接続するようにしてもよい。この場合、送信ユニット４００側の無線モジュール部４１２および受信装置４０１側の無線モジュール部４２１は、それぞれIP(Internet Protocol)を用いた通信が可能な通信インタフェースとされる。

以上の図２８の無線伝送システムは、様々な応用が考えられる。例えば、この無線伝送システムは、テレビジョン会議システムに応用することができる。例えば、USB(Universal Serial Bus)接続が可能な簡易的なビデオカメラ装置をパーソナルコンピュータといったコンピュータ装置に接続すると共に、コンピュータ装置側にビデオ信号符号化部４１０およびビデオ信号復号部４２４を搭載する。コンピュータ装置に搭載されるビデオ信号符号化部４１０およびビデオ信号復号部４２４は、ハードウェアで構成してもよいし、コンピュータ装置上で動作するソフトウェアとして実現することも可能である。

例えば、会議に参加するメンバそれぞれに、コンピュータ装置と、このコンピュータ装置に接続されるビデオカメラ装置が用意され、コンピュータ装置が例えばテレビジョン会議システムのサービスを提供するサーバ装置に、有線および／または無線によるネットワークを介して接続される。ビデオカメラ装置から出力されたビデオ信号は、USBケーブルを介してコンピュータ装置に供給され、コンピュータ装置内のビデオ信号符号化部４１０で、図２４を参照して上述した符号化処理を施される。コンピュータ装置は、ビデオ信号が符号化された符号化ストリームを、ネットワークを介してサーバ装置などに送信する。

サーバ装置は、受信した符号化ストリームを、参加メンバそれぞれのコンピュータ装置にネットワークを介して送信する。この符号化ストリームは、参加メンバそれぞれのコンピュータ装置に受信され、コンピュータ装置内のビデオ信号復号部４２４において、図２６を参照して上述した復号処理がなされる。ビデオ信号復号部４２４から出力された画像データが、コンピュータ装置の表示部に映像として表示される。

すなわち、各参加メンバのコンピュータ装置の表示部には、他の参加メンバのビデオカメラ装置で撮影されたそれぞれの映像が表示されることになる。したがって、本発明を適用する無線伝送システムによれば、ビデオカメラ装置での撮影によるビデオ信号の符号化から、他の参加メンバのコンピュータ装置で復号されるまでの遅延時間が短く、参加メンバのコンピュータ装置の表示部に表示される他の参加メンバそれぞれの映像の違和感を少なくできる。

さらに、ビデオ信号符号化部４１０をビデオカメラ装置側に搭載することも考えられる。例えば、ビデオカメラ装置に送信ユニット４００を内蔵させる。このように構成することで、ビデオカメラ装置にコンピュータ装置などの他の装置を接続する必要が無くなる。

このような、送信ユニット４００が内蔵されたビデオカメラ装置と受信装置４０１とからなるシステムは、上述したテレビジョン会議システムの他にも、様々な応用が考えられる。例えば、図２９に概略的に示されるように、このシステムを家庭用ゲーム機器に適用することができる。図２９において、ビデオカメラ装置５００には、図２８の送信ユニット４００が内蔵される。

家庭用ゲーム機器の本体５０１は、例えばCPU、RAMおよびROMや、CD-ROM(Compact Disc-Read Only Memory)やDVD-ROM(Digital Versatile Disc-ROM)に 対応したディスクドライブ装置、CPUにより生成された表示制御信号をビデオ信号に変換して出力するグラフィック制御部、オーディオ信号を再生するオーディオ再生部などが例えばバスで接続され、コンピュータ装置と略同様の構成とされる。

家庭用ゲーム機器の本体５０１は、ROMに予め記憶されたプログラムや、ディスクドライブ装置に装填されたCD-ROMやDVD-ROMに記録されたプログラムに従い、CPUにより全体が制御される。RAMは、CPUのワークメモリとして用いられる。この家庭用ゲーム機器の本体５０１に対して、受信装置４０１を内蔵する。受信装置４０１から出力されるディジタルビデオ信号やその他の信号は、例えばバスを介してCPUに供給される。

このようなシステムにおいて、例えば、家庭用ゲーム機器の本体において、外部から供給されたディジタルビデオ信号による画像を、ゲーム内の画像として用いることができるようにされたゲームソフトウェアが起動されているものとする。例えば、このゲームソフトウェアは、外部から供給されたディジタルビデオ信号による画像をゲーム内の画像として用いることができると共に、当該画像内での人物（プレーヤ）などの動きを識別し、識別された動きに応じた動作を行うことが可能とされている。

ビデオカメラ装置５００は、撮影されたディジタルビデオ信号を、内蔵される送信ユニット４００において、ビデオ信号符号化部４１０で、図２４を参照して上述した符号化方法で符号化し、符号化ストリームをディジタル変調部４１１で変調して無線モジュール部４１２に供給し、アンテナ４１３から送信する。送信された電波は、家庭用ゲーム機器の本体５０１に内蔵される受信装置４０１においてアンテナ４２０で受信され、受信信号が無線モジュール部４２１およびフロントエンド部４２２を介してディジタル復調部４２３に供給される。

受信信号は、ディジタル復調部４２３で復調された符号化ストリームとされ、ビデオ信号復号部４２４に供給される。ビデオ信号復号部４２４は、供給された符号化ストリームを、図２６を参照して上述した復号方法で復号し、ベースバンドのディジタルビデオ信号を出力する。

ビデオ信号復号部４２４から出力されたベースバンドのディジタルビデオ信号は、家庭用ゲーム機器の本体５０１において、バスに送出され、例えばRAMに一時的に記憶される。CPUは、所定のプログラムに従い、RAMに記憶されたディジタルビデオ信号を読み出すことで、このディジタルビデオ信号による画像内の人物の動きを検出したり、当該画像をゲーム内で用いることができるようにされる。

ビデオカメラ装置５００で撮影され、得られたディジタルビデオ信号が符号化されてから、家庭用ゲーム機器の本体５０１で符号化ストリームが復号され画像が得られるまでの遅延時間が短いので、家庭用ゲーム機器の本体５０１上で動作するゲームソフトウェアにおける、プレーヤの動きに対する応答性が良くなり、ゲームの操作性を向上させることができる。

なお、このような、家庭用ゲーム機器と共に用いられるビデオカメラ装置５００は、価格や大きさなどの面からみても簡易な構成とされることが多く、コンピュータ装置などのように、処理能力の高いCPUや、記憶容量の大きなメモリを搭載できないことが想定される。したがって、本発明のウェーブレット変換を含む符号化処理を用いることで、大きな容量の外部メモリが必要とされないので、メモリ容量が少なくて済む。また、例えば、ビデオカメラ装置５００に内蔵される送信ユニット４００のビデオ信号符号化部４１０において、ウェーブレット変換を低い分解レベルで抑えて行うことが考えられる。こうすることで、メモリ容量がさらに少なくて済む。

なお、上述では、ビデオカメラ装置５００と家庭用ゲーム機器の本体５０１とは、無線通信で接続されるように説明したが、これはこの例に限られない。すなわち、ビデオカメラ装置５００と家庭用ゲーム機器の本体５０１とは、USBやIEEE1394といったインタフェースにより、有線で接続されていてもよい。

以上、上述した本発明は、画像またはビデオ信号をウェーブレット変換する装置または方法、並びに、帯域分析された情報を合成フィルタバンクリングして画像またはビデオ信号に復元するウェーブレット逆変換する装置または方法であれば、様々なものに適用することができる。

すなわち、上述した図２３の画像符号化装置１０１に示されるように、ウェーブレット変換の後段に符号化手段を付加することで、本発明は、図２７乃至図２９を参照して上述したような画像信号やビデオ信号の画像を圧縮して伝送、受信し、伸張して画像を出力する装置やシステムに用いて好適である。この発明は、特に、画像の圧縮符号化から復号および出力までの遅延が短いことが要求されるような装置またはシステムに用いて好適である。

本発明は、例えば、ビデオカメラで撮影された映像を見ながらマジックハンドを操作して治療行為を行うような、医用遠隔医療診断の用途に用いて好適である。また、この発明は、放送局内などのシステムにおける、ディジタルビデオ信号の圧縮符号化および伝送、ならびに、圧縮符号化されたディジタルビデオ信号の復号に用いて好適である。

さらに、実況中継されるライブ映像の配信を行うシステム、教育現場において生徒と教師との間でインタラクティブな通信を可能としたシステムなどに、本発明を適用することができる。

また、カメラ機能付き携帯電話端末といった、撮像機能を有するモバイル端末で撮影された画像データの送信するシステム、テレビジョン会議システム、監視カメラおよび監視カメラで撮影された映像を記録するレコーダによるシステム、無線での画像伝送システム、並びに対話型ゲームアプリケーションなどに、本発明を適用することができる。

上述した一連の処理は、図２９でも上述したように、ハードウェアにより実行させることもできるし、ソフトウェアにより実行させることもできる。

一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、プログラム記録媒体からインストールされる。

図３０は、上述した一連の処理をプログラムにより実行するパーソナルコンピュータ７０１の構成の例を示すブロック図である。CPU７１１は、ROM７１２、または記憶部７１８に記憶されているプログラムに従って各種の処理を実行する。RAM７１３には、CPU７１１が実行するプログラムやデータなどが適宜記憶される。これらのCPU７１１、ROM７１２、およびRAM７１３は、バス７１４により相互に接続されている。

CPU７１１にはまた、バス７１４を介して入出力インタフェース７１５が接続されている。入出力インタフェース７１５には、キーボード、マウス、マイクロフォンなどよりなる入力部７１６、ディスプレイ、スピーカなどよりなる出力部７１７が接続されている。CPU７１１は、入力部７１６から入力される指令に対応して各種の処理を実行する。そして、CPU７１１は、処理の結果を出力部７１７に出力する。

入出力インタフェース７１５に接続されている記憶部７１８は、例えばハードディスクからなり、CPU７１１が実行するプログラムや各種のデータを記憶する。通信部７１９は、インターネットやローカルエリアネットワークなどのネットワークを介して外部の装置と通信する。

また、通信部７１９を介してプログラムを取得し、記憶部７１８に記憶してもよい。

入出力インタフェース７１５に接続されているドライブ７２０は、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア７２１が装着されたとき、それらを駆動し、そこに記録されているプログラムやデータなどを取得する。取得されたプログラムやデータは、必要に応じて記憶部７１８に転送され、記憶される。

コンピュータにインストールされ、コンピュータによって実行可能な状態とされるプログラムを格納するプログラム記録媒体は、図３０に示すように、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM,DVDを含む）、光磁気ディスク、もしくは半導体メモリなどよりなるパッケージメディアであるリムーバブルメディア７２１、または、プログラムが一時的もしくは永続的に格納されるROM７１２や、記憶部７１８を構成するハードディスクなどにより構成される。プログラム記録媒体へのプログラムの格納は、必要に応じてルータ、モデムなどのインタフェースである通信部７１９を介して、ローカルエリアネットワーク、インターネット、ディジタル衛星放送といった、有線または無線の通信媒体を利用して行われる。

なお、本明細書において、プログラム記録媒体に格納されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。

また、本明細書において、システムとは、複数の装置により構成される装置全体を表すものである。

本発明を適用したウェーブレット変換装置の一実施形態に係る構成例を示す図である。 図１のウェーブレット変換装置のウェーブレット変換処理を説明するフローチャートである。 画像信号を水平分析フィルタリングする例を説明する図である。 垂直分析フィルタリングする例を説明する図である。 分割レベル１まで分析フィルタリングした結果を示す図である。 ９×７分析フィルタのリフティング構成の例を説明する図である。 水平方向の係数群に対しての水平分析フィルタリングを、図６のリフティング構成により実行する場合を説明する図である。 係数のラインを上から下方向に順次入力しながら、リフティング構成により水平分析フィルタリングを行う動作を説明する図である。 垂直方向の係数群に対しての垂直分析フィルタリングを、図６のリフティング構成により実行する場合を説明するを示す図である。 図１のレベル１バッファ乃至レベル４バッファの構成例を示すブロック図である。 図１の係数バッファの構成例を示すブロック図である。 HDTV規格の輝度と色差信号のデータ配列の例を説明する図である。 ライン単位の分析フィルタリングを説明する図である。 分割レベル１の分析フィルタリングにおける垂直フィルタリングを説明する図である。 分割レベル２まで分析フィルタリングを行った結果を示す図である。 実際の画像に対して分割レベル３まで分析フィルタリングを行った結果を示す図である。 ビデオ信号の垂直同期信号を説明する図である。 図１のウェーブレット変換装置に対応するウェーブレット逆変換装置の一実施形態に係る構成例を示す図である。 図１８のウェーブレット逆変換装置のウェーブレット逆変換処理を説明するフローチャートである。 ９×７分析フィルタのリフティング構成の他の例を説明する図である。 垂直方向の係数群に対しての垂直合成フィルタリングを、図２０のリフティング構成により実行する場合を説明するを示す図である。 水平方向の係数群に対しての水平合成フィルタリングを、図２０のリフティング構成により実行する場合を説明する図である。 本発明を適用した画像符号化装置の一実施形態に係る構成例を示す図である。 図２３の画像符号化装置の画像符号化処理を説明するフローチャートである。 図２３の画像符号化装置に対応する画像復号装置の一実施形態に係る構成例を示す図である。 図２５の画像復号装置の画像復号処理を説明するフローチャートである。 本発明を適用したディジタルトライアックスシステムの一例の構成を示すブロック図である。 本発明を適用した無線伝送システムの一例の構成を示すブロック図である。 図２８の無線伝送システムを、家庭用ゲーム機器に適用した例を示す略線図である。 本発明を適用したコンピュータの一実施の形態の構成例を示すブロック図である。

符号の説明

１ ウェーブレット変換装置， １１ 水平分析フィルタ部， １２ レベル１バッファ， １３ レベル２バッファ， １４ レベル３バッファ， １５ レベル４バッファ， １６ セレクタ， １７ 係数バッファ， １８ 垂直分析フィルタ部， １９ 水平分析フィルタ部， ５１ ウェーブレット逆変換装置，６１ レベル３バッファ， ６２ レベル２バッファ， ６３ レベル１バッファ， ６４ セレクタ， ６５ 垂直合成フィルタ部， ６６ 係数バッファ， ６７ 水平合成フィルタ部， ６８ セレクタ， １０１ 画像符号化装置， １５１ 画像復号装置

Claims (38)

1. 画像信号の周波数成分を低域成分および高域成分に分割する水平方向の分析フィルタリングの結果得られる前記低域成分および前記高域成分を、前記周波数成分の分割レベル毎に独立して記憶し、前記画像信号の周波数成分を低域成分および高域成分に分割する垂直方向の分析フィルタリングに対して、前記分析フィルタリングの分割レベルに対応する前記周波数成分を選択して供給する第１のバッファと、
   前記垂直方向の前記分析フィルタリングの演算過程で生成される前記低域成分および前記高域成分の一部を、前記分割レベル毎に独立して記憶し、前記垂直方向の前記分析フィルタリングに対して、前記分析フィルタリングの分割レベルに対応する前記周波数成分を選択して供給する第２のバッファと、
   分割前の前記画像信号、または、前記垂直方向の前記分析フィルタリングの結果得られる前記周波数成分に対して、前記水平方向の前記分析フィルタリングを行い、前記分析フィルタリングの結果得られる前記低域成分および前記高域成分を前記第１のバッファに記憶させる水平フィルタリング手段と、
   前記第１のバッファおよび前記第２のバッファから処理対象の分割レベルに対応する前記周波数成分を読み出し、読み出した前記周波数成分を用いて、前記垂直方向の前記分析フィルタリングを行い、前記分析フィルタリングの演算過程で生成される前記低域成分および前記高域成分の一部を前記第２のバッファに記憶させる垂直フィルタリング手段と
   を備える情報処理装置。
2. 前記水平フィルタリング手段および前記垂直フィルタリング手段は、前記分析フィルタリングをリフティング構成により実現する
   請求項１に記載の情報処理装置。
3. 前記水平フィルタリング手段は、前記水平方向の前記分析フィルタリングを複数段階の演算に分けて行う構成の前記リフティング構成により、予め設定されたコラム数分の前記水平方向の前記分析フィルタリングを行う
   請求項２に記載の情報処理装置。
4. 前記水平フィルタリング手段は、前記リフティング構成による前記複数段階の演算の過程で得られる前記低域成分および前記高域成分の一部を保持する保持手段を備え、
   次段の前記水平方向の前記分析フィルタリングを行う場合、前記垂直フィルタリング手段により得られる前記周波数成分を必要なコラム数分だけ入力し、さらに、前段の前記リフティング構成による前記複数段階の演算の過程で前記保持手段に保持された前記周波数成分を読み出して、前記リフティング構成による前記複数段階の演算を行う
   請求項３に記載の情報処理装置。
5. 前記水平フィルタリング手段は、前記リフティング構成による前記水平方向の前記分析フィルタリングを、前記水平方向のコラム数がすべてなくなるまで実行する
   請求項４に記載の情報処理装置。
6. 前記リフティング構成に１度に入力されるコラム数は３コラムであり、前記保持手段に保持される前記低域成分および前記高域成分の個数は３つである
   請求項４に記載の情報処理装置。
7. 前記水平フィルタリング手段は、前記リフティング構成による前記複数段階の演算を最終段階まで行うことで生成された前記低域成分および前記高域成分を、前記低域成分および前記高域成分の分割レベルに対応する前記第１のバッファに記憶させる
   請求項４に記載の情報処理装置。
8. 前記垂直フィルタリング手段は、前記垂直方向の前記分析フィルタリングを複数段階の演算に分けて行う構成の前記リフティング構成により、予め設定されたライン数分の前記垂直方向の前記分析フィルタリングを行う
   請求項２に記載の情報処理装置。
9. 前記垂直フィルタリング手段は、前記リフティング構成による前記複数段階の演算の過程で得られる前記低域成分および前記高域成分の一部を前記第２のバッファに記憶させ、
   次段の前記垂直方向の前記分析フィルタリングを行う場合、前記水平フィルタリング手段による前記水平方向の前記分析フィルタリングの結果得られた前記周波数成分を必要なライン数分だけ前記第１のバッファより読み出し、さらに、前段の前記リフティング構成による前記複数段階の演算の過程で前記第２のバッファに記憶された前記周波数成分を読み出して、前記リフティング構成による前記複数段階の演算を行う
   請求項８に記載の情報処理装置。
10. 前記垂直フィルタリング手段は、前記リフティング構成による前記垂直方向の前記分析フィルタリングを、前記垂直方向のライン数がすべてなくなるまで実行する
    請求項９に記載の情報処理装置。
11. 前記第１のバッファから読み出されるライン数は３ライン分であり、前記第２のバッファに記憶される前記低域成分および前記高域成分の個数は３つである
    請求項９に記載の情報処理装置。
12. 前記第１のバッファは、前記垂直方向の前記分析フィルタリングを行うのに必要なライン数分の、独立したバッファを内包して構成される
    請求項９に記載の情報処理装置。
13. 前記第２のバッファは、前記複数段階の演算の過程で必要になる前記低域成分および前記高域成分と同数の、独立したバッファを内包して構成される
    請求項９に記載の情報処理装置。
14. 前記水平フィルタリング手段は、前記画像信号をライン単位で入力し、前記水平方向のサンプル数が所定数に達する度に、前記水平方向の前記分析フィルタリングを行い、
    前記垂直フィルタリング手段は、前記水平フィルタリング手段による前記水平方向の前記分析フィルタリングの結果である前記垂直方向のライン数が所定数に達する度に、前記垂直方向の前記分析フィルタリングを行う
    請求項１に記載の情報処理装置。
15. 前記水平フィルタリング手段および前記垂直フィルタリング手段は、最低域の周波数成分に対して階層的に前記分析フィルタリングを行う
    請求項１に記載の情報処理装置。
16. 前記画像信号は、複数のピクチャからなるビデオ信号であり、
    前記ビデオ信号の垂直同期信号を検出することにより各ピクチャの終端を検知する検知手段をさらに備え、
    前記水平フィルタリング手段および前記垂直フィルタリング手段は、ピクチャ毎に前記分析フィルタリングを行う
    請求項１に記載の情報処理装置。
17. 画像信号の周波数成分を低域成分および高域成分に分割する水平方向の分析フィルタリングの結果得られる前記低域成分および前記高域成分を、前記周波数成分の分割レベル毎に独立して記憶し、前記画像信号の周波数成分を低域成分および高域成分に分割する垂直方向の分析フィルタリングに対して、前記分析フィルタリングの分割レベルに対応する前記周波数成分を選択して供給する第１のバッファと、
    前記垂直方向の前記分析フィルタリングの演算過程で生成される前記低域成分および前記高域成分の一部を、前記分割レベル毎に独立して記憶し、前記垂直方向の前記分析フィルタリングに対して、前記分析フィルタリングの分割レベルに対応する前記周波数成分を選択して供給する第２のバッファと
    を有する情報処理装置の情報処理方法であって、
    分割前の前記画像信号、または、前記垂直方向の前記分析フィルタリングの結果得られる前記周波数成分に対して、前記水平方向の前記分析フィルタリングを行う水平フィルタステップと、
    前記フィルタステップの処理の結果得られる前記低域成分および前記高域成分を前記第１のバッファに記憶させる第１の記憶制御ステップと、
    前記第１のバッファおよび前記第２のバッファから処理対象の分割レベルに対応する前記周波数成分を読み出す読み出しステップと、
    前記読み出しステップの処理により読み出した前記周波数成分を用いて、前記垂直方向の前記分析フィルタリングを行う垂直フィルタステップと、
    前記垂直フィルタステップの処理の演算過程で生成される前記低域成分および前記高域成分の一部を前記第２のバッファに記憶させる第２の記憶制御ステップと
    を含む情報処理方法。
18. 画像信号の周波数成分を低域成分および高域成分に分割する水平方向の分析フィルタリングの結果得られる前記低域成分および前記高域成分を、前記周波数成分の分割レベル毎に独立して記憶し、前記画像信号の周波数成分を低域成分および高域成分に分割する垂直方向の分析フィルタリングに対して、前記分析フィルタリングの分割レベルに対応する前記周波数成分を選択して供給する第１のバッファと、
    前記垂直方向の前記分析フィルタリングの演算過程で生成される前記低域成分および前記高域成分の一部を、前記分割レベル毎に独立して記憶し、前記垂直方向の前記分析フィルタリングに対して、前記分析フィルタリングの分割レベルに対応する前記周波数成分を選択して供給する第２のバッファと
    を有するコンピュータを、
    分割前の前記画像信号、または、前記垂直方向の前記分析フィルタリングの結果得られる前記周波数成分に対して、前記水平方向の前記分析フィルタリングを行い、前記分析フィルタリングの結果得られる前記低域成分および前記高域成分を前記第１のバッファに記憶させる水平フィルタリング手段と、
    前記第１のバッファおよび前記第２のバッファから処理対象の分割レベルに対応する前記周波数成分を読み出し、読み出した前記周波数成分を用いて、前記垂直方向の前記分析フィルタリングを行い、前記分析フィルタリングの演算過程で生成される前記低域成分および前記高域成分の一部を前記第２のバッファに記憶させる垂直フィルタリング手段
    として機能させるプログラム。
19. 請求項１８に記載のプログラムが記録されている記録媒体。
20. 画像信号の低域成分および高域成分を合成する水平方向の合成フィルタリングの結果である、合成された周波数成分の一部を、前記周波数成分の分割レベル毎に独立して記憶し、前記画像信号の前記低域成分および前記高域成分を合成する垂直方向の合成フィルタリングに対して、前記合成フィルタリングの分割レベルに対応する前記低域成分および前記高域成分を選択して供給する第１のバッファと、
    前記垂直方向の前記合成フィルタリングの演算過程で生成される、合成された前記周波数成分の一部を、前記分割レベル毎に独立して記憶し、前記垂直方向の前記合成フィルタリングに対して、前記合成フィルタリングの分割レベルに対応する前記低域成分および前記高域成分を選択して供給する第２のバッファと、
    前記第１のバッファおよび前記第２のバッファから処理対象の分割レベルに対応する前記低域成分および前記高域成分を読み出し、読み出した前記低域成分および前記高域成分を用いて前記垂直方向の前記合成フィルタリングを行い、前記合成フィルタリングの演算過程で生成される、合成された前記周波数成分の一部を前記第２のバッファに記憶させる垂直フィルタリング手段と、
    前記垂直フィルタリング手段の前記垂直方向の前記合成フィルタリングの結果である、上位の分割レベルの前記低域成分および前記高域成分に対して前記水平方向の前記合成フィルタリングを行い、前記合成フィルタリングの結果得られる、合成された前記周波数成分を前記第１のバッファに記憶させる水平フィルタリング手段と
    を備える情報処理装置。
21. 前記垂直フィルタリング手段および前記水平フィルタリング手段は、前記合成フィルタリングをリフティング構成により実現する
    請求項２０に記載の情報処理装置。
22. 前記垂直フィルタリング手段は、前記垂直方向の前記合成フィルタリングを複数段階の演算に分けて行う構成の前記リフティング構成により、予め設定されたライン数分の前記垂直方向の前記合成フィルタリングを行う
    請求項２１に記載の情報処理装置。
23. 前記垂直フィルタリング手段は、前記リフティング構成による前記複数段階の演算の過程で得られる前記周波数成分の一部を前記第２のバッファに記憶させ、
    次段の前記垂直方向の前記合成フィルタリングを行う場合、前記水平フィルタリング手段による前記水平方向の前記合成フィルタリングの結果の前記周波数成分を必要なライン数分だけ前記第１のバッファから読み出し、さらに、前段の前記リフティング構成による前記複数段階の演算の過程で前記第２のバッファに記憶された前記周波数成分を読み出して、前記リフティング構成による前記複数段階の演算を行う
    請求項２２に記載の情報処理装置。
24. 前記垂直フィルタリング手段は、前記リフティング構成による前記垂直方向の前記合成フィルタリングを、前記垂直方向のライン数がすべてなくなるまで実行する
    請求項２３に記載の情報処理装置。
25. 前記第１のバッファから読み出されるライン数は３ライン分であり、前記第２のバッファに記憶される前記周波数成分の個数は３つである
    請求項２３に記載の情報処理装置。
26. 前記第１のバッファは、前記垂直方向の前記合成フィルタリングを行うのに必要なライン数分の、独立したバッファを内包して構成される
    請求項２３に記載の情報処理装置。
27. 前記第２のバッファは、前記複数段階の演算の過程で必要になる前記周波数成分と同数の、独立したバッファを内包して構成される
    請求項２３に記載の情報処理装置。
28. 前記リフティング構成は、前記水平方向の前記合成フィルタリングを複数段階の演算に分けて行う構成であり、
    前記水平フィルタリング手段は、前記リフティング構成により、予め設定されたコラム数分の前記水平方向の前記合成フィルタリングを行う
    請求項２１に記載の情報処理装置。
29. 前記水平フィルタリング手段は、前記リフティング構成による前記複数段階の演算の過程で得られる前記低域成分および前記高域成分の一部を保持する保持手段を備え、前記複数段階の演算を最終段階まで行うことで、前記画像を生成し、
    次段の前記水平方向の前記合成フィルタリングを行う場合、前記垂直フィルタリング手段による垂直方向の前記合成フィルタリングの結果の前記周波数成分を必要なコラム数分だけ入力し、さらに、前段の前記リフティング構成による前記複数段階の演算の過程で前記保持手段に保持された前記周波数成分を読み出して、前記リフティング構成による前記複数段階の演算を行う
    請求項２８に記載の情報処理装置。
30. 前記水平フィルタリング手段は、前記リフティング構成による前記水平方向の前記合成フィルタリングを、水平方向のコラム数がすべてなくなるまで実行する
    請求項２９に記載のウェーブレット逆変換装置。
31. 前記リフティング構成に１度に入力されるコラム数は３コラムであり、前記保持手段に保持される前記低域成分成分および前記高域成分の個数は３つである
    請求項２９に記載の情報処理装置。
32. 前記水平フィルタリング手段は、前記リフティング構成による前記複数段階の演算を最終段階まで行うことで生成された前記周波数成分を、前記周波数成分の分割レベルに対応する前記第１のバッファに記憶する
    請求項２９に記載の情報処理装置。
33. 前記水平フィルタリング手段は、前記周波数成分をライン単位で入力し、前記水平方向のサンプル数が所定数に達する度に、前記水平方向の前記合成フィルタリングを行い、
    前記垂直フィルタリング手段は、前記水平フィルタリング手段による前記水平方向の合成フィルタリングの結果の周波数成分の前記垂直方向のライン数が所定数に達する度に、前記垂直方向の前記合成フィルタリングを行う
    請求項２０に記載の情報処理装置。
34. 前記画像信号は、複数のピクチャからなるビデオ信号であり、最低域の周波数成分に対して階層的に分析フィルタリングを行うことにより複数の周波数成分に分割されており、
    前記垂直フィルタリング手段および前記水平フィルタリング手段は、複数の周波数成分のうち、最低域の周波数成分を含む所定数の周波数成分から階層的に前記合成フィルタリングを行い、最終的にピクチャを生成する
    請求項２０に記載の情報処理装置。
35. 前記垂直フィルタリング手段および前記水平フィルタリング手段により生成された各ピクチャ間に垂直同期信号を挿入し、ビデオ信号を生成する垂直同期信号挿入手段をさらに備える
    請求項３４に記載の情報処理装置。
36. 画像信号の低域成分および高域成分を合成する水平方向の合成フィルタリングの結果である、合成された周波数成分の一部を、前記周波数成分の分割レベル毎に独立して記憶し、前記画像信号の前記低域成分および前記高域成分を合成する垂直方向の合成フィルタリングに対して、前記合成フィルタリングの分割レベルに対応する前記低域成分および前記高域成分を選択して供給する第１のバッファと、
    前記垂直方向の前記合成フィルタリングの演算過程で生成される、合成された前記周波数成分の一部を、前記分割レベル毎に独立して記憶し、前記垂直方向の前記合成フィルタリングに対して、前記合成フィルタリングの分割レベルに対応する前記低域成分および前記高域成分を選択して供給する第２のバッファと、
    を備える情報処理装置の情報処理方法であって、
    前記第１のバッファおよび前記第２のバッファから処理対象の分割レベルに対応する前記低域成分および前記高域成分を読み出す読み出しステップと、
    前記読み出しステップの処理により読み出された前記低域成分および前記高域成分を用いて前記垂直方向の前記合成フィルタリングを行う垂直フィルタステップと、
    前記垂直フィルタステップの処理の演算過程で生成される、合成された前記周波数成分の一部を前記第２のバッファに記憶させる第１の記憶制御ステップと、
    前記垂直フィルタステップの処理の前記垂直方向の前記合成フィルタリングの結果である、上位の分割レベルの前記低域成分および前記高域成分に対して前記水平方向の前記合成フィルタリングを行う水平フィルタステップと、
    前記水平フィルタステップの処理の結果得られる、合成された前記周波数成分を前記第１のバッファに記憶させる第２の記憶制御ステップと
    を含む情報処理方法。
37. 画像信号の低域成分および高域成分を合成する水平方向の合成フィルタリングの結果である、合成された周波数成分の一部を、前記周波数成分の分割レベル毎に独立して記憶し、前記画像信号の前記低域成分および前記高域成分を合成する垂直方向の合成フィルタリングに対して、前記合成フィルタリングの分割レベルに対応する前記低域成分および前記高域成分を選択して供給する第１のバッファと、
    前記垂直方向の前記合成フィルタリングの演算過程で生成される、合成された前記周波数成分の一部を、前記分割レベル毎に独立して記憶し、前記垂直方向の前記合成フィルタリングに対して、前記合成フィルタリングの分割レベルに対応する前記低域成分および前記高域成分を選択して供給する第２のバッファと
    を備えるコンピュータを、
    前記第１のバッファおよび前記第２のバッファから処理対象の分割レベルに対応する前記低域成分および前記高域成分を読み出し、読み出した前記低域成分および前記高域成分を用いて前記垂直方向の前記合成フィルタリングを行い、前記合成フィルタリングの演算過程で生成される、合成された前記周波数成分の一部を前記第２のバッファに記憶させる垂直フィルタリング手段と、
    前記垂直フィルタリング手段の前記垂直方向の前記合成フィルタリングの結果である、上位の分割レベルの前記低域成分および前記高域成分に対して前記水平方向の前記合成フィルタリングを行い、前記合成フィルタリングの結果得られる、合成された前記周波数成分を前記第１のバッファに記憶させる水平フィルタリング手段
    として機能させるプログラム。
38. 請求項３７に記載のプログラムが記録されている記録媒体。

Images