JP4123452B2 - 画像処理装置および画像処理方法 - Google Patents
画像処理装置および画像処理方法 Download PDFInfo
- Publication number
- JP4123452B2 JP4123452B2 JP16785598A JP16785598A JP4123452B2 JP 4123452 B2 JP4123452 B2 JP 4123452B2 JP 16785598 A JP16785598 A JP 16785598A JP 16785598 A JP16785598 A JP 16785598A JP 4123452 B2 JP4123452 B2 JP 4123452B2
- Authority
- JP
- Japan
- Prior art keywords
- pixel
- bit
- thinned
- pixels
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Television Signal Processing For Recording (AREA)
- Television Systems (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Picture Signal Circuits (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、画像処理装置および画像処理方法に関し、特に、動画像の画質等の劣化を低減することができるようにする画像処理装置および画像処理方法に関する。
【０００２】
【従来の技術】
従来より、動画像を表示するときの走査方法の１つとして、インターレース走査がある。
【０００３】
即ち、例えば、ビデオカメラなどで画像を撮影した場合に、本来ならば、図１４に示すように、その内蔵するＣＣＤ（Charge Coupled Device）などの光電変換素子が有する画素と同一配置の画素（同図において、○印で示す）で、各フレームを構成し、伝送や記録を行うのが、画質や解像度などの面からは理想的である。
【０００４】
しかしながら、これでは、伝送や記録等する情報量が多くなる。そこで、情報量の低減のために、図１５に示すように、最初の画面（インターレース走査では、フィールド）は、奇数ラインの画素（同図において●印で示す）を間引いて、偶数ラインの画素（同図において○印で示す）だけで構成され、次の画面は、偶数ラインの画素（同図において●印で示す）を間引いて、奇数ラインの画素（同図において○印で示す）だけで構成され、さらに次の画面は、最初の画面と同様に構成され、以下、同様にして、画面が構成される。
【０００５】
ここで、インターレース走査は、上述したことから、情報量を低減するための画素を間引く手法の１つと考えることができるので、このような間引きの手法を、以下、適宜、インターレース間引きという。
【０００６】
【発明が解決しようとする課題】
ところで、画像の垂直方向の解像度は、そのライン数に依存する。従って、インターレース間引きを行うと、その間引き後の画像の垂直方向の解像度は、間引き前の画像の垂直方向の解像度の１／２になる。その結果、垂直方向の速い変化を表現するのが困難となり、そのような動きがあると、画質が劣化する課題があった。
【０００７】
本発明は、このような状況に鑑みてなされたものであり、画素（画素データ）のレベル方向におけるビット間引きによる画質の劣化を低減することができるようにするものである。
【０００８】
【課題を解決するための手段】
請求項１に記載の画像処理装置は、第１または第２のビット間引き画素それぞれが、空間方向および時間方向の両方向に五の目格子状に並ぶようにビット間引きを施すビット間引き手段を備えることを特徴とする。
【０００９】
請求項３に記載の画像処理方法は、第１または第２のビット間引き画素それぞれが、空間方向および時間方向の両方向に五の目格子状に並ぶようにビット間引きを施すことを特徴とする。
【００１２】
請求項４に記載の画像処理装置は、動画像を構成する各フレームの画素に対して、そのレベル方向にビット間引きを施すことにより得られる所定のビットが間引かれた画素である第１のビット間引き画素と、所定のビットとは異なるビットが間引かれた画素である第２のビット間引き画素とからなる間引き画像データであって、第１または第２のビット間引き画素が、空間方向および時間方向の両方向に五の目格子状に並ぶようにビット間引きを施すことにより得られる間引き画像データを構成する第１および第２の画素について、その一方の画素で間引かれているビットを、他方の画素の画素値を用いて補間することにより一方の画素の元の画素値を復元する、または一方の画素の元の画素値を予測するのに用いられるデータである予測データと、他方の画素の画素値との積和演算によって、一方の画素の元の画素値を復元する復元手段を備えることを特徴とする。
【００１３】
請求項１に記載の画像処理装置においては、ビット間引き手段が、第１または第２のビット間引き画素それぞれが、空間方向および時間方向の両方向に五の目格子状に並ぶようにビット間引きを施すようになされている。
【００１４】
請求項３に記載の画像処理方法においては、第１または第２のビット間引き画素それぞれが、空間方向および時間方向の両方向に五の目格子状に並ぶようにビット間引きを施すようになされている。
【００１７】
請求項４に記載の画像処理装置においては、復元手段が、動画像を構成する各フレームの画素に対して、そのレベル方向にビット間引きを施すことにより得られる所定のビットが間引かれた画素である第１のビット間引き画素と、所定のビットとは異なるビットが間引かれた画素である第２のビット間引き画素とからなる間引き画像データであって、第１または第２のビット間引き画素が、空間方向および時間方向の両方向に五の目格子状に並ぶようにビット間引きを施すことにより得られる間引き画像データを構成する第１および第２の画素について、その一方の画素で間引かれているビットを、他方の画素の画素値を用いて補間することにより一方の画素の元の画素値を復元する、または一方の画素の元の画素値を予測するのに用いられるデータである予測データと、他方の画素の画素値との積和演算によって、一方の画素の元の画素値を復元するようになされている。
【００１８】
【発明の実施の形態】
以下に、本発明の実施の形態を説明するが、その前に、特許請求の範囲に記載の発明の各手段と以下の実施の形態との対応関係を明らかにするために、各手段の後の括弧内に、対応する実施の形態（但し、一例）を付加して、本発明の特徴を記述すると、次のようになる。
【００１９】
即ち、請求項１に記載の画像処理装置は、動画像を構成する画像データを、復元処理時の画質の劣化を抑制して圧縮する画像処理装置において、動画像を構成する各フレームの画素に対して、そのレベル方向にビット間引きを施し、所定のビットが間引かれた画素である第１のビット間引き画素と、所定のビットとは異なるビットが間引かれた画素である第２のビット間引き画素とからなるビット間引き画像データを生成するビット間引き手段（例えば、図１に示すレベル方向ビットサブサンプリング回路２など）と、ビット間引き画像データを構成する第１および第２のビット間引き画素について、その一方の画素で間引かれているビットを、他方の画素の画素値を用いて補間することにより一方の画素の元の画素値を復元する復元処理、または一方の画素の元の画素値を予測するのに用いられるデータである予測データと、他方の画素の画素値との積和演算によって、一方の画素の元の画素値を復元する復元処理によって、元の画像データに復元されるビット間引き画像データを出力する出力手段（例えば、図１に示す送信処理回路４など）とを備え、ビット間引き手段が、第１または第２のビット間引き画素それぞれが、空間方向および時間方向の両方向に五の目格子状に並ぶようにビット間引きを施すことを特徴とする。
【００２０】
請求項４に記載の画像処理装置は、動画像を構成する画像データの画素を間引くことにより生成されたビット間引き画像データを伸張する画像処理装置において、動画像を構成する各フレームの画素に対して、そのレベル方向にビット間引きを施すことにより得られる所定のビットが間引かれた画素である第１のビット間引き画素と、所定のビットとは異なるビットが間引かれた画素である第２のビット間引き画素とからなる間引き画像データであって、第１または第２のビット間引き画素が、空間方向および時間方向の両方向に五の目格子状に並ぶようにビット間引きを施すことにより得られるビット間引き画像データを受信する受信手段（例えば、図１に示す受信処理回路８など）と、ビット間引き画像データを構成する第１および第２のビット間引き画素について、その一方の画素で間引かれているビットを、他方の画素の画素値を用いて補間することにより一方の画素の元の画素値を復元する、または一方の画素の元の画素値を予測するのに用いられるデータである予測データと、他方の画素の画素値との積和演算によって、一方の画素の元の画素値を復元する復元手段（例えば、図１に示すクラスタップ／予測タップ切り出し回路１１、クラスタリング回路１２、メモリ１３、および画素データ生成回路１４など）とを備えることを特徴とする。
【００２１】
請求項６に記載の画像処理装置は、復元手段が、ビット間引き画像データの所定の注目画素に対して、注目画素の周辺に位置する周辺画素に基づいて、注目画素の特徴を表す所定のクラスを決定する決定手段（例えば、図１に示すクラスタリング回路１２など）と、決定手段が出力するクラスに対応するデータであって、かつ、ビット間引きが施される前の一方の画素の画素値を予測するのに用いられるデータである予測データと、他方の画素の画素値との積和演算によって、一方の画素である注目画素に対応するビット間引きが施される前の画素の画素値を予測し、その画素値を発生する発生手段（例えば、図１に示すメモリ１３や画素データ生成回路１４など）とを有することを特徴とする。
【００２２】
請求項７に記載の画像処理装置は、発生手段が、学習用の動画像を構成する画像データを用いて、あらかじめ学習を行うことにより生成されたクラスごとの所定の予測データを、クラスごとに記憶する記憶手段（例えば、図１に示すメモリ１３など）を有し、決定手段が出力するクラスに対応する予測データを、記憶手段から読み出し、その読み出された予測データと、他方の画素の画素値との積和演算によって、注目画素に対応するビット間引きが施される前の画素の画素値を発生することを特徴とする。
【００２３】
請求項８に記載の画像処理装置は、記憶手段が、予測データとして、積和演算に用いる、クラスごとの所定の予測係数のセットを記憶しており、発生手段が、決定手段が出力するクラスに対応する予測係数のセットを、記憶手段から読み出し、その読み出された予測係数のセットと、注目画素の周辺に位置する、ビット間引き画像データの複数の画素の画素値であって、かつ、他方の画素の画素値との積和演算によって、注目画素に対応するビット間引きが施される前の画素の画素値を算出する演算手段（例えば、図１に示す画素データ生成回路１４など）をさらに有することを特徴とする。
【００２４】
なお、勿論この記載は、各手段を上記したものに限定することを意味するものではない。
【００２５】
図１は、本発明を適用した送受信システム（システムとは、複数の装置が論理的に集合したものをいい、各構成の装置が同一筐体中にあるか否かは問わない）の一実施の形態の構成例を示している。
【００２６】
この送受信システムは、送信装置１００と受信装置２００とで構成されている。そして、送信装置１００は、入力端子１、レベル方向ビットサブサンプリング回路２、エンコーダ３、送信処理回路４、および出力端子５で構成され、画像の各画素（画素データ）のレベル方向の所定のビットを間引くことにより圧縮して送信するようになされており、受信装置２００は、入力端子７、受信処理回路８、デコーダ９、クラスタップ／予測タップ切り出し回路１１、クラスタリング回路１２、メモリ１３、画素データ生成回路１４、および出力端子１５で構成され、送信装置１００からの圧縮された画像を伸張するようになされている。
【００２７】
即ち、送信装置１００には、例えば、図示せぬビデオカメラなどで撮影され、その内蔵するＣＣＤなどの光電変換素子が有する画素と同一配置の画素で、各フレームが構成される動画像（以下、適宜、全画素動画像という）のディジタル画像データが供給される。ここで、このような全画素動画像は、いわゆるプログレッシブカメラ（光電変換素子上の画素すべてを、いわゆるラスタスキャン順に走査して、１フレームの画像信号として出力するビデオカメラ）や、全画素カメラ（光電変換素子上の画素すべてにおける信号を、一度に、１フレームの画像信号として出力するビデオカメラ）などによって得ることができる。
【００２８】
このディジタル画像データは、入力端子１を介して、レベル方向ビットサブサンプリング回路２に供給される。レベル方向ビットサブサンプリング回路２に供給されるディジタル画像データとしての動画像を構成する各フレームの画素（画素データ）は、例えば８ビットで構成されており、レベル方向ビットサブサンプリング回路２では、その８ビットの各画素が、図２に示すように、空間方向および時間方向の両方向に、五の目格子状に、画素のレベル方向に対して異なるビット間引きにより間引かれることにより圧縮される。
【００２９】
ここで、図２において（後述する図３乃至図６および図１２においても同様）、●印および○印の両方が、全画素動画像を構成するフレームの画素（画素データ）を示している。そして、図３（Ａ）に示されるように、レベル方向ビットサブサンプリング回路２は、そのうちの●印の８ビットの画素データについては、そのレベル方向のＭＳＢ（Most Significant Bit）から２番目、４番目、６番目及び８番目（ＬＳＢ（Least Significant Bit））のビットを間引き、ＭＳＢから１番目、３番目、５番目及び７番目のビットから構成される４ビットの画素データ（以下、第１のビット間引き画素（画素データ）という）を構成する。また、レベル方向ビットサブサンプリング回路２は、○印の８ビットの画素データについては、そのレベル方向のＭＳＢから１番目、３番目、５番目及び７番目のビットを間引き、ＭＳＢから２番目、４番目、６目及び８番目のビットから構成される４ビットの画素データ（以下、第２のビット間引き画素（画素データ）という）を構成する。
【００３０】
従って、レベル方向ビットサブサンプリング回路２では、全画素動画像の第１フレームについては、例えば、図４（Ａ）に示すように、その１ライン目の２列目、４列目、６列目、８列目、・・・，２ライン目の１列目、３列目、５列目、７列目、・・・の画素（同図（Ａ）に●印で示す）が第１のビット間引き画素（画素データ）として構成されるように、各画素データの８ビットのうちの４ビットが間引かれ、また、その１ライン目の１列目、３列目、５列目、７列目、・・・，２ライン目の２列目、４列目、６列目、８列目、・・・の画素（同図（Ａ）に○印で示す）が第２のビット間引き画素（画素データ）として構成されるように、各画素データの８ビットのうちの４ビットが間引かれる。以下、同様にして、奇数フレームについては、第１または第２のビット間引き画素それぞれが、空間方向に、五の目格子状に並ぶように、各画素のレベル方向に対してビット間引きが行われる。
【００３１】
また、第２フレームについては、例えば、図４（Ｂ）に示すように、その１ライン目の１列目、３列目、５列目、７列目、・・・，２ライン目の２列目、４列目、６列目、８列目、・・・の画素（同図（Ｂ）に●印で示す）が第１のビット間引き画素（画素データ）として構成されるように、各画素データの８ビットのうちの４ビットが間引かれ、その１ライン目の２列目、４列目、６列目、８列目、・・・，２ライン目の１列目、３列目、５列目、７列目、・・・の画素（同図（Ｂ）に○印で示す）が第２のビット間引き画素（画素データ）として構成されるように、各画素データの８ビットのうちの４ビットが間引かれる。以下、同様にして、偶数フレームについても、第１または第２のビット間引き画素それぞれが、空間方向に、五の目格子状に並ぶように、各画素のレベル方向のビット間引きが行われる。
【００３２】
この場合、ある１ラインまたは１列に注目すれば、例えば、図５に示すように、第１フレームについては、その注目ラインまたは注目列を構成する２番目，４番目，６番目，８番目，・・・の画素（同図において●印で示す）が第１のビット間引き画素（画素データ）として構成されるように、各画素データの８ビットのうちの４ビットが間引かれ、第２フレームについては、注目ラインまたは注目列を構成する１番目，３番目，５番目，７番目，・・・の画素（同図において●印で示す）が第１のビット間引き画素（画素データ）として構成されるように、各画素データの８ビットのうちの４ビットが間引かれる。そして、第３フレームについては、再び、注目ラインまたは注目列を構成する２番目，４番目，６番目，８番目，・・・の画素（同図において●印で示す）が第１のビット間引き画素（画素データ）として構成されるように、各画素データの８ビットのうちの４ビットが間引かれる
【００３３】
さらに、第１フレームについては、その注目ラインまたは注目列を構成する１番目，３番目，５番目，７番目，・・・の画素（同図において○印で示す）が第２のビット間引き画素（画素データ）として構成されるように、各画素データの８ビットのうちの４ビットが間引かれ、第２フレームについては、注目ラインまたは注目列を構成する２番目，４番目，６番目，８番目，・・・の画素（同図において○印で示す）が第２のビット間引き画素（画素データ）として構成されるように、各画素データの８ビットのうちの４ビットが間引かれる。そして、第３フレームについては、再び、注目ラインまたは注目列を構成する１番目，３番目，５番目，７番目，・・・の画素（同図において○印で示す）が第２のビット間引き画素（画素データ）として構成されるように、各画素データの８ビットのうちの４ビットが間引かれる。
【００３４】
以下、同様にして、ビット間引きが行われることにより、レベル方向ビットサブサンプリング回路２では、時間方向にも、第１または第２のビット間引き画素それぞれが、五の目格子状に並ぶように、各画素のレベル方向のビット間引きが行われる。
【００３５】
全画素動画像の各フレームについて、以上のように、第１または第２のビット間引き画素それぞれが、空間方向および時間方向の両方向に、五の目格子状に並ぶように、各画素のレベル方向のビット間引き（以下、適宜、空間／時間五の目レベル方向ビット間引きという）が行われることにより、空間方向および時間方向のいずれの方向にも、第１のビット間引き画素（画素データ）と第２のビット間引き画素（画素データ）が交互（１つおき）に存在するようになる。従って、空間／時間五の目レベル方向ビット間引き後の情報量は、単純には、従来技術のインターレース間引きを行った場合と同様に、元の情報量の１／２になる。
【００３６】
空間／時間五の目レベル方向ビット間引きは、このように情報量を低減することができる。さらに、間引き後の画素数自体は、元の画素数と変わらないから、水平方向、垂直方向、および斜め方向のいずれの解像度も維持することができ、その結果、これらのいずれの方向の速い変化をも表現することが可能となり、そのような動きがある場合の画質の劣化を低減（防止）することが可能となる。従って、空間／時間五の目レベル方向ビット間引きによれば、ディジタル画像データについて、いわば均一な間引きを実現できる。
【００３７】
図１に戻り、レベル方向ビットサブサンプリング回路２において、空間／時間五の目レベル方向ビット間引きが施されることにより得られるビット間引き画像データは、エンコーダ３に供給される。エンコーダ３では、レベル方向ビットサブサンプリング回路２からのビット間引き画像データ（第１のビット間引き画素と第２のビット間引き画素で構成される画像データ）が高能率符号化される。ここで、高能率符号化方式としては、例えば、ＤＣＴ（Discrete Cosine Transform）などの直交変換と動き補償を組み合わせたハイブリッド方式、ＤＣＴと量子化を組み合わせたハイブリッド方式、ＡＤＲＣ（Adaptive Dynamic Range Coding）などを用いることが可能である。なお、ＡＤＲＣについては、例えば、本出願人が先に出願している特開昭６１-１４４９８９号公報などに、その詳細が記載されている。なお、場合によっては（例えば、伝送路６の容量が充分大きい場合など）、このエンコーダ３は省略することが可能である。
【００３８】
エンコーダ３において、ビット間引き画像データが高能率符号化されることにより得られる符号化データは、送信処理回路４に供給される。送信処理回路４では、エンコーダ３からの符号化データに対して、例えば、エラー訂正、パケット化、チャネル符号化などの必要な信号処理が施され、その結果得られる伝送データが、出力端子５を介して出力される。この伝送データは、所定の伝送路６を介して送信される。なお、伝送路６には、例えば、衛星回線や、地上波、ＣＡＴＶ網、公衆網、インターネットなどの通信回線の他、例えば、磁気記録／再生のプロセス、さらには、磁気ディスク、光ディスク、磁気テープ、光磁気ディスク、相変化ディスクその他の記録媒体も含まれる。
【００３９】
伝送路６からの伝送データは、受信装置２００の入力端子７を介して、受信処理回路８で受信される。受信処理回路８では、伝送データに対して、チャネル復号化、アンパケット化、エラー訂正などの必要な信号処理が施され、その結果得られる符号化データが、送信装置のエンコーダ３に対応するデコーダ９に供給される。デコーダ９では、その符号化データがエンコーダ３の符号化処理に対応する復号処理によりデコードされ、第１のビット間引き画素と第２のビット間引き画素で構成されるビット間引き画像データとされ、クラスタップ／予測タップ切り出し回路１１に供給される。
【００４０】
クラスタップ／予測タップ切り出し回路１１は、例えば、図６に示すように、４ビットにレベル方向のビット間引きが施された所定のビット間引き画素（画素データ）ｘ’を注目画素（注目ビット間引き画素）としたとき、その注目ビット間引き画素ｘ’と、その空間方向の上下左右に隣接する４つのビット間引き画素（画素データ）ａ，ｂ，ｃ，ｄとを後述するクラスタリング回路１２でクラスを決定するのに用いる画素（以下、適宜、クラスタップという）として切り出すとともに、後述する画素データ生成回路１４で注目ビット間引き画素ｘ’を元の８ビットの画素データｘに復元するのに用いる画素（以下、予測タップという）として切り出す。この切り出されたクラスタップまたは予測タップは、クラスタリング回路１２または画素データ生成回路１４にそれぞれ供給される。なお、ここでは、ある注目ビット間引き画素について、クラスタップと予測タップを同一のビット間引き画素から構成することとしたが、異なるビット間引き画素から構成することも可能である。クラスタップ／予測タップ切り出し回路１１は、すべてのビット間引き画素（つまり、第１のビット間引き画素（画素データ）及び第２のビット間引き画素（画素データ））について、その上下左右に隣接するビット間引き画素でなるクラスタップまたは予測タップを構成し、クラスタリング回路１２または画素データ生成回路１４に、それぞれ供給する。
【００４１】
クラスタリング回路１２は、クラスタップ／予測タップ切り出し回路１１からのクラスタップを受け取り、そのクラスタップを構成する４ビットのビット間引き画素の性質に応じてクラスタリングを行い、注目ビット間引き画素に対する所定のクラスを発生する。
【００４２】
ここで、クラスタリングについて簡単に説明する。いま、例えば、図７（Ａ）に示すように、２×２画素でなるクラスタップを考え、各画素が、１ビットで表現される（０または１のうちのいずれかのレベルをとる）ものとすると、この２×２の４画素のクラスタップは、各画素のレベル分布により、図７（Ｂ）に示すように、１６（＝（２1）4）パターンにクラス分けすることができる。このようなクラス分けがクラスタリングであり、このような処理がクラスタリング回路１２において行われる。なお、ここでは、説明の簡略化を考え、各画素を１ビットで表現した場合について説明したが、本実施の形態では、クラスタップを構成する各画素を、例えば２ビットで表現し、そのようなクラスタップを対象にクラスタリングが行われるようになされている。
【００４３】
即ち、本実施の形態では、各画素（ビット間引き画素）には、４ビットが（その画素値を表現するために）割り当てられている。また、本実施の形態においては、上述したように、クラスタップは５画素（ビット間引き画素ｘ’，ａ，ｂ，ｃ，ｄ）で構成される。従って、このようなクラスタップを対象にクラスタリングを行ったのでは、（２4）5という膨大な数のクラスが生じることになる。
【００４４】
そこで、クラスタリング回路１２は、図８に示すように、２ビットＡＤＲＣ回路１６を有しており、この２ビットＡＤＲＣ回路１６において、クラスタップに対して、２ビットＡＤＲＣ処理が施されるようになされている。これにより、クラスタップを構成する各画素(ビット間引き画素)のビット数を４ビットから２ビットに減少させ、クラス数を削減するようになされている。
【００４５】
即ち、例えば、いま、説明を簡単にするため、図９（Ａ）に示すように、直線上に並んだ４画素で構成されるクラスタップを考えると、ＡＤＲＣ処理においては、その画素値の最大値ＭＡＸと最小値ＭＩＮが検出される。そして、ＤＲ＝ＭＡＸ−ＭＩＮを、ブロックの局所的なダイナミックレンジとし、このダイナミックレンジＤＲに基づいて、ブロックを構成する画素の画素値がＫビットに再量子化される。
【００４６】
即ち、ブロック内の各画素値から、最小値ＭＩＮを減算し、その減算値をＤＲ／２Kで除算する。そして、その結果得られる除算値に対応するコード（ＡＤＲＣコード）に変換される。具体的には、２ビットＡＤＲＣ回路１６では、Ｋ＝２として、図９（Ｂ）に示すように、除算値が、ダイナミックレンジＤＲを４（＝２2）等分して得られるいずれの範囲に属するかが判定され、除算値が、例えば、最も下のレベルの範囲、下から２番目のレベルの範囲、下から３番目のレベルの範囲、または最も上のレベルの範囲に属する場合には、それぞれ、例えば、００Ｂ，０１Ｂ，１０Ｂ、または１１Ｂなどの２ビットにコード化される（Ｂは２進数であることを表す）。
【００４７】
なお、その復号は、ＡＤＲＣコード００Ｂ，０１Ｂ，１０Ｂ、または１１Ｂを、例えば、ダイナミックレンジＤＲを４等分して得られる最も下のレベルの範囲の中心値Ｌ00、下から２番目のレベルの範囲の中心値Ｌ01、下から３番目のレベルの範囲の中心値Ｌ10、または最も上のレベルの範囲の中心値Ｌ11に変換し、その値に、最小値ＭＩＮを加算することで行うことができる。
【００４８】
また、クラスタリングは、上述したように、クラスタップを構成する各画素（ビット間引き画素）のレベルそのものに基づいて行う他、例えば、クラスタップを構成する画素のレベルの傾向（例えば、すべての画素のレベルがほぼ揃っているとか、右にある画素のレベルが他の画素のレベルよりも高いまたは低いとかなど）など基づいて行うことも可能である。
【００４９】
２ビットＡＤＲＣ回路１６において、５画素のクラスタップに、２ビットＡＤＲＣ処理が施されることにより、５画素それぞれのビット数が２ビットにされたクラスタップが得られる。２ビットＡＤＲＣ回路１６は、このビット数が２ビットの５画素の画素値を並べた１０ビットのデータを、注目ビット間引き画素に対する仮のクラスとして出力する。
【００５０】
クラスタリング回路１２は、図８に示すように、２ビットＡＤＲＣ回路１６の他、ビット付加回路１７も有しており、２ビットＡＤＲＣ回路１６が出力する１０ビットの仮のクラスコードは、ビット付加回路１７に供給される。
【００５１】
ビット付加回路１７は、２ビットＡＤＲＣ回路１６からの仮のクラスコードに対して１ビットを付加し、最終的なクラスコードを生成する。即ち、ビット付加回路１７は、クラスタップに対する注目ビット間引き画素が第１のビット間引き画素（画素データ）であるかもしくは第２のビット間引き画素（画素データ）であるかによって異なる１ビットを付加ビットとして仮のクラスコードに付加する。例えば、注目ビット間引き画素が第１のビット間引き画素（画素データ）である場合には、ビット“０”を、注目ビット間引き画素が第２のビット間引き画素（画素データ）である場合には、ビット“１”を付加する。そして、この１ビットが付加された合計１１ビットが、注目ビット間引き画素に対する最終的なクラスとして、クラスタリング回路１２から出力される。
【００５２】
再び、図１に戻り、以上のようなクラスタリングにより得られた注目ビット間引き画素に対するクラス（クラスコード）は、メモリ１３に対して、アドレスとして与えられる。メモリ１３は、全画素動画像を構成する画素からレベル方向に対して空間／時間五の目レベル方向ビット間引きの施されたビット間引き画素（注目ビット間引き画素）ｘ’に対応する元の画素ｘを予測するための予測データを、クラスごとに記憶しており、クラスタリング回路１２からアドレスとしてのクラス（クラスコード）が与えられると、そのクラスに対応する予測データを読み出し、画素データ生成回路１４に供給する。
【００５３】
ここで、いまの場合、メモリ１３においては、例えば、注目画素（注目ビット間引き画素）ｘ’に対応する元の画素ｘを、その注目ビット間引き画素ｘ’と、その上下左右に隣接するビット間引き画素（画素データ）ａ乃至ｄ（図６）からなる予測タップを用いた線形一次式により予測するための、その線形一次式の係数（予測係数）のセットｗ1，ｗ2，ｗ3，ｗ4，ｗ5が、予測データとして記憶されている。従って、メモリ１３から画素データ生成回路１４には、注目ビット間引き画素のクラスに対応する係数のセットｗ1乃至ｗ5が、予測データとして供給される。
【００５４】
画素データ生成回路１４は、予測データｗ1乃至ｗ5を受信すると、その予測データである係数のセットｗ1乃至ｗ5と、クラスタップ／予測タップ切り出し回路１１から供給された予測タップを構成するビット間引き画素（画素データ）の画素値ｘ’，ａ乃至ｄとを用いて、次の線形一次式を演算することにより、注目ビット間引き画素ｘ’に対応する元の８ビットの画素（画素データ）ｘを生成（予測）する。
【００５５】
ｘ＝ｗ1ａ＋ｗ2ｂ＋ｗ3ｃ＋ｗ4ｄ＋ｗ5ｘ’
・・・（１）
【００５６】
画素データ生成回路１４で求められた８ビットの画素（画素データ）ｘは、出力端子１５に供給されて順次出力される。この結果、出力端子１５からは、元の全画素動画像を構成するフレームのデータが出力される。
【００５７】
次に、クラス毎の予測データの生成について説明する。注目ビット間引き画素である４ビットのビット間引き画素ｘ’から元の８ビットの画素（画素データ）ｘを求めるのに、式（１）の線形一次式を構成するための予測データである係数のセットｗ1，ｗ2，ｗ3，ｗ4，ｗ5は、学習により求められるようになされている。
【００５８】
図１０は、予測データである係数のセットｗ1乃至ｗ5を求めるための学習を行う学習装置の一実施の形態の構成例を示している。
【００５９】
学習では、学習用の全画素動画像が複数用意され、入力端子２０には、その学習用の全画素動画像が、例えば、フレーム単位で入力される。ここで、学習用の全画素動画像は、予測データとして係数のセットｗ1乃至ｗ5の作成を考慮した標準的なものであるのが望ましい。
【００６０】
入力端子２０に入力された全画素動画像の各フレームは、レベル方向ビットサンプリング回路２１に供給されるとともに、タップ切り出し回路２２に供給される。レベル方向ビットサンプリング回路２１では、上述した図１に示されるレベル方向ビットサブサンプリング回路２と同様に、全画素動画像に対して空間／時間方向五の目レベル方向ビット間引きが施され、第１のビット間引き画素（画素データ）と第２のビット間引き画素（画素データ）でなるビット間引き画像データが生成される。このビット間引き画像データは、タップ切り出し回路２２に供給される。
【００６１】
タップ切り出し回路２２は、入力端子２０から供給された全画素動画像の各フレームを構成する画素から、図６に示した注目ビット間引き画素ｘ’に対応する８ビットの画素ｘを教師画素（画素データ）として切り出すとともに、レベル方向ビットサブサンプリング回路２１から供給されたビット間引き画像データから注目ビット間引き画素ｘ’と、その上下左右に隣接する４つのビット間引き画素（画素データ）ａ乃至ｄをクラスタップ及び予測タップとして切り出す。そして、タップ切り出し回路２２で切り出された５つのビット間引き画素（画素データ）ｘ’，ａ乃至ｄからなるクラスタップはクラスタリング回路２４に供給される。さらに、タップ切り出し回路２２で切り出された５つのビット間引き画素（画素データ）ｘ’，ａ乃至ｄからなる予測タップと８ビットの教師画素（画素データ）ｘはデータメモリ２３の入力端子ＩＮに供給される。
【００６２】
クラスタリング回路２４は、図１のクラスタリング回路１２と同様に、そこに供給されるクラスタップをＡＤＲＣ処理することによりクラスタリングする。さらに、その結果得られる仮のクラスコードに、注目ビット間引き画素が第１のビット間引き画素（画素データ）であるか、または第２のビット間引き画素（画素データ）であるかどうかを示す１ビットを付加し、それにより得られる最終的なクラスコードを注目ビット間引き画素のクラスとして、スイッチ２５の端子２５ａに供給する。ここで、スイッチ２５は、学習用の全画素動画像から得られるすべてのビット間引きについて、上述したクラスタリング処理及びデータメモリ２３への供給処理が終了するまでは、端子２５ａを選択しており、従って、クラスタリング回路２４が出力する注目ビット間引き画素に対するクラスは、スイッチ２５を介して、データメモリ２３のアドレス端子ＡＤに供給される。
【００６３】
データメモリ２３は、そのアドレス端子ＡＤに供給されるクラスに対応するアドレスに、その入力端子ＩＮに供給されるデータを記憶する。
【００６４】
ここで、例えば、所定のクラスＣｌａｓｓに分類される注目ビット間引き画素ｘ1’，ｘ2’，・・・，ｘn’について、その各注目ビット間引き画素ｘ1’，ｘ2’，・・・，ｘn’の位置に対応する、学習用の全画素動画像から得られる教師画素（画素データ）をｘ1，ｘ2，・・・，ｘnとする。また、注目ビット間引き画素ｘ1’の上下左右に隣接する予測タップを構成する４つのビット間引き画素（画素データ）をａ1，ｂ1，ｃ1，ｄ1と、注目ビット間引き画素ｘ2’の上下左右に隣接する予測タップを構成する４つのビット間引き画素（画素データ）をａ2，ｂ2，ｃ2，ｄ2と、・・・、注目ビット間引き画素ｘn’の上下左右に隣接する予測タップを構成する４つのビット間引き画素（画素データ）をａn，ｂn，ｃn，ｄnと、それぞれする。この場合、上述の処理により、メモリ２３の、クラスＣｌａｓｓに対応するアドレスには、教師画素（画素データ）ｘ1，ｘ2，・・・，ｘn，予測タップを構成するビット間引き画素（画素データ）ａ1，ａ2，・・・，ａn，ｂ1，ｂ2，・・・，ｂn，ｃ1，ｃ2，・・・，ｃn，ｄ1，ｄ2，・・・，ｄn，ｘ1’，ｘ2’，・・・，ｘn’が記憶される。
【００６５】
学習用の全画素動画像から得られるすべての教師画素についてのクラスタリング処理及びデータメモリ２３への記憶処理が終了すると、スイッチ２５は端子２５ｂを選択する。端子２５ｂには、カウンタ２６の出力が供給されるようになされており、カウンタ２６は、所定のクロックＣＫをカウントすることにより、順次変化するアドレスを発生するようになされている。従って、カウンタ２６が発生するアドレスは、スイッチ２５を介して出力される。カウンタ２６からスイッチ２５を介して出力されるアドレスは、データメモリ２３のアドレス端子ＡＤと、メモリ２８のアドレス端子ＡＤとに供給される。
【００６６】
データメモリ２３においては、そのアドレス端子ＡＤに供給される、カウンタ２６からのアドレスにしたがって、そのアドレスに対応する記憶内容（教師画素（画素データ）と予測タップを構成する５つのビット間引き画素（画素データ））が読み出され、最小自乗法演算回路２７に供給される。最小自乗法演算回路２７では、データメモリ２３から供給される教師画素（画素データ）と予測タップを構成するビット間引き画素（画素データ）に基づいて、方程式がたてられ、これが、例えば、最小自乗法によって解かれることにより、予測データとしての係数のセットｗ1乃至ｗ5が求められる。
【００６７】
即ち、上述のクラスＣｌａｓｓに注目した場合、最小自乗法演算回路２７では、データメモリ２３の、クラスＣｌａｓｓに対応するアドレスに記憶された教師画素（画素データ）ｘ1，ｘ2，・・・，ｘn、予測タップを構成する５つのビット間引き画素（画素データ）ａ1，ａ2，・・・，ａn，ｂ1，ｂ2，・・・，ｂn，ｃ1，ｃ2，・・・，ｃn，ｄ1，ｄ2，・・・，ｄn，ｘ1’，ｘ2’，・・・，ｘn’を用いて、式（１）に対応する、以下のような連立方程式がたてられる。
ｘ1＝ｗ1ａ1＋ｗ2ｂ1＋ｗ3ｃ1＋ｗ4ｄ1＋ｗ5ｘ1’
ｘ2＝ｗ1ａ2＋ｗ2ｂ2＋ｗ3ｃ2＋ｗ4ｄ2＋ｗ5ｘ2’
・
・
・
ｘn＝ｗ1ａn＋ｗ2ｂn＋ｗ3ｃn＋ｗ4ｄn＋ｗ5ｘn’
・・・（２）
【００６８】
そして、最小自乗法演算回路２７は、式（２）の連立方程式を、最小自乗法によって解くことにより、クラスＣｌａｓｓについての予測データとしての係数のセットｗ1乃至ｗ5を求める。他のクラスについての予測データとしての係数のセットも同様にして求められる。
【００６９】
最小自乗法演算回路２７で求められた予測データとしての係数のセットｗ1乃至ｗ5は、メモリ２８に供給される。従って、クラスＣｌａｓｓについての予測データとしての係数のセットｗ1乃至ｗ5は、メモリ２３において、データｘ1，ｘ2，・・・，ｘn，ａ1，ａ2，・・・，ａn，ｂ1，ｂ2，・・・，ｂn，ｃ1，ｃ2，・・・，ｃn，ｄ1，ｄ2，・・・，ｄn，ｘ1’，ｘ2’，・・・，ｘn’が記憶されていたアドレスと同一のメモリ２８のアドレスに記憶される。他のクラスについての予測データとしての係数のセットも、同様にして、メモリ２８に記憶される。
【００７０】
図１のメモリ１３には、以上のようにしてメモリ２８に記憶された予測データとしての係数のセットが記憶されている。
【００７１】
次に、図１のメモリ１３には、予測データとして、式（１）に示した線形一次式を計算するための係数ではなく、８ビットの画素値そのものを記憶させておくようにすることができる。
【００７２】
図１１は、８ビットの画素値を予測データとしてメモリ１３に記憶させる場合の、その予測データを求める学習装置の一実施の形態の構成例を示している。なお、図中、図１０における場合と対応する部分については、同一の符号を付してある。
【００７３】
入力端子２０に入力された全画素動画像の各フレームは、レベル方向ビットサンプリング回路２１に供給されるとともに、タップ切り出し回路２２に供給される。レベル方向ビットサンプリング回路２１では、上述した図１に示されるレベル方向ビットサブサンプリング回路と同様に、全画素動画像に対して空間／時間方向五の目レベル方向ビット間引きが施され、第１のビット間引き画素（画素データ）と第２のビット間引き画素（画素データ）でなるビット間引き画像データが生成される。このビット間引き画像データは、タップ切り出し回路２２に供給される。
【００７４】
タップ切り出し回路２２は、入力端子２０から供給された全画素動画像の各フレームを構成する画素から、図６に示した注目ビット間引き画素ｘ’に対応する８ビットの画素ｘを教師画素（画素データ）として切り出すとともに、レベル方向ビットサブサンプリング回路２１から供給されたビット間引き画像データから注目ビット間引き画素ｘ’と、その上下左右に隣接する４つのビット間引き画素（画素データ）ａ乃至ｄをクラスタップとして切り出す。そして、タップ切り出し回路２２は、その５つのビット間引き画素（画素データ）ｘ’，ａ乃至ｄからなるクラスタップをクラスタリング回路２４に供給するとともに、８ビットの教師画素（画素データ）ｘを演算器３４に供給する。
【００７５】
クラスタリング回路２４は、図１のクラスタリング回路１２と同様に、そこに供給されるクラスタップをクラスタリングし、その結果得られるクラスを、データメモリ３０のアドレス端子ＡＤと、度数メモリ３１のアドレス端子ＡＤとに供給する。ここで、データメモリ３０および度数メモリ３１は、学習を開始する前に、その記憶内容が０にクリアされるようになされている。
【００７６】
度数メモリ３１では、そのアドレス端子ＡＤに、アドレスとしてのクラス（クラスコード）が供給されると、そのアドレスの記憶内容としての度数が読み出され、その出力端子ＯＵＴから出力される。度数メモリ３１から出力された度数は、演算器３２に供給され、１だけインクリメントされる。このインクリメント結果は、度数メモリ３１の入力端子ＩＮに供給され、インクリメント前の度数が記憶されていたアドレスに記憶される（上書きされる）。
【００７７】
一方、データメモリ３０では、そのアドレス端子ＡＤに、アドレスとしてのクラス（クラスコード）が供給されると、やはり、そのアドレスの記憶内容が読み出され、その出力端子ＯＵＴから出力される。データメモリ３０の出力は、演算器３３に供給される。演算器３３には、さらに、度数メモリ３１が出力する度数も供給されており、そこでは、この度数と、データメモリ３０の出力とが乗算される。この乗算結果は、演算器３４に供給される。
【００７８】
演算器３４では、演算器３３における乗算結果と、タップ切り出し回路２２からの注目画素（８ビットの画素値）とが加算され、その加算値は、演算器３５に供給される。演算器３５には、さらに、演算器３２による度数のインクリメント結果も供給されており、そこでは、演算器３４の加算結果を被除数とするとともに、加算器３２のインクリメント結果を除数として、除算が行われる。この除算結果は、データメモリ３０の入力端子ＩＮに供給され、クラスタリング回路２４が出力するクラス（クラスコード）に対応するアドレスに記憶される（上書きされる）。
【００７９】
図１１の学習装置において、データメモリ３０および度数メモリ３１のあるアドレスａｄへのアクセスが最初に行われる場合には、タップ切り出し回路２２から演算器３４に供給される８ビットの教師画素（画素データ）ｘ１がそのまま、データメモリ３０のアドレスａｄに書き込まれ、また、度数メモリ３１のアドレスａｄには、１が書き込まれる。その後、再度、アドレスａｄへのアクセスが行われ、このときにタップ切り出し回路２２から演算器３４に供給される８ビットの教師画素（画素データ）がｘ２であったとすると、演算器３２の出力は２となり、また、演算器３４の出力はｘ１＋ｘ２となるから、演算器３５の出力は（ｘ１＋ｘ２）／２となり、これが、データメモリ３０のアドレスａｄに書き込まれる。そして、度数メモリ３１のアドレスａｄには、演算器３２の出力である２が書き込まれる。さらに、再び、アドレスａｄへのアクセスが行われ、このときにタップ切り出し回路２２から演算器３４に供給される８ビットの教師画素（画素データ）がｘ３であったとすると、同様の処理により、データメモリ３０のアドレスａｄには、（ｘ１＋ｘ２＋ｘ３）／３が書き込まれ、度数メモリ３１のアドレスａｄには、３が書き込まれる。
【００８０】
以上のようにして、データメモリ３０には、各クラスに分類されるビット間引き画素に対応する教師画素（画素データ）の８ビットの画素値の平均値が記憶される。
【００８１】
なお、図１のメモリ１３に、データメモリ３０に記憶された８ビットの画素値を、予測データとして記憶させる場合には、その予測データとしての８ビットの画素値を、メモリ１３から読み出して出力することが８ビットの画素を予測することになるから、画素データ生成回路１４は設ける必要がなく、さらに、クラスタップ／予測タップ切り出し回路１１でも予測タップの生成、出力を行わずに済むようになる。
【００８２】
ところで、上述の場合には、図１のクラスタップ／予測タップ切り出し回路１１において、図６に示したように、ビット間引き画素（注目ビット間引き画素）ｘ’と、その空間方向の上下左右に隣接する４つのビット間引き画素（画素データ）ａ，ｂ，ｃ，ｄで１つのクラスタップ及び予測タップを構成するようにしたが、クラスタップ及び予測タップは、注目ビット間引き画素としてのビット間引き画素ｘ’の時間方向に隣接するビット間引き画素も含めて構成することが可能である。
【００８３】
即ち、例えば、図１２に示すように、第ｎフレームのある注目ビット間引き画素ｘ’についてクラスタップ及び予測タップを構成する場合においては、注目ビット間引き画素ｘ’、その同一フレーム内の上下左右に隣接する４つのビット間引き画素（画素データ）ａ，ｂ，ｃ，ｄ、並びに第ｎ−１フレームの、注目ビット間引き画素ｘ’と同一位置にあるビット間引き画素（画素データ）ｅ、および第ｎ＋１フレームの、注目ビット間引き画素ｘ’と同一位置にあるビット間引き画素（画素データ）ｆの合計７つのビット間引き画素（画素データ）などでクラスタップ及び予測タップを構成することが可能である。
【００８４】
この場合、時間方向のビット間引き画素（画素データ）ｅ，ｆをも考慮してクラスタリングや、式（１）の演算が行われるので、注目ビット間引き画素ｘ’を、より元のものに近い画素ｘに復元することが可能となる。なお、この場合、学習時においても、同様にクラスタップを構成する必要がある。また、クラスタップは、注目ビット間引き画素ｘ’の時間方向にある間引き後画素だけで構成することも可能である。
【００８５】
次に、以上では、受信装置２００において、学習を行うことにより得られた予測データを用いて、ビット間引き画素から元の８ビットの画素を予測するようにしたので、ビット間引き画素で構成される画像に含まれていない高周波成分も復元することができるが、ビット間引画素に対する元の画素の復元は、単純なビット補間によって行うことも可能である。
【００８６】
図１３は、そのような送受信システムの一実施の形態の構成例を示している。なお、図中、図１における場合と対応する部分については、同一の符号を付してある。即ち、この送受信システムは、クラスタップ／予測タップ切り出し回路１１、クラスタリング回路１２、メモリ１３、および画素データ生成回路１４に代えて、補間フィルタ４０が設けられている他は、図１の送受信システムと同様に構成されている。
【００８７】
補間フィルタ４０は、デコーダ９からの注目ビット間引き画素（画素データ）の間引かれたビットを、その周辺にあるビット間引き画素（画素データ）を用いて補間して出力する。この場合、図１における場合のように、ビット間引き画素で構成される画像に含まれていない高周波成分を復元することはできないが、受信装置２００の構成を簡単化することができる。
【００８８】
以上、本発明を適用した送受信システムについて説明したが、このような送受信システムは、テレビジョン放送は勿論、画像を記録／再生する場合などにも用いることができる。
【００８９】
なお、本実施の形態では、あるビット間引き画素に注目した場合において、クラスタリングで使用されるクラスタップに用いるビット間引き画素（画素データ）と、式（１）に示した線形一次式を計算するのに使用される予測タップに用いるビット間引き画素（画素データ）とを同一のものとしたが、これらは、同一である必要はなく、クラスタップと予測タップとには、それぞれ別々のビット間引き画素の集合を用いることができる。即ち、クラスタップを構成する画素と、予測タップを構成する画素とは、それぞれ、クラスタップ／予測タップ切り出し回路１１に適応的に切り出させることができる。なお、予測タップ、クラスタップの切り出し方は、画像の空間的な特徴（アクティビティ）や動き等に応じて適応的に変えてもよい。
【００９０】
また、本実施の形態においては、クラスタップや予測タップに、注目ビット間引き画素（画素データ）を含めるようにしたが、注目ビット間引き画素を含めないようにすることも可能である。この場合、クラス毎の予測データを生成する学習時においても同様に、クラスタップや予測タップに注目ビット間引き画素（画素データ）を含めないようにする必要がある。
【００９１】
さらに、クラスタップとしてのビット間引き画素（画素データ）や、予測タップとしてのビット間引き画素（画素データ）は、注目ビット間引き画素に対して、空間的または時間的に隣接している必要はない。但し、注目ビット間引き画素の周辺にあるビット間引き画素（画素データ）を用いるのが望ましい。
【００９２】
また、本実施の形態においては、動画像を構成する各フレームの８ビットの画素を４ビットの画素にビット間引きするようにしたが、本発明はこれに限らず、例えば、１２ビットの画素を６ビットの画素にビット間引きしたり、１２ビットの画素を８ビットや４ビットに間引いてもよい。即ち、オリジナルの動画像や空間／時間五の目レベル方向ビット間引き後のビット間引き画像データの各画素のビット数は、特に限定されるものではない。
【００９３】
さらに、本実施の形態においては、動画像データの画素の８ビットの画素値を、１ビットおきに間引き、４ビットの画素値とするようにしたが、本発明はこれに限らず、例えば、第１のビット間引き画素は、元の画素のレベル方向のＭＳＢから３番目、４番目、５番目及び６番目のビットを間引き、ＭＳＢから１番目、２番目、７番目及び８番目のビットの４ビットの画素データから構成し、第２のビット間引き画素は、元の画素のレベル方向のＭＳＢから１番目、２番目、７番目及び８番目（ＬＳＢ）のビットを間引き、ＭＳＢから３番目、４番目、５番目及び６番目のビットの４ビットの画素データから構成してもよい。
【００９４】
また、本実施の形態では、第１と第２のビット間引き画素それぞれを生成するのにあたって、元の画素から、それぞれ相補的な関係にあるビットを間引くようにしたが、即ち、第１のビット間引き画素は、元の画素のＭＳＢから偶数番目のビットを間引くことによって、第２のビット間引き画素は、元の画素のＭＳＢから奇数番目のビットを間引くことによって、それぞれ生成するようにしたが、第１または第２のビット間引き画素それぞれを生成するにあたっては、元の画素から、一部重複するビットを間引くようにすることも可能である。
【００９５】
さらに、本実施の形態においては、予測タップとして５ビットのビット間引き画素データを用い、係数との線形一時結合により元の画素データを復元することとしたが、その他、例えば、４ビットのビット間引き画素データを一時的に８ビットの画素データに変換し、その８ビットの画素データと係数とを用いた線形一時結合により元の画素データを復元してもよい。４ビットのビット間引き画素を、一時的に８ビットの画素に変換する方法としては、例えば、間引かれたビット位置に、一時的にビット“０”または“１”を補間して、８ビットの画素データにする方法がある。この場合、クラス毎の予測データとしての係数のセットを生成する学習時においても同様に、４ビットのビット間引き画素データから８ビットの画素データに一時的に変換したものを用いる必要がある。
【００９６】
【発明の効果】
請求項１に記載の画像処理装置および請求項３に記載の画像処理方法によれば、第１または第２のビット間引き画素それぞれが、空間方向および時間方向の両方向に五の目格子状に並ぶようにビット間引きが施される。従って、動画像の水平、垂直、および斜め方向の解像度を維持しながら、その情報量を低減することが可能となる。
【００９８】
請求項４に記載の画像処理装置によれば、動画像を構成する各フレームの画素に対して、そのレベル方向にビット間引きを施すことにより得られる所定のビットが間引かれた画素である第１のビット間引き画素と、所定のビットとは異なるビットが間引かれた画素である第２のビット間引き画素とからなる間引き画像データであって、第１または第２のビット間引き画素が、空間方向および時間方向の両方向に五の目格子状に並ぶようにビット間引きを施すことにより得られる間引き画像データを構成する第１および第２のビット間引き画素について、その一方の画素で間引かれているビットを、他方の画素の画素値を用いて補間することにより一方の画素の元の画素値を復元する、または一方の画素の元の画素値を予測するのに用いられるデータである予測データと、他方の画素の画素値との積和演算によって、一方の画素の元の画素値が復元される。従って、画質の劣化の少ない画像を得ることが可能となる。
【図面の簡単な説明】
【図１】本発明を適用した送受信システムの第１実施の形態の構成例を示すブロック図である。
【図２】図１のレベル方向ビットサブサンプリング回路２の処理を説明するための図である。
【図３】図１のレベル方向ビットサブサンプリング回路２の処理を説明するための図である。
【図４】図１のレベル方向ビットサブサンプリング回路２の処理を説明するための図である。
【図５】図１のレベル方向ビットサブサンプリング回路２の処理を説明するための図である。
【図６】図１のクラスタップ／予測タップ切り出し回路１１の処理を説明するための図である。
【図７】図１のクラスタリング回路１２の処理を説明するための図である。
【図８】図１のクラスタリング回路１２の構成例を示す図である。
【図９】ＡＤＲＣを説明するための図である。
【図１０】予測用データを求める学習装置の第１実施の形態の構成例を示すブロック図である。
【図１１】予測用データを求める学習装置の第２実施の形態の構成例を示すブロック図である。
【図１２】図１のクラスタップ／予測タップ切り出し回路１１の他の処理を説明するための図である。
【図１３】本発明を適用した送受信システムの第２実施の形態の構成例を示すブロック図である。
【図１４】インターレース間引きがされる前の画像を示す図である。
【図１５】インターレース間引きがされる後の画像を示す図である。
【符号の説明】
１ 入力端子， ２ レベル方向ビットサブサンプリング回路， ３ エンコーダ， ４ 送信処理装置， ５ 出力端子， ６ 伝送路， ７ 入力端子，８ 受信処理回路， ９ デコーダ， １１ クラスタップ／予測タップ切り出し回路， １２ クラスタリング回路， １３ メモリ， １４ 画素データ生成回路， １５ 出力端子， ２０ 入力端子， ２１ レベル方向サブサンプリング回路， ２２ タップ切り出し回路， ２３ データメリ， ２４ クラスタリング回路， ２５ スイッチ， ２５ａ，２５ｂ 端子， ２６ カウンタ， ２７ 最小自乗法演算回路， ２８ メモリ， ３０ データメモリ， ３１ 度数メモリ， ３２乃至３５ 演算器， ４０ 補間フィルタ， １００ 送信装置， ２００ 受信装置
【発明の属する技術分野】
本発明は、画像処理装置および画像処理方法に関し、特に、動画像の画質等の劣化を低減することができるようにする画像処理装置および画像処理方法に関する。
【０００２】
【従来の技術】
従来より、動画像を表示するときの走査方法の１つとして、インターレース走査がある。
【０００３】
即ち、例えば、ビデオカメラなどで画像を撮影した場合に、本来ならば、図１４に示すように、その内蔵するＣＣＤ（Charge Coupled Device）などの光電変換素子が有する画素と同一配置の画素（同図において、○印で示す）で、各フレームを構成し、伝送や記録を行うのが、画質や解像度などの面からは理想的である。
【０００４】
しかしながら、これでは、伝送や記録等する情報量が多くなる。そこで、情報量の低減のために、図１５に示すように、最初の画面（インターレース走査では、フィールド）は、奇数ラインの画素（同図において●印で示す）を間引いて、偶数ラインの画素（同図において○印で示す）だけで構成され、次の画面は、偶数ラインの画素（同図において●印で示す）を間引いて、奇数ラインの画素（同図において○印で示す）だけで構成され、さらに次の画面は、最初の画面と同様に構成され、以下、同様にして、画面が構成される。
【０００５】
ここで、インターレース走査は、上述したことから、情報量を低減するための画素を間引く手法の１つと考えることができるので、このような間引きの手法を、以下、適宜、インターレース間引きという。
【０００６】
【発明が解決しようとする課題】
ところで、画像の垂直方向の解像度は、そのライン数に依存する。従って、インターレース間引きを行うと、その間引き後の画像の垂直方向の解像度は、間引き前の画像の垂直方向の解像度の１／２になる。その結果、垂直方向の速い変化を表現するのが困難となり、そのような動きがあると、画質が劣化する課題があった。
【０００７】
本発明は、このような状況に鑑みてなされたものであり、画素（画素データ）のレベル方向におけるビット間引きによる画質の劣化を低減することができるようにするものである。
【０００８】
【課題を解決するための手段】
請求項１に記載の画像処理装置は、第１または第２のビット間引き画素それぞれが、空間方向および時間方向の両方向に五の目格子状に並ぶようにビット間引きを施すビット間引き手段を備えることを特徴とする。
【０００９】
請求項３に記載の画像処理方法は、第１または第２のビット間引き画素それぞれが、空間方向および時間方向の両方向に五の目格子状に並ぶようにビット間引きを施すことを特徴とする。
【００１２】
請求項４に記載の画像処理装置は、動画像を構成する各フレームの画素に対して、そのレベル方向にビット間引きを施すことにより得られる所定のビットが間引かれた画素である第１のビット間引き画素と、所定のビットとは異なるビットが間引かれた画素である第２のビット間引き画素とからなる間引き画像データであって、第１または第２のビット間引き画素が、空間方向および時間方向の両方向に五の目格子状に並ぶようにビット間引きを施すことにより得られる間引き画像データを構成する第１および第２の画素について、その一方の画素で間引かれているビットを、他方の画素の画素値を用いて補間することにより一方の画素の元の画素値を復元する、または一方の画素の元の画素値を予測するのに用いられるデータである予測データと、他方の画素の画素値との積和演算によって、一方の画素の元の画素値を復元する復元手段を備えることを特徴とする。
【００１３】
請求項１に記載の画像処理装置においては、ビット間引き手段が、第１または第２のビット間引き画素それぞれが、空間方向および時間方向の両方向に五の目格子状に並ぶようにビット間引きを施すようになされている。
【００１４】
請求項３に記載の画像処理方法においては、第１または第２のビット間引き画素それぞれが、空間方向および時間方向の両方向に五の目格子状に並ぶようにビット間引きを施すようになされている。
【００１７】
請求項４に記載の画像処理装置においては、復元手段が、動画像を構成する各フレームの画素に対して、そのレベル方向にビット間引きを施すことにより得られる所定のビットが間引かれた画素である第１のビット間引き画素と、所定のビットとは異なるビットが間引かれた画素である第２のビット間引き画素とからなる間引き画像データであって、第１または第２のビット間引き画素が、空間方向および時間方向の両方向に五の目格子状に並ぶようにビット間引きを施すことにより得られる間引き画像データを構成する第１および第２の画素について、その一方の画素で間引かれているビットを、他方の画素の画素値を用いて補間することにより一方の画素の元の画素値を復元する、または一方の画素の元の画素値を予測するのに用いられるデータである予測データと、他方の画素の画素値との積和演算によって、一方の画素の元の画素値を復元するようになされている。
【００１８】
【発明の実施の形態】
以下に、本発明の実施の形態を説明するが、その前に、特許請求の範囲に記載の発明の各手段と以下の実施の形態との対応関係を明らかにするために、各手段の後の括弧内に、対応する実施の形態（但し、一例）を付加して、本発明の特徴を記述すると、次のようになる。
【００１９】
即ち、請求項１に記載の画像処理装置は、動画像を構成する画像データを、復元処理時の画質の劣化を抑制して圧縮する画像処理装置において、動画像を構成する各フレームの画素に対して、そのレベル方向にビット間引きを施し、所定のビットが間引かれた画素である第１のビット間引き画素と、所定のビットとは異なるビットが間引かれた画素である第２のビット間引き画素とからなるビット間引き画像データを生成するビット間引き手段（例えば、図１に示すレベル方向ビットサブサンプリング回路２など）と、ビット間引き画像データを構成する第１および第２のビット間引き画素について、その一方の画素で間引かれているビットを、他方の画素の画素値を用いて補間することにより一方の画素の元の画素値を復元する復元処理、または一方の画素の元の画素値を予測するのに用いられるデータである予測データと、他方の画素の画素値との積和演算によって、一方の画素の元の画素値を復元する復元処理によって、元の画像データに復元されるビット間引き画像データを出力する出力手段（例えば、図１に示す送信処理回路４など）とを備え、ビット間引き手段が、第１または第２のビット間引き画素それぞれが、空間方向および時間方向の両方向に五の目格子状に並ぶようにビット間引きを施すことを特徴とする。
【００２０】
請求項４に記載の画像処理装置は、動画像を構成する画像データの画素を間引くことにより生成されたビット間引き画像データを伸張する画像処理装置において、動画像を構成する各フレームの画素に対して、そのレベル方向にビット間引きを施すことにより得られる所定のビットが間引かれた画素である第１のビット間引き画素と、所定のビットとは異なるビットが間引かれた画素である第２のビット間引き画素とからなる間引き画像データであって、第１または第２のビット間引き画素が、空間方向および時間方向の両方向に五の目格子状に並ぶようにビット間引きを施すことにより得られるビット間引き画像データを受信する受信手段（例えば、図１に示す受信処理回路８など）と、ビット間引き画像データを構成する第１および第２のビット間引き画素について、その一方の画素で間引かれているビットを、他方の画素の画素値を用いて補間することにより一方の画素の元の画素値を復元する、または一方の画素の元の画素値を予測するのに用いられるデータである予測データと、他方の画素の画素値との積和演算によって、一方の画素の元の画素値を復元する復元手段（例えば、図１に示すクラスタップ／予測タップ切り出し回路１１、クラスタリング回路１２、メモリ１３、および画素データ生成回路１４など）とを備えることを特徴とする。
【００２１】
請求項６に記載の画像処理装置は、復元手段が、ビット間引き画像データの所定の注目画素に対して、注目画素の周辺に位置する周辺画素に基づいて、注目画素の特徴を表す所定のクラスを決定する決定手段（例えば、図１に示すクラスタリング回路１２など）と、決定手段が出力するクラスに対応するデータであって、かつ、ビット間引きが施される前の一方の画素の画素値を予測するのに用いられるデータである予測データと、他方の画素の画素値との積和演算によって、一方の画素である注目画素に対応するビット間引きが施される前の画素の画素値を予測し、その画素値を発生する発生手段（例えば、図１に示すメモリ１３や画素データ生成回路１４など）とを有することを特徴とする。
【００２２】
請求項７に記載の画像処理装置は、発生手段が、学習用の動画像を構成する画像データを用いて、あらかじめ学習を行うことにより生成されたクラスごとの所定の予測データを、クラスごとに記憶する記憶手段（例えば、図１に示すメモリ１３など）を有し、決定手段が出力するクラスに対応する予測データを、記憶手段から読み出し、その読み出された予測データと、他方の画素の画素値との積和演算によって、注目画素に対応するビット間引きが施される前の画素の画素値を発生することを特徴とする。
【００２３】
請求項８に記載の画像処理装置は、記憶手段が、予測データとして、積和演算に用いる、クラスごとの所定の予測係数のセットを記憶しており、発生手段が、決定手段が出力するクラスに対応する予測係数のセットを、記憶手段から読み出し、その読み出された予測係数のセットと、注目画素の周辺に位置する、ビット間引き画像データの複数の画素の画素値であって、かつ、他方の画素の画素値との積和演算によって、注目画素に対応するビット間引きが施される前の画素の画素値を算出する演算手段（例えば、図１に示す画素データ生成回路１４など）をさらに有することを特徴とする。
【００２４】
なお、勿論この記載は、各手段を上記したものに限定することを意味するものではない。
【００２５】
図１は、本発明を適用した送受信システム（システムとは、複数の装置が論理的に集合したものをいい、各構成の装置が同一筐体中にあるか否かは問わない）の一実施の形態の構成例を示している。
【００２６】
この送受信システムは、送信装置１００と受信装置２００とで構成されている。そして、送信装置１００は、入力端子１、レベル方向ビットサブサンプリング回路２、エンコーダ３、送信処理回路４、および出力端子５で構成され、画像の各画素（画素データ）のレベル方向の所定のビットを間引くことにより圧縮して送信するようになされており、受信装置２００は、入力端子７、受信処理回路８、デコーダ９、クラスタップ／予測タップ切り出し回路１１、クラスタリング回路１２、メモリ１３、画素データ生成回路１４、および出力端子１５で構成され、送信装置１００からの圧縮された画像を伸張するようになされている。
【００２７】
即ち、送信装置１００には、例えば、図示せぬビデオカメラなどで撮影され、その内蔵するＣＣＤなどの光電変換素子が有する画素と同一配置の画素で、各フレームが構成される動画像（以下、適宜、全画素動画像という）のディジタル画像データが供給される。ここで、このような全画素動画像は、いわゆるプログレッシブカメラ（光電変換素子上の画素すべてを、いわゆるラスタスキャン順に走査して、１フレームの画像信号として出力するビデオカメラ）や、全画素カメラ（光電変換素子上の画素すべてにおける信号を、一度に、１フレームの画像信号として出力するビデオカメラ）などによって得ることができる。
【００２８】
このディジタル画像データは、入力端子１を介して、レベル方向ビットサブサンプリング回路２に供給される。レベル方向ビットサブサンプリング回路２に供給されるディジタル画像データとしての動画像を構成する各フレームの画素（画素データ）は、例えば８ビットで構成されており、レベル方向ビットサブサンプリング回路２では、その８ビットの各画素が、図２に示すように、空間方向および時間方向の両方向に、五の目格子状に、画素のレベル方向に対して異なるビット間引きにより間引かれることにより圧縮される。
【００２９】
ここで、図２において（後述する図３乃至図６および図１２においても同様）、●印および○印の両方が、全画素動画像を構成するフレームの画素（画素データ）を示している。そして、図３（Ａ）に示されるように、レベル方向ビットサブサンプリング回路２は、そのうちの●印の８ビットの画素データについては、そのレベル方向のＭＳＢ（Most Significant Bit）から２番目、４番目、６番目及び８番目（ＬＳＢ（Least Significant Bit））のビットを間引き、ＭＳＢから１番目、３番目、５番目及び７番目のビットから構成される４ビットの画素データ（以下、第１のビット間引き画素（画素データ）という）を構成する。また、レベル方向ビットサブサンプリング回路２は、○印の８ビットの画素データについては、そのレベル方向のＭＳＢから１番目、３番目、５番目及び７番目のビットを間引き、ＭＳＢから２番目、４番目、６目及び８番目のビットから構成される４ビットの画素データ（以下、第２のビット間引き画素（画素データ）という）を構成する。
【００３０】
従って、レベル方向ビットサブサンプリング回路２では、全画素動画像の第１フレームについては、例えば、図４（Ａ）に示すように、その１ライン目の２列目、４列目、６列目、８列目、・・・，２ライン目の１列目、３列目、５列目、７列目、・・・の画素（同図（Ａ）に●印で示す）が第１のビット間引き画素（画素データ）として構成されるように、各画素データの８ビットのうちの４ビットが間引かれ、また、その１ライン目の１列目、３列目、５列目、７列目、・・・，２ライン目の２列目、４列目、６列目、８列目、・・・の画素（同図（Ａ）に○印で示す）が第２のビット間引き画素（画素データ）として構成されるように、各画素データの８ビットのうちの４ビットが間引かれる。以下、同様にして、奇数フレームについては、第１または第２のビット間引き画素それぞれが、空間方向に、五の目格子状に並ぶように、各画素のレベル方向に対してビット間引きが行われる。
【００３１】
また、第２フレームについては、例えば、図４（Ｂ）に示すように、その１ライン目の１列目、３列目、５列目、７列目、・・・，２ライン目の２列目、４列目、６列目、８列目、・・・の画素（同図（Ｂ）に●印で示す）が第１のビット間引き画素（画素データ）として構成されるように、各画素データの８ビットのうちの４ビットが間引かれ、その１ライン目の２列目、４列目、６列目、８列目、・・・，２ライン目の１列目、３列目、５列目、７列目、・・・の画素（同図（Ｂ）に○印で示す）が第２のビット間引き画素（画素データ）として構成されるように、各画素データの８ビットのうちの４ビットが間引かれる。以下、同様にして、偶数フレームについても、第１または第２のビット間引き画素それぞれが、空間方向に、五の目格子状に並ぶように、各画素のレベル方向のビット間引きが行われる。
【００３２】
この場合、ある１ラインまたは１列に注目すれば、例えば、図５に示すように、第１フレームについては、その注目ラインまたは注目列を構成する２番目，４番目，６番目，８番目，・・・の画素（同図において●印で示す）が第１のビット間引き画素（画素データ）として構成されるように、各画素データの８ビットのうちの４ビットが間引かれ、第２フレームについては、注目ラインまたは注目列を構成する１番目，３番目，５番目，７番目，・・・の画素（同図において●印で示す）が第１のビット間引き画素（画素データ）として構成されるように、各画素データの８ビットのうちの４ビットが間引かれる。そして、第３フレームについては、再び、注目ラインまたは注目列を構成する２番目，４番目，６番目，８番目，・・・の画素（同図において●印で示す）が第１のビット間引き画素（画素データ）として構成されるように、各画素データの８ビットのうちの４ビットが間引かれる
【００３３】
さらに、第１フレームについては、その注目ラインまたは注目列を構成する１番目，３番目，５番目，７番目，・・・の画素（同図において○印で示す）が第２のビット間引き画素（画素データ）として構成されるように、各画素データの８ビットのうちの４ビットが間引かれ、第２フレームについては、注目ラインまたは注目列を構成する２番目，４番目，６番目，８番目，・・・の画素（同図において○印で示す）が第２のビット間引き画素（画素データ）として構成されるように、各画素データの８ビットのうちの４ビットが間引かれる。そして、第３フレームについては、再び、注目ラインまたは注目列を構成する１番目，３番目，５番目，７番目，・・・の画素（同図において○印で示す）が第２のビット間引き画素（画素データ）として構成されるように、各画素データの８ビットのうちの４ビットが間引かれる。
【００３４】
以下、同様にして、ビット間引きが行われることにより、レベル方向ビットサブサンプリング回路２では、時間方向にも、第１または第２のビット間引き画素それぞれが、五の目格子状に並ぶように、各画素のレベル方向のビット間引きが行われる。
【００３５】
全画素動画像の各フレームについて、以上のように、第１または第２のビット間引き画素それぞれが、空間方向および時間方向の両方向に、五の目格子状に並ぶように、各画素のレベル方向のビット間引き（以下、適宜、空間／時間五の目レベル方向ビット間引きという）が行われることにより、空間方向および時間方向のいずれの方向にも、第１のビット間引き画素（画素データ）と第２のビット間引き画素（画素データ）が交互（１つおき）に存在するようになる。従って、空間／時間五の目レベル方向ビット間引き後の情報量は、単純には、従来技術のインターレース間引きを行った場合と同様に、元の情報量の１／２になる。
【００３６】
空間／時間五の目レベル方向ビット間引きは、このように情報量を低減することができる。さらに、間引き後の画素数自体は、元の画素数と変わらないから、水平方向、垂直方向、および斜め方向のいずれの解像度も維持することができ、その結果、これらのいずれの方向の速い変化をも表現することが可能となり、そのような動きがある場合の画質の劣化を低減（防止）することが可能となる。従って、空間／時間五の目レベル方向ビット間引きによれば、ディジタル画像データについて、いわば均一な間引きを実現できる。
【００３７】
図１に戻り、レベル方向ビットサブサンプリング回路２において、空間／時間五の目レベル方向ビット間引きが施されることにより得られるビット間引き画像データは、エンコーダ３に供給される。エンコーダ３では、レベル方向ビットサブサンプリング回路２からのビット間引き画像データ（第１のビット間引き画素と第２のビット間引き画素で構成される画像データ）が高能率符号化される。ここで、高能率符号化方式としては、例えば、ＤＣＴ（Discrete Cosine Transform）などの直交変換と動き補償を組み合わせたハイブリッド方式、ＤＣＴと量子化を組み合わせたハイブリッド方式、ＡＤＲＣ（Adaptive Dynamic Range Coding）などを用いることが可能である。なお、ＡＤＲＣについては、例えば、本出願人が先に出願している特開昭６１-１４４９８９号公報などに、その詳細が記載されている。なお、場合によっては（例えば、伝送路６の容量が充分大きい場合など）、このエンコーダ３は省略することが可能である。
【００３８】
エンコーダ３において、ビット間引き画像データが高能率符号化されることにより得られる符号化データは、送信処理回路４に供給される。送信処理回路４では、エンコーダ３からの符号化データに対して、例えば、エラー訂正、パケット化、チャネル符号化などの必要な信号処理が施され、その結果得られる伝送データが、出力端子５を介して出力される。この伝送データは、所定の伝送路６を介して送信される。なお、伝送路６には、例えば、衛星回線や、地上波、ＣＡＴＶ網、公衆網、インターネットなどの通信回線の他、例えば、磁気記録／再生のプロセス、さらには、磁気ディスク、光ディスク、磁気テープ、光磁気ディスク、相変化ディスクその他の記録媒体も含まれる。
【００３９】
伝送路６からの伝送データは、受信装置２００の入力端子７を介して、受信処理回路８で受信される。受信処理回路８では、伝送データに対して、チャネル復号化、アンパケット化、エラー訂正などの必要な信号処理が施され、その結果得られる符号化データが、送信装置のエンコーダ３に対応するデコーダ９に供給される。デコーダ９では、その符号化データがエンコーダ３の符号化処理に対応する復号処理によりデコードされ、第１のビット間引き画素と第２のビット間引き画素で構成されるビット間引き画像データとされ、クラスタップ／予測タップ切り出し回路１１に供給される。
【００４０】
クラスタップ／予測タップ切り出し回路１１は、例えば、図６に示すように、４ビットにレベル方向のビット間引きが施された所定のビット間引き画素（画素データ）ｘ’を注目画素（注目ビット間引き画素）としたとき、その注目ビット間引き画素ｘ’と、その空間方向の上下左右に隣接する４つのビット間引き画素（画素データ）ａ，ｂ，ｃ，ｄとを後述するクラスタリング回路１２でクラスを決定するのに用いる画素（以下、適宜、クラスタップという）として切り出すとともに、後述する画素データ生成回路１４で注目ビット間引き画素ｘ’を元の８ビットの画素データｘに復元するのに用いる画素（以下、予測タップという）として切り出す。この切り出されたクラスタップまたは予測タップは、クラスタリング回路１２または画素データ生成回路１４にそれぞれ供給される。なお、ここでは、ある注目ビット間引き画素について、クラスタップと予測タップを同一のビット間引き画素から構成することとしたが、異なるビット間引き画素から構成することも可能である。クラスタップ／予測タップ切り出し回路１１は、すべてのビット間引き画素（つまり、第１のビット間引き画素（画素データ）及び第２のビット間引き画素（画素データ））について、その上下左右に隣接するビット間引き画素でなるクラスタップまたは予測タップを構成し、クラスタリング回路１２または画素データ生成回路１４に、それぞれ供給する。
【００４１】
クラスタリング回路１２は、クラスタップ／予測タップ切り出し回路１１からのクラスタップを受け取り、そのクラスタップを構成する４ビットのビット間引き画素の性質に応じてクラスタリングを行い、注目ビット間引き画素に対する所定のクラスを発生する。
【００４２】
ここで、クラスタリングについて簡単に説明する。いま、例えば、図７（Ａ）に示すように、２×２画素でなるクラスタップを考え、各画素が、１ビットで表現される（０または１のうちのいずれかのレベルをとる）ものとすると、この２×２の４画素のクラスタップは、各画素のレベル分布により、図７（Ｂ）に示すように、１６（＝（２1）4）パターンにクラス分けすることができる。このようなクラス分けがクラスタリングであり、このような処理がクラスタリング回路１２において行われる。なお、ここでは、説明の簡略化を考え、各画素を１ビットで表現した場合について説明したが、本実施の形態では、クラスタップを構成する各画素を、例えば２ビットで表現し、そのようなクラスタップを対象にクラスタリングが行われるようになされている。
【００４３】
即ち、本実施の形態では、各画素（ビット間引き画素）には、４ビットが（その画素値を表現するために）割り当てられている。また、本実施の形態においては、上述したように、クラスタップは５画素（ビット間引き画素ｘ’，ａ，ｂ，ｃ，ｄ）で構成される。従って、このようなクラスタップを対象にクラスタリングを行ったのでは、（２4）5という膨大な数のクラスが生じることになる。
【００４４】
そこで、クラスタリング回路１２は、図８に示すように、２ビットＡＤＲＣ回路１６を有しており、この２ビットＡＤＲＣ回路１６において、クラスタップに対して、２ビットＡＤＲＣ処理が施されるようになされている。これにより、クラスタップを構成する各画素(ビット間引き画素)のビット数を４ビットから２ビットに減少させ、クラス数を削減するようになされている。
【００４５】
即ち、例えば、いま、説明を簡単にするため、図９（Ａ）に示すように、直線上に並んだ４画素で構成されるクラスタップを考えると、ＡＤＲＣ処理においては、その画素値の最大値ＭＡＸと最小値ＭＩＮが検出される。そして、ＤＲ＝ＭＡＸ−ＭＩＮを、ブロックの局所的なダイナミックレンジとし、このダイナミックレンジＤＲに基づいて、ブロックを構成する画素の画素値がＫビットに再量子化される。
【００４６】
即ち、ブロック内の各画素値から、最小値ＭＩＮを減算し、その減算値をＤＲ／２Kで除算する。そして、その結果得られる除算値に対応するコード（ＡＤＲＣコード）に変換される。具体的には、２ビットＡＤＲＣ回路１６では、Ｋ＝２として、図９（Ｂ）に示すように、除算値が、ダイナミックレンジＤＲを４（＝２2）等分して得られるいずれの範囲に属するかが判定され、除算値が、例えば、最も下のレベルの範囲、下から２番目のレベルの範囲、下から３番目のレベルの範囲、または最も上のレベルの範囲に属する場合には、それぞれ、例えば、００Ｂ，０１Ｂ，１０Ｂ、または１１Ｂなどの２ビットにコード化される（Ｂは２進数であることを表す）。
【００４７】
なお、その復号は、ＡＤＲＣコード００Ｂ，０１Ｂ，１０Ｂ、または１１Ｂを、例えば、ダイナミックレンジＤＲを４等分して得られる最も下のレベルの範囲の中心値Ｌ00、下から２番目のレベルの範囲の中心値Ｌ01、下から３番目のレベルの範囲の中心値Ｌ10、または最も上のレベルの範囲の中心値Ｌ11に変換し、その値に、最小値ＭＩＮを加算することで行うことができる。
【００４８】
また、クラスタリングは、上述したように、クラスタップを構成する各画素（ビット間引き画素）のレベルそのものに基づいて行う他、例えば、クラスタップを構成する画素のレベルの傾向（例えば、すべての画素のレベルがほぼ揃っているとか、右にある画素のレベルが他の画素のレベルよりも高いまたは低いとかなど）など基づいて行うことも可能である。
【００４９】
２ビットＡＤＲＣ回路１６において、５画素のクラスタップに、２ビットＡＤＲＣ処理が施されることにより、５画素それぞれのビット数が２ビットにされたクラスタップが得られる。２ビットＡＤＲＣ回路１６は、このビット数が２ビットの５画素の画素値を並べた１０ビットのデータを、注目ビット間引き画素に対する仮のクラスとして出力する。
【００５０】
クラスタリング回路１２は、図８に示すように、２ビットＡＤＲＣ回路１６の他、ビット付加回路１７も有しており、２ビットＡＤＲＣ回路１６が出力する１０ビットの仮のクラスコードは、ビット付加回路１７に供給される。
【００５１】
ビット付加回路１７は、２ビットＡＤＲＣ回路１６からの仮のクラスコードに対して１ビットを付加し、最終的なクラスコードを生成する。即ち、ビット付加回路１７は、クラスタップに対する注目ビット間引き画素が第１のビット間引き画素（画素データ）であるかもしくは第２のビット間引き画素（画素データ）であるかによって異なる１ビットを付加ビットとして仮のクラスコードに付加する。例えば、注目ビット間引き画素が第１のビット間引き画素（画素データ）である場合には、ビット“０”を、注目ビット間引き画素が第２のビット間引き画素（画素データ）である場合には、ビット“１”を付加する。そして、この１ビットが付加された合計１１ビットが、注目ビット間引き画素に対する最終的なクラスとして、クラスタリング回路１２から出力される。
【００５２】
再び、図１に戻り、以上のようなクラスタリングにより得られた注目ビット間引き画素に対するクラス（クラスコード）は、メモリ１３に対して、アドレスとして与えられる。メモリ１３は、全画素動画像を構成する画素からレベル方向に対して空間／時間五の目レベル方向ビット間引きの施されたビット間引き画素（注目ビット間引き画素）ｘ’に対応する元の画素ｘを予測するための予測データを、クラスごとに記憶しており、クラスタリング回路１２からアドレスとしてのクラス（クラスコード）が与えられると、そのクラスに対応する予測データを読み出し、画素データ生成回路１４に供給する。
【００５３】
ここで、いまの場合、メモリ１３においては、例えば、注目画素（注目ビット間引き画素）ｘ’に対応する元の画素ｘを、その注目ビット間引き画素ｘ’と、その上下左右に隣接するビット間引き画素（画素データ）ａ乃至ｄ（図６）からなる予測タップを用いた線形一次式により予測するための、その線形一次式の係数（予測係数）のセットｗ1，ｗ2，ｗ3，ｗ4，ｗ5が、予測データとして記憶されている。従って、メモリ１３から画素データ生成回路１４には、注目ビット間引き画素のクラスに対応する係数のセットｗ1乃至ｗ5が、予測データとして供給される。
【００５４】
画素データ生成回路１４は、予測データｗ1乃至ｗ5を受信すると、その予測データである係数のセットｗ1乃至ｗ5と、クラスタップ／予測タップ切り出し回路１１から供給された予測タップを構成するビット間引き画素（画素データ）の画素値ｘ’，ａ乃至ｄとを用いて、次の線形一次式を演算することにより、注目ビット間引き画素ｘ’に対応する元の８ビットの画素（画素データ）ｘを生成（予測）する。
【００５５】
ｘ＝ｗ1ａ＋ｗ2ｂ＋ｗ3ｃ＋ｗ4ｄ＋ｗ5ｘ’
・・・（１）
【００５６】
画素データ生成回路１４で求められた８ビットの画素（画素データ）ｘは、出力端子１５に供給されて順次出力される。この結果、出力端子１５からは、元の全画素動画像を構成するフレームのデータが出力される。
【００５７】
次に、クラス毎の予測データの生成について説明する。注目ビット間引き画素である４ビットのビット間引き画素ｘ’から元の８ビットの画素（画素データ）ｘを求めるのに、式（１）の線形一次式を構成するための予測データである係数のセットｗ1，ｗ2，ｗ3，ｗ4，ｗ5は、学習により求められるようになされている。
【００５８】
図１０は、予測データである係数のセットｗ1乃至ｗ5を求めるための学習を行う学習装置の一実施の形態の構成例を示している。
【００５９】
学習では、学習用の全画素動画像が複数用意され、入力端子２０には、その学習用の全画素動画像が、例えば、フレーム単位で入力される。ここで、学習用の全画素動画像は、予測データとして係数のセットｗ1乃至ｗ5の作成を考慮した標準的なものであるのが望ましい。
【００６０】
入力端子２０に入力された全画素動画像の各フレームは、レベル方向ビットサンプリング回路２１に供給されるとともに、タップ切り出し回路２２に供給される。レベル方向ビットサンプリング回路２１では、上述した図１に示されるレベル方向ビットサブサンプリング回路２と同様に、全画素動画像に対して空間／時間方向五の目レベル方向ビット間引きが施され、第１のビット間引き画素（画素データ）と第２のビット間引き画素（画素データ）でなるビット間引き画像データが生成される。このビット間引き画像データは、タップ切り出し回路２２に供給される。
【００６１】
タップ切り出し回路２２は、入力端子２０から供給された全画素動画像の各フレームを構成する画素から、図６に示した注目ビット間引き画素ｘ’に対応する８ビットの画素ｘを教師画素（画素データ）として切り出すとともに、レベル方向ビットサブサンプリング回路２１から供給されたビット間引き画像データから注目ビット間引き画素ｘ’と、その上下左右に隣接する４つのビット間引き画素（画素データ）ａ乃至ｄをクラスタップ及び予測タップとして切り出す。そして、タップ切り出し回路２２で切り出された５つのビット間引き画素（画素データ）ｘ’，ａ乃至ｄからなるクラスタップはクラスタリング回路２４に供給される。さらに、タップ切り出し回路２２で切り出された５つのビット間引き画素（画素データ）ｘ’，ａ乃至ｄからなる予測タップと８ビットの教師画素（画素データ）ｘはデータメモリ２３の入力端子ＩＮに供給される。
【００６２】
クラスタリング回路２４は、図１のクラスタリング回路１２と同様に、そこに供給されるクラスタップをＡＤＲＣ処理することによりクラスタリングする。さらに、その結果得られる仮のクラスコードに、注目ビット間引き画素が第１のビット間引き画素（画素データ）であるか、または第２のビット間引き画素（画素データ）であるかどうかを示す１ビットを付加し、それにより得られる最終的なクラスコードを注目ビット間引き画素のクラスとして、スイッチ２５の端子２５ａに供給する。ここで、スイッチ２５は、学習用の全画素動画像から得られるすべてのビット間引きについて、上述したクラスタリング処理及びデータメモリ２３への供給処理が終了するまでは、端子２５ａを選択しており、従って、クラスタリング回路２４が出力する注目ビット間引き画素に対するクラスは、スイッチ２５を介して、データメモリ２３のアドレス端子ＡＤに供給される。
【００６３】
データメモリ２３は、そのアドレス端子ＡＤに供給されるクラスに対応するアドレスに、その入力端子ＩＮに供給されるデータを記憶する。
【００６４】
ここで、例えば、所定のクラスＣｌａｓｓに分類される注目ビット間引き画素ｘ1’，ｘ2’，・・・，ｘn’について、その各注目ビット間引き画素ｘ1’，ｘ2’，・・・，ｘn’の位置に対応する、学習用の全画素動画像から得られる教師画素（画素データ）をｘ1，ｘ2，・・・，ｘnとする。また、注目ビット間引き画素ｘ1’の上下左右に隣接する予測タップを構成する４つのビット間引き画素（画素データ）をａ1，ｂ1，ｃ1，ｄ1と、注目ビット間引き画素ｘ2’の上下左右に隣接する予測タップを構成する４つのビット間引き画素（画素データ）をａ2，ｂ2，ｃ2，ｄ2と、・・・、注目ビット間引き画素ｘn’の上下左右に隣接する予測タップを構成する４つのビット間引き画素（画素データ）をａn，ｂn，ｃn，ｄnと、それぞれする。この場合、上述の処理により、メモリ２３の、クラスＣｌａｓｓに対応するアドレスには、教師画素（画素データ）ｘ1，ｘ2，・・・，ｘn，予測タップを構成するビット間引き画素（画素データ）ａ1，ａ2，・・・，ａn，ｂ1，ｂ2，・・・，ｂn，ｃ1，ｃ2，・・・，ｃn，ｄ1，ｄ2，・・・，ｄn，ｘ1’，ｘ2’，・・・，ｘn’が記憶される。
【００６５】
学習用の全画素動画像から得られるすべての教師画素についてのクラスタリング処理及びデータメモリ２３への記憶処理が終了すると、スイッチ２５は端子２５ｂを選択する。端子２５ｂには、カウンタ２６の出力が供給されるようになされており、カウンタ２６は、所定のクロックＣＫをカウントすることにより、順次変化するアドレスを発生するようになされている。従って、カウンタ２６が発生するアドレスは、スイッチ２５を介して出力される。カウンタ２６からスイッチ２５を介して出力されるアドレスは、データメモリ２３のアドレス端子ＡＤと、メモリ２８のアドレス端子ＡＤとに供給される。
【００６６】
データメモリ２３においては、そのアドレス端子ＡＤに供給される、カウンタ２６からのアドレスにしたがって、そのアドレスに対応する記憶内容（教師画素（画素データ）と予測タップを構成する５つのビット間引き画素（画素データ））が読み出され、最小自乗法演算回路２７に供給される。最小自乗法演算回路２７では、データメモリ２３から供給される教師画素（画素データ）と予測タップを構成するビット間引き画素（画素データ）に基づいて、方程式がたてられ、これが、例えば、最小自乗法によって解かれることにより、予測データとしての係数のセットｗ1乃至ｗ5が求められる。
【００６７】
即ち、上述のクラスＣｌａｓｓに注目した場合、最小自乗法演算回路２７では、データメモリ２３の、クラスＣｌａｓｓに対応するアドレスに記憶された教師画素（画素データ）ｘ1，ｘ2，・・・，ｘn、予測タップを構成する５つのビット間引き画素（画素データ）ａ1，ａ2，・・・，ａn，ｂ1，ｂ2，・・・，ｂn，ｃ1，ｃ2，・・・，ｃn，ｄ1，ｄ2，・・・，ｄn，ｘ1’，ｘ2’，・・・，ｘn’を用いて、式（１）に対応する、以下のような連立方程式がたてられる。
ｘ1＝ｗ1ａ1＋ｗ2ｂ1＋ｗ3ｃ1＋ｗ4ｄ1＋ｗ5ｘ1’
ｘ2＝ｗ1ａ2＋ｗ2ｂ2＋ｗ3ｃ2＋ｗ4ｄ2＋ｗ5ｘ2’
・
・
・
ｘn＝ｗ1ａn＋ｗ2ｂn＋ｗ3ｃn＋ｗ4ｄn＋ｗ5ｘn’
・・・（２）
【００６８】
そして、最小自乗法演算回路２７は、式（２）の連立方程式を、最小自乗法によって解くことにより、クラスＣｌａｓｓについての予測データとしての係数のセットｗ1乃至ｗ5を求める。他のクラスについての予測データとしての係数のセットも同様にして求められる。
【００６９】
最小自乗法演算回路２７で求められた予測データとしての係数のセットｗ1乃至ｗ5は、メモリ２８に供給される。従って、クラスＣｌａｓｓについての予測データとしての係数のセットｗ1乃至ｗ5は、メモリ２３において、データｘ1，ｘ2，・・・，ｘn，ａ1，ａ2，・・・，ａn，ｂ1，ｂ2，・・・，ｂn，ｃ1，ｃ2，・・・，ｃn，ｄ1，ｄ2，・・・，ｄn，ｘ1’，ｘ2’，・・・，ｘn’が記憶されていたアドレスと同一のメモリ２８のアドレスに記憶される。他のクラスについての予測データとしての係数のセットも、同様にして、メモリ２８に記憶される。
【００７０】
図１のメモリ１３には、以上のようにしてメモリ２８に記憶された予測データとしての係数のセットが記憶されている。
【００７１】
次に、図１のメモリ１３には、予測データとして、式（１）に示した線形一次式を計算するための係数ではなく、８ビットの画素値そのものを記憶させておくようにすることができる。
【００７２】
図１１は、８ビットの画素値を予測データとしてメモリ１３に記憶させる場合の、その予測データを求める学習装置の一実施の形態の構成例を示している。なお、図中、図１０における場合と対応する部分については、同一の符号を付してある。
【００７３】
入力端子２０に入力された全画素動画像の各フレームは、レベル方向ビットサンプリング回路２１に供給されるとともに、タップ切り出し回路２２に供給される。レベル方向ビットサンプリング回路２１では、上述した図１に示されるレベル方向ビットサブサンプリング回路と同様に、全画素動画像に対して空間／時間方向五の目レベル方向ビット間引きが施され、第１のビット間引き画素（画素データ）と第２のビット間引き画素（画素データ）でなるビット間引き画像データが生成される。このビット間引き画像データは、タップ切り出し回路２２に供給される。
【００７４】
タップ切り出し回路２２は、入力端子２０から供給された全画素動画像の各フレームを構成する画素から、図６に示した注目ビット間引き画素ｘ’に対応する８ビットの画素ｘを教師画素（画素データ）として切り出すとともに、レベル方向ビットサブサンプリング回路２１から供給されたビット間引き画像データから注目ビット間引き画素ｘ’と、その上下左右に隣接する４つのビット間引き画素（画素データ）ａ乃至ｄをクラスタップとして切り出す。そして、タップ切り出し回路２２は、その５つのビット間引き画素（画素データ）ｘ’，ａ乃至ｄからなるクラスタップをクラスタリング回路２４に供給するとともに、８ビットの教師画素（画素データ）ｘを演算器３４に供給する。
【００７５】
クラスタリング回路２４は、図１のクラスタリング回路１２と同様に、そこに供給されるクラスタップをクラスタリングし、その結果得られるクラスを、データメモリ３０のアドレス端子ＡＤと、度数メモリ３１のアドレス端子ＡＤとに供給する。ここで、データメモリ３０および度数メモリ３１は、学習を開始する前に、その記憶内容が０にクリアされるようになされている。
【００７６】
度数メモリ３１では、そのアドレス端子ＡＤに、アドレスとしてのクラス（クラスコード）が供給されると、そのアドレスの記憶内容としての度数が読み出され、その出力端子ＯＵＴから出力される。度数メモリ３１から出力された度数は、演算器３２に供給され、１だけインクリメントされる。このインクリメント結果は、度数メモリ３１の入力端子ＩＮに供給され、インクリメント前の度数が記憶されていたアドレスに記憶される（上書きされる）。
【００７７】
一方、データメモリ３０では、そのアドレス端子ＡＤに、アドレスとしてのクラス（クラスコード）が供給されると、やはり、そのアドレスの記憶内容が読み出され、その出力端子ＯＵＴから出力される。データメモリ３０の出力は、演算器３３に供給される。演算器３３には、さらに、度数メモリ３１が出力する度数も供給されており、そこでは、この度数と、データメモリ３０の出力とが乗算される。この乗算結果は、演算器３４に供給される。
【００７８】
演算器３４では、演算器３３における乗算結果と、タップ切り出し回路２２からの注目画素（８ビットの画素値）とが加算され、その加算値は、演算器３５に供給される。演算器３５には、さらに、演算器３２による度数のインクリメント結果も供給されており、そこでは、演算器３４の加算結果を被除数とするとともに、加算器３２のインクリメント結果を除数として、除算が行われる。この除算結果は、データメモリ３０の入力端子ＩＮに供給され、クラスタリング回路２４が出力するクラス（クラスコード）に対応するアドレスに記憶される（上書きされる）。
【００７９】
図１１の学習装置において、データメモリ３０および度数メモリ３１のあるアドレスａｄへのアクセスが最初に行われる場合には、タップ切り出し回路２２から演算器３４に供給される８ビットの教師画素（画素データ）ｘ１がそのまま、データメモリ３０のアドレスａｄに書き込まれ、また、度数メモリ３１のアドレスａｄには、１が書き込まれる。その後、再度、アドレスａｄへのアクセスが行われ、このときにタップ切り出し回路２２から演算器３４に供給される８ビットの教師画素（画素データ）がｘ２であったとすると、演算器３２の出力は２となり、また、演算器３４の出力はｘ１＋ｘ２となるから、演算器３５の出力は（ｘ１＋ｘ２）／２となり、これが、データメモリ３０のアドレスａｄに書き込まれる。そして、度数メモリ３１のアドレスａｄには、演算器３２の出力である２が書き込まれる。さらに、再び、アドレスａｄへのアクセスが行われ、このときにタップ切り出し回路２２から演算器３４に供給される８ビットの教師画素（画素データ）がｘ３であったとすると、同様の処理により、データメモリ３０のアドレスａｄには、（ｘ１＋ｘ２＋ｘ３）／３が書き込まれ、度数メモリ３１のアドレスａｄには、３が書き込まれる。
【００８０】
以上のようにして、データメモリ３０には、各クラスに分類されるビット間引き画素に対応する教師画素（画素データ）の８ビットの画素値の平均値が記憶される。
【００８１】
なお、図１のメモリ１３に、データメモリ３０に記憶された８ビットの画素値を、予測データとして記憶させる場合には、その予測データとしての８ビットの画素値を、メモリ１３から読み出して出力することが８ビットの画素を予測することになるから、画素データ生成回路１４は設ける必要がなく、さらに、クラスタップ／予測タップ切り出し回路１１でも予測タップの生成、出力を行わずに済むようになる。
【００８２】
ところで、上述の場合には、図１のクラスタップ／予測タップ切り出し回路１１において、図６に示したように、ビット間引き画素（注目ビット間引き画素）ｘ’と、その空間方向の上下左右に隣接する４つのビット間引き画素（画素データ）ａ，ｂ，ｃ，ｄで１つのクラスタップ及び予測タップを構成するようにしたが、クラスタップ及び予測タップは、注目ビット間引き画素としてのビット間引き画素ｘ’の時間方向に隣接するビット間引き画素も含めて構成することが可能である。
【００８３】
即ち、例えば、図１２に示すように、第ｎフレームのある注目ビット間引き画素ｘ’についてクラスタップ及び予測タップを構成する場合においては、注目ビット間引き画素ｘ’、その同一フレーム内の上下左右に隣接する４つのビット間引き画素（画素データ）ａ，ｂ，ｃ，ｄ、並びに第ｎ−１フレームの、注目ビット間引き画素ｘ’と同一位置にあるビット間引き画素（画素データ）ｅ、および第ｎ＋１フレームの、注目ビット間引き画素ｘ’と同一位置にあるビット間引き画素（画素データ）ｆの合計７つのビット間引き画素（画素データ）などでクラスタップ及び予測タップを構成することが可能である。
【００８４】
この場合、時間方向のビット間引き画素（画素データ）ｅ，ｆをも考慮してクラスタリングや、式（１）の演算が行われるので、注目ビット間引き画素ｘ’を、より元のものに近い画素ｘに復元することが可能となる。なお、この場合、学習時においても、同様にクラスタップを構成する必要がある。また、クラスタップは、注目ビット間引き画素ｘ’の時間方向にある間引き後画素だけで構成することも可能である。
【００８５】
次に、以上では、受信装置２００において、学習を行うことにより得られた予測データを用いて、ビット間引き画素から元の８ビットの画素を予測するようにしたので、ビット間引き画素で構成される画像に含まれていない高周波成分も復元することができるが、ビット間引画素に対する元の画素の復元は、単純なビット補間によって行うことも可能である。
【００８６】
図１３は、そのような送受信システムの一実施の形態の構成例を示している。なお、図中、図１における場合と対応する部分については、同一の符号を付してある。即ち、この送受信システムは、クラスタップ／予測タップ切り出し回路１１、クラスタリング回路１２、メモリ１３、および画素データ生成回路１４に代えて、補間フィルタ４０が設けられている他は、図１の送受信システムと同様に構成されている。
【００８７】
補間フィルタ４０は、デコーダ９からの注目ビット間引き画素（画素データ）の間引かれたビットを、その周辺にあるビット間引き画素（画素データ）を用いて補間して出力する。この場合、図１における場合のように、ビット間引き画素で構成される画像に含まれていない高周波成分を復元することはできないが、受信装置２００の構成を簡単化することができる。
【００８８】
以上、本発明を適用した送受信システムについて説明したが、このような送受信システムは、テレビジョン放送は勿論、画像を記録／再生する場合などにも用いることができる。
【００８９】
なお、本実施の形態では、あるビット間引き画素に注目した場合において、クラスタリングで使用されるクラスタップに用いるビット間引き画素（画素データ）と、式（１）に示した線形一次式を計算するのに使用される予測タップに用いるビット間引き画素（画素データ）とを同一のものとしたが、これらは、同一である必要はなく、クラスタップと予測タップとには、それぞれ別々のビット間引き画素の集合を用いることができる。即ち、クラスタップを構成する画素と、予測タップを構成する画素とは、それぞれ、クラスタップ／予測タップ切り出し回路１１に適応的に切り出させることができる。なお、予測タップ、クラスタップの切り出し方は、画像の空間的な特徴（アクティビティ）や動き等に応じて適応的に変えてもよい。
【００９０】
また、本実施の形態においては、クラスタップや予測タップに、注目ビット間引き画素（画素データ）を含めるようにしたが、注目ビット間引き画素を含めないようにすることも可能である。この場合、クラス毎の予測データを生成する学習時においても同様に、クラスタップや予測タップに注目ビット間引き画素（画素データ）を含めないようにする必要がある。
【００９１】
さらに、クラスタップとしてのビット間引き画素（画素データ）や、予測タップとしてのビット間引き画素（画素データ）は、注目ビット間引き画素に対して、空間的または時間的に隣接している必要はない。但し、注目ビット間引き画素の周辺にあるビット間引き画素（画素データ）を用いるのが望ましい。
【００９２】
また、本実施の形態においては、動画像を構成する各フレームの８ビットの画素を４ビットの画素にビット間引きするようにしたが、本発明はこれに限らず、例えば、１２ビットの画素を６ビットの画素にビット間引きしたり、１２ビットの画素を８ビットや４ビットに間引いてもよい。即ち、オリジナルの動画像や空間／時間五の目レベル方向ビット間引き後のビット間引き画像データの各画素のビット数は、特に限定されるものではない。
【００９３】
さらに、本実施の形態においては、動画像データの画素の８ビットの画素値を、１ビットおきに間引き、４ビットの画素値とするようにしたが、本発明はこれに限らず、例えば、第１のビット間引き画素は、元の画素のレベル方向のＭＳＢから３番目、４番目、５番目及び６番目のビットを間引き、ＭＳＢから１番目、２番目、７番目及び８番目のビットの４ビットの画素データから構成し、第２のビット間引き画素は、元の画素のレベル方向のＭＳＢから１番目、２番目、７番目及び８番目（ＬＳＢ）のビットを間引き、ＭＳＢから３番目、４番目、５番目及び６番目のビットの４ビットの画素データから構成してもよい。
【００９４】
また、本実施の形態では、第１と第２のビット間引き画素それぞれを生成するのにあたって、元の画素から、それぞれ相補的な関係にあるビットを間引くようにしたが、即ち、第１のビット間引き画素は、元の画素のＭＳＢから偶数番目のビットを間引くことによって、第２のビット間引き画素は、元の画素のＭＳＢから奇数番目のビットを間引くことによって、それぞれ生成するようにしたが、第１または第２のビット間引き画素それぞれを生成するにあたっては、元の画素から、一部重複するビットを間引くようにすることも可能である。
【００９５】
さらに、本実施の形態においては、予測タップとして５ビットのビット間引き画素データを用い、係数との線形一時結合により元の画素データを復元することとしたが、その他、例えば、４ビットのビット間引き画素データを一時的に８ビットの画素データに変換し、その８ビットの画素データと係数とを用いた線形一時結合により元の画素データを復元してもよい。４ビットのビット間引き画素を、一時的に８ビットの画素に変換する方法としては、例えば、間引かれたビット位置に、一時的にビット“０”または“１”を補間して、８ビットの画素データにする方法がある。この場合、クラス毎の予測データとしての係数のセットを生成する学習時においても同様に、４ビットのビット間引き画素データから８ビットの画素データに一時的に変換したものを用いる必要がある。
【００９６】
【発明の効果】
請求項１に記載の画像処理装置および請求項３に記載の画像処理方法によれば、第１または第２のビット間引き画素それぞれが、空間方向および時間方向の両方向に五の目格子状に並ぶようにビット間引きが施される。従って、動画像の水平、垂直、および斜め方向の解像度を維持しながら、その情報量を低減することが可能となる。
【００９８】
請求項４に記載の画像処理装置によれば、動画像を構成する各フレームの画素に対して、そのレベル方向にビット間引きを施すことにより得られる所定のビットが間引かれた画素である第１のビット間引き画素と、所定のビットとは異なるビットが間引かれた画素である第２のビット間引き画素とからなる間引き画像データであって、第１または第２のビット間引き画素が、空間方向および時間方向の両方向に五の目格子状に並ぶようにビット間引きを施すことにより得られる間引き画像データを構成する第１および第２のビット間引き画素について、その一方の画素で間引かれているビットを、他方の画素の画素値を用いて補間することにより一方の画素の元の画素値を復元する、または一方の画素の元の画素値を予測するのに用いられるデータである予測データと、他方の画素の画素値との積和演算によって、一方の画素の元の画素値が復元される。従って、画質の劣化の少ない画像を得ることが可能となる。
【図面の簡単な説明】
【図１】本発明を適用した送受信システムの第１実施の形態の構成例を示すブロック図である。
【図２】図１のレベル方向ビットサブサンプリング回路２の処理を説明するための図である。
【図３】図１のレベル方向ビットサブサンプリング回路２の処理を説明するための図である。
【図４】図１のレベル方向ビットサブサンプリング回路２の処理を説明するための図である。
【図５】図１のレベル方向ビットサブサンプリング回路２の処理を説明するための図である。
【図６】図１のクラスタップ／予測タップ切り出し回路１１の処理を説明するための図である。
【図７】図１のクラスタリング回路１２の処理を説明するための図である。
【図８】図１のクラスタリング回路１２の構成例を示す図である。
【図９】ＡＤＲＣを説明するための図である。
【図１０】予測用データを求める学習装置の第１実施の形態の構成例を示すブロック図である。
【図１１】予測用データを求める学習装置の第２実施の形態の構成例を示すブロック図である。
【図１２】図１のクラスタップ／予測タップ切り出し回路１１の他の処理を説明するための図である。
【図１３】本発明を適用した送受信システムの第２実施の形態の構成例を示すブロック図である。
【図１４】インターレース間引きがされる前の画像を示す図である。
【図１５】インターレース間引きがされる後の画像を示す図である。
【符号の説明】
１ 入力端子， ２ レベル方向ビットサブサンプリング回路， ３ エンコーダ， ４ 送信処理装置， ５ 出力端子， ６ 伝送路， ７ 入力端子，８ 受信処理回路， ９ デコーダ， １１ クラスタップ／予測タップ切り出し回路， １２ クラスタリング回路， １３ メモリ， １４ 画素データ生成回路， １５ 出力端子， ２０ 入力端子， ２１ レベル方向サブサンプリング回路， ２２ タップ切り出し回路， ２３ データメリ， ２４ クラスタリング回路， ２５ スイッチ， ２５ａ，２５ｂ 端子， ２６ カウンタ， ２７ 最小自乗法演算回路， ２８ メモリ， ３０ データメモリ， ３１ 度数メモリ， ３２乃至３５ 演算器， ４０ 補間フィルタ， １００ 送信装置， ２００ 受信装置
Claims (9)
- 動画像を構成する画像データを、復元処理時の画質の劣化を抑制して圧縮する画像処理装置において、
動画像を構成する各フレームの画素に対して、そのレベル方向にビット間引きを施し、所定のビットが間引かれた画素である第１のビット間引き画素と、前記所定のビットとは異なるビットが間引かれた画素である第２のビット間引き画素とからなるビット間引き画像データを生成するビット間引き手段と、
前記ビット間引き画像データを構成する前記第１および第２のビット間引き画素について、その一方の画素で間引かれているビットを、他方の画素の画素値を用いて補間することにより前記一方の画素の元の画素値を復元する前記復元処理、または前記一方の画素の元の画素値を予測するのに用いられるデータである予測データと、前記他方の画素の画素値との積和演算によって、前記一方の画素の元の画素値を復元する前記復元処理によって、元の画像データに復元される前記ビット間引き画像データを出力する出力手段と
を備え、
前記ビット間引き手段は、前記第１または第２のビット間引き画素それぞれが、空間方向および時間方向の両方向に五の目格子状に並ぶようにビット間引きを施す
ことを特徴とする画像処理装置。 - 前記ビット間引き手段は、前記画素のレベルの最上位ビットから偶数番目または奇数番目の一方のビットを間引くことにより、前記第１のビット間引き画素を生成し、他方のビットを間引くことにより、前記第２のビット間引き画素を生成する
ことを特徴とする請求項１に記載の画像処理装置。 - 動画像を構成する画像データを、復元処理時の画質の劣化を抑制して圧縮する画像処理方法において、
動画像を構成する各フレームの画素に対して、そのレベル方向にビット間引きを施し、所定のビットが間引かれた画素である第１のビット間引き画素と、前記所定のビットとは異なるビットが間引かれた画素である第２のビット間引き画素とからなるビット間引き画像データを生成するビット間引きステップと、
前記ビット間引き画像データを構成する前記第１および第２のビット間引き画素について、その一方の画素で間引かれているビットを、他方の画素の画素値を用いて補間することにより前記一方の画素の元の画素値を復元する前記復元処理、または前記一方の画素の元の画素値を予測するのに用いられるデータである予測データと、前記他方の画素の画素値との積和演算によって、前記一方の画素の元の画素値を復元する前記復元処理によって、元の画像データに復元される前記ビット間引き画像データを出力する出力ステップと
を含み、
前記ビット間引きステップでは、前記第１または第２のビット間引き画素それぞれが、空間方向および時間方向の両方向に五の目格子状に並ぶようにビット間引きを施す
ことを特徴とする画像処理方法。 - 動画像を構成する画像データの画素を間引くことにより生成されたビット間引き画像データを伸張する画像処理装置において、
動画像を構成する各フレームの画素に対して、そのレベル方向にビット間引きを施すことにより得られる所定のビットが間引かれた画素である第１のビット間引き画素と、前記所定のビットとは異なるビットが間引かれた画素である第２のビット間引き画素とからなる前記ビット間引き画像データであって、前記第１または第２のビット間引き画素が、空間方向および時間方向の両方向に五の目格子状に並ぶようにビット間引きを施すことにより得られる前記ビット間引き画像データを受信する受信手段と、
前記ビット間引き画像データを構成する前記第１および第２のビット間引き画素について、その一方の画素で間引かれているビットを、他方の画素の画素値を用いて補間することにより前記一方の画素の元の画素値を復元する、または前記一方の画素の元の画素値を予測するのに用いられるデータである予測データと、前記他方の画素の画素値との積和演算によって、前記一方の画素の元の画素値を復元する復元手段と
を備えることを特徴とする画像処理装置。 - 前記第１のビット間引き画素は、それぞれ、前記画素のレベルの最上位ビットから偶数番目または奇数番目の一方のビットを間引くことにより生成されたものであり、前記第２のビット間引き画素は、他方のビットを間引くことにより生成されたものである
ことを特徴とする請求項４に記載の画像処理装置。 - 前記復元手段は、
前記ビット間引き画像データの所定の注目画素に対して、前記注目画素の周辺に位置する周辺画素に基づいて、前記注目画素の特徴を表す所定のクラスを決定する決定手段と、
前記決定手段が出力する前記クラスに対応するデータであって、かつ、ビット間引きが施される前の前記一方の画素の画素値を予測するのに用いられるデータである前記予測データと、前記他方の画素の画素値との前記積和演算によって、前記一方の画素である前記注目画素に対応するビット間引きが施される前の画素の画素値を予測し、その画素値を発生する発生手段と
を有する
ことを特徴とする請求項４又は５のうちのいずれかに記載の画像処理装置。 - 前記発生手段は、
学習用の動画像を構成する画像データを用いて、あらかじめ学習を行うことにより生成された前記クラスごとの所定の予測データを、前記クラスごとに記憶する記憶手段を有し、
前記決定手段が出力する前記クラスに対応する前記予測データを、前記記憶手段から読み出し、その読み出された予測データと、前記他方の画素の画素値との前記積和演算によって、前記注目画素に対応するビット間引きが施される前の画素の画素値を発生する
ことを特徴とする請求項６に記載の画像処理装置。 - 前記記憶手段は、前記予測データとして、前記積和演算に用いる、前記クラスごとの所定の予測係数のセットを記憶しており、
前記発生手段は、前記決定手段が出力する前記クラスに対応する前記予測係数のセットを、前記記憶手段から読み出し、その読み出された予測係数のセットと、前記注目画素の周辺に位置する、前記ビット間引き画像データの複数の画素の画素値であって、かつ、前記他方の画素の画素値との前記積和演算によって、前記注目画素に対応するビット間引きが施される前の画素の画素値を算出する演算手段をさらに有する
ことを特徴とする請求項７に記載の画像処理装置。 - 前記決定手段は、前記注目画素に対して、空間方向若しくは時間方向のうちのいずれか一方、または両方に位置する、前記ビット間引き画像データの複数の画素を用いて、前記クラスを決定する
ことを特徴とする請求項６に記載の画像処理装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP16785598A JP4123452B2 (ja) | 1998-06-16 | 1998-06-16 | 画像処理装置および画像処理方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP16785598A JP4123452B2 (ja) | 1998-06-16 | 1998-06-16 | 画像処理装置および画像処理方法 |
Publications (3)
| Publication Number | Publication Date |
|---|---|
| JP2000004436A JP2000004436A (ja) | 2000-01-07 |
| JP2000004436A5 JP2000004436A5 (ja) | 2005-09-02 |
| JP4123452B2 true JP4123452B2 (ja) | 2008-07-23 |
Family
ID=15857350
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP16785598A Expired - Fee Related JP4123452B2 (ja) | 1998-06-16 | 1998-06-16 | 画像処理装置および画像処理方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4123452B2 (ja) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4633577B2 (ja) * | 2005-08-24 | 2011-02-16 | 富士フイルム株式会社 | データ圧縮装置およびデータ圧縮プログラム |
-
1998
- 1998-06-16 JP JP16785598A patent/JP4123452B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2000004436A (ja) | 2000-01-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4126709B2 (ja) | 画像処理装置および画像処理方法 | |
| US5666164A (en) | Image signal converting apparatus | |
| US5193003A (en) | Apparatus for decoding digital video data with small memory requirement | |
| US6266454B1 (en) | Device and method for processing, image and device and method for encoding image | |
| JPH07147681A (ja) | ディジタル画像信号の階層符号化および復号装置 | |
| JP3912627B2 (ja) | 画像符号化装置および画像符号化方法、並びに伝送方法 | |
| US20110135009A1 (en) | Combined lossy and lossless video compression | |
| JP3946781B2 (ja) | 画像情報変換装置及び方法 | |
| JPH0795591A (ja) | ディジタル画像信号処理装置 | |
| JP3271095B2 (ja) | ディジタル画像信号の高能率符号化装置および復号装置 | |
| JP4123452B2 (ja) | 画像処理装置および画像処理方法 | |
| KR980013427A (ko) | 영상 코딩 장치, 영상 코딩 방법, 영상 디코딩 방법,영상 디코딩 장치, 영상 데이터 전송 방법 및 기록 매체(Image Coding Apparatus, Image Coding Method, Image Decoding Method, Image Decofing Apparatus, Image Data Transmitting Method and Recording Medium) | |
| JP3759538B2 (ja) | 画像信号処理方法及び画像信号伝送装置 | |
| JP3747970B2 (ja) | 画像符号化装置および画像符号化方法、画像復号化装置および画像復号化方法 | |
| JP3870428B2 (ja) | 画像情報変換装置および方法並びに係数データ生成装置および方法 | |
| JP3723995B2 (ja) | 画像情報変換装置および方法 | |
| JP3912558B2 (ja) | 画像符号化装置および画像符号化方法、並びに記録媒体 | |
| JP3480015B2 (ja) | 画像データの生成装置および生成方法 | |
| JP3480461B2 (ja) | ディジタル画像信号処理装置および処理方法 | |
| JP3271109B2 (ja) | ディジタル画像信号処理装置および処理方法 | |
| JPH0746548A (ja) | ディジタル画像信号処理装置 | |
| JP3988738B2 (ja) | 画像変換装置および画像変換方法 | |
| JPH0797754B2 (ja) | 符号化伝送装置 | |
| JP3907623B2 (ja) | 映像信号符号化・復号化装置及び符号化・復号化方法 | |
| JP4001143B2 (ja) | 係数生成装置および方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050309 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050309 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20071030 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20071228 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080125 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080321 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20080411 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20080424 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110516 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120516 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130516 Year of fee payment: 5 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |