JP3759537B2 - 画像信号伝送装置及び画像信号伝送方法 - Google Patents
画像信号伝送装置及び画像信号伝送方法 Download PDFInfo
- Publication number
- JP3759537B2 JP3759537B2 JP24202494A JP24202494A JP3759537B2 JP 3759537 B2 JP3759537 B2 JP 3759537B2 JP 24202494 A JP24202494 A JP 24202494A JP 24202494 A JP24202494 A JP 24202494A JP 3759537 B2 JP3759537 B2 JP 3759537B2
- Authority
- JP
- Japan
- Prior art keywords
- pixel
- transmission
- data
- interest
- value
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Images
Landscapes
- Compression, Expansion, Code Conversion, And Decoders (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Compression Of Band Width Or Redundancy In Fax (AREA)
- Signal Processing For Digital Recording And Reproducing (AREA)
Description
【０００１】
【目次】
以下の順序で本発明を説明する。
産業上の利用分野
従来の技術（図１２及び図１３）
発明が解決しようとする課題（図１２及び図１３）
課題を解決するための手段（図１〜図３及び図６）
作用（図１〜図３及び図６）
実施例
（１）全体構成（図１及び図２）
（２）詳細構成（図３〜図１１）
（３）実施例の動作
（４）実施例の効果
（５）他の実施例
発明の効果
【０００２】
【産業上の利用分野】
本発明は画像信号伝送装置及び画像信号伝送方法に関し、特に原画像データの情報量を間引き処理によつて削減して伝送する画像信号伝送装置及び画像信号伝送方法に適用して好適なものである。
【０００３】
【従来の技術】
従来、例えばテレビ会議システムなどのように画像信号を遠隔地に伝送するいわゆる画像信号伝送システムや、画像信号をデイジタル化してビデオテープレコーダやビデオデイスクレコーダに記録し再生する装置においては、伝送路や記録媒体を効率良く利用するため、デイジタル化した画像信号の相関を利用して有意情報を効率的に符号化することにより伝送情報量や記録情報量を削減し、伝送効率や記録効率を高めるようになされている。
【０００４】
具体的には、画像データを高能率圧縮符号化することにより、伝送するデータ量を削減する手法が広く用いられている。この高能率符号化では、一般に、予め原画像データに対して空間内あるいは時空間でのサブサンプリング（間引き）を行うことにより画素数を減らした後、圧縮符号化処理を施すことにより、伝送する情報量を一段と削減している。時空間サブサンプリングの例としては、ＭＵＳＥ（Multiple Sampling Encode）方式がある。
【０００５】
一方、受信側では、伝送されてこない画素すなわち間引かれた画素を補間によつて求めることにより解像度を上げる。一般には、固定タツプ、固定係数のフイルタによつて補間を行う。
ところが、このような補間方法では、補間画素値を当該補間画素周辺の複数の周辺画素の画素値の平均により求めるため、画像の種類によつては、画質ぼけ、時空間での変動（すなわちジヤーキネス、エツジビジネス等）が発生し、この結果復元画像に画質劣化が生じる問題がある。
【０００６】
かかる課題を解決する一つの方法として、特願平5-201913号に記載されているようなデイジタルデータ変換装置が提案されている。図１２（Ａ）に示すように、このデイジタルデータ変換装置における送信器１は入力画像データＤ１をサブサンプリング回路２及びエンコーダ３を通すことにより圧縮符号化データＤ２を生成し、これを出力端子４に与える。
【０００７】
また送信器１は、圧縮符号化データＤ２をローカルデコーダ５により復号した後、最小二乗法演算回路６に供給する。最小二乗法演算回路６は、復号データＤ３及び入力画像データＤ１を入力し、サブサンプリングにより間引かれた画素（取り除かれた画素）を注目画素とし、入力画像データＤ１に含まれる当該注目画素の画素値と復号データＤ３に含まれるその周辺の画素の画素値とで線形一次結合モデルを立て、この線形一次結合モデルの係数を最小二乗法の演算を行うことにより求める。この結果最小二乗法演算回路６からは、サブサンプリング回路２によつて間引かれた画素に対応した係数データＤ４が出力され、当該係数データＤ４が出力端子７に与えられる。
【０００８】
このように送信器１においては、サブサンプリング後の画像データを圧縮符号化して得た圧縮符号化データＤ２と共に、間引かれた画素とその周辺の伝送画素との相関関係を表わす係数データＤ４を伝送するようになされている。
【０００９】
デイジタルデータ変換装置の受信器１０は、図１２（Ｂ）に示すように構成されており、圧縮符号化データＤ２を入力端子１１を介してデコーダ１２に入力する。デコーダ１２によつて復号された復号データＤ５は時系列変換回路１３及び補間演算回路１４に供給される。また受信器１０は係数データＤ４を入力端子１５を介して補間演算回路１４に入力する。
【００１０】
補間演算回路１４は復号データＤ５及び係数データＤ４を用いて、線形一次結合式から補間データＤ６を求め、これを時系列変換回路１３に送出する。時系列変換回路１３は、復号データＤ５と補間データＤ６を原画像（すなわち入力画像データＤ１）と同一に配列し、復元画像データＤ７を得る。
【００１１】
かくして、送信器１及び受信器１０で構成されたデイジタルデータ変換装置においては、送信器１側において、高能率符号化して得た圧縮符号化データＤ２のみを伝送するのではなく、間引かれた画素とその周辺の伝送画素との相関関係を表わす係数データＤ４を共に伝送し、受信器１０側において、その係数データＤ４を用いて実際には伝送されない間引かれた画素を生成するようにしたことにより、間引きにより伝送情報量を削減した場合でも、受信器１０側での画質劣化を低減し得るようになされている。
【００１２】
また別の方法として、特開平5-328185号公報に開示されているように、受信側に予め学習によつて求めた予測係数又は予測値を格納するメモリを設け、間引き処理が施された伝送画像データに応じて当該メモリから読み出される予測係数に基づき補間画素値を生成し、又は伝送画像データに応じて当該メモリから読み出される予測値を補間画素値とすることにより、間引きに基づく画質劣化を低減するデイジタルデータ変換装置が提案されている。
【００１３】
このデイジタルデータ変換装置は、図１３に示すように、送信器２０において、サブサンプリング回路２１、エンコーダ２２及び送信処理回路２３を通して得た圧縮符号化データＤ１０を出力端子２４を介して伝送路２５に送出する。
受信器３０は入力端子３１を介して入力した圧縮符号化データＤ１０を受信処理回路３２及びデコーダ３３を通すことにより復号データＤ１１を得、これを同時化回路３４に送出する。同時化回路３４は間引かれた画素を注目画素とし、各注目画素毎に周辺の複数の伝送画素を同時化してクラスタリング回路３５に送出する。
【００１４】
クラスタリング回路３５は入力した伝送画素データを階調やパターンに応じてクラス分類し、このクラス分類結果を各注目画素のクラスを表わすクラス情報Ｄ１２としてメモリ３６に送出する。
メモリ３６はクラス情報Ｄ１２をアドレスとして、予め学習により各クラス毎に求められて格納されている予測係数のうち、入力したクラス情報Ｄ１２に対応した予測係数Ｄ１３を出力する。
【００１５】
補間データ作成回路３７は予測係数Ｄ１３と同時化された周辺画素値とを使つて線形一次結合による演算を施すことにより、補間画素データＤ１４を作成する。この補間画素データＤ１４と復号データＤ１１が続く合成回路３８によつて合成されることにより、復元画像データＤ１５が生成される。
【００１６】
かくして、受信器３０によれば、伝送画素データに存在しないような高周波成分をも復元することができ、この結果間引き処理に基づく画質劣化を抑制し得、高解像度の復元画像を得ることができる。
【００１７】
【発明が解決しようとする課題】
ところで、特願平5-201913号で提案されている方法では、最小二乗法演算回路６において、補間対象画素（注目画素）と、当該補間対象画素に対して空間的及び時間的に周辺の伝送画素との線形一次結合モデルを立て、当該線形一次結合モデルから最小二乗法により係数データＤ４を算出している。
【００１８】
ところが、これは一種の統計的処理であるため、入力画像データＤ１に含まれる実際の画素値に対して必然的にある程度の誤差のある係数データＤ４が算出されてしまう。このため受信器１０側では、この係数の誤差分だけ実際の画素値に対して誤差のある補間画素値が作成され、画質が劣化する問題がある。
ここで線形一次結合モデルに用いる周辺画素数を多くする程、係数データＤ４の誤差は小さくなると考えられるが、このようにすると係数データＤ４を算出する際の演算量が増大することにより、実際上実現が困難になる問題がある。
【００１９】
また特開平5-328185号公報で開示されているように、予め学習により求めた補間画素の予測係数又は予測値をクラス毎にメモリ３６に格納する方法では、クラス数を多くすればする程、また学習に用いる周辺画素数を多くする程より真値に近い補間画素値を生成し得ると考えられるが、このようにすると予測係数又は予測値を求める際の演算量が増大すると共に、メモリ３６に格納しなければならないデータ量が増大し、この結果構成が大型化する問題がある。またクラス数や学習に用いる画素数を増やしたとしても、補間画素値の真値に対する誤差を完全に除くことはできなかつた。
【００２０】
本発明は以上の点を考慮してなされたもので、入力画像データに間引き処理を施して伝送データ量を削減する場合に、送信側で間引かれた画素を受信側で正確に補間することにより復元画像の解像度を向上し得る画像信号伝送装置及び画像信号伝送方法を提案しようとするものである。
【００２１】
【課題を解決するための手段】
かかる課題を解決するため本発明においては、入力画像データの所定画素をオフセツトサンプリングによつて間引くことにより画素数の低減した伝送画素データを生成するサンプリング手段と、サンプリング手段により間引かれた画素を注目画素とし、当該注目画素を中心として空間的及び又は時間的に配列された複数の伝送画素の階調又はパターンに基づいて各注目画素をクラス分類する第１のクラス分類手段と、第１のクラス分類手段により分類されたクラスごとに、注目画素と当該注目画素を中心として空間的及び又は時間的に配列された複数の伝送画素とから線形一次結合モデルを立て、最小二乗法の演算により当該線形一次結合モデルを解いて得られる係数をパラメータとして、メモリ手段に一時記憶させるパラメータ算出手段と、クラスに応じたパラメータと注目画素を中心として空間的及び又は時間的に配列された複数の伝送画素とに基づく線形一次結合式を用いることにより注目画素の第１の推定画素値を算出する第１の推定画素値算出手段と、第１の推定画素値と入力画像データに含まれる真の画素値との差分値を算出する差分値算出手段とを設け、差分値を伝送画素データ及びパラメータと共に伝送するようにした。
【００２２】
また本発明においては、入力画像データの所定画素をオフセツトサンプリングによつて間引くことにより画素数の低減した伝送画素データと、伝送画素データにおける間引かれた画素を注目画素とし、当該注目画素を中心として空間的及び又は時間的に配列された複数の伝送画素の階調又はパターンに基づいて各注目画素がクラス分類され、分類されたクラスごとに注目画素と当該注目画素を中心として空間的及び又は時間的に配列された複数の伝送画素とから線形一次結合モデルを立て、最小二乗法の演算により当該線形一次結合モデルを解いて得られる係数であるパラメータと、クラスに応じたパラメータと注目画素を中心として空間的及び又は時間的に配列された複数の伝送画素とに基づく線形一次結合式を用いることにより算出された注目画素の第１の推定画素値と入力画像データに含まれる真の画素値との差分値とを受信する画像信号伝送装置であつて、注目画素を中心として空間的及び又は時間的に配列された複数の伝送画素の階調又はパターンに基づいて各注目画素をクラス分類する第２のクラス分類手段と、第２のクラス分類手段により分類されたクラスに応じたパラメータと注目画素を中心として空間的及び又は時間的に配列された複数の伝送画素とに基づく線形一次結合式を用いることにより注目画素の第２の推定画素値を算出する第２の推定画素値算出手段と、差分値を当該第２の推定画素値に加算する加算手段とを設けるようにした。
【００２３】
さらに本発明においては、入力画像データの所定画素をオフセツトサンプリングによつて間引くことにより画素数の低減した伝送画素データを生成する第１のステツプと、第１のステツプにおいて間引いた画素を注目画素とし、当該注目画素を中心として空間的及び又は時間的に配列された複数の伝送画素の階調又はパターンに基づいて各注目画素をクラス分類する第２のステツプと、第２のステツプにおいて分類したクラスごとに、注目画素と当該注目画素を中心として空間的及び又は時間的に配列された複数の伝送画素とから線形一次結合モデルを立て、最小二乗法の演算により当該線形一次結合モデルを解いて得られる係数をパラメータとして、メモリ手段に一時記憶させる第３のステツプと、クラスに応じたパラメータと注目画素を中心として空間的及び又は時間的に配列された複数の伝送画素とに基づく線形一次結合式を用いることにより注目画素の第１の推定画素値を算出する第４のステツプと、第１の推定画素値と入力画像データに含まれる真の画素値との差分値を算出する第５のステツプと、差分値を伝送画素データ及びパラメータと共に伝送する第６のステツプとを設けるようにした。
さらに本発明においては、入力画像データの所定画素をオフセツトサンプリングによつて間引くことにより画素数の低減した伝送画素データと、伝送画素データにおける間引かれた画素を注目画素とし、当該注目画素を中心として空間的及び又は時間的に配列された複数の伝送画素の階調又はパターンに基づいて各注目画素がクラス分類され、分類されたクラスごとに注目画素と当該注目画素を中心として空間的及び又は時間的に配列された複数の伝送画素とから線形一次結合モデルを立て、最小二乗法の演算により当該線形一次結合モデルを解いて得られる係数であるパラメータと、クラスに応じたパラメータと注目画素を中心として空間的及び又は時間的に配列された複数の伝送画素とに基づく線形一次結合式を用いることにより算出された注目画素の第１の推定画素値と入力画像データに含まれる真の画素値との差分値とを受信する画像信号伝送方法であつて、注目画素を中心として空間的及び又は時間的に配列された複数の伝送画素の階調又はパターンに基づいて各注目画素をクラス分類する第１のステツプと、第１のステツプにおいて分類したクラスに応じたパラメータと注目画素を中心として空間的及び又は時間的に配列された複数の伝送画素とに基づく線形一次結合式を用いることにより注目画素の第２の推定画素値を算出する第２のステツプと、差分値を当該第２の推定画素値に加算する第３のステツプとを設けるようにした。
【００２４】
【作用】
受信側において伝送画素データとパラメータとにより求められるであろう第１の推定画素値を予め算出する。次に第１の推定画素値と入力画像データに含まれる真の画素値との差分値を算出し、この差分値を、伝送画素データ及びパラメータと共に伝送するようにする。この結果、受信側では、差分値によつて誤差分をキヤンセルすることでほぼ真値に等しい補間画素値を得ることができ、復元画像の解像度を向上させることができる。
【００２５】
【実施例】
以下図面について、本発明の一実施例を詳述する。
【００２６】
（１）全体構成
図１において、４０は全体として本発明を適用した画像符号化装置を示し、符号化データ形成部４１と誤差データ形成部４２により構成されている。符号化データ形成部４１は入力画像データＤ１から圧縮符号化データＤ２、及び伝送画素と間引かれた画素との相関関係を表わす係数データＤ４を生成する。
誤差データ形成部４２は、符号化データ形成部４１から出力される圧縮符号化データＤ２及び係数データＤ４に基づき受信側で生成されるであろう補間画素値の、真値からの誤差を表わす誤差データＤ２０を生成する。
【００２７】
実際上、画像符号化装置４０は入力画像データＤ１を符号化データ形成部４１のサブサンプリング回路４３に入力し、ここで入力画像データＤ１の所定画素を間引くことにより情報量を削減した後、圧縮エンコーダ４４に送出する。圧縮エンコーダ４４は間引き後に残つた画素を圧縮符号化することにより圧縮符号化データＤ２を生成し、これを遅延回路４５を介して伝送する。
【００２８】
また圧縮エンコーダ４４の出力はローカルデコーダ４６を介して圧縮符号化前のデータに復号され、当該復号データＤ２１がクラス分類回路４７に与えられる。クラス分類回路４７は補間対象画素（すなわち間引かれた画素）を注目画素とし、当該注目画素の空間的及び又は時間的に周囲の画素の状態に応じて各注目画素をクラス分類し、当該分類結果をその注目画素のクラス情報（以下これをインデツクスデータと呼ぶ）Ｄ２２として係数選定回路４８に送出する。例えばクラス分類回路４７は注目画素の周辺の伝送画素の階調やパターンに応じて各注目画素をクラス分類する。
【００２９】
係数選定回路４８は遅延回路４９を介して入力した入力画像データＤ１及び復号データＤ２１に基づき、各クラス毎に、入力画像データＤ１に含まれる注目画素の画素値とその周辺の復号データＤ２の画素値との相関関係を学習により求め、この学習結果を係数データＤ４として出力する。
因に遅延回路４９はサブサンプリング回路４３、圧縮エンコーダ４４及びローカルデコーダ４６で要する処理時間分だけ入力画像データＤ１を遅延させるものである。
【００３０】
誤差データ形成部４２は補間データ推定回路５０を有し、当該補間データ推定回路５０にローカルデコーダ４６から出力される復号データＤ２１を遅延回路５１を介して受けると共に、係数選定回路４８から出力される係数データＤ４を受ける。また補間データ推定回路５０はクラス分類回路４７から出力されるインデツクスデータＤ２２を遅延回路５２を介して受ける。因に遅延回路５１は復号データＤ２１をクラス分類回路４７の処理分遅延させるものであり、遅延回路５２はインデツクスデータＤ２２を係数選定回路４８の処理分遅延させるものである。
【００３１】
補間データ推定回路５０は、受信側において圧縮符号化データＤ２、係数データＤ４及びインデツクスデータＤ２２を用いて生成されるであろう補間画素値を前もつて生成し、これにより得た推定補間データＤ２３を差分回路５３に送出する。
差分回路５３は推定補間データＤ２３を入力すると共に、入力画像データＤ１を遅延回路４９及び５４を介して入力することにより、推定補間画素値とこれに対応する真の補間画素値との差分演算を行う。この結果差分回路５３では、推定補間画素値の真の補間画素値からの誤差を表わす誤差値Ｄ２４が算出される。この誤差値Ｄ２４は続く量子化回路５５によつて量子化及び符号化されて誤差データＤ２０として伝送される。
【００３２】
因に遅延回路５４の遅延時間は、遅延回路４９の遅延時間との合計遅延時間が推定補間画素値が生成されるまでに要する時間と等しくなるように選定されている。また量子化回路５５は例えばＡＤＲＣ（Adaptive Dynamic Range Coding ）回路により構成されており、誤差値Ｄ２４を適応量子化することにより誤差データＤ２０を生成する。
このように画像符号化装置４０は、符号化データ形成回路４１からの圧縮符号化データＤ２及び係数データＤ４と共に、誤差データ形成回路４２からの誤差データＤ２０を伝送するようになされている。
【００３３】
画像符号化装置４０から送出された伝送データは、図２に示すような構成でなる画像復号化装置６０により受信されて復号される。画像復号化装置６０は、圧縮符号化データＤ２を圧縮デコーダ６１により復号し、これにより得た復号データＤ３０をクラス分類回路６２に送出する。
クラス分類回路６２は図１について上述したクラス分類回路４７と同様の構成でなり、実際には伝送されてこない補間対象画素を注目画素とし、当該注目画素の空間的及び又は時間的に周辺の画素の状態に応じて当該補間対象画素をクラス分類する。これによりクラス分類回路６２は各注目画素毎にインデツクスデータＤ３１を発生し、これを補間データ推定回路６３に送出する。
【００３４】
補間データ推定回路６３も上述した補間データ推定回路５０と同様の構成でなり、各補間対象画素（注目画素）のインデツクスデータＤ３１、復号データＤ３０及び係数データＤ４に基づいて推定補間データＤ３２を求める。実際上、補間データ推定回路６３はインデツクスデータＤ３１に対応した係数データＤ４を選択し、選択した係数データＤ４と補間対象画素の周辺の復号データＤ３０とを用いて線形一次結合式を立てることにより推定補間データＤ３２を求める。
【００３５】
このようにして求められた推定補間データＤ３２は加算回路６４に送出される。加算回路６４にはまた誤差データＤ２０が遅延回路６５及び逆量子化回路６６を介して入力される。この結果加算回路６４では、推定補間データＤ３２に含まれる誤差分がキヤンセルされ、入力画像データＤ１（図１）含まれていた真の画素値と等しい補間データＤ３３が生成される。
時系列変換回路６７では、復号データＤ３０と補間データＤ３３を原画像（すなわち入力画像データＤ１）と同一に配列することにより、復元画像データＤ３４を生成する。
かくして画像復号化装置６０では、真値にほぼ等しい補間画素を得ることができることにより画質劣化の無い復元画像を得ることができる。
【００３６】
（２）詳細構成
次に実施例におけるサブサンプリング回路４３、圧縮エンコーダ４４、圧縮デコーダ６１、クラス分類回路４７、６２、係数選定回路４８及び補間データ推定回路５０、６３の詳細構成を説明する。
【００３７】
この実施例の場合、サブサンプリング回路４３は、図３に示すように、各時点Ｔ０、Ｔ１、Ｔ２、……でのフレーム画像に対して伝送画素数が1/2 になるような間引き処理を施す。このときサブサンプリング回路４３は、連続する時点間で、前の時点でサンプリングした位置と同様の位置の画素を次の時点ではサンプリングしないというように交互に間引く画素位置を選択する所謂1/2 時空間オフセツトサブサンプリングを行うことにより、画像の特徴量をできるだけ残しながら伝送情報量を1/2 に削減する。
因に、図３における○印は間引き後に残つた画素（すなわち伝送画素）を表し、＋印は補間対象画素（注目画素）を表わす。また下段のｗ1 〜ｗ38は、後述する係数選定回路４８によつて求められる線形一次結合モデルの係数を表わす。
【００３８】
圧縮エンコーダ４４は、ＡＤＲＣ（Adaptive Dynamic Range Coding ）回路により構成されており、例えば１画素当り８ビツトの情報量でなる画素データを、所定ブロツク内での最大画素値と最小画素値との差分を表わすダイナミツクレンジ情報と、最小画素情報と、各画素値と最小画素値との差分を例えば１ビツト量子化した際の量子化情報とで表わすことにより、伝送情報量を有効に削減する。
【００３９】
すなわち図４（Ａ）に示すように、ＡＤＲＣ回路（圧縮エンコーダ４４）は入力データをブロツク化回路７０によつて微小ブロツクに分割し、当該微小ブロツク毎にブロツク内の画素データを最大値・最小値算出回路７１に送出する。最大値・最小値算出回路７１は微小ブロツクに含まれる画素値の最大値及び最小値を算出し、これにより得た最小画素値ＭＩＮを伝送データとして出力する。また最大値及び最小値は減算回路７２により減算され、これにより得られたダイナミツクレンジ情報ＤＲが伝送データとして出力される。
【００４０】
また各画素値と当該画素値が含まれる微小ブロツクでの最小画素値との差分値が減算回路７３によつて算出され、当該減算結果が適応量子化回路７４に送出される。適応量子化回路７４は、量子化ビツト数がｎビツトである場合には、ダイナミツクレンジＤＲを２ｎで割り算することにより量子化ステツプ幅を計算し、減算回路７３からの減算結果を当該量子化ステツプ幅で割り算し、この結果得た除算結果を整数に丸めることで量子化コードＱを発生する。このようにしてＡＤＲＣ回路（圧縮エンコーダ４４）からは、微小ブロツク毎のダイナミツクレンジ情報ＤＲ、最小値情報ＭＩＮ及び量子化コードＱが圧縮符号化データＤ２として出力される。
【００４１】
この圧縮エンコーダ４４に対応する圧縮デコーダ６１（図２）は、図４（Ｂ）に示すように構成されており、ダイナミツクレンジ情報ＤＲ及び量子化コードＱを適応逆量子化回路７５に入力し、ここで各ブロツク毎にダイナミツクレンジＤＲを２n で割り算することにより量子化ステツプ幅を計算し、この量子化ステツプ幅に量子化コードＱを掛け合わせる。圧縮デコーダ６１は、加算回路７６によつてこの乗算結果に最小値情報ＭＩＮを加算し、続くブロツク分解回路７７によつてブロツク分解することにより復号データＤ３０を得る。
因に、画像符号化装置４０に設けられているローカルデコーダ４６（図１）も、圧縮デコーダ６１と同様に構成されている。
【００４２】
クラス分類回路４７及び６２は図５に示すように構成されており、復号データＤ２１（又はＤ３０）を時系列変換回路８０に入力する。時系列変換回路８０は例えば３フレームメモリ構成でなり、時間的に連続する３フレーム分の復号データＤ２１（又はＤ３０）を格納し、各注目画素（すなわち補間対象画素）毎にその周辺の画素値Ｘ１〜Ｘ１４を続く減算回路８１Ａ〜８１Ｆに送出する。
【００４３】
このとき各減算回路８１Ａ〜８１Ｆには、注目画素を中心として、上下方向、左右方向及び斜め方向、さらには時間方向に配列した画素同士で差分が取られるように周辺画素値Ｘ１〜Ｘ１４が入力される。具体的には、図６に示すように、上下方向に配列した画素Ｘ１、Ｘ２間の差分値が減算回路８１Ａにより、左右方向の画素Ｘ３、Ｘ４間の差分値が減算回路８１Ｂにより、斜め方向の画素Ｘ５、Ｘ６間の差分値が減算回路８１Ｃにより、同じく斜め方向の画素Ｘ１１、Ｘ１２間の差分値が減算回路８１Ｅにより、さらには時間方向の画素Ｘ１３、Ｘ１４間の差分値が減算回路８１Ｆにより算出される。
因に、図６における○印及び◎印は間引き後に残つた画素（伝送画素）を表し、このうち◎印はクラス分類に用いる画素を表し、×印は間引かれた画素（非伝送画素）を表わす。
【００４４】
この結果得られた各方向の差分値はコード化回路８２に与えられ、当該コード化回路８２によつて差分値に応じてコード化されてインデツクスデータＤ２２（又はＤ３１）として出力される。
実際上コード化回路８２は図７に示すように構成されており、絶対値算出回路８３により各差分値の絶対値を算出し、これを閾値判定回路８４に送出する。閾値判定回路８４では、各差分絶対値を所定の閾値と比較し、全ての差分絶対値が閾値未満の場合にはコード割当回路８６にこのことを示す指令信号Ｓ１を送出する。これに対して閾値判定回路８４は、１つ以上閾値以上の差分絶対値があつた場合、全ての差分絶対値を最小値検出回路８５に送出する。
【００４５】
最小値検出回路８５は差分絶対値のうちの最小値を検出し、当該検出結果をコード割当回路８６に送出する。コード割当回路８６は最小値の検出された方向に応じたコードを出力する。例えば図６の下段に示すように、上下方向の画素間の差分絶対値が最小であつた場合にはコード０を割り当て、左右方向の画素間の差分絶対値が最小であつた場合にはコード１を割り当て、時間方向の画素間の差分絶対値が最小であつた場合にはコード６を割り当てるというように、空間方向及び時間方向での差分絶対値に応じて７種類のコードを出力する。
【００４６】
またコード割当回路８６は閾値判定回路８４から指令信号Ｓ１が与えられた場合には、コード７を出力する。ここでコード割当回路８６がコード７を出力するということは、補間対象画素（注目画素）の周辺は静止平坦部であることを意味する。
このように実施例のクラス分類回路４７及び６２では、注目画素の周辺画素の平坦度を検出し、平坦度の最も大きい方向をインデツクスデータＤ２２（又はＤ３１）として出力することにより、注目画素をクラス分類するようになされている。
【００４７】
係数選定回路４８は、補間対象画素を、当該補間対象画素と当該補間対象画素の周辺の伝送画素との線形一次結合モデルによつて表し、このとき用いた係数を各クラス毎に最小二乗法の演算によつて求める。
この係数選定の原理について説明する。図３に示すように、補間対象画素ｙm の存在するフレームをＴ１とすると、このフレームＴ１から補間対象画素ｙm を中心としてその周囲の領域を切り出すと共に、一つ前の時点のフレームＴ０及び一つ後の時点のフレームＴ２からフレームＴ１で切り出した領域と空間的に同じ位置の領域を切り出す。また補間対象画素ｙm の画素値は入力画像データＤ１から抽出する。
【００４８】
ここで先ずフレームＴ０〜Ｔ２から切り出した領域内の伝送画素それぞれに係数ｗi を掛けることにより、補間対象画素ｙm を空間的及び時間的に周辺の伝送画素による線形一次結合によつて表わす。この結果補間対象画素ｙm の行列式Ｙと周辺の伝送画素ｘmiの行列式Ｘは、係数ｗi の行列式Ｗを用いて、次式、
【数１】
でなる観測方程式の形で表わすことができる。但し、（１）式における、ｎは１つの補間対象画素ｙm を線形一次結合式によつて表わす際の空間的及び時間的に周辺の伝送画素数を表し（実施例の場合、１つの補間対象画素ｙm を３８タツプの線形一次結合モデルによつて表わすため、ｎ＝３８である）、ｍは１フレーム内に存在する補間対象画素数を表わす。
【００４９】
ここで（１）式に基づき、１フレームに対して１個の係数組を求めようとすると、（１）式から１フレームの補間対象画素数分の連立方程式を作ることになる。基本的には、この連立方程式を解いて係数を求めればよい。実施例では、最小二乗法を用いてこの連立方程式を解く。
すなわち先ず、（１）式を残差行列Ｅを用いて次式、
【数２】
のように残差方程式の形に表現し直す。
【００５０】
ここで（２）式から各係数値ｗi の最確値を求めるためには、ｅ1 2＋ｅ2 2＋……＋ｅm-1 2＋ｅm 2 を最小にする条件、すなわち次式、
【数３】
となるｎ個の条件を入れてこれを満足するｗ1 、ｗ2 、……、ｗn を見つければよい。
ここで（２）式より、次式、
【数４】
を得、（３）式の条件をｉ＝１、２、……、ｎについて立てればそれぞれ、次式
【数５】
が得られる。ここで（２）式及び（５）式から次式の正規方程式が得られる。
【数６】
【００５１】
ここで（６）式で表わされる正規方程式は未知数の数がｎ個の連立方程式であるから、これにより最確値である各係数ｗi を求めることができる。正確には（６）式でｗi に掛かる（Σｘjnｘjn）（但し、ｊ＝１……ｍ）のマトリクスが正則であれば解くことができる。実際には、Gauss-Jordanの消去法（掃き出し法）を用いて連立方程式を解く。
【００５２】
実施例の場合には、クラス分類回路４７によつて求めた各クラス毎に上述した最小二乗法を用いて係数値ｗi を求める。この結果各クラス毎に１フレームにつき１組の係数を伝送すればよいことになり、全ての補間対象画素についての係数値ｗi を求めて伝送する場合に比して、格段に伝送情報量及び演算量を低減し得る。実際に、係数の情報量はフレーム当りの画素情報量に比べて無視できるくらいのオーダーである。
【００５３】
具体的には、係数選定回路４８は、図８に示すように構成されている。すなわち係数選定回路４８はローカルデコードされた復号データＤ２１（ｘi ）及び入力画像データＤ１に含まれる補間対象画素データｙm を時系列変換メモリ９０に入力する。時系列変換メモリ９０は、図３について上述したように線形一次結合モデルを形成するための画素（ｘ1 〜ｘn 、ｙm ）を同時化して出力する。
時系列変換メモリ９０から出力されたデータは、正規化方程式生成回路９１に与えられ、当該正規化方程式生成回路９１によつて各クラス毎に（６）式で表わされるような正規化方程式が生成され、続くＣＰＵ演算回路９２によつて掃き出し法によつて各クラス毎の係数組が求められる。
【００５４】
正規化方程式生成回路９１は、先ず乗算器アレイ９３によつて各画素同士の乗算を行う。乗算器アレイ９３は、図９に示すように構成されており、四角で表わす各セル毎に画素同士の乗算を行い、これにより得た各乗算結果を続く加算器メモリ９４に与える。
【００５５】
加算器メモリ９４は、図１０に示すように、乗算器アレイ９３と同様に配列されたセルでなる加算器アレイ９５とメモリ（またはレジスタ）アレイ９６Ａ〜９６Ｇとにより構成されている。メモリアレイ９６Ａ〜９６Ｇはクラス数分（実施例の場合、静止平坦部を表わすクラス７を除く７個のクラス分）だけ設けられており、インデツクスデータＤ２２をデコードするインデツクスデコーダ９７の出力（クラス）に応答して一つのメモリアレイ９６Ａ〜９６Ｆ又は９６Ｇが選択され、選択されたメモリアレイ９６Ａ〜９６Ｆ又は９６Ｇの格納値が加算器アレイ９５に帰還される。このとき加算器アレイ９５によつて得られる加算結果が、再び対応するメモリアレイ９６Ａ〜９６Ｆ又は９６Ｇに格納される。
【００５６】
このようにして乗算器アレイ９３、加算器アレイ９５及びメモリアレイ９６Ａ〜９６Ｇによつて積和演算が行われ、インデツクスによつて決定されるクラス毎にメモリアレイ９６Ａ〜９６Ｆ又は９６Ｇが選択されて、積和演算の結果によつてメモリアレイ９６Ａ〜９６Ｇの内容が更新される。
【００５７】
なお、各々のアレイの位置は、（６）式で表わされる正規化方程式のｗi にかかる（Σｘjnｘjn）（但し、ｊ＝１……ｍ）の位置に対応する。（６）式の正規化方程式を見れば明らかなように右上の項を反転すれば左下と同じものになるため、各アレイは三角形の形状をしている。
【００５８】
このようにして、１フレームの間にクラス毎に積和演算が行われて各クラス毎の正規化方程式が生成される。クラス毎の正規化方程式の各項の結果は、それぞれのクラスに対応するメモリアレイ９６Ａ〜９６Ｇに記憶されており、次にそれらのクラス毎の正規化方程式の各項が掃き出し法演算を実現するＣＰＵ演算回路９２によつて計算される。この結果各クラス毎の係数ｗi の組が求められ、これが係数データＤ４として送出される。
【００５９】
補間データ推定回路５０及び６３は、図１１に示すように、１フレーム毎に各クラスの係数組を記憶する係数メモリ１００を有し、この係数メモリ１００は各クラス毎の係数組ｗ1 〜ｗn を格納すると共に、インデツクスデコーダ１０１の出力（クラス）に応答してクラスに応じた係数組ｗ1 〜ｗn を出力する。この係数組ｗ1 〜ｗn がそれぞれレジスタ１０２Ａ1 、１０２Ａ2 、……、１０２Ａn を介して乗算器１０３Ａ1 、１０３Ａ2 、……、１０３Ａn に与えられる。また乗算器１０３Ａ1 〜１０３Ａn には、時系列変換回路１０４により選択された復号データｘ1 〜ｘn が与えられる。従つて乗算器１０３Ａ1 〜１０３Ａn の出力が加算回路１０５により加算されることにより、補間対象画素の推定値ｙ（＝ｘ1 ｗ1 ＋ｘ2 ｗ2 ＋……＋ｘn ｗn ）が得られる。
【００６０】
（３）実施例の動作
以上の構成において、画像符号化装置４０は入力画像データＤ１に対して間引き処理を施すことによりデータ量を削減した後、圧縮符号化データＤ２を生成する。また画像符号化装置４０は、間引かれた画素を注目画素とし、当該注目画素の周辺の伝送画素の状態に応じて各注目画素をクラス分類し、次にこのクラス毎の係数組を求め、これを係数データＤ４として出力する。
【００６１】
さらに画像符号化装置４０は、誤差データ形成部４２において、画像復号化装置６０側で圧縮符号化データＤ２、係数データＤ４に基づいて得られるであろう推定補間データＤ２３を予め算出すると共に、この推定補間データＤ２３の真値からの誤差値Ｄ２４を算出し、当該誤差値Ｄ２４に基づく誤差データＤ２０を出力する。
【００６２】
ここで画像符号化装置４０の係数選定回路４８では、一種の統計的処理により係数データＤ４を生成するため、この係数データＤ４に基づいて補間値を生成すると必然的に補間値と真の画素値との間にはある程度の誤差が生じることになる。このためこの誤差のある補間値を用いて復元画像を生成すると、この誤差分だけ画質が劣化することになる。
これを回避するため、画像符号化装置４０では、圧縮符号化データＤ２及び係数データＤ４に加えて、誤差データＤ２０を伝送する。
【００６３】
画像復号化装置６０では、圧縮符号化データＤ２を復号した復号データＤ３０に基づき、画像符号化装置４０でしたのと同様のクラス分類処理を施し、これにより得たインデツクスデータＤ３１に応じて選択した係数データＤ４と復号化データＤ３０とを線形一次結合させることにより、推定補間データＤ３２を求める。
【００６４】
次に、画像復号化装置６０は、推定補間データＤ３２に、伝送された誤差コードＤ２０を逆量子化したものを加算することにより、推定補間データＤ３２に含まれる誤差分をキヤンセルする。
かくして入力画像データＤ１に含まれる実際の値にほぼ等しい値の補間データＤ３３を得ることができることにより画質の向上した復元画像を得ることができる。
【００６５】
（４）実施例の効果
以上の構成によれば、画像符号化装置４０において、クラス分類処理を行い、画像データ（圧縮符号化データＤ２）と共に各クラス毎の係数データＤ４を伝送し、画像復号化装置６０において伝送された画像データ（圧縮符号化データＤ２）と係数データＤ４に基づき補間画素を生成する場合に、画像符号化装置４０において予め推定補間画素値（推定補間データＤ２３）と真値（入力画像データＤ１）との差分値（誤差データＤ２０）を求め、当該差分値（誤差データＤ２０）を、画像データ（圧縮符号化データＤ２）及び係数データＤ４と共に伝送するようにしたことにより、画像復号化装置６０において画質劣化の少ない復元画像（復元画像データＤ３４）を得ることができる。
またこれによりクラス数を増やしたり、係数選定の際の演算量を増加させることなく復元画像（復元画像データＤ３４）の画質を向上させることができる。
【００６６】
（５）他の実施例
なお上述の実施例においては、圧縮エンコーダ４４としてＡＤＲＣ回路を用いた場合について述べたが、本発明はこれに限らず、圧縮エンコーダ４４として例えばＤＣＴ（Discrete Cosine Transform ）変換符号化、ＤＰＣＭ、ベクトル量子化、サブバンド符号化、ウエーブレツト変換等圧縮手法を用いた場合にも、上述の実施例と同様の効果を得ることができる。
【００６７】
また上述の実施例においては、間引き後に残つた伝送画素を圧縮エンコーダ４４により圧縮符号化して伝送する場合について述べたが、本発明はこれに限らず、圧縮符号化せずに間引き後に残つた間引きデータをそのまま伝送する場合にも適用することができる。この場合には、画像符号化装置４０側で圧縮エンコーダ４４及びローカルデコーダ４６を省略すると共に、画像復号化装置６０側で圧縮デコーダ６１を省略するようにすればよい。
【００６８】
また上述の実施例においては、補間対象画素（注目画素）ｙm の周辺の伝送画素Ｘ１〜Ｘ１４間で差分絶対値を求め、当該差分絶対値が最も小さい方向をその補間対象画素のクラスとするようなクラス分類を用いた場合について述べたが、本発明はこれに限らず、要は補間対象画素の周辺の伝送画素の状態に応じて各補間対象画素をクラス分類するようにすればよく、種々のクラス分類処理を適用することができ、またクラス数も種々の個数を用いることができる。
【００６９】
さらにクラス分類に用いる伝送画素を一旦ＡＤＲＣ符号化した後、クラス分類処理を行うようにすれば、クラス情報数を削減することができる。またこのようにＡＤＲＣ回路の出力に基づいてクラス分類を行うようにすれば、画面全体の画素レベルが変動したような場合にも、画像の特徴のみに基づいた正確なクラス分類を行うことができる。
【００７０】
また上述の実施例においては、クラス分類回路４７を設け、補間対象画素をその周辺の伝送画素の状態に応じてクラス分類し、係数選定回路４８において各クラス毎の係数組を求めるようにした場合について述べたが、本発明はクラス毎の係数組を求める場合に限らず、例えば画像の局所的な特徴に応じて画像を空間内で細分化し、細分化した領域毎に係数組を求めるようにした場合にも適用でき、この場合クラス分類回路４７及び６２を省略するようにすれば良い。これにより例えば図１２に示すような構成の画像符号化装置１及び画像復号化装置１０にも本発明を適用することができる。
【００７１】
また上述の実施例においては、注目画素とこの注目画素の空間的及び又は時間的に周辺の伝送画素との相関関係を表すパラメータとして、線形一次結合モデルを最小二乗法により解いて得た係数データＤ４を伝送する場合について述べたが、本発明はこれに限らず、パラメータとしては例えば各クラス毎に求めた注目画素の周辺の伝送画素値の平均値を代表値として伝送するようにしても良い。この場合平均演算に重心法を用いるようにすれば、クラス毎に誤差の少ない代表値を容易に求めることができる。またこれに限らず、要は伝送されない注目画素と伝送画素との相関関係を表すような種々のパラメータを用いることができる。
【００７２】
さらに上述の実施例においては、サブサンプリング回路４３によつて入力画像データＤ１に対して１／２の間引き処理を行う場合について述べたが、本発明はこれに限らず、例えば１／４の間引き処理等他の間引き処理を行つた場合でも上述の実施例と同様の効果を得ることができる。
【００７３】
【発明の効果】
上述のように本発明によれば、入力画像データの所定画素をオフセツトサンプリングによつて間引くことにより画素数の低減した伝送画素データを生成するサンプリング手段と、サンプリング手段により間引かれた画素を注目画素とし、当該注目画素を中心として空間的及び又は時間的に配列された複数の伝送画素の階調又はパターンに基づいて各注目画素をクラス分類する第１のクラス分類手段と、第１のクラス分類手段により分類されたクラスごとに、注目画素と当該注目画素を中心として空間的及び又は時間的に配列された複数の伝送画素とから線形一次結合モデルを立て、最小二乗法の演算により当該線形一次結合モデルを解いて得られる係数をパラメータとして、メモリ手段に一時記憶させるパラメータ算出手段と、クラスに応じたパラメータと注目画素を中心として空間的及び又は時間的に配列された複数の伝送画素とに基づく線形一次結合式を用いることにより注目画素の第１の推定画素値を算出する第１の推定画素値算出手段と、第１の推定画素値と入力画像データに含まれる真の画素値との差分値を算出する差分値算出手段とを設け、差分値を伝送画素データ及びパラメータと共に伝送するようにしたことにより、送信側で間引かれた画素を受信側で正確に補間でき、この結果復元画像の解像度を一段と向上し得る。
また上述のように本発明によれば、入力画像データの所定画素をオフセツトサンプリングによつて間引くことにより画素数の低減した伝送画素データを生成する第１のステツプと、第１のステツプにおいて間引いた画素を注目画素とし、当該注目画素を中心として空間的及び又は時間的に配列された複数の伝送画素の階調又はパターンに基づいて各注目画素をクラス分類する第２のステツプと、第２のステツプにおいて分類したクラスごとに、注目画素と当該注目画素を中心として空間的及び又は時間的に配列された複数の伝送画素とから線形一次結合モデルを立て、最小二乗法の演算により当該線形一次結合モデルを解いて得られる係数をパラメータとして、メモリ手段に一時記憶させる第３のステツプと、クラスに応じたパラメータと注目画素を中心として空間的及び又は時間的に配列された複数の伝送画素とに基づく線形一次結合式を用いることにより注目画素の第１の推定画素値を算出する第４のステツプと、第１の推定画素値と入力画像データに含まれる真の画素値との差分値を算出する第５のステツプと、差分値を伝送画素データ及びパラメータと共に伝送する第６のステツプとを設けるようにしたことにより、送信側で間引かれた画素を受信側で正確に補間でき、この結果復元画像の解像度を一段と向上し得る。
【図面の簡単な説明】
【図１】本発明を適用した画像符号化装置の全体構成を示すブロツク図である。
【図２】本発明を適用した画像復号化装置の全体構成を示すブロツク図である。
【図３】サブサンプリング回路による間引き処理の説明、並びに線形一次係合モデルに用いる画素及び係数の説明に供する略線図である。
【図４】圧縮エンコーダに用いたＡＤＲＣ回路、並びに圧縮デコーダ及びローカルデコーダに用いたＡＤＲＣ復号化回路の説明に供するブロツク図である。
【図５】クラス分類回路の構成を示すブロツク図である。
【図６】クラス分類の説明に供する略線図である。
【図７】コード化回路の構成を示すブロツク図である。
【図８】係数選定回路の構成を示すブロツク図である。
【図９】乗算器アレイの構成を示す略線図である。
【図１０】加算器メモリの構成を示す略線図である。
【図１１】補間データ推定回路の構成を示すブロツク図である。
【図１２】従来のデイジタルデータ変換装置の構成を示すブロツク図である。
【図１３】従来のデイジタルデータ変換装置の構成を示すブロツク図である。
【符号の説明】
４０……画像符号化装置、４１……符号化データ形成部、４２……誤差データ形成部、４３……サブサンプリング回路、４４……圧縮エンコーダ、４６……ローカルデコーダ、４７、６２……クラス分類回路、４８……係数選定回路、５０、６３……補間データ推定回路、５３……差分回路、６０……画像復号化装置、６４……加算回路、Ｄ１……入力画像データ、Ｄ２……圧縮符号化データ、Ｄ４……係数データ、Ｄ２０……誤差データ、Ｄ２２、Ｄ３１……インデツクスデータ、Ｄ２３、Ｄ３２……推定補間データ、Ｄ２４……誤差値、Ｄ３３……補間データ、Ｄ３４……復元画像データ、Ｗ1 〜Ｗ38……係数。
【目次】
以下の順序で本発明を説明する。
産業上の利用分野
従来の技術（図１２及び図１３）
発明が解決しようとする課題（図１２及び図１３）
課題を解決するための手段（図１〜図３及び図６）
作用（図１〜図３及び図６）
実施例
（１）全体構成（図１及び図２）
（２）詳細構成（図３〜図１１）
（３）実施例の動作
（４）実施例の効果
（５）他の実施例
発明の効果
【０００２】
【産業上の利用分野】
本発明は画像信号伝送装置及び画像信号伝送方法に関し、特に原画像データの情報量を間引き処理によつて削減して伝送する画像信号伝送装置及び画像信号伝送方法に適用して好適なものである。
【０００３】
【従来の技術】
従来、例えばテレビ会議システムなどのように画像信号を遠隔地に伝送するいわゆる画像信号伝送システムや、画像信号をデイジタル化してビデオテープレコーダやビデオデイスクレコーダに記録し再生する装置においては、伝送路や記録媒体を効率良く利用するため、デイジタル化した画像信号の相関を利用して有意情報を効率的に符号化することにより伝送情報量や記録情報量を削減し、伝送効率や記録効率を高めるようになされている。
【０００４】
具体的には、画像データを高能率圧縮符号化することにより、伝送するデータ量を削減する手法が広く用いられている。この高能率符号化では、一般に、予め原画像データに対して空間内あるいは時空間でのサブサンプリング（間引き）を行うことにより画素数を減らした後、圧縮符号化処理を施すことにより、伝送する情報量を一段と削減している。時空間サブサンプリングの例としては、ＭＵＳＥ（Multiple Sampling Encode）方式がある。
【０００５】
一方、受信側では、伝送されてこない画素すなわち間引かれた画素を補間によつて求めることにより解像度を上げる。一般には、固定タツプ、固定係数のフイルタによつて補間を行う。
ところが、このような補間方法では、補間画素値を当該補間画素周辺の複数の周辺画素の画素値の平均により求めるため、画像の種類によつては、画質ぼけ、時空間での変動（すなわちジヤーキネス、エツジビジネス等）が発生し、この結果復元画像に画質劣化が生じる問題がある。
【０００６】
かかる課題を解決する一つの方法として、特願平5-201913号に記載されているようなデイジタルデータ変換装置が提案されている。図１２（Ａ）に示すように、このデイジタルデータ変換装置における送信器１は入力画像データＤ１をサブサンプリング回路２及びエンコーダ３を通すことにより圧縮符号化データＤ２を生成し、これを出力端子４に与える。
【０００７】
また送信器１は、圧縮符号化データＤ２をローカルデコーダ５により復号した後、最小二乗法演算回路６に供給する。最小二乗法演算回路６は、復号データＤ３及び入力画像データＤ１を入力し、サブサンプリングにより間引かれた画素（取り除かれた画素）を注目画素とし、入力画像データＤ１に含まれる当該注目画素の画素値と復号データＤ３に含まれるその周辺の画素の画素値とで線形一次結合モデルを立て、この線形一次結合モデルの係数を最小二乗法の演算を行うことにより求める。この結果最小二乗法演算回路６からは、サブサンプリング回路２によつて間引かれた画素に対応した係数データＤ４が出力され、当該係数データＤ４が出力端子７に与えられる。
【０００８】
このように送信器１においては、サブサンプリング後の画像データを圧縮符号化して得た圧縮符号化データＤ２と共に、間引かれた画素とその周辺の伝送画素との相関関係を表わす係数データＤ４を伝送するようになされている。
【０００９】
デイジタルデータ変換装置の受信器１０は、図１２（Ｂ）に示すように構成されており、圧縮符号化データＤ２を入力端子１１を介してデコーダ１２に入力する。デコーダ１２によつて復号された復号データＤ５は時系列変換回路１３及び補間演算回路１４に供給される。また受信器１０は係数データＤ４を入力端子１５を介して補間演算回路１４に入力する。
【００１０】
補間演算回路１４は復号データＤ５及び係数データＤ４を用いて、線形一次結合式から補間データＤ６を求め、これを時系列変換回路１３に送出する。時系列変換回路１３は、復号データＤ５と補間データＤ６を原画像（すなわち入力画像データＤ１）と同一に配列し、復元画像データＤ７を得る。
【００１１】
かくして、送信器１及び受信器１０で構成されたデイジタルデータ変換装置においては、送信器１側において、高能率符号化して得た圧縮符号化データＤ２のみを伝送するのではなく、間引かれた画素とその周辺の伝送画素との相関関係を表わす係数データＤ４を共に伝送し、受信器１０側において、その係数データＤ４を用いて実際には伝送されない間引かれた画素を生成するようにしたことにより、間引きにより伝送情報量を削減した場合でも、受信器１０側での画質劣化を低減し得るようになされている。
【００１２】
また別の方法として、特開平5-328185号公報に開示されているように、受信側に予め学習によつて求めた予測係数又は予測値を格納するメモリを設け、間引き処理が施された伝送画像データに応じて当該メモリから読み出される予測係数に基づき補間画素値を生成し、又は伝送画像データに応じて当該メモリから読み出される予測値を補間画素値とすることにより、間引きに基づく画質劣化を低減するデイジタルデータ変換装置が提案されている。
【００１３】
このデイジタルデータ変換装置は、図１３に示すように、送信器２０において、サブサンプリング回路２１、エンコーダ２２及び送信処理回路２３を通して得た圧縮符号化データＤ１０を出力端子２４を介して伝送路２５に送出する。
受信器３０は入力端子３１を介して入力した圧縮符号化データＤ１０を受信処理回路３２及びデコーダ３３を通すことにより復号データＤ１１を得、これを同時化回路３４に送出する。同時化回路３４は間引かれた画素を注目画素とし、各注目画素毎に周辺の複数の伝送画素を同時化してクラスタリング回路３５に送出する。
【００１４】
クラスタリング回路３５は入力した伝送画素データを階調やパターンに応じてクラス分類し、このクラス分類結果を各注目画素のクラスを表わすクラス情報Ｄ１２としてメモリ３６に送出する。
メモリ３６はクラス情報Ｄ１２をアドレスとして、予め学習により各クラス毎に求められて格納されている予測係数のうち、入力したクラス情報Ｄ１２に対応した予測係数Ｄ１３を出力する。
【００１５】
補間データ作成回路３７は予測係数Ｄ１３と同時化された周辺画素値とを使つて線形一次結合による演算を施すことにより、補間画素データＤ１４を作成する。この補間画素データＤ１４と復号データＤ１１が続く合成回路３８によつて合成されることにより、復元画像データＤ１５が生成される。
【００１６】
かくして、受信器３０によれば、伝送画素データに存在しないような高周波成分をも復元することができ、この結果間引き処理に基づく画質劣化を抑制し得、高解像度の復元画像を得ることができる。
【００１７】
【発明が解決しようとする課題】
ところで、特願平5-201913号で提案されている方法では、最小二乗法演算回路６において、補間対象画素（注目画素）と、当該補間対象画素に対して空間的及び時間的に周辺の伝送画素との線形一次結合モデルを立て、当該線形一次結合モデルから最小二乗法により係数データＤ４を算出している。
【００１８】
ところが、これは一種の統計的処理であるため、入力画像データＤ１に含まれる実際の画素値に対して必然的にある程度の誤差のある係数データＤ４が算出されてしまう。このため受信器１０側では、この係数の誤差分だけ実際の画素値に対して誤差のある補間画素値が作成され、画質が劣化する問題がある。
ここで線形一次結合モデルに用いる周辺画素数を多くする程、係数データＤ４の誤差は小さくなると考えられるが、このようにすると係数データＤ４を算出する際の演算量が増大することにより、実際上実現が困難になる問題がある。
【００１９】
また特開平5-328185号公報で開示されているように、予め学習により求めた補間画素の予測係数又は予測値をクラス毎にメモリ３６に格納する方法では、クラス数を多くすればする程、また学習に用いる周辺画素数を多くする程より真値に近い補間画素値を生成し得ると考えられるが、このようにすると予測係数又は予測値を求める際の演算量が増大すると共に、メモリ３６に格納しなければならないデータ量が増大し、この結果構成が大型化する問題がある。またクラス数や学習に用いる画素数を増やしたとしても、補間画素値の真値に対する誤差を完全に除くことはできなかつた。
【００２０】
本発明は以上の点を考慮してなされたもので、入力画像データに間引き処理を施して伝送データ量を削減する場合に、送信側で間引かれた画素を受信側で正確に補間することにより復元画像の解像度を向上し得る画像信号伝送装置及び画像信号伝送方法を提案しようとするものである。
【００２１】
【課題を解決するための手段】
かかる課題を解決するため本発明においては、入力画像データの所定画素をオフセツトサンプリングによつて間引くことにより画素数の低減した伝送画素データを生成するサンプリング手段と、サンプリング手段により間引かれた画素を注目画素とし、当該注目画素を中心として空間的及び又は時間的に配列された複数の伝送画素の階調又はパターンに基づいて各注目画素をクラス分類する第１のクラス分類手段と、第１のクラス分類手段により分類されたクラスごとに、注目画素と当該注目画素を中心として空間的及び又は時間的に配列された複数の伝送画素とから線形一次結合モデルを立て、最小二乗法の演算により当該線形一次結合モデルを解いて得られる係数をパラメータとして、メモリ手段に一時記憶させるパラメータ算出手段と、クラスに応じたパラメータと注目画素を中心として空間的及び又は時間的に配列された複数の伝送画素とに基づく線形一次結合式を用いることにより注目画素の第１の推定画素値を算出する第１の推定画素値算出手段と、第１の推定画素値と入力画像データに含まれる真の画素値との差分値を算出する差分値算出手段とを設け、差分値を伝送画素データ及びパラメータと共に伝送するようにした。
【００２２】
また本発明においては、入力画像データの所定画素をオフセツトサンプリングによつて間引くことにより画素数の低減した伝送画素データと、伝送画素データにおける間引かれた画素を注目画素とし、当該注目画素を中心として空間的及び又は時間的に配列された複数の伝送画素の階調又はパターンに基づいて各注目画素がクラス分類され、分類されたクラスごとに注目画素と当該注目画素を中心として空間的及び又は時間的に配列された複数の伝送画素とから線形一次結合モデルを立て、最小二乗法の演算により当該線形一次結合モデルを解いて得られる係数であるパラメータと、クラスに応じたパラメータと注目画素を中心として空間的及び又は時間的に配列された複数の伝送画素とに基づく線形一次結合式を用いることにより算出された注目画素の第１の推定画素値と入力画像データに含まれる真の画素値との差分値とを受信する画像信号伝送装置であつて、注目画素を中心として空間的及び又は時間的に配列された複数の伝送画素の階調又はパターンに基づいて各注目画素をクラス分類する第２のクラス分類手段と、第２のクラス分類手段により分類されたクラスに応じたパラメータと注目画素を中心として空間的及び又は時間的に配列された複数の伝送画素とに基づく線形一次結合式を用いることにより注目画素の第２の推定画素値を算出する第２の推定画素値算出手段と、差分値を当該第２の推定画素値に加算する加算手段とを設けるようにした。
【００２３】
さらに本発明においては、入力画像データの所定画素をオフセツトサンプリングによつて間引くことにより画素数の低減した伝送画素データを生成する第１のステツプと、第１のステツプにおいて間引いた画素を注目画素とし、当該注目画素を中心として空間的及び又は時間的に配列された複数の伝送画素の階調又はパターンに基づいて各注目画素をクラス分類する第２のステツプと、第２のステツプにおいて分類したクラスごとに、注目画素と当該注目画素を中心として空間的及び又は時間的に配列された複数の伝送画素とから線形一次結合モデルを立て、最小二乗法の演算により当該線形一次結合モデルを解いて得られる係数をパラメータとして、メモリ手段に一時記憶させる第３のステツプと、クラスに応じたパラメータと注目画素を中心として空間的及び又は時間的に配列された複数の伝送画素とに基づく線形一次結合式を用いることにより注目画素の第１の推定画素値を算出する第４のステツプと、第１の推定画素値と入力画像データに含まれる真の画素値との差分値を算出する第５のステツプと、差分値を伝送画素データ及びパラメータと共に伝送する第６のステツプとを設けるようにした。
さらに本発明においては、入力画像データの所定画素をオフセツトサンプリングによつて間引くことにより画素数の低減した伝送画素データと、伝送画素データにおける間引かれた画素を注目画素とし、当該注目画素を中心として空間的及び又は時間的に配列された複数の伝送画素の階調又はパターンに基づいて各注目画素がクラス分類され、分類されたクラスごとに注目画素と当該注目画素を中心として空間的及び又は時間的に配列された複数の伝送画素とから線形一次結合モデルを立て、最小二乗法の演算により当該線形一次結合モデルを解いて得られる係数であるパラメータと、クラスに応じたパラメータと注目画素を中心として空間的及び又は時間的に配列された複数の伝送画素とに基づく線形一次結合式を用いることにより算出された注目画素の第１の推定画素値と入力画像データに含まれる真の画素値との差分値とを受信する画像信号伝送方法であつて、注目画素を中心として空間的及び又は時間的に配列された複数の伝送画素の階調又はパターンに基づいて各注目画素をクラス分類する第１のステツプと、第１のステツプにおいて分類したクラスに応じたパラメータと注目画素を中心として空間的及び又は時間的に配列された複数の伝送画素とに基づく線形一次結合式を用いることにより注目画素の第２の推定画素値を算出する第２のステツプと、差分値を当該第２の推定画素値に加算する第３のステツプとを設けるようにした。
【００２４】
【作用】
受信側において伝送画素データとパラメータとにより求められるであろう第１の推定画素値を予め算出する。次に第１の推定画素値と入力画像データに含まれる真の画素値との差分値を算出し、この差分値を、伝送画素データ及びパラメータと共に伝送するようにする。この結果、受信側では、差分値によつて誤差分をキヤンセルすることでほぼ真値に等しい補間画素値を得ることができ、復元画像の解像度を向上させることができる。
【００２５】
【実施例】
以下図面について、本発明の一実施例を詳述する。
【００２６】
（１）全体構成
図１において、４０は全体として本発明を適用した画像符号化装置を示し、符号化データ形成部４１と誤差データ形成部４２により構成されている。符号化データ形成部４１は入力画像データＤ１から圧縮符号化データＤ２、及び伝送画素と間引かれた画素との相関関係を表わす係数データＤ４を生成する。
誤差データ形成部４２は、符号化データ形成部４１から出力される圧縮符号化データＤ２及び係数データＤ４に基づき受信側で生成されるであろう補間画素値の、真値からの誤差を表わす誤差データＤ２０を生成する。
【００２７】
実際上、画像符号化装置４０は入力画像データＤ１を符号化データ形成部４１のサブサンプリング回路４３に入力し、ここで入力画像データＤ１の所定画素を間引くことにより情報量を削減した後、圧縮エンコーダ４４に送出する。圧縮エンコーダ４４は間引き後に残つた画素を圧縮符号化することにより圧縮符号化データＤ２を生成し、これを遅延回路４５を介して伝送する。
【００２８】
また圧縮エンコーダ４４の出力はローカルデコーダ４６を介して圧縮符号化前のデータに復号され、当該復号データＤ２１がクラス分類回路４７に与えられる。クラス分類回路４７は補間対象画素（すなわち間引かれた画素）を注目画素とし、当該注目画素の空間的及び又は時間的に周囲の画素の状態に応じて各注目画素をクラス分類し、当該分類結果をその注目画素のクラス情報（以下これをインデツクスデータと呼ぶ）Ｄ２２として係数選定回路４８に送出する。例えばクラス分類回路４７は注目画素の周辺の伝送画素の階調やパターンに応じて各注目画素をクラス分類する。
【００２９】
係数選定回路４８は遅延回路４９を介して入力した入力画像データＤ１及び復号データＤ２１に基づき、各クラス毎に、入力画像データＤ１に含まれる注目画素の画素値とその周辺の復号データＤ２の画素値との相関関係を学習により求め、この学習結果を係数データＤ４として出力する。
因に遅延回路４９はサブサンプリング回路４３、圧縮エンコーダ４４及びローカルデコーダ４６で要する処理時間分だけ入力画像データＤ１を遅延させるものである。
【００３０】
誤差データ形成部４２は補間データ推定回路５０を有し、当該補間データ推定回路５０にローカルデコーダ４６から出力される復号データＤ２１を遅延回路５１を介して受けると共に、係数選定回路４８から出力される係数データＤ４を受ける。また補間データ推定回路５０はクラス分類回路４７から出力されるインデツクスデータＤ２２を遅延回路５２を介して受ける。因に遅延回路５１は復号データＤ２１をクラス分類回路４７の処理分遅延させるものであり、遅延回路５２はインデツクスデータＤ２２を係数選定回路４８の処理分遅延させるものである。
【００３１】
補間データ推定回路５０は、受信側において圧縮符号化データＤ２、係数データＤ４及びインデツクスデータＤ２２を用いて生成されるであろう補間画素値を前もつて生成し、これにより得た推定補間データＤ２３を差分回路５３に送出する。
差分回路５３は推定補間データＤ２３を入力すると共に、入力画像データＤ１を遅延回路４９及び５４を介して入力することにより、推定補間画素値とこれに対応する真の補間画素値との差分演算を行う。この結果差分回路５３では、推定補間画素値の真の補間画素値からの誤差を表わす誤差値Ｄ２４が算出される。この誤差値Ｄ２４は続く量子化回路５５によつて量子化及び符号化されて誤差データＤ２０として伝送される。
【００３２】
因に遅延回路５４の遅延時間は、遅延回路４９の遅延時間との合計遅延時間が推定補間画素値が生成されるまでに要する時間と等しくなるように選定されている。また量子化回路５５は例えばＡＤＲＣ（Adaptive Dynamic Range Coding ）回路により構成されており、誤差値Ｄ２４を適応量子化することにより誤差データＤ２０を生成する。
このように画像符号化装置４０は、符号化データ形成回路４１からの圧縮符号化データＤ２及び係数データＤ４と共に、誤差データ形成回路４２からの誤差データＤ２０を伝送するようになされている。
【００３３】
画像符号化装置４０から送出された伝送データは、図２に示すような構成でなる画像復号化装置６０により受信されて復号される。画像復号化装置６０は、圧縮符号化データＤ２を圧縮デコーダ６１により復号し、これにより得た復号データＤ３０をクラス分類回路６２に送出する。
クラス分類回路６２は図１について上述したクラス分類回路４７と同様の構成でなり、実際には伝送されてこない補間対象画素を注目画素とし、当該注目画素の空間的及び又は時間的に周辺の画素の状態に応じて当該補間対象画素をクラス分類する。これによりクラス分類回路６２は各注目画素毎にインデツクスデータＤ３１を発生し、これを補間データ推定回路６３に送出する。
【００３４】
補間データ推定回路６３も上述した補間データ推定回路５０と同様の構成でなり、各補間対象画素（注目画素）のインデツクスデータＤ３１、復号データＤ３０及び係数データＤ４に基づいて推定補間データＤ３２を求める。実際上、補間データ推定回路６３はインデツクスデータＤ３１に対応した係数データＤ４を選択し、選択した係数データＤ４と補間対象画素の周辺の復号データＤ３０とを用いて線形一次結合式を立てることにより推定補間データＤ３２を求める。
【００３５】
このようにして求められた推定補間データＤ３２は加算回路６４に送出される。加算回路６４にはまた誤差データＤ２０が遅延回路６５及び逆量子化回路６６を介して入力される。この結果加算回路６４では、推定補間データＤ３２に含まれる誤差分がキヤンセルされ、入力画像データＤ１（図１）含まれていた真の画素値と等しい補間データＤ３３が生成される。
時系列変換回路６７では、復号データＤ３０と補間データＤ３３を原画像（すなわち入力画像データＤ１）と同一に配列することにより、復元画像データＤ３４を生成する。
かくして画像復号化装置６０では、真値にほぼ等しい補間画素を得ることができることにより画質劣化の無い復元画像を得ることができる。
【００３６】
（２）詳細構成
次に実施例におけるサブサンプリング回路４３、圧縮エンコーダ４４、圧縮デコーダ６１、クラス分類回路４７、６２、係数選定回路４８及び補間データ推定回路５０、６３の詳細構成を説明する。
【００３７】
この実施例の場合、サブサンプリング回路４３は、図３に示すように、各時点Ｔ０、Ｔ１、Ｔ２、……でのフレーム画像に対して伝送画素数が1/2 になるような間引き処理を施す。このときサブサンプリング回路４３は、連続する時点間で、前の時点でサンプリングした位置と同様の位置の画素を次の時点ではサンプリングしないというように交互に間引く画素位置を選択する所謂1/2 時空間オフセツトサブサンプリングを行うことにより、画像の特徴量をできるだけ残しながら伝送情報量を1/2 に削減する。
因に、図３における○印は間引き後に残つた画素（すなわち伝送画素）を表し、＋印は補間対象画素（注目画素）を表わす。また下段のｗ1 〜ｗ38は、後述する係数選定回路４８によつて求められる線形一次結合モデルの係数を表わす。
【００３８】
圧縮エンコーダ４４は、ＡＤＲＣ（Adaptive Dynamic Range Coding ）回路により構成されており、例えば１画素当り８ビツトの情報量でなる画素データを、所定ブロツク内での最大画素値と最小画素値との差分を表わすダイナミツクレンジ情報と、最小画素情報と、各画素値と最小画素値との差分を例えば１ビツト量子化した際の量子化情報とで表わすことにより、伝送情報量を有効に削減する。
【００３９】
すなわち図４（Ａ）に示すように、ＡＤＲＣ回路（圧縮エンコーダ４４）は入力データをブロツク化回路７０によつて微小ブロツクに分割し、当該微小ブロツク毎にブロツク内の画素データを最大値・最小値算出回路７１に送出する。最大値・最小値算出回路７１は微小ブロツクに含まれる画素値の最大値及び最小値を算出し、これにより得た最小画素値ＭＩＮを伝送データとして出力する。また最大値及び最小値は減算回路７２により減算され、これにより得られたダイナミツクレンジ情報ＤＲが伝送データとして出力される。
【００４０】
また各画素値と当該画素値が含まれる微小ブロツクでの最小画素値との差分値が減算回路７３によつて算出され、当該減算結果が適応量子化回路７４に送出される。適応量子化回路７４は、量子化ビツト数がｎビツトである場合には、ダイナミツクレンジＤＲを２ｎで割り算することにより量子化ステツプ幅を計算し、減算回路７３からの減算結果を当該量子化ステツプ幅で割り算し、この結果得た除算結果を整数に丸めることで量子化コードＱを発生する。このようにしてＡＤＲＣ回路（圧縮エンコーダ４４）からは、微小ブロツク毎のダイナミツクレンジ情報ＤＲ、最小値情報ＭＩＮ及び量子化コードＱが圧縮符号化データＤ２として出力される。
【００４１】
この圧縮エンコーダ４４に対応する圧縮デコーダ６１（図２）は、図４（Ｂ）に示すように構成されており、ダイナミツクレンジ情報ＤＲ及び量子化コードＱを適応逆量子化回路７５に入力し、ここで各ブロツク毎にダイナミツクレンジＤＲを２n で割り算することにより量子化ステツプ幅を計算し、この量子化ステツプ幅に量子化コードＱを掛け合わせる。圧縮デコーダ６１は、加算回路７６によつてこの乗算結果に最小値情報ＭＩＮを加算し、続くブロツク分解回路７７によつてブロツク分解することにより復号データＤ３０を得る。
因に、画像符号化装置４０に設けられているローカルデコーダ４６（図１）も、圧縮デコーダ６１と同様に構成されている。
【００４２】
クラス分類回路４７及び６２は図５に示すように構成されており、復号データＤ２１（又はＤ３０）を時系列変換回路８０に入力する。時系列変換回路８０は例えば３フレームメモリ構成でなり、時間的に連続する３フレーム分の復号データＤ２１（又はＤ３０）を格納し、各注目画素（すなわち補間対象画素）毎にその周辺の画素値Ｘ１〜Ｘ１４を続く減算回路８１Ａ〜８１Ｆに送出する。
【００４３】
このとき各減算回路８１Ａ〜８１Ｆには、注目画素を中心として、上下方向、左右方向及び斜め方向、さらには時間方向に配列した画素同士で差分が取られるように周辺画素値Ｘ１〜Ｘ１４が入力される。具体的には、図６に示すように、上下方向に配列した画素Ｘ１、Ｘ２間の差分値が減算回路８１Ａにより、左右方向の画素Ｘ３、Ｘ４間の差分値が減算回路８１Ｂにより、斜め方向の画素Ｘ５、Ｘ６間の差分値が減算回路８１Ｃにより、同じく斜め方向の画素Ｘ１１、Ｘ１２間の差分値が減算回路８１Ｅにより、さらには時間方向の画素Ｘ１３、Ｘ１４間の差分値が減算回路８１Ｆにより算出される。
因に、図６における○印及び◎印は間引き後に残つた画素（伝送画素）を表し、このうち◎印はクラス分類に用いる画素を表し、×印は間引かれた画素（非伝送画素）を表わす。
【００４４】
この結果得られた各方向の差分値はコード化回路８２に与えられ、当該コード化回路８２によつて差分値に応じてコード化されてインデツクスデータＤ２２（又はＤ３１）として出力される。
実際上コード化回路８２は図７に示すように構成されており、絶対値算出回路８３により各差分値の絶対値を算出し、これを閾値判定回路８４に送出する。閾値判定回路８４では、各差分絶対値を所定の閾値と比較し、全ての差分絶対値が閾値未満の場合にはコード割当回路８６にこのことを示す指令信号Ｓ１を送出する。これに対して閾値判定回路８４は、１つ以上閾値以上の差分絶対値があつた場合、全ての差分絶対値を最小値検出回路８５に送出する。
【００４５】
最小値検出回路８５は差分絶対値のうちの最小値を検出し、当該検出結果をコード割当回路８６に送出する。コード割当回路８６は最小値の検出された方向に応じたコードを出力する。例えば図６の下段に示すように、上下方向の画素間の差分絶対値が最小であつた場合にはコード０を割り当て、左右方向の画素間の差分絶対値が最小であつた場合にはコード１を割り当て、時間方向の画素間の差分絶対値が最小であつた場合にはコード６を割り当てるというように、空間方向及び時間方向での差分絶対値に応じて７種類のコードを出力する。
【００４６】
またコード割当回路８６は閾値判定回路８４から指令信号Ｓ１が与えられた場合には、コード７を出力する。ここでコード割当回路８６がコード７を出力するということは、補間対象画素（注目画素）の周辺は静止平坦部であることを意味する。
このように実施例のクラス分類回路４７及び６２では、注目画素の周辺画素の平坦度を検出し、平坦度の最も大きい方向をインデツクスデータＤ２２（又はＤ３１）として出力することにより、注目画素をクラス分類するようになされている。
【００４７】
係数選定回路４８は、補間対象画素を、当該補間対象画素と当該補間対象画素の周辺の伝送画素との線形一次結合モデルによつて表し、このとき用いた係数を各クラス毎に最小二乗法の演算によつて求める。
この係数選定の原理について説明する。図３に示すように、補間対象画素ｙm の存在するフレームをＴ１とすると、このフレームＴ１から補間対象画素ｙm を中心としてその周囲の領域を切り出すと共に、一つ前の時点のフレームＴ０及び一つ後の時点のフレームＴ２からフレームＴ１で切り出した領域と空間的に同じ位置の領域を切り出す。また補間対象画素ｙm の画素値は入力画像データＤ１から抽出する。
【００４８】
ここで先ずフレームＴ０〜Ｔ２から切り出した領域内の伝送画素それぞれに係数ｗi を掛けることにより、補間対象画素ｙm を空間的及び時間的に周辺の伝送画素による線形一次結合によつて表わす。この結果補間対象画素ｙm の行列式Ｙと周辺の伝送画素ｘmiの行列式Ｘは、係数ｗi の行列式Ｗを用いて、次式、
【数１】
【００４９】
ここで（１）式に基づき、１フレームに対して１個の係数組を求めようとすると、（１）式から１フレームの補間対象画素数分の連立方程式を作ることになる。基本的には、この連立方程式を解いて係数を求めればよい。実施例では、最小二乗法を用いてこの連立方程式を解く。
すなわち先ず、（１）式を残差行列Ｅを用いて次式、
【数２】
【００５０】
ここで（２）式から各係数値ｗi の最確値を求めるためには、ｅ1 2＋ｅ2 2＋……＋ｅm-1 2＋ｅm 2 を最小にする条件、すなわち次式、
【数３】
ここで（２）式より、次式、
【数４】
【数５】
【数６】
ここで（６）式で表わされる正規方程式は未知数の数がｎ個の連立方程式であるから、これにより最確値である各係数ｗi を求めることができる。正確には（６）式でｗi に掛かる（Σｘjnｘjn）（但し、ｊ＝１……ｍ）のマトリクスが正則であれば解くことができる。実際には、Gauss-Jordanの消去法（掃き出し法）を用いて連立方程式を解く。
【００５２】
実施例の場合には、クラス分類回路４７によつて求めた各クラス毎に上述した最小二乗法を用いて係数値ｗi を求める。この結果各クラス毎に１フレームにつき１組の係数を伝送すればよいことになり、全ての補間対象画素についての係数値ｗi を求めて伝送する場合に比して、格段に伝送情報量及び演算量を低減し得る。実際に、係数の情報量はフレーム当りの画素情報量に比べて無視できるくらいのオーダーである。
【００５３】
具体的には、係数選定回路４８は、図８に示すように構成されている。すなわち係数選定回路４８はローカルデコードされた復号データＤ２１（ｘi ）及び入力画像データＤ１に含まれる補間対象画素データｙm を時系列変換メモリ９０に入力する。時系列変換メモリ９０は、図３について上述したように線形一次結合モデルを形成するための画素（ｘ1 〜ｘn 、ｙm ）を同時化して出力する。
時系列変換メモリ９０から出力されたデータは、正規化方程式生成回路９１に与えられ、当該正規化方程式生成回路９１によつて各クラス毎に（６）式で表わされるような正規化方程式が生成され、続くＣＰＵ演算回路９２によつて掃き出し法によつて各クラス毎の係数組が求められる。
【００５４】
正規化方程式生成回路９１は、先ず乗算器アレイ９３によつて各画素同士の乗算を行う。乗算器アレイ９３は、図９に示すように構成されており、四角で表わす各セル毎に画素同士の乗算を行い、これにより得た各乗算結果を続く加算器メモリ９４に与える。
【００５５】
加算器メモリ９４は、図１０に示すように、乗算器アレイ９３と同様に配列されたセルでなる加算器アレイ９５とメモリ（またはレジスタ）アレイ９６Ａ〜９６Ｇとにより構成されている。メモリアレイ９６Ａ〜９６Ｇはクラス数分（実施例の場合、静止平坦部を表わすクラス７を除く７個のクラス分）だけ設けられており、インデツクスデータＤ２２をデコードするインデツクスデコーダ９７の出力（クラス）に応答して一つのメモリアレイ９６Ａ〜９６Ｆ又は９６Ｇが選択され、選択されたメモリアレイ９６Ａ〜９６Ｆ又は９６Ｇの格納値が加算器アレイ９５に帰還される。このとき加算器アレイ９５によつて得られる加算結果が、再び対応するメモリアレイ９６Ａ〜９６Ｆ又は９６Ｇに格納される。
【００５６】
このようにして乗算器アレイ９３、加算器アレイ９５及びメモリアレイ９６Ａ〜９６Ｇによつて積和演算が行われ、インデツクスによつて決定されるクラス毎にメモリアレイ９６Ａ〜９６Ｆ又は９６Ｇが選択されて、積和演算の結果によつてメモリアレイ９６Ａ〜９６Ｇの内容が更新される。
【００５７】
なお、各々のアレイの位置は、（６）式で表わされる正規化方程式のｗi にかかる（Σｘjnｘjn）（但し、ｊ＝１……ｍ）の位置に対応する。（６）式の正規化方程式を見れば明らかなように右上の項を反転すれば左下と同じものになるため、各アレイは三角形の形状をしている。
【００５８】
このようにして、１フレームの間にクラス毎に積和演算が行われて各クラス毎の正規化方程式が生成される。クラス毎の正規化方程式の各項の結果は、それぞれのクラスに対応するメモリアレイ９６Ａ〜９６Ｇに記憶されており、次にそれらのクラス毎の正規化方程式の各項が掃き出し法演算を実現するＣＰＵ演算回路９２によつて計算される。この結果各クラス毎の係数ｗi の組が求められ、これが係数データＤ４として送出される。
【００５９】
補間データ推定回路５０及び６３は、図１１に示すように、１フレーム毎に各クラスの係数組を記憶する係数メモリ１００を有し、この係数メモリ１００は各クラス毎の係数組ｗ1 〜ｗn を格納すると共に、インデツクスデコーダ１０１の出力（クラス）に応答してクラスに応じた係数組ｗ1 〜ｗn を出力する。この係数組ｗ1 〜ｗn がそれぞれレジスタ１０２Ａ1 、１０２Ａ2 、……、１０２Ａn を介して乗算器１０３Ａ1 、１０３Ａ2 、……、１０３Ａn に与えられる。また乗算器１０３Ａ1 〜１０３Ａn には、時系列変換回路１０４により選択された復号データｘ1 〜ｘn が与えられる。従つて乗算器１０３Ａ1 〜１０３Ａn の出力が加算回路１０５により加算されることにより、補間対象画素の推定値ｙ（＝ｘ1 ｗ1 ＋ｘ2 ｗ2 ＋……＋ｘn ｗn ）が得られる。
【００６０】
（３）実施例の動作
以上の構成において、画像符号化装置４０は入力画像データＤ１に対して間引き処理を施すことによりデータ量を削減した後、圧縮符号化データＤ２を生成する。また画像符号化装置４０は、間引かれた画素を注目画素とし、当該注目画素の周辺の伝送画素の状態に応じて各注目画素をクラス分類し、次にこのクラス毎の係数組を求め、これを係数データＤ４として出力する。
【００６１】
さらに画像符号化装置４０は、誤差データ形成部４２において、画像復号化装置６０側で圧縮符号化データＤ２、係数データＤ４に基づいて得られるであろう推定補間データＤ２３を予め算出すると共に、この推定補間データＤ２３の真値からの誤差値Ｄ２４を算出し、当該誤差値Ｄ２４に基づく誤差データＤ２０を出力する。
【００６２】
ここで画像符号化装置４０の係数選定回路４８では、一種の統計的処理により係数データＤ４を生成するため、この係数データＤ４に基づいて補間値を生成すると必然的に補間値と真の画素値との間にはある程度の誤差が生じることになる。このためこの誤差のある補間値を用いて復元画像を生成すると、この誤差分だけ画質が劣化することになる。
これを回避するため、画像符号化装置４０では、圧縮符号化データＤ２及び係数データＤ４に加えて、誤差データＤ２０を伝送する。
【００６３】
画像復号化装置６０では、圧縮符号化データＤ２を復号した復号データＤ３０に基づき、画像符号化装置４０でしたのと同様のクラス分類処理を施し、これにより得たインデツクスデータＤ３１に応じて選択した係数データＤ４と復号化データＤ３０とを線形一次結合させることにより、推定補間データＤ３２を求める。
【００６４】
次に、画像復号化装置６０は、推定補間データＤ３２に、伝送された誤差コードＤ２０を逆量子化したものを加算することにより、推定補間データＤ３２に含まれる誤差分をキヤンセルする。
かくして入力画像データＤ１に含まれる実際の値にほぼ等しい値の補間データＤ３３を得ることができることにより画質の向上した復元画像を得ることができる。
【００６５】
（４）実施例の効果
以上の構成によれば、画像符号化装置４０において、クラス分類処理を行い、画像データ（圧縮符号化データＤ２）と共に各クラス毎の係数データＤ４を伝送し、画像復号化装置６０において伝送された画像データ（圧縮符号化データＤ２）と係数データＤ４に基づき補間画素を生成する場合に、画像符号化装置４０において予め推定補間画素値（推定補間データＤ２３）と真値（入力画像データＤ１）との差分値（誤差データＤ２０）を求め、当該差分値（誤差データＤ２０）を、画像データ（圧縮符号化データＤ２）及び係数データＤ４と共に伝送するようにしたことにより、画像復号化装置６０において画質劣化の少ない復元画像（復元画像データＤ３４）を得ることができる。
またこれによりクラス数を増やしたり、係数選定の際の演算量を増加させることなく復元画像（復元画像データＤ３４）の画質を向上させることができる。
【００６６】
（５）他の実施例
なお上述の実施例においては、圧縮エンコーダ４４としてＡＤＲＣ回路を用いた場合について述べたが、本発明はこれに限らず、圧縮エンコーダ４４として例えばＤＣＴ（Discrete Cosine Transform ）変換符号化、ＤＰＣＭ、ベクトル量子化、サブバンド符号化、ウエーブレツト変換等圧縮手法を用いた場合にも、上述の実施例と同様の効果を得ることができる。
【００６７】
また上述の実施例においては、間引き後に残つた伝送画素を圧縮エンコーダ４４により圧縮符号化して伝送する場合について述べたが、本発明はこれに限らず、圧縮符号化せずに間引き後に残つた間引きデータをそのまま伝送する場合にも適用することができる。この場合には、画像符号化装置４０側で圧縮エンコーダ４４及びローカルデコーダ４６を省略すると共に、画像復号化装置６０側で圧縮デコーダ６１を省略するようにすればよい。
【００６８】
また上述の実施例においては、補間対象画素（注目画素）ｙm の周辺の伝送画素Ｘ１〜Ｘ１４間で差分絶対値を求め、当該差分絶対値が最も小さい方向をその補間対象画素のクラスとするようなクラス分類を用いた場合について述べたが、本発明はこれに限らず、要は補間対象画素の周辺の伝送画素の状態に応じて各補間対象画素をクラス分類するようにすればよく、種々のクラス分類処理を適用することができ、またクラス数も種々の個数を用いることができる。
【００６９】
さらにクラス分類に用いる伝送画素を一旦ＡＤＲＣ符号化した後、クラス分類処理を行うようにすれば、クラス情報数を削減することができる。またこのようにＡＤＲＣ回路の出力に基づいてクラス分類を行うようにすれば、画面全体の画素レベルが変動したような場合にも、画像の特徴のみに基づいた正確なクラス分類を行うことができる。
【００７０】
また上述の実施例においては、クラス分類回路４７を設け、補間対象画素をその周辺の伝送画素の状態に応じてクラス分類し、係数選定回路４８において各クラス毎の係数組を求めるようにした場合について述べたが、本発明はクラス毎の係数組を求める場合に限らず、例えば画像の局所的な特徴に応じて画像を空間内で細分化し、細分化した領域毎に係数組を求めるようにした場合にも適用でき、この場合クラス分類回路４７及び６２を省略するようにすれば良い。これにより例えば図１２に示すような構成の画像符号化装置１及び画像復号化装置１０にも本発明を適用することができる。
【００７１】
また上述の実施例においては、注目画素とこの注目画素の空間的及び又は時間的に周辺の伝送画素との相関関係を表すパラメータとして、線形一次結合モデルを最小二乗法により解いて得た係数データＤ４を伝送する場合について述べたが、本発明はこれに限らず、パラメータとしては例えば各クラス毎に求めた注目画素の周辺の伝送画素値の平均値を代表値として伝送するようにしても良い。この場合平均演算に重心法を用いるようにすれば、クラス毎に誤差の少ない代表値を容易に求めることができる。またこれに限らず、要は伝送されない注目画素と伝送画素との相関関係を表すような種々のパラメータを用いることができる。
【００７２】
さらに上述の実施例においては、サブサンプリング回路４３によつて入力画像データＤ１に対して１／２の間引き処理を行う場合について述べたが、本発明はこれに限らず、例えば１／４の間引き処理等他の間引き処理を行つた場合でも上述の実施例と同様の効果を得ることができる。
【００７３】
【発明の効果】
上述のように本発明によれば、入力画像データの所定画素をオフセツトサンプリングによつて間引くことにより画素数の低減した伝送画素データを生成するサンプリング手段と、サンプリング手段により間引かれた画素を注目画素とし、当該注目画素を中心として空間的及び又は時間的に配列された複数の伝送画素の階調又はパターンに基づいて各注目画素をクラス分類する第１のクラス分類手段と、第１のクラス分類手段により分類されたクラスごとに、注目画素と当該注目画素を中心として空間的及び又は時間的に配列された複数の伝送画素とから線形一次結合モデルを立て、最小二乗法の演算により当該線形一次結合モデルを解いて得られる係数をパラメータとして、メモリ手段に一時記憶させるパラメータ算出手段と、クラスに応じたパラメータと注目画素を中心として空間的及び又は時間的に配列された複数の伝送画素とに基づく線形一次結合式を用いることにより注目画素の第１の推定画素値を算出する第１の推定画素値算出手段と、第１の推定画素値と入力画像データに含まれる真の画素値との差分値を算出する差分値算出手段とを設け、差分値を伝送画素データ及びパラメータと共に伝送するようにしたことにより、送信側で間引かれた画素を受信側で正確に補間でき、この結果復元画像の解像度を一段と向上し得る。
また上述のように本発明によれば、入力画像データの所定画素をオフセツトサンプリングによつて間引くことにより画素数の低減した伝送画素データを生成する第１のステツプと、第１のステツプにおいて間引いた画素を注目画素とし、当該注目画素を中心として空間的及び又は時間的に配列された複数の伝送画素の階調又はパターンに基づいて各注目画素をクラス分類する第２のステツプと、第２のステツプにおいて分類したクラスごとに、注目画素と当該注目画素を中心として空間的及び又は時間的に配列された複数の伝送画素とから線形一次結合モデルを立て、最小二乗法の演算により当該線形一次結合モデルを解いて得られる係数をパラメータとして、メモリ手段に一時記憶させる第３のステツプと、クラスに応じたパラメータと注目画素を中心として空間的及び又は時間的に配列された複数の伝送画素とに基づく線形一次結合式を用いることにより注目画素の第１の推定画素値を算出する第４のステツプと、第１の推定画素値と入力画像データに含まれる真の画素値との差分値を算出する第５のステツプと、差分値を伝送画素データ及びパラメータと共に伝送する第６のステツプとを設けるようにしたことにより、送信側で間引かれた画素を受信側で正確に補間でき、この結果復元画像の解像度を一段と向上し得る。
【図面の簡単な説明】
【図１】本発明を適用した画像符号化装置の全体構成を示すブロツク図である。
【図２】本発明を適用した画像復号化装置の全体構成を示すブロツク図である。
【図３】サブサンプリング回路による間引き処理の説明、並びに線形一次係合モデルに用いる画素及び係数の説明に供する略線図である。
【図４】圧縮エンコーダに用いたＡＤＲＣ回路、並びに圧縮デコーダ及びローカルデコーダに用いたＡＤＲＣ復号化回路の説明に供するブロツク図である。
【図５】クラス分類回路の構成を示すブロツク図である。
【図６】クラス分類の説明に供する略線図である。
【図７】コード化回路の構成を示すブロツク図である。
【図８】係数選定回路の構成を示すブロツク図である。
【図９】乗算器アレイの構成を示す略線図である。
【図１０】加算器メモリの構成を示す略線図である。
【図１１】補間データ推定回路の構成を示すブロツク図である。
【図１２】従来のデイジタルデータ変換装置の構成を示すブロツク図である。
【図１３】従来のデイジタルデータ変換装置の構成を示すブロツク図である。
【符号の説明】
４０……画像符号化装置、４１……符号化データ形成部、４２……誤差データ形成部、４３……サブサンプリング回路、４４……圧縮エンコーダ、４６……ローカルデコーダ、４７、６２……クラス分類回路、４８……係数選定回路、５０、６３……補間データ推定回路、５３……差分回路、６０……画像復号化装置、６４……加算回路、Ｄ１……入力画像データ、Ｄ２……圧縮符号化データ、Ｄ４……係数データ、Ｄ２０……誤差データ、Ｄ２２、Ｄ３１……インデツクスデータ、Ｄ２３、Ｄ３２……推定補間データ、Ｄ２４……誤差値、Ｄ３３……補間データ、Ｄ３４……復元画像データ、Ｗ1 〜Ｗ38……係数。
Claims (10)
- 入力画像データの所定画素をオフセツトサンプリングによつて間引くことにより画素数の低減した伝送画素データを生成するサンプリング手段と、
上記サンプリング手段により間引かれた画素を注目画素とし、当該注目画素を中心として空間的及び又は時間的に配列された複数の上記伝送画素の階調又はパターンに基づいて各注目画素をクラス分類する第１のクラス分類手段と、
上記第１のクラス分類手段により分類されたクラスごとに、上記注目画素と当該注目画素を中心として空間的及び又は時間的に配列された複数の上記伝送画素とから線形一次結合モデルを立て、最小二乗法の演算により当該線形一次結合モデルを解いて得られる係数をパラメータとして、メモリ手段に一時記憶させるパラメータ算出手段と、
上記クラスに応じた上記パラメータと上記注目画素を中心として空間的及び又は時間的に配列された複数の上記伝送画素とに基づく線形一次結合式を用いることにより上記注目画素の第１の推定画素値を算出する第１の推定画素値算出手段と、
上記第１の推定画素値と上記入力画像データに含まれる真の画素値との差分値を算出する差分値算出手段と
を具え、
上記差分値を上記伝送画素データ及び上記パラメータと共に伝送する
ことを特徴とする画像信号伝送装置。 - 上記第１のクラス分類手段は、
上記注目画素を中心としてそれぞれ配列された上下方向の上記伝送画素、左右方向の上記伝送画素及び斜め方向の上記伝送画素並びに同一の画素位置における時間方向の上記伝送画素の差分を算出することによつて、当該上下方向、左右方向及び斜め方向並びに同一の画素位置における時間方向の上記伝送画素の平坦度を検出し、当該平坦度に基づいて上記注目画素をクラス分類する
ことを特徴とする請求項１に記載の画像信号伝送装置。 - 上記差分値算出手段により得た上記差分値を符号化する符号化手段を具え、上記差分値を符号化して伝送する
ことを特徴とする請求項１に記載の画像信号伝送装置。 - 入力画像データの所定画素をオフセツトサンプリングによつて間引くことにより画素数の低減した伝送画素データと、
上記伝送画素データにおける間引かれた画素を注目画素とし、当該注目画素を中心として空間的及び又は時間的に配列された複数の上記伝送画素の階調又はパターンに基づいて各注目画素がクラス分類され、分類されたクラスごとに上記注目画素と当該注目画素を中心として空間的及び又は時間的に配列された複数の上記伝送画素とから線形一次結合モデルを立て、最小二乗法の演算により当該線形一次結合モデルを解いて得られる係数であるパラメータと、
上記クラスに応じた上記パラメータと上記注目画素を中心として空間的及び又は時間的に配列された複数の上記伝送画素とに基づく線形一次結合式を用いることにより算出された上記注目画素の第１の推定画素値と上記入力画像データに含まれる真の画素値との差分値と
を受信する画像信号伝送装置であつて、
上記注目画素を中心として空間的及び又は時間的に配列された複数の上記伝送画素の階調又はパターンに基づいて各注目画素をクラス分類する第２のクラス分類手段と、
上記第２のクラス分類手段により分類されたクラスに応じた上記パラメータと上記注目画素を中心として空間的及び又は時間的に配列された複数の上記伝送画素とに基づく線形一次結合式を用いることにより上記注目画素の第２の推定画素値を算出する第２の推定画素値算出手段と、
上記差分値を当該第２の推定画素値に加算する加算手段と
を具えることを特徴とする画像信号伝送装置。 - 上記差分値は、圧縮符号化データでなり、
圧縮符号化された差分値を復号する復号手段を具える
ことを特徴とする請求項４に記載の画像信号伝送装置。 - 入力画像データの所定画素をオフセツトサンプリングによつて間引くことにより画素数の低減した伝送画素データを生成する第１のステツプと、
上記第１のステツプにおいて間引いた画素を注目画素とし、当該注目画素を中心として空間的及び又は時間的に配列された複数の上記伝送画素の階調又はパターンに基づいて各注目画素をクラス分類する第２のステツプと、
上記第２のステツプにおいて分類したクラスごとに、上記注目画素と当該注目画素を中心として空間的及び又は時間的に配列された複数の上記伝送画素とから線形一次結合モデルを立て、最小二乗法の演算により当該線形一次結合モデルを解いて得られる係数をパラメータとして、メモリ手段に一時記憶させる第３のステツプと、
上記クラスに応じた上記パラメータと当該注目画素を中心として空間的及び又は時間的に配列された複数の上記伝送画素とに基づく線形一次結合式を用いることにより上記注目画素の第１の推定画素値を算出する第４のステツプと、
上記第１の推定画素値と上記入力画像データに含まれる真の画素値との差分値を算出する第５のステツプと、
上記差分値を上記伝送画素データ及び上記パラメータと共に伝送する第６のステツプと
を具えることを特徴とする画像信号伝送方法。 - 上記第２のステツプでは、
上記注目画素を中心としてそれぞれ配列された上下方向の上記伝送画素、左右方向の上記伝送画素及び斜め方向の上記伝送画素並びに同一の画素位置における時間方向の上記伝送画素データの差分を算出することによつて、当該上下方向、左右方向及び斜め方向並びに同一の画素位置における時間方向の上記伝送画素の平坦度を検出し、当該平坦度に基づいて上記注目画素をクラス分類する
ことを特徴とする請求項６に記載の画像信号伝送方法。 - 上記第６のステツプでは、
上記第５のステツプにより得た上記差分値を符号化して伝送する
ことを特徴とする請求項６に記載の画像信号伝送方法。 - 入力画像データの所定画素をオフセツトサンプリングによつて間引くことにより画素数の低減した伝送画素データと、
上記伝送画素データにおける間引かれた画素を注目画素とし、当該注目画素を中心として空間的及び又は時間的に配列された複数の上記伝送画素の階調又はパターンに基づいて各注目画素がクラス分類され、分類されたクラスごとに上記注目画素と当該注目画素を中心として空間的及び又は時間的に配列された複数の上記伝送画素とから線形一次結合モデルを立て、最小二乗法の演算により当該線形一次結合モデルを解いて得られる係数であるパラメータと、
上記クラスに応じた上記パラメータと上記注目画素を中心として空間的及び又は時間的に配列された複数の上記伝送画素とに基づく線形一次結合式を用いることにより算出された上記注目画素の第１の推定画素値と上記入力画像データに含まれる真の画素値との差分値と
を受信する画像信号伝送方法であつて、
上記注目画素を中心として空間的及び又は時間的に配列された複数の上記伝送画素の階調又はパターンに基づいて各注目画素をクラス分類する第１のステツプと、
上記第１のステツプにおいて分類したクラスに応じた上記パラメータと上記注目画素を中心として空間的及び又は時間的に配列された複数の上記伝送画素とに基づく線形一次結合式を用いることにより上記注目画素の第２の推定画素値を算出する第２のステツプと、
上記差分値を当該第２の推定画素値に加算する第３のステツプと
を具えることを特徴とする画像信号伝送方法。 - 上記差分値は、圧縮符号化データでなり、
上記第３のステツプでは、圧縮符号化された差分値を復号する
ことを特徴とする請求項１３に記載の画像信号伝送方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP24202494A JP3759537B2 (ja) | 1994-09-09 | 1994-09-09 | 画像信号伝送装置及び画像信号伝送方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP24202494A JP3759537B2 (ja) | 1994-09-09 | 1994-09-09 | 画像信号伝送装置及び画像信号伝送方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH0884336A JPH0884336A (ja) | 1996-03-26 |
| JP3759537B2 true JP3759537B2 (ja) | 2006-03-29 |
Family
ID=17083140
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP24202494A Expired - Lifetime JP3759537B2 (ja) | 1994-09-09 | 1994-09-09 | 画像信号伝送装置及び画像信号伝送方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3759537B2 (ja) |
Families Citing this family (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| IL125866A (en) * | 1996-12-26 | 2003-01-12 | Sony Corp | Method and device for compressing an original picture signal to a compressed picture signal and for decoding a compressed picture signal to an original picture signal |
| US5912708A (en) * | 1996-12-26 | 1999-06-15 | Sony Corporation | Picture signal encoding device, picture signal encoding method, picture signal decoding device, picture signal decoding method, and recording medium |
| CN1115054C (zh) * | 1996-12-26 | 2003-07-16 | 索尼株式会社 | 图像信号编码、解码装置及方法 |
| US6160845A (en) * | 1996-12-26 | 2000-12-12 | Sony Corporation | Picture encoding device, picture encoding method, picture decoding device, picture decoding method, and recording medium |
| US7453936B2 (en) | 2001-11-09 | 2008-11-18 | Sony Corporation | Transmitting apparatus and method, receiving apparatus and method, program and recording medium, and transmitting/receiving system |
| JP2008268725A (ja) * | 2007-04-24 | 2008-11-06 | Toshiba Corp | 情報処理装置および画像データの高解像度化方法 |
| JP4735610B2 (ja) * | 2007-06-26 | 2011-07-27 | ソニー株式会社 | 受信装置及び方法、プログラム、並びに記録媒体 |
-
1994
- 1994-09-09 JP JP24202494A patent/JP3759537B2/ja not_active Expired - Lifetime
Also Published As
| Publication number | Publication date |
|---|---|
| JPH0884336A (ja) | 1996-03-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP0734165B1 (en) | Image processing system using pixel-by-pixel motion estimation and frame decimation | |
| US6148027A (en) | Method and apparatus for performing hierarchical motion estimation using nonlinear pyramid | |
| US5546129A (en) | Method for encoding a video signal using feature point based motion estimation | |
| US7283678B2 (en) | Data processing apparatus and method and recording medium | |
| EP0740473A2 (en) | Apparatus for encoding a video signal using feature point based motion estimation | |
| WO1994014278A1 (en) | Image signal converter | |
| CA2723910A1 (en) | Method and system for determining a metric for comparing image blocks in motion compensated video coding | |
| EP0721284B1 (en) | An image processing system using pixel-by-pixel motion estimation and frame decimation | |
| JP2880051B2 (ja) | １ｄ／２ｄ ｄｃｔを用いた映像信号符号化装置 | |
| EP1499114A2 (en) | Noise reduction apparatus | |
| JP3759537B2 (ja) | 画像信号伝送装置及び画像信号伝送方法 | |
| JPH10191360A (ja) | 動き推定ベクトルを求める方法および動き推定ベクトルを用いて動画像データを圧縮する方法 | |
| JP3703034B2 (ja) | 画像信号処理方法及び画像信号伝送装置 | |
| JP3271095B2 (ja) | ディジタル画像信号の高能率符号化装置および復号装置 | |
| JP3759538B2 (ja) | 画像信号処理方法及び画像信号伝送装置 | |
| US6061401A (en) | Method and apparatus for selectively encoding/decoding a video signal | |
| JP3271096B2 (ja) | ディジタル画像信号処理装置 | |
| JP3543339B2 (ja) | 符号化装置およびその復号装置 | |
| EP0734179A2 (en) | Method and apparatus for selectively encoding/decoding a video signal | |
| JP3653287B2 (ja) | 画像情報変換装置及び画像情報変換方法 | |
| JPH10150665A (ja) | 予測画像の作成方法及び画像符号化方法及び画像符号化装置 | |
| JP3627258B2 (ja) | ディジタル画像信号の高能率符号化および復号装置 | |
| JP4042121B2 (ja) | 画像情報処理装置及び画像情報処理方法 | |
| EP0720381A1 (en) | Method and apparatus for encoding a video signal using pixel-by-pixel motion prediction | |
| JP2000004436A (ja) | 画像処理装置および画像処理方法、並びに伝送媒体および伝送方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20050107 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050308 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20050401 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050530 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20051216 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20051229 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100113 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100113 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110113 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120113 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130113 Year of fee payment: 7 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| EXPY | Cancellation because of completion of term |