JP3759538B2 - 画像信号処理方法及び画像信号伝送装置 - Google Patents
画像信号処理方法及び画像信号伝送装置 Download PDFInfo
- Publication number
- JP3759538B2 JP3759538B2 JP24691394A JP24691394A JP3759538B2 JP 3759538 B2 JP3759538 B2 JP 3759538B2 JP 24691394 A JP24691394 A JP 24691394A JP 24691394 A JP24691394 A JP 24691394A JP 3759538 B2 JP3759538 B2 JP 3759538B2
- Authority
- JP
- Japan
- Prior art keywords
- target position
- pixel value
- image
- pixel
- class
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Images
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
- Compression Of Band Width Or Redundancy In Fax (AREA)
- Signal Processing For Digital Recording And Reproducing (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
Description
【０００１】
【目次】
以下の順序で本発明を説明する。
産業上の利用分野
従来の技術（図１０及び図１１）
発明が解決しようとする課題（図１０及び図１１）
課題を解決するための手段（図１〜図３及び図１１）
作用（図１〜図３）
実施例
（１）全体構成（図１及び図２）
（２）クラス分類回路（図３）
（３）詳細構成（図４〜図９）
（４）実施例の動作（図１〜図３）
（５）実施例の効果（図３）
（６）他の実施例（図１１）
発明の効果
【０００２】
【産業上の利用分野】
本発明は画像信号処理方法及び画像信号伝送装置に関し、特に原画像データの情報量を間引き処理によつて削減して伝送する画像信号伝送装置に適用して好適なものである。
【０００３】
【従来の技術】
従来、例えばテレビ会議システムなどのように画像信号を遠隔地に伝送するいわゆる画像信号伝送システムや、画像信号をデイジタル化してビデオテープレコーダやビデオデイスクレコーダに記録し再生する装置においては、伝送路や記録媒体を効率良く利用するため、デイジタル化した画像信号の相関を利用して有意情報を効率的に符号化することにより伝送情報量や記録情報量を削減し、伝送効率や記録効率を高めるようになされている。
【０００４】
具体的には、画像データを高能率圧縮符号化することにより、伝送するデータ量を削減する手法が広く用いられている。この高能率符号化では、一般に、予め原画像データに対して空間的あるいは時空間でのサブサンプリング（間引き）を行うことにより画素数を減らした後、圧縮符号化処理を施すことにより、伝送する情報量を一段と削減している。時空間サブサンプリングの例としては、ＭＵＳＥ（Multiple Sampling Encode）方式がある。
【０００５】
一方、受信側では、伝送されてこない画素すなわち間引かれた画素を補間によつて求めることにより解像度を上げる。一般には、固定タツプ、固定係数のフイルタによつて補間を行う。
ところが、このような補間方法では、補間画素値を当該補間画素に隣接する複数の画素の画素値の平均により求めるため、画像の種類によつては、画像ぼけ、時空間での変動（すなわちジヤーキネス、エツジビジネス等）が発生し、この結果復元画像に画質劣化が生じる問題がある。
【０００６】
かかる課題を解決する一つの方法として、特願平5-201913号に記載されているようなデイジタルデータ変換装置が提案されている。図１０（Ａ）に示すように、このデイジタルデータ変換装置における送信器１は入力画像データＤ１をサブサンプリング回路２及びエンコーダ３を通すことにより圧縮符号化データＤ２を生成し、これを出力端子４に与える。
【０００７】
また送信器１は、圧縮符号化データＤ２をローカルデコーダ５により復号した後、最小二乗法演算回路６に供給する。最小二乗法演算回路６は、復号データＤ３及び入力画像データＤ１を入力し、サブサンプリングにより間引かれた画素（取り除かれた画素）を注目画素とし、入力画像データＤ１に含まれる当該注目画素の画素値と復号データＤ３に含まれるその周辺の画素の画素値とで線形一次結合モデルを立て、この線形一次結合モデルの係数を最小二乗法の演算を行うことにより求める。この結果最小二乗法演算回路６からは、サブサンプリング回路２によつて間引かれた画素に対応した係数データＤ４が出力され、当該係数データＤ４が出力端子７に与えられる。
【０００８】
このように送信器１においては、サブサンプリング後の画像データを圧縮符号化して得た圧縮符号化データＤ２と共に、間引かれた画素とその周辺の伝送画素との相関関係を表わす係数データＤ４を伝送するようになされている。。
【０００９】
デイジタルデータ変換装置の受信器１０は、図１０（Ｂ）に示すように構成されており、圧縮符号化データＤ２を入力端子１１を介してデコーダ１２に入力する。デコーダ１２によつて復号された復号データＤ５は時系列変換回路１３及び補間演算回路１４に供給される。また受信器１０は係数データＤ４を入力端子１５を介して補間演算回路１４に入力する。
【００１０】
補間演算回路１４は復号データＤ５及び係数データＤ４を用いて、線形一次結合式から補間データＤ６を求め、これを時系列変換回路１３に送出する。時系列変換回路１３は、復号データＤ５と補間データＤ６を原画像（すなわち入力画像データＤ１）と同一に配列し、復元画像データＤ７を得る。
【００１１】
かくして、送信器１及び受信器１０で構成されたデイジタルデータ変換装置においては、送信器１側において、高能率符号化して得た圧縮符号化データＤ２のみを伝送するのではなく、間引かれた画素とその周辺の伝送画素との相関関係を表わす係数データＤ４を共に伝送し、受信器１０側において、その係数データＤ４を用いて実際には伝送されない間引かれた画素を生成するようにしたことにより、間引きにより伝送情報量を削減した場合でも、受信器１０側での画質劣化を低減し得るようになされている。
【００１２】
また特願平5-201913号では、これに加えて、送信器１側で、補間対象画素（注目画素）の周辺の伝送画素の分布状態に応じて当該補間対象画素をクラス分類し、各クラス毎に最小二乗法演算回路６によつて上述した係数データＤ４を求める方法が提案されている。この方法によれば、係数データＤ４の精度を向上し得ることにより受信器１０での復元画像の画質を向上することができる。なおこの場合には、受信器側でも送信器側と同様のクラス分類を行い、そのクラスについての係数データを選択して補間画素値を得るようになされている。
【００１３】
また別の方法として、特開平5-328185号公報に開示されているように、受信側に予め学習によつて求めた予測係数又は予測値を格納するメモリを設け、間引き処理が施された伝送画像データに応じて当該メモリから読み出される予測係数に基づき補間画素値を生成し、又は伝送画像データに応じて当該メモリから読み出される予測値を補間画素値とすることにより、間引きに基づく画質劣化を低減するデイジタルデータ変換装置が提案されている。
【００１４】
このデイジタルデータ変換装置は、図１１に示すように、送信器２０において、サブサンプリング回路２１、エンコーダ２２及び送信処理回路２３を通して得た圧縮符号化データＤ１０を出力端子２４を介して伝送路２５に送出する。
受信器３０は入力端子３１を介して入力した圧縮符号化データＤ１０を受信処理回路３２及びデコーダ３３を通すことにより復号データＤ１１を得、これを同時化回路３４に送出する。同時化回路３４は間引かれた画素を注目画素とし、各注目画素毎に周辺の複数の伝送画素を同時化してクラスタリング回路３５に送出する。
【００１５】
クラスタリング回路３５は入力した伝送画像データを階調やパターンに応じてクラス分類し、このクラス分類結果を各注目画素のクラスを表わすクラス情報Ｄ１２としてメモリ３６に送出する。
メモリ３６はクラス情報Ｄ１２をアドレスとして、予め学習により各クラス毎に求められて格納されている予測係数のうち、入力したクラス情報Ｄ１２に対応した予測係数Ｄ１３を出力する。
【００１６】
補間データ作成回路３７は予測係数Ｄ１３と同時化された周辺画素値とを使つて線形一次結合による演算を施すことにより、補間画素データＤ１４を作成する。この補間画素データＤ１４と復号データＤ１１が続く合成回路３８によつて合成されることにより、復元画像データＤ１５が生成される。
【００１７】
かくして、受信器３０によれば、伝送画像データＤ１０に存在しないような高周波成分をも復元することができ、この結果間引き処理に基づく画質劣化を抑制し得、高解像度の復元画像を得ることができる。
【００１８】
【発明が解決しようとする課題】
ところで、上述したように補間対象画素の周囲の伝送画素を用いて当該補間対象画素をクラス分類し、各クラス毎に予測係数又は予測値を求めこれを伝送する装置（特願平5-201913号）や、予測係数又は予測値を予め学習により求めて受信側のメモリに記憶しておき、受信側で、補間対象画素をクラス分類し、そのクラスに対応した予測係数又は予測値を出力することにより補間対象画素値を求める装置（特開平5-328185号公報）においては、クラス数を多くする程、予測係数又は予測値の精度を向上することができることにより、復元画像の画質が向上する。
【００１９】
しかしながら、クラス数を多くすると、予測係数又は予測値を求める際の演算量が増大し、また上述した受信器３０（図１１）ではメモリ３６に格納しなければならないデータ量が増大するため、クラス数を無限にとることは実際上不可能であり、十分なクラス分けが行われているとはいえなかつた。
この結果、例えばエツジやテクスチヤのような解像度が十分に必要な部分において、クラス分類が十分でないことに起因する画質劣化が生じ、十分な解像度が得られない問題があつた。
【００２０】
本発明は以上の点を考慮してなされたもので、補間対象画素をクラス分類する場合に、一段と的確なクラス分類処理を施すことにより、復元画像の画質を向上し得る画像信号処理方法及び画像信号伝送装置を提案しようとするものである。
【００２１】
【課題を解決するための手段】
かかる課題を解決するため本発明においては、複数の画素で構成される入力画像の注目する注目位置の画素を、その周辺の画素の状態に応じてクラス分類し、各クラス毎に処理を施すことにより注目位置の画素値を求める画素信号処理方法であつて、注目位置周辺の複数の画素値を用いた補間処理により、当該注目位置の画素に対応する仮補間画素値を生成する仮補間ステツプと、仮補間画素値及び入力画像の画素値でなる画像に対してエツジ強調処理を施すエツジ強調ステツプと、エツジ強調後の画像について、注目位置の画素と入力画像において当該注目位置周辺に位置する複数の画素との状態に応じて各注目位置をクラス分類するクラス分類ステツプと、注目位置周辺に位置する複数の画素の画素値を用いた線形一次結合モデルの係数がクラス毎にパラメータとして記憶されたメモリ手段から、クラス分類ステツプにより分類されたクラスに応じたパラメータ値が記憶されたメモリ手段から当該クラスに応じた値を読み出す値読出ステツプと、クラスに応じたパラメータ値と注目位置周辺に位置する複数の画素の画素値との線形一次結合式を演算することを用いた処理により注目位置に対応する本補間画素値を生成する本補間ステツプとを設けるようにする。
【００２２】
また本発明においては、入力画像の所定画素をサンプリングすることにより画素数の低減した伝送画像を生成するサンプリング手段と、伝送画像における注目する注目位置周辺の複数の画素値を用いた補間処理により、当該注目位置の画素に対応する仮補間画素値を生成する仮補間画素値生成手段と、仮補間画素値及び伝送画像の画素値でなる画像に対してエツジ強調処理を施すエツジ強調手段と、エツジ強調後の画像について、注目位置の画素と当該注目位置の周辺に位置する複数の画素との状態に応じて各注目位置をクラス分類するクラス分類手段と、クラス分類手段により分類されたクラス毎に、注目位置の画素値と伝送画像における当該注目位置の空間的及び又は時間的に周辺に位置する複数の画素の画素値とにより線形一次結合モデル方程式を立て、当該線形一次結合モデル方程式を解いて得た係数をパラメータとして生成し、当該パラメータをメモリ手段に一時記憶させるパラメータ生成手段と、伝送画像の画素値及びメモリ手段に一時記憶しているパラメータを伝送することにより、当該画素値及び当該パラメータを受信した画像信号処理装置に対して、注目位置の画素と当該注目位置の周辺に位置する複数の画素との状態に応じて当該注目位置をクラス分類させた上で、分類されたクラスに応じたパラメータと伝送画像の画素値との線形一次結合式の演算により注目位置の本補間画素値を算出させ、入力画像における注目位置に当該本補間画素値を配列させて復元画像を生成させる伝送手段とを設けるようにする。
【００２３】
また本発明においては、所定の画像伝送元から受信した入力画像の注目する注目位置周辺の複数の画素値を用いた補間処理により、当該注目位置の画素に対応する仮補間画素値を生成する仮補間画素値生成手段と、仮補間画素値及び入力画像の画素値でなる画像に対してエツジ強調処理を施すエツジ強調手段と、エツジ強調後の画像について、注目位置の画素と当該注目位置の周辺に位置する複数の画素との状態に応じて各注目位置をクラス分類するクラス分類手段と、注目位置の画素値と入力画像において注目位置の空間的及び又は時間的に周辺に位置する複数の画素の画素値とに基づいて立てた線形一次結合モデル方程式をクラス毎に解いて得たクラス毎のパラメータを入力画像と共に受信し、クラス分類手段により分類されたクラスに応じたパラメータと入力画像の画素値との線形一次結合式を演算するを方程式に適用することにより注目位置に対応した本補間画素値を生成する本補間画素値生成手段と、入力画像の上記注目位置に画素値と本補間画素値とを配列することにより基に復元画像を生成する復元画像生成手段とを設けるようにする。
【００２４】
また本発明においては、画像伝送元から受信した入力画像の注目する注目位置周辺の複数の画素値を用いた補間処理により、当該注目位置の画素に対応する仮補間画素値を生成する仮補間画素値生成手段と、仮補間画素値及び入力画像の画素値でなる画像に対してエツジ強調処理を施すエツジ強調手段と、エツジ強調後の画像について、注目位置の画素と当該注目位置の周辺に位置する複数の画素との状態に応じて各注目位置をクラス分類するクラス分類手段と、クラス毎に、注目位置の画素値と入力画像における当該注目位置の空間的及び又は時間的に周辺に位置する複数の画素の画素値とに基づいて立てた線形一次結合モデルを解いて得た方程式の係数をパラメータとして予め記憶するメモリ手段と、クラス分類手段により分類されたクラスに応じたパラメータをメモリ手段から読み出し、当該パラメータと入力画像の画素値との線形一次結合式を演算するを方程式に適用することにより注目位置に対応した本補間画素値を生成する本補間画素値生成手段と、入力画像の上記注目位置に画素値と本補間画素値とを配列することにより基に復元画像を生成する復元画像生成手段とを設けるようにする。
さらに本発明においては、画像伝送元から受信した入力画像の注目する注目位置周辺の複数の画素値を用いた補間処理により、当該注目位置の画素に対応する仮補間画素値を生成する仮補間画素値生成手段と、仮補間画素値及び入力画像の画素値でなる画像に対してエツジ強調処理を施すエツジ強調手段と、エツジ強調後の画像について、注目位置の画素と当該注目位置の周辺に位置する複数の画素との状態に応じて各注目位置をクラス分類するクラス分類手段と、予めクラス毎に注目位置に対応する画素値の予測値を記憶するメモリ手段と、分類手段により分類されたクラスに応じた予測値をメモリ手段から読み出して当該予測値を注目位置に対応した本補間画素値とし、入力画像の上記注目位置に画素値と当該本補間画素値とを配列することにより基に復元画像を生成する復元画像生成手段とを設けるようにする。
【００２５】
【作用】
入力画像の画素を用いて注目位置の画素に対応する仮補間画素値を生成し、この仮補間画素値及び入力画像の画素値でなる画像に対してエツジ強調処理を施した後、注目位置の画素と当該注目位置周辺に位置する画素との状態に応じて当該注目位置をクラス分類する。この結果エツジ強調処理により、エツジ情報やテクスチヤ情報が原画像に近い値まで戻された画像に基づいてクラス分類処理ができることにより特にエツジやテクスチヤ部分において正確なクラス分けができる。
かくして、実際に伝送された入力画像の画素値と、クラスに応じたパラメータとに基づいた線形一次結合式を演算すること値を用いた処理により生成した本補間画素値とを配列して基に復元画像を生成することにより、当該復元画像におけるエツジやテクスチヤ部分での画質を格段に向上させることができる。
【００２６】
【実施例】
以下図面について、本発明の一実施例を詳述する。
【００２７】
（１）全体構成
図１において、４０は全体として本発明を適用した画像符号化装置を示し、入力画像データＤ１をサブサンプリング回路４１に入力し、ここで入力画像データＤ１の所定画素を間引くことにより情報量を削減した後、続く圧縮エンコーダ４２に送出する。圧縮エンコーダ４２は間引き後に残つた画素を圧縮符号化することにより圧縮符号化データＤ２を生成し、これを伝送画像データとして出力する。
【００２８】
また圧縮符号化データＤ２はローカルデコーダ４３によつて復号され、当該復号データＤ２０が係数選定回路４４及びクラス分類回路４５に与えられる。
クラス分類回路４５は補間対象画素（すなわち間引かれた画素）を注目画素とし、当該注目画素の空間的及び又は時間的に周辺の伝送画素の分布状態に応じて各注目画素をクラス分類し、当該分類結果をその補間対象画素のクラス情報（以下これをインデツクスデータと呼ぶ）Ｄ２１として係数選定回路４４に送出する。
【００２９】
係数選定回路４４は遅延回路４６を介して入力した入力画像データＤ１及び復号データＤ２０に基づき、各クラス毎に、入力画像データＤ１に含まれる注目画素の画素値とその周辺の復号データＤ２０の画素値との相関関係を１フレーム毎に学習により求め、この学習結果を係数データＤ４として出力する。
因に遅延回路４６はサブサンプリング回路４１、圧縮エンコーダ４２及びローカルデコーダ４３で要する処理時間分だけ入力画像データＤ１を遅延させるものである。
【００３０】
画像符号化装置４０から送出された伝送データは、図２に示すような構成でなる画像復号化装置６０により受信されて復号される。画像復号化装置６０は、圧縮符号化データＤ２を圧縮デコーダ６１によつて復号し、これにより得た復号データＤ３０をクラス分類回路６２に与える。
クラス分類回路６２は図１について上述したクラス分類回路４５と同様の構成でなり、実際には伝送されてこない補間対象画素を注目画素とし、当該注目画素の空間的及び又は時間的に周辺の伝送画素の状態に応じて当該注目画素をクラス分類することにより、各注目画素のインデツクスデータＤ３１を発生し、これを補間データ作成回路６３に送出する。
【００３１】
補間データ作成回路６３は、各補間対象画素のインデツクスデータＤ３１、復号データＤ３０及び係数データＤ４に基づいて補間データＤ３２を求める。実際上、補間データ作成回路６３はインデツクスデータＤ３１に対応した係数データＤ４を選択し、選択した係数データＤ４と補間対象画素の周辺の復号データＤ３０とを用いて線形一次結合式を立てることにより補間データＤ３２を求める。
【００３２】
このようにして得られた補間データＤ３２は時系列変換回路６４に送出される。時系列変換回路６４は、復号データＤ３０と補間データＤ３２を原画像（すなわち入力画像データＤ１）と同一に配列することにより復元画像データＤ３３を生成する。
かくして画像復号化装置６０は、真値に近い補間画素を得ることができることにより画質劣化のほとんど無い復元画像を得ることができる。
【００３３】
（２）クラス分類回路
クラス分類回路４５及び６２は、図３に示すように構成されている。ここで画像復号化装置６０のクラス分類回路６２は、画像符号化装置４０のクラス分類回路４５と同様の構成を有するためクラス分類回路４５について説明する。
クラス分類回路４５は、復号データＤ２０を時系列変換回路５０によりラインスキヤン順に配列して、続く平均補間値生成回路５１に送出する。
【００３４】
平均補間値生成回路５１は、サブサンプリング回路４１によつて間引かれた画を水平ライン方向の平均値補間によつて求める。すなわち平均補間値生成回路５１は、それぞれ入力データを水平方向に１画素分遅延させる遅延素子（Ｄ）５１Ａ及び５１Ｂを介して加算回路５１Ｄに与えると共に、入力データをそのまま加算回路５１Ｄに与える。この結果加算回路５１Ｄでは、例えば図５の「○」印で示すサンプリング画素からその間の間引かれた画素の画素値が算出される。
【００３５】
因に、加算回路５１Ｄは、加算演算に加えて、その加算結果に１／２を乗算する乗算機能も有し、水平方向の２つのサンプリング画素の平均演算によりその間の間引かれた画素の画素値を求める。
加算回路５１Ｄの出力は、遅延素子（Ｄ）５１Ｅを介してセレクタ５１Ｃに与えられる。セレクタ５１Ｃはサンプリング画素と平均補間画素とを交互に出力する。時系列変換回路５２は、サンプリング画素と平均補間画素とを続くエツジ強調フイルタ５３の処理に適する順に並べ換える。
【００３６】
エツジ強調フイルタ５３は、２次元のエツジ強調処理を施すことにより、平均補間画素近傍でのエツジを強調する。これにより平均値補間により失われたエツジ情報やテクスチヤ情報を元の画像に近い値に戻す。実施例の場合、エツジ強調フイルタ５３のフイルタ係数は図４に示すように選定されている。
エツジ強調フイルタ５３の出力は時系列変換回路５４により所定の順序に並び換えられた後、ＡＤＲＣエンコーダ５５に与えられる。この結果ＡＤＲＣエンコーダ５５は平均補間画素を注目画素とすると、この注目画素を含むｎ個の周辺画素を受け取る。
【００３７】
ＡＤＲＣエンコーダ５５は入力したｎ個の画素に対してそれぞれｋビツトの適応量子化を施し、この結果得たコードを定められた順番に並べてシフトレジスタ５６に記憶させる。かくしてシフトレジスタ５６からはトータルｎ×ｋビツトのパターンでなるインデツクスデータＤ２１（又はＤ３１)(Ｌ1 〜Ｌm ）が出力される。従つて注目画素は２n*k 個のクラスの何れかに分類される。
【００３８】
このようにクラス分類回路４５及び６２においては、先ず間引かれた画素に対応する画素値を平均補間により求めた後、エツジ強調処理を施し、この結果得た画素に対してクラス分類処理を施すようにしたことにより、復元画像において特に鮮明に戻したいエツジ部、あるいはテクスチヤ部分付近を考慮したクラス分類ができる。
【００３９】
（３）詳細構成
次にサブサンプリング回路４１、圧縮エンコーダ４２、係数選定回路４４及び補間データ作成回路６３の詳細な構成について説明する。
【００４０】
この実施例の場合、サブサンプリング回路４１は、図５に示すように、各時点Ｔ０、Ｔ１、Ｔ２、……でのフレーム画像に対して伝送画素数が1/2 になるような間引き処理を施す。このときサブサンプリング回路４１は、連続する時点間で、前の時点でサンプリングした位置と同様の位置の画素を次の時点ではサンプリングしないというように交互に間引く画素位置を選択する所謂1/2 時空間オフセツトサブサンプリングを行うことにより、画像の特徴量をできるだけ残しながら伝送情報量を1/2 に削減する。
因に、図５における「○」印は間引き後に残つた画素（すなわち伝送画素）を表し、「＋」印は補間対象画素（間引かれた画素）を表わす。また下段のｗ1 〜ｗ38は、後述する係数選定回路４４によつて求められる線形一次結合モデルの係数を表わす。
【００４１】
圧縮エンコーダ４２は、ＡＤＲＣ（Adaptive Dynamic Range Coding ）回路により構成されており、例えば１画素当り８ビツトの情報量でなる画素データを、所定ブロツク内での最大画素値と最小画素値との差分を表わすダイナミツクレンジ情報と、最小画素情報と、各画素値と最小画素値との差分を例えば１ビツト量子化した際の量子化情報とで表わすことにより、伝送情報量を有効に削減する。
【００４２】
係数選定回路４４は、補間対象画素を、当該補間対象画素の周辺の伝送画素と係数との線形一次結合モデルによつて表し、このとき用いた係数を各クラス毎に最小二乗法の演算によつて求める。
この係数選定の原理について説明する。図５に示すように、補間対象画素ｙm の存在するフレームをＴ１とすると、そのフレームＴ１から補間対象画素ｙm を中心としてその周囲の領域を切り出すと共に、一つ前の時点のフレームＴ０及び一つ後の時点のフレームＴ２からフレームＴ１で切り出した領域と空間的に同じ位置の領域を切り出す。また補間対象画素ｙm の画素値は入力画像データＤ１から抽出する。
【００４３】
ここで先ずフレームＴ０〜Ｔ２から切り出した領域内の伝送画素それぞれに係数ｗi を掛けることにより、補間対象画素ｙm を空間的及び時間的に周辺の伝送画素による線形一次結合によつて表わす。この結果補間対象画素ｙm の行列式Ｙと周辺の伝送画素ｘmiの行列式Ｘは、係数ｗi の行列式Ｗを用いて、次式、
【数１】
でなる観測方程式の形で表わすことができる。但し、（１）式において、ｎは１つの補間対象画素ｙm を線形一次結合式によつて表わす際の空間的及び時間的に周辺の伝送画素数を表し（実施例の場合、１つの補間対象画素ｙm を３８タツプの線形一次結合モデルによつて表わすため、ｎ＝３８である）、ｍは１フレーム内に存在する補間対象画素数を表わす。
【００４４】
ここで（１）式に基づき、１フレームに対して１個の係数組を求めようとすると、（１）式から１フレームの補間対象画素数分の連立方程式を作ることになる。基本的には、この連立方程式を解いて係数を求めればよい。実施例では最小二乗法を用いてこの連立方程式を解く。
すなわち先ず、（１）式を残差行列Ｅを用いて次式、
【数２】
のように残差方程式の形に表現し直す。
【００４５】
ここで（２）式から各係数値ｗi の最確値を求めるためには、ｅ1 2＋ｅ2 2＋……＋ｅi-1 2＋ｅi 2 を最小にする条件、すなわち次式、
【数３】
となるｎ個の条件を入れてこれを満足するｗ1 、ｗ2 、……、ｗn を見つければよい。
ここで（２）式より、次式、
【数４】
を得、（３）式の条件をｉ＝１、２、……、ｎについて立てればそれぞれ、次式
【数５】
が得られる。ここで（２）式及び（５）式から次式の正規方程式が得られる。
【数６】
【００４６】
ここで（６）式で表わされる正規方程式は未知数の数がｎ個の連立方程式であるから、これにより最確値である各係数ｗi を求めることができる。正確には（６）式でｗi に掛かる（Σｘjnｘjn）（但し、ｊ＝１……ｍ）のマトリクスが正則であれば解くことができる。実際には、Gauss-Jordanの消去法（掃き出し法）を用いて連立方程式を解く。
【００４７】
実施例の場合には、クラス分類回路４５によつて求めた各クラス毎に上述した最小二乗法を用いて係数値ｗi を求める。この結果各クラス毎に１フレームにつき１組の係数を伝送すればよいことになり、全ての補間対象画素についての係数値ｗi を求めて伝送する場合に比して、格段に伝送情報量及び演算量を低減し得る。実際に、係数の情報量はフレーム当りの画素情報量に比べて無視できるくらいのオーダーである。
【００４８】
具体的には、係数選定回路４４は、図６に示すように構成されている。すなわち係数選定回路４４は復号データＤ２０（ｘi ）及び入力画像データＤ１に含まれる補間対象画素データｙm を時系列変換メモリ９０に入力する。時系列変換メモリ９０は、図５について上述したように線形一次結合モデルを形成するための画素（ｘ1 〜ｘn 、ｙm ）を同時化して出力する。
時系列変換メモリ９０から出力されたデータは、正規化方程式生成回路９１に与えられ、当該正規化方程式生成回路９１によつて各クラス毎に（６）式で表わされるような正規化方程式が生成され、続くＣＰＵ演算回路９２によつて掃き出し法によつて各クラス毎の係数組が求められる。
【００４９】
正規化方程式生成回路９１は、先ず乗算器アレイ９３によつて各画素同士の乗算を行う。乗算器アレイ９３は、図７に示すように構成されており、四角で表わす各セル毎に画素同士の乗算を行い、これにより得た各乗算結果を続く加算器メモリ９４に与える。
【００５０】
加算器メモリ９４は、図８に示すように、乗算器アレイ９３と同様に配列されたセルでなる加算器アレイ９５とメモリ（またはレジスタ）アレイ９６Ａ1 、９６Ａ2 、……とにより構成されている。メモリアレイ９６Ａ1 、９６Ａ2 、……はクラス数分（実施例の場合、クラス分類回路４５により分類される２n*k クラス分）設けられており、インデツクスデータＤ２１をデコードするインデツクスデコーダ９７の出力（クラス）に応答して一つのメモリアレイ９６Ａ1 、９６Ａ2 、……が選択され、選択されたメモリアレイ９６Ａ1 、９６Ａ2 、……の格納値が加算器アレイ９５に帰還される。このとき加算器アレイ９５によつて得られる加算結果が、再び対応するメモリアレイ９６Ａ1 、９６Ａ2 、……に格納される。
【００５１】
このようにして乗算器アレイ９３、加算器アレイ９５及びメモリアレイ９６Ａ1 によつて積和演算が行われ、インデツクスによつて決定されるクラス毎にメモリアレイ９６Ａ1 、９６Ａ2 、……のいずれかが選択されて、積和演算の結果によつてメモリアレイ９６Ａ1 、９６Ａ2 、……の内容が更新される。
【００５２】
なお、各々のアレイの位置は、（６）式で表わされる正規化方程式のｗi にかかる（Σｘjnｘjn）（但し、ｊ＝１……ｍ）の位置に対応する。（６）式の正規化方程式を見れば明らかなように右上の項を反転すれば左下と同じものになるため、各アレイは三角形の形状をしている。
【００５３】
このようにして、１フレームの間にクラス毎に積和演算が行われて各クラス毎の正規化方程式が生成される。クラス毎の正規化方程式の各項の結果は、それぞれのクラスに対応するメモリアレイ９６Ａ1 、９６Ａ2 、……に記憶されており、次にそれらのクラス毎の正規化方程式の各項が掃き出し法演算を実現するＣＰＵ演算回路９２によつて計算される。この結果各クラス毎の係数ｗi の組が求められ、これが係数データＤ４として送出される。
【００５４】
補間データ作成回路６３は、図９に示すように、１フレーム毎に各クラスの係数組を記憶する係数メモリ１００を有し、この係数メモリ１００は各クラス毎の係数組ｗ1 〜ｗn を格納すると共に、インデツクスデコーダ１０１の出力（クラス）に応答してクラスに応じた係数組ｗ1 〜ｗn を出力する。この係数組ｗ1 〜ｗn がそれぞれレジスタ１０２Ａ1 〜１０２Ａn を介して乗算器１０３Ａ1 〜１０３Ａn に与えられる。また乗算器１０３Ａ1 〜１０３Ａn には、時系列変換回路１０４により選択された復号データｘ1 〜ｘn が与えられる。従つて乗算器１０３Ａ1 〜１０３Ａn の出力が加算回路１０５により加算されることにより、補間対象画素の画素値ｙ（＝ｘ1 ｗ1 ＋ｘ2 ｗ2 ＋……＋ｘn ｗn ）が得られる。
【００５５】
（４）実施例の動作
以上の構成において、画像符号化装置４０は入力画像データＤ１に対して間引き処理を施すことによりデータ量を削減した後、圧縮符号化データＤ２を生成する。また画像符号化装置４０は、クラス分類回路４５において間引かれた画素を注目画素とし、当該注目画素の周辺の画素の状態に応じて各間引かれた画素をクラス分類し、次に係数選定回路４４において各クラス毎の係数組ｗ1 〜ｗn を求め、これを係数データＤ４として出力する。
【００５６】
ここでクラス分類回路４５は、先ず間引かれた画素の画素値をその両隣の間引かれずに残つた画素の平均により求め、これにより得た平均補間値を含む画像に対してエツジ強調処理を施す。この結果平均補間により失われたエツジ情報やテクスチヤ情報が復元される。そしてクラス分類回路４５はこのようにエツジ情報やテクスチヤ情報が復元された画像に基づき、間引かれた画素（すなわち平均補間後エツジ強調処理がなされた補間対象画素）を含めたその周辺の画素の状態に応じて各間引かれた画素をクラス分類する。
この結果特にエツジ部分やテクスチヤ部分において、間引かれた画素を正確にクラス分類できる。
【００５７】
画像復号化装置６０では、圧縮符号化データＤ２を復号した復号データＤ３０及び係数データＤ４に基づいて復元画像データＤ３３を生成する。
このときクラス分類回路６２において、画像符号化装置４０のクラス分類回路４５でしたのと同様のクラス分類処理を施すことにより各間引かれた画素をクラス分類する。次に補間データ作成回路６３において、クラス分類結果Ｄ３１に応じて係数データＤ４から選択した係数組ｗ1 〜ｗn と復号データＤ３０とを線形一次結合させることにより補間データＤ３２を作成する。
【００５８】
かくして補間対象画素（間引かれた画素）をその周辺の画像の特徴に応じて的確にクラス分類したことにより、一段と真値に近い補間データＤ３２を得ることができ、間引きに基づく画質劣化の少ない復元画像を得ることができる。
【００５９】
（５）実施例の効果
以上の構成によれば、間引かれずに残つた画素を用いて補間対象画素に対応する補間画素値を生成し、この補間画素値と間引かれずに残つた画素とでなる画像に対してエツジ強調処理を施した後、補間対象画素と当該補間画素周辺に位置する伝送画素の状態に応じて当該補間画素をクラス分類するようにしたことにより、特にエツジやテクスチヤ部分において正確なクラス分けができる。かくして復元画像におけるエツジやテクスチヤ部分での画質を格段に向上させることができる。
【００６０】
（６）他の実施例
なお上述の実施例のクラス分類回路４５及び６２においては、平均補間値生成回路５１によつて間引かれた画素の画素値を水平ライン方向の平均値補間により求めた場合について述べたが、本発明はこれに限らず、例えば２次元の適応補間等により間引かれた画素の補間画素値を求めるようにしてもよく、エツジ強調前の間引かれた画素の補間方法としては種々のものを適用できる。
【００６１】
また上述の実施例のクラス分類回路４５及び６２においては、ＡＤＲＣエンコーダ５５を設け、エツジ強度後の画像をＡＤＲＣ符号化し、これにより得たビツト数が圧縮されたコードのパターンに基づいて間引かれた画素をクラス分類する場合について述べたが、ＡＤＲＣエンコーダ５５に代えて、例えばＤＣＴ（Discrete Cosine Transform)変換符号化、ＤＰＣＭ（差分量子化）、ベクトル量子化、サブバンド符号化、ウエーブレツト変換等の他の圧縮機能を有する回路を設けて、その出力コードのパターンに基づいて間引かれた画素をクラス分類するようにしてもよい。さらに圧縮したコードのパターンに基づいてクラス分類する場合に限らず、エツジ強調後の画像の相関度の強い方向に応じて間引かれた画素をクラス分類してもよく、すなわちエツジ強調後のクラス分類としては種々の手法を適用できる。
【００６２】
また上述の実施例においては、間引き後に残つた伝送画素を圧縮エンコーダ４２により圧縮符号化して伝送する場合について述べたが、本発明はこれに限らず、圧縮符号化せずに間引き後に残つた間引きデータをそのまま伝送する場合にも適用することができる。この場合には、画像符号化装置４０側で圧縮エンコーダ４２及びローカルデコーダ４３を省略すると共に、画像復号化装置６０側で圧縮デコーダ６１を省略すればよい。
【００６３】
また上述の実施例においては、圧縮エンコーダ４２としてＡＤＲＣ回路を用いた場合について述べたが、本発明はこれに限らず、圧縮エンコーダ４２として例えばＤＣＴ変換符号化、ＤＰＣＭ、ベクトル量子化、サブバンド符号化、ウエーブレツト変換等の圧縮手法を用いた場合にも上述の実施例と同様の効果を得ることができる。
【００６４】
また上述の実施例においては、サブサンプリング回路４１によつて入力画像データＤ１に対して１／２の間引き処理を行う場合について述べたが、本発明はこれに限らず、例えば１／４の間引き処理等、他の間引き処理を行つた場合でも実施例と同様の効果を得ることができる。
【００６５】
また上述の実施例においては、注目画素とこの注目画素の空間的及び又は時間的に周辺の伝送画素との相関関係を表すパラメータとして、線形一次結合モデルを最小二乗法により解いて得た係数データＤ４を伝送する場合について述べたが、本発明はこれに限らず、パラメータとしては例えば各クラス毎に求めた注目画素周辺の伝送画素値の平均値を代表値として伝送するようにしても良い。この場合平均演算に重心法を用いるようにすれば、クラス毎に誤差の少ない代表値を容易に求めることができる。またこれに限らず、要は伝送されない注目画素と伝送画素との相関関係を表すような種々のパラメータを用いることができる。
【００６６】
また上述の実施例においては、圧縮符号化データＤ２と共に係数データＤ４を伝送する画像符号化装置４０のクラス分類回路４５及びその画像復号化装置６０のクラス分類回路６２に本発明を適用した場合について述べたが、本発明はこれに限らず、例えば図１１に示すように、各クラス毎の予測係数Ｄ１３を発生するメモリ３６を有する画像復号化装置（受信器）３０のクラス分類手段（クラスタリング回路）３５にも本発明を適用できる。
【００６７】
この場合のメモリ３６には、予め学習によつて各クラス毎に獲得した予測係数を格納するようにすれば良い。一例としては、各クラス毎に立てた線形一次結合モデルの係数を、最小二乗法により求めるといつた処理を様々な画像に対して行うことにより予測係数を求める手法がある。
【００６８】
さらには画像符号化装置（送信器）２０側にも実施例のような係数データを発生する係数選定回路４４（図１）を設け、予め学習により獲得したメモリ３６の内容を、新たに画像符号化装置から伝送されてくる係数データによつて更新するようにした画像信号伝送装置のクラス分類手段にも本発明を適用できる。
【００６９】
さらに図１１に示すメモリ３６に予測係数に代えて各クラス毎の予測値を予め格納するようにした画像復号化装置（受信器）３０のクラス分類手段（クラスタリング回路）３５にも本発明を適用できる。
【００７０】
この場合のメモリ３６に格納する予測値を求める第１の方法としては、加重平均を用いた学習方法がある。詳述すれば、補間対象画素の周辺の伝送画素を用いて、補間対象画素に対してクラス分類を行い、クラス毎に積算した補間対象画素の画素値を補間対象画素の個数によつてインクリメントされた度数によつて割ると言つた処理を様々な画像に対して行うことにより予測値を求めることができる。
【００７１】
またメモリ３６に格納する予測値を求める第２の方法としては、正規化による学習方法がある。詳述すれば、補間対象画素を含む複数の画素からなるブロツクを形成し、このブロツク内のダイナミツクレンジによつて、補間対象画素の画素値からそのブロツクの基準値を減算した値を正規化し、この正規化された値の累積値を累積度数で除した値を予測値とする処理を様々な画像に対して行うことにより予測値を求めることができる。
【００７２】
このように本発明によるクラス分類手法は、クラス分類を施し各クラス毎に求めた予測係数又は予測値を使つて補間画素値を生成する場合に広く適用することができる。
【００７３】
【発明の効果】
上述のように本発明によれば、入力画像の所定画素をサンプリングすることにより画素数の低減した伝送画像を生成するサンプリング手段と、伝送画像における注目する注目位置周辺の複数の画素値を用いた補間処理により、当該注目位置の画素に対応する仮補間画素値を生成する仮補間画素値生成手段と、仮補間画素値及び伝送画像の画素値でなる画像に対してエツジ強調処理を施すエツジ強調手段と、エツジ強調後の画像について、注目位置の画素と当該注目位置の周辺に位置する複数の画素との状態に応じて各注目位置をクラス分類するクラス分類手段と、クラス分類手段により分類されたクラス毎に、注目位置の画素値と伝送画像において当該注目位置の空間的及び又は時間的に周辺に位置する複数の画素の画素値とにより線形一次結合モデル方程式を立て、当該線形一次結合モデル方程式を解いて得た係数をパラメータとして生成し、当該パラメータをメモリ手段に一時記憶させるパラメータ生成手段と、伝送画像の画素値及びメモリ手段に一時記憶しているパラメータを伝送することにより、当該画素値及び当該パラメータを受信した画像信号処理装置に対して、注目位置の画素と当該注目位置の周辺に位置する複数の画素との状態に応じて当該注目位置をクラス分類させた上で、分類されたクラスに応じたパラメータと上記伝送画像の画素値との線形一次結合式の演算により注目位置の本補間画素値を算出させ、入力画像における注目位置に当該本補間画素値を配列させて復元画像を生成させる伝送手段とを設けたことにより、注目位置の画素をクラス分類する場合に、エツジ情報やテクスチヤ情報を考慮した、より的確なクラス分類ができる。この結果、復元画像の画質を向上させることができる。
【図面の簡単な説明】
【図１】実施例の画像符号化装置の全体構成を示すブロツク図である。
【図２】実施例の画像復号化装置の全体構成を示すブロツク図である。
【図３】実施例によるクラス分類回路の構成を示すブロツク図である。
【図４】エツジ強調フイルタのフイルタ係数を示す略線図である。
【図５】サブサンプリング回路による間引き処理の説明、並びに線形一次結合モデルに用いる画素及び係数の説明に供する略線図である。
【図６】係数選定回路の構成を示すブロツク図である。
【図７】乗算器アレイの構成を示す略線図である。
【図８】加算器メモリの構成を示す略線図である。
【図９】補間データ作成回路の構成を示すブロツク図である。
【図１０】従来のデイジタルデータ変換装置の構成を示すブロツク図である。
【図１１】受信器側に予測係数又は予測値を格納したメモリを有するデイジタルデータ変換装置の構成を示すブロツク図である。
【符号の説明】
１、２０……送信器、１０、３０……受信器、３５……クラスタリング回路、３６……メモリ、３７……補間データ作成回路、４０……画像符号化装置、４１……サブサンプリング回路、４２……圧縮エンコーダ、４３……ローカルデコーダ、４５、６２……クラス分類回路、４４……係数選定回路、５１……平均補間値生成回路、５３……エツジ強調フイルタ、５５……ＡＤＲＣエンコーダ、６３……補間データ推定回路、６０……画像復号化装置、Ｄ１……入力画像データ、Ｄ２……圧縮符号化データ、Ｄ４……係数データ、Ｄ２１、Ｄ３１……インデツクスデータ、Ｄ３２……補間データ、Ｄ３３……復元画像データ、Ｗ1 〜Ｗ38……係数。
【目次】
以下の順序で本発明を説明する。
産業上の利用分野
従来の技術（図１０及び図１１）
発明が解決しようとする課題（図１０及び図１１）
課題を解決するための手段（図１〜図３及び図１１）
作用（図１〜図３）
実施例
（１）全体構成（図１及び図２）
（２）クラス分類回路（図３）
（３）詳細構成（図４〜図９）
（４）実施例の動作（図１〜図３）
（５）実施例の効果（図３）
（６）他の実施例（図１１）
発明の効果
【０００２】
【産業上の利用分野】
本発明は画像信号処理方法及び画像信号伝送装置に関し、特に原画像データの情報量を間引き処理によつて削減して伝送する画像信号伝送装置に適用して好適なものである。
【０００３】
【従来の技術】
従来、例えばテレビ会議システムなどのように画像信号を遠隔地に伝送するいわゆる画像信号伝送システムや、画像信号をデイジタル化してビデオテープレコーダやビデオデイスクレコーダに記録し再生する装置においては、伝送路や記録媒体を効率良く利用するため、デイジタル化した画像信号の相関を利用して有意情報を効率的に符号化することにより伝送情報量や記録情報量を削減し、伝送効率や記録効率を高めるようになされている。
【０００４】
具体的には、画像データを高能率圧縮符号化することにより、伝送するデータ量を削減する手法が広く用いられている。この高能率符号化では、一般に、予め原画像データに対して空間的あるいは時空間でのサブサンプリング（間引き）を行うことにより画素数を減らした後、圧縮符号化処理を施すことにより、伝送する情報量を一段と削減している。時空間サブサンプリングの例としては、ＭＵＳＥ（Multiple Sampling Encode）方式がある。
【０００５】
一方、受信側では、伝送されてこない画素すなわち間引かれた画素を補間によつて求めることにより解像度を上げる。一般には、固定タツプ、固定係数のフイルタによつて補間を行う。
ところが、このような補間方法では、補間画素値を当該補間画素に隣接する複数の画素の画素値の平均により求めるため、画像の種類によつては、画像ぼけ、時空間での変動（すなわちジヤーキネス、エツジビジネス等）が発生し、この結果復元画像に画質劣化が生じる問題がある。
【０００６】
かかる課題を解決する一つの方法として、特願平5-201913号に記載されているようなデイジタルデータ変換装置が提案されている。図１０（Ａ）に示すように、このデイジタルデータ変換装置における送信器１は入力画像データＤ１をサブサンプリング回路２及びエンコーダ３を通すことにより圧縮符号化データＤ２を生成し、これを出力端子４に与える。
【０００７】
また送信器１は、圧縮符号化データＤ２をローカルデコーダ５により復号した後、最小二乗法演算回路６に供給する。最小二乗法演算回路６は、復号データＤ３及び入力画像データＤ１を入力し、サブサンプリングにより間引かれた画素（取り除かれた画素）を注目画素とし、入力画像データＤ１に含まれる当該注目画素の画素値と復号データＤ３に含まれるその周辺の画素の画素値とで線形一次結合モデルを立て、この線形一次結合モデルの係数を最小二乗法の演算を行うことにより求める。この結果最小二乗法演算回路６からは、サブサンプリング回路２によつて間引かれた画素に対応した係数データＤ４が出力され、当該係数データＤ４が出力端子７に与えられる。
【０００８】
このように送信器１においては、サブサンプリング後の画像データを圧縮符号化して得た圧縮符号化データＤ２と共に、間引かれた画素とその周辺の伝送画素との相関関係を表わす係数データＤ４を伝送するようになされている。。
【０００９】
デイジタルデータ変換装置の受信器１０は、図１０（Ｂ）に示すように構成されており、圧縮符号化データＤ２を入力端子１１を介してデコーダ１２に入力する。デコーダ１２によつて復号された復号データＤ５は時系列変換回路１３及び補間演算回路１４に供給される。また受信器１０は係数データＤ４を入力端子１５を介して補間演算回路１４に入力する。
【００１０】
補間演算回路１４は復号データＤ５及び係数データＤ４を用いて、線形一次結合式から補間データＤ６を求め、これを時系列変換回路１３に送出する。時系列変換回路１３は、復号データＤ５と補間データＤ６を原画像（すなわち入力画像データＤ１）と同一に配列し、復元画像データＤ７を得る。
【００１１】
かくして、送信器１及び受信器１０で構成されたデイジタルデータ変換装置においては、送信器１側において、高能率符号化して得た圧縮符号化データＤ２のみを伝送するのではなく、間引かれた画素とその周辺の伝送画素との相関関係を表わす係数データＤ４を共に伝送し、受信器１０側において、その係数データＤ４を用いて実際には伝送されない間引かれた画素を生成するようにしたことにより、間引きにより伝送情報量を削減した場合でも、受信器１０側での画質劣化を低減し得るようになされている。
【００１２】
また特願平5-201913号では、これに加えて、送信器１側で、補間対象画素（注目画素）の周辺の伝送画素の分布状態に応じて当該補間対象画素をクラス分類し、各クラス毎に最小二乗法演算回路６によつて上述した係数データＤ４を求める方法が提案されている。この方法によれば、係数データＤ４の精度を向上し得ることにより受信器１０での復元画像の画質を向上することができる。なおこの場合には、受信器側でも送信器側と同様のクラス分類を行い、そのクラスについての係数データを選択して補間画素値を得るようになされている。
【００１３】
また別の方法として、特開平5-328185号公報に開示されているように、受信側に予め学習によつて求めた予測係数又は予測値を格納するメモリを設け、間引き処理が施された伝送画像データに応じて当該メモリから読み出される予測係数に基づき補間画素値を生成し、又は伝送画像データに応じて当該メモリから読み出される予測値を補間画素値とすることにより、間引きに基づく画質劣化を低減するデイジタルデータ変換装置が提案されている。
【００１４】
このデイジタルデータ変換装置は、図１１に示すように、送信器２０において、サブサンプリング回路２１、エンコーダ２２及び送信処理回路２３を通して得た圧縮符号化データＤ１０を出力端子２４を介して伝送路２５に送出する。
受信器３０は入力端子３１を介して入力した圧縮符号化データＤ１０を受信処理回路３２及びデコーダ３３を通すことにより復号データＤ１１を得、これを同時化回路３４に送出する。同時化回路３４は間引かれた画素を注目画素とし、各注目画素毎に周辺の複数の伝送画素を同時化してクラスタリング回路３５に送出する。
【００１５】
クラスタリング回路３５は入力した伝送画像データを階調やパターンに応じてクラス分類し、このクラス分類結果を各注目画素のクラスを表わすクラス情報Ｄ１２としてメモリ３６に送出する。
メモリ３６はクラス情報Ｄ１２をアドレスとして、予め学習により各クラス毎に求められて格納されている予測係数のうち、入力したクラス情報Ｄ１２に対応した予測係数Ｄ１３を出力する。
【００１６】
補間データ作成回路３７は予測係数Ｄ１３と同時化された周辺画素値とを使つて線形一次結合による演算を施すことにより、補間画素データＤ１４を作成する。この補間画素データＤ１４と復号データＤ１１が続く合成回路３８によつて合成されることにより、復元画像データＤ１５が生成される。
【００１７】
かくして、受信器３０によれば、伝送画像データＤ１０に存在しないような高周波成分をも復元することができ、この結果間引き処理に基づく画質劣化を抑制し得、高解像度の復元画像を得ることができる。
【００１８】
【発明が解決しようとする課題】
ところで、上述したように補間対象画素の周囲の伝送画素を用いて当該補間対象画素をクラス分類し、各クラス毎に予測係数又は予測値を求めこれを伝送する装置（特願平5-201913号）や、予測係数又は予測値を予め学習により求めて受信側のメモリに記憶しておき、受信側で、補間対象画素をクラス分類し、そのクラスに対応した予測係数又は予測値を出力することにより補間対象画素値を求める装置（特開平5-328185号公報）においては、クラス数を多くする程、予測係数又は予測値の精度を向上することができることにより、復元画像の画質が向上する。
【００１９】
しかしながら、クラス数を多くすると、予測係数又は予測値を求める際の演算量が増大し、また上述した受信器３０（図１１）ではメモリ３６に格納しなければならないデータ量が増大するため、クラス数を無限にとることは実際上不可能であり、十分なクラス分けが行われているとはいえなかつた。
この結果、例えばエツジやテクスチヤのような解像度が十分に必要な部分において、クラス分類が十分でないことに起因する画質劣化が生じ、十分な解像度が得られない問題があつた。
【００２０】
本発明は以上の点を考慮してなされたもので、補間対象画素をクラス分類する場合に、一段と的確なクラス分類処理を施すことにより、復元画像の画質を向上し得る画像信号処理方法及び画像信号伝送装置を提案しようとするものである。
【００２１】
【課題を解決するための手段】
かかる課題を解決するため本発明においては、複数の画素で構成される入力画像の注目する注目位置の画素を、その周辺の画素の状態に応じてクラス分類し、各クラス毎に処理を施すことにより注目位置の画素値を求める画素信号処理方法であつて、注目位置周辺の複数の画素値を用いた補間処理により、当該注目位置の画素に対応する仮補間画素値を生成する仮補間ステツプと、仮補間画素値及び入力画像の画素値でなる画像に対してエツジ強調処理を施すエツジ強調ステツプと、エツジ強調後の画像について、注目位置の画素と入力画像において当該注目位置周辺に位置する複数の画素との状態に応じて各注目位置をクラス分類するクラス分類ステツプと、注目位置周辺に位置する複数の画素の画素値を用いた線形一次結合モデルの係数がクラス毎にパラメータとして記憶されたメモリ手段から、クラス分類ステツプにより分類されたクラスに応じたパラメータ値が記憶されたメモリ手段から当該クラスに応じた値を読み出す値読出ステツプと、クラスに応じたパラメータ値と注目位置周辺に位置する複数の画素の画素値との線形一次結合式を演算することを用いた処理により注目位置に対応する本補間画素値を生成する本補間ステツプとを設けるようにする。
【００２２】
また本発明においては、入力画像の所定画素をサンプリングすることにより画素数の低減した伝送画像を生成するサンプリング手段と、伝送画像における注目する注目位置周辺の複数の画素値を用いた補間処理により、当該注目位置の画素に対応する仮補間画素値を生成する仮補間画素値生成手段と、仮補間画素値及び伝送画像の画素値でなる画像に対してエツジ強調処理を施すエツジ強調手段と、エツジ強調後の画像について、注目位置の画素と当該注目位置の周辺に位置する複数の画素との状態に応じて各注目位置をクラス分類するクラス分類手段と、クラス分類手段により分類されたクラス毎に、注目位置の画素値と伝送画像における当該注目位置の空間的及び又は時間的に周辺に位置する複数の画素の画素値とにより線形一次結合モデル方程式を立て、当該線形一次結合モデル方程式を解いて得た係数をパラメータとして生成し、当該パラメータをメモリ手段に一時記憶させるパラメータ生成手段と、伝送画像の画素値及びメモリ手段に一時記憶しているパラメータを伝送することにより、当該画素値及び当該パラメータを受信した画像信号処理装置に対して、注目位置の画素と当該注目位置の周辺に位置する複数の画素との状態に応じて当該注目位置をクラス分類させた上で、分類されたクラスに応じたパラメータと伝送画像の画素値との線形一次結合式の演算により注目位置の本補間画素値を算出させ、入力画像における注目位置に当該本補間画素値を配列させて復元画像を生成させる伝送手段とを設けるようにする。
【００２３】
また本発明においては、所定の画像伝送元から受信した入力画像の注目する注目位置周辺の複数の画素値を用いた補間処理により、当該注目位置の画素に対応する仮補間画素値を生成する仮補間画素値生成手段と、仮補間画素値及び入力画像の画素値でなる画像に対してエツジ強調処理を施すエツジ強調手段と、エツジ強調後の画像について、注目位置の画素と当該注目位置の周辺に位置する複数の画素との状態に応じて各注目位置をクラス分類するクラス分類手段と、注目位置の画素値と入力画像において注目位置の空間的及び又は時間的に周辺に位置する複数の画素の画素値とに基づいて立てた線形一次結合モデル方程式をクラス毎に解いて得たクラス毎のパラメータを入力画像と共に受信し、クラス分類手段により分類されたクラスに応じたパラメータと入力画像の画素値との線形一次結合式を演算するを方程式に適用することにより注目位置に対応した本補間画素値を生成する本補間画素値生成手段と、入力画像の上記注目位置に画素値と本補間画素値とを配列することにより基に復元画像を生成する復元画像生成手段とを設けるようにする。
【００２４】
また本発明においては、画像伝送元から受信した入力画像の注目する注目位置周辺の複数の画素値を用いた補間処理により、当該注目位置の画素に対応する仮補間画素値を生成する仮補間画素値生成手段と、仮補間画素値及び入力画像の画素値でなる画像に対してエツジ強調処理を施すエツジ強調手段と、エツジ強調後の画像について、注目位置の画素と当該注目位置の周辺に位置する複数の画素との状態に応じて各注目位置をクラス分類するクラス分類手段と、クラス毎に、注目位置の画素値と入力画像における当該注目位置の空間的及び又は時間的に周辺に位置する複数の画素の画素値とに基づいて立てた線形一次結合モデルを解いて得た方程式の係数をパラメータとして予め記憶するメモリ手段と、クラス分類手段により分類されたクラスに応じたパラメータをメモリ手段から読み出し、当該パラメータと入力画像の画素値との線形一次結合式を演算するを方程式に適用することにより注目位置に対応した本補間画素値を生成する本補間画素値生成手段と、入力画像の上記注目位置に画素値と本補間画素値とを配列することにより基に復元画像を生成する復元画像生成手段とを設けるようにする。
さらに本発明においては、画像伝送元から受信した入力画像の注目する注目位置周辺の複数の画素値を用いた補間処理により、当該注目位置の画素に対応する仮補間画素値を生成する仮補間画素値生成手段と、仮補間画素値及び入力画像の画素値でなる画像に対してエツジ強調処理を施すエツジ強調手段と、エツジ強調後の画像について、注目位置の画素と当該注目位置の周辺に位置する複数の画素との状態に応じて各注目位置をクラス分類するクラス分類手段と、予めクラス毎に注目位置に対応する画素値の予測値を記憶するメモリ手段と、分類手段により分類されたクラスに応じた予測値をメモリ手段から読み出して当該予測値を注目位置に対応した本補間画素値とし、入力画像の上記注目位置に画素値と当該本補間画素値とを配列することにより基に復元画像を生成する復元画像生成手段とを設けるようにする。
【００２５】
【作用】
入力画像の画素を用いて注目位置の画素に対応する仮補間画素値を生成し、この仮補間画素値及び入力画像の画素値でなる画像に対してエツジ強調処理を施した後、注目位置の画素と当該注目位置周辺に位置する画素との状態に応じて当該注目位置をクラス分類する。この結果エツジ強調処理により、エツジ情報やテクスチヤ情報が原画像に近い値まで戻された画像に基づいてクラス分類処理ができることにより特にエツジやテクスチヤ部分において正確なクラス分けができる。
かくして、実際に伝送された入力画像の画素値と、クラスに応じたパラメータとに基づいた線形一次結合式を演算すること値を用いた処理により生成した本補間画素値とを配列して基に復元画像を生成することにより、当該復元画像におけるエツジやテクスチヤ部分での画質を格段に向上させることができる。
【００２６】
【実施例】
以下図面について、本発明の一実施例を詳述する。
【００２７】
（１）全体構成
図１において、４０は全体として本発明を適用した画像符号化装置を示し、入力画像データＤ１をサブサンプリング回路４１に入力し、ここで入力画像データＤ１の所定画素を間引くことにより情報量を削減した後、続く圧縮エンコーダ４２に送出する。圧縮エンコーダ４２は間引き後に残つた画素を圧縮符号化することにより圧縮符号化データＤ２を生成し、これを伝送画像データとして出力する。
【００２８】
また圧縮符号化データＤ２はローカルデコーダ４３によつて復号され、当該復号データＤ２０が係数選定回路４４及びクラス分類回路４５に与えられる。
クラス分類回路４５は補間対象画素（すなわち間引かれた画素）を注目画素とし、当該注目画素の空間的及び又は時間的に周辺の伝送画素の分布状態に応じて各注目画素をクラス分類し、当該分類結果をその補間対象画素のクラス情報（以下これをインデツクスデータと呼ぶ）Ｄ２１として係数選定回路４４に送出する。
【００２９】
係数選定回路４４は遅延回路４６を介して入力した入力画像データＤ１及び復号データＤ２０に基づき、各クラス毎に、入力画像データＤ１に含まれる注目画素の画素値とその周辺の復号データＤ２０の画素値との相関関係を１フレーム毎に学習により求め、この学習結果を係数データＤ４として出力する。
因に遅延回路４６はサブサンプリング回路４１、圧縮エンコーダ４２及びローカルデコーダ４３で要する処理時間分だけ入力画像データＤ１を遅延させるものである。
【００３０】
画像符号化装置４０から送出された伝送データは、図２に示すような構成でなる画像復号化装置６０により受信されて復号される。画像復号化装置６０は、圧縮符号化データＤ２を圧縮デコーダ６１によつて復号し、これにより得た復号データＤ３０をクラス分類回路６２に与える。
クラス分類回路６２は図１について上述したクラス分類回路４５と同様の構成でなり、実際には伝送されてこない補間対象画素を注目画素とし、当該注目画素の空間的及び又は時間的に周辺の伝送画素の状態に応じて当該注目画素をクラス分類することにより、各注目画素のインデツクスデータＤ３１を発生し、これを補間データ作成回路６３に送出する。
【００３１】
補間データ作成回路６３は、各補間対象画素のインデツクスデータＤ３１、復号データＤ３０及び係数データＤ４に基づいて補間データＤ３２を求める。実際上、補間データ作成回路６３はインデツクスデータＤ３１に対応した係数データＤ４を選択し、選択した係数データＤ４と補間対象画素の周辺の復号データＤ３０とを用いて線形一次結合式を立てることにより補間データＤ３２を求める。
【００３２】
このようにして得られた補間データＤ３２は時系列変換回路６４に送出される。時系列変換回路６４は、復号データＤ３０と補間データＤ３２を原画像（すなわち入力画像データＤ１）と同一に配列することにより復元画像データＤ３３を生成する。
かくして画像復号化装置６０は、真値に近い補間画素を得ることができることにより画質劣化のほとんど無い復元画像を得ることができる。
【００３３】
（２）クラス分類回路
クラス分類回路４５及び６２は、図３に示すように構成されている。ここで画像復号化装置６０のクラス分類回路６２は、画像符号化装置４０のクラス分類回路４５と同様の構成を有するためクラス分類回路４５について説明する。
クラス分類回路４５は、復号データＤ２０を時系列変換回路５０によりラインスキヤン順に配列して、続く平均補間値生成回路５１に送出する。
【００３４】
平均補間値生成回路５１は、サブサンプリング回路４１によつて間引かれた画を水平ライン方向の平均値補間によつて求める。すなわち平均補間値生成回路５１は、それぞれ入力データを水平方向に１画素分遅延させる遅延素子（Ｄ）５１Ａ及び５１Ｂを介して加算回路５１Ｄに与えると共に、入力データをそのまま加算回路５１Ｄに与える。この結果加算回路５１Ｄでは、例えば図５の「○」印で示すサンプリング画素からその間の間引かれた画素の画素値が算出される。
【００３５】
因に、加算回路５１Ｄは、加算演算に加えて、その加算結果に１／２を乗算する乗算機能も有し、水平方向の２つのサンプリング画素の平均演算によりその間の間引かれた画素の画素値を求める。
加算回路５１Ｄの出力は、遅延素子（Ｄ）５１Ｅを介してセレクタ５１Ｃに与えられる。セレクタ５１Ｃはサンプリング画素と平均補間画素とを交互に出力する。時系列変換回路５２は、サンプリング画素と平均補間画素とを続くエツジ強調フイルタ５３の処理に適する順に並べ換える。
【００３６】
エツジ強調フイルタ５３は、２次元のエツジ強調処理を施すことにより、平均補間画素近傍でのエツジを強調する。これにより平均値補間により失われたエツジ情報やテクスチヤ情報を元の画像に近い値に戻す。実施例の場合、エツジ強調フイルタ５３のフイルタ係数は図４に示すように選定されている。
エツジ強調フイルタ５３の出力は時系列変換回路５４により所定の順序に並び換えられた後、ＡＤＲＣエンコーダ５５に与えられる。この結果ＡＤＲＣエンコーダ５５は平均補間画素を注目画素とすると、この注目画素を含むｎ個の周辺画素を受け取る。
【００３７】
ＡＤＲＣエンコーダ５５は入力したｎ個の画素に対してそれぞれｋビツトの適応量子化を施し、この結果得たコードを定められた順番に並べてシフトレジスタ５６に記憶させる。かくしてシフトレジスタ５６からはトータルｎ×ｋビツトのパターンでなるインデツクスデータＤ２１（又はＤ３１)(Ｌ1 〜Ｌm ）が出力される。従つて注目画素は２n*k 個のクラスの何れかに分類される。
【００３８】
このようにクラス分類回路４５及び６２においては、先ず間引かれた画素に対応する画素値を平均補間により求めた後、エツジ強調処理を施し、この結果得た画素に対してクラス分類処理を施すようにしたことにより、復元画像において特に鮮明に戻したいエツジ部、あるいはテクスチヤ部分付近を考慮したクラス分類ができる。
【００３９】
（３）詳細構成
次にサブサンプリング回路４１、圧縮エンコーダ４２、係数選定回路４４及び補間データ作成回路６３の詳細な構成について説明する。
【００４０】
この実施例の場合、サブサンプリング回路４１は、図５に示すように、各時点Ｔ０、Ｔ１、Ｔ２、……でのフレーム画像に対して伝送画素数が1/2 になるような間引き処理を施す。このときサブサンプリング回路４１は、連続する時点間で、前の時点でサンプリングした位置と同様の位置の画素を次の時点ではサンプリングしないというように交互に間引く画素位置を選択する所謂1/2 時空間オフセツトサブサンプリングを行うことにより、画像の特徴量をできるだけ残しながら伝送情報量を1/2 に削減する。
因に、図５における「○」印は間引き後に残つた画素（すなわち伝送画素）を表し、「＋」印は補間対象画素（間引かれた画素）を表わす。また下段のｗ1 〜ｗ38は、後述する係数選定回路４４によつて求められる線形一次結合モデルの係数を表わす。
【００４１】
圧縮エンコーダ４２は、ＡＤＲＣ（Adaptive Dynamic Range Coding ）回路により構成されており、例えば１画素当り８ビツトの情報量でなる画素データを、所定ブロツク内での最大画素値と最小画素値との差分を表わすダイナミツクレンジ情報と、最小画素情報と、各画素値と最小画素値との差分を例えば１ビツト量子化した際の量子化情報とで表わすことにより、伝送情報量を有効に削減する。
【００４２】
係数選定回路４４は、補間対象画素を、当該補間対象画素の周辺の伝送画素と係数との線形一次結合モデルによつて表し、このとき用いた係数を各クラス毎に最小二乗法の演算によつて求める。
この係数選定の原理について説明する。図５に示すように、補間対象画素ｙm の存在するフレームをＴ１とすると、そのフレームＴ１から補間対象画素ｙm を中心としてその周囲の領域を切り出すと共に、一つ前の時点のフレームＴ０及び一つ後の時点のフレームＴ２からフレームＴ１で切り出した領域と空間的に同じ位置の領域を切り出す。また補間対象画素ｙm の画素値は入力画像データＤ１から抽出する。
【００４３】
ここで先ずフレームＴ０〜Ｔ２から切り出した領域内の伝送画素それぞれに係数ｗi を掛けることにより、補間対象画素ｙm を空間的及び時間的に周辺の伝送画素による線形一次結合によつて表わす。この結果補間対象画素ｙm の行列式Ｙと周辺の伝送画素ｘmiの行列式Ｘは、係数ｗi の行列式Ｗを用いて、次式、
【数１】
【００４４】
ここで（１）式に基づき、１フレームに対して１個の係数組を求めようとすると、（１）式から１フレームの補間対象画素数分の連立方程式を作ることになる。基本的には、この連立方程式を解いて係数を求めればよい。実施例では最小二乗法を用いてこの連立方程式を解く。
すなわち先ず、（１）式を残差行列Ｅを用いて次式、
【数２】
【００４５】
ここで（２）式から各係数値ｗi の最確値を求めるためには、ｅ1 2＋ｅ2 2＋……＋ｅi-1 2＋ｅi 2 を最小にする条件、すなわち次式、
【数３】
ここで（２）式より、次式、
【数４】
【数５】
【数６】
ここで（６）式で表わされる正規方程式は未知数の数がｎ個の連立方程式であるから、これにより最確値である各係数ｗi を求めることができる。正確には（６）式でｗi に掛かる（Σｘjnｘjn）（但し、ｊ＝１……ｍ）のマトリクスが正則であれば解くことができる。実際には、Gauss-Jordanの消去法（掃き出し法）を用いて連立方程式を解く。
【００４７】
実施例の場合には、クラス分類回路４５によつて求めた各クラス毎に上述した最小二乗法を用いて係数値ｗi を求める。この結果各クラス毎に１フレームにつき１組の係数を伝送すればよいことになり、全ての補間対象画素についての係数値ｗi を求めて伝送する場合に比して、格段に伝送情報量及び演算量を低減し得る。実際に、係数の情報量はフレーム当りの画素情報量に比べて無視できるくらいのオーダーである。
【００４８】
具体的には、係数選定回路４４は、図６に示すように構成されている。すなわち係数選定回路４４は復号データＤ２０（ｘi ）及び入力画像データＤ１に含まれる補間対象画素データｙm を時系列変換メモリ９０に入力する。時系列変換メモリ９０は、図５について上述したように線形一次結合モデルを形成するための画素（ｘ1 〜ｘn 、ｙm ）を同時化して出力する。
時系列変換メモリ９０から出力されたデータは、正規化方程式生成回路９１に与えられ、当該正規化方程式生成回路９１によつて各クラス毎に（６）式で表わされるような正規化方程式が生成され、続くＣＰＵ演算回路９２によつて掃き出し法によつて各クラス毎の係数組が求められる。
【００４９】
正規化方程式生成回路９１は、先ず乗算器アレイ９３によつて各画素同士の乗算を行う。乗算器アレイ９３は、図７に示すように構成されており、四角で表わす各セル毎に画素同士の乗算を行い、これにより得た各乗算結果を続く加算器メモリ９４に与える。
【００５０】
加算器メモリ９４は、図８に示すように、乗算器アレイ９３と同様に配列されたセルでなる加算器アレイ９５とメモリ（またはレジスタ）アレイ９６Ａ1 、９６Ａ2 、……とにより構成されている。メモリアレイ９６Ａ1 、９６Ａ2 、……はクラス数分（実施例の場合、クラス分類回路４５により分類される２n*k クラス分）設けられており、インデツクスデータＤ２１をデコードするインデツクスデコーダ９７の出力（クラス）に応答して一つのメモリアレイ９６Ａ1 、９６Ａ2 、……が選択され、選択されたメモリアレイ９６Ａ1 、９６Ａ2 、……の格納値が加算器アレイ９５に帰還される。このとき加算器アレイ９５によつて得られる加算結果が、再び対応するメモリアレイ９６Ａ1 、９６Ａ2 、……に格納される。
【００５１】
このようにして乗算器アレイ９３、加算器アレイ９５及びメモリアレイ９６Ａ1 によつて積和演算が行われ、インデツクスによつて決定されるクラス毎にメモリアレイ９６Ａ1 、９６Ａ2 、……のいずれかが選択されて、積和演算の結果によつてメモリアレイ９６Ａ1 、９６Ａ2 、……の内容が更新される。
【００５２】
なお、各々のアレイの位置は、（６）式で表わされる正規化方程式のｗi にかかる（Σｘjnｘjn）（但し、ｊ＝１……ｍ）の位置に対応する。（６）式の正規化方程式を見れば明らかなように右上の項を反転すれば左下と同じものになるため、各アレイは三角形の形状をしている。
【００５３】
このようにして、１フレームの間にクラス毎に積和演算が行われて各クラス毎の正規化方程式が生成される。クラス毎の正規化方程式の各項の結果は、それぞれのクラスに対応するメモリアレイ９６Ａ1 、９６Ａ2 、……に記憶されており、次にそれらのクラス毎の正規化方程式の各項が掃き出し法演算を実現するＣＰＵ演算回路９２によつて計算される。この結果各クラス毎の係数ｗi の組が求められ、これが係数データＤ４として送出される。
【００５４】
補間データ作成回路６３は、図９に示すように、１フレーム毎に各クラスの係数組を記憶する係数メモリ１００を有し、この係数メモリ１００は各クラス毎の係数組ｗ1 〜ｗn を格納すると共に、インデツクスデコーダ１０１の出力（クラス）に応答してクラスに応じた係数組ｗ1 〜ｗn を出力する。この係数組ｗ1 〜ｗn がそれぞれレジスタ１０２Ａ1 〜１０２Ａn を介して乗算器１０３Ａ1 〜１０３Ａn に与えられる。また乗算器１０３Ａ1 〜１０３Ａn には、時系列変換回路１０４により選択された復号データｘ1 〜ｘn が与えられる。従つて乗算器１０３Ａ1 〜１０３Ａn の出力が加算回路１０５により加算されることにより、補間対象画素の画素値ｙ（＝ｘ1 ｗ1 ＋ｘ2 ｗ2 ＋……＋ｘn ｗn ）が得られる。
【００５５】
（４）実施例の動作
以上の構成において、画像符号化装置４０は入力画像データＤ１に対して間引き処理を施すことによりデータ量を削減した後、圧縮符号化データＤ２を生成する。また画像符号化装置４０は、クラス分類回路４５において間引かれた画素を注目画素とし、当該注目画素の周辺の画素の状態に応じて各間引かれた画素をクラス分類し、次に係数選定回路４４において各クラス毎の係数組ｗ1 〜ｗn を求め、これを係数データＤ４として出力する。
【００５６】
ここでクラス分類回路４５は、先ず間引かれた画素の画素値をその両隣の間引かれずに残つた画素の平均により求め、これにより得た平均補間値を含む画像に対してエツジ強調処理を施す。この結果平均補間により失われたエツジ情報やテクスチヤ情報が復元される。そしてクラス分類回路４５はこのようにエツジ情報やテクスチヤ情報が復元された画像に基づき、間引かれた画素（すなわち平均補間後エツジ強調処理がなされた補間対象画素）を含めたその周辺の画素の状態に応じて各間引かれた画素をクラス分類する。
この結果特にエツジ部分やテクスチヤ部分において、間引かれた画素を正確にクラス分類できる。
【００５７】
画像復号化装置６０では、圧縮符号化データＤ２を復号した復号データＤ３０及び係数データＤ４に基づいて復元画像データＤ３３を生成する。
このときクラス分類回路６２において、画像符号化装置４０のクラス分類回路４５でしたのと同様のクラス分類処理を施すことにより各間引かれた画素をクラス分類する。次に補間データ作成回路６３において、クラス分類結果Ｄ３１に応じて係数データＤ４から選択した係数組ｗ1 〜ｗn と復号データＤ３０とを線形一次結合させることにより補間データＤ３２を作成する。
【００５８】
かくして補間対象画素（間引かれた画素）をその周辺の画像の特徴に応じて的確にクラス分類したことにより、一段と真値に近い補間データＤ３２を得ることができ、間引きに基づく画質劣化の少ない復元画像を得ることができる。
【００５９】
（５）実施例の効果
以上の構成によれば、間引かれずに残つた画素を用いて補間対象画素に対応する補間画素値を生成し、この補間画素値と間引かれずに残つた画素とでなる画像に対してエツジ強調処理を施した後、補間対象画素と当該補間画素周辺に位置する伝送画素の状態に応じて当該補間画素をクラス分類するようにしたことにより、特にエツジやテクスチヤ部分において正確なクラス分けができる。かくして復元画像におけるエツジやテクスチヤ部分での画質を格段に向上させることができる。
【００６０】
（６）他の実施例
なお上述の実施例のクラス分類回路４５及び６２においては、平均補間値生成回路５１によつて間引かれた画素の画素値を水平ライン方向の平均値補間により求めた場合について述べたが、本発明はこれに限らず、例えば２次元の適応補間等により間引かれた画素の補間画素値を求めるようにしてもよく、エツジ強調前の間引かれた画素の補間方法としては種々のものを適用できる。
【００６１】
また上述の実施例のクラス分類回路４５及び６２においては、ＡＤＲＣエンコーダ５５を設け、エツジ強度後の画像をＡＤＲＣ符号化し、これにより得たビツト数が圧縮されたコードのパターンに基づいて間引かれた画素をクラス分類する場合について述べたが、ＡＤＲＣエンコーダ５５に代えて、例えばＤＣＴ（Discrete Cosine Transform)変換符号化、ＤＰＣＭ（差分量子化）、ベクトル量子化、サブバンド符号化、ウエーブレツト変換等の他の圧縮機能を有する回路を設けて、その出力コードのパターンに基づいて間引かれた画素をクラス分類するようにしてもよい。さらに圧縮したコードのパターンに基づいてクラス分類する場合に限らず、エツジ強調後の画像の相関度の強い方向に応じて間引かれた画素をクラス分類してもよく、すなわちエツジ強調後のクラス分類としては種々の手法を適用できる。
【００６２】
また上述の実施例においては、間引き後に残つた伝送画素を圧縮エンコーダ４２により圧縮符号化して伝送する場合について述べたが、本発明はこれに限らず、圧縮符号化せずに間引き後に残つた間引きデータをそのまま伝送する場合にも適用することができる。この場合には、画像符号化装置４０側で圧縮エンコーダ４２及びローカルデコーダ４３を省略すると共に、画像復号化装置６０側で圧縮デコーダ６１を省略すればよい。
【００６３】
また上述の実施例においては、圧縮エンコーダ４２としてＡＤＲＣ回路を用いた場合について述べたが、本発明はこれに限らず、圧縮エンコーダ４２として例えばＤＣＴ変換符号化、ＤＰＣＭ、ベクトル量子化、サブバンド符号化、ウエーブレツト変換等の圧縮手法を用いた場合にも上述の実施例と同様の効果を得ることができる。
【００６４】
また上述の実施例においては、サブサンプリング回路４１によつて入力画像データＤ１に対して１／２の間引き処理を行う場合について述べたが、本発明はこれに限らず、例えば１／４の間引き処理等、他の間引き処理を行つた場合でも実施例と同様の効果を得ることができる。
【００６５】
また上述の実施例においては、注目画素とこの注目画素の空間的及び又は時間的に周辺の伝送画素との相関関係を表すパラメータとして、線形一次結合モデルを最小二乗法により解いて得た係数データＤ４を伝送する場合について述べたが、本発明はこれに限らず、パラメータとしては例えば各クラス毎に求めた注目画素周辺の伝送画素値の平均値を代表値として伝送するようにしても良い。この場合平均演算に重心法を用いるようにすれば、クラス毎に誤差の少ない代表値を容易に求めることができる。またこれに限らず、要は伝送されない注目画素と伝送画素との相関関係を表すような種々のパラメータを用いることができる。
【００６６】
また上述の実施例においては、圧縮符号化データＤ２と共に係数データＤ４を伝送する画像符号化装置４０のクラス分類回路４５及びその画像復号化装置６０のクラス分類回路６２に本発明を適用した場合について述べたが、本発明はこれに限らず、例えば図１１に示すように、各クラス毎の予測係数Ｄ１３を発生するメモリ３６を有する画像復号化装置（受信器）３０のクラス分類手段（クラスタリング回路）３５にも本発明を適用できる。
【００６７】
この場合のメモリ３６には、予め学習によつて各クラス毎に獲得した予測係数を格納するようにすれば良い。一例としては、各クラス毎に立てた線形一次結合モデルの係数を、最小二乗法により求めるといつた処理を様々な画像に対して行うことにより予測係数を求める手法がある。
【００６８】
さらには画像符号化装置（送信器）２０側にも実施例のような係数データを発生する係数選定回路４４（図１）を設け、予め学習により獲得したメモリ３６の内容を、新たに画像符号化装置から伝送されてくる係数データによつて更新するようにした画像信号伝送装置のクラス分類手段にも本発明を適用できる。
【００６９】
さらに図１１に示すメモリ３６に予測係数に代えて各クラス毎の予測値を予め格納するようにした画像復号化装置（受信器）３０のクラス分類手段（クラスタリング回路）３５にも本発明を適用できる。
【００７０】
この場合のメモリ３６に格納する予測値を求める第１の方法としては、加重平均を用いた学習方法がある。詳述すれば、補間対象画素の周辺の伝送画素を用いて、補間対象画素に対してクラス分類を行い、クラス毎に積算した補間対象画素の画素値を補間対象画素の個数によつてインクリメントされた度数によつて割ると言つた処理を様々な画像に対して行うことにより予測値を求めることができる。
【００７１】
またメモリ３６に格納する予測値を求める第２の方法としては、正規化による学習方法がある。詳述すれば、補間対象画素を含む複数の画素からなるブロツクを形成し、このブロツク内のダイナミツクレンジによつて、補間対象画素の画素値からそのブロツクの基準値を減算した値を正規化し、この正規化された値の累積値を累積度数で除した値を予測値とする処理を様々な画像に対して行うことにより予測値を求めることができる。
【００７２】
このように本発明によるクラス分類手法は、クラス分類を施し各クラス毎に求めた予測係数又は予測値を使つて補間画素値を生成する場合に広く適用することができる。
【００７３】
【発明の効果】
上述のように本発明によれば、入力画像の所定画素をサンプリングすることにより画素数の低減した伝送画像を生成するサンプリング手段と、伝送画像における注目する注目位置周辺の複数の画素値を用いた補間処理により、当該注目位置の画素に対応する仮補間画素値を生成する仮補間画素値生成手段と、仮補間画素値及び伝送画像の画素値でなる画像に対してエツジ強調処理を施すエツジ強調手段と、エツジ強調後の画像について、注目位置の画素と当該注目位置の周辺に位置する複数の画素との状態に応じて各注目位置をクラス分類するクラス分類手段と、クラス分類手段により分類されたクラス毎に、注目位置の画素値と伝送画像において当該注目位置の空間的及び又は時間的に周辺に位置する複数の画素の画素値とにより線形一次結合モデル方程式を立て、当該線形一次結合モデル方程式を解いて得た係数をパラメータとして生成し、当該パラメータをメモリ手段に一時記憶させるパラメータ生成手段と、伝送画像の画素値及びメモリ手段に一時記憶しているパラメータを伝送することにより、当該画素値及び当該パラメータを受信した画像信号処理装置に対して、注目位置の画素と当該注目位置の周辺に位置する複数の画素との状態に応じて当該注目位置をクラス分類させた上で、分類されたクラスに応じたパラメータと上記伝送画像の画素値との線形一次結合式の演算により注目位置の本補間画素値を算出させ、入力画像における注目位置に当該本補間画素値を配列させて復元画像を生成させる伝送手段とを設けたことにより、注目位置の画素をクラス分類する場合に、エツジ情報やテクスチヤ情報を考慮した、より的確なクラス分類ができる。この結果、復元画像の画質を向上させることができる。
【図面の簡単な説明】
【図１】実施例の画像符号化装置の全体構成を示すブロツク図である。
【図２】実施例の画像復号化装置の全体構成を示すブロツク図である。
【図３】実施例によるクラス分類回路の構成を示すブロツク図である。
【図４】エツジ強調フイルタのフイルタ係数を示す略線図である。
【図５】サブサンプリング回路による間引き処理の説明、並びに線形一次結合モデルに用いる画素及び係数の説明に供する略線図である。
【図６】係数選定回路の構成を示すブロツク図である。
【図７】乗算器アレイの構成を示す略線図である。
【図８】加算器メモリの構成を示す略線図である。
【図９】補間データ作成回路の構成を示すブロツク図である。
【図１０】従来のデイジタルデータ変換装置の構成を示すブロツク図である。
【図１１】受信器側に予測係数又は予測値を格納したメモリを有するデイジタルデータ変換装置の構成を示すブロツク図である。
【符号の説明】
１、２０……送信器、１０、３０……受信器、３５……クラスタリング回路、３６……メモリ、３７……補間データ作成回路、４０……画像符号化装置、４１……サブサンプリング回路、４２……圧縮エンコーダ、４３……ローカルデコーダ、４５、６２……クラス分類回路、４４……係数選定回路、５１……平均補間値生成回路、５３……エツジ強調フイルタ、５５……ＡＤＲＣエンコーダ、６３……補間データ推定回路、６０……画像復号化装置、Ｄ１……入力画像データ、Ｄ２……圧縮符号化データ、Ｄ４……係数データ、Ｄ２１、Ｄ３１……インデツクスデータ、Ｄ３２……補間データ、Ｄ３３……復元画像データ、Ｗ1 〜Ｗ38……係数。
Claims (13)
- 複数の画素で構成される入力画像の注目する注目位置の画素を、その周辺の画素の状態に応じてクラス分類し、各クラス毎に処理を施すことにより上記注目位置の画素値を求める画素信号処理方法であつて、
上記注目位置周辺の複数の画素値を用いた補間処理により、当該注目位置の画素に対応する仮補間画素値を生成する仮補間ステツプと、
上記仮補間画素値及び上記入力画像の画素値でなる画像に対してエツジ強調処理を施すエツジ強調ステツプと、
エツジ強調後の画像について、上記注目位置の画素と上記入力画像において当該注目位置周辺に位置する複数の画素との状態に応じて各注目位置をクラス分類するクラス分類ステツプと、
上記注目位置周辺に位置する複数の画素の画素値を用いた線形一次結合モデルの係数が上記クラス毎にパラメータとして記憶されたメモリ手段から、上記クラス分類ステツプにより分類されたクラスに応じたパラメータ値が記憶されたメモリ手段から当該クラスに応じた値を読み出す値読出ステツプと、
上記クラスに応じたパラメータ値と上記注目位置周辺に位置する複数の画素の画素値との線形一次結合式を演算することを用いた処理により上記注目位置に対応する本補間画素値を生成する本補間ステツプと
を具えることを特徴とする画像信号処理方法。 - 上記クラス分類ステツプは、
上記エツジ強調後の画像における上記注目位置の画素と当該注目位置周辺に位置する複数の画素とをＡＤＲＣ（Adaptive Dynamic Range Coding）符号化し、これにより得たビツトコードのパターンに基づいて上記注目位置をクラス分類する
ことを特徴とする請求項１に記載の画像信号処理方法。 - 入力画像の所定画素をサンプリングすることにより画素数の低減した伝送画像を生成するサンプリング手段と、
上記伝送画像における注目する注目位置周辺の複数の画素値を用いた補間処理により、当該注目位置の画素に対応する仮補間画素値を生成する仮補間画素値生成手段と、
上記仮補間画素値及び上記伝送画像の画素値でなる画像に対してエツジ強調処理を施すエツジ強調手段と、
上記エツジ強調後の画像について、上記注目位置の画素と当該注目位置の周辺に位置する複数の画素との状態に応じて各注目位置をクラス分類するクラス分類手段と、
上記クラス分類手段により分類されたクラス毎に、上記注目位置の画素値と上記伝送画像における当該注目位置の空間的及び又は時間的に周辺に位置する複数の画素の画素値とにより線形一次結合モデル方程式を立て、当該線形一次結合モデル方程式を解いて得た係数をパラメータとして生成し、当該パラメータをメモリ手段に一時記憶させるパラメータ生成手段と、
上記伝送画像の画素値及び上記メモリ手段に一時記憶しているパラメータを伝送することにより、当該画素値及び当該パラメータを受信した画像信号処理装置に対して、上記注目位置の画素と当該注目位置の周辺に位置する複数の画素との状態に応じて当該注目位置をクラス分類させた上で、分類されたクラスに応じた上記パラメータと上記伝送画像の画素値との線形一次結合式の演算により記注目位置の本補間画素値を算出させ、上記入力画像における上記注目位置に当該本補間画素値を配列させて復元画像を生成させる伝送手段と
を具えることを特徴とする画像信号伝送装置。 - 上記クラス分類手段は、
上記エツジ強調後の画像における上記注目位置の画素と当該注目位置周辺に位置する複数の画素とをＡＤＲＣ符号化し、これにより得たビツトコードのパターンに基づいて各注目位置をクラス分類する
ことを特徴とする請求項３に記載の画像信号伝送装置。 - 上記パラメータ生成手段は、
上記クラス分類手段により分類されたクラス毎に、上記注目位置の画素値と上記伝送画像における当該注目位置の空間的及び又は時間的に周辺の複数の画素の画素値との線形一次結合モデル上記線形一次結合モデルの係数をを立て、最小二乗法の演算により得て得た当該線形一次結合モデルの係数を上記パラメータとして生成し、当該パラメータを上記メモリ手段に一時記憶させる
ことを特徴とする請求項３に記載の画像信号伝送装置。 - 画像伝送元から受信した入力画像の注目する注目位置周辺の複数の画素値を用いた補間処理により、当該注目位置の画素に対応する仮補間画素値を生成する仮補間画素値生成手段と、
上記仮補間画素値及び上記入力画像の画素値でなる画像に対してエツジ強調処理を施すエツジ強調手段と、
上記エツジ強調後の画像について、上記注目位置の画素と当該注目位置の周辺に位置する複数の画素との状態に応じて各注目位置をクラス分類するクラス分類手段と、
上記注目位置の画素値と上記入力画像において上記注目位置の空間的及び又は時間的に周辺に位置する複数の画素の画素値とに基づいて立てた線形一次結合モデル方程式を上記クラス毎に解いて得た上記クラス毎のパラメータを上記入力画像と共に受信し、上記クラス分類手段により分類されたクラスに応じた上記パラメータと上記入力画像の画素値との線形一次結合式を演算するを上記方程式に適用することにより上記注目位置に対応した本補間画素値を生成する本補間画素値生成手段と、
上記入力画像の上記注目位置に画素値と上記本補間画素値とを配列することにより基に復元画像を生成する復元画像生成手段と
を具えることを特徴とする画像信号伝送装置。 - 上記クラス分類手段は、
上記エツジ強調後の画像における上記注目位置の画素と当該注目位置周辺に位置する複数の画素とをＡＤＲＣ符号化し、これにより得たビツトコードのパターンに基づいて各注目位置をクラス分類する
ことを特徴とする請求項６に記載の画像信号伝送装置。 - 上記本補間画素値生成手段は、
上記注目位置の画素値と上記入力画像において上記注目位置の空間的及び又は時間的に周辺に位置する複数の画素の画素値との線形一次結合モデルを上記クラス毎に上記線形一次結合モデルを最小二乗法の演算により解いて得た係数でなるパラメータを上記入力画像と共に受信し、上記クラス分類手段により分類されたクラスに応じた上記パラメータと上記入力画像の画素値との線形一次結合式を演算するを上記線形一次結合モデルに適用することにより上記本補間画素値を生成する
ことを特徴とする請求項６に記載の画像信号伝送装置。 - 画像伝送元から受信した入力画像の注目する注目位置周辺の複数の画素値を用いた補間処理により、当該注目位置の画素に対応する仮補間画素値を生成する仮補間画素値生成手段と、
上記仮補間画素値及び上記入力画像の画素値でなる画像に対してエツジ強調処理を施すエツジ強調手段と、
上記エツジ強調後の画像について、上記注目位置の画素と当該注目位置の周辺に位置する複数の画素との状態に応じて各注目位置をクラス分類するクラス分類手段と、
上記クラス毎に、上記注目位置の画素値と上記入力画像における当該注目位置の空間的及び又は時間的に周辺に位置する複数の画素の画素値とに基づいて立てた線形一次結合モデルを解いて得た方程式の係数をパラメータとして予め記憶するメモリ手段と、
上記クラス分類手段により分類されたクラスに応じた上記パラメータを上記メモリ手段から読み出し、当該パラメータと上記入力画像の画素値との線形一次結合式を演算するを上記方程式に適用することにより上記注目位置に対応した本補間画素値を生成する本補間画素値生成手段と、
上記入力画像の上記注目位置に画素値と上記本補間画素値とを配列することにより基に復元画像を生成する復元画像生成手段と
を具えることを特徴とする画像信号伝送装置。 - 上記メモリ手段は、
上記クラス毎に、上記注目位置の画素値と上記入力画像において当該注目位置の空間的及び又は時間的に周辺に位置する複数の画素の画素値とに基づいて立てた線形一次結合モデル上記線形一次結合モデルを最小二乗法の演算により解いて得た係数を上記パラメータとして記憶するし、
上記本補間画素値生成手段は、
上記クラス分類手段により分類されたクラスに応じた上記パラメータを上記メモリ手段から読み出し、当該パラメータと上記入力画像の画素値とを上記線形一次結合モデルに適用することにより上記注目位置に対応した本補間画素値を生成する
ことを特徴とする請求項９に記載の画像信号伝送装置。 - 画像伝送元から受信した入力画像の注目する注目位置周辺の複数の画素値を用いた補間処理により、当該注目位置の画素に対応する仮補間画素値を生成する仮補間画素値生成手段と、
上記仮補間画素値及び上記入力画像の画素値でなる画像に対してエツジ強調処理を施すエツジ強調手段と、
上記エツジ強調後の画像について、上記注目位置の画素と当該注目位置の周辺に位置する複数の画素との状態に応じて各注目位置をクラス分類するクラス分類手段と、
予め上記クラス毎に上記注目位置に対応する画素値の予測値を記憶するメモリ手段と、
上記クラス分類手段により分類されたクラスに応じた上記予測値を上記メモリ手段から読み出して当該予測値を上記注目位置に対応した本補間画素値とし、上記入力画像の上記注目位置に画素値と当該本補間画素値とを配列することにより基に復元画像を生成する復元画像生成手段と
を具えることを特徴とする画像信号伝送装置。 - 上記メモリ手段は、
予め、上記入力画像の画素値と上記注目位置の画素値とを用いて加重平均演算による学習によつて、各クラス毎に求められた画素値を上記予測値として記憶する
ことを特徴とする請求項１１に記載の画像信号伝送装置。 - 上記メモリ手段は、
予め、上記入力画像の画素値と上記注目位置の画素値とを用いて正規化による学習によつて、各クラス毎に求められた画素値を上記予測値として記憶する
ことを特徴とする請求項１１に記載の画像信号伝送装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP24691394A JP3759538B2 (ja) | 1994-09-14 | 1994-09-14 | 画像信号処理方法及び画像信号伝送装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP24691394A JP3759538B2 (ja) | 1994-09-14 | 1994-09-14 | 画像信号処理方法及び画像信号伝送装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH0888849A JPH0888849A (ja) | 1996-04-02 |
| JP3759538B2 true JP3759538B2 (ja) | 2006-03-29 |
Family
ID=17155619
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP24691394A Expired - Lifetime JP3759538B2 (ja) | 1994-09-14 | 1994-09-14 | 画像信号処理方法及び画像信号伝送装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3759538B2 (ja) |
Families Citing this family (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7453936B2 (en) | 2001-11-09 | 2008-11-18 | Sony Corporation | Transmitting apparatus and method, receiving apparatus and method, program and recording medium, and transmitting/receiving system |
| JP4633577B2 (ja) * | 2005-08-24 | 2011-02-16 | 富士フイルム株式会社 | データ圧縮装置およびデータ圧縮プログラム |
| CN101563926B (zh) * | 2006-12-18 | 2011-11-16 | 皇家飞利浦电子股份有限公司 | 图像压缩与解压缩 |
| JP4735610B2 (ja) * | 2007-06-26 | 2011-07-27 | ソニー株式会社 | 受信装置及び方法、プログラム、並びに記録媒体 |
| US8270466B2 (en) * | 2008-10-03 | 2012-09-18 | Sony Corporation | Adaptive decimation filter |
| JP2016219973A (ja) * | 2015-05-19 | 2016-12-22 | ソニー株式会社 | 画像処理装置および画像処理方法 |
-
1994
- 1994-09-14 JP JP24691394A patent/JP3759538B2/ja not_active Expired - Lifetime
Also Published As
| Publication number | Publication date |
|---|---|
| JPH0888849A (ja) | 1996-04-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US9438930B2 (en) | Systems and methods for wavelet and channel-based high definition video encoding | |
| EP1138152B1 (en) | Method and apparatus for performing hierarchical motion estimation using nonlinear pyramid | |
| US6597739B1 (en) | Three-dimensional shape-adaptive wavelet transform for efficient object-based video coding | |
| US20070133687A1 (en) | Motion compensation method | |
| US8625678B2 (en) | Method for scalable video coding on a plurality of space resolution levels | |
| JP4126709B2 (ja) | 画像処理装置および画像処理方法 | |
| WO1994014278A1 (en) | Image signal converter | |
| WO2000033255A1 (en) | Compressing and decompressing images | |
| JPH10191360A (ja) | 動き推定ベクトルを求める方法および動き推定ベクトルを用いて動画像データを圧縮する方法 | |
| JP3271101B2 (ja) | ディジタル画像信号処理装置および処理方法 | |
| JP3759538B2 (ja) | 画像信号処理方法及び画像信号伝送装置 | |
| EP2001238A2 (en) | Image coding based on the Radon transform | |
| JP3703034B2 (ja) | 画像信号処理方法及び画像信号伝送装置 | |
| JP3271095B2 (ja) | ディジタル画像信号の高能率符号化装置および復号装置 | |
| JP3759537B2 (ja) | 画像信号伝送装置及び画像信号伝送方法 | |
| JP3946781B2 (ja) | 画像情報変換装置及び方法 | |
| JP2001285881A (ja) | ディジタル情報変換装置および方法、並びに画像情報変換装置および方法 | |
| JP3400055B2 (ja) | 画像情報変換装置及び画像情報変換方法並びに画像処理装置及び画像処理方法 | |
| JP3653287B2 (ja) | 画像情報変換装置及び画像情報変換方法 | |
| JP3587188B2 (ja) | ディジタル画像信号処理装置および処理方法 | |
| JP4123452B2 (ja) | 画像処理装置および画像処理方法 | |
| JPH0746589A (ja) | ディジタル画像信号処理装置 | |
| JPH0785287A (ja) | 予測符号化装置およびその復号装置 | |
| JP3869303B2 (ja) | 画像復号化方法及び装置 | |
| JP2000295622A (ja) | 動画像符号化方法、動画像符号化装置、動画像復号方法、動画像復号装置及びそれらのプログラムを記憶した記憶媒体 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20050107 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050308 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20050415 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050613 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20051216 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20051229 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100113 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100113 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110113 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120113 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130113 Year of fee payment: 7 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| EXPY | Cancellation because of completion of term |