JPH0888849A - 画像信号処理方法及び画像信号伝送装置 - Google Patents
画像信号処理方法及び画像信号伝送装置Info
- Publication number
- JPH0888849A JPH0888849A JP24691394A JP24691394A JPH0888849A JP H0888849 A JPH0888849 A JP H0888849A JP 24691394 A JP24691394 A JP 24691394A JP 24691394 A JP24691394 A JP 24691394A JP H0888849 A JPH0888849 A JP H0888849A
- Authority
- JP
- Japan
- Prior art keywords
- pixel
- thinned
- pixels
- interpolation
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
- Compression Of Band Width Or Redundancy In Fax (AREA)
- Signal Processing For Digital Recording And Reproducing (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
Abstract
に、一段と的確なクラス分類処理を施すことにより復元
画像の画質を向上させる。 【構成】間引かれずに残つた画素を用いて間引かれた画
素に対応する補間画素値を生成し、この補間画素及び間
引かれずに残つた画素でなる画像に対してエツジ強調処
理を施した後、間引かれた画素をクラス分類したことに
より特にエツジやテクスチヤ部分において正確なクラス
分けができる。かくして復元画像におけるエツジやテク
スチヤ部分での画質を格段に向上させることができる。
Description
像信号伝送装置に関し、特に原画像データの情報量を間
引き処理によつて削減して伝送する画像信号伝送装置に
適用して好適なものである。
ように画像信号を遠隔地に伝送するいわゆる画像信号伝
送システムや、画像信号をデイジタル化してビデオテー
プレコーダやビデオデイスクレコーダに記録し再生する
装置においては、伝送路や記録媒体を効率良く利用する
ため、デイジタル化した画像信号の相関を利用して有意
情報を効率的に符号化することにより伝送情報量や記録
情報量を削減し、伝送効率や記録効率を高めるようにな
されている。
化することにより、伝送するデータ量を削減する手法が
広く用いられている。この高能率符号化では、一般に、
予め原画像データに対して空間的あるいは時空間でのサ
ブサンプリング(間引き)を行うことにより画素数を減
らした後、圧縮符号化処理を施すことにより、伝送する
情報量を一段と削減している。時空間サブサンプリング
の例としては、MUSE(Multiple Sampling Encode)
方式がある。
すなわち間引かれた画素を補間によつて求めることによ
り解像度を上げる。一般には、固定タツプ、固定係数の
フイルタによつて補間を行う。ところが、このような補
間方法では、補間画素値を当該補間画素に隣接する複数
の画素の画素値の平均により求めるため、画像の種類に
よつては、画像ぼけ、時空間での変動(すなわちジヤー
キネス、エツジビジネス等)が発生し、この結果復元画
像に画質劣化が生じる問題がある。
特願平5-201913号に記載されているようなデイジタルデ
ータ変換装置が提案されている。図10(A)に示すよ
うに、このデイジタルデータ変換装置における送信器1
は入力画像データD1をサブサンプリング回路2及びエ
ンコーダ3を通すことにより圧縮符号化データD2を生
成し、これを出力端子4に与える。
ローカルデコーダ5により復号した後、最小二乗法演算
回路6に供給する。最小二乗法演算回路6は、復号デー
タD3及び入力画像データD1を入力し、サブサンプリ
ングにより間引かれた画素(取り除かれた画素)を注目
画素とし、入力画像データD1に含まれる当該注目画素
の画素値と復号データD3に含まれるその周辺の画素の
画素値とで線形一次結合モデルを立て、この線形一次結
合モデルの係数を最小二乗法の演算を行うことにより求
める。この結果最小二乗法演算回路6からは、サブサン
プリング回路2によつて間引かれた画素に対応した係数
データD4が出力され、当該係数データD4が出力端子
7に与えられる。
プリング後の画像データを圧縮符号化して得た圧縮符号
化データD2と共に、間引かれた画素とその周辺の伝送
画素との相関関係を表わす係数データD4を伝送するよ
うになされている。。
は、図10(B)に示すように構成されており、圧縮符
号化データD2を入力端子11を介してデコーダ12に
入力する。デコーダ12によつて復号された復号データ
D5は時系列変換回路13及び補間演算回路14に供給
される。また受信器10は係数データD4を入力端子1
5を介して補間演算回路14に入力する。
数データD4を用いて、線形一次結合式から補間データ
D6を求め、これを時系列変換回路13に送出する。時
系列変換回路13は、復号データD5と補間データD6
を原画像(すなわち入力画像データD1)と同一に配列
し、復元画像データD7を得る。
されたデイジタルデータ変換装置においては、送信器1
側において、高能率符号化して得た圧縮符号化データD
2のみを伝送するのではなく、間引かれた画素とその周
辺の伝送画素との相関関係を表わす係数データD4を共
に伝送し、受信器10側において、その係数データD4
を用いて実際には伝送されない間引かれた画素を生成す
るようにしたことにより、間引きにより伝送情報量を削
減した場合でも、受信器10側での画質劣化を低減し得
るようになされている。
て、送信器1側で、補間対象画素(注目画素)の周辺の
伝送画素の分布状態に応じて当該補間対象画素をクラス
分類し、各クラス毎に最小二乗法演算回路6によつて上
述した係数データD4を求める方法が提案されている。
この方法によれば、係数データD4の精度を向上し得る
ことにより受信器10での復元画像の画質を向上するこ
とができる。なおこの場合には、受信器側でも送信器側
と同様のクラス分類を行い、そのクラスについての係数
データを選択して補間画素値を得るようになされてい
る。
報に開示されているように、受信側に予め学習によつて
求めた予測係数又は予測値を格納するメモリを設け、間
引き処理が施された伝送画像データに応じて当該メモリ
から読み出される予測係数に基づき補間画素値を生成
し、又は伝送画像データに応じて当該メモリから読み出
される予測値を補間画素値とすることにより、間引きに
基づく画質劣化を低減するデイジタルデータ変換装置が
提案されている。
に示すように、送信器20において、サブサンプリング
回路21、エンコーダ22及び送信処理回路23を通し
て得た圧縮符号化データD10を出力端子24を介して
伝送路25に送出する。受信器30は入力端子31を介
して入力した圧縮符号化データD10を受信処理回路3
2及びデコーダ33を通すことにより復号データD11
を得、これを同時化回路34に送出する。同時化回路3
4は間引かれた画素を注目画素とし、各注目画素毎に周
辺の複数の伝送画素を同時化してクラスタリング回路3
5に送出する。
像データを階調やパターンに応じてクラス分類し、この
クラス分類結果を各注目画素のクラスを表わすクラス情
報D12としてメモリ36に送出する。メモリ36はク
ラス情報D12をアドレスとして、予め学習により各ク
ラス毎に求められて格納されている予測係数のうち、入
力したクラス情報D12に対応した予測係数D13を出
力する。
と同時化された周辺画素値とを使つて線形一次結合によ
る演算を施すことにより、補間画素データD14を作成
する。この補間画素データD14と復号データD11が
続く合成回路38によつて合成されることにより、復元
画像データD15が生成される。
データD10に存在しないような高周波成分をも復元す
ることができ、この結果間引き処理に基づく画質劣化を
抑制し得、高解像度の復元画像を得ることができる。
うに補間対象画素の周囲の伝送画素を用いて当該補間対
象画素をクラス分類し、各クラス毎に予測係数又は予測
値を求めこれを伝送する装置(特願平5-201913号)や、
予測係数又は予測値を予め学習により求めて受信側のメ
モリに記憶しておき、受信側で、補間対象画素をクラス
分類し、そのクラスに対応した予測係数又は予測値を出
力することにより補間対象画素値を求める装置(特開平
5-328185号公報)においては、クラス数を多くする程、
予測係数又は予測値の精度を向上することができること
により、復元画像の画質が向上する。
測係数又は予測値を求める際の演算量が増大し、また上
述した受信器30(図11)ではメモリ36に格納しな
ければならないデータ量が増大するため、クラス数を無
限にとることは実際上不可能であり、十分なクラス分け
が行われているとはいえなかつた。この結果、例えばエ
ツジやテクスチヤのような解像度が十分に必要な部分に
おいて、クラス分類が十分でないことに起因する画質劣
化が生じ、十分な解像度が得られない問題があつた。
で、補間対象画素をクラス分類する場合に、一段と的確
なクラス分類処理を施すことにより、復元画像の画質を
向上し得る画像信号処理方法及び画像信号伝送装置を提
案しようとするものである。
め本発明においては、間引かれた画素を、その周辺の画
素の状態に応じてクラス分類し、各クラス毎に異なる処
理を施すことにより間引かれた画素の補間値を求める画
像信号処理方法において、間引かれずに残つた画素を用
いて間引かれた画素に対応する補間画素値を生成する補
間ステツプと、補間画素値及び間引かれずに残つた画素
値でなる画像に対してエツジ強調処理を施すエツジ強調
ステツプと、エツジ強調後の画像について、補間画素及
び補間画素周辺の画素の状態に応じて各間引かれた画素
をクラス分類するクラス分類ステツプとを備え、クラス
分類ステツプにより得た間引かれた画素のクラスに応じ
て異なる処理を施して間引かれた画素の画素値を求める
ようにする。
1の所定画素を間引くことにより画素数の低減した伝送
画素データD2を生成する間引き手段41と、間引かれ
ずに残つた画素を用いて間引かれた画素に対応する補間
画素値を生成する補間値生成手段51と、補間画素値及
び間引かれずに残つた画素値でなる画像に対してエツジ
強調処理を施すエツジ強調手段53と、エツジ強調後の
画像について、補間画素及び当該補間画素周辺の画素の
状態に応じて各間引かれた画素をクラス分類するクラス
分類手段55と、クラス分類手段により分類されたクラ
ス毎に、間引かれた画素と間引かれた画素周辺の複数の
伝送画素との相関関係を表わすパラメータD4を生成す
るパラメータ生成手段44とを設け、伝送画素データD
2及びパラメータ情報D4を伝送するようにする。
画素数が低減された伝送画素データD2と、間引かれた
画素周辺の複数の伝送画素の分布状態に応じて分類され
た各間引かれた画素のクラスそれぞれについて求められ
たパラメータD4とを受信して復元画像を生成する画像
信号伝送装置60において、伝送画素データD2を用い
て間引かれた画素に対応する補間画素値を生成する補間
値生成手段51と、補間画素値及び伝送画素値でなる画
像に対してエツジ強調処理を施すエツジ強調手段53
と、エツジ強調後の画像について、補間画素及び補間画
素周辺の画素の状態に応じて各間引かれた画素をクラス
分類するクラス分類手段55と、伝送画素データD2
と、各間引かれた画素のクラスに対応したパラメータD
4とを用いて、各間引かれた画素に対応した補間データ
D32を生成する補間データ生成手段63とを設けるよ
うにする。
送画素数が低減された伝送画素データD10を受信し、
間引かれた画素を補間することにより復元画像を生成す
る画像信号伝送装置30において、伝送画素を用いて間
引かれた画素に対応する補間画素値を生成する補間値生
成手段51と、補間画素値及び伝送画素値でなる画像に
対してエツジ強調処理を施すエツジ強調手段53と、エ
ツジ強調後の画像について、補間画素及び補間画素周辺
の画素の状態に応じて各間引かれた画素をクラス分類す
るクラス分類手段55と、クラス分類手段55により分
類されたクラスD12をアドレスとして、間引かれた画
素と間引かれた画素周辺の複数の伝送画素との相関関係
を表わす係数データD13を出力するメモリ手段36
と、メモリ手段36から出力された係数データD13
と、伝送画素データD11とを用いて、各間引かれた画
素に対応した補間データD14を生成する補間データ生
成手段37とを設けるようにする。
素に対応する補間画素値を生成し、この補間画素及び間
引かれずに残つた画素でなる画像に対してエツジ強調処
理を施した後、間引かれた画素をクラス分類する。この
結果エツジ強調処理により、エツジ情報やテクスチヤ情
報が原画像に近い値まで戻された画像に基づいてクラス
分類処理ができることにより特にエツジやテクスチヤ部
分において正確なクラス分けができる。かくして、復元
画像におけるエツジやテクスチヤ部分での画質を格段に
向上させることができる。
する。
符号化装置を示し、入力画像データD1をサブサンプリ
ング回路41に入力し、ここで入力画像データD1の所
定画素を間引くことにより情報量を削減した後、続く圧
縮エンコーダ42に送出する。圧縮エンコーダ42は間
引き後に残つた画素を圧縮符号化することにより圧縮符
号化データD2を生成し、これを伝送画像データとして
出力する。
ーダ43によつて復号され、当該復号データD20が係
数選定回路44及びクラス分類回路45に与えられる。
クラス分類回路45は補間対象画素(すなわち間引かれ
た画素)を注目画素とし、当該注目画素の空間的及び又
は時間的に周辺の伝送画素の分布状態に応じて各注目画
素をクラス分類し、当該分類結果をその補間対象画素の
クラス情報(以下これをインデツクスデータと呼ぶ)D
21として係数選定回路44に送出する。
入力した入力画像データD1及び復号データD20に基
づき、各クラス毎に、入力画像データD1に含まれる注
目画素の画素値とその周辺の復号データD20の画素値
との相関関係を1フレーム毎に学習により求め、この学
習結果を係数データD4として出力する。因に遅延回路
46はサブサンプリング回路41、圧縮エンコーダ42
及びローカルデコーダ43で要する処理時間分だけ入力
画像データD1を遅延させるものである。
ータは、図2に示すような構成でなる画像復号化装置6
0により受信されて復号される。画像復号化装置60
は、圧縮符号化データD2を圧縮デコーダ61によつて
復号し、これにより得た復号データD30をクラス分類
回路62に与える。クラス分類回路62は図1について
上述したクラス分類回路45と同様の構成でなり、実際
には伝送されてこない補間対象画素を注目画素とし、当
該注目画素の空間的及び又は時間的に周辺の伝送画素の
状態に応じて当該注目画素をクラス分類することによ
り、各注目画素のインデツクスデータD31を発生し、
これを補間データ作成回路63に送出する。
素のインデツクスデータD31、復号データD30及び
係数データD4に基づいて補間データD32を求める。
実際上、補間データ作成回路63はインデツクスデータ
D31に対応した係数データD4を選択し、選択した係
数データD4と補間対象画素の周辺の復号データD30
とを用いて線形一次結合式を立てることにより補間デー
タD32を求める。
は時系列変換回路64に送出される。時系列変換回路6
4は、復号データD30と補間データD32を原画像
(すなわち入力画像データD1)と同一に配列すること
により復元画像データD33を生成する。かくして画像
復号化装置60は、真値に近い補間画素を得ることがで
きることにより画質劣化のほとんど無い復元画像を得る
ことができる。
されている。ここで画像復号化装置60のクラス分類回
路62は、画像符号化装置40のクラス分類回路45と
同様の構成を有するためクラス分類回路45について説
明する。クラス分類回路45は、復号データD20を時
系列変換回路50によりラインスキヤン順に配列して、
続く平均補間値生成回路51に送出する。
ング回路41によつて間引かれた画を水平ライン方向の
平均値補間によつて求める。すなわち平均補間値生成回
路51は、それぞれ入力データを水平方向に1画素分遅
延させる遅延素子(D)51A及び51Bを介して加算
回路51Dに与えると共に、入力データをそのまま加算
回路51Dに与える。この結果加算回路51Dでは、例
えば図5の「○」印で示すサンプリング画素からその間
の間引かれた画素の画素値が算出される。
て、その加算結果に1/2を乗算する乗算機能も有し、
水平方向の2つのサンプリング画素の平均演算によりそ
の間の間引かれた画素の画素値を求める。加算回路51
Dの出力は、遅延素子(D)51Eを介してセレクタ5
1Cに与えられる。セレクタ51Cはサンプリング画素
と平均補間画素とを交互に出力する。時系列変換回路5
2は、サンプリング画素と平均補間画素とを続くエツジ
強調フイルタ53の処理に適する順に並べ換える。
ジ強調処理を施すことにより、平均補間画素近傍でのエ
ツジを強調する。これにより平均値補間により失われた
エツジ情報やテクスチヤ情報を元の画像に近い値に戻
す。実施例の場合、エツジ強調フイルタ53のフイルタ
係数は図4に示すように選定されている。エツジ強調フ
イルタ53の出力は時系列変換回路54により所定の順
序に並び換えられた後、ADRCエンコーダ55に与え
られる。この結果ADRCエンコーダ55は平均補間画
素を注目画素とすると、この注目画素を含むn個の周辺
画素を受け取る。
画素に対してそれぞれkビツトの適応量子化を施し、こ
の結果得たコードを定められた順番に並べてシフトレジ
スタ56に記憶させる。かくしてシフトレジスタ56か
らはトータルn×kビツトのパターンでなるインデツク
スデータD21(又はD31)(L1 〜Lm )が出力され
る。従つて注目画素は2n*k 個のクラスの何れかに分類
される。
おいては、先ず間引かれた画素に対応する画素値を平均
補間により求めた後、エツジ強調処理を施し、この結果
得た画素に対してクラス分類処理を施すようにしたこと
により、復元画像において特に鮮明に戻したいエツジ
部、あるいはテクスチヤ部分付近を考慮したクラス分類
ができる。
係数選定回路44及び補間データ作成回路63の詳細な
構成について説明する。
41は、図5に示すように、各時点T0、T1、T2、
……でのフレーム画像に対して伝送画素数が1/2 になる
ような間引き処理を施す。このときサブサンプリング回
路41は、連続する時点間で、前の時点でサンプリング
した位置と同様の位置の画素を次の時点ではサンプリン
グしないというように交互に間引く画素位置を選択する
所謂1/2 時空間オフセツトサブサンプリングを行うこと
により、画像の特徴量をできるだけ残しながら伝送情報
量を1/2 に削減する。因に、図5における「○」印は間
引き後に残つた画素(すなわち伝送画素)を表し、
「+」印は補間対象画素(間引かれた画素)を表わす。
また下段のw1 〜w38は、後述する係数選定回路44に
よつて求められる線形一次結合モデルの係数を表わす。
ve Dynamic Range Coding )回路により構成されてお
り、例えば1画素当り8ビツトの情報量でなる画素デー
タを、所定ブロツク内での最大画素値と最小画素値との
差分を表わすダイナミツクレンジ情報と、最小画素情報
と、各画素値と最小画素値との差分を例えば1ビツト量
子化した際の量子化情報とで表わすことにより、伝送情
報量を有効に削減する。
該補間対象画素の周辺の伝送画素と係数との線形一次結
合モデルによつて表し、このとき用いた係数を各クラス
毎に最小二乗法の演算によつて求める。この係数選定の
原理について説明する。図5に示すように、補間対象画
素ymの存在するフレームをT1とすると、そのフレー
ムT1から補間対象画素ym を中心としてその周囲の領
域を切り出すと共に、一つ前の時点のフレームT0及び
一つ後の時点のフレームT2からフレームT1で切り出
した領域と空間的に同じ位置の領域を切り出す。また補
間対象画素ym の画素値は入力画像データD1から抽出
する。
した領域内の伝送画素それぞれに係数wi を掛けること
により、補間対象画素ym を空間的及び時間的に周辺の
伝送画素による線形一次結合によつて表わす。この結果
補間対象画素ym の行列式Yと周辺の伝送画素xmiの行
列式Xは、係数wi の行列式Wを用いて、次式、
(1)式において、nは1つの補間対象画素ym を線形
一次結合式によつて表わす際の空間的及び時間的に周辺
の伝送画素数を表し(実施例の場合、1つの補間対象画
素ym を38タツプの線形一次結合モデルによつて表わ
すため、n=38である)、mは1フレーム内に存在す
る補間対象画素数を表わす。
して1個の係数組を求めようとすると、(1)式から1
フレームの補間対象画素数分の連立方程式を作ることに
なる。基本的には、この連立方程式を解いて係数を求め
ればよい。実施例では最小二乗法を用いてこの連立方程
式を解く。すなわち先ず、(1)式を残差行列Eを用い
て次式、
を求めるためには、e1 2+e2 2+……+ei-1 2+ei 2
を最小にする条件、すなわち次式、
……、wn を見つければよい。ここで(2)式より、次
式、
立てればそれぞれ、次式
規方程式が得られる。
未知数の数がn個の連立方程式であるから、これにより
最確値である各係数wi を求めることができる。正確に
は(6)式でwi に掛かる(Σxjnxjn)(但し、j=
1……m)のマトリクスが正則であれば解くことができ
る。実際には、Gauss-Jordanの消去法(掃き出し法)を
用いて連立方程式を解く。
よつて求めた各クラス毎に上述した最小二乗法を用いて
係数値wi を求める。この結果各クラス毎に1フレーム
につき1組の係数を伝送すればよいことになり、全ての
補間対象画素についての係数値wi を求めて伝送する場
合に比して、格段に伝送情報量及び演算量を低減し得
る。実際に、係数の情報量はフレーム当りの画素情報量
に比べて無視できるくらいのオーダーである。
示すように構成されている。すなわち係数選定回路44
は復号データD20(xi )及び入力画像データD1に
含まれる補間対象画素データym を時系列変換メモリ9
0に入力する。時系列変換メモリ90は、図5について
上述したように線形一次結合モデルを形成するための画
素(x1 〜xn 、ym )を同時化して出力する。時系列
変換メモリ90から出力されたデータは、正規化方程式
生成回路91に与えられ、当該正規化方程式生成回路9
1によつて各クラス毎に(6)式で表わされるような正
規化方程式が生成され、続くCPU演算回路92によつ
て掃き出し法によつて各クラス毎の係数組が求められ
る。
アレイ93によつて各画素同士の乗算を行う。乗算器ア
レイ93は、図7に示すように構成されており、四角で
表わす各セル毎に画素同士の乗算を行い、これにより得
た各乗算結果を続く加算器メモリ94に与える。
乗算器アレイ93と同様に配列されたセルでなる加算器
アレイ95とメモリ(またはレジスタ)アレイ96
A1 、96A2 、……とにより構成されている。メモリ
アレイ96A1 、96A2 、……はクラス数分(実施例
の場合、クラス分類回路45により分類される2n*k ク
ラス分)設けられており、インデツクスデータD21を
デコードするインデツクスデコーダ97の出力(クラ
ス)に応答して一つのメモリアレイ96A1 、96
A2 、……が選択され、選択されたメモリアレイ96A
1 、96A2 、……の格納値が加算器アレイ95に帰還
される。このとき加算器アレイ95によつて得られる加
算結果が、再び対応するメモリアレイ96A1 、96A
2 、……に格納される。
アレイ95及びメモリアレイ96A1 によつて積和演算
が行われ、インデツクスによつて決定されるクラス毎に
メモリアレイ96A1 、96A2 、……のいずれかが選
択されて、積和演算の結果によつてメモリアレイ96A
1 、96A2 、……の内容が更新される。
表わされる正規化方程式のwi にかかる(Σxjnxjn)
(但し、j=1……m)の位置に対応する。(6)式の
正規化方程式を見れば明らかなように右上の項を反転す
れば左下と同じものになるため、各アレイは三角形の形
状をしている。
毎に積和演算が行われて各クラス毎の正規化方程式が生
成される。クラス毎の正規化方程式の各項の結果は、そ
れぞれのクラスに対応するメモリアレイ96A1 、96
A2 、……に記憶されており、次にそれらのクラス毎の
正規化方程式の各項が掃き出し法演算を実現するCPU
演算回路92によつて計算される。この結果各クラス毎
の係数wi の組が求められ、これが係数データD4とし
て送出される。
うに、1フレーム毎に各クラスの係数組を記憶する係数
メモリ100を有し、この係数メモリ100は各クラス
毎の係数組w1 〜wn を格納すると共に、インデツクス
デコーダ101の出力(クラス)に応答してクラスに応
じた係数組w1 〜wn を出力する。この係数組w1 〜w
n がそれぞれレジスタ102A1 〜102An を介して
乗算器103A1 〜103An に与えられる。また乗算
器103A1 〜103An には、時系列変換回路104
により選択された復号データx1 〜xn が与えられる。
従つて乗算器103A1 〜103An の出力が加算回路
105により加算されることにより、補間対象画素の画
素値y(=x1 w1 +x2 w2 +……+xn wn )が得
られる。
ータD1に対して間引き処理を施すことによりデータ量
を削減した後、圧縮符号化データD2を生成する。また
画像符号化装置40は、クラス分類回路45において間
引かれた画素を注目画素とし、当該注目画素の周辺の画
素の状態に応じて各間引かれた画素をクラス分類し、次
に係数選定回路44において各クラス毎の係数組w1 〜
wn を求め、これを係数データD4として出力する。
れた画素の画素値をその両隣の間引かれずに残つた画素
の平均により求め、これにより得た平均補間値を含む画
像に対してエツジ強調処理を施す。この結果平均補間に
より失われたエツジ情報やテクスチヤ情報が復元され
る。そしてクラス分類回路45はこのようにエツジ情報
やテクスチヤ情報が復元された画像に基づき、間引かれ
た画素(すなわち平均補間後エツジ強調処理がなされた
補間対象画素)を含めたその周辺の画素の状態に応じて
各間引かれた画素をクラス分類する。この結果特にエツ
ジ部分やテクスチヤ部分において、間引かれた画素を正
確にクラス分類できる。
タD2を復号した復号データD30及び係数データD4
に基づいて復元画像データD33を生成する。このとき
クラス分類回路62において、画像符号化装置40のク
ラス分類回路45でしたのと同様のクラス分類処理を施
すことにより各間引かれた画素をクラス分類する。次に
補間データ作成回路63において、クラス分類結果D3
1に応じて係数データD4から選択した係数組w1 〜w
n と復号データD30とを線形一次結合させることによ
り補間データD32を作成する。
をその周辺の画像の特徴に応じて的確にクラス分類した
ことにより、一段と真値に近い補間データD32を得る
ことができ、間引きに基づく画質劣化の少ない復元画像
を得ることができる。
間引かれた画素に対応する補間画素値を生成し、この補
間画素及び間引かれずに残つた画素でなる画像に対して
エツジ強調処理を施した後、間引かれた画素をクラス分
類するようにしたことにより、特にエツジやテクスチヤ
部分において正確なクラス分けができる。かくして復元
画像におけるエツジやテクスチヤ部分での画質を格段に
向上させることができる。
ては、平均補間値生成回路51によつて間引かれた画素
の画素値を水平ライン方向の平均値補間により求めた場
合について述べたが、本発明はこれに限らず、例えば2
次元の適応補間等により間引かれた画素の補間画素値を
求めるようにしてもよく、エツジ強調前の間引かれた画
素の補間方法としては種々のものを適用できる。
び62においては、ADRCエンコーダ55を設け、エ
ツジ強度後の画像をADRC符号化し、これにより得た
ビツト数が圧縮されたコードのパターンに基づいて間引
かれた画素をクラス分類する場合について述べたが、A
DRCエンコーダ55に代えて、例えばDCT(Discre
te Cosine Transform)変換符号化、DPCM(差分量子
化)、ベクトル量子化、サブバンド符号化、ウエーブレ
ツト変換等の他の圧縮機能を有する回路を設けて、その
出力コードのパターンに基づいて間引かれた画素をクラ
ス分類するようにしてもよい。さらに圧縮したコードの
パターンに基づいてクラス分類する場合に限らず、エツ
ジ強調後の画像の相関度の強い方向に応じて間引かれた
画素をクラス分類してもよく、すなわちエツジ強調後の
クラス分類としては種々の手法を適用できる。
残つた伝送画素を圧縮エンコーダ42により圧縮符号化
して伝送する場合について述べたが、本発明はこれに限
らず、圧縮符号化せずに間引き後に残つた間引きデータ
をそのまま伝送する場合にも適用することができる。こ
の場合には、画像符号化装置40側で圧縮エンコーダ4
2及びローカルデコーダ43を省略すると共に、画像復
号化装置60側で圧縮デコーダ61を省略すればよい。
ーダ42としてADRC回路を用いた場合について述べ
たが、本発明はこれに限らず、圧縮エンコーダ42とし
て例えばDCT変換符号化、DPCM、ベクトル量子
化、サブバンド符号化、ウエーブレツト変換等の圧縮手
法を用いた場合にも上述の実施例と同様の効果を得るこ
とができる。
リング回路41によつて入力画像データD1に対して1
/2の間引き処理を行う場合について述べたが、本発明
はこれに限らず、例えば1/4の間引き処理等、他の間
引き処理を行つた場合でも実施例と同様の効果を得るこ
とができる。
この注目画素の空間的及び又は時間的に周辺の伝送画素
との相関関係を表すパラメータとして、線形一次結合モ
デルを最小二乗法により解いて得た係数データD4を伝
送する場合について述べたが、本発明はこれに限らず、
パラメータとしては例えば各クラス毎に求めた注目画素
周辺の伝送画素値の平均値を代表値として伝送するよう
にしても良い。この場合平均演算に重心法を用いるよう
にすれば、クラス毎に誤差の少ない代表値を容易に求め
ることができる。またこれに限らず、要は伝送されない
注目画素と伝送画素との相関関係を表すような種々のパ
ラメータを用いることができる。
データD2と共に係数データD4を伝送する画像符号化
装置40のクラス分類回路45及びその画像復号化装置
60のクラス分類回路62に本発明を適用した場合につ
いて述べたが、本発明はこれに限らず、例えば図11に
示すように、各クラス毎の予測係数D13を発生するメ
モリ36を有する画像復号化装置(受信器)30のクラ
ス分類手段(クラスタリング回路)35にも本発明を適
用できる。
つて各クラス毎に獲得した予測係数を格納するようにす
れば良い。一例としては、各クラス毎に立てた線形一次
結合モデルの係数を、最小二乗法により求めるといつた
処理を様々な画像に対して行うことにより予測係数を求
める手法がある。
にも実施例のような係数データを発生する係数選定回路
44(図1)を設け、予め学習により獲得したメモリ3
6の内容を、新たに画像符号化装置から伝送されてくる
係数データによつて更新するようにした画像信号伝送装
置のクラス分類手段にも本発明を適用できる。
に代えて各クラス毎の予測値を予め格納するようにした
画像復号化装置(受信器)30のクラス分類手段(クラ
スタリング回路)35にも本発明を適用できる。
求める第1の方法としては、加重平均を用いた学習方法
がある。詳述すれば、補間対象画素の周辺の伝送画素を
用いて、補間対象画素に対してクラス分類を行い、クラ
ス毎に積算した補間対象画素の画素値を補間対象画素の
個数によつてインクリメントされた度数によつて割ると
言つた処理を様々な画像に対して行うことにより予測値
を求めることができる。
第2の方法としては、正規化による学習方法がある。詳
述すれば、補間対象画素を含む複数の画素からなるブロ
ツクを形成し、このブロツク内のダイナミツクレンジに
よつて、補間対象画素の画素値からそのブロツクの基準
値を減算した値を正規化し、この正規化された値の累積
値を累積度数で除した値を予測値とする処理を様々な画
像に対して行うことにより予測値を求めることができ
る。
は、クラス分類を施し各クラス毎に求めた予測係数又は
予測値を使つて補間画素値を生成する場合に広く適用す
ることができる。
データの所定画素を間引くことにより画素数の低減した
伝送画素データを生成する間引き手段と、間引かれずに
残つた画素を用いて間引かれた画素に対応する補間画素
値を生成する補間値生成手段と、補間画素値及び間引か
れずに残つた画素値でなる画像に対してエツジ強調処理
を施すエツジ強調手段と、エツジ強調後の画像につい
て、補間画素及び当該補間画素周辺の画素の状態に応じ
て各間引かれた画素をクラス分類するクラス分類手段
と、クラス分類手段により分類されたクラス毎に、間引
かれた画素と間引かれた画素周辺の複数の伝送画素との
相関関係を表わすパラメータを生成するパラメータ生成
手段とを設け、伝送画像データ及びパラメータ情報を伝
送するようにしたことにより、間引かれた画素をクラス
分類する場合に、エツジ情報やテクスチヤ情報を考慮し
た、より的確なクラス分類ができる。この結果、復元画
像の画質を向上させることができる。
ツク図である。
ツク図である。
ツク図である。
図である。
明、並びに線形一次結合モデルに用いる画素及び係数の
説明に供する略線図である。
ある。
すブロツク図である。
モリを有するデイジタルデータ変換装置の構成を示すブ
ロツク図である。
クラスタリング回路、36……メモリ、37……補間デ
ータ作成回路、40……画像符号化装置、41……サブ
サンプリング回路、42……圧縮エンコーダ、43……
ローカルデコーダ、45、62……クラス分類回路、4
4……係数選定回路、51……平均補間値生成回路、5
3……エツジ強調フイルタ、55……ADRCエンコー
ダ、63……補間データ推定回路、60……画像復号化
装置、D1……入力画像データ、D2……圧縮符号化デ
ータ、D4……係数データ、D21、D31……インデ
ツクスデータ、D32……補間データ、D33……復元
画像データ、W1 〜W38……係数。
Claims (13)
- 【請求項1】間引かれた画素を、その周辺の画素の状態
に応じてクラス分類し、各クラス毎に異なる処理を施す
ことにより上記間引かれた画素の補間値を求める画像信
号処理方法において、 上記間引かれずに残つた画素を用いて上記間引かれた画
素に対応する補間画素値を生成する補間ステツプと、 上記補間画素値及び上記間引かれずに残つた画素値でな
る画像に対してエツジ強調処理を施すエツジ強調ステツ
プと、 エツジ強調後の画像について、上記補間画素及び補間画
素周辺の画素の状態に応じて各間引かれた画素をクラス
分類するクラス分類ステツプとを具え、 上記クラス分類ステツプにより得た上記間引かれた画素
のクラスに応じて異なる処理を施して上記間引かれた画
素の画素値を求めるようにしたことを特徴とする画像信
号処理方法。 - 【請求項2】上記クラス分類ステツプでは、 エツジ強調後の上記補間画素及び補間画素周辺の画素を
ADRC符号化し、これにより得たビツト数が圧縮され
たコードのパターンに基づいて上記間引かれた画素をク
ラス分類することを特徴とする請求項1に記載の画像信
号処理方法。 - 【請求項3】入力画像データの所定画素を間引くことに
より画素数の低減した伝送画素データを生成する間引き
手段と、 間引かれずに残つた画素を用いて間引かれた画素に対応
する補間画素値を生成する補間値生成手段と、 上記補間画素値及び上記間引かれずに残つた画素値でな
る画像に対してエツジ強調処理を施すエツジ強調手段
と、 エツジ強調後の画像について、上記補間画素及び補間画
素周辺の画素の状態に応じて各間引かれた画素をクラス
分類するクラス分類手段と、 上記クラス分類手段により分類されたクラス毎に、上記
間引かれた画素と上記間引かれた画素周辺の複数の上記
伝送画素との相関関係を表わすパラメータを生成するパ
ラメータ生成手段とを具え、上記伝送画素データ及び上
記パラメータ情報を伝送することを特徴とする画像信号
伝送装置。 - 【請求項4】上記クラス分類手段は、 上記補間画素及び補間画素周辺の画素をADRC符号化
し、これにより得たビツト数が圧縮されたコードのパタ
ーンに基づいて各間引かれた画素をクラス分類すること
を特徴とする請求項3に記載の画像信号伝送装置。 - 【請求項5】上記パラメータ生成手段は、 上記クラス分類手段により分類されたクラス毎に、上記
間引かれた画素と上記間引かれた画素周辺の複数の上記
伝送画素とから線形一次結合モデルを立て、最小二乗法
の演算により解いた当該線形一次結合モデルの係数を上
記パラメータとしたことを特徴とする請求項3に記載の
画像信号伝送装置。 - 【請求項6】間引きにより伝送画素数が低減された伝送
画素データと、間引かれた画素周辺の複数の上記伝送画
素の分布状態に応じて分類された各間引かれた画素のク
ラスそれぞれについて求められたパラメータとを受信し
て復元画像を生成する画像信号伝送装置において、 上記伝送画素データを用いて間引かれた画素に対応する
補間画素値を生成する補間値生成手段と、 上記補間画素値及び上記伝送画素値でなる画像に対して
エツジ強調処理を施すエツジ強調手段と、 エツジ強調後の画像について、上記補間画素及び補間画
素周辺の画素の状態に応じて各間引かれた画素をクラス
分類するクラス分類手段と、 上記伝送画素データと、各間引かれた画素のクラスに対
応した上記パラメータとを用いて、各間引かれた画素に
対応した補間データを生成する補間データ生成手段とを
具えることを特徴とする画像信号伝送装置。 - 【請求項7】上記クラス分類手段は、 上記補間画素及び補間画素周辺の画素をADRC符号化
し、これにより得たビツト数が圧縮されたコードのパタ
ーンに基づいて各間引かれた画素をクラス分類すること
を特徴とする請求項6に記載の画像信号伝送装置。 - 【請求項8】受信する上記パラメータは、 各クラス毎に、上記間引かれた画素と間引かれた画素周
辺の複数の上記伝送画素とから線形一次結合モデルを立
て、当該線形一次結合モデルの係数を最小二乗法の演算
により求められた係数データであり、 上記補間データ生成手段は、 各間引かれた画素のクラスに対応した上記係数データと
上記伝送画素データとを線形一次結合することにより、
各間引かれた画素に対応した上記補間データを生成する
ことを特徴とする請求項6に記載の画像信号伝送装置。 - 【請求項9】間引きにより伝送画素数が低減された伝送
画素データを受信し、間引かれた画素を補間することに
より復元画像を生成する画像信号伝送装置において、 伝送画素を用いて間引かれた画素に対応する補間画素値
を生成する補間値生成手段と、 上記補間画素値及び上記伝送画素値でなる画像に対して
エツジ強調処理を施すエツジ強調手段と、 エツジ強調後の画像について、上記補間画素及び補間画
素周辺の画素の状態に応じて各間引かれた画素をクラス
分類するクラス分類手段と、 上記クラス分類手段により分類されたクラスをアドレス
として、上記間引かれた画素と間引かれた画素周辺の複
数の上記伝送画素との相関関係を表わす係数データを出
力するメモリ手段と、 上記メモリ手段から出力された係数データと、上記伝送
画素データとを用いて、各間引かれた画素に対応した補
間データを生成する補間データ生成手段とを具えること
を特徴とする画像信号伝送装置。 - 【請求項10】上記メモリ手段が出力する上記係数デー
タは、 予め各クラス毎に、上記間引き対象の画素と間引き対象
画素周辺の複数の上記伝送画素とから線形一次結合モデ
ルを立て、当該線形一次結合モデルの係数を最小二乗法
の演算により求めた係数データであることを特徴とする
請求項9に記載の画像信号伝送装置。 - 【請求項11】間引きにより伝送画素数が低減された伝
送画素データを受信し、間引かれた画素を補間すること
により復元画像を生成する画像信号伝送装置において、 伝送画素を用いて間引かれた画素に対応する補間画素値
を生成する補間値生成手段と、 上記補間画素値及び上記伝送画素値でなる画像に対して
エツジ強調処理を施すエツジ強調手段と、 エツジ強調後の画像について、上記補間画素及び補間画
素周辺の画素の状態に応じて各間引かれた画素をクラス
分類するクラス分類手段と、 上記クラス分類手段により分類されたクラスをアドレス
として、上記間引かれた画素に対応する予測値を出力す
るメモリ手段とを具えることを特徴とする画像信号伝送
装置。 - 【請求項12】上記メモリ手段が出力する上記予測値
は、 予め、上記伝送画素データと上記間引き対象の画素デー
タを用いて加重平均演算による学習によつて、各クラス
毎に求められたものであることを特徴とする請求項11
に記載の画像信号伝送装置。 - 【請求項13】上記メモリ手段が出力する上記予測値
は、 予め、上記伝送画素データと上記間引き対象の画素デー
タとを用いて正規化による学習によつて、各クラス毎に
求められたものであることを特徴とする請求項11に記
載の画像信号伝送装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP24691394A JP3759538B2 (ja) | 1994-09-14 | 1994-09-14 | 画像信号処理方法及び画像信号伝送装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP24691394A JP3759538B2 (ja) | 1994-09-14 | 1994-09-14 | 画像信号処理方法及び画像信号伝送装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPH0888849A true JPH0888849A (ja) | 1996-04-02 |
JP3759538B2 JP3759538B2 (ja) | 2006-03-29 |
Family
ID=17155619
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP24691394A Expired - Lifetime JP3759538B2 (ja) | 1994-09-14 | 1994-09-14 | 画像信号処理方法及び画像信号伝送装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP3759538B2 (ja) |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007060205A (ja) * | 2005-08-24 | 2007-03-08 | Fujifilm Corp | データ圧縮装置およびデータ圧縮プログラム |
JP2007295618A (ja) * | 2007-06-26 | 2007-11-08 | Sony Corp | 受信装置及び方法、プログラム、並びに記録媒体 |
US7453936B2 (en) | 2001-11-09 | 2008-11-18 | Sony Corporation | Transmitting apparatus and method, receiving apparatus and method, program and recording medium, and transmitting/receiving system |
JP2010093821A (ja) * | 2008-10-03 | 2010-04-22 | Sony Corp | 適応デシメーションフィルタ |
JP2010514246A (ja) * | 2006-12-18 | 2010-04-30 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | 画像圧縮及び伸張 |
WO2016185831A1 (ja) * | 2015-05-19 | 2016-11-24 | ソニーセミコンダクタソリューションズ株式会社 | 画像処理装置および画像処理方法 |
-
1994
- 1994-09-14 JP JP24691394A patent/JP3759538B2/ja not_active Expired - Lifetime
Cited By (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7453936B2 (en) | 2001-11-09 | 2008-11-18 | Sony Corporation | Transmitting apparatus and method, receiving apparatus and method, program and recording medium, and transmitting/receiving system |
US7817863B2 (en) | 2001-11-09 | 2010-10-19 | Sony Corporation | Transmitting apparatus and method, receiving apparatus and method, program and recording medium, and transmitting/receiving system |
US8014635B2 (en) | 2001-11-09 | 2011-09-06 | Sony Corporation | Transmitting apparatus and method, receiving apparatus and method, program and recording medium, and transmitting/receiving system |
JP2007060205A (ja) * | 2005-08-24 | 2007-03-08 | Fujifilm Corp | データ圧縮装置およびデータ圧縮プログラム |
JP4633577B2 (ja) * | 2005-08-24 | 2011-02-16 | 富士フイルム株式会社 | データ圧縮装置およびデータ圧縮プログラム |
JP2010514246A (ja) * | 2006-12-18 | 2010-04-30 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | 画像圧縮及び伸張 |
US9786066B2 (en) | 2006-12-18 | 2017-10-10 | Koninklijke Philips N.V. | Image compression and decompression |
JP2007295618A (ja) * | 2007-06-26 | 2007-11-08 | Sony Corp | 受信装置及び方法、プログラム、並びに記録媒体 |
JP4735610B2 (ja) * | 2007-06-26 | 2011-07-27 | ソニー株式会社 | 受信装置及び方法、プログラム、並びに記録媒体 |
JP2010093821A (ja) * | 2008-10-03 | 2010-04-22 | Sony Corp | 適応デシメーションフィルタ |
WO2016185831A1 (ja) * | 2015-05-19 | 2016-11-24 | ソニーセミコンダクタソリューションズ株式会社 | 画像処理装置および画像処理方法 |
Also Published As
Publication number | Publication date |
---|---|
JP3759538B2 (ja) | 2006-03-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4126709B2 (ja) | 画像処理装置および画像処理方法 | |
JP3781203B2 (ja) | 画像信号補間装置及び画像信号補間方法 | |
WO1994014278A1 (en) | Image signal converter | |
JPH07147681A (ja) | ディジタル画像信号の階層符号化および復号装置 | |
US5590222A (en) | Image signal processing apparatus utilizing a 2D Haar transform and adaptive selection of images based on a parameter such as a ratio of coefficients for reducing block distortion and method thereof | |
JPH0795591A (ja) | ディジタル画像信号処理装置 | |
JP2000115716A (ja) | 映像信号の変換装置および変換方法、並びにそれを使用した画像表示装置およびテレビ受信機 | |
JP3271095B2 (ja) | ディジタル画像信号の高能率符号化装置および復号装置 | |
JP3759538B2 (ja) | 画像信号処理方法及び画像信号伝送装置 | |
JP3703034B2 (ja) | 画像信号処理方法及び画像信号伝送装置 | |
JP3946781B2 (ja) | 画像情報変換装置及び方法 | |
JPH07154642A (ja) | ディジタル画像信号処理装置 | |
JP3759537B2 (ja) | 画像信号伝送装置及び画像信号伝送方法 | |
JP3747970B2 (ja) | 画像符号化装置および画像符号化方法、画像復号化装置および画像復号化方法 | |
JP4140091B2 (ja) | 画像情報変換装置および画像情報変換方法 | |
JP3371159B2 (ja) | ディジタル画像信号処理装置および処理方法 | |
JPH07193789A (ja) | 画像情報変換装置 | |
JPH0851622A (ja) | ディジタル画像信号の処理装置 | |
JP3271096B2 (ja) | ディジタル画像信号処理装置 | |
JP3480015B2 (ja) | 画像データの生成装置および生成方法 | |
JPH08317347A (ja) | 画像情報変換装置 | |
JPH0785287A (ja) | 予測符号化装置およびその復号装置 | |
JP3587188B2 (ja) | ディジタル画像信号処理装置および処理方法 | |
JP3653287B2 (ja) | 画像情報変換装置及び画像情報変換方法 | |
JP4123452B2 (ja) | 画像処理装置および画像処理方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20050107 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050308 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20050415 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050613 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20051216 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20051229 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100113 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100113 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110113 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120113 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130113 Year of fee payment: 7 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
EXPY | Cancellation because of completion of term |