JPH11213146A - 画像処理装置 - Google Patents
画像処理装置Info
- Publication number
- JPH11213146A JPH11213146A JP10016039A JP1603998A JPH11213146A JP H11213146 A JPH11213146 A JP H11213146A JP 10016039 A JP10016039 A JP 10016039A JP 1603998 A JP1603998 A JP 1603998A JP H11213146 A JPH11213146 A JP H11213146A
- Authority
- JP
- Japan
- Prior art keywords
- image
- conversion
- frequency
- filter
- processing apparatus
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000006243 chemical reaction Methods 0.000 claims abstract description 119
- 239000011159 matrix material Substances 0.000 claims abstract description 38
- 238000000034 method Methods 0.000 claims description 33
- 238000013528 artificial neural network Methods 0.000 claims description 14
- 230000006978 adaptation Effects 0.000 abstract description 5
- 230000001537 neural effect Effects 0.000 abstract 1
- 238000004364 calculation method Methods 0.000 description 23
- 230000006870 function Effects 0.000 description 21
- 238000000605 extraction Methods 0.000 description 15
- 230000008569 process Effects 0.000 description 11
- 230000008859 change Effects 0.000 description 10
- 238000010586 diagram Methods 0.000 description 10
- 230000000694 effects Effects 0.000 description 9
- 230000006866 deterioration Effects 0.000 description 4
- 230000002093 peripheral effect Effects 0.000 description 2
- 230000015556 catabolic process Effects 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4007—Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
- Editing Of Facsimile Originals (AREA)
Abstract
ても、文字領域の解像性と写真領域の滑らかさとを同時
に満足した高解像度変換や拡大処理を行うことができる
画像処理装置を提供する。 【解決手段】 処理対象となる部分画像を周波数変換手
段2により周波数変換し、周波数変換の結果に基づい
て、周波数変換係数マトリクスを複数のパターンで複数
の領域に分割し、各領域毎の平均係数値を特徴量として
数値化する。この各領域毎の平均係数値が、変換フィル
タ選択手段4における階層型ニューラルネットワークに
入力され、出力として各変換フィルタの適合度を算出
し、適合度の高い変換フィルタを選択する。そして、各
部分画像に適した変換フィルタを用いて、補間処理手段
5によって補間処理が行われる。
Description
て、高解像度変換や拡大処理などを行う画像処理装置に
関するものである。
よって入力された多階調画像に対して、高解像度変換や
拡大処理などを行う際には、補間画素の周辺の画素のデ
ータを用いて積和演算を行い、演算結果に基づいて補間
画素のデータを決定する。このような補間演算法として
は、補間画素に最も近い位置にある画素のデータを、
該補間画素のデータとして用いる単純補間法(Nearest
Neighbor)、周辺画素のデータを用いて、平面的な積
和演算を行う線型補間法(Bi-Linear )、周辺画素の
データを用いて、曲面的な積和演算を行う曲面補間法
(Cubic Convolution )などが挙げられる。
ある。単純補間法においては、処理時間は早いが、斜め
のライン等がギザギザの状態(ジャギー)になってしま
い、画質としては良くない。線型補間法においては、処
理時間は比較的短く、濃度変化の緩やかな部分の補間に
対してはうまく補間がなされるが、エッジ部のような、
急激に濃度が変化している部分に対しては、エッジがぼ
けて補間されてしまう。曲面補間法においては、濃度変
化が緩やかな部分で若干画質が落ちるが、滑らかな画像
が得られ、エッジもぼけずに補間される。しかしなが
ら、処理時間が比較的長くかかり、濃度変化の緩やかな
部分に小さな点のようなノイズがある場合、そのノイズ
を強調してしまい、画質が劣化する。
法をそのまま単独で用いると、例えば文字画像や写真画
像が混在した画像に対して、文字部分の解像性と写真領
域の滑らかさとを同時に満足した高解像度変換や拡大処
理を行うことができない。
いてエッジ部と非エッジ部とを判断し、各領域ごとにそ
れぞれ異なる補間処理を行う方法が提案されている。例
えば、特開平5-135165号公報には、ある注目画素とその
周辺画素を含めた局所領域において、濃度の最大値と最
小値とを求め、その最大値から最小値を引いた最大濃度
値を用いて、文字領域か写真領域かを判断する画像処理
装置が開示されている。
ていた場合などには、実際には濃度変化が少ないはずの
領域であるにも関わらず、最大濃度差として大きな値が
得られ、間違った判断をすることが考えられる。また、
このような、濃度変化を用いるエッジの抽出方法では、
抽出の仕方によっては、エッジの方向の変化に伴って局
所領域内の濃度変化のパターンが変化してしまう。よっ
て、画像を回転させた場合などには、異なる抽出条件が
必要となり、条件式が複雑化し、処理時間が長くなるな
どの問題が生じる。
混在した画像に対しても、文字領域の解像性と写真領域
の滑らかさとを同時に満足した高解像度変換や拡大処理
を行うことができる画像処理装置を提供することにあ
る。
めに、請求項1記載の画像処理装置は、処理対象の多階
調画像を部分画像に分割し、各部分画像に対して高解像
度変換や拡大処理を行う画像処理装置であって、上記部
分画像に対して周波数変換処理を行う周波数変換手段
と、上記周波数変換手段の出力に基づいて、上記部分画
像の特徴量を抽出する特徴量抽出手段と、上記特徴量抽
出手段の出力に基づいて、上記部分画像に対して高解像
度変換や拡大処理を行うための変換フィルタを選択する
変換フィルタ選択手段とを備えていることを特徴として
いる。
記部分画像に対して周波数変換処理を行い、特徴量抽出
手段が上記部分画像の特徴量を抽出し、変換フィルタ選
択手段が、上記特徴量抽出手段の出力に基づいて上記変
換フィルタを選択するので、各部分画像の特徴に適した
補間を行うことができる。詳しく説明すると、周波数変
換処理の結果に基づいて各部分画像の特徴を判断するの
で、部分画像内にノイズが生じている場合でも、そのノ
イズにほとんど影響されずに、該部分画像に最適な変換
フィルタを選択することができる。よって、例えば文字
画像のようなエッジ画像に対しては、そのエッジが保存
されるような補間をし、例えば写真画像のような濃度変
化が滑らかな画像に対しては、その滑らかさが維持され
るような補間をすることができる。これにより、画質劣
化の少ない高解像度変換画像を得ることができる。
記載の構成において、上記変換フィルタ選択手段は、上
記特徴量を入力とし、上記部分画像に対する各変換フィ
ルタの適合度を出力する階層型ニューラルネットワーク
を備え、上記適合度に基づいて変換フィルタを選択する
ことを特徴としている。
換フィルタの適合度を算出する際に、例えば論理演算の
ような形式で演算を行う場合、上記特徴量の数が多くな
ると膨大な計算量となり、処理時間が長くなってしま
う。しかしながら、上記の構成によれば、予め学習させ
てある階層型ニューラルネットワークによって各変換フ
ィルタの適合度を算出するので、上記特徴量の数が多少
多くなっても、短い処理時間で演算を行うことができ
る。よって、特徴量をある程度多くすることができるの
で、より的確に、各部分画像に適した変換フィルタを選
択することができる。
記載の構成において、上記特徴量抽出手段は、上記周波
数変換手段によって得られた、部分画像と同サイズの周
波数変換係数からなるマトリクスを、複数のパターンで
複数の領域に分割し、各領域毎に周波数変換係数の平均
値を上記特徴量として算出することを特徴としている。
上記の周波数変換係数からなるマトリクスを複数のパタ
ーンで複数の領域に分割し、各領域毎に周波数変換係数
の平均値を上記特徴量として算出するので、部分画像内
にエッジがある場合、エッジが向いている方向によら
ず、各部分画像の特徴を的確に示す特徴量を算出するこ
とができる。
記載の構成において、上記特徴量抽出手段は、上記周波
数変換係数の絶対値の平均値を上記特徴量として算出す
ることを特徴としている。
ので、上記の各領域毎の周波数変換係数の平均値をとる
際に、そのままの値で総和を計算すると、正負の値同士
で打ち消し合ってしまい、特徴が現れなくなってしま
う。しかしながら、上記の構成によれば、上記特徴量と
して、周波数変換係数の絶対値の平均値を用いるので、
上記の各領域の特徴を確実に反映することができる。よ
って、各部分画像の特徴を的確に示す特徴量を算出する
ことができる。
記載の構成において、上記特徴量抽出手段は、上記の周
波数変換係数からなるマトリクスの交流成分を複数の領
域に分割するパターンとして、低周波成分から高周波成
分までの複数の領域に分割するパターンと、マトリクス
の左上を中心として放射状に一定の角度で複数の領域に
分割するパターンとを用いることを特徴としている。
波成分までの複数の領域に分割するパターンと、マトリ
クスの左上を中心として放射状に一定の角度で複数の領
域に分割するパターンとによって、上記の周波数変換係
数からなるマトリクスの交流成分を複数の領域に分割す
るので、部分画像内にエッジがある場合、そのエッジの
方向が、縦か横かそれ以外かを判断することができる。
よって、より的確に、各部分画像の特徴を示す特徴量を
算出することができる。
記載の構成において、上記周波数変換手段は、4×4の
マトリクスサイズの離散コサイン変換によって周波数変
換を行うことを特徴としている。
サイズの離散コサイン変換によって周波数変換を行って
いるので、通常良く用いられる8×8のマトリクスサイ
ズの離散コサイン変換に比べて、実際に装置として設計
した場合、回路の規模を小さくすることができ、また、
処理量も減少する。よって、装置の小型化およびコスト
の低減化が可能となり、かつ、演算時間を短縮すること
ができる。
記載の構成において、上記変換フィルタとして、シグモ
イド関数を用いたフィルタを用いる場合、該シグモイド
関数は、xを補間画素の位置座標とすると、1/(1+exp(-
Wg(x-0.5))) の式で表され、上記変換フィルタ選択手段
においてシグモイド関数を用いたフィルタが選択された
場合に、その適合度の大きさに比例して上式のWgの値が
大きくなるように設定されていることを特徴としてい
る。
択手段においてシグモイド関数を用いたフィルタが選択
された場合に、その適合度の大きさに比例して上式のWg
の値が大きくなるように設定されているので、適合度に
応じて、その適合度に最適な補間処理を行うことができ
る。例えば、適合度が大きい場合には、シグモイド関数
のしきい値付近の傾きが大きくなり、エッジが保存され
るような補間処理がなされ、適合度が小さい場合には、
シグモイド関数のしきい値付近の傾きが小さくなり、滑
らかな補間処理がなされることになる。よって、部分画
像の特徴に応じて、より詳細に補間処理の制御を行うこ
とが可能となり、画質劣化の少ない、自然な高解像度変
換画像を得ることができる。
1ないし図9に基づいて説明すれば、以下のとおりであ
る。
の概略構成を示すブロック図である。該画像処理装置
は、部分画像抽出手段1、周波数変換手段2、係数演算
手段(特徴量抽出手段)3、変換フィルタ選択手段4、
および補間処理手段5を備えている。
やデジタルカメラ等の画像入力装置から入力された原画
像のデータ、もしくは、既に入力され、ハードディスク
やメモリなどの記憶装置に記憶されている多階調の原画
像データから、処理対象となる部分画像のデータをメモ
リに読み出してくる。
によって抽出された部分画像に対して、該部分画像と同
サイズの、DCT(Discrete Cosine Transform )等の
周波数変換マトリクスを用いて周波数変換処理を行う。
そして、抽出された部分画像の周波数領域に変換された
値を、周波数変換マトリクスの係数としてメモリ等に一
時保存しておく。
行う。周波数変換手段2によって得られた、周波数変換
係数からなるマトリクスを、例えば、低周波から高周波
までの3つの領域、およびマトリクスの左上を中心とし
てマトリクス左側から上側まで放射状に、30度ずつ3
つの領域に分割する。そしてこれらの6つの領域毎に係
数の絶対値の平均値を求め、各領域の平均係数値として
一時保存しておく。
な動作を行う。係数演算手段3によって計算された6つ
の領域の平均係数値を、階層型のニューラルネットワー
クに入力する。上記階層型ニューラルネットワークとし
ては、予め実験データの学習によって最適な補間演算法
を用いたフィルタを選択することができる、6入力3出
力の3層パーセプトロンを用いる。階層型ニューラルネ
ットワークは、6つの入力データに基づいて画像の特徴
を判断し、3つのフィルタに対する適合度を出力する。
これらの適合度の中で最大の適合度をもつフィルタが、
部分画像に対応するフィルタとして選択される。上記の
3つのフィルタとして、本実施形態では、曲線補間法を
用いたフィルタ、線型補間法を用いたフィルタ、および
シグモイド関数を用いたフィルタを用いる。
4によって選択されたフィルタを用いて、部分画像に対
し、高解像度変換や拡大処理を行うための補間処理を行
い、補間データをメモリなどに保存する。
ける処理の流れを、詳細に説明する。ここでは、3種類
の特徴的な部分画像の例として、図2(a)ないし
(c)に示すような、4×4画素からなり、256階調
を有する部分画像に対しての処理について説明する。な
お、図2(a)は非エッジ画像、図2(b)は斜めエッ
ジ画像、図2(c)は縦エッジ画像を示している。ま
た、以下の説明においては、2倍の解像度変換を行う補
間処理について説明する。
画像から、図2(a)ないし(c)に示すような4×4
画素分の画像データを読み出してくる。そして、そのデ
ータをバッファに一次保存すると同時に、周波数変換手
段2にそのデータを送る。
一次保存している画像データを変換し終えたら、横方向
に、次の4×4画素の画像データを読み出しに行く。こ
の際に、図3に示すように、現在の4×4画素の右端一
列分の画素が、次の4×4画素の左端一列分の画素とな
るように読み出してくる。また、横方向への4×4画素
の読み出しが一番右端の画素の列まで来たときには、下
の行の一番左端から読み出すことになるが、この際に
も、直上の4×4画素の下端一行分の画素が、直下の4
×4画素の上端一行分の画素となるように読み出してく
る。これにより、ブロック歪みが解消される。
ら送られてきた画像データを、基底の長さが4のDCT
で周波数変換を行う。
DCTとは、離散コサイン変換の略であり、画像処理で
使用される2次元DCTを式で表すと次のようになる。
Tの基底、N は基底の長さ、X(u,v)はDCT係数であ
る。また、C(u),C(v) は定数であり、次に示す値となっ
ている。
X(u,v)をAC係数という。
が4(N=22 )のマトリクスサイズであるので、高速演
算アルゴリズムが適用可能である。具体的な式は次のよ
うになる。
を予め求めておき、図4に示すようなマトリクスとして
メモリなどに用意しておく。なお、図4のマトリクス上
の数値は、高速演算処理を行うために、本来は浮動小数
値で表される値を12ビット左へシフト演算し、固定小
数値で表したものである。
い、各部分画像の画像データを図5(a)ないし(c)
に示すように周波数変換し、周波数変換係数からなるマ
トリクスとしてバッファに一次保存しておく。なお、図
5(a)は非エッジ画像、図5(b)は斜めエッジ画
像、図5(c)は縦エッジ画像に対応している。
DCTは、4×4のマトリクスサイズなので、通常よく
用いられる8×8のマトリクスサイズのDCTに比べ、
ハードウェア化した際に、回路規模を小さくすることが
できる。また、処理量も少なくて済むので、演算時間の
短縮にもつながる。
行う。各部分画像に対応する、上記の周波数変換係数か
らなるマトリクスを、図6(a)および(b)に示すよ
うに、低周波から高周波までの3つの領域、およびマト
リクスの左上を中心としてマトリクス左側から上側まで
放射状に、30度ずつ3つの領域に分割する。そして、
これらの6つの領域毎に係数の絶対値の総和を求め、そ
れをそれぞれの領域毎の係数の数で割ることにより、各
領域の係数の平均値を求める。具体的な式は次のように
なる。
|+|X(2,2)|}/5 f3= {|X(3,0)|+|X(3,1)|+|X(3,2)|+|X(0,3)
|+|X(1,3)|+|X(2,3)|+|X(3,3)|}/7 f4= {|X(0,1)|+|X(0,2)|+|X(1,2)|+|X(0,3)
|+|X(1,3)|}/5 f5= {|X(1,1)|+|X(2,2)|+|X(3,2)|+|X(2,3)
|+|X(3,3)|}/5 f6= {|X(1,0)|+|X(2,0)|+|X(3,0)|+|X(2,1)
|+|X(3,1)|}/5 以上のように、各領域の係数を絶対値に変換して、各領
域の係数の平均値を求めている。これにより、各領域の
係数が正負の値をとる場合、各領域の係数の総和をとる
際に、それぞれの係数同士で打ち消し合い、その係数の
特徴が現れなくなるという問題を回避することができ
る。また、上記のような2つのパターンによって周波数
変換係数からなるマトリクスを3つの領域に分割するこ
とにより、部分画像内にエッジがある場合、そのエッジ
の向きが縦か横かそれ以外かを検出することができる。
なお、上記の非エッジ画像、斜めエッジ画像、および縦
エッジ画像に対応する部分画像における上記のf1〜f6の
値を、図5(a)ないし(c)の周波数変換係数からな
るマトリクスの下部に示しておく。
データを、変換フィルタ選択手段4に送る。
段3から送られてきた6つの各平均係数値データを、図
7に示すような、6入力3出力の階層型ニューラルネッ
トワークに入力する。この階層型ニューラルネットワー
クは、予め実験によりエッジ部分や非エッジ部分でそれ
ぞれ最適なフィルタが選択されるように学習されてい
る。6つの入力ユニットに各平均係数値データを入力す
ると、9つの中間層ユニットを介して、各ユニット間の
相互作用によって、該平均係数値データを有する部分画
像に対する各フィルタの適合度が出力される。各ユニッ
トにおける演算の具体的な式は次のようになる。
(X)=1/(1+exp(-X))で表される関数である。また、x は
入力層に入力される入力値、H は中間層の各ユニットの
出力値、O は出力層の各ユニットの出力値である。w お
よびv はそれぞれ入力層から中間層、および中間層から
出力層への結合の重みの値、θおよびγはそれぞれ中間
層および出力層におけるオフセット値である。
結果を基に、第1番目の出力ユニットからの出力値が一
番大きいときには線型補間法を用いたフィルタを選択
し、第2番目の出力ユニットからの出力値が一番大きい
ときには曲線補間法を用いたフィルタを選択し、第3番
目の出力ユニットからの出力値が一番大きいときにはシ
グモイド関数を用いたフィルタを選択する。そして、そ
の結果を次の補間処理手段5に送る。
データから、各フィルタの適合度を算出する手段とし
て、上記のような階層型ニューラルネットワークを用い
ているので、例えば論理演算などによって適合度を算出
する場合に比べて、処理時間を短くすることができる。
また、本実施形態では、階層型ニューラルネットワーク
における入力が6、出力が3であったが、この入力およ
び出力の数が多くなる場合には、上記のような階層型ニ
ューラルネットワークの優位性が大きくなる。
段4によって選択されたフィルタを用いて、部分画像抽
出手段1によって抽出され、バッファに一次保存されて
いる部分画像データから、2倍の解像度変換を行うため
の補間処理を行う。
いたフィルタを選択した場合には、補間処理手段5は線
型補間法による補間処理を行う。具体的な演算は次に示
す式によって行われる。
{(i+1)-u }(v-j)Pij+1+ (u-i){(j+1)-v } Pi+1j+
(u-i)(v-j)Pi+1j+1 i=[u ], j=[v ]([]はガウス記号:整数部分だけ
をとる) ここで、u,v は補間画素の座標値、 Pは原画素の画素値
を表している。上記の演算における原画素と補間画素と
の位置関係を、図8(a)に示す。上記のような式を用
いて2倍の解像度変換を行う場合には、補間画素p(u,v)
は、p(i+0.5,j)、p(i,j+0.5)、p(i+0.5,j+0.5)となる。
すような非エッジ画像は、図9(a)に示すような、2
倍の解像度変換が施された画像となる。
法を用いたフィルタを選択した場合には、補間処理手段
5は曲線補間法による補間処理を行う。具体的な演算は
次に示す式によって行われる。
位置関係を、図8(b)に示す。線型補間法と同様に、
上記のような式を用いて2倍の解像度変換を行う場合に
は、補間画素p(u,v)は、p(i+0.5,j)、p(i,j+0.5)、p(i+
0.5,j+0.5)となる。
すような斜めエッジ画像は、図9(b)に示すような、
2倍の解像度変換が施された画像となる。
イド関数を用いたフィルタを選択した場合には、補間処
理手段5はシグモイド関数を用いたフィルタによる補間
処理を行う。具体的な演算は次に示す式によって行われ
る。
i+1j+ t3・t4・ Pi+1j+1 i=[u ], j=[v ] ([]はガウス記号:整数部分だ
けをとる) 線型補間法と同様に、u,v は補間画素の座標値、 Pは原
画素の画素値を表している。上記の演算における原画素
と補間画素との位置関係を、図8(a)に示す。上記の
ような式を用いて2倍の解像度変換を行う場合には、補
間画素p(u,v)は、p(i+0.5,j)、p(i,j+0.5)、p(i+0.5,j+
0.5)となる。
すような縦エッジ画像は、図9(c)に示すような、2
倍の解像度変換が施された画像となる。
ーラルネットワークにおける第3番目の出力ユニットの
出力値である。すなわち、O3はシグモイド関数を用いた
フィルタに対する適合度を表している。これにより、シ
グモイド関数を用いたフィルタに対する適合度の大きさ
に応じて、シグモイド関数のしきい値付近の傾きを変化
させることができる。適合度が大きい場合には、シグモ
イド関数のしきい値付近の傾きが大きくなり、部分画像
にエッジ部分がある場合、そのエッジが保存されるよう
な補間処理がなされる。一方、適合度が小さい場合に
は、シグモイド関数のしきい値付近の傾きが小さくな
り、より滑らかな補間処理がなされる。したがって、部
分画像の特徴によく適応した補間処理を行うことができ
る。
は、メモリ等に保存され、高解像度変換画像、あるいは
拡大画像として適宜用いられる。
を用いたが、特にこれに限定するものではなく、例えば
フーリエ変換やウェーブレット変換などを用いても構わ
ない。また、上記の例では、DCTの基底サイズとして
4×4のものを用いたが、特にこれに限定するものでは
なく、例えば8×8などのサイズでも処理を行うことは
可能である。さらに、上記の例では、フィルタとして、
線型補間法、曲線補間法、およびシグモイド関数を用い
たものを使用したが、特にこれに限定するものではな
く、滑らかな補間が可能なフィルタ、およびエッジ部分
を保存もしくは強調できるフィルタであれば、他のフィ
ルタでも構わない。
る画像処理装置は、文字画像などのエッジ部分を多く含
む画像と、写真画像などの非エッジ部分を多く含む画像
とが混在した多階調画像に対して、エッジ部分はエッジ
を保存し、非エッジ部分である滑らかな部分はその滑ら
かさを維持しながら補間を行うので、画質劣化の少ない
高解像度変換画像を提供することができる。
像処理装置は、処理対象の多階調画像を部分画像に分割
し、各部分画像に対して高解像度変換や拡大処理を行う
画像処理装置であって、上記部分画像に対して周波数変
換処理を行う周波数変換手段と、上記周波数変換手段の
出力に基づいて、上記部分画像の特徴量を抽出する特徴
量抽出手段と、上記特徴量抽出手段の出力に基づいて、
上記部分画像に対して高解像度変換や拡大処理を行うた
めの変換フィルタを選択する変換フィルタ選択手段とを
備えている構成である。
間を行うことができ、画質劣化の少ない高解像度変換画
像を得ることができるという効果を奏する。
求項1の構成による効果に加えて、上記変換フィルタ選
択手段は、上記特徴量を入力とし、上記部分画像に対す
る各変換フィルタの適合度を出力する階層型ニューラル
ネットワークを備え、上記適合度に基づいて変換フィル
タを選択する構成である。
っても、短い処理時間で演算を行うことができる。よっ
て、特徴量をある程度多くすることができるので、より
的確に、各部分画像に適した変換フィルタを選択するこ
とができるという効果を奏する。
求項1の構成による効果に加えて、上記特徴量抽出手段
は、上記周波数変換手段によって得られた、部分画像と
同サイズの周波数変換係数からなるマトリクスを、複数
のパターンで複数の領域に分割し、各領域毎に周波数変
換係数の平均値を上記特徴量として算出する構成であ
る。
合、エッジが向いている方向によらず、各部分画像の特
徴を的確に示す特徴量を算出することができるという効
果を奏する。
求項3の構成による効果に加えて、上記特徴量抽出手段
は、上記周波数変換係数の絶対値の平均値を上記特徴量
として算出する構成である。
換係数の絶対値の平均値を用いるので、上記の各領域の
特徴を確実に反映することができ、各部分画像の特徴を
的確に示す特徴量を算出することができるという効果を
奏する。
求項3の構成による効果に加えて、上記特徴量抽出手段
は、上記の周波数変換係数からなるマトリクスの交流成
分を複数の領域に分割するパターンとして、低周波成分
から高周波成分までの複数の領域に分割するパターン
と、マトリクスの左上を中心として放射状に一定の角度
で複数の領域に分割するパターンとを用いる構成であ
る。
合、そのエッジの方向が、縦か横かそれ以外かを判断す
ることができ、より的確に、各部分画像の特徴を示す特
徴量を算出することができるという効果を奏する。
求項1の構成による効果に加えて、上記周波数変換手段
は、4×4のマトリクスサイズの離散コサイン変換によ
って周波数変換を行う構成である。
合、回路の規模を小さくすることができ、また、処理量
も減少する。よって、装置の小型化およびコストの低減
化が可能となり、かつ、演算時間を短縮することができ
るという効果を奏する。
求項2の構成による効果に加えて、上記変換フィルタと
して、シグモイド関数を用いたフィルタを用いる場合、
該シグモイド関数は、xを補間画素の位置座標とする
と、1/(1+exp(-Wg(x-0.5))) の式で表され、上記変換フ
ィルタ選択手段においてシグモイド関数を用いたフィル
タが選択された場合に、その適合度の大きさに比例して
上式のWgの値が大きくなるように設定されている構成で
ある。
に最適な補間処理を行うことができる。よって、部分画
像の特徴に応じて、より詳細に補間処理の制御を行うこ
とが可能となり、画質劣化の少ない、自然な高解像度変
換画像を得ることができるという効果を奏する。
略構成を示すブロック図である。
る3種類の部分画像の例を示す説明図である。
す説明図である。
合のcos() の演算結果のマトリクスを示す説明図であ
る。
に対する周波数変換係数のマトリクス、および各領域毎
の平均係数値を示す説明図である。
マトリクスを3つの領域に分割する様子を示す説明図で
ある。
トワークの構成を示す模式図である。
の画素の位置と、補間画素の位置との関係を示す説明図
である。
を補間処理した結果を示す説明図である。
Claims (7)
- 【請求項1】処理対象の多階調画像を部分画像に分割
し、各部分画像に対して高解像度変換や拡大処理を行う
画像処理装置であって、 上記部分画像に対して周波数変換処理を行う周波数変換
手段と、 上記周波数変換手段の出力に基づいて、上記部分画像の
特徴量を抽出する特徴量抽出手段と、 上記特徴量抽出手段の出力に基づいて、上記部分画像に
対して高解像度変換や拡大処理を行うための変換フィル
タを選択する変換フィルタ選択手段とを備えていること
を特徴とする画像処理装置。 - 【請求項2】上記変換フィルタ選択手段は、上記特徴量
を入力とし、上記部分画像に対する各変換フィルタの適
合度を出力する階層型ニューラルネットワークを備え、
上記適合度に基づいて変換フィルタを選択することを特
徴とする請求項1記載の画像処理装置。 - 【請求項3】上記特徴量抽出手段は、上記周波数変換手
段によって得られた、部分画像と同サイズの周波数変換
係数からなるマトリクスを、複数のパターンで複数の領
域に分割し、各領域毎に周波数変換係数の平均値を上記
特徴量として算出することを特徴とする請求項1記載の
画像処理装置。 - 【請求項4】上記特徴量抽出手段は、上記周波数変換係
数の絶対値の平均値を上記特徴量として算出することを
特徴とする請求項3記載の画像処理装置。 - 【請求項5】上記特徴量抽出手段は、上記の周波数変換
係数からなるマトリクスの交流成分を複数の領域に分割
するパターンとして、低周波成分から高周波成分までの
複数の領域に分割するパターンと、マトリクスの左上を
中心として放射状に一定の角度で複数の領域に分割する
パターンとを用いることを特徴とする請求項3記載の画
像処理装置。 - 【請求項6】上記周波数変換手段は、4×4のマトリク
スサイズの離散コサイン変換によって周波数変換を行う
ことを特徴とする請求項1記載の画像処理装置。 - 【請求項7】上記変換フィルタとして、シグモイド関数
を用いたフィルタを用いる場合、該シグモイド関数は、
xを補間画素の位置座標とすると、1/(1+exp(-Wg(x-0.
5)))の式で表され、上記変換フィルタ選択手段において
シグモイド関数を用いたフィルタが選択された場合に、
その適合度の大きさに比例して上式のWgの値が大きくな
るように設定されていることを特徴とする請求項2記載
の画像処理装置。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP01603998A JP3549720B2 (ja) | 1998-01-28 | 1998-01-28 | 画像処理装置 |
US09/238,847 US6272261B1 (en) | 1998-01-28 | 1999-01-28 | Image processing device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP01603998A JP3549720B2 (ja) | 1998-01-28 | 1998-01-28 | 画像処理装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPH11213146A true JPH11213146A (ja) | 1999-08-06 |
JP3549720B2 JP3549720B2 (ja) | 2004-08-04 |
Family
ID=11905451
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP01603998A Expired - Fee Related JP3549720B2 (ja) | 1998-01-28 | 1998-01-28 | 画像処理装置 |
Country Status (2)
Country | Link |
---|---|
US (1) | US6272261B1 (ja) |
JP (1) | JP3549720B2 (ja) |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006040260A (ja) * | 2004-06-04 | 2006-02-09 | Xerox Corp | 印刷画像を自動的に分類するシステム |
KR100636152B1 (ko) * | 2004-07-09 | 2006-10-19 | 삼성전자주식회사 | 여백없는 이미지 인쇄 방법 및 장치 |
JP2010130069A (ja) * | 2008-11-25 | 2010-06-10 | Nikon Corp | デジタルカメラおよび画像処理装置並びに画像処理プログラム |
US8842917B2 (en) | 2009-11-05 | 2014-09-23 | Canon Kabushiki Kaisha | Local feature extraction apparatus, control method therefor, and computer-readable medium |
JP2016136445A (ja) * | 2011-05-11 | 2016-07-28 | アイキューブド研究所株式会社 | 画像処理装置、画像処理方法、およびプログラム |
JP2019180699A (ja) * | 2018-04-06 | 2019-10-24 | 富士フイルム株式会社 | 画像診断支援装置、方法およびプログラム |
Families Citing this family (23)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
GB9925902D0 (en) * | 1999-11-03 | 1999-12-29 | Vlsi Vision Ltd | Colour image restoration with anti-alias |
US6369787B1 (en) * | 2000-01-27 | 2002-04-09 | Myson Technology, Inc. | Method and apparatus for interpolating a digital image |
KR100658660B1 (ko) * | 2000-08-23 | 2006-12-15 | 삼성전자주식회사 | 큐빅 컨벌루션 보간계수 생성방법 |
WO2002029520A2 (en) * | 2000-10-06 | 2002-04-11 | Jonathan Westphal | Devices and techniques for logical processing |
US7474337B1 (en) * | 2000-10-24 | 2009-01-06 | Sony Corporation | Method and apparatus to provide edge enhancements as part of a demosaicing process |
US20040190786A1 (en) * | 2003-03-24 | 2004-09-30 | Khageshwar Thakur | Method of image enhancement for an imaging apparatus |
US20050129306A1 (en) * | 2003-12-12 | 2005-06-16 | Xianglin Wang | Method and apparatus for image deinterlacing using neural networks |
US20060007462A1 (en) * | 2004-07-09 | 2006-01-12 | Samsung Electronics Co., Ltd. | Method and apparatus for printing borderless image |
US7500182B2 (en) * | 2004-12-22 | 2009-03-03 | Go Daddy Group, Inc. | Host web page displaying target web page image |
US7500183B2 (en) * | 2004-12-22 | 2009-03-03 | The Go Daddy Group, Inc. | Target web page edited using overlay on host web page |
US7502135B2 (en) * | 2005-09-08 | 2009-03-10 | The Go Daddy Group, Inc. | Document color and shades of gray optimization using dithered monochrome surfaces |
US8115977B2 (en) * | 2005-09-08 | 2012-02-14 | Go Daddy Operating Company, LLC | Document color and shades of gray optimization using monochrome patterns |
US8179565B2 (en) * | 2005-09-08 | 2012-05-15 | Go Daddy Operating Company, LLC | Document color and shades of gray optimization using outlining |
US7777917B2 (en) * | 2005-09-08 | 2010-08-17 | The Go Daddy Group, Inc. | Document color and shades of gray optimization using solid monochrome colors |
US9495072B2 (en) * | 2006-02-02 | 2016-11-15 | At&T Intellectual Property I, L.P. | System and method for sharing content with a remote device |
US7778486B2 (en) * | 2006-02-24 | 2010-08-17 | The Go Daddy Group, Inc. | Online image processing systems and methods |
US9215417B2 (en) * | 2008-02-05 | 2015-12-15 | At&T Intellectual Property I, Lp | Managing media content for a personal television channel |
US9015093B1 (en) | 2010-10-26 | 2015-04-21 | Michael Lamport Commons | Intelligent control with hierarchical stacked neural networks |
US8775341B1 (en) | 2010-10-26 | 2014-07-08 | Michael Lamport Commons | Intelligent control with hierarchical stacked neural networks |
WO2016054778A1 (en) * | 2014-10-09 | 2016-04-14 | Microsoft Technology Licensing, Llc | Generic object detection in images |
US10366302B2 (en) * | 2016-10-10 | 2019-07-30 | Gyrfalcon Technology Inc. | Hierarchical category classification scheme using multiple sets of fully-connected networks with a CNN based integrated circuit as feature extractor |
JP6840506B2 (ja) * | 2016-10-20 | 2021-03-10 | キヤノン株式会社 | 画像処理装置、画像処理方法、プログラム |
EP3993414A1 (en) * | 2020-11-03 | 2022-05-04 | Ateme | Method for image processing and apparatus for implementing the same |
Family Cites Families (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5309526A (en) * | 1989-05-04 | 1994-05-03 | At&T Bell Laboratories | Image processing system |
JPH05135165A (ja) | 1991-11-13 | 1993-06-01 | Toshiba Corp | 画像処理装置 |
JPH05344340A (ja) * | 1992-04-09 | 1993-12-24 | Matsushita Electric Ind Co Ltd | 階調変換処理方法および装置 |
US5381183A (en) * | 1992-07-03 | 1995-01-10 | Mitsubishi Denki Kabushiki Kaisha | Motion-adaptive scanning-line conversion circuit |
JPH0750752A (ja) * | 1993-08-06 | 1995-02-21 | Fuji Xerox Co Ltd | 画像密度変換方法及び装置 |
JP3373008B2 (ja) * | 1993-10-20 | 2003-02-04 | オリンパス光学工業株式会社 | 画像像域分離装置 |
JP3489796B2 (ja) * | 1994-01-14 | 2004-01-26 | 株式会社リコー | 画像信号処理装置 |
DE69634247T2 (de) * | 1995-04-27 | 2006-01-12 | Northrop Grumman Corp., Los Angeles | Klassifiziervorrichtung mit einem neuronalen Netz zum adaptiven Filtern |
US5933537A (en) * | 1996-07-29 | 1999-08-03 | Polaroid Corporation | Method and apparatus for conversion of frequency-coefficient matrices |
US6075926A (en) * | 1997-04-21 | 2000-06-13 | Hewlett-Packard Company | Computerized method for improving data resolution |
JP3836947B2 (ja) * | 1997-06-20 | 2006-10-25 | パイオニア株式会社 | サンプリングレート変換ユニット、サンプリングレート変換装置及びサンプリングレート変換方法 |
-
1998
- 1998-01-28 JP JP01603998A patent/JP3549720B2/ja not_active Expired - Fee Related
-
1999
- 1999-01-28 US US09/238,847 patent/US6272261B1/en not_active Expired - Lifetime
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006040260A (ja) * | 2004-06-04 | 2006-02-09 | Xerox Corp | 印刷画像を自動的に分類するシステム |
JP4667123B2 (ja) * | 2004-06-04 | 2011-04-06 | ゼロックス コーポレイション | 印刷画像を自動的に分類するシステム |
KR100636152B1 (ko) * | 2004-07-09 | 2006-10-19 | 삼성전자주식회사 | 여백없는 이미지 인쇄 방법 및 장치 |
JP2010130069A (ja) * | 2008-11-25 | 2010-06-10 | Nikon Corp | デジタルカメラおよび画像処理装置並びに画像処理プログラム |
US8842917B2 (en) | 2009-11-05 | 2014-09-23 | Canon Kabushiki Kaisha | Local feature extraction apparatus, control method therefor, and computer-readable medium |
JP2016136445A (ja) * | 2011-05-11 | 2016-07-28 | アイキューブド研究所株式会社 | 画像処理装置、画像処理方法、およびプログラム |
JP2019180699A (ja) * | 2018-04-06 | 2019-10-24 | 富士フイルム株式会社 | 画像診断支援装置、方法およびプログラム |
Also Published As
Publication number | Publication date |
---|---|
US6272261B1 (en) | 2001-08-07 |
JP3549720B2 (ja) | 2004-08-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP3549720B2 (ja) | 画像処理装置 | |
EP1347410B1 (en) | Edge-based enlargement and interpolation of images | |
US6263120B1 (en) | Image data interpolation processing method | |
JP3890175B2 (ja) | 画像処理方法及び装置 | |
TWI406571B (zh) | Image Processing Method for Enhancing Image Edge Resolution | |
US20050134734A1 (en) | Noise reduction in color digital images using pyramid decomposition | |
JP2003018403A (ja) | 画像処理装置 | |
JP2003018398A (ja) | ピクセル画像から超解像度画像を生成する方法 | |
US6721458B1 (en) | Artifact reduction using adaptive nonlinear filters | |
Siddiqui et al. | Training-based descreening | |
Siddiqui et al. | Hardware-friendly descreening | |
JP3738791B2 (ja) | 画像処理方法および装置 | |
JPH06309452A (ja) | 解像度変換処理装置 | |
JPH0944128A (ja) | 2値画像多値化縮小処理装置 | |
JP4202395B2 (ja) | 画像変換方法、変換画像生成方法、および画像補正装置 | |
JPH0793531A (ja) | 画像処理装置 | |
JP3092769B2 (ja) | 画像処理装置 | |
JP2008021207A (ja) | 画像処理システムおよび画像処理プログラム | |
RU2310911C1 (ru) | Способ интерполяции изображений | |
RU2411584C2 (ru) | Способ адаптивного сглаживания для подавления растровой структуры изображений | |
JP4084719B2 (ja) | 画像処理装置および該画像処理装置を備える画像形成装置、ならびに画像処理方法、画像処理プログラムおよびコンピュータ読み取り可能な記録媒体 | |
JP4067538B2 (ja) | 画像処理方法、画像処理装置、画像形成装置、コンピュータプログラム、及び記録媒体 | |
JPH0816773A (ja) | 画像処理方法 | |
JPH09153132A (ja) | 多重解像度変換方法および装置 | |
JP4265362B2 (ja) | 画像処理装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20040204 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20040210 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20040406 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20040420 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20040421 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080430 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090430 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090430 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100430 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100430 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110430 Year of fee payment: 7 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120430 Year of fee payment: 8 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120430 Year of fee payment: 8 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130430 Year of fee payment: 9 |
|
LAPS | Cancellation because of no payment of annual fees |