JP2001043357A - 画像処理方法、画像処理装置及び記録媒体 - Google Patents
画像処理方法、画像処理装置及び記録媒体Info
- Publication number
- JP2001043357A JP2001043357A JP11216900A JP21690099A JP2001043357A JP 2001043357 A JP2001043357 A JP 2001043357A JP 11216900 A JP11216900 A JP 11216900A JP 21690099 A JP21690099 A JP 21690099A JP 2001043357 A JP2001043357 A JP 2001043357A
- Authority
- JP
- Japan
- Prior art keywords
- image
- interpolation
- original image
- pixel
- weighted sum
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003672 processing method Methods 0.000 title claims description 10
- 230000009467 reduction Effects 0.000 claims abstract description 20
- 238000000034 method Methods 0.000 claims description 44
- 230000009466 transformation Effects 0.000 claims description 18
- 230000008569 process Effects 0.000 claims description 8
- 230000001131 transforming effect Effects 0.000 claims 3
- 238000006243 chemical reaction Methods 0.000 abstract description 2
- 239000010410 layer Substances 0.000 description 18
- 238000010586 diagram Methods 0.000 description 12
- 230000000694 effects Effects 0.000 description 7
- 230000002093 peripheral effect Effects 0.000 description 4
- 230000008901 benefit Effects 0.000 description 2
- 230000006866 deterioration Effects 0.000 description 2
- 238000009499 grossing Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 239000011229 interlayer Substances 0.000 description 1
- 238000011946 reduction process Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4007—Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
- Editing Of Facsimile Originals (AREA)
Abstract
(57)【要約】
【課題】 エイリアシングとぼけの少ない補間を低い計
算コストで実現する。 【解決手段】 バイリニア補間部104は、原画像・縮
小画像記憶部101から、階層選択部102で選択され
た3つの階層の画像それぞれの、画素位置生成部102
より指定された画素位置に対応する4画素値を取り込
み、バイリニア補間演算を行う。得られた3つの補間画
素値は、加重和演算部105により、負値を含む加重を
用いて加重和される。3つの加重は、その総和が常に1
であり、かつ注目画素位置周辺の拡大/縮小率が変化す
るに従い徐々に変化する。倍率が異なる部分が滑らかに
連続した、エイリアシングとぼけの少ない、透視変換に
よる変形画像が変形画像記憶部106に得られる。
算コストで実現する。 【解決手段】 バイリニア補間部104は、原画像・縮
小画像記憶部101から、階層選択部102で選択され
た3つの階層の画像それぞれの、画素位置生成部102
より指定された画素位置に対応する4画素値を取り込
み、バイリニア補間演算を行う。得られた3つの補間画
素値は、加重和演算部105により、負値を含む加重を
用いて加重和される。3つの加重は、その総和が常に1
であり、かつ注目画素位置周辺の拡大/縮小率が変化す
るに従い徐々に変化する。倍率が異なる部分が滑らかに
連続した、エイリアシングとぼけの少ない、透視変換に
よる変形画像が変形画像記憶部106に得られる。
Description
【0001】
【発明の属する技術分野】本発明は、デジタル画像処理
の分野に係り、特に、デジタル画像の変形処理の分野に
関する。
の分野に係り、特に、デジタル画像の変形処理の分野に
関する。
【0002】
【従来の技術】画像処理の分野では、デジタル画像の変
形操作が必要になることが多い。例えば異なる位置、角
度などの条件で撮影した複数の画像を正確に貼り合わせ
るためには、画像に透視変換による変形を施すことが必
要である。透視変換に対応した変形では、一枚の画像中
に拡大される部分と縮小される部分が生じる。このよう
な場合、拡大、縮小をともに高品質に処理し、かつ倍率
の異なる部分がなめらかに連続することが望ましい。
形操作が必要になることが多い。例えば異なる位置、角
度などの条件で撮影した複数の画像を正確に貼り合わせ
るためには、画像に透視変換による変形を施すことが必
要である。透視変換に対応した変形では、一枚の画像中
に拡大される部分と縮小される部分が生じる。このよう
な場合、拡大、縮小をともに高品質に処理し、かつ倍率
の異なる部分がなめらかに連続することが望ましい。
【0003】デジタル画像を変形するためには、原画像
上に原画像の画素格子とは異なる新たな格子を考え、そ
の格子点位置の画素値を求めることが必要である。しか
し、変形された画像の画素位置は、一般的に元の画像の
画素位置とは一致しないため、変形画像の画素値は、原
画像の画素値を補間することによって求めることにな
る。補間処理とは、原画像上の位置(i, j)(ただしi, j
は整数)の画素値をA(i, j)として、任意の位置(x, y)で
の画素値B(x, y)を、A(i, j)から推定する処理である。
デジタル画像の画素値補間法として、次の3つの方法が
知られている。
上に原画像の画素格子とは異なる新たな格子を考え、そ
の格子点位置の画素値を求めることが必要である。しか
し、変形された画像の画素位置は、一般的に元の画像の
画素位置とは一致しないため、変形画像の画素値は、原
画像の画素値を補間することによって求めることにな
る。補間処理とは、原画像上の位置(i, j)(ただしi, j
は整数)の画素値をA(i, j)として、任意の位置(x, y)で
の画素値B(x, y)を、A(i, j)から推定する処理である。
デジタル画像の画素値補間法として、次の3つの方法が
知られている。
【0004】《ニアレストネイバー法(最近傍法)》
(x, y)に最も近い原画像画素(i, j)を選択し、その画素
値をそのまま補間画素値B(x, y)とする方法である。す
なわち、
(x, y)に最も近い原画像画素(i, j)を選択し、その画素
値をそのまま補間画素値B(x, y)とする方法である。す
なわち、
【数1】 この方法は、ここに述べる3つの補間法の中では、補間
結果の画質が最も悪いが、計算コストは最も低い。
結果の画質が最も悪いが、計算コストは最も低い。
【0005】《バイリニア法》(x, y)を囲む四つの原画
像画素を選択し、その画素値から線形補間する方法であ
る。すなわち、
像画素を選択し、その画素値から線形補間する方法であ
る。すなわち、
【数2】
【0006】《キュービックスプライン法》(x, y)を囲
む4×4=16個の原画像画素を選択し、その画素値の
加重平均を求める方法である。すなわち、
む4×4=16個の原画像画素を選択し、その画素値の
加重平均を求める方法である。すなわち、
【数3】 この方法は、負の加重を使うことから、バイリニア法に
比べエッジ強調の効果が生じ、3つの補間法の中で最も
解像度が高い補間結果を得られる。その反面、16個の
画素値を使用するため計算コストは最も大きい。
比べエッジ強調の効果が生じ、3つの補間法の中で最も
解像度が高い補間結果を得られる。その反面、16個の
画素値を使用するため計算コストは最も大きい。
【0007】また、デジタル画像の拡大、縮小に関連し
た画質向上もしくは画質劣化の防止のための技術とし
て、次のような処理方法が知られている。
た画質向上もしくは画質劣化の防止のための技術とし
て、次のような処理方法が知られている。
【0008】《ぼけ防止のための手法:アンシャープマ
スク処理》画像を拡大する場合、原画像の詳細度を超え
る細かい情報は得られないため、画像がぼける傾向にあ
る。輪郭を強調してぼけを減少させる方法として、例え
ば特開平10−23267号公報などに見られるよう
な、原画像から、原画像をぼかした画像を減算するアン
シャープマスクという処理法が知られている。以下、こ
のアンシャープマスク処理について説明する。例えば、
原画像(I)に図4に示す係数を使いフィルタをかけると
する。このフィルタは平滑化フィルタであり、フィルタ
処理の結果(Is)は原画像をぼかしたものになる。
スク処理》画像を拡大する場合、原画像の詳細度を超え
る細かい情報は得られないため、画像がぼける傾向にあ
る。輪郭を強調してぼけを減少させる方法として、例え
ば特開平10−23267号公報などに見られるよう
な、原画像から、原画像をぼかした画像を減算するアン
シャープマスクという処理法が知られている。以下、こ
のアンシャープマスク処理について説明する。例えば、
原画像(I)に図4に示す係数を使いフィルタをかけると
する。このフィルタは平滑化フィルタであり、フィルタ
処理の結果(Is)は原画像をぼかしたものになる。
【0009】次に、原画像(I)と平滑化画像(Is)を使
い、下式のように画素毎に加重和を取ることを考える。
い、下式のように画素毎に加重和を取ることを考える。
【数4】
【0010】式(4)において、平滑化画像(Is)につい
て図4のフィルタ処理まで遡って考えると、I'は、図4
の係数を−0.5倍し、さらに中央の画素の重みに1.5を加
えた、図5に示す係数を使ったフィルタ処理の結果と同
じであることがわかる。図5のように、中央の画素以外
の係数が負の値を持つフィルタは、一般に輪郭強調の効
果を持つ。また、係数(1.5,0.5)から、加重和の結果は
平均的には原画像(I)と同じになる。このことから、
(4)式のように、平滑化した画像を原画像から減算す
ることにより、輪郭強調された画像が得られることが分
かる。
て図4のフィルタ処理まで遡って考えると、I'は、図4
の係数を−0.5倍し、さらに中央の画素の重みに1.5を加
えた、図5に示す係数を使ったフィルタ処理の結果と同
じであることがわかる。図5のように、中央の画素以外
の係数が負の値を持つフィルタは、一般に輪郭強調の効
果を持つ。また、係数(1.5,0.5)から、加重和の結果は
平均的には原画像(I)と同じになる。このことから、
(4)式のように、平滑化した画像を原画像から減算す
ることにより、輪郭強調された画像が得られることが分
かる。
【0011】《エイリアシング防止のための手法:ミッ
プマップ法》画像の縮小処理では、エイリアシングと呼
ばれる画質劣化が問題になる。図3にエイリアシングの
例を示す。図3の(a)は斜線が描かれた原画像、
(b)は原画像を1/4に縮小した画像である。この縮
小画像の例のように、縮小により、なだらかな斜線が破
線に変化してしまうなどの画質劣化が生じることがあ
り、これをエイリアシングと呼ぶ。この例では1/4に
縮小したため、変換画像の画素位置は原画像の画素位置
に一致する。そのため、上記の3つの補間法のどれを使
用しても結果は同じである。一般的に、エイリアシング
は、キュービックスプラインのような高精度の補間法を
使用しても解決しない。エイリアシングを防止する処理
方法として、ミップマップと呼ばれる方法が知られてい
る。ミップマップ法では、以下のような一連の処理によ
り変形画像を得る。 (1)ピラミッド縮小:原画像の縦横2画素ずつ計4画
素の平均をとることで、1/2に縮小した画像を生成す
る。このような1/2縮小を繰り返し、1/4,1/
8,... と、徐々に詳細度が低くなる一連の縮小画
像を準備する。 (2)最適階層選択:補間処理する画素位置の周辺での
倍率に対して適当な縮小率の画像を選択する。要求され
た倍率が1/nに等しくない場合は、その倍率と縮小率
が近い上下2階層の縮小画像を選択する。例えば、周辺
の倍率が1/6の場合、1/4縮小画像と1/8縮小画
像を選択する。 (3)階層内補間:選択された各縮小画像上で、目的の
画素位置に対応する位置の画素値を、補間処理により求
める。この補間処理では、変形画像とほぼ同じ大きさの
縮小画像をもとにするため、エイリアシングは生じにく
い。 (4)階層間補間:補間処理する画素位置の周辺での倍
率が、選択された上下2階層の縮小画像の倍率の間にあ
る場合、その周辺倍率と各階層の倍率との近さに応じた
重みを使い、2つの階層内補間結果の加重平均を取る。
例えば、倍率が1/6の場合、1/4縮小画像上の補間
結果と1/8縮小画像上の補間結果の1対1の平均を取
る。この処理により、位置によって倍率が徐々に変化す
るような場合でも、処理結果はなめらかに連続するよう
になる。
プマップ法》画像の縮小処理では、エイリアシングと呼
ばれる画質劣化が問題になる。図3にエイリアシングの
例を示す。図3の(a)は斜線が描かれた原画像、
(b)は原画像を1/4に縮小した画像である。この縮
小画像の例のように、縮小により、なだらかな斜線が破
線に変化してしまうなどの画質劣化が生じることがあ
り、これをエイリアシングと呼ぶ。この例では1/4に
縮小したため、変換画像の画素位置は原画像の画素位置
に一致する。そのため、上記の3つの補間法のどれを使
用しても結果は同じである。一般的に、エイリアシング
は、キュービックスプラインのような高精度の補間法を
使用しても解決しない。エイリアシングを防止する処理
方法として、ミップマップと呼ばれる方法が知られてい
る。ミップマップ法では、以下のような一連の処理によ
り変形画像を得る。 (1)ピラミッド縮小:原画像の縦横2画素ずつ計4画
素の平均をとることで、1/2に縮小した画像を生成す
る。このような1/2縮小を繰り返し、1/4,1/
8,... と、徐々に詳細度が低くなる一連の縮小画
像を準備する。 (2)最適階層選択:補間処理する画素位置の周辺での
倍率に対して適当な縮小率の画像を選択する。要求され
た倍率が1/nに等しくない場合は、その倍率と縮小率
が近い上下2階層の縮小画像を選択する。例えば、周辺
の倍率が1/6の場合、1/4縮小画像と1/8縮小画
像を選択する。 (3)階層内補間:選択された各縮小画像上で、目的の
画素位置に対応する位置の画素値を、補間処理により求
める。この補間処理では、変形画像とほぼ同じ大きさの
縮小画像をもとにするため、エイリアシングは生じにく
い。 (4)階層間補間:補間処理する画素位置の周辺での倍
率が、選択された上下2階層の縮小画像の倍率の間にあ
る場合、その周辺倍率と各階層の倍率との近さに応じた
重みを使い、2つの階層内補間結果の加重平均を取る。
例えば、倍率が1/6の場合、1/4縮小画像上の補間
結果と1/8縮小画像上の補間結果の1対1の平均を取
る。この処理により、位置によって倍率が徐々に変化す
るような場合でも、処理結果はなめらかに連続するよう
になる。
【0012】このミップマップ法の利点は、サンプリン
グをする前に縮小処理が行われるため、エイリアシング
が生じにくいことである。例えば、図3(a)に示した
画像の場合、図6(a)のような1/2縮小画像、同図
(b)のような1/4縮小画像を得られる。
グをする前に縮小処理が行われるため、エイリアシング
が生じにくいことである。例えば、図3(a)に示した
画像の場合、図6(a)のような1/2縮小画像、同図
(b)のような1/4縮小画像を得られる。
【0013】他方、ミップマップの欠点は、階層内補間
処理法として一般に8個の画素参照で済むバイリニア法
が使われるが、この場合にキュービックスプライン法に
比べ解像度が低くなることである。解像度を上げるた
め、階層内でキュービックスプライン法を使うと、計3
2個の画素値を参照する必要があり計算量が非常に多く
なってしまう。
処理法として一般に8個の画素参照で済むバイリニア法
が使われるが、この場合にキュービックスプライン法に
比べ解像度が低くなることである。解像度を上げるた
め、階層内でキュービックスプライン法を使うと、計3
2個の画素値を参照する必要があり計算量が非常に多く
なってしまう。
【0014】
【発明が解決しようとする課題】本発明の目的は、エイ
リアシング及びぼけが少ない補間を低い計算コストで実
現することである。本発明のもう1つの目的は、透視変
換により変形した高画質画像の生成を可能にすることで
ある。
リアシング及びぼけが少ない補間を低い計算コストで実
現することである。本発明のもう1つの目的は、透視変
換により変形した高画質画像の生成を可能にすることで
ある。
【0015】
【課題を解決するための手段】本発明においては、原画
像とそれを縮小した詳細度の異なる複数の画像の中から
複数の画像を選択し、選択した各画像に対し補間処理を
行い、得られた複数の補間結果の加重和演算を行うこと
によって補間画素値を得るが、この加重和演算で使用さ
れる加重中に負の値を含めることにより、低い計算コス
トにてエイリアシング及びぼけの少ない補間を達成する
ことである。
像とそれを縮小した詳細度の異なる複数の画像の中から
複数の画像を選択し、選択した各画像に対し補間処理を
行い、得られた複数の補間結果の加重和演算を行うこと
によって補間画素値を得るが、この加重和演算で使用さ
れる加重中に負の値を含めることにより、低い計算コス
トにてエイリアシング及びぼけの少ない補間を達成する
ことである。
【0016】また、変形パラメータに基づいて原画像を
透視変換により変形した画像上の各画素位置に対応す
る、原画像上の画素位置を生成するとともに、その画素
位置の周辺の拡大/縮小倍率を求め、この縮小/拡大倍
率に基づいて画像を選択し、選択された各画像の、上記
画素位置に対応した複数の画素値を用いて補間演算を行
うことにより、原画像を透視変換により変形したエイリ
アシング及びぼけの少ない画像を生成する。さらに、加
重和演算に用いられる加重を、その総和が常に1で、か
つ、拡大/縮小倍率が変化するに従い徐々に変化するも
のとすることにより、倍率が異なる部分が滑らかに連続
する変形画像を生成する。
透視変換により変形した画像上の各画素位置に対応す
る、原画像上の画素位置を生成するとともに、その画素
位置の周辺の拡大/縮小倍率を求め、この縮小/拡大倍
率に基づいて画像を選択し、選択された各画像の、上記
画素位置に対応した複数の画素値を用いて補間演算を行
うことにより、原画像を透視変換により変形したエイリ
アシング及びぼけの少ない画像を生成する。さらに、加
重和演算に用いられる加重を、その総和が常に1で、か
つ、拡大/縮小倍率が変化するに従い徐々に変化するも
のとすることにより、倍率が異なる部分が滑らかに連続
する変形画像を生成する。
【0017】
【発明の実施の形態】添付図面を参照しつつ、本発明の
実施の形態を説明する。
実施の形態を説明する。
【0018】図1は本発明による画像処理装置の一例を
示すブロック図である。この画像処理装置は、変形パラ
メータに基づいて原画像を透視変換により変形した画像
を生成するものであり、縮小画像生成部100、原画像
・縮小画像記憶部101、画素位置生成部102、階層
選択部103、バイリニア補間部104、加重和演算部
105、変形画像記憶部106、結果出力部107、原
画像入力部108、及び、パラメータ入力部109から
構成されている。図2は、この画像処理装置の処理フロ
ーを示すフローチャートである。以下、このフローチャ
ートの流れに沿って、処理内容を説明する。
示すブロック図である。この画像処理装置は、変形パラ
メータに基づいて原画像を透視変換により変形した画像
を生成するものであり、縮小画像生成部100、原画像
・縮小画像記憶部101、画素位置生成部102、階層
選択部103、バイリニア補間部104、加重和演算部
105、変形画像記憶部106、結果出力部107、原
画像入力部108、及び、パラメータ入力部109から
構成されている。図2は、この画像処理装置の処理フロ
ーを示すフローチャートである。以下、このフローチャ
ートの流れに沿って、処理内容を説明する。
【0019】《ステップS1》原画像入力部108によ
り、原画像データが縮小画像生成部100に入力され
る。
り、原画像データが縮小画像生成部100に入力され
る。
【0020】《ステップS2》パラメータ入力部109
により、透視変換の変形パラメータが画素位置生成部1
02に入力される。この時に、出力画像(目的の変形画
像)のサイズ(高さ、幅)も画素位置生成部109に入
力される。
により、透視変換の変形パラメータが画素位置生成部1
02に入力される。この時に、出力画像(目的の変形画
像)のサイズ(高さ、幅)も画素位置生成部109に入
力される。
【0021】《ステップS3》縮小画像生成部100に
おいて、入力された原画像データに対する複数段階の縮
小処理を行い、詳細度が異なる複数の縮小画像データを
生成する。ここでは、原画像の近傍2×2画素の平均値
をとることで縦横1/2に縮小した画像データを生成
し、その縮小画像を同様にさらに縮小した画像データを
生成するという1/2縮小処理を、縦又は横方向のサイ
ズが1画素になるまで繰り返すものとする。生成された
縮小画像データは、原画像データとともに原画像・縮小
画像記憶部101に記憶される。すなわち、原画像・縮
小画像記憶部101上に、詳細度が順次低下する複数の
縮小画像データと、最も詳細度が高い原画像データとか
らなる(詳細度が低い縮小画像ほど高階層)階層データ
構造が得られる。原画像・縮小画像記憶部101は、バ
イリニア補間部104より、階層(縮小の段数)と、そ
の階層の画像(原画像又縮小画像)上の(x,y)座標
を指定して参照されると、該当階層画像の該当位置の画
素値を出力する。
おいて、入力された原画像データに対する複数段階の縮
小処理を行い、詳細度が異なる複数の縮小画像データを
生成する。ここでは、原画像の近傍2×2画素の平均値
をとることで縦横1/2に縮小した画像データを生成
し、その縮小画像を同様にさらに縮小した画像データを
生成するという1/2縮小処理を、縦又は横方向のサイ
ズが1画素になるまで繰り返すものとする。生成された
縮小画像データは、原画像データとともに原画像・縮小
画像記憶部101に記憶される。すなわち、原画像・縮
小画像記憶部101上に、詳細度が順次低下する複数の
縮小画像データと、最も詳細度が高い原画像データとか
らなる(詳細度が低い縮小画像ほど高階層)階層データ
構造が得られる。原画像・縮小画像記憶部101は、バ
イリニア補間部104より、階層(縮小の段数)と、そ
の階層の画像(原画像又縮小画像)上の(x,y)座標
を指定して参照されると、該当階層画像の該当位置の画
素値を出力する。
【0022】《ステップS4》画素位置生成部102に
おいて、変形パラメータに基づいて、透視変換による変
形を施した結果の出力画像上での各画素位置に対応す
る、原画像上の画素位置を生成し、それをバイリニア補
間部104へ出力する。すなわち、出力画像上の位置を
(i,j)、原画像上の位置を(x,y)とすると、決
められた出力画像の範囲内のすべての(i,j)の組合
わせに対してスキャンライン順に、下式に従い画素位置
(x,y)を計算する。ここではステップS4〜ステッ
プS8の処理ループで1画素ずつの逐次処理を考えてい
るので、この処理ループの各パスで注目した1つの
(i,j)の組み合わせに対し計算が行われ、その結果
が出力される。
おいて、変形パラメータに基づいて、透視変換による変
形を施した結果の出力画像上での各画素位置に対応す
る、原画像上の画素位置を生成し、それをバイリニア補
間部104へ出力する。すなわち、出力画像上の位置を
(i,j)、原画像上の位置を(x,y)とすると、決
められた出力画像の範囲内のすべての(i,j)の組合
わせに対してスキャンライン順に、下式に従い画素位置
(x,y)を計算する。ここではステップS4〜ステッ
プS8の処理ループで1画素ずつの逐次処理を考えてい
るので、この処理ループの各パスで注目した1つの
(i,j)の組み合わせに対し計算が行われ、その結果
が出力される。
【数5】 ただし、a0からa7は、外部から与えられた変形パラメ
ータである。
ータである。
【0023】また、画素位置生成部102において、そ
の画素位置(x,y)の周辺の拡大/縮小倍率を計算
し、その結果を階層選択部103へ出力する。この倍率
は以下のようにして求められる。まず出力画像上で、
(i,j)を一角とする縦横1の大きさの正方形を考
え、次式により各頂点の原画像上での対応位置を求める
(図7参照)。
の画素位置(x,y)の周辺の拡大/縮小倍率を計算
し、その結果を階層選択部103へ出力する。この倍率
は以下のようにして求められる。まず出力画像上で、
(i,j)を一角とする縦横1の大きさの正方形を考
え、次式により各頂点の原画像上での対応位置を求める
(図7参照)。
【数6】
【0024】次に、原画像上の対応する四角形の占める
範囲(w,h)を求める。
範囲(w,h)を求める。
【数7】 ただし、max(x...)とmin(x...)は、引数のうちの最大
値、最小値を返す関数である。そして、このw,hのう
ちの大きい方を出力画像上での長さ1に対応する、原画
像上の長さと考え、注目した画素位置の周辺の倍率mを
次式により計算する。
値、最小値を返す関数である。そして、このw,hのう
ちの大きい方を出力画像上での長さ1に対応する、原画
像上の長さと考え、注目した画素位置の周辺の倍率mを
次式により計算する。
【数8】
【0025】《ステップS5》階層選択部103におい
て、画素位置生成部102より与えられた倍率mに基づ
いて、使用すべき画像の階層(L)を以下の式に従って決
定する。
て、画素位置生成部102より与えられた倍率mに基づ
いて、使用すべき画像の階層(L)を以下の式に従って決
定する。
【数9】
【数10】
【0026】この階層(L)と、階層(L+1),(L+2)の3
階層の画像(縮小画像又は原画像)が、次のバイリニア
補間演算の処理対象となる。すなわち、実質的に、これ
ら3つの階層が選択されたことになる。また、周辺倍率
mから式(9)により計算された対数倍数lも加重和演
算部105へ指示される(ただし、倍率mを加重和演算
部105へ指示してもよい)。
階層の画像(縮小画像又は原画像)が、次のバイリニア
補間演算の処理対象となる。すなわち、実質的に、これ
ら3つの階層が選択されたことになる。また、周辺倍率
mから式(9)により計算された対数倍数lも加重和演
算部105へ指示される(ただし、倍率mを加重和演算
部105へ指示してもよい)。
【0027】《ステップS6》バイリニア補間部104
において、画素位置生成部102より入力された原画像
上の画素位置(x,y)から、階層(L)の画像上の画素
位置(xL,yL)を次式により求める。
において、画素位置生成部102より入力された原画像
上の画素位置(x,y)から、階層(L)の画像上の画素
位置(xL,yL)を次式により求める。
【数11】
【0028】次に、原画像・縮小画像記録部101を参
照し、階層(L)の画像上の画素(xL,yL)を囲む4つ
の画素の画素値を読み込み、バイリニア補間演算を行
う。すなわち、AL(i, j) を階層(L)の画像上の位置
(i,j)の画素値として、次式の補間演算を行う。
照し、階層(L)の画像上の画素(xL,yL)を囲む4つ
の画素の画素値を読み込み、バイリニア補間演算を行
う。すなわち、AL(i, j) を階層(L)の画像上の位置
(i,j)の画素値として、次式の補間演算を行う。
【数12】
【0029】階層(L+1),(L+2)の画像に関しても、同様
にして、画素位置を計算し、その位置を囲む4つの画素
の画素値を読み込んでバイリニア補間演算を行い、補間
画素値(IL+1),(IL+2)を求める。
にして、画素位置を計算し、その位置を囲む4つの画素
の画素値を読み込んでバイリニア補間演算を行い、補間
画素値(IL+1),(IL+2)を求める。
【0030】《ステップS7》加重和演算部105にお
いて、次式に従い、各階層でのバイリニア補間結果の加
重和をとることで出力画素値(Iout)を求め、変形画像
記憶部106に書き込む。
いて、次式に従い、各階層でのバイリニア補間結果の加
重和をとることで出力画素値(Iout)を求め、変形画像
記憶部106に書き込む。
【数13】
【0031】ここで、加重 wi は、画素位置生成部1
02より与えられた注目画素位置周辺の対数倍率(l)
を使って、以下の式に従い決定する。
02より与えられた注目画素位置周辺の対数倍率(l)
を使って、以下の式に従い決定する。
【数14】
【数15】 ただし、対数倍率でなく倍率mに基づいて、同様の方法
で加重を決定することも可能である。
で加重を決定することも可能である。
【0032】図8及び図9に倍率と加重の関係を示す。
横軸が対数倍率1、縦軸が重みwで、太い実線がL層の
補間結果に対する重みwLを表す。参考のためwL-1,w
L+1も破線で示されている。また、比較のため、図10
に従来のミップマップ法での加重を示す。
横軸が対数倍率1、縦軸が重みwで、太い実線がL層の
補間結果に対する重みwLを表す。参考のためwL-1,w
L+1も破線で示されている。また、比較のため、図10
に従来のミップマップ法での加重を示す。
【0033】ここで、図8及び図9に示すような加重の
特徴と、それにより生じる本発明の利点を説明する。
(a)まず、3つの加重のうち、高い階層(小さく縮小
された画像)の加重が負の値をとる。このように負の加
重を含むことにより、アンシャープマスクの効果が生
じ、エイリアシングとぼけの少ない、高解像度の補間結
果を得られる。(b)また、3つの加重の和が常に1
で、倍率が変化するに従い加重が徐々に変化する。透視
変換により、位置によって徐々に倍率が変化しても処理
内容が急激に変化することはないので、倍率の異なる部
分が滑らかに連続した結果を得られる。(c)階層内補
間は通常のミップマップ法と同じく4つの画素値を使っ
たバイリニア法であるため、3階層合計で12個の画素
値を参照することになる。これは、通常のミップマップ
法の8画素よりは多いが、各層でキュービックスプライ
ン法を使う場合の32画素よりも半分以下であるため、
計算コストはかなり低くなる。
特徴と、それにより生じる本発明の利点を説明する。
(a)まず、3つの加重のうち、高い階層(小さく縮小
された画像)の加重が負の値をとる。このように負の加
重を含むことにより、アンシャープマスクの効果が生
じ、エイリアシングとぼけの少ない、高解像度の補間結
果を得られる。(b)また、3つの加重の和が常に1
で、倍率が変化するに従い加重が徐々に変化する。透視
変換により、位置によって徐々に倍率が変化しても処理
内容が急激に変化することはないので、倍率の異なる部
分が滑らかに連続した結果を得られる。(c)階層内補
間は通常のミップマップ法と同じく4つの画素値を使っ
たバイリニア法であるため、3階層合計で12個の画素
値を参照することになる。これは、通常のミップマップ
法の8画素よりは多いが、各層でキュービックスプライ
ン法を使う場合の32画素よりも半分以下であるため、
計算コストはかなり低くなる。
【0034】《ステップS8》目的の変形画像の生成が
終了したか判定する。例えば、画素位置生成部102に
おいて、入力された出力画像(変形画像)のサイズ(高
さ、幅)に基づいて、生成すべき画素位置を全て生成し
たか判定する。生成すべき画素位置が残っている場合に
は(判定結果No)、処理はステップS4に戻る。生成
すべき画素位置が残っていない場合には(判定結果Ye
s)、目的の変形画像データ全体が変形画像記憶部10
6に得られたので、処理は次のステップS9に進む。
終了したか判定する。例えば、画素位置生成部102に
おいて、入力された出力画像(変形画像)のサイズ(高
さ、幅)に基づいて、生成すべき画素位置を全て生成し
たか判定する。生成すべき画素位置が残っている場合に
は(判定結果No)、処理はステップS4に戻る。生成
すべき画素位置が残っていない場合には(判定結果Ye
s)、目的の変形画像データ全体が変形画像記憶部10
6に得られたので、処理は次のステップS9に進む。
【0035】《ステップS9》結果出力部107によっ
て、変形画像記憶部106に得られた変形画像データを
外部に出力する。
て、変形画像記憶部106に得られた変形画像データを
外部に出力する。
【0036】以上説明した第1の実施例では、補間処理
に3階層の画像を使用し、階層内補間に4画素を使用し
たので、合計12個の加重和をとった。しかし、一般
に、倍率mが1より小さい場合、つまり縮小の場合は、
多少解像度が落ちても目立たないことが多い。そこで、
第2の実施例においては、拡大の場合のみアンシャープ
マスク効果を生じさせるため、2つの階層の画像だけを
使う。このようにしても、視覚的には高い効果が期待で
きる。
に3階層の画像を使用し、階層内補間に4画素を使用し
たので、合計12個の加重和をとった。しかし、一般
に、倍率mが1より小さい場合、つまり縮小の場合は、
多少解像度が落ちても目立たないことが多い。そこで、
第2の実施例においては、拡大の場合のみアンシャープ
マスク効果を生じさせるため、2つの階層の画像だけを
使う。このようにしても、視覚的には高い効果が期待で
きる。
【0037】すなわち、第2の実施例においては、バイ
リニア補間部104(ステップS6)で、2つの階層
(L),(L+1)の画像だけを対象にして補間演算を行い、
加重和演算部105(ステップS7)で次式の加重和演
算を行う。
リニア補間部104(ステップS6)で、2つの階層
(L),(L+1)の画像だけを対象にして補間演算を行い、
加重和演算部105(ステップS7)で次式の加重和演
算を行う。
【数16】
【0038】ただし、加重 wi は、以下の式に従い決
定する。
定する。
【数17】
【数18】
【数19】 図11に、このような倍率と加重の関係を示す。この第
2の実施例においては、2つの階層の画像だけを使うた
め、通常のミップマップ法と同じく8画素の参照です
み、計算コストをさらに低く抑えることができ、かつ、
ぼけの目立つ、等倍から拡大の部分についてはアンシャ
ープマスク処理と同様の輪郭強調効果を得られる。
2の実施例においては、2つの階層の画像だけを使うた
め、通常のミップマップ法と同じく8画素の参照です
み、計算コストをさらに低く抑えることができ、かつ、
ぼけの目立つ、等倍から拡大の部分についてはアンシャ
ープマスク処理と同様の輪郭強調効果を得られる。
【0039】以上に説明した本発明は、例えば図12に
示すようなCPU200、メモリ201、ハードディス
ク装置202、ディスプレイ203、キーボードやマウ
スなどの入力装置204、プリンタ205、通信装置2
06、フロッピー(登録商標)ディスクやCD−ROM
等の記録媒体207の読み書きのための媒体駆動装置2
08等をバス209で接続した一般的な計算機システム
を利用し、ソフトウエアにより実施することもできる。
この場合、図2のフローチャートに示したような各処理
ステップをコンピュータに実施させるためのプログラ
ム、あるいは、図1に示したような各機能手段をコンピ
ュータ上に実現させるためのプログラムが、例えば、同
プログラムが記録された記録媒体207から媒体駆動装
置208を介して、又は、外部装置より通信装置206
を介して、ハードディスク装置202に読み込まれ、処
理実行時にハードディスク装置202からメモリ201
へロードされる。あるいは、同プログラムはメモリ20
1の一部を構成するROMに格納された形で実装され
る。
示すようなCPU200、メモリ201、ハードディス
ク装置202、ディスプレイ203、キーボードやマウ
スなどの入力装置204、プリンタ205、通信装置2
06、フロッピー(登録商標)ディスクやCD−ROM
等の記録媒体207の読み書きのための媒体駆動装置2
08等をバス209で接続した一般的な計算機システム
を利用し、ソフトウエアにより実施することもできる。
この場合、図2のフローチャートに示したような各処理
ステップをコンピュータに実施させるためのプログラ
ム、あるいは、図1に示したような各機能手段をコンピ
ュータ上に実現させるためのプログラムが、例えば、同
プログラムが記録された記録媒体207から媒体駆動装
置208を介して、又は、外部装置より通信装置206
を介して、ハードディスク装置202に読み込まれ、処
理実行時にハードディスク装置202からメモリ201
へロードされる。あるいは、同プログラムはメモリ20
1の一部を構成するROMに格納された形で実装され
る。
【0040】
【発明の効果】以上に説明したように、請求項1乃至9
の各項記載の発明によれば、低い計算コストで、エイリ
アシングとぼけが少ない補間を実現することが可能にな
り、また、請求項4、5、8又は9によれば、エイリア
シング及びぼけの少ない投影変換による変形画像の生成
が可能になり、特に、請求項5又は9記載の発明によれ
ば、倍率の異なる部分が滑らかに連続した変形画像を生
成することができる。また、請求項6記載の発明によれ
ば、上に述べたような補間及び変形画像生成を一般的な
コンピュータを使用して容易に実施可能になる等の効果
を得られる。
の各項記載の発明によれば、低い計算コストで、エイリ
アシングとぼけが少ない補間を実現することが可能にな
り、また、請求項4、5、8又は9によれば、エイリア
シング及びぼけの少ない投影変換による変形画像の生成
が可能になり、特に、請求項5又は9記載の発明によれ
ば、倍率の異なる部分が滑らかに連続した変形画像を生
成することができる。また、請求項6記載の発明によれ
ば、上に述べたような補間及び変形画像生成を一般的な
コンピュータを使用して容易に実施可能になる等の効果
を得られる。
【図1】本発明による画像処理装置の一例を示すブロッ
ク図である。
ク図である。
【図2】図1の画像処理装置における処理を説明するた
めのフローチャートである。
めのフローチャートである。
【図3】原画像と、エイリアシングを生じた1/4縮小
画像を示す図である。
画像を示す図である。
【図4】ぼけ画像の生成のための平滑化フィルタの係数
を示す図である。
を示す図である。
【図5】輪郭強調フィルタの係数を示す図である。
【図6】図3に示した原画像を縮小した、エイリアシン
グのない1/2縮小画像と1/4縮小画像を示す図であ
る。
グのない1/2縮小画像と1/4縮小画像を示す図であ
る。
【図7】注目画素位置の周辺倍率の計算の説明のための
図である。
図である。
【図8】中間層に対する加重和演算のための加重と対数
倍率の関係を示す図である。
倍率の関係を示す図である。
【図9】最下層に対する加重和演算のための加重と対数
倍率の関係を示す図である。
倍率の関係を示す図である。
【図10】従来のミップマップ処理で用いられた加重と
対数倍率の関係を示す図である。
対数倍率の関係を示す図である。
【図11】2つの階層を使用する場合の加重和演算のた
めの加重と対数倍率の関係を示す図である。
めの加重と対数倍率の関係を示す図である。
【図12】本発明をソフトウエアで実施するためのコン
ピュータの一例を示すブロック図である。
ピュータの一例を示すブロック図である。
100 縮小画像生成部 101 原画像・縮小画像記憶部 102 画素位置生成部 103 階層選択部 104 バイナリ補間部 105 加重和演算部 106 変形画像記憶部 107 結果出力部 108 原画像入力部 109 パラメータ入力部
Claims (9)
- 【請求項1】 原画像と、それを縮小した詳細度の異な
る複数の画像の中から複数の画像を選択する第1のステ
ップと、選択された各画像に対する補間処理を行う第2
のステップと、得られた複数の補間結果の加重和演算を
行う第3のステップとを有し、前記加重和演算で使用さ
れる加重中に負の値が含まれることを特徴とする画像処
理方法。 - 【請求項2】 3つ以上の画像に対し補間処理が行われ
ることを特徴とする請求項1記載の画像処理方法。 - 【請求項3】 特定の詳細度の画像に対する補間結果に
対して、加重和演算で負の加重が使用されることを特徴
とする請求項1記載の画像処理方法。 - 【請求項4】 変形パラメータに基づいて原画像を透視
変換により変形した画像上の各画素位置に対応する、原
画像上の画素位置を生成するとともに、その画素位置の
周辺の拡大/縮小倍率を求める第4のステップをさらに
有し、前記第1のステップは前記第4のステップで求め
られた拡大/縮小倍率に基づいて画像を選択し、前記第
2のステップは前記第4のステップで生成された画素位
置に対応した、選択された各画像の複数の画素値を用い
て補間演算を行い、前記加重和演算の結果として原画像
を透視変換により変形した画像の画素値が生成されるこ
とを特徴とする請求項1、2又は3記載の画像処理方
法。 - 【請求項5】 前記加重和演算に用いられる加重は、そ
の総和が常に1で、かつ、前記第4ステップで求められ
た拡大/縮小倍率が変化するに従い徐々に変化すること
を特徴とする請求項4記載の画像処理方法。 - 【請求項6】 請求項1、2、3、4又は5記載の画像
処理方法の各ステップをコンピュータに実行させるため
のプログラムが記録されたことを特徴とするコンピュー
タ読み取り可能記録媒体。 - 【請求項7】 入力された原画像を縮小した詳細度の異
なる複数の画像を生成する第1の手段、入力された原画
像及び生成された画像からなる複数階層の画像を記憶す
る第2の手段、前記第2手段に記憶されている画像の中
から複数の画像を選択する第3の手段、選択された各画
像に対し補間処理を行う第4の手段、得られた複数の補
間結果の加重和演算を行う第5の手段を具備し、前記加
重和演算で使用される加重中に負の値が含まれることを
特徴とする画像処理装置。 - 【請求項8】 入力された変形パラメータに基づいて原
画像を透視変換により変形した画像上の各画素位置に対
応する、原画像上の画素位置を生成するとともに、その
画素位置の周辺の拡大/縮小倍率を求める第6の手段を
さらに具備し、前記第3手段は前記第6手段で求められ
た拡大/縮小倍率に基づいて画像を選択し、前記第4手
段が前記第6手段で生成された画素位置に対応した、選
択された各画像の複数の画素値を用いて補間演算を行
い、前記加重和演算の結果として原画像を透視変換によ
り変形した画像の画素値が生成されることを特徴とする
請求項7記載の画像処理装置。 - 【請求項9】 前記加重和演算に用いられる加重は、そ
の総和が常に1で、かつ、前記第6手段で求められた拡
大/縮小倍率が変化するに従い徐々に変化することを特
徴とする請求項8記載の画像処理装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP11216900A JP2001043357A (ja) | 1999-07-30 | 1999-07-30 | 画像処理方法、画像処理装置及び記録媒体 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP11216900A JP2001043357A (ja) | 1999-07-30 | 1999-07-30 | 画像処理方法、画像処理装置及び記録媒体 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2001043357A true JP2001043357A (ja) | 2001-02-16 |
Family
ID=16695679
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP11216900A Pending JP2001043357A (ja) | 1999-07-30 | 1999-07-30 | 画像処理方法、画像処理装置及び記録媒体 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2001043357A (ja) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR100685858B1 (ko) | 2005-01-20 | 2007-02-22 | (주)제이투엠소프트 | 원근 왜곡 보정 방법 및 시스템 |
KR100719976B1 (ko) * | 2003-04-24 | 2007-05-18 | 닛본 덴끼 가부시끼가이샤 | 채널 추정 회로 및 채널 추정 방법 |
JP2007280267A (ja) * | 2006-04-11 | 2007-10-25 | Matsushita Electric Ind Co Ltd | 画像処理方法及び画像処理装置 |
JP2008269073A (ja) * | 2007-04-17 | 2008-11-06 | Denso Corp | 車両用物体検出装置 |
-
1999
- 1999-07-30 JP JP11216900A patent/JP2001043357A/ja active Pending
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR100719976B1 (ko) * | 2003-04-24 | 2007-05-18 | 닛본 덴끼 가부시끼가이샤 | 채널 추정 회로 및 채널 추정 방법 |
KR100685858B1 (ko) | 2005-01-20 | 2007-02-22 | (주)제이투엠소프트 | 원근 왜곡 보정 방법 및 시스템 |
JP2007280267A (ja) * | 2006-04-11 | 2007-10-25 | Matsushita Electric Ind Co Ltd | 画像処理方法及び画像処理装置 |
JP2008269073A (ja) * | 2007-04-17 | 2008-11-06 | Denso Corp | 車両用物体検出装置 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP3276886B2 (ja) | 拡大宛先画像のピクセル値の生成方法 | |
US6943807B2 (en) | Image processing apparatus and method, recording medium, and program thereof | |
EP1347410B1 (en) | Edge-based enlargement and interpolation of images | |
US7043091B2 (en) | Method and apparatus for increasing spatial resolution of an image | |
JP3549720B2 (ja) | 画像処理装置 | |
JP2007193508A (ja) | 画像処理装置及び画像処理プログラム | |
KR100860968B1 (ko) | 해상도 향상 장치 및 방법 | |
JPH08294001A (ja) | 画像処理方法および画像処理装置 | |
JPH09149241A (ja) | 画像拡大方法及び画像拡大装置 | |
JP3026706B2 (ja) | 画像処理装置 | |
JP2001043357A (ja) | 画像処理方法、画像処理装置及び記録媒体 | |
JP2000115526A (ja) | 画像処理装置およびエッジ処理方法 | |
JP2000354244A (ja) | 画像処理装置、方法及びコンピュータ読み取り可能な記憶媒体 | |
CN113808012B (zh) | 图像处理方法、计算机设备及计算机可读存储介质 | |
JP4265363B2 (ja) | 画像処理装置 | |
WO2000075865A1 (fr) | Procede de traitement d'image | |
JPH07105359A (ja) | 画像処理装置 | |
JP3462957B2 (ja) | 画像処理方法 | |
KR20070119482A (ko) | 이미지 리샘플링 방법 | |
JP3059287B2 (ja) | 2値画像変倍装置 | |
JP4265362B2 (ja) | 画像処理装置 | |
CN116843555B (zh) | 图像插值方法、装置、电子设备及存储介质 | |
Morsy | Comparison of commonly used non-adaptive image scaling techniques | |
JP2001177719A (ja) | 画像処理装置と印刷システムおよび画像表示システム | |
Lee et al. | A content-adaptive up-sampling technique for image resolution enhancement |