JP2001043357A

JP2001043357A - 画像処理方法、画像処理装置及び記録媒体

Info

Publication number: JP2001043357A
Application number: JP11216900A
Authority: JP
Inventors: Shin Aoki; 青木　　伸
Original assignee: Ricoh Co Ltd
Current assignee: Ricoh Co Ltd
Priority date: 1999-07-30
Filing date: 1999-07-30
Publication date: 2001-02-16

Abstract

(57)【要約】【課題】エイリアシングとぼけの少ない補間を低い計
算コストで実現する。【解決手段】バイリニア補間部１０４は、原画像・縮
小画像記憶部１０１から、階層選択部１０２で選択され
た３つの階層の画像それぞれの、画素位置生成部１０２
より指定された画素位置に対応する４画素値を取り込
み、バイリニア補間演算を行う。得られた３つの補間画
素値は、加重和演算部１０５により、負値を含む加重を
用いて加重和される。３つの加重は、その総和が常に１
であり、かつ注目画素位置周辺の拡大／縮小率が変化す
るに従い徐々に変化する。倍率が異なる部分が滑らかに
連続した、エイリアシングとぼけの少ない、透視変換に
よる変形画像が変形画像記憶部１０６に得られる。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、デジタル画像処理
の分野に係り、特に、デジタル画像の変形処理の分野に
関する。

【０００２】

【従来の技術】画像処理の分野では、デジタル画像の変
形操作が必要になることが多い。例えば異なる位置、角
度などの条件で撮影した複数の画像を正確に貼り合わせ
るためには、画像に透視変換による変形を施すことが必
要である。透視変換に対応した変形では、一枚の画像中
に拡大される部分と縮小される部分が生じる。このよう
な場合、拡大、縮小をともに高品質に処理し、かつ倍率
の異なる部分がなめらかに連続することが望ましい。

【０００３】デジタル画像を変形するためには、原画像
上に原画像の画素格子とは異なる新たな格子を考え、そ
の格子点位置の画素値を求めることが必要である。しか
し、変形された画像の画素位置は、一般的に元の画像の
画素位置とは一致しないため、変形画像の画素値は、原
画像の画素値を補間することによって求めることにな
る。補間処理とは、原画像上の位置(i, j)(ただしi, j
は整数)の画素値をA(i, j)として、任意の位置(x, y)で
の画素値B(x, y)を、A(i, j)から推定する処理である。
デジタル画像の画素値補間法として、次の３つの方法が
知られている。

【０００４】《ニアレストネイバー法（最近傍法）》
(x, y)に最も近い原画像画素(i, j)を選択し、その画素
値をそのまま補間画素値B(x, y)とする方法である。す
なわち、

【数１】この方法は、ここに述べる３つの補間法の中では、補間
結果の画質が最も悪いが、計算コストは最も低い。

【０００５】《バイリニア法》(x, y)を囲む四つの原画
像画素を選択し、その画素値から線形補間する方法であ
る。すなわち、

【数２】

【０００６】《キュービックスプライン法》(x, y)を囲
む４×４＝１６個の原画像画素を選択し、その画素値の
加重平均を求める方法である。すなわち、

【数３】この方法は、負の加重を使うことから、バイリニア法に
比べエッジ強調の効果が生じ、３つの補間法の中で最も
解像度が高い補間結果を得られる。その反面、１６個の
画素値を使用するため計算コストは最も大きい。

【０００７】また、デジタル画像の拡大、縮小に関連し
た画質向上もしくは画質劣化の防止のための技術とし
て、次のような処理方法が知られている。

【０００８】《ぼけ防止のための手法：アンシャープマ
スク処理》画像を拡大する場合、原画像の詳細度を超え
る細かい情報は得られないため、画像がぼける傾向にあ
る。輪郭を強調してぼけを減少させる方法として、例え
ば特開平１０−２３２６７号公報などに見られるよう
な、原画像から、原画像をぼかした画像を減算するアン
シャープマスクという処理法が知られている。以下、こ
のアンシャープマスク処理について説明する。例えば、
原画像(I)に図４に示す係数を使いフィルタをかけると
する。このフィルタは平滑化フィルタであり、フィルタ
処理の結果(Is)は原画像をぼかしたものになる。

【０００９】次に、原画像(I)と平滑化画像(Is)を使
い、下式のように画素毎に加重和を取ることを考える。

【数４】

【００１０】式（４）において、平滑化画像(Is)につい
て図４のフィルタ処理まで遡って考えると、I'は、図４
の係数を−0.5倍し、さらに中央の画素の重みに1.5を加
えた、図５に示す係数を使ったフィルタ処理の結果と同
じであることがわかる。図５のように、中央の画素以外
の係数が負の値を持つフィルタは、一般に輪郭強調の効
果を持つ。また、係数(1.5,0.5)から、加重和の結果は
平均的には原画像(I)と同じになる。このことから、
（４）式のように、平滑化した画像を原画像から減算す
ることにより、輪郭強調された画像が得られることが分
かる。

【００１１】《エイリアシング防止のための手法：ミッ
プマップ法》画像の縮小処理では、エイリアシングと呼
ばれる画質劣化が問題になる。図３にエイリアシングの
例を示す。図３の（ａ）は斜線が描かれた原画像、
（ｂ）は原画像を１／４に縮小した画像である。この縮
小画像の例のように、縮小により、なだらかな斜線が破
線に変化してしまうなどの画質劣化が生じることがあ
り、これをエイリアシングと呼ぶ。この例では１／４に
縮小したため、変換画像の画素位置は原画像の画素位置
に一致する。そのため、上記の３つの補間法のどれを使
用しても結果は同じである。一般的に、エイリアシング
は、キュービックスプラインのような高精度の補間法を
使用しても解決しない。エイリアシングを防止する処理
方法として、ミップマップと呼ばれる方法が知られてい
る。ミップマップ法では、以下のような一連の処理によ
り変形画像を得る。（１）ピラミッド縮小：原画像の縦横２画素ずつ計４画
素の平均をとることで、１／２に縮小した画像を生成す
る。このような１／２縮小を繰り返し、１／４，１／
８，．．．と、徐々に詳細度が低くなる一連の縮小画
像を準備する。（２）最適階層選択：補間処理する画素位置の周辺での
倍率に対して適当な縮小率の画像を選択する。要求され
た倍率が１／ｎに等しくない場合は、その倍率と縮小率
が近い上下２階層の縮小画像を選択する。例えば、周辺
の倍率が１／６の場合、１／４縮小画像と１／８縮小画
像を選択する。（３）階層内補間：選択された各縮小画像上で、目的の
画素位置に対応する位置の画素値を、補間処理により求
める。この補間処理では、変形画像とほぼ同じ大きさの
縮小画像をもとにするため、エイリアシングは生じにく
い。（４）階層間補間：補間処理する画素位置の周辺での倍
率が、選択された上下２階層の縮小画像の倍率の間にあ
る場合、その周辺倍率と各階層の倍率との近さに応じた
重みを使い、２つの階層内補間結果の加重平均を取る。
例えば、倍率が１／６の場合、１／４縮小画像上の補間
結果と１／８縮小画像上の補間結果の１対１の平均を取
る。この処理により、位置によって倍率が徐々に変化す
るような場合でも、処理結果はなめらかに連続するよう
になる。

【００１２】このミップマップ法の利点は、サンプリン
グをする前に縮小処理が行われるため、エイリアシング
が生じにくいことである。例えば、図３（ａ）に示した
画像の場合、図６（ａ）のような１／２縮小画像、同図
（ｂ）のような１／４縮小画像を得られる。

【００１３】他方、ミップマップの欠点は、階層内補間
処理法として一般に８個の画素参照で済むバイリニア法
が使われるが、この場合にキュービックスプライン法に
比べ解像度が低くなることである。解像度を上げるた
め、階層内でキュービックスプライン法を使うと、計３
２個の画素値を参照する必要があり計算量が非常に多く
なってしまう。

【００１４】

【発明が解決しようとする課題】本発明の目的は、エイ
リアシング及びぼけが少ない補間を低い計算コストで実
現することである。本発明のもう１つの目的は、透視変
換により変形した高画質画像の生成を可能にすることで
ある。

【００１５】

【課題を解決するための手段】本発明においては、原画
像とそれを縮小した詳細度の異なる複数の画像の中から
複数の画像を選択し、選択した各画像に対し補間処理を
行い、得られた複数の補間結果の加重和演算を行うこと
によって補間画素値を得るが、この加重和演算で使用さ
れる加重中に負の値を含めることにより、低い計算コス
トにてエイリアシング及びぼけの少ない補間を達成する
ことである。

【００１６】また、変形パラメータに基づいて原画像を
透視変換により変形した画像上の各画素位置に対応す
る、原画像上の画素位置を生成するとともに、その画素
位置の周辺の拡大／縮小倍率を求め、この縮小／拡大倍
率に基づいて画像を選択し、選択された各画像の、上記
画素位置に対応した複数の画素値を用いて補間演算を行
うことにより、原画像を透視変換により変形したエイリ
アシング及びぼけの少ない画像を生成する。さらに、加
重和演算に用いられる加重を、その総和が常に１で、か
つ、拡大／縮小倍率が変化するに従い徐々に変化するも
のとすることにより、倍率が異なる部分が滑らかに連続
する変形画像を生成する。

【００１７】

【発明の実施の形態】添付図面を参照しつつ、本発明の
実施の形態を説明する。

【００１８】図１は本発明による画像処理装置の一例を
示すブロック図である。この画像処理装置は、変形パラ
メータに基づいて原画像を透視変換により変形した画像
を生成するものであり、縮小画像生成部１００、原画像
・縮小画像記憶部１０１、画素位置生成部１０２、階層
選択部１０３、バイリニア補間部１０４、加重和演算部
１０５、変形画像記憶部１０６、結果出力部１０７、原
画像入力部１０８、及び、パラメータ入力部１０９から
構成されている。図２は、この画像処理装置の処理フロ
ーを示すフローチャートである。以下、このフローチャ
ートの流れに沿って、処理内容を説明する。

【００１９】《ステップＳ１》原画像入力部１０８によ
り、原画像データが縮小画像生成部１００に入力され
る。

【００２０】《ステップＳ２》パラメータ入力部１０９
により、透視変換の変形パラメータが画素位置生成部１
０２に入力される。この時に、出力画像（目的の変形画
像）のサイズ（高さ、幅）も画素位置生成部１０９に入
力される。

【００２１】《ステップＳ３》縮小画像生成部１００に
おいて、入力された原画像データに対する複数段階の縮
小処理を行い、詳細度が異なる複数の縮小画像データを
生成する。ここでは、原画像の近傍２×２画素の平均値
をとることで縦横１／２に縮小した画像データを生成
し、その縮小画像を同様にさらに縮小した画像データを
生成するという１／２縮小処理を、縦又は横方向のサイ
ズが１画素になるまで繰り返すものとする。生成された
縮小画像データは、原画像データとともに原画像・縮小
画像記憶部１０１に記憶される。すなわち、原画像・縮
小画像記憶部１０１上に、詳細度が順次低下する複数の
縮小画像データと、最も詳細度が高い原画像データとか
らなる（詳細度が低い縮小画像ほど高階層）階層データ
構造が得られる。原画像・縮小画像記憶部１０１は、バ
イリニア補間部１０４より、階層（縮小の段数）と、そ
の階層の画像（原画像又縮小画像）上の（ｘ，ｙ）座標
を指定して参照されると、該当階層画像の該当位置の画
素値を出力する。

【００２２】《ステップＳ４》画素位置生成部１０２に
おいて、変形パラメータに基づいて、透視変換による変
形を施した結果の出力画像上での各画素位置に対応す
る、原画像上の画素位置を生成し、それをバイリニア補
間部１０４へ出力する。すなわち、出力画像上の位置を
（ｉ，ｊ）、原画像上の位置を（ｘ，ｙ）とすると、決
められた出力画像の範囲内のすべての（ｉ，ｊ）の組合
わせに対してスキャンライン順に、下式に従い画素位置
（ｘ，ｙ）を計算する。ここではステップＳ４〜ステッ
プＳ８の処理ループで１画素ずつの逐次処理を考えてい
るので、この処理ループの各パスで注目した１つの
（ｉ，ｊ）の組み合わせに対し計算が行われ、その結果
が出力される。

【数５】ただし、ａ₀からａ₇は、外部から与えられた変形パラメ
ータである。

【００２３】また、画素位置生成部１０２において、そ
の画素位置（ｘ，ｙ）の周辺の拡大／縮小倍率を計算
し、その結果を階層選択部１０３へ出力する。この倍率
は以下のようにして求められる。まず出力画像上で、
（ｉ，ｊ）を一角とする縦横１の大きさの正方形を考
え、次式により各頂点の原画像上での対応位置を求める
(図７参照)。

【数６】

【００２４】次に、原画像上の対応する四角形の占める
範囲（ｗ，ｈ）を求める。

【数７】ただし、max(x...)とmin(x...)は、引数のうちの最大
値、最小値を返す関数である。そして、このｗ，ｈのう
ちの大きい方を出力画像上での長さ１に対応する、原画
像上の長さと考え、注目した画素位置の周辺の倍率ｍを
次式により計算する。

【数８】

【００２５】《ステップＳ５》階層選択部１０３におい
て、画素位置生成部１０２より与えられた倍率ｍに基づ
いて、使用すべき画像の階層(Ｌ)を以下の式に従って決
定する。

【数９】

【数１０】

【００２６】この階層(Ｌ)と、階層(L+1）,(L+2）の３
階層の画像（縮小画像又は原画像）が、次のバイリニア
補間演算の処理対象となる。すなわち、実質的に、これ
ら３つの階層が選択されたことになる。また、周辺倍率
ｍから式（９）により計算された対数倍数ｌも加重和演
算部１０５へ指示される（ただし、倍率ｍを加重和演算
部１０５へ指示してもよい）。

【００２７】《ステップＳ６》バイリニア補間部１０４
において、画素位置生成部１０２より入力された原画像
上の画素位置（ｘ，ｙ）から、階層(Ｌ)の画像上の画素
位置（ｘ_L，ｙ_L）を次式により求める。

【数１１】

【００２８】次に、原画像・縮小画像記録部１０１を参
照し、階層(Ｌ)の画像上の画素（ｘ_L，ｙ_L）を囲む４つ
の画素の画素値を読み込み、バイリニア補間演算を行
う。すなわち、AL(i, j) を階層(Ｌ)の画像上の位置
（ｉ，ｊ）の画素値として、次式の補間演算を行う。

【数１２】

【００２９】階層(L+1)，(L+2)の画像に関しても、同様
にして、画素位置を計算し、その位置を囲む４つの画素
の画素値を読み込んでバイリニア補間演算を行い、補間
画素値(Ｉ_L+1),(Ｉ_L+2)を求める。

【００３０】《ステップＳ７》加重和演算部１０５にお
いて、次式に従い、各階層でのバイリニア補間結果の加
重和をとることで出力画素値（Ｉout)を求め、変形画像
記憶部１０６に書き込む。

【数１３】

【００３１】ここで、加重ｗ_i は、画素位置生成部１
０２より与えられた注目画素位置周辺の対数倍率（ｌ）
を使って、以下の式に従い決定する。

【数１４】

【数１５】ただし、対数倍率でなく倍率ｍに基づいて、同様の方法
で加重を決定することも可能である。

【００３２】図８及び図９に倍率と加重の関係を示す。
横軸が対数倍率１、縦軸が重みｗで、太い実線がＬ層の
補間結果に対する重みｗ_Lを表す。参考のためｗ_L-1，ｗ
_L+1も破線で示されている。また、比較のため、図１０
に従来のミップマップ法での加重を示す。

【００３３】ここで、図８及び図９に示すような加重の
特徴と、それにより生じる本発明の利点を説明する。
（ａ）まず、３つの加重のうち、高い階層(小さく縮小
された画像)の加重が負の値をとる。このように負の加
重を含むことにより、アンシャープマスクの効果が生
じ、エイリアシングとぼけの少ない、高解像度の補間結
果を得られる。（ｂ）また、３つの加重の和が常に１
で、倍率が変化するに従い加重が徐々に変化する。透視
変換により、位置によって徐々に倍率が変化しても処理
内容が急激に変化することはないので、倍率の異なる部
分が滑らかに連続した結果を得られる。（ｃ）階層内補
間は通常のミップマップ法と同じく４つの画素値を使っ
たバイリニア法であるため、３階層合計で１２個の画素
値を参照することになる。これは、通常のミップマップ
法の８画素よりは多いが、各層でキュービックスプライ
ン法を使う場合の３２画素よりも半分以下であるため、
計算コストはかなり低くなる。

【００３４】《ステップＳ８》目的の変形画像の生成が
終了したか判定する。例えば、画素位置生成部１０２に
おいて、入力された出力画像（変形画像）のサイズ（高
さ、幅）に基づいて、生成すべき画素位置を全て生成し
たか判定する。生成すべき画素位置が残っている場合に
は（判定結果Ｎｏ）、処理はステップＳ４に戻る。生成
すべき画素位置が残っていない場合には（判定結果Ｙｅ
ｓ）、目的の変形画像データ全体が変形画像記憶部１０
６に得られたので、処理は次のステップＳ９に進む。

【００３５】《ステップＳ９》結果出力部１０７によっ
て、変形画像記憶部１０６に得られた変形画像データを
外部に出力する。

【００３６】以上説明した第１の実施例では、補間処理
に３階層の画像を使用し、階層内補間に４画素を使用し
たので、合計１２個の加重和をとった。しかし、一般
に、倍率ｍが１より小さい場合、つまり縮小の場合は、
多少解像度が落ちても目立たないことが多い。そこで、
第２の実施例においては、拡大の場合のみアンシャープ
マスク効果を生じさせるため、２つの階層の画像だけを
使う。このようにしても、視覚的には高い効果が期待で
きる。

【００３７】すなわち、第２の実施例においては、バイ
リニア補間部１０４（ステップＳ６）で、２つの階層
(Ｌ)，(L+1)の画像だけを対象にして補間演算を行い、
加重和演算部１０５（ステップＳ７）で次式の加重和演
算を行う。

【数１６】

【００３８】ただし、加重ｗ_i は、以下の式に従い決
定する。

【数１７】

【数１８】

【数１９】図１１に、このような倍率と加重の関係を示す。この第
２の実施例においては、２つの階層の画像だけを使うた
め、通常のミップマップ法と同じく８画素の参照です
み、計算コストをさらに低く抑えることができ、かつ、
ぼけの目立つ、等倍から拡大の部分についてはアンシャ
ープマスク処理と同様の輪郭強調効果を得られる。

【００３９】以上に説明した本発明は、例えば図１２に
示すようなＣＰＵ２００、メモリ２０１、ハードディス
ク装置２０２、ディスプレイ２０３、キーボードやマウ
スなどの入力装置２０４、プリンタ２０５、通信装置２
０６、フロッピー（登録商標）ディスクやＣＤ−ＲＯＭ
等の記録媒体２０７の読み書きのための媒体駆動装置２
０８等をバス２０９で接続した一般的な計算機システム
を利用し、ソフトウエアにより実施することもできる。
この場合、図２のフローチャートに示したような各処理
ステップをコンピュータに実施させるためのプログラ
ム、あるいは、図１に示したような各機能手段をコンピ
ュータ上に実現させるためのプログラムが、例えば、同
プログラムが記録された記録媒体２０７から媒体駆動装
置２０８を介して、又は、外部装置より通信装置２０６
を介して、ハードディスク装置２０２に読み込まれ、処
理実行時にハードディスク装置２０２からメモリ２０１
へロードされる。あるいは、同プログラムはメモリ２０
１の一部を構成するＲＯＭに格納された形で実装され
る。

【００４０】

【発明の効果】以上に説明したように、請求項１乃至９
の各項記載の発明によれば、低い計算コストで、エイリ
アシングとぼけが少ない補間を実現することが可能にな
り、また、請求項４、５、８又は９によれば、エイリア
シング及びぼけの少ない投影変換による変形画像の生成
が可能になり、特に、請求項５又は９記載の発明によれ
ば、倍率の異なる部分が滑らかに連続した変形画像を生
成することができる。また、請求項６記載の発明によれ
ば、上に述べたような補間及び変形画像生成を一般的な
コンピュータを使用して容易に実施可能になる等の効果
を得られる。

【図面の簡単な説明】

【図１】本発明による画像処理装置の一例を示すブロッ
ク図である。

【図２】図１の画像処理装置における処理を説明するた
めのフローチャートである。

【図３】原画像と、エイリアシングを生じた１／４縮小
画像を示す図である。

【図４】ぼけ画像の生成のための平滑化フィルタの係数
を示す図である。

【図５】輪郭強調フィルタの係数を示す図である。

【図６】図３に示した原画像を縮小した、エイリアシン
グのない１／２縮小画像と１／４縮小画像を示す図であ
る。

【図７】注目画素位置の周辺倍率の計算の説明のための
図である。

【図８】中間層に対する加重和演算のための加重と対数
倍率の関係を示す図である。

【図９】最下層に対する加重和演算のための加重と対数
倍率の関係を示す図である。

【図１０】従来のミップマップ処理で用いられた加重と
対数倍率の関係を示す図である。

【図１１】２つの階層を使用する場合の加重和演算のた
めの加重と対数倍率の関係を示す図である。

【図１２】本発明をソフトウエアで実施するためのコン
ピュータの一例を示すブロック図である。

【符号の説明】

１００縮小画像生成部１０１原画像・縮小画像記憶部１０２画素位置生成部１０３階層選択部１０４バイナリ補間部１０５加重和演算部１０６変形画像記憶部１０７結果出力部１０８原画像入力部１０９パラメータ入力部

Claims

【特許請求の範囲】

【請求項１】原画像と、それを縮小した詳細度の異な
る複数の画像の中から複数の画像を選択する第１のステ
ップと、選択された各画像に対する補間処理を行う第２
のステップと、得られた複数の補間結果の加重和演算を
行う第３のステップとを有し、前記加重和演算で使用さ
れる加重中に負の値が含まれることを特徴とする画像処
理方法。
【請求項２】３つ以上の画像に対し補間処理が行われ
ることを特徴とする請求項１記載の画像処理方法。
【請求項３】特定の詳細度の画像に対する補間結果に
対して、加重和演算で負の加重が使用されることを特徴
とする請求項１記載の画像処理方法。
【請求項４】変形パラメータに基づいて原画像を透視
変換により変形した画像上の各画素位置に対応する、原
画像上の画素位置を生成するとともに、その画素位置の
周辺の拡大／縮小倍率を求める第４のステップをさらに
有し、前記第１のステップは前記第４のステップで求め
られた拡大／縮小倍率に基づいて画像を選択し、前記第
２のステップは前記第４のステップで生成された画素位
置に対応した、選択された各画像の複数の画素値を用い
て補間演算を行い、前記加重和演算の結果として原画像
を透視変換により変形した画像の画素値が生成されるこ
とを特徴とする請求項１、２又は３記載の画像処理方
法。
【請求項５】前記加重和演算に用いられる加重は、そ
の総和が常に１で、かつ、前記第４ステップで求められ
た拡大／縮小倍率が変化するに従い徐々に変化すること
を特徴とする請求項４記載の画像処理方法。
【請求項６】請求項１、２、３、４又は５記載の画像
処理方法の各ステップをコンピュータに実行させるため
のプログラムが記録されたことを特徴とするコンピュー
タ読み取り可能記録媒体。
【請求項７】入力された原画像を縮小した詳細度の異
なる複数の画像を生成する第１の手段、入力された原画
像及び生成された画像からなる複数階層の画像を記憶す
る第２の手段、前記第２手段に記憶されている画像の中
から複数の画像を選択する第３の手段、選択された各画
像に対し補間処理を行う第４の手段、得られた複数の補
間結果の加重和演算を行う第５の手段を具備し、前記加
重和演算で使用される加重中に負の値が含まれることを
特徴とする画像処理装置。
【請求項８】入力された変形パラメータに基づいて原
画像を透視変換により変形した画像上の各画素位置に対
応する、原画像上の画素位置を生成するとともに、その
画素位置の周辺の拡大／縮小倍率を求める第６の手段を
さらに具備し、前記第３手段は前記第６手段で求められ
た拡大／縮小倍率に基づいて画像を選択し、前記第４手
段が前記第６手段で生成された画素位置に対応した、選
択された各画像の複数の画素値を用いて補間演算を行
い、前記加重和演算の結果として原画像を透視変換によ
り変形した画像の画素値が生成されることを特徴とする
請求項７記載の画像処理装置。
【請求項９】前記加重和演算に用いられる加重は、そ
の総和が常に１で、かつ、前記第６手段で求められた拡
大／縮小倍率が変化するに従い徐々に変化することを特
徴とする請求項８記載の画像処理装置。