JP3655814B2 - 拡大画像生成装置およびその方法 - Google Patents
拡大画像生成装置およびその方法 Download PDFInfo
- Publication number
- JP3655814B2 JP3655814B2 JP2000252146A JP2000252146A JP3655814B2 JP 3655814 B2 JP3655814 B2 JP 3655814B2 JP 2000252146 A JP2000252146 A JP 2000252146A JP 2000252146 A JP2000252146 A JP 2000252146A JP 3655814 B2 JP3655814 B2 JP 3655814B2
- Authority
- JP
- Japan
- Prior art keywords
- image data
- pixel
- enlarged image
- fluency
- original image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 title claims description 35
- 238000006243 chemical reaction Methods 0.000 claims description 98
- 239000011159 matrix material Substances 0.000 claims description 5
- 238000001514 detection method Methods 0.000 claims description 2
- 230000006870 function Effects 0.000 description 82
- 230000008569 process Effects 0.000 description 32
- 238000010586 diagram Methods 0.000 description 19
- 230000014509 gene expression Effects 0.000 description 13
- 230000009466 transformation Effects 0.000 description 11
- 230000008859 change Effects 0.000 description 9
- 230000006866 deterioration Effects 0.000 description 4
- 230000002093 peripheral effect Effects 0.000 description 4
- 230000010354 integration Effects 0.000 description 3
- 238000005070 sampling Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
Images
Landscapes
- Image Processing (AREA)
- Editing Of Facsimile Originals (AREA)
Description
【発明の属する技術分野】
本発明は、少数の画素から成る原画像データを拡大し、原画像データより多くの画素から成る拡大画像データを生成する拡大画像生成装置に関する。
【0002】
【従来の技術】
従来、少ない画素数で構成される原画像データを拡大して、より多くの画素からなる拡大画像データを生成する拡大画像生成装置が知られており、拡大処理においては、原画像データの画素に対して線形補間など補間処理が施され、これにより、拡大画像データの画素値が生成される。このような拡大画像生成装置によれば、少数の画素で構成される表示装置(ディスプレイ)に表示されるデジタル画像を、より多くの画素から成る大画面の表示装置に切り替えて表示することが可能となり、また、同一の表示装置において、原画像の一部を拡大した拡大画像を表示することもできる。
【0003】
【発明が解決しようとする課題】
ところが、線形補間などの補間処理では、生成される拡大画像データの隣接する画素に関し、画素値の変化が滑らかにならず、精度のよい拡大画像データが生成されない。すなわち、拡大処理において、画質が劣化する。
【0004】
本発明は、画質の劣化を抑えながら、原画像データを拡大して拡大画像データを生成する拡大画像生成装置を得ることを目的とする。
【0005】
【課題を解決するための手段】
本発明の拡大画像生成装置は、マトリクス状に配置された所定の画素数で構成される原画像データから原画像データの画素数より多くの画素から成る拡大画像データを生成する拡大画像生成装置であって、少なくとも前記原画像データの水平方向および垂直方向のいずれかの拡大倍率を設定する拡大倍率設定手段と、原画像データの各画素を、拡大倍率にしたがって、生成される前記拡大画像データにおいて対応する位置に配置する画素配置手段と、設定される拡大倍率が奇数であるか否かを検出する拡大倍率検出手段と、拡大倍率が奇数である場合、生成される拡大画像データの画素位置を、拡大倍率に応じた移動量だけ、配置された原画像データの画素の位置に対して相対的に移動させるシフト手段と、配置された原画像データの各画素に対し、拡大倍率に応じてフルーエンシー変換を施すことにより、拡大画像データを生成する拡大画像生成手段とを備えたことを特徴とする。このように、原画像データの各画素に対してフルーエンシー変換を施すことで、画素値の変化が滑らかとなるように、拡大画像データの画素値が生成される。また、拡大倍率が奇数の時にシフト処理を施すことで、画素値の変化が滑らかとなり、画質劣化が抑えられた拡大画像データが生成される。
【0006】
拡大画像生成手段は、原画像データの各画素に対して次式に示すフルーエンシー変換を施すことにより、拡大画像データを生成することが望ましい。
【数式2】
ただし、F(u )を原画像データの画素値とし、f(t)をその出力値と定める。φ(t,u)は、フルーエンシー関数空間 mSの関数であり、関数空間のm(1、2、3・・・・)は、微分可能性をしめすパラメータである。(1)式を用いることで、離散的な値である原画像データの画素値が、連続的な値をとる出力値に変換される。
【0007】
拡大画像生成手段は、原画像データの各画素値に対してフルーエンシー変換による出力値を生成し、拡大画像データにおける各画素の位置に対応するフルーエンシー変換の出力値の総和を、拡大画像データの画素値と定めることが望ましい。これにより、生成される拡大画像データの画素値の変化が滑らかとなる。
【0008】
拡大画像生成手段は、水平方向へのフルーエンシー変換により、配置された原画像データの画素から水平方向に沿った複数の画素値を生成し、その後、水平方向に沿った複数の画素値に対して垂直方向へのフルーエンシー変換を施すことにより、拡大画像データを生成することが望ましい。このような変換により、原画像データの一つの画素から拡大倍率に応じた複数の画素から成るブロックが生成される。
【0009】
シフト手段は、原画像データの画素に対して水平方向へのフルーエンシー変換が施される場合、生成される拡大画像データの画素位置と隣接する画素位置との間に画素が位置するように画素位置を水平方向に移動させ、さらに、水平方向に沿った複数の画素値に対して垂直方向へのフルーエンシー変換が施される場合、生成される拡大画像データの画素位置と隣接する画素位置との間に画素が位置するように画素位置を垂直方向に移動させることが望ましい。
【0010】
例えば、シフト手段は、拡大倍率をZとし、原画像データの1つの画素に対するフルーエンシー変換により生成される画素ブロックの水平方向および垂直方向の画素数の長さを1とした時に、生成される拡大画像データの画素位置を、水平方向および垂直方向にそれぞれ移動量1/(2Z)だけ移動させる。この場合、原画像データの画素位置は、生成される拡大画像データの画素位置と画素位置との間に配置される。
【0011】
【発明の実施の形態】
以下では、図面を参照して、本発明の実施形態である拡大画像生成装置について説明する。
【0012】
図1は、拡大画像生成装置のブロック図である。拡大画像生成装置は、CPU(図示せず)によって制御されており、画像データの拡大処理が実行される。拡大処理を実行するためのプログラムは記録媒体(図示せず)に記録されている。
【0013】
格納メモリM1には、輝度データYおよび色差データCb、Crの原画像データが格納されている。この原画像データは、例えば、デジタルカメラなどにより撮影された画像に対応しており、複数の画素で構成される。輝度データYおよび色差データCb、Crの原画像データは、格納メモリM1において独立した領域にそれぞれ格納されており、拡大画像生成装置10に入力されると、それぞれ別々に拡大処理される。
【0014】
拡大画像生成装置10は、拡大倍率設定部11、シフト処理部12、フルーエンシー変換部13から構成されており、原画像データの画素数より多い画素数で構成される拡大画像データを生成する。
【0015】
拡大倍率設定部11では、オペレータによるスイッチ(図示せず)の操作もしくは外部からの制御装置(図示せず) により、原画像データに対する拡大画像データの拡大倍率が設定される。本実施形態では、拡大倍率を整数倍とする。
【0016】
シフト処理部12では、原画像データの各画素が、拡大画像データにおいて対応する位置に配置される。そして、拡大倍率が奇数である場合、原画像データの各画素に対してシフト処理が施される。一方、拡大倍率が偶数である場合、原画像データの各画素に対しシフト処理は施されない。なお、シフト処理については、後で詳述する。
【0017】
フルーエンシー変換部(拡大画像生成部)13では、原画像データの各画素に対してフルーエンシー変換が施され、これにより、拡大画像データが生成される。生成された拡大画像データは、格納メモリM2に送られる。
【0018】
輝度データYおよび色差データCb,Crの拡大画像データは、外部の表示装置などに送られ、これにより、原画像データの画素数よりも多くの画素で構成される拡大画像データが、画像として表示装置に表示される。
【0019】
図2は、原画像データに対する拡大処理を示した図である。
【0020】
原画像データPは、A×Cの画素数から成り、水平方向にA個、垂直方向にC個の画素がマトリクス状に並んでいる。ここでは、原画像データPの左上隅を原点として水平方向にx座標(0≦x<A)、垂直方向にy座標(0≦y<C)を設定する。例えば、水平方向に沿ってs番目、垂直方向に沿ってt番目に位置する画素は、Ptsと表される。
【0021】
原画像データPの各画素Pyxに対し、拡大倍率(3倍)にしたがって、フルーエンシー変換がそれぞれ水平方向および垂直方向に施される。ただし、本実施形態における拡大倍率は、水平方向、垂直方向それぞれに対する拡大率を示す。例えば、画素Ptsに対し、まず水平方向へのフルーエンシー変換が施され、水平方向に沿って3つの画素から成る画素ブロックIが生成される。さらに、垂直方向へのフルーエンシー変換が3つの生成された画素に対して施され、これにより、3×3=9個の画素から成るブロックB0が生成される。
【0022】
そして、原画像データPのすべての画素Pyxに対してフルーエンシー変換が施されることにより、3×3=9個の画素からなるブロックBから構成される拡大画像データJが生成される。ブロックBの位置は、拡大画像データJにおいて、フルーエンシー変換の対象となった原画像データPの画素Pyxの位置に対応している。例えば、ブロックB0の位置は、原画像データPの画素Ptsの位置に対応しており、拡大画像データJにおいて、水平方向にsブロック目、垂直方向にtブロック目に位置する。なお、拡大画像データJにおいて、ブロックB0以外のブロックをここではBとして表す。
【0023】
ブロックB0内における画素の位置を示すため水平方向にx’(0≦x’≦2)、垂直方向にy’(0≦y’≦2)の座標を設定し、ブロックB0内における各画素をI’y'x'と表す。拡大画像データJの画素JyxとI’y'x'とは、次式の関係を満たす。
【数式3】
【0024】
このように、各画素Pyxは、フルーエンシー変換が施される場合、生成さる拡大画像データJの対応する位置、すなわち、生成されるブロックBの中心位置に配置される。
【0025】
原画像データPの1つの画素Pyxから水平方向および垂直方向にそれぞれ3倍した9個の画素ブロックBが生成されることから、拡大画像データJの水平方向の画素数および垂直方向の画素数は、それぞれ3A、3Cとなる。拡大倍率が水平方向および垂直方向に関する拡大率であることから、生成されるブロックBの画素数は拡大倍率の2乗となる。
【0026】
このように、A×Cの原画像データPは、拡大倍率が3倍でのフルーエンシー変換により、3A×3Cの拡大画像データJに変換される。
【0027】
図3〜図6を参照して、フルーエンシー変換について説明する。フルーエンシー変換は、フルーエンシー(Fluency)関数に基づいた変換であるので、フルーエンシー関数空間およびフルーエンシー関数を最初に説明し、その後、直交変換であるフルーエンシー変換について述べる。
【0028】
フルーエンシー関数は、様々な信号を適切に表現できる関数として従来知られており、例えば、「数理科学No.363, pp8-12(1993)」(以下、文献1という)に開示されている。
【0029】
まず、フルーエンシー関数の関数空間について定義する。下に示すように、(3)式で示される矩形関数により生成される階段状関数からなる関数を(4)式で示すとき、関数空間 mSは、(5)式で定義される。ただし、(4)式のbn は、係数である。
【0030】
【数式4】
【0031】
関数空間 mSのmは、(m−2)回連続微分可能な高々(m−1)次の区分的多項式から関数が成り立っていることを意味する。また、(5)式では、畳み込み積分が施されていることを示している。
【0032】
この一連の関数空間 mSが、連続微分可能性mをパラメータとして、階段状関数空間(m=1)からフーリエ帯域制限関数空間(m→∞)までを結びつける関数空間となっている。関数空間 mSを特徴づけるインパルス応答に相当する関数系は、標本化基底とその双直交基底の組として双直交標本化定理により導出されており、この定理において、任意の関数f∈ mSは、標本値fn : =f(n)に対して、(6)、(7)式を満たす。
【0033】
【数式5】
【0034】
(6)式は、標本値から導出されたフルーエンシー変換関数を示し、標本値列を展開係数とする関数の展開形式を表している。また、(7)式は、フルーエンシー変換関数から導出されたフルーエンシー逆変換関数を示しており、関数からその標本値列を得る作用素を積分変換の形式で表している。なお、pは任意の変数である。また、φの上部に示されたバー(横線)は、φの共役複素数をとることを示している。
【0035】
また、関数空間 mSにおいて、mを無限大とする極限でフーリエ変換に一致するという意味での周波数概念の一般化を与え、 mSの高調波構造を特徴付ける直交変換は、フルーエンシー直交変換定理により導入されており、この定理において、任意の関数f∈ mSは、(8)、(9)式を満たす。ただし、φ(t,u)は、 mSの関数であり、Dirac のδ関数を用いて表される。なお、uは、任意の変数である。
【0036】
【数式6】
【0037】
本実施形態では、(8)式をフルーエンシー直交変換、(9)式をフルーエンシー直交逆変換として表す。このような双直交標本化定理や直交変換などを含めた枠組みを、フルーエンシー解析と呼ぶ。
【0038】
(8)式のフルーエンシー直交変換は、離散的なサンプル(標本値)を連続的な関数値に変換させることが可能である。そこで、本実施形態では、直交変換であるフルーエンシー変換(8)式を利用して、原画像データに拡大処理を施す。すなわち、原画像データの各画素値に対して(8)式のフルーエンシー変換を適用し、出力される連続的な関数値に基づいて拡大画像データを生成する。
【0039】
そこで、まず具体的にパラメータmの値を設定した時のフルーエンシー関数を示す。
【0040】
関数空間 mSにおいて、パラメータmを順次1、2・・・としたときのフルーエンシー関数を求めていく。フルーエンシー関数の最も簡単な関数系は、(3)式で示した矩形関数χ(t)を(4)式のf(t)∈ 1Sとし、このf(t)を(5)式における関数g∈ 1Sとした関数である。すなわち、入力値として矩形関数の代わりにδ関数を用いることで出力f(t)∈ 1Sを矩形関数とし、(5)式において関数空間 m-1Sから関数空間 mSへの変換のために施される畳み込みの関数にf(t)を適用させる。
【0041】
入力値(標本値)χn を、t=τの時に1、それ以外のときに0であるδ関数とする(図3参照)。m=1の場合、その出力であるフルーエンシー関数は、次式で表される。
【0042】
【数式7】
【0043】
m=1でのフルーエンシー関数は、図3で示すように、矩形関数になる。そして、パラメータm=2である時のフルーエンシー関数は、次式で示すように、この矩形関数とf(t)との畳み込み積分により求められる。求められるフルーエンシー関数g(t)は、図4に示すように、三角形状関数となる。
【0044】
【数式8】
【0045】
パラメータm=3、4・・・のときも同様に畳み込み積分が施される。すなわち、パラメータ(m−1)におけるフルーエンシー関数と(10)式のf(t)との畳み込み積分が施されると、 m-1Sの関数空間が mSの関数空間に変換され、これにより、パラメータmにおけるフルーエンシー関数が生成される。
【0046】
例えば、パラメータm=3の時、(11)式で求められたg(t)とf(t)との畳み込み積分が施されることにより、図4に示すような曲線状のフルーエンシー関数h(t)が求められる。フルーエンシー関数h(t)は、次式で表される。
【0047】
【数式9】
【0048】
このように、パラメータmの値を変えていくことにより、フルーエンシー関数は様々な関数に変化する。図3、4で示された、m=1、2、3におけるフルーエンシー関数は、(6)式におけるφ(t)の例となる基本的関数であり、文献1にも開示されている。そして、本実施形態では、これら具体的に示されたフルーエンシー関数に基づくフルーエンシー変換を、原画像データPに対して施す。
【0049】
なお、関数空間 m-1Sから mSへの変換において、図3に示すf(t)を畳み込みにそのまま使用すると、t=τで関数値が入力値の1とならない。そこで、本実施形態では、関数空間 m-1Sから関数空間 mSへの変換時(m≧3)において畳み込みに使用されるf(t)を、図3ではなく図5に示すような形状の関数を使用する。例えば、m=3のとき、f(t)は、次式で表される。
【0050】
【数式10】
【0051】
関数f(t)は、面積が1になるように正規化されており、これにより、フルーエンシー関数は、正規系をなす。したがって、t=τの値は、常に1となる。
【0052】
図6は、原画像データPの画素Pyxの値およびそれに対応する拡大画像データJの画素Jyxの値をそれぞれグラフで示した図である。ここでは、フルーエンシー変換による画素値生成を説明するため、水平方向へのフルーエンシー変換を示す。ただし、拡大倍率は8倍であり、生成されるブロックは、8×8=64個の画素から構成される。
【0053】
一例として、原画像データPにおいて互いに値が異なった隣接する3つの画素Pts-1、Pts、Pts+1に対し、水平方向へのフルーエンシー変換を適用する。すなわち、3つの画素に対して、(8)式に示すフルーエンシー直交変換を適用させる。ただし、入力値F(u)が、それぞれ画素Pts-1、Pts、Pts+1の値となる。
【0054】
出力となるf(t)は、図3、図4で示したフルーエンシー関数に対応する。すなわち、フルーエンシー直交変換により、サンプルである画素値が連続的に値をとる関数値に変換される。
【0055】
パラメータm=1の場合、フルーエンシー変換による出力f(t)は、矩形関数となり、生成されるブロックIの水平方向の8つの画素値は、それぞれ同じ値となる。本実施形態では、この矩形関数の出力範囲Lを、拡大倍率と対応させており、この図では、生成される水平方向の8つの画素値の範囲に対応する。
【0056】
パラメータm=1であれば、画素Pts-1、Pts+1に対するフルーエンシー変換の出力fs-1 、fs+1 は、ブロックB0における画素値算出に影響しない。なお、画素Pts-1、Pts、Pts+1に対する水平方向へのフルーエンシー変換により生成される各画素を、それぞれ縦棒線Qで示す。
【0057】
パラメータm=2の場合、3つの画素Pts-1、Pts、Pts+1の値がそれぞれ(8)式によりフルーエンシー変換されると、出力f(t)は、図6で示すように、それぞれfs-1 、fs 、fs+1 となる。この場合、各出力の出力範囲において、お互いに重なり合う部分が存在し、生成されるブロックIの画素値は、対応する各出力fs-1 、fs 、fs+1 の出力値を加算した値となる。つまり、ブロックIにおける各画素の位置に応じたそれぞれの出力値の総和を、その位置における画素値として算出する。
【0058】
さらにパラメータmの値が大きくなると、フルーエンシー変換による出力f(t)の出力範囲はより広くなり、ブロックIの各画素値は、画素Pts-1、Pts+1だけでなく、それ以外の周辺画素に対するフルーエンシー変換の出力値に基づいて算出される。
【0059】
このように、原画像データPの画素Pyxに対して(8)式で示すフルーエンシー変換を水平方向に適用させることで、水平方向に沿って画素が生成される。したがって、原画像データPの各画素Pyxに対して水平方向、垂直方向に沿って順次フルーエンシー変換を施すことにより、離散的に配置されたサンプル(原画像データの画素値)からサンプル間の画素値が生成(補間)され、拡大画像データの各画素Jyxの生成が可能となる。このとき、パラメータmの値に応じて、画素Jyxの値も変化する。
【0060】
図7〜図10を用いて、フルーエンシー変換による拡大画像データJの生成について説明する。ただし、拡大倍率は8倍である。
【0061】
図7は、原画像データP(特に、画素Pts)に対する水平方向のフルーエンシー変換を示した図である。本実施形態では、パラメータmを1〜3の範囲で設定する。水平方向へのフルーエンシー変換により生成されるブロックIの水平方向の各画素値を算出するのに必要となる画素Ptsの周辺画素を、それぞれb、c、d、eで表す。また、ブロックIにおける画素位置を、左から0、1、2・・・7の順番で示す。
【0062】
まず、原画像データPの各画素Pyxを、生成される拡大画像データJにおいて対応する位置に配置する。すなわち、各ブロックB(B0)の中心(水平方向へのフルーエンシー変換により生成されるブロックIの中心)に位置に画素Pyxを配置する。この画素配置が施された後、所定のパラメータmによるフルーエンシー変換が水平方向に施される。例えば、画素Ptsは、生成されるブロックI内の水平方向の中心(3番目と画素位置と4番目の画素位置との間)においてフルーエンシー変換される。これにより、水平方向に沿った8つの画素が求められる。同じように、画素b、c、d、eを含む他の画素に対しても、生成されるブロックIの水平方向の中心(ブロックBの中心)においてフルーエンシー変換が施される。
【0063】
図8は、水平方向に生成される8つの画素値を算出する式を示した表T0である。この表T0では、パラメータmが1〜3の時の画素値を求める算術式をそれぞれ示しており、これらの式は、(8)式に基づいて得られる。なお、生成される8つの画素値を、画素位置0〜7に対応するように、それぞれI0、I1、I2、・・・I7と表す。
【0064】
図8に示すように、パラメータm=1の場合、すべての画素値I0、I1・・・I7が、原画像データPの画素Ptsの値となる。一方、パラメータm=2の場合、画素c、Pts、dに対するフルーエンシー変換により得られるそれぞれの出力値に基づいて、8つの水平方向の画素値(I0〜I7)が求められる。パラメータm=3の場合は、画素b、c、Pts、d、eに対するフルーエンシー変換により得られるそれぞれの出力値に基づいて、水平方向の8つの画素値が求められる。ただし、各画素の値を、ここでは画素と同じ符号b、c、Pts、d、eとして表す。
【0065】
このような水平方向のフルーエンシー変換が原画像データPの各画素Pyxに対して施されると、次に、各画素値から生成された水平方向の8つの画素値に対し、垂直方向のフルーエンシー変換が施される。
【0066】
図9は、水平方向へのフルーエンシー変換により生成された8つの画素値(特に、I0〜I7)に対する垂直方向へのフルーエンシー変換を示した図である。ブロックB0における垂直方向の各画素の位置にも、それぞれ0〜7の順序を設定する。パラメータmの範囲が1〜3であるフルーエンシー変換を考慮して、ブロックB0における各画素の値を求めるのに必要となる周辺画素を、b、c、d、eに加え、それぞれf、g、h、kとする。
【0067】
原画像データPの各画素Pyxに対して水平方向にフルーエンシー変換が施されているため、画素f、g、h、kに関しても、水平方向に8つの画素値が算出されている。例えば、原画像データPの画素gの値に基づいて、水平方向に画素値g0、g1、g2・・・g7がそれぞれ生成されている。
【0068】
生成された水平方向の8つの画素値I0〜I7に対し、それぞれ垂直方向にフルーエンシー変換が施される。このとき、画素値I0〜I7は、生成されるブロックB0の垂直方向に沿った中心(3番目と4番目の画素位置の間)に位置している。他の画素f0〜f7、g0〜g7、h0〜h7、k0〜k7に対しても、生成される各ブロックBにおいて同様な位置に配置された状態で、垂直方向へのフルーエンシー変換が施される。
【0069】
垂直方向へのフルーエンシー変換が施されると、8×8=64個の画素からなるブロックB0が生成される。生成されるブロックB0の各画素値をI’y'x'(0≦x’≦7、0≦y’≦7)と示すと、各画素値I’y'x'は、図8で示された算術式により求められる。ただし、画素値b、c、Pts、d、eの代わりに、それぞれ画素値f0〜f7、g0〜g7、I0〜I7、h0〜h7、k0〜k7が用いられる。
【0070】
図10では、パラメータmが1〜3の設定範囲において、水平方向に沿って7番目に位置する8つの画素値I’y'7 (y’=0〜7)を求める算術式を示した表T0’を示している。例えば、パラメータm=2の場合、8つの画素値Iy'7 (y’=0〜7)は、3つ画素値g7、I7、h7の値に基づいてそれぞれ求められる。
【0071】
このように、水平方向、垂直方向のフルーエンシー変換により、画素Ptsから8×8=64個の画素から成るブロックB0が生成される。フルーエンシー変換が原画像データPのすべての画素Pyxに対して施されることによって、拡大画像データJが生成される。
【0072】
図11〜図16を用いて、シフト処理部12(図1参照)において施されるシフト処理について説明する。
【0073】
図11は、拡大倍率が奇数であるときの水平方向のフルーエンシー変換を示した図である。ここでは、拡大倍率を3倍とする。
【0074】
水平方向のフルーエンシー変換が実行される場合、原画像データPの各画素Pyxは、生成されるブロックの中心位置に配置されている。したがって、拡大倍率が3倍である場合、例えば画素Ptsは、生成されるブロックIにおいて水平方向に沿って1番目の画素の位置に配置される。同じように、画素Ptsの周辺画素b、c、d、eも、各ブロックにおける中心に配置されている。
【0075】
図12は、水平方向へのフルーエンシー変換により生成される水平方向に沿った3つの画素値I0〜I2を求める算術式を示した表T1である。この表T1に示すように、パラメータmが2、3であっても、画素値Ptsがそのまま画素値I1になる。すなわち、周辺画素値b、c、d、eなどに対するフルーエンシー変換による出力は、対応する位置(ブロックIにおける1番目の画素位置)においてすべて0となる。そして、他のブロックにおいて、画素b、c、d、eが配置されている中心位置において生成される画素値(b1、c1、d1、e1)も、同様に、そのまま画素値b、c、d、eとなる。
【0076】
図13は、垂直方向へのフルーエンシー変換を示した図である。図13に示すように、垂直方向に沿ったフルーエンシー変換が施されると、3×3=9個のブロックB0が生成される。生成される画素値I’11は、そのまま画素値I1、すなわち画素値Ptsと等しい。また、画素値I’10およびI’12も、それぞれ画素値I0、I2と等しくなる。
【0077】
一般的に、拡大倍率が奇数である場合、原画像データPの各画素Pyxの値は、生成される拡大画像データJの各ブロックB(B0)の中で中心に位置する画素Jyxの値と等しくなる。したがって、生成される拡大画像データJには、原画像データPの画素値Pyxに等しい画素値Jyxが原画像データPの画素数だけ存在する(この画素値Jyxを、以下では節点という)。
【0078】
このようにフルーエンシー変換により生成される各ブロックB(B0)の中で中心位置にある画素値がそのまま原画像データPの各画素Pyxの値となるのは、図4で示したフルーエンシー関数の特性による。
【0079】
ところで、拡大画像データJは、原画像データPの各画素Pyxをフルーエンシー変換し、各画素間の値を補間(生成)することにより生成される。そのため、各画素間の変化量が少ない、すなわち、隣接する画素Jyxの値が滑らかに変化するほど、拡大画像データJの画質が高い。
【0080】
しかしながら、拡大画像データJに節点が存在する場合、節点を中心とする画素間の画素値変化は、節点が存在しない場合(拡大倍率が偶数)に比べて、滑らかでない。例えば、図12の表T1で示す画素値I0、I1、I2の変化は、図8の表T0で示す画素値I2、I3,I4、I5の変化に比べて滑らかでない。また、水平方向へのフルーエンシー変換によって生成される水平方向の画素値が垂直方向へのフルーエンシー変換によって生成される各ブロックBにおいて対応する画素値と等しくなるため(例えば、I0とI’10)、垂直方向に沿った画素間の画素値変化も滑らかでなくなる。したがって、拡大倍率が奇数倍において生成される拡大画像データJの画質は、偶数倍の拡大画像データJに比べて落ちる。
【0081】
そこで、本実施形態では、原画像データPに対して奇数倍でのフルーエンシー変換処理を施す場合、生成される拡大画像データJの各画素の位置を、配置された原画像データPの各画素Pyxに対し、相対的に移動させる。なお、本実施形態では、生成される拡大画像データJの画素間の画素値変化を滑らかにするため、パラメータmの設定範囲を2以上とする。
【0082】
図14は、水平方向に沿ったフルーエンシー変換におけるシフト処理を示した図である。
【0083】
図14に示すように、シフト処理において、生成される各ブロックIにおける水平方向の各画素位置を、移動量ΔSだけ水平右方向に全体的にシフトする(ずらす)。この右シフト処理により、例えば画素Ptsは、ブロックIにおいて、画素位置0’番と1’番の間の位置に移動する。ここでの移動量ΔSは、生成される各ブロックI、すなわち拡大画像データJを構成する各ブロックBの長さを1とした場合、1/6である。
【0084】
図15は、水平方向へのフルーエンシー変換により生成される水平方向の3つの画素値I0〜I2の値を示した表である。この表T2と図12に示した表T1とを比べることでわかるように、シフト処理が施されることで、節点となる画素値(=Pts)が存在しなくなる。
【0085】
図16は、垂直方向に沿ったフルーエンシー変換時におけるシフト処理を示している。ただし、ここでは、生成されるブロックB0のうち、画素値f0、g0、h0、I0、k0に基づいて生成される画素部分のみ示している。
【0086】
垂直方向のシフト処理では、生成される各ブロックB(B0)における各画素位置が、垂直下方向に移動量ΔSだけそれぞれシフトされる。例えば、水平方向へのフルーエンシー変換により生成された画素値I0は、ブロックB0において、垂直方向に沿った0’番目の画素位置と1’番目の画素位置の間に移動する。
【0087】
このような水平方向および垂直方向へのシフト処理が施された場合、生成される各ブロックB内において節点は存在せず、各ブロックB内において画素Jyxの値は、滑らかに変化する。
【0088】
図17は、原画像データPに対するフルーエンシー変換のプログラムを示したフローチャートである。
【0089】
ステップ101では、原画像データPの各画素Pyxが、生成される拡大画像データJにおいて対応する位置(各ブロックの中心)にそれぞれ配置される。
【0090】
ステップ102では、設定された拡大倍率Zが奇数であるか否かが判定される。
【0091】
ステップ102において、拡大倍率Zが奇数であると判定されるとステップ103に移る。ステップ103では、生成される拡大画像データJの各画素の位置が、全体的に水平右方向に移動量ΔSだけシフトされる。拡大倍率をZとし、生成される拡大画像データJの1つのブロックBの大きさを1としたとき、移動量ΔSは、1/(2Z)となる。水平方向にシフト処理が施されると、ステップ104に移る。
【0092】
ステップ104では、原画像データPに対して水平方向にフルーエンシー変換が施され、これにより、水平方向に拡大倍率Zの数だけ画素値が生成される。水平方向へのフルーエンシー変換が施されると、ステップ105に移る。
【0093】
ステップ105では、生成される拡大画像データJの各ブロックBの画素位置が、全体的に垂直下方向に移動量ΔS(=1/(2Z))だけシフトされる。そして、ステップ106では、ステップ104において生成された水平方向の画素値に対して垂直方向へのフルーエンシー変換が施され、これにより、拡大倍率に応じた画素数から成るブロックBが生成され、拡大画像データJが生成される。拡大画像データJが生成されると、このプログラムは終了する。
【0094】
ステップ102において、拡大倍率Zが奇数倍ではない、すなわち偶数倍であると判断されると、ステップ107に移る。
【0095】
ステップ107の実行は、ステップ103における実行と同じであり、また、ステップ108における実行は、ステップ106の実行と同じである。すなわち、原画像データPの各画素Pyxに対して水平方向、垂直方向へのフルーエンシー変換が施され、これにより、拡大画像データJが生成される。ステップ108が実行されると、このプログラムは終了する。
【0096】
以上のように本実施形態によれば、原画像データPの各画素Pyxに対してフルーエンシー変換が施され、これにより、拡大画像データJが生成される。このように、拡大処理においてフルーエンシー変換を適用させることにより、各画素間の画素値の変化が滑らかとなり、原画像データPから拡大画像データJへの拡大処理過程において、画質が劣化しない。
【0097】
拡大倍率が奇数である場合、生成される拡大画像データJの画素位置を、配置された原画像データPの各画素Pyxの位置に対し、拡大倍率に応じた移動量ΔSだけ移動させる。これにより、原画像データPの画素Pyxの値がそのまま拡大画像データJの画素Jyxの値となる節点は存在しなくなり、生成される拡大画像データJにおける各画素間の画素値の変化は、滑らかとなる。すなわち、原画像データPから拡大画像データJの生成において、画質劣化が抑えられる。
【0098】
なお、本実施形態では、水平方向へのシフト処理を右方向、垂直方向へのシフト処理を下方向としているが、代わりに、左方向、上方向にシフト処理を施してもよい。また、拡大処理は、水平方向、垂直方向それぞれについて実施する代わりに、水平方向のみ、あるいは垂直方向のみに対して実施してもよい。
【0099】
【発明の効果】
以上のように本発明によれば、画質の劣化を抑えながら、原画像データを拡大して拡大画像データを生成することができる。
【図面の簡単な説明】
【図1】本実施形態である拡大画像生成装置の電気的回路を示したブロック図である。
【図2】原画像データに対するフルーエンシー変換処理を示した図である。
【図3】フルーエンシー関数を示した図である。
【図4】フルーエンシー関数を示した図である。
【図5】正規化されたフルーエンシー関数を示した図である。
【図6】フルーエンシー変換を示した図である。
【図7】水平方向へのフルーエンシー変換を示した図である。
【図8】生成される水平方向の画素値を求める算術式を示した表である。
【図9】垂直方向へのフルーエンシー変換を示した図である。
【図10】生成される垂直方向の画素値を求める算術式を示した表である。
【図11】拡大倍率が奇数での水平方向へのフルーエンシー変換を示した図である。
【図12】生成される水平方向の画素値を求める算術式を示した表である。
【図13】拡大倍率が奇数での垂直方向へのフルーエンシー変換を示した図である。
【図14】水平右方向へのシフト処理を示した図である。
【図15】生成される水平方向の画素値を求める式を示した表である。
【図16】垂直下方向へのシフト処理を示した図である。
【図17】 シフト処理およびフルーエンシー変換処理動作を示したフローチャートである。
【符号の説明】
10 拡大画像生成装置
11 拡大倍率設定部
12 シフト処理部
13 フルーエンシー変換部(拡大画像生成部)
J 拡大画像データ
P 原画像データ
ΔS 移動量
Z 拡大倍率
Claims (8)
- マトリクス状に配置された所定の画素数で構成される原画像データから前記原画像データの画素数より多くの画素から成る拡大画像データを生成する拡大画像生成装置であって、
少なくとも前記原画像データの水平方向および垂直方向のいずれかの拡大倍率を設定する拡大倍率設定手段と、
前記原画像データの各画素を、前記拡大倍率にしたがって、生成される前記拡大画像データにおいて対応する位置に配置する画素配置手段と、
設定される前記拡大倍率が奇数であるか否かを検出する拡大倍率検出手段と、前記拡大倍率が奇数である場合、生成される前記拡大画像データの画素位置を、前記拡大倍率に応じた移動量だけ、配置された前記原画像データの画素の位置に対して相対的に移動させるシフト手段と、
配置された前記原画像データの各画素に対し、前記拡大倍率に応じてフルーエンシー変換を施すことにより、前記拡大画像データを生成する拡大画像生成手段と
を備えたことを特徴とする拡大画像生成装置。 - 前記拡大画像生成手段が、前記原画像データの各画素値に対して前記フルーエンシー変換による出力値を生成し、前記拡大画像データにおける各画素の位置に対応する前記フルーエンシー変換の出力値の総和を、前記拡大画像データの画素値と定めることを特徴とする請求項2に記載の拡大画像生成装置。
- 前記拡大画像生成手段が、水平方向へのフルーエンシー変換により、配置された前記原画像データの画素から水平方向に沿った複数の画素値を生成し、その後、前記水平方向に沿った複数の画素値に対して垂直方向へのフルーエンシー変換を施すことにより、前記拡大画像データを生成することを特徴とする請求項1もしくは請求項3に記載の拡大画像生成装置。
- 前記シフト手段が、前記原画像データの画素に対して前記水平方向へのフルーエンシー変換が施される場合、生成される前記拡大画像データの画素位置と隣接する画素位置との間に画素が位置するように前記画素位置を水平方向に移動させ、さらに、前記水平方向に沿った複数の画素値に対して前記垂直方向へのフルーエンシー変換が施される場合、生成される前記拡大画像データの画素位置と隣接する画素位置との間に画素が位置するように前記画素位置を垂直方向に移動させることを特徴とする請求項4に記載の拡大画像生成装置。
- 前記シフト手段が、前記拡大倍率をZとし、前記原画像データの1つの画素に対する前記フルーエンシー変換により生成されるブロックの水平方向および垂直方向の画素数の長さを1とした時に、生成される前記拡大画像データの画素位置を、水平方向および垂直方向にそれぞれ移動量1/(2Z)だけ移動させることを特徴とする請求項5に記載の拡大画像生成装置。
- マトリクス状に配置された所定の画素数で構成される原画像データから前記原画像データの画素数より多くの画素から成る拡大画像データを生成する拡大画像生成方法であって、
少なくとも前記原画像データの水平方向および垂直方向のいずれかの拡大倍率を設定する第1のステップと、
原画像データの各画素を、前記拡大倍率にしたがって、生成される前記拡大画像データにおいて対応する位置に配置する第2のステップと、
設定される前記拡大倍率が奇数であるか否かを検出する第3のステップと、 前記拡大倍率が奇数である場合、生成される前記拡大画像データの画素位置を、前記拡大倍率に応じた移動量だけ、配置された前記原画像データの画素の位置に対して相対的に移動させる第4のステップと、
配置された前記原画像データの各画素に対し、前記拡大倍率に応じてフルーエンシー変換を施すことにより、前記拡大画像データを生成する第5のステップと
を備えたことを特徴とする拡大画像生成方法。 - マトリクス状に配置された所定の画素数で構成される原画像データから前記原画像データの画素数より多くの画素から成る拡大画像データを生成する拡大画像生成処理を実行するプログラムを格納した記録媒体であって、
少なくとも前記原画像データの水平方向および垂直方向のいずれかの拡大倍率を設定し、
原画像データの各画素を、前記拡大倍率にしたがって、生成される前記拡大画像データにおいて対応する位置に配置し、
設定される前記拡大倍率が奇数であるか否かを検出し、
前記拡大倍率が奇数である場合、生成される前記拡大画像データの画素位置を、前記拡大倍率に応じた移動量だけ、配置された前記原画像データの画素の位置に対して相対的に移動させ、
配置された前記原画像データの各画素に対し、前記拡大倍率に応じてフルーエンシー変換を施すことにより、前記拡大画像データを生成することを特徴とするコンピュータ読み取り可能な記録媒体。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2000252146A JP3655814B2 (ja) | 1999-08-23 | 2000-08-23 | 拡大画像生成装置およびその方法 |
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP23596099 | 1999-08-23 | ||
JP11-235960 | 1999-08-23 | ||
JP2000252146A JP3655814B2 (ja) | 1999-08-23 | 2000-08-23 | 拡大画像生成装置およびその方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2001136378A JP2001136378A (ja) | 2001-05-18 |
JP3655814B2 true JP3655814B2 (ja) | 2005-06-02 |
Family
ID=26532424
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2000252146A Expired - Fee Related JP3655814B2 (ja) | 1999-08-23 | 2000-08-23 | 拡大画像生成装置およびその方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP3655814B2 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4053021B2 (ja) * | 2004-05-12 | 2008-02-27 | 三洋電機株式会社 | 画像拡大装置、及びプログラム |
-
2000
- 2000-08-23 JP JP2000252146A patent/JP3655814B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2001136378A (ja) | 2001-05-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2011504682A (ja) | 画像シーケンスのサイズ変更 | |
JP2919428B2 (ja) | 画像変形装置 | |
JPH05502534A (ja) | ディジタル画像のノイズ除去システムおよび方法 | |
US20160292838A1 (en) | Image synthesis apparatus, image synthesis method, and recording medium | |
JP2012060517A (ja) | 画像処理装置、画像処理方法 | |
JP4361991B2 (ja) | 画像処理装置 | |
JP4714038B2 (ja) | 画像の高解像度化方法及び装置 | |
JP2001054123A (ja) | 画像処理装置 | |
JP2020149560A (ja) | Cnn処理装置、cnn処理方法、およびプログラム | |
JP3732978B2 (ja) | 画像圧縮および伸張装置とその方法 | |
JP5022498B2 (ja) | 画像処理装置、画像処理方法及び画像処理プログラム | |
CN111093045B (zh) | 一种缩放视频序列分辨率的方法及装置 | |
JP3655814B2 (ja) | 拡大画像生成装置およびその方法 | |
US8902474B2 (en) | Image processing apparatus, control method of the same, and program | |
US20180218477A1 (en) | Data interpolation device, method therefor, and image processing apparatus | |
JP2007026417A (ja) | デシマルモーション予測における負担計算方法および装置 | |
JP2006238188A (ja) | 補間フィルタおよび映像信号処理装置 | |
WO2000075865A1 (fr) | Procede de traitement d'image | |
Lukac et al. | Digital zooming for color filter array-based image sensors | |
JP2002101296A (ja) | 画像処理方法及び画像処理装置 | |
JP2009077051A (ja) | 撮像装置及びその撮像方法 | |
JP7532087B2 (ja) | 装置、方法、及びプログラム | |
US10275854B2 (en) | Signal processing device, signal processing method, solid-state image sensor, imaging device, and electronic device | |
JP2005293265A (ja) | 画像処理装置及び方法 | |
JP5085589B2 (ja) | 画像処理装置および方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20050125 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20050218 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20050304 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090311 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090311 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100311 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110311 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110311 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120311 Year of fee payment: 7 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120311 Year of fee payment: 7 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313111 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120311 Year of fee payment: 7 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313111 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120311 Year of fee payment: 7 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130311 Year of fee payment: 8 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140311 Year of fee payment: 9 |
|
S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
LAPS | Cancellation because of no payment of annual fees |