JP4366836B2 - 画像変換方法および画像変換装置 - Google Patents
画像変換方法および画像変換装置 Download PDFInfo
- Publication number
- JP4366836B2 JP4366836B2 JP2000171669A JP2000171669A JP4366836B2 JP 4366836 B2 JP4366836 B2 JP 4366836B2 JP 2000171669 A JP2000171669 A JP 2000171669A JP 2000171669 A JP2000171669 A JP 2000171669A JP 4366836 B2 JP4366836 B2 JP 4366836B2
- Authority
- JP
- Japan
- Prior art keywords
- pixel
- interpolation
- image
- value
- target position
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Television Systems (AREA)
Description
【発明の属する技術分野】
本発明は、映像信号の走査方式の一種である飛び越し走査(インターレース走査)方式のフィールド画像を順次走査(プログレッシブ走査)方式のプログレッシブ画像に変換する画像変換方法および画像変換装置に関する。
【0002】
【従来の技術】
映像信号におけるインターレース走査方式からプログレッシブ走査方式への変換は、各フィールド画像の上下方向において隣接する走査線の間にさらにもう1つの走査線を補間することにより行われている。このインターレース走査方式では、1つのフレームは2つのフィールド画像によって構成される。このような変換方法として種々の方法が提案されている。例えば、同一フィールド画像内の1つの走査線を1走査線表示時間分だけ遅延させ、遅延させたこの走査線上の画素を次の走査線にも再度使用する方法、すなわち同一の画素を上下方向において隣接する2つの走査線に用いる方法(以下、方法Aという。)がある。また、上下方向において隣接する2つの走査線上の画素を用いて線形補間を行う方法(以下、方法Bという。)もある。
【0003】
また、フィールド画像の垂直方向の解像度を向上させるために、複数のフィールド画像の画素値を利用する方法(以下、方法Cという。)がある。インターレース走査では、連続する2つのフィールド画像の間で走査線の位置が異なっているため、変換対象となるフィールド画像の画素を補間すべき位置(画素補間対象位置)に対応する他のフィールド画像(その前のフィールド画像または後のフィールド画像)の位置には、元々画素が存在している。そのため、映像信号により構成される画像が静止画像である場合には、他のフィールド画像のその位置(すなわち、画素補間対象位置に対応する位置)の画素値を、変換対象フィールド画像の画素補間対象位置に関する補間画素値として用いることができる。
【0004】
従って、この方法では、例えば、連続する2つのフィールド画像の画素値の差分値が小さい領域を補間対象フィールド画像の静止画領域とし、この静止画領域に関して他のフィールド画像の画素値を補間値として用いることにより、静止画領域における垂直方向の解像度を向上させている。動画領域に関しては、上下方向において隣接する画素の画素値の平均値などが補間画素値として用いられている。
【0005】
さらに、変換後のプログレッシブ画像上の斜め方向のエッジ部分が段階状に見えるのを防ぐために、このエッジ部分の方向を検出しながら補間処理を行う方法(以下、方法Dという。)がある。例えば特許公報(特公平3−42832号)に記載の方法によれば、画素補間対象位置を中心とし、その周囲の画素の値の差分の絶対値(すなわち、すぐ上の画素とすぐ下の画素との間の画素値の差分の絶対値、右上の画素と右下の画素との間の画素値の差分の絶対値、および左上の画素と右下の画素の画素値の差分の絶対値)が取得される。取得した3つの画素値の差分の絶対値の中の最小値が相対的に小さい値であれば、その最小値が取得された方向に沿った画素値の平均値などが画素補間対象位置に関する補間画素値として用いられる。また、取得した3つの画素値の差分の絶対値の中の最小値が相対的に大きな値であれば、画素補間対象位置のすぐ上の画素の画素値が補間画素値として用いられる。このような方法では、フィールド画像上に斜め方向のエッジ部分が存在する場合、その方向のエッジ部分が滑らかになるように補間処理が行われる。
【0006】
【発明が解決しようとする課題】
しかし、上記のような方法には次のような問題があった。
【0007】
例えば、同一の画素を上下方向において隣接する2つの走査線に用いる方法Aは、最も簡単な方法ではある。しかし、この方法では、特に、変換後のプログレッシブ画像上の斜め方向のエッジ部分が大きな階段状に見えてしまう。
【0008】
また、上下方向において隣接する画素を用いて線形補間を行う方法Bでは、変換後のプログレッシブ画像上の斜め方向のエッジ部分に関しては、同一の画素を隣接する2つの走査線に用いる方法Aよりもその見え方は改善される。しかし、この場合、プログレッシブ画像が多少ぼけて見えてしまう。また、斜め方向のエッジ部分はなお階段状に見えてしまう。
【0009】
さらに、複数のフィールド画像の画素値を用いる方法Cでは、静止画領域に関してはプログレッシブ画像の垂直方向の解像度を向上させることができるが、動画領域に関してはその解像度は線形補間を行うことにより得られる解像度と同様であり、改善されない。また、斜め方向のエッジ部分が階段状に見える問題も改善されない。
【0010】
さらにまた、フィールド画像上のエッジ部分の方向を検出しながら補間処理を行う方法Dによれば、斜め方向のエッジ部分の見え方については改善することができる。しかし、この方法では、上述した複数のフィールド画像の画素値を用いる方法Cの場合と比較して、静止画領域における垂直方向の解像度が低下してしまう。
【0011】
また、方法Dを実画像に適用した場合には、変換後の画像にエラーが発生することが多い。例えば、画像の実際の絵柄が上下方向に連続していたとしても、その画像の取得時における照明条件や取得した画像に含まれるノイズなどに応じて、画像の斜め方向における画素間の相関(差分値)が上下方向における画素間の相関よりも若干高く計算されてしまうことが生じる。この場合、補間処理は上下方向ではなく斜め方向に沿って行われてしまうので、適切な補間処理を行うことができない。
【0012】
本発明はかかる問題点に鑑みてなされたものであり、その目的は、フィールド画像の静止画領域における垂直方向の解像度を向上させ、その動画領域における斜め方向のエッジ部分を階段状でなく滑らかに見えるようにするとともに、変換後の画像におけるエラーの発生を低減することが可能な画像変換方法および画像変換装置を提供することにある。
【0013】
【課題を解決するための手段】
本発明による画像変換方法は、変換対象のフィールド画像以外の他のフィールド画像に含まれる画素の値を用いることにより、この変換対象のフィールド画像の補間対象ラインにおける画素補間対象位置に関して、第1の補間データを取得する第1のステップと、変換対象のフィールド画像に含まれる画素の値を用いることにより、画素補間対象位置に関して、第2の補間データを取得する第2のステップと、第1の補間データおよび第2の補間データを用いて、変換対象のフィールド画像の画素補間対象位置に画素を補間する第3のステップとを含んでいる。また、第2のステップは、画素補間対象位置の近傍に位置し補間対象ラインの上下の飛び越し走査ラインに含まれる画素のうち、画素補間対象位置を中心として点対称の位置にある複数組の画素の差分値の絶対値和を用いることにより、画素補間対象位置の近傍の画素の値の変化の大きさを示す第1のエネルギー値を求めるエネルギー値演算ステップと、第1のエネルギー値が第1のしきい値よりも小さい場合には、画素補間対象位置の上下に位置する画素の値の平均値を第2の補間データとして取得する上下画素値演算ステップと、第1のエネルギー値が第1のしきい値以上である場合には、画素補間対象位置を中心として点対称の位置にある画素の組の相関値をそれぞれ計算し、これらの相関値の中で最も高い相関値を示す方向を補間方向であると決定し、決定したこの方向に沿って画素補間対象位置に関する補間データを第2の補間データとして取得する相関値演算ステップとを含んでいる。
【0015】
本発明による画像変換装置は、変換対象のフィールド画像以外の他のフィールド画像に含まれる画素の値を用いることにより、この変換対象のフィールド画像の補間対象ラインにおける画素補間対象位置に関して、第1の補間データを取得する第1のデータ取得手段と、変換対象のフィールド画像に含まれる画素の値を用いることにより、画素補間対象位置に関して、第2の補間データを取得する第2のデータ取得手段と、第1の補間データおよび第2の補間データを用いて、変換対象のフィールド画像の画素補間対象位置に画素を補間する補間手段とを備えている。そして、第2のデータ取得手段は、画素補間対象位置の近傍に位置し補間対象ラインの上下の飛び越し走査ラインに含まれる画素のうち、画素補間対象位置を中心として点対称の位置にある複数組の画素の差分値の絶対値和を用いることにより、画素補間対象位置の近傍の画素の値の変化の大きさを示す第1のエネルギー値を求め、第1のエネルギー値が第1のしきい値よりも小さい場合には、画素補間対象位置の上下に位置する画素の値の平均値を第2の補間データとして取得し、第1のエネルギー値が第1のしきい値以上である場合には、画素補間対象位置を中心として点対称の位置にある画素の組の相関値をそれぞれ計算し、これらの相関値の中で最も高い相関値を示す方向を補間方向であると決定し、決定したこの方向に沿って画素補間対象位置に関する補間データを第2の補間データとして取得するようになされている。
【0017】
本発明による画像変換方法または画像変換装置では、変換対象のフィールド画像以外の他のフィールド画像に含まれる画素の値を用いることにより、この変換対象のフィールド画像の補間対象ラインにおける画素補間対象位置に関して、第1の補間データが取得され、変換対象のフィールド画像に含まれる画素の値を用いることにより、画素補間対象位置に関して、第2の補間データが取得される。そして、第1の補間データおよび第2の補間データを用いて、変換対象のフィールド画像の画素補間対象位置に画素が補間される。
【0019】
【発明の実施の形態】
以下、本発明の実施の形態について図面を参照して詳細に説明する。
【0020】
(第1の実施の形態)
図1は、本発明の第1の実施の形態に係る画像変換装置の構成を表すものである。なお、本発明の第1の実施の形態に係る画像変換方法は本実施の形態に係る画像変換装置によって具現化されるので、以下、併せて説明する。本実施の形態の画像変換装置は、画像変換回路25と、制御回路30とを備えている。画像変換回路25は、フィールドメモリ10、11、12と、フィールド内補間回路13と、フィールド間補間回路14と、判定回路15と、乗算回路16、17と、加算回路18と、画像合成回路19とを含んでいる。
【0021】
フィールドメモリ10、11、12は、インターレース走査により連続して入力される複数(ここでは3つ)のフィールド画像(インターレース画像)を記憶するためのものである。フィールドメモリ10は、補間対象となる現在のフィールド画像を記憶するようになっている。フィールドメモリ11は、フィールドメモリ10に記憶されている現在のフィールド画像の1フィールド前のフィールド画像を記憶するようになっている。フィールドメモリ12は、フィールドメモリ10に記憶されている現在のフィールド画像の2フィールド前のフィールド画像を記憶するようになっている。
【0022】
フィールド間補間回路14は、フィールドメモリ10に記憶されている現在のフィールド画像とフィールドメモリ11に記憶されている1フィールド前のフィールド画像とを用いて、現在のフィールド画像に存在しないライン上の補間対象となる位置(画素補間対象位置)に補間すべき画素値を第1の補間データとして取得するようになっている。
【0023】
フィールド内補間回路13は、フィールドメモリ10に記憶されている現在のフィールド画像のみを用いて、この現在のフィールド画像に存在しないライン上の画素補間対象位置に補間すべき画素値を第2の補間データとして取得するようになっている。
【0024】
ここで、フィールド間補間回路14が本発明の「第1のデータ取得手段」の一具体例に対応し、フィールド内補間回路13が本発明の「第2のデータ取得手段」の一具体例に対応している。
【0025】
判定回路15は、フィールドメモリ10に記憶されている現在のフィールド画像とフィールドメモリ12に記憶されている2フィールド前のフィールド画像とを用いて、現在のフィールド画像内の各画素補間対象位置の画素について静止画らしさの程度を判定するようになっている。具体的には、判定回路15は、この静止画らしさの程度を示す値(静止画指標値)を計算するようになっている。この静止画指標値は、現在のフィールド画像および2フィールド前のフィールド画像の同一位置における画素の値の差分の絶対値に対応するものである。ここで、静止画らしさの程度とは、画素補間対象位置の周囲の画素が静止画を構成する画素としてどの程度の可能性があるかを示すものである。なお、ここでは、静止画らしさの程度の判定を行うようにしているが、動画らしさの程度、すなわち、画素補間対象位置の周囲の画素が動画を構成する画素としてどの程度の可能性があるかを示すものを判定するようにしてもよい。
【0026】
また、判定回路15は、計算した静止画指標値に基づいて乗算回路16、17におけるゲインgを決定し、決定したこのゲインgを乗算回路16、17に供給するようになっている。例えば、判定回路15は、計算した静止画指標値が大きい場合には、画素補間対象位置の周囲の画素は静止画を構成する画素である可能性が高いと判断してゲインgを0または0に近い値に設定するようになっている。また、判定回路15は、計算した静止画指標値が小さい場合には、画素補間対象位置の周囲の画素は静止画を構成する画素である可能性が低い(動画を構成する画素である可能性が高い)と判断してゲインgを1または1に近い値に設定するようになっている。
【0027】
乗算回路16は、判定回路15によって決定されたゲインgに対応する乗算係数を、フィールド内補間回路13において取得された補間データに乗じるようになっている。また、乗算回路17は、判定回路15によって決定されたゲインgに基づいた乗算係数1−gを、フィールド間補間回路14において取得された補間データに乗じるようになっている。
【0028】
加算回路18は、乗算回路16から出力される補間データと乗算回路17から出力される補間データを加算し、その加算結果を画像合成回路19に出力するようになっている。従って、乗算回路16、17および加算回路18によって補間データの重み付け演算である重み付け加算が行われるようになっている。
【0029】
画像合成回路19は、加算回路18から出力された補間データを補間対象となる現在のフィールド画像に合成し、合成した画像をプログレッシブ画像として出力するようになっている。
【0030】
ここで、乗算回路16、17、加算回路18、および画像合成回路19が本発明の「補間手段」の一具体例に対応している。
【0031】
制御回路30は、フィールドメモリ10、11、12、フィールド内補間回路13、フィールド間補間回路14、判定回路15、乗算回路16、17、加算回路18、および画像合成回路19と接続され、それぞれの動作を制御するようになっている。
【0032】
次に、以上のように構成されている本実施の形態の画像変換装置の作用について説明する。
【0033】
図2は図1に示した画像変換装置における画像変換処理を示すフローチャートである。図2に示したように、ステップS1では、インターレース走査方式により入力されたフィールド画像(現在のフィールド画像)がフィールドメモリ10に記憶される。この時、フィールドメモリ11には1フィールド前のフィールド画像が記憶され、フィールドメモリ12には2フィールド前のフィールド画像が記憶されている。
【0034】
次に、ステップS2において、判定回路15は、以下のようにして現在のフィールド画像における静止画らしさの程度の判定を行う。
【0035】
図3は判定回路15における静止画らしさの程度の判定について説明するための図である。なお、図3において、Anは現在の時刻Tn においてフィールドメモリ10に記憶されている現在のフィールド画像を示したものである。An-1 は時刻Tn よりも前の時刻Tn-1 においてフィールドメモリ10に記憶されていたフィールド画像であり、時刻Tn においてはフィールドメモリ11に記憶されている1フィールド前のフィールド画像を示したものである。An-2 は時刻Tn-1 よりも前の時刻Tn-2 においてフィールドメモリ10に記憶されていたフィールド画像であり、時刻Tn においてはフィールドメモリ12に記憶されている2フィールド前のフィールド画像を示したものである。
【0036】
また、図3において、Pa、Pb、Pc(白丸)はフィールド画像An-2 の所定の水平方向位置における垂直方向(上下方向)に沿った画素を示したものである。Pf、Ph、Pj(白丸)は、フィールド画像An のうち、フィールド画像An-2 の上記所定の水平方向位置に対応する位置における画素を示したものである。
【0037】
図3に示したように、フィールドメモリ10に記憶されているフィールド画像An とフィールドメモリ12に記憶されているフィールド画像An-2 とにおいては、同じ位置に画素が存在している。例えば、フィールド画像An 上の画素Pfはフィールド画像An-1 上の画素Paに対応し、フィールド画像An 上の画素Phはフィールド画像An-1 上の画素Pbに対応し、フィールド画像An 上の画素Pjはフィールド画像An-1 上の画素Pcに対応している。そこで、判定回路15は、例えば、Pdの位置の画素について静止画らしさの程度を判定するために、画素Pa、Pb、Pf、Phの各画素値Pva、Pvb、Pvf、Pvhを用いて、対応する画素の組の画素値の差分の絶対値(|Pva−Pvf|+|Pvb−Pvh|)/2を計算し、これを静止画指標値とする。
【0038】
その後、フィールド内補間回路13は、各画素補間対象位置について上記の静止画指標値に基づいて乗算回路16、17におけるゲインgを決定し、決定したこのゲインgを乗算回路16、17に供給する。このゲインgは、例えば上記の静止画指標値を用いた所定の正規化演算処理を行うことによって取得される。
【0039】
図2のステップS3において、フィールド間補間回路14は、以下のようにしてフィールド画像間での補間データ取得処理を行う。
【0040】
図4はフィールド間補間回路14におけるフィールド画像間での補間データ取得処理を説明するための図である。図4において、Pd、Pe(白丸)は、フィールド画像An-1 のうち上記所定の水平方向位置における垂直方向に沿った画素を示したものである。また、Pg、Pi(黒丸)は、フィールド画像An には元々は存在しない水平方向ライン上の画素補間対象位置に補間すべき画素であり、後述する補間データ取得処理によって得られるものである。
【0041】
図4に示したように、フィールド画像An 、An-1 、An-2 はそれぞれインターレース画像であるので、フィールド画像An 、An-2 とフィールド画像An-1 との間の関係では、垂直方向に1/2ピッチだけずれた位置に画素が存在している。例えば、画素Pdは画素Paと画素Pbとの中間に位置し、画素Peは画素Pbと画素Pcとの中間に位置している。なお、ピッチとは、フィールド画像において隣接する2つの水平方向ライン間の距離のことである。
【0042】
以上のことから、フィールド間補間回路14は、フィールド画像An において元々は存在しない水平方向ライン上の画素補間対象位置に補間すべき画素Pg、Piの画素値として、フィールド画像An-1 上の画素Pd、Peの画素値を採用し、これを補間データとする。この補間データは、静止画らしさの程度が高い画素領域において主として用いられる。完全なる静止画像においては、時間の経過に応じて画素値に変化が生じないため、この補間データの精度は良好となる。フィールド間補間回路14は、以上のような補間データ取得処理を、フィールド画像An のすべての画素補間対象位置について行う。
【0043】
次に、図2のステップS4において、フィールド内補間回路13は、以下のようにしてフィールド画像内での補間データ取得処理を行う。
【0044】
図5はフィールド内補間回路13におけるフィールド画像内での補間データ取得処理を説明するための図、図6はフィールド内補間回路13におけるフィールド画像内での補間データ取得処理を示すフローチャート、図7はフィールド内補間回路13におけるフィールド画像内での補間データ再取得処理を説明するための図である。なお、図5は、フィールド画像An 内のラインLn-1 、Ln+1 およびこれらの2つのラインの間の補間対象となるラインLn を示したものである。ここで、n=1、2、……である。P11(黒丸)は、変換対象となるラインLn 上の所定の水平方向位置(画素補間対象位置)に補間されるべき画素であり、後述するような補間データ取得処理によって得られるものである。P1からP5(白丸)は、ラインLn-1 上に現実に存在する画素のうち、画素補間対象位置の近傍に位置する画素を示したものである。P6からP10(白丸)は、ラインLn+1 上に現実に存在する画素のうち、画素補間対象位置の近傍に位置する画素を示したものである。また、図7において、画素P1からP11の各々について示した数字は画素値を表すものである。
【0045】
まず、図6のステップF1において、フィールド内補間回路13は、画素補間対象位置の近傍におけるエネルギー値Eを計算する。このエネルギー値Eは、画素補間対象位置の近傍の画素の値の変化の大きさを示すものである。ここでは、フィールド内補間回路13は、画素補間対象位置を中心として点対称の位置にある画素の組(ここでは5つの組、P1とP10、P2とP9、P3とP8、P4とP7、P5とP6)の画素値の各差分値を計算し、これらの差分値の絶対値和を用いてエネルギー値Eを取得する。すなわち、画素P1からP10の画素値をそれぞれPv1からPv10 とすると、フィールド内補間回路13は、エネルギー値Eを式(1)により計算する。
【0046】
【0047】
ここで、このエネルギー値Eが本発明の「第1のエネルギー値」の一具体例に対応する。
【0048】
ただし、画素補間対象位置の近傍の上下方向の画素の組(P1とP6、P2とP7、P3とP8、P4とP9、P5とP10)の画素値の各差分値を計算し、これらの差分値の絶対値和を用いてエネルギー値Eを取得するようにしてもよい。この場合、画素P1からP10の画素値をそれぞれPv1からPv10 とすると、フィールド内補間回路13は、エネルギー値Eを式(2)により計算する。
【0049】
【0050】
また、エネルギー値Eは、E=|Pv2−Pv9|+|Pv3−Pv8|+|Pv4−Pv7|、あるいはE=|Pv2−Pv7|+|Pv3−Pv8|+|Pv4−Pv9|などとしてもよく、これらの例に限定されない。
【0051】
フィールド内補間回路13は、このようにして計算されたエネルギー値EをステップF2において予め設定されたしきい値Taと比較する。ここで、このしきい値Taが本発明の「第1のしきい値」の一具体例に対応する。この比較の結果、エネルギー値Eがこのしきい値Taよりも小さい場合、画素補間対象位置の近傍には斜め方向のエッジ部分やテクスチャ部分が存在しないと判断されるので、フィールド内補間回路13は、垂直方向(上下方向)を補間方向であると決定する。そして、フィールド内補間回路13は、この垂直方向に沿って画素補間対象位置に関して補間データを取得する(ステップF3)。例えば、フィールド内補間回路13は、画素補間対象位置の上下に位置する画素の値の平均値を補間データとして取得する。これにより、その画素補間対象位置に関しての補間データ取得処理が終了する。
【0052】
一方、ステップF2における比較の結果、エネルギー値Eがしきい値Ta以上である場合、フィールド内補間回路13は、画素補間対象位置はフィールド画像An における斜め方向のエッジ部分である可能性が高いと判断する。従って、このエッジ部分が階段状に見えてしまうのを防ぐために、フィールド内補間回路13は、このエッジ部分の方向に沿って画素補間対象位置に関して補間データ取得処理を行う。
【0053】
すなわち、フィールド内補間回路13は、画素補間対象位置を中心として点対称の位置にある画素の組の相関値をそれぞれ計算し、これらの相関値の中で最も高い相関値を示す方向を補間方向であると決定する。具体的には、例えば、フィールド内補間回路13は、これらの画素の組の画素値の差分値をそれぞれ計算し、これらの差分値の絶対値を取得する。そして、フィールド内補間回路13は、これらの絶対値の中で最小値(最も高い相関値に対応する)を示す方向を補間方向であると決定し、決定したこの方向に沿って画素補間対象位置に関する補間データを取得する(ステップF4)。
【0054】
図7に示す例においては、画素P1と画素P10の組では画素値の差分の絶対値が|1−6|=5、画素P2と画素P9の組ではその絶対値が|0−5|=5、画素P3と画素P8の組ではその絶対値が|250−240|=10、画素P4と画素P7の組ではその絶対値が|10−12|=2、画素P5と画素P6の組ではその絶対値が|8−11|=3となる。従って、フィールド内補間回路13は、最小値が2である方向、すなわち画素P4と画素P7を結ぶ斜めの方向に沿って補間データ取得処理を行い、画素補間対象位置に関する補間データ(画素値)として(10+12)/2=11を取得する。
【0055】
ステップF5において、フィールド内補間回路13は、ステップF4で行われた補間データ取得処理における補間方向が垂直方向であるかどうかを判断する。この補間方向が垂直方向である場合には、その画素補間対象位置に関する補間データ取得処理は終了する。
【0056】
一方、ステップF5において補間方向が垂直方向でない場合には、フィールド内補間回路13は、画素補間対象位置の上下の位置にある画素P3、P8の値の差分の絶対値を計算する。そして、ステップF6において、フィールド内補間回路13は、計算したその差分の絶対値を予め設定されたしきい値Tbと比較する。ここで、しきい値Tbが本発明の「第3のしきい値」の一具体例に対応する。この比較の結果、差分の絶対値がしきい値よりも大きい場合、その画素補間対象位置に関する補間データ取得処理が終了する。
【0057】
ステップF6における比較の結果、差分の絶対値がしきい値Tb以下である場合、フィールド内補間回路13は、ステップF4で取得した補間データ(画素値)と、画素補間対象位置の上下の位置にある画素P3、P8の画素値とを用いて、エネルギー値Evを計算する(ステップF7)。このエネルギー値Evは、画素補間対象位置に関する補間データの値の、この画素補間対象位置の上下に位置する画素の値に対する変化の大きさを表すものである。フィールド内補間回路13は、例えば、ステップF4で取得した補間データの値Pv11 を用いて、エネルギー値Evを式(3)により計算する。
【0058】
Ev=−(Pv3−Pv11 )*(Pv11 −Pv8) (3)
【0059】
図7に示す例では、エネルギー値Evは−(250−11)*(11−240)=54731となる。
【0060】
エネルギー値Evは式(3)により計算されたものに限られず、画素補間対象位置の上下に位置する画素の値の差分の絶対値がしきい値Tb以下である場合に、画素補間対象位置の上下に位置する画素の値の範囲内に、画素補間対象位置に関する補間データの値が入らず、その範囲からはずれる度合いが大きいほどエネルギー値Evが大きくなるようにすればよい。ここで、エネルギー値Evが本発明の「第2のエネルギー値」の一具体例に対応する。
【0061】
フィールド内補間回路13は、このようにして計算されたエネルギー値Evを、ステップF8において予め設定されたしきい値(例えば、0より大きい値)Tcと比較する。ここで、しきい値Tcが本発明の「第2のしきい値」の一具体例に対応する。この比較の結果、エネルギー値Evがこのしきい値Tcよりも大きい場合、フィールド内補間回路13は、最も高い相関値を示す方向は垂直方向であると再度決定する。そして、フィールド内補間回路13は、ステップF4で取得した補間データを破棄し、垂直方向を補間方向として画素補間対象位置に関する補間データを再度取得する(ステップF3)。
【0062】
図7に示す例では、第3のしきい値が例えば1000である場合、計算したエネルギー値Evはこの第3のしきい値よりも大きくなる。従って、フィールド内補間回路13は、画素補間対象位置の垂直方向における画素P3および画素P8を用いて補間データ取得処理を再度行い、画素補間対象位置に関する補間データ(画素値)として(250+240)/2=245を取得する。
【0063】
このように補間データ取得処理を再度行って補間をやり直すのは、図7に示したように垂直方向に沿った画素値の差分の絶対値よりも斜め方向に沿った画素値の差分の絶対値の方が若干小さくても、例えば、本来の絵柄が上下方向に連続しているような画像の場合には、上下方向における相関が高いので、再度取得された補間データを用いて変換されるプログレッシブ画像においてエラーの発生を少なくすることができるからである。
【0064】
一方、ステップF8における比較の結果、エネルギー値Evがしきい値Tc以下である場合には、フィールド内補間回路13は、ステップF4において行われた補間データ取得処理は適切であると判断する。これにより、その画素補間対象位置に関する補間データ取得処理が終了する。
【0065】
以上のようにして、現在のフィールド画像An 全体にわたって画素補間対象位置に関する補間データ取得処理が行われる。
【0066】
次に、図2のステップS5において、乗算回路16、17および加算回路8は、フィールド内補間回13およびフィールド間補間回路14においてそれぞれ得られた補間データを重み付けして加算する。
【0067】
すなわち、乗算回路16は、判定回路15において決定されたゲインgに対応する乗算係数を、フィールド内補間回路13において得られた補間データに乗じ、その乗算結果を加算回路18に出力する。また、乗算回路17は、判定回路15において決定されたゲインgに基づいた乗算係数1−gを、フィールド間補間回路14において得られた補間データに乗じ、その乗算結果を加算回路18に出力する。加算回路18は、乗算回路16、17からそれぞれ出力された乗算結果(補間データ)を加算し、その加算結果を最終補間データとして画像合成回路19に出力する。
【0068】
次に、図2のステップS6において、画像合成回路19は、加算回路18から出力された加算結果(重み付け加算された最終補間データ)と現在のフィールド画像とを合成する。これにより、現在のフィールド画像がプログレッシブ画像に変換される。
【0069】
以上のような処理によりフィールド画像をプログレッシブ画像に変換した後、ステップS7において、制御回路30は、フィールドメモリ10、11、12内のフィールド画像の更新を行う。すなわち、制御回路30は、次のフィールド画像をフィールドメモリ10に記憶させる。この時、制御回路30は、フィールドメモリ11に記憶されていた1フィールド前のフィールド画像をフィールドメモリ12に記憶させ、フィールドメモリ10に記憶されていた現在のフィールド画像をフィールドメモリ11に記憶させる。以下、フィールド画像がプログレッシブ画像に変換される度に、制御回路30はフィールドメモリ10、11、12内のフィールド画像の更新を行う。
【0070】
以上のように、本実施の形態では、フィールド画像の各画素補間対象位置の周囲の画素について静止画らしさの程度を判定し、この判定結果に基づいてフィールド画像内での補間データ取得処理により得られた第2の補間データとフィールド画像間での補間データ取得処理により得られた第1の補間データとを重み付け加算し、この重み付け加算結果を用いてフィールド画像の変換を行っている。従って、フィールド画像の静止画領域においては垂直方向の解像度を向上させることができ、その動画領域においては斜め方向のエッジ部分を階段状ではなく滑らかにすることができるとともに、静止画領域や動画領域のみならずその中間の領域においても適切な補間を行うことができる。また、必要に応じて補間のやり直すようにしたので、フィールド画像からプログレッシブ画像への変換の際におけるエラーの発生を低減することができる。
【0071】
なお、ステップF5からF8に示したような補間のやり直し処理は必ずしも行う必要はない。
【0072】
また、フィールド画像内での補間データ取得処理、フィールド画像間での補間データ取得処理、および静止画らしさの程度を判定する判定処理においては、上述した処理順序で実行させることに限られず、上述した処理順序を入れ換えてこれらの処理を実行させることも可能である。さらに、これらの処理を順番に行うことなく、並列に行うようにしてもよい。
【0073】
(第2の実施の形態)
次に、本発明の第2の実施の形態について説明する。図8は本実施の形態に係る画像変換装置の構成を表したものである。なお、本発明の第2の実施の形態に係る画像変換方法は本実施の形態に係る画像変換装置によって具現化されるので、以下、併せて説明する。本実施の形態の画像変換装置は、各フィールド画像を静止画領域と動画領域とに明確に区分し、静止画領域ではフィールド間補間回路によって得られた補間データのみを用い、動画領域ではフィールド内補間回路によって得られた補間データのみを用いてフィールド画像の変換を行うようにしたものである。本実施の形態は、フィールド画像において静止画領域と動画領域とを明確に区別した点を除いて、本発明の第1の実施の形態の場合と同様に構成されており、同様に動作するようになっている。ここで、本発明の第1の実施の形態の場合と同一の構成要素には同一の符号を付しており、ここでは、その詳細な説明を省略する。
【0074】
図8に示した画像変換装置は、図1に示した画像変換装置と比較して、乗算回路16、17および加算回路18を用いることなく、静止画らしさの程度を判定する判定回路15の代わりに画像領域判定回路20を含む画像変換回路26と、制御回路30に対応する制御回路31とを備えている。その他の構成は、本発明の第1の実施の形態の場合と同様である。
【0075】
本実施の形態の画像変換装置は、以下のように作用する。すなわち、画像領域判定回路20は、フィールドメモリ10に記憶されている現在のフィールド画像とフィールドメモリ12に記憶されている2フィールド前のフィールド画像とを用いて、現在のフィールド画像を静止画領域と動画領域とに区分し、画素補間対象位置がどちらの領域に含まれるかを判定する。そして、画像領域判定回路20は、画素補間対象位置が静止画領域に含まれると判定した場合には、フィールド間補間回路14において得られた補間データを画像合成回路19に供給させるような制御を行う。また、画像領域判定回路20は、画素補間対象位置が動画領域に含まれると判定した場合には、フィールド内補間回路13において得られた補間データを画像合成回路19に供給させるような制御を行う。その他の作用は、図1に示した画像変換装置の場合と同様である。
【0076】
以上のように、本実施の形態では、変換対象となるフィールド画像を静止画領域と動画領域とに明確に区分しているので、静止画領域や動画領域について適切にフィールド画像からプログレッシブ画像への変換を行うことができる。
【0077】
以上、本発明のいくつかの実施の形態について説明したが、本発明は上記の実施の形態に限定されることなく、種々の変形が可能である。
【0078】
例えば、フィールドメモリ10、11、12の記憶内容を順送りに移動させて更新するような構成ではなく、十分なサイズのメモリ内に複数のフィールド画像を記憶させておき、フィールド画像の変換処理が終了する毎にフィールド画像を示すポインタのみを更新するような構成にしてもよい。
【0079】
また、上述した画像変換処理は、図1または図8に示したハードウェア構成により行うのではなく、プログラムを用いたソフトウェア処理により行うようにしてもよい。
【0080】
また、フィールド画像間での補間データ取得処理を次のようにして行うようにしてもよい。例えば、3フィールド前のフィールド画像と1フィールド前のフィールド画像との間の画素値の平均値を現在のフィールド画像の補間データとして取得するような処理が可能である。また、巡回型フィルタを用いて遠い過去のフィールド画像も用いて補間データを取得するような処理を行うようにしてもよい。この場合にはノイズの低減が可能である。さらに、例えば、1フィールド前のフィールド画像と1フィールド後のフィールド画像との間の画素値の平均値を補間データとして取得するような処理を行うようにしてもよい。
【0081】
また、補間データ取得処理のために用いる参照画素の数、補間データ取得処理の候補となる方向などについては、上記実施の形態で示した例、すなわち、上下方向において隣接する2つのライン上で画素補間対象位置の近傍のそれぞれ5つの画素を用い、これらの画素の組で示される5つの方向を補間データ取得処理の候補とすることに限られない。例えば、フィールド画像内での補間データ取得処理において、斜め方向のエッジ部分をより滑らかにするために、各ライン上の参照画素の数を6つ以上に増加させ、これにより補間データ取得処理の候補とする方向を6つ以上としてもよい。また、画素補間対象位置の近傍に位置しない画素(より遠く離れた位置にある画素)をも補間データ取得処理に用いるようにしてもよい。この場合には、よりタップ数の大きいデジタルフィルタによる補間となるため、補間精度が向上する。さらに、補間データ取得処理において、隣接する2つのライン上のそれぞれ1つの画素の画素値を用いて補間データを取得することに限られない。例えば、これら2つのラインの各々において隣接するそれぞれ複数の画素の画素値を用いて補間データを取得するようにしてもよい。
【0082】
また、例えば、フィールド画像が、静止画領域と、被写体が比較的ゆっくり動いているような低速動画領域と、この低速動画領域よりも被写体が速く動いているような高速動画領域とを含むような場合、静止画領域および低速動画領域に対しては上記いずれかの実施の形態の画像変換方法を適用し、高速動画領域に対しては他の画像変換方法を適用することにより、フィールド画像をプログレッシブ画像に変換するようにしてもよい。
【0083】
カラー画像に対して画像変換処理を行う場合、変換対象の画像がR(赤)、G(緑)、B(青)の3つの信号によって構成されていれば、R、G、Bの3つのプレーンの画像に対してそれぞれ上記の画像変換処理を行ってもよい。あるいは、例えばGプレーンの画像に対してのみ上記の画像変換処理を行い、この画像変換処理において得られた各画素の補間方法のみを記憶し、Rプレーンの画像およびBプレーンの画像に対しては、記憶した画素の補間方法を適用してそれぞれ補間を行うようにしてもよい。また、R、G、Bの信号から輝度信号もしくはそれに準ずる信号を一旦生成し、生成した信号に対して上記の画像変換処理を行い、この画像変換処理において得られた画素の補間方法のみを記憶しておく。そして、R、G、Bの3つのプレーンの画像に対して、記憶した画素の補間方法を適用してそれぞれ補間を行うようにしてもよい。
【0084】
さらに、変換対象の画像がY(輝度)、U(色差)、V(色差)の3つの信号によって構成されている場合、Y、U、Vの3つのプレーンの画像に対してそれぞれ上記の画像変換処理を行ってもよい。あるいは、Yプレーンの画像のみに対して上記の画像変換処理を行い、この画像変換処理において得られた各画素の補間方法のみを記憶し、Uプレーンの画像およびVプレーンの画像に対しては、記憶した画素の補間方法を適用して補間を行うようにしてもよい。また、補間のための演算量を削減するため、視覚的感度の低いプレーン(UプレーンおよびVプレーン)の画像に対しては、他の簡単な補間方法を用いてもよい。
【0085】
【発明の効果】
以上説明したように、本発明の画像変換方法または画像変換装置によれば、変換対象のフィールド画像以外の他のフィールド画像に含まれる画素の値を用いることにより、この変換対象のフィールド画像の補間対象ラインにおける画素補間対象位置に関して、第1の補間データを取得し、変換対象のフィールド画像に含まれる画素の値を用いることにより、画素補間対象位置に関して、第2の補間データを取得し、取得した第1の補間データおよび第2の補間データを用いて、変換対象のフィールド画像の画素補間対象位置に画素を補間するようにしたので、画像の種類や性質に応じて適切な補間を行うことができるという効果を奏する。
【0087】
特に、請求項2に記載の画像変換方法によれば、必要に応じて、画素補間対象位置に関して補間をやり直すようにしたので、フィールド画像からプログレッシブ画像への変換の際におけるエラーの発生を低減することができるという効果を奏する。
【図面の簡単な説明】
【図1】本発明の実施の形態に係る画像変換装置の構成を示すブロック図である。
【図2】図1に示した画像変換装置における画像変換処理を示すフローチャートである。
【図3】図1に示した判定回路における静止画らしさの程度の判定について説明するための図である。
【図4】図1に示したフィールド間補間回路におけるフィールド画像間での補間データ取得処理を説明するための図である。
【図5】図1に示したフィールド内補間回路におけるフィールド画像内での補間データ取得処理を説明するための図である。
【図6】図1に示したフィールド内補間回路におけるフィールド画像内での補間データ取得処理を示すフローチャートである。
【図7】図1に示したフィールド内補間回路におけるフィールド画像内での補間データ再取得処理を説明するための図である。
【図8】本発明の第2の実施の形態に係る画像変換装置の構成を示すブロック図である。
【符号の説明】
10,11,12…フィールドメモリ、13…フィールド内補間回路、14…フィールド間補間回路、15…静止画らしさ判定回路、16,17…乗算回路、18…加算回路、19…画像合成回路、20…画像領域判定回路、25,26…画像変換回路、30,31…制御回路。
Claims (5)
- 飛び越し走査ラインからなるフィールド画像を順次走査ラインからなる画像に変換するための画像変換方法であって、
変換対象のフィールド画像以外の他のフィールド画像に含まれる画素の値を用いることにより、前記変換対象のフィールド画像の補間対象ラインにおける画素補間対象位置に関して、第1の補間データを取得する第1のステップと、
前記変換対象のフィールド画像に含まれる画素の値を用いることにより、前記画素補間対象位置に関して、第2の補間データを取得する第2のステップと、
前記第1の補間データおよび前記第2の補間データを用いて、前記変換対象のフィールド画像の前記画素補間対象位置に画素を補間する第3のステップと
を有し、
前記第2のステップは、
前記画素補間対象位置の近傍に位置し前記補間対象ラインの上下の飛び越し走査ラインに含まれる画素のうち、前記画素補間対象位置を中心として点対称の位置にある複数組の画素の差分値の絶対値和を用いることにより、前記画素補間対象位置の近傍の画素の値の変化の大きさを示す第1のエネルギー値を求めるエネルギー値演算ステップと、
前記第1のエネルギー値が第1のしきい値よりも小さい場合には、前記画素補間対象位置の上下に位置する画素の値の平均値を前記第2の補間データとして取得する上下画素値演算ステップと、
前記第1のエネルギー値が前記第1のしきい値以上である場合には、前記画素補間対象位置を中心として前記点対称の位置にある画素の組の相関値をそれぞれ計算し、これらの相関値の中で最も高い相関値を示す方向を補間方向であると決定し、決定したこの方向に沿って前記画素補間対象位置に関する補間データを前記第2の補間データとして取得する相関値演算ステップと
を含む画像変換方法。 - 前記相関値演算ステップにおいて補間された画素の値の、前記画素補間対象位置の上下の画素の値に対する変化の大きさを示す第2のエネルギー値を求めた結果、前記第2のエネルギー値が第2のしきい値以下である場合には、前記相関値演算ステップにおいて補間された画素の値をそのまま採用し、前記第2のエネルギー値が前記第2のしきい値よりも大きい場合には、前記画素補間対象位置に対して上下方向が相関の最も高い方向であるとみなし、前記相関値演算ステップにおいて補間された画素の値を破棄すると共に、前記上下方向に沿った画素の値を用いて第2の補間データを再取得するステップ
をさらに含む請求項1記載の画像変換方法。 - 前記第3のステップは、
前記第1の補間データおよび前記第2の補間データを用いた所定の重み付け演算を行うステップと、
前記変換対象のフィールド画像における前記画素補間対象位置の周囲の画素について、静止画らしさの程度または動画らしさの程度を判定するステップとを含み、
前記第3のステップにおいて前記所定の重み付け演算を、前記静止画らしさの程度または動画らしさの程度に基づいて行うことにより補間すべき画素の値を求める
ようにした請求項1に記載の画像変換方法。 - 飛び越し走査ラインからなるフィールド画像を順次走査ラインからなる画像に変換するための画像変換装置であって、
変換対象のフィールド画像以外の他のフィールド画像に含まれる画素の値を用いることにより、前記変換対象のフィールド画像の補間対象ラインにおける前記画素補間対象位置に関して、第1の補間データを取得する第1のデータ取得手段と、
前記変換対象のフィールド画像に含まれる画素の値を用いることにより、前記画素補間対象位置に関して、第2の補間データを取得する第2のデータ取得手段と、
前記第1の補間データおよび前記第2の補間データを用いて、前記変換対象のフィールド画像の前記画素補間対象位置に画素を補間する補間手段と
を備え、
前記第2のデータ取得手段は、
前記画素補間対象位置の近傍に位置し前記補間対象ラインの上下の飛び越し走査ラインに含まれる画素のうち、前記画素補間対象位置を中心として点対称の位置にある複数組の画素の差分値の絶対値和を用いることにより、前記画素補間対象位置の近傍の画素の値の変化の大きさを示す第1のエネルギー値を求め、
前記第1のエネルギー値が第1のしきい値よりも小さい場合には、前記画素補間対象位置の上下に位置する画素の値の平均値を前記第2の補間データとして取得し、
前記第1のエネルギー値が前記第1のしきい値以上である場合には、前記画素補間対象位置を中心として前記点対称の位置にある画素の組の相関値をそれぞれ計算し、これらの相関値の中で最も高い相関値を示す方向を補間方向であると決定し、決定したこの方向に沿って前記画素補間対象位置に関する補間データを前記第2の補間データとして取得する
ようになされている画像変換装置。 - さらに、
前記変換対象のフィールド画像における前記画素補間対象位置の周囲の画素について、静止画らしさの程度または動画らしさの程度を判定する判定手段
を備え、
前記補間手段は、前記判定手段によって判定された前記静止画らしさの程度または動画らしさの程度に基づいて、前記第1の補間データおよび前記第2の補間データを用いた所定の重み付け演算を行うことにより補間すべき画素の値を求める
ようになされている請求項4に記載の画像変換装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2000171669A JP4366836B2 (ja) | 2000-06-08 | 2000-06-08 | 画像変換方法および画像変換装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2000171669A JP4366836B2 (ja) | 2000-06-08 | 2000-06-08 | 画像変換方法および画像変換装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2001352525A JP2001352525A (ja) | 2001-12-21 |
JP4366836B2 true JP4366836B2 (ja) | 2009-11-18 |
Family
ID=18674189
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2000171669A Expired - Fee Related JP4366836B2 (ja) | 2000-06-08 | 2000-06-08 | 画像変換方法および画像変換装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4366836B2 (ja) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR100601638B1 (ko) | 2003-06-18 | 2006-07-14 | 삼성전자주식회사 | 디-인터레이싱 방법, 그 장치, 그 비디오 디코더 및 그재생 장치 |
JP2007147727A (ja) * | 2005-11-24 | 2007-06-14 | Sony Corp | 画像表示装置、画像表示方法、画像表示方法のプログラム及び画像表示方法のプログラムを記録した記録媒体 |
-
2000
- 2000-06-08 JP JP2000171669A patent/JP4366836B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2001352525A (ja) | 2001-12-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2931520B2 (ja) | 単板式カラービデオカメラの色分離回路 | |
JP3771054B2 (ja) | 画像処理装置及び画像処理方法 | |
JP2008136227A (ja) | ビデオデータ処理方法 | |
US8189105B2 (en) | Systems and methods of motion and edge adaptive processing including motion compensation features | |
JP2007525132A (ja) | 画像の補間および外挿を組み合わせることによる、画像信号の走査レート変換におけるアーチファクトの低減 | |
US20050041116A1 (en) | Image processing apparatus and image processing program | |
US8520099B2 (en) | Imaging apparatus, integrated circuit, and image processing method | |
JPH1155695A (ja) | レジストレーション誤差および色収差を測定する方法および装置 | |
US8041110B2 (en) | Pixel interpolation method | |
EP1394742B1 (en) | Method for filtering the noise of a digital image sequence | |
US8335372B2 (en) | Image enlargement method that uses information acquired in a pixel interpolation process | |
US6961479B1 (en) | Image processing device, image processing method, image-processing program recorded medium | |
CN110418081B (zh) | 高动态范围图像全分辨率重建方法、装置及电子设备 | |
JP2006522977A (ja) | 空間画像変換装置及び方法 | |
US20050078884A1 (en) | Method and apparatus for interpolating a digital image | |
JPH0630308A (ja) | 画像データ処理装置 | |
JP4366836B2 (ja) | 画像変換方法および画像変換装置 | |
CN116485657A (zh) | 基于图像边缘检测的图像超分装置、图像超分方法及*** | |
JPH09200575A (ja) | 画像データ補間装置 | |
JP3899144B2 (ja) | 画像処理装置 | |
KR20090041131A (ko) | 퍼지 룰 기반 에지 복원 알고리즘을 이용하는 디인터레이싱장치 및 방법 | |
JP2003134523A (ja) | 撮像装置及び撮像方法 | |
JP4371907B2 (ja) | 画素特徴判定装置、画素補間装置、及び映像信号処理装置 | |
JPH1042201A (ja) | 画像欠陥補正回路 | |
KR20070048904A (ko) | 잡음에 강한 채널 간 상관관계를 고려한 고해상도 색상보간 방법 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20070118 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20081016 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20081029 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090105 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090206 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090512 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090710 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20090804 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20090817 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120904 Year of fee payment: 3 |
|
LAPS | Cancellation because of no payment of annual fees |