JP3695291B2 - 画像処理装置、画像表示装置、および画像処理方法 - Google Patents
画像処理装置、画像表示装置、および画像処理方法 Download PDFInfo
- Publication number
- JP3695291B2 JP3695291B2 JP2000184816A JP2000184816A JP3695291B2 JP 3695291 B2 JP3695291 B2 JP 3695291B2 JP 2000184816 A JP2000184816 A JP 2000184816A JP 2000184816 A JP2000184816 A JP 2000184816A JP 3695291 B2 JP3695291 B2 JP 3695291B2
- Authority
- JP
- Japan
- Prior art keywords
- interpolation
- conversion
- image
- pixels
- conversion magnification
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Controls And Circuits For Display Device (AREA)
- Image Processing (AREA)
- Picture Signal Circuits (AREA)
- Editing Of Facsimile Originals (AREA)
Description
【発明の属する技術分野】
この発明は、デジタル画像を任意の倍率に拡大あるいは縮小する画像処理装置および画像表示装置,画像処理方法および画像表示方法に係わる。
【0002】
【従来の技術】
図14は、従来の画素数変換方法で画素数を3倍に変換した場合を示す図である。図において横軸は、画像の水平位置または垂直位置を示し、縦軸は、画像データのレベル(明るさ)を示す。水平方向と垂直方向の画素数の変換は、動作が同じであるので、水平方向の画素数変換の動作のみ説明する。
【0003】
図14のように入力画像データが平坦部(h)と輪郭部(j、k)で構成されている場合、平坦部(h)もレベル変化部(j、k)も一律に3倍に変換されるため、輪郭部は、j1、k1のように滑らかな輪郭に変換される。
【0004】
図15および図16は、従来の画素数変換方法の詳細な動作を説明する図である。図においてp(n)、p(n+1)は入力画像データの隣接した2画素、q(m)は出力画像データの1画素、F(x)は画素数変換に用いるフィルタのレスポンス特性の一例である。
【0005】
p(n)とp(n+1)の距離を1とし、出力画像q(m)がp(n)から距離rの位置の場合、出力画像q(m)は以下の式により求められる。
q(m)=F(r)×p(n)+F(1−r)×p(n+1)
【0006】
図16に示したように出力画像データの画素ごと(q1からq7)に上記演算を実施することで画素数を変換することができる。
【0007】
上記実施の説明では、フィルタのレスポンス特性として図15に示した線形フィルタを用いた場合を示したが、図17のようなレスポンス特性のフィルタを用いて、輪郭部(j1、k1)の鮮鋭度を改善する場合もある。
【0008】
また、図18に示すように複数のレスポンス特性のフィルタを用意し、画像に応じて切り替える方式が、特開平9−266531号公報に開示されている。
【0009】
【発明が解決しようとする課題】
従来の画像処理方法は、以上のように構成されているので、画像を拡大する場合に輪郭部分の鮮鋭度の低下や鮮鋭度を改善するために新たにアンダーシュート(プリシュート)やオーバーシュートが発生し、また、画像を縮小する場合に輪郭部の画素が欠けるなどのいわゆる輪郭部の画質劣化が発生するといった問題点がある。
【0010】
また、画像に応じてフィルタを切り替えることで、フィルタの切り替わり部分で画像の連続性が損なわれるといった問題点もある。
【0011】
この発明は、以上のような問題点を解決するためになされたもので、輪郭部の画質劣化を抑えて画像処理を行うこと、より詳しくは任意の倍率に変倍することを目的とする。
【0012】
【課題を解決するための手段】
本発明に係る画像処理装置は、入力画像を表す画像データに補間演算処理を行うことにより、上記入力画像の画素数を変換する画像処理装置であって、
上記入力画像を構成する画素データの水平および/または垂直方向における一次微分および二次微分を検出する高域成分検出手段と、
上記入力画像を補間する補間画素の各々について求められる変換倍率であって、当該補間画素の密度を局所的に変化させる上記変換倍率の値を、上記一次微分および上記二次微分の積を用いて算出する変換倍率制御手段と、
上記変換倍率に基づいて上記補間画素の各々の補間位置を求め、当該補間位置における補間演算により上記補間画素の画素データを算出する画素数変換手段とを備えたものである。
【0013】
また、本発明に係る画像処理装置は、入力画像の輪郭を補正して出力する画像処理装置であって、
上記入力画像の輪郭部を構成する画素データの水平および/または垂直方向における一次微分および二次微分を検出する高域成分検出手段と、
上記特徴量に基づいて、上記入力画像の輪郭部を補正する補間画素の各々について求められる変換倍率であって、当該補間画素の密度を局所的に変化させる上記変換倍率の値を、上記一次微分および上記二次微分の積を用いて算出する変換倍率制御手段と、
上記変換倍率に基づいて上記補間画素の各々の補間位置を求め、当該補間位置における補間演算により上記補間画素の画素データを算出する補間演算手段とを備えたものである。
【0014】
本発明に係る画像処理方法は、入力画像を表す画像データに補間演算処理を行うことにより、上記入力画像の画素数を変換する画像処理方法であって、
上記入力画像を構成する画素データの水平および/または垂直方向における一次微分および二次微分を検出する工程と、
上記入力画像を補間する補間画素の各々について求められる変換倍率であって、当該補間画素の密度を局所的に変化させる上記変換倍率の値を、上記一次微分および上記二次微分の積を用いて算出する工程と、
上記変換倍率に基づいて上記補間画素の各々の補間位置を求め、当該補間位置における補間演算により上記補間画素の画素データを算出する工程とを備えたものである。
【0015】
また、本発明に係る画像処理方法は、入力画像の輪郭を補正して出力する画像処理方法であって、
上記入力画像の輪郭部を構成する画素データの水平および/または垂直方向における一次微分および二次微分を検出する工程と、
上記入力画像の輪郭部を補正する補間画素の各々について求められる変換倍率であって、当該補間画素の密度を局所的に変化させる上記変換倍率の値を、上記一次微分および上記二次微分の積を用いて算出する工程と、
上記変換倍率に基づいて上記補間画素の各々の補間位置を求め、当該補間位置における補間演算により上記補間画素の画素データを算出する工程とを備えたものである。
【0016】
【発明の実施の形態】
実施の形態1.
図1は、この発明の実施の形態1における画像処理方法を説明するための説明図である。
図において横軸は、画像の水平位置あるいは垂直位置、縦軸は、画像データのレベル(明るさ)を示している。また、図中上段は、入力画像データ、下段は、前記入力画像データを拡大した場合を示している。
【0017】
次に動作について説明する。
画素数の変換において、垂直画素数の変換と水平画素数の変換は、同様の動作によって実現されるので、ここでは、水平画素数の変換の動作について説明する。
【0018】
入力画像データから画像のレベルの変化を検出し、平坦部(期間a)とレベル変化部に相当する輪郭部(期間bおよびc)を判別する(以降、簡単のためレベル変化部を輪郭部として説明する)。
【0019】
さらに輪郭部は、画像のレベルが変化する前部(期間b)と後部(期間c)に判別する(この場合、入力画像データが元画像データであり、この元画像データ間のレベル変化より、元画像データにおける輪郭部を検出する(レベル変化検出工程)。ここで検出された輪郭部は複数の領域に分けられる)。
【0020】
判別された画像の平坦部aは、一定の変換倍率nで画素数を変換する。ここで、一定の変換倍率nとは、画像のフォーマット変換や画像を任意の倍率で拡大あるいは縮小するために必要な任意の倍率である。画像のフォーマット変換の一例として、パーソナルコンピュータ(PC)の出力フォーマットの1つである640画素×480ラインの画像を1024画素×768ラインの画像に変換する場合、変換倍率nは、1.6倍である。
【0021】
一方、画像の輪郭部(b、c)では、画像の変化量に応じて変換倍率を制御する。すなわち、複数の領域に分けられた輪郭部では、それぞれの領域に対応する新たな画像データを生成する際の生成条件(ここでいう生成条件とは、例えば、変換倍率である)が異なる。より具体的には、輪郭の前部bは、平坦部aより高い倍率で変換し、後部cは、平坦部aより低い倍率で画素数を変換する(レベル変化検出工程により得られる検出結果に基づいて輪郭部に対応する元画像データからレベル変化(輪郭)部に対応する新たな画像データを生成する際の生成条件を生成する生成条件工程、生成条件に基づいてレベル変化(輪郭)部に対応する元画像データからレベル変化(輪郭)部に対応する新たな画像データを生成する画像データ生成工程を含む)。
【0022】
図2は、入力画像データを縮小する場合を示した図である。画像の平坦部aは、一定の変換倍率で縮小し、輪郭の前部bは、平坦部aより高い倍率で変換し、輪郭の後部cは、平坦部aより低い倍率で変換する(輪郭部が複数の領域に分けられ、それぞれの領域に対応する生成条件を異ならせている(あるいは生成条件が異なっている)。この場合、複数の領域の内の、少なくとも隣接する2つの領域に関して異なっていることが必要である。
【0023】
上記動作を画像の水平方向と垂直方向に実施することで、画素数を変換することができる。
【0024】
なお、水平方向の画素数変換と垂直方向の画素数変換は、順次実施することも同時に実施することもできる。
【0025】
また、水平方向の変換倍率と垂直方向の変換倍率は、異なる倍率でも良い。
【0026】
なお、以上に説明した動作は、表示画面上の水平方向について説明しているが、垂直方向に同様の動作を施せば、垂直方向の画像処理を実現できる。
【0027】
また、表示画面上の水平方向(垂直方向)について輪郭部を検出した場合には、水平方向(輪郭部の検出が垂直方向の場合には垂直方向)における新たな画像データの生成条件を出力するが、輪郭検出を行う場合に水平方向(垂直方向)に対応する互いに隣接する元画像データ間のレベル変化を検出すると、処理が単純化され、装置を簡略化することができる。
【0028】
以下、さらに図面を参照しながら、より詳細な形態について説明する。
図3は、この発明の実施の形態1における画像表示装置を表す図である。図において、1は画像信号の入力端子、2は同期信号の入力端子、3はA/D変換手段、4は画像調整手段、5は入力された元画像データを記憶するメモリ手段、6は画素数変換器、7は画像調整手段、8はD/A変換手段、9は表示手段、10は制御手段である。
【0029】
画像信号と同期信号が入力端子1、2に入力される。制御手段10は、入力端子2に入力された同期信号を基準に所定の周波数のサンプリングクロックと画像調整手段4以降を制御するクロックやタイミング信号を発生する。A/D変換手段3は、入力端子1に入力された画像信号を制御手段10が出力したサンプリングクロックでサンプリングし、デジタルの画像データに変換する。A/D変換手段3で変換された画像データは、画像調整手段4に入力され、所望の画像調整が施される。
【0030】
ここで、所望の画像調整とは、例えばメモリ手段5以降を3原色のデータとして処理する場合に、入力画像信号として輝度信号と色信号が入力される場合やコンポジット信号が入力される場合は、輝度信号と色信号から3原色のデータへの変換やコンポジット信号から3原色のデータへの変換、あるいは、その逆に3原色の信号が入力され,メモリ手段5以降を輝度信号と色信号で処理する場合は、3原色のデータから処理に適した形式のデータへの変換などが考えられる。さらに、明るさやコントラストの調整など、画素数変換とは独立した任意の画像調整が施されても良い。
【0031】
画像調整手段4で処理された画像データは、メモリ手段5に一時的に記憶される(記憶工程)。ここで、メモリ手段5は、以降の画素数変換に必要な画素を記憶できるだけ(少なくとも2ライン以上)の容量を持つ。
【0032】
次に、制御手段10の制御によって、メモリ手段5から所定のタイミングで画像データが読み出されるが、必ずしもサンプリングクロックと同一のタイミングでなくても良く、表示手段9を制御するのに必要な任意の周波数で読み出すことができる。
【0033】
メモリ手段5から読み出された画像データPiは、画素数変換器6に入力され、前述したように、画像の輪郭部において、画像のレベルの変化量に応じて変換倍率が制御されながら画素数の変換が行われ、変換後の画像データPoが出力される。
【0034】
画素数変換器6が出力した画像データは、画像調整手段7に入力され、所望の画像調整が施される。ここで、所望の画像調整とは、明るさ、コントラスト、彩度の調整や階調制御などの画素数変換に独立した各種処理および補正や、表示手段9に入力するための信号形式の変換などが含まれる。
【0035】
画像調整手段7で処理された画像データは、D/A変換手段8に入力され、アナログの画像信号に変換される。D/A変換手段8で変換された画像信号は、表示手段9に入力され、制御手段10の制御により所定のタイミングで表示される。
【0036】
なお、図3では、D/A変換手段8でアナログの画像信号に変換して、表示手段9に入力する構成について示したが、表示手段9がデジタルの画像データを直接入力して表示できる場合は、D/A変換手段8を省略することができる(この表示手段9における動作が表示工程に対応する)。
【0037】
次に、画素数変換器6のより詳細な動作について説明する。
ここで画素数変換器6は水平、垂直のそれぞれの方向に独立に画素数変換を行うように構成して良いが、ここでは垂直方向および水平方向の両方向に対して画素数変換を行う場合について説明する。
【0038】
図4は、この発明の実施の形態1における画素数変換器6の詳細な構成を示す図である。
図において、11は、垂直画素数変換手段、12は、垂直高域成分検出手段、13は、垂直変換倍率制御手段、14は、水平画素数変換手段、15は、水平高域成分検出手段、16は、水平変換倍率制御手段である。
【0039】
垂直高域成分検出手段12は、画像データPiの垂直方向の高域成分(レベルの変化量)として、垂直方向の1次微分結果vd1と2次微分結果vd2を出力する。ここで、画像データPiは、図3に示したメモリ手段5から読み出された画像データで、垂直画素数変換手段11および垂直高域成分検出手段12が必要とする複数の画素で構成される。
【0040】
垂直変換倍率制御手段13は、垂直高域成分検出手段12が出力する垂直方向の高域成分vd1、vd2から垂直方向の変換倍率vc1を求め、垂直画素数変換手段11に出力する。垂直画素数変換手段11は、垂直方向の変換倍率vc1に基づいて入力画像の垂直方向の画素数を変換し、変換結果Pvを出力する。
【0041】
次に、水平高域成分検出手段15は、垂直画素数変換手段11が出力した画像データPvの水平方向の高域成分(レベルの変化量)として、水平方向の1次微分結果hd1と水平方向の2次微分結果hd2を出力する。水平変換倍率制御手段16は、水平高域成分検出手段15が出力する水平方向の高域成分hd1、hd2から水平方向の変換倍率hc1を求め、水平画素数変換手段14に出力する。水平画素数変換手段14は、水平方向の変換倍率hc1に基づいて入力画像の水平方向の画素数を変換し、変換結果Poを出力する。
【0042】
上述の説明においては、垂直および水平の両方向に画素数変換を施す構成例について述べたが、以下では画素数変換の動作について述べる。なお、理解し易くするために水平方向の画素数変換の動作について説明する。
【0043】
図4に示す構成において、垂直高域成分検出手段12、水平高域検出手段15は輪郭検出手段として機能し、垂直変換倍率制御手段13、水平変換倍率制御手段16は生成条件生成手段として機能し、垂直画素数変換手段11、水平画素数変換手段14は画像データ生成手段として機能する(もちろん、垂直、水平のいずれか一方のデータ処理のための構成、例えば垂直方向に対する新たな画像データ生成においては、垂直高域成分検出手段12、垂直変換倍率制御手段13、垂直画素数変換手段11のみによって画像処理系が構成されていても良く、水平方向に関しても同様である)。
【0044】
なお、図3、4に示した構成を参照して説明したが、メモリ手段5からの出力Piに対して、垂直高域成分検出手段12の直前に雑音除去のための低域濾波器(ローパスフィルタ:LPF)を設けても良い。この場合、垂直画素数変換手段11には出力Piをそのまま入力し、垂直高域成分検出手段12にはこの直前に設けられるLPFの出力を入力する。このようにすると、出力Pi上に存在する雑音を輪郭部として処理することがなくなり、輪郭部のみ的確に処理することが可能となる(この場合には、垂直高域成分検出手段12およびLPFにより輪郭検出手段が構成される)。
【0045】
もちろん、このようなLPFは水平高域成分検出手段15の直前に配置することもでき、垂直方向のデータ処理と同様の効果を水平方向に対して得ることができる(この場合には、水平高域成分検出手段15およびLPFにより輪郭検出手段が構成される)。もちろん垂直方向、水平方向のいずれか一方向、あるいは両方向に対してこれらの構成を採用することが可能である。
【0046】
なお、以上の説明においては、垂直方向には垂直高域成分検出手段12あるいはその前段にLPFを設けるものについて述べたが、垂直変換倍率制御手段13の前段がバンドパスフィルタ(BPF)であっても同様の効果を期待できる(これは言うまでもなく、水平方向に対しても同様の構成を採用すれば同様の効果を得ることができる)。この場合には、垂直高域成分検出手段12およびLPF(あるいは水平高域成分検出手段15およびLPF)により輪郭検出手段が構成される。
【0047】
また、垂直高域成分検出手段12(あるいは水平高域成分検出手段15)、あるいは垂直高域成分検出手段12およびLPF(あるいは水平高域成分検出手段15およびLPF)により輪郭検出手段を構成したが、垂直高域成分検出手段12(あるいは水平高域成分検出手段15)の後段あるいは垂直変換倍率制御手段13(あるいは水平変換倍率制御手段16)の前段に不感帯を設けるためのコアリング手段を設けることもでき、これによっても上述したものと同様の効果を得ることができる。
【0048】
図5は、水平画素数の変換の動作を詳細に説明する図である。
図5のhd1およびhd2は、画像データPvに対応する水平方向の1次微分結果と2次微分結果を示す。水平変換倍率hc1は、
hc1=n+k×hd1×hd2
で示されるように、任意の変換倍率nに1次微分結果hd1と2次微分結果hd2を掛け合わせたものに任意の数kを乗じた結果を加算したものである。この結果、期間aは、任意の変換倍率n、期間bでは、nより高い倍率、期間cでは、nより低い倍率で画素数が変換されることになる。ただし、以下の式で示されるように1ラインにおける水平変換倍率hc1の平均値は、nであるので、画像の変換倍率は局部的に上下するが、画像全体の変換倍率はnとなる。
AVE(hc1)=n
ただし、AVE(x)は変倍率xの1ラインの平均値を示す。
【0049】
なお、以上の説明においては、水平変換倍率hc1を任意の倍率nに1次微分結果hd1と2次微分結果hd2の掛け合わせたものに任意の数kを乗じた結果を加算する場合について示したが、任意の数kを乗じた結果に最大値と最小値の制限を設けたり、任意の数kを乗ずる代わりに非線形の変換を行うことで、任意の特性を有する輪郭部分において変換倍率を自由に制御することができるようになる。
【0050】
なお、垂直方向においても、上述の水平方向の画素数変換と同様の動作であり、この垂直の場合においても垂直方向の画素数の平均値はnとなる(垂直方向の変換倍率がnの場合。もちろん水平方向、垂直方向の変換倍率はそれぞれ独立に設定することができる)。
【0051】
図6は、図5の輪郭部分における画素数変換の動作をより詳細に説明するための説明図である。
【0052】
画像データPvの画素の一部(p1、p2、p3)は、上記動作によって、q11〜q17のように変換される。期間bでは、期間aより画素の密度が高くなり、期間cでは、期間aより画素の密度が低くなる。この結果(q11〜q17)が表示手段9では、s11〜s17に示したように等しい間隔で表示されるので、画素密度が高い部分は、nより高い倍率で拡大され、画素密度の低い部分では、nより低い倍率で拡大されることになる。
【0053】
更に述べると、q11とq12の距離は,p1とp2の距離(処理前の画素の間隔)を1とした場合,q12における変換倍率の逆数で示される。また、q11からq13の距離は,q11からq12の距離にq13における変換倍率の逆数を加算すればよい。このように、水平変換倍率制御手段16が出力する変換倍率hc1の逆数を水平方向に累積加算することで,各画素の位置が求められる。
【0054】
より具体的には,この累積加算結果から,処理に必要な画素(例えば,p1、p2、p1などの画素が記憶されたメモリ手段のアドレス)やフィルタ係数(フィルタ係数の番号やフィルタ係数そのものを指し示す)を求めることができる。
【0055】
上記動作によって、画像データPvの画素の一部(p1、p2、p3)は、q11〜q17のように変換される。期間bでは、期間aより画素の密度が高くなり、期間cでは、期間aより画素の密度が低くなる。より具体的には,この結果(q11〜q17)が表示手段9では、s11〜s17に示したように等しい間隔で表示されるので、画素密度が高い部分は、nより高い倍率で拡大され、画素密度の低い部分では、nより低い倍率で拡大されることになる。
【0056】
なお、上記動作の説明では、画像を拡大する場合について説明したが、画像を縮小する場合も同様で、期間bでnより高い倍率で縮小され、期間cでは、nより低い倍率で縮小される。
【0057】
したがって、任意の変換倍率nが1より大きい場合は、輪郭部の鮮鋭度を損なうことなく画像が拡大され、1より小さい場合は、輪郭部の画像の欠けが減るように画像が縮小される。すなわち、拡大、縮小の両方において入力画像の輪郭情報を保存する効果がある。
【0058】
また、任意の数kを大きく取ることで、入力画像の輪郭の鮮鋭度を高くすることができ、任意の数kによって輪郭部の鮮鋭度を制御することができる。
【0059】
また、任意の変換倍率nが1の時は、画像全体の拡大・縮小は行われず、輪郭部の鮮鋭度のみが制御される。
【0060】
また、任意の変換倍率nと任意の数kを垂直方向と水平方向で独立に設定することで、水平方向の変換倍率と水平方向の輪郭の鮮鋭度、および垂直方向の変換倍率と垂直方向の輪郭の鮮鋭度を独立に制御することができる。
【0061】
例えば、垂直方向の変換倍率nを2に設定し、水平方向の変換倍率nを1に設定することで、インタレース画像からノンインタレース画像に変換(走査線補間)することができ、水平方向と垂直方向の輪郭を独立に所望の鮮鋭度に制御できる。
【0062】
なお、上記動作の説明では、画素数変換の動作として垂直方向の画素数変換と水平方向の画素数変換の動作を順次実施する場合について説明したが、水平方向の画素数を変換した後に垂直方向の画素数を変換しても同様の効果を得ることができる。
【0063】
また、垂直方向の画素数変換と水平方向の画素数変換を同時に実施しても同様の効果を得ることができる。
【0064】
また、上記動作の説明では、画素数の変換に用いるフィルタとして線形フィルタの場合について説明したが、非線形などの任意の形のフィルタを用いることができる。
【0065】
図7は、画素数変換器6で垂直方向と水平方向の画素数変換を同時に行う場合の構成を示す図である。図において17は、画素数変換手段、18は、高域成分検出手段、19は、変換倍率制御手段である。高域成分検出手段18は、画像データPiの垂直および水平方向の変化量として1次微分結果d1と2次微分結果d2を出力する。変換倍率制御手段19は、1次微分結果d1と2次微分結果d2に基づいて変換倍率c1を決定し、画素数変換手段17に出力する。画素数変換手段17は、変換倍率c1に基づいて垂直方向と水平方向の画素数を同時に二次元的に変換する。
【0066】
なお、高域成分検出結果d1、d2と変換倍率c1の関係は、図5のhd1、hd2およびhc1の関係と同様であるので、詳細な説明は省略する。
【0067】
実施の形態2.
実施の形態1においては、画像の高域成分(レベルの変化量)として1次微分結果と2次微分結果を用いて、変換倍率を制御する構成について説明したが、隣接する画素の1次微分結果のみを用いて変換倍率を制御することにより、構成を簡略化することができる。
【0068】
以下、画素数変換器6のより詳細な動作について説明する。
ここで画素数変換器6は水平、垂直のそれぞれの方向に独立に画素数変換を行うように構成して良いが、ここでは垂直方向および水平方向の両方向に対して画素数変換を行う場合について説明する。
【0069】
図8は、実施の形態2における画素数変換器6を示す図である。
図において20は、垂直高域成分検出手段、21は、垂直変換倍率制御手段、22は、水平高域成分検出手段、23は、水平変換倍率制御手段である。
【0070】
垂直高域成分検出手段20は、画像データPiの垂直方向の高域成分(レベルの変化量)として、垂直方向に隣接する画素の1次微分結果vd1を出力する。垂直変換倍率制御手段21は、垂直高域成分検出手段20が出力する垂直方向の1次微分結果vd1から垂直方向の変換倍率vc2を求め、垂直画素数変換手段11に出力する。垂直画素数変換手段11は、垂直方向の変換倍率vc2に基づいて入力画像の垂直方向の画素数を変換し、変換結果Pvを出力する。
【0071】
次に水平高域成分検出手段22は、垂直画素数変換手段11が出力した画像データPvの水平方向の高域成分(レベルの変化量)として、水平方向に隣接した画素の1次微分結果hd1を出力する。水平変換倍率制御手段23は、水平高域成分検出手段22が出力する水平方向の一次微分結果hd1から水平方向の変換倍率hc2を求め、水平画素数変換手段14に出力する。水平画素数変換手段14は、水平方向の変換倍率hc2に基づいて入力画像の水平方向の画素数を変換し、変換結果Poを出力する。
【0072】
上述の説明においては、垂直および水平の両方向に画素数変換を施す構成例について述べたが、以下では画素数変換の動作について述べる。なお、理解し易くするために水平方向の画素数変換の動作について説明する。
【0073】
図9は、水平画素数の変換の動作を詳細に説明する図である。
図9のhd1は、画像データPvに対応する水平方向の1次微分結果である。水平変換倍率hc2は、任意の変換倍率nに1次微分結果hd1の前半を正、後半を負に変換した結果に任意の数kを乗じたものを加算する。1次微分結果hd1の具体的な極性変換の方法は、後述する。なお、任意の変換倍率nと任意の数kは、実施の形態1と同様である(輪郭検出工程。ここで検出された輪郭部は複数の領域に分けられる)。
【0074】
この結果、hc2の期間aは、任意の変換倍率n、期間bでは、nより高い倍率、期間cでは、nより低い倍率で画素数が変換されることになる。すなわち、複数の領域に分けられた輪郭部それぞれの領域に対応する新たな画像データを生成する際の生成条件(例えば、ここでいう生成条件とは変換倍率である)が異なる。
【0075】
ここでは、輪郭検出工程により得られる検出結果に基づいて輪郭部に対応する元画像データ(入力画像データ)から輪郭部に対応する新たな画像データを生成する際の生成条件を生成する生成条件工程、生成条件に基づいて輪郭部に対応する元画像データから輪郭部に対応する新たな画像データを生成する画像データ生成工程を含む。
【0076】
なお、以上に説明した動作は、表示画面上の水平方向について説明しているが、垂直方向に同様の動作を施せば、垂直方向の画像処理を実現できる。
【0077】
図10は、図9の輪郭部分における画素数変換の動作をより詳細に説明する図である。
図10を用いて前述したhd1の極性変換の具体例を説明する。
【0078】
1次微分結果hd1は、入力画像データp4、p5の微分結果であり、hd1の極性の変換は、p4、p5の中央付近を境に前半が正、後半が負になるように変換すればよい。より具体的には、hc2は以下の式で示すことができる。
0≦r<0.5のとき
hc2=n+k×abs(hd1)
0.5≦r<1.0のとき
hc2=n−k×abs(hd1)
ここで、abs(x)は、xの絶対値を表し、rは、p4とp5の距離を1とした場合の、変換倍率nにおける出力画像の画素の位置を示す。ただし、以下の式で示されるように1ラインにおける水平変換倍率hc2の平均値は、nであるので、画像の変倍率は局部的に上下するが、画像全体の変換倍率はnとなる。
AVE(hc2)=n
【0079】
上記式では、p4、p5の中央付近を境に1次微分結果hd1の極性を変換する場合について示したが、これに限るものではなく、任意の境界を設定して、境界の前後で個別の係数を乗じて画面全体の変換倍率がnになるようにしても良い。hd1の極性を変換する境界をi(ただし、0<i<1)とすると、以下の式で示すことができる。
0≦r<iのとき
hc2=n+(1−i)×k×abs(hd1)
i≦r<1.0のとき
hc2=n−i×k×abs(hd1)
【0080】
なお、垂直方向についても、上述の水平方向の画素数変換と同様の動作であり、この垂直の場合においても垂直方向の画素数の平均値はnとなる(垂直方向の変換倍率がnの場合。もちろん水平方向、垂直方向の変換倍率はそれぞれ独立に設定することができる)。
【0081】
図10におけるq20とq21の距離は,p4とp5の距離(処理前の画素の間隔)を1とした場合,q21における変換倍率hc2の逆数で示される。また、q20からq22の距離は,q20からq21の距離にq22における変換倍率hc2の逆数を加算すればよい。このように、水平変換倍率制御手段23が出力する変換倍率hc2の逆数を水平方向に累積加算することで,各画素の位置が求められる。より具体的には,この累積加算結果から,処理に必要な画素(例えば,p4、p5などの画素が記憶されたメモリ手段のアドレス)やフィルタ係数(フィルタ係数の番号やフィルタ係数そのものを指し示す)を求めることができる。
【0082】
上記動作によって、入力画像データの画素の一部(p4、p5)は、q20〜q25のように変換される。期間bでは、期間aより画素の密度が高く、期間cでは、期間aより画素の密度が低くなる。この結果(q20〜q25)が表示手段9では、s20〜s25に示したように等しい間隔で表示されるので、画素密度が高い部分は、nより高い倍率で拡大され、画素密度の低い部分では、nより低い倍率で拡大されることになる。
【0083】
なお、図10および上記動作の説明では,1次微分で参照する画素が2画素(p4、p5)の場合について説明したが、これに限るものではなく,1次微分で参照する画素は、任意の数でよく、このとき,上記式で示したrおよびiは、参照する画素の両端の距離を1として考えればよい。
【0084】
その他の動作については、実施の形態1と同様であるので、説明を省略する。
【0085】
図11は、垂直方向と水平方向の画素数変換を同時に行う場合の構成を示す図である。図において24は、高域成分検出手段、25は、変換倍率制御手段である。高域成分検出手段24は、画像データPiの垂直および水平方向の変化量として1次微分結果d1を出力する。変換倍率制御手段25は、1次微分結果d1に基づいて変換倍率c2を決定し、画素数変換手段17に出力する。画素数変換手段17は、変換倍率c2に基づいて垂直方向と水平方向の画素数を同時に変換する(二次元的に変換する)。
【0086】
なお、高域成分検出結果d1と変換倍率c2の関係は、図9および図10のhd1、hc2と同様であるので、詳細な説明は省略する。
【0087】
実施の形態3.
なお、上記実施の形態1および2においては、入力される画像信号がアナログ信号の場合について示したが、これに限るものではなく、デジタルの画像データが入力されても良い。
【0088】
図12は、この発明の実施の形態3における画像表示装置を示す図である。
図において、26は、デジタル画像データの入力端子、27は、デジタルデータを直接入力することができる表示手段、28は、制御手段である。
【0089】
次に動作について説明する。
デジタルの画像データが入力端子26に入力され、入力端子26に入力された画像データは、画像調整手段4に入力される。また、同期信号が入力端子2に入力され、入力端子2に入力された同期信号は、制御手段28に入力される。
【0090】
画像調整手段4、メモリ手段5、画素数変換器6、画像調整手段7は、制御手段28の制御により、実施の形態1および実施の形態2と同様の動作により、画素数の変換とその他の画像処理を行う。画像調整手段7が出力した画像データは、表示手段27に直接入力され、制御手段28の制御により所定のタイミングで表示される。その他の詳細な動作の説明は、実施の形態1および実施の形態2と同様であるので、説明は省略する。
【0091】
なお、上記実施の形態3における動作の説明では、デジタル画像データを直接入力できる表示手段27を用いて説明したが、表示手段27の代わりに実施の形態1に示したD/A変換手段8および表示手段9を用いて構成することもできる。
【0092】
実施の形態4.
なお、上記実施の形態1から3では、ハードウェアによって画素数を変換する構成について説明したが、ソフトウェアによって画素数の変換を行うこともできる。図13は、ソフトウェア処理(もちろん、ソフトウェア、ハードウェアが混在していても良い)による画素数変換の動作(画像処理方法・画像表示方法)を説明するフローチャートである。
【0093】
次に動作について説明する。
ここで、画素数変換は、水平、垂直のそれぞれの方向に独立に画素数変換を行うように構成して良いが、ここでは垂直方向および水平方向の両方向に対して画素数変換を行う場合について説明する。
【0094】
(図中Aのフローによる垂直方向のデータ生成動作の開始)データ抽出部において、画素数を変換する画像データ(図4のPiに相当)から着目画素に対する垂直高域成分の算出とフィルタ演算に必要な複数の画素データを抽出する。
【0095】
垂直高域成分算出部において、データ抽出部で抽出された複数の画素データから垂直方向の1次微分結果(図4のvd1に相当)と垂直方向の2次微分結果(図4のvd2に相当)を算出する(ここまでがレベル変化検出工程に相当する)。
【0096】
垂直変換倍率算出部では、垂直高域成分算出部で算出された1次微分結果と2次微分結果および画像全体の変換倍率(図5のnに相当)から着目画素に対する垂直方向の変換倍率(図4のvc2に相当)を算出する(生成条件生成工程)。
【0097】
フィルタ演算部では、垂直変換倍率演算部で算出された変換倍率とデータ抽出部で抽出された複数の画素データからフィルタ演算を実施し、演算結果を保存する(画像データ生成工程)。
【0098】
上記動作を着目画素が画像の端に達するまで繰り返す。ここで、画像の端とは、画像の左側から演算する場合は、画像の右端を示す。
【0099】
着目画素が画像の端に達した場合は、着目画素を次のラインに移動し上記演算を実施する。この動作を全画素に実施することで、垂直方向の画素数の変換が完了する(図中Aのフローによる動作の終了)。
【0100】
(図中Bのフローによる水平方向のデータ生成動作の開始)次のデータ抽出部では、垂直方向の画素数が変換された画像データ(図4のPvに相当)から、着目画素に対する水平高域成分の算出とフィルタ演算に必要な複数の画素データを抽出する。水平高域成分算出部において、データ抽出部で抽出された複数の画素データから水平方向の1次微分結果(図4のhd1に相当)と水平方向の2次微分結果(図4のhd2に相当)を算出する。水平変換倍率算出部では、水平高域成分算出部で算出された1次微分結果と2次微分結果および画像全体の変換倍率(図5のnに相当)から着目画素に対する水平方向の変換倍率(図4のhc2に相当)を算出する。フィルタ演算部では、水平変換倍率演算部で算出された変換倍率(新たな画像データを生成する際の生成条件)とデータ抽出部で抽出された複数の画素データからフィルタ演算を実施し、演算結果を保存する。
【0101】
次に上記動作を着目画素が画像の端に達するまで繰り返す。
【0102】
着目画素が画像の端に達した場合は、着目画素を次のラインに移動し上記演算を実施する。この動作を全着目画素に実施することで、画素数の変換が完了する(図中Bのフローによる動作の終了)。
【0103】
なお、上記動作の説明では、垂直方向の画素数を変換した後に水平方向の画素数を変換する場合について示したが、水平方向の画素数を変換した後に垂直方向の画素数を変換しても良い(すなわち、図中Bのフローによる動作を先に実施した後、図中Aのフローによる動作が行われても良い)。また、先に述べたように、図中Aのフローによる動作と、図中Bのフローによる動作のいずれか一方の動作が実施されても良い。
【0104】
また、上記動作の説明では、垂直および水平の画素数を変換する際に着目画素を画像の左から右、上から下の順番で演算する場合について示したが、この限りではなく、任意の方向から演算しても同様の結果を得ることができる。
【0105】
なお、先に述べた変倍率に対応する1ラインの平均値n(垂直、水平のいずれかの方向の変換倍率がnのとき。もちろん、垂直、水平各方向の変換倍率はそれぞれ独立に設定することができる)は、垂直、水平の両方向(両方向に変換倍率がnであるとき)あるいはいずれか一方の方向において成立するように構成する。
【0106】
【発明の効果】
本発明に係る画像処理装置および画像処理方法によれば、画素データの変化を表す特徴量に基づいて各補間画素の変換倍率を指定し、指定された変換倍率に基づいて補間画素の画素データを算出するので画像の輪郭部における鮮鋭度を損なうことなく画像の拡大処理を行うことができる。
また、入力画像の輪郭部を構成する画素データの変化を表す特徴量に基づいて入力画像の輪郭部を補正する補間画素の変換倍率を当該補間画素の各々について指定し、指定された変換倍率に基づいて補間画素の画素データを算出するので、画像の輪郭部の鮮鋭度を向上させ、より鮮明な画像を得ることができる。
【図面の簡単な説明】
【図1】 実施の形態1における画像処理動作を示す図である。
【図2】 実施の形態1における画像処理動作を示す図である。
【図3】 実施の形態1における画像表示装置の構成を示す図である。
【図4】 実施の形態1における画像処理装置の構成を示す図である。
【図5】 実施の形態1における画像処理動作を示す図である。
【図6】 実施の形態1における画像処理動作を示す図である。
【図7】 実施の形態1における画像処理装置の別の構成を示す図である。
【図8】 実施の形態2における画像処理装置の構成を示す図である。
【図9】 実施の形態2における画像処理動作を示す図である。
【図10】 実施の形態2における画像処理動作を示す図である。
【図11】 実施の形態2における画像処理装置の別の構成を示す図である。
【図12】 実施の形態3における画像表示装置の構成を示す図である。
【図13】 実施の形態4における画像処理動作のフローチャートである。
【図14】 従来の画像処理動作を示す図である。
【図15】 従来の画像処理動作を示す図である。
【図16】 従来の画像処理動作を示す図である。
【図17】 従来の画像処理手段のレスポンス特性の一例を示す図である。
【図18】 従来の画像処理手段のレスポンス特性の一例を示す図である。
【符号の説明】
1 入力端子、2 入力端子、3 A/D変換手段、4 画像調整手段、5 メモリ手段、6 画素数変換器、7 画像調整手段、8 D/A変換手段、9 表示手段、10 制御手段、11 垂直画素数変換手段、12 垂直高域成分検出手段、13 垂直変換倍率制御手段、14 水平画素数変換手段、15 水平高域成分検出手段、16 水平変換倍率制御手段、17 画素数変換手段、18 高域成分検出手段、19 変換倍率制御手段、20 垂直高域成分検出手段、21 垂直変換倍率制御手段、22 水平高域成分検出手段、23 水平変換倍率制御手段、24 高域成分検出手段、25 変換倍率制御手段、26 入力端子、27 表示手段、28 制御手段。
Claims (8)
- 入力画像を表す画像データに補間演算処理を行うことにより、上記入力画像の画素数を変換する画像処理装置であって、
上記入力画像を構成する画素データの水平および/または垂直方向における一次微分および二次微分を検出する高域成分検出手段と、
上記入力画像を補間する補間画素の各々について求められる変換倍率であって、当該補間画素の密度を局所的に変化させる上記変換倍率の値を、上記一次微分および二次微分の積を用いて算出する変換倍率制御手段と、
上記変換倍率に基づいて上記補間画素の各々の補間位置を求め、当該補間位置における補間演算により上記補間画素の画素データを算出する画素数変換手段とを備えたことを特徴とする画像処理装置。 - 入力画像を表す画像データに補間演算処理を行うことにより、上記入力画像の画素数を変換する画像処理装置であって、
上記入力画像を構成する画素データの水平および/または垂直方向における輪郭部に対応する一次微分を検出する高域成分検出手段と、
上記入力画像を補間する補間画素の各々について求められる変換倍率であって、当該補間画素の密度を局所的に変化させる上記変換倍率の値を、上記一次微分の中央付近を境に前半の極性を正とし、後半の特性を負として得られる値を用いて算出する変換倍率制御手段と、
上記変換倍率に基づいて上記補間画素の各々の補間位置を求め、当該補間位置における補間演算により上記補間画素の画素データを算出する画素数変換手段とを備えたことを特徴とする画像処理装置。 - 画素数変換手段は、変換倍率の逆数を水平および/または垂直方向に累積加算することにより、上記補間画素の水平および/または垂直方向における補間位置を算出することを特徴とする請求項1または2に記載の画像処理装置。
- 入力画像の輪郭を補正して出力する画像処理装置であって、
上記入力画像の輪郭部を構成する画素データの水平および/または垂直方向における一次微分および二次微分を検出する高域成分検出手段と、
上記特徴量に基づいて、上記入力画像の輪郭部を補正する補間画素の各々について求められる変換倍率であって、当該補間画素の密度を局所的に変化させる上記変換倍率の値を、上記一次微分および上記二次微分の積を用いて算出する変換倍率制御手段と、
上記変換倍率に基づいて上記補間画素の各々の補間位置を求め、当該補間位置における補間演算により上記補間画素の画素データを算出する補間演算手段とを備えたことを特徴とする画像処理装置。 - 請求項1〜4のいずれか1項に記載の画像処理装置を備えたことを特徴とする画像表示装置。
- 入力画像を表す画像データに補間演算処理を行うことにより、上記入力画像の画素数を変換する画像処理方法であって、
上記入力画像を構成する画素データの水平および/または垂直方向における一次微分および二次微分を検出する工程と、
上記入力画像を補間する補間画素の各々について求められる変換倍率であって、当該補間画素の密度を局所的に変化させる上記変換倍率の値を、上記一次微分および上記二次微分の積を用いて算出する工程と、
上記変換倍率に基づいて上記補間画素の各々の補間位置を求め、当該補間位置における補間演算により上記補間画素の画素データを算出する工程とを備えたことを特徴とする画像処理方法。 - 入力画像を表す画像データに補間演算処理を行うことにより、上記入力画像の画素数を変換する画像処理方法であって、
上記入力画像を構成する画素データの水平および/または垂直方向における輪郭部に対応する一次微分を検出する工程と、
上記入力画像を補間する補間画素の各々について求められる変換倍率であって、当該補間画素の密度を局所的に変化させる上記変換倍率の値を、一次微分の中央付近を境に前半の極性を正とし、後半の特性を負として得られる値を用いて算出する工程と、
上記変換倍率に基づいて上記補間画素の各々の補間位置を求め、当該補間位置における補間演算により上記補間画素の画素データを算出する工程とを備えたことを特徴とする画像処理方法。 - 入力画像の輪郭を補正して出力する画像処理方法であって、
上記入力画像の輪郭部を構成する画素データの水平および/または垂直方向における一次微分および二次微分を検出する工程と、
上記入力画像の輪郭部を補正する補間画素の各々について求められる変換倍率であって、当該補間画素の密度を局所的に変化させる上記変換倍率の値を、上記一次微分および上記二次微分の積を用いて算出する工程と、
上記変換倍率に基づいて上記補間画素の各々の補間位置を求め、当該補間位置における補間演算により上記補間画素の画素データを算出する工程とを備えたことを特徴とする画像処理方法。
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2000184816A JP3695291B2 (ja) | 2000-06-20 | 2000-06-20 | 画像処理装置、画像表示装置、および画像処理方法 |
US09/883,940 US6724398B2 (en) | 2000-06-20 | 2001-06-20 | Image processing method and apparatus, and image display method and apparatus, with variable interpolation spacing |
US10/716,634 US7330199B2 (en) | 2000-06-20 | 2003-11-20 | Image processing method and apparatus, and image display method and apparatus, with variable interpolation spacing |
US11/013,419 US7429994B2 (en) | 2000-06-20 | 2004-12-17 | Image processing method and apparatus, and image display method and apparatus for changing edge sharpness |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2000184816A JP3695291B2 (ja) | 2000-06-20 | 2000-06-20 | 画像処理装置、画像表示装置、および画像処理方法 |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2002010070A JP2002010070A (ja) | 2002-01-11 |
JP2002010070A5 JP2002010070A5 (ja) | 2005-06-23 |
JP3695291B2 true JP3695291B2 (ja) | 2005-09-14 |
Family
ID=18685213
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2000184816A Expired - Fee Related JP3695291B2 (ja) | 2000-06-20 | 2000-06-20 | 画像処理装置、画像表示装置、および画像処理方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP3695291B2 (ja) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1330166C (zh) * | 2002-12-20 | 2007-08-01 | 三菱电机株式会社 | 图像处理装置、图像显示装置、图像处理方法以及图像显示方法 |
US7764839B2 (en) | 2003-08-14 | 2010-07-27 | Fujifilm Corporation | Edge detecting apparatus and method, and image size enlarging and reducing apparatus and method |
KR100951881B1 (ko) | 2003-11-17 | 2010-04-12 | 삼성전자주식회사 | 호환형 광픽업장치 |
JP3781050B1 (ja) | 2005-02-22 | 2006-05-31 | 三菱電機株式会社 | 画像処理装置、画像処理方法、および画像表示装置 |
JP5398562B2 (ja) * | 2010-01-29 | 2014-01-29 | 富士フイルム株式会社 | 追尾枠の初期位置設定装置およびその動作制御方法 |
-
2000
- 2000-06-20 JP JP2000184816A patent/JP3695291B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2002010070A (ja) | 2002-01-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4097815B2 (ja) | 画像処理装置および画像処理方法 | |
US9185431B2 (en) | Motion detection device and method, video signal processing device and method and video display device | |
JP2947186B2 (ja) | フリッカ軽減回路 | |
US20090040246A1 (en) | Image processing device, display device, image processing method, and program | |
US20040135798A1 (en) | Image processing method and apparatus, and image display method and apparatus, with variable interpolation spacing | |
WO2006090515A1 (ja) | 画像処理装置、画像処理方法、および画像表示装置 | |
JPH02289894A (ja) | ビデオ信号補間装置 | |
JP4317619B2 (ja) | 画像処理装置 | |
JP4031389B2 (ja) | 画像変換装置および画像変換方法 | |
JP4518392B2 (ja) | カラー画像を変換するための方法および装置 | |
US6961479B1 (en) | Image processing device, image processing method, image-processing program recorded medium | |
JP3695291B2 (ja) | 画像処理装置、画像表示装置、および画像処理方法 | |
JP5208381B2 (ja) | 動画像フレームレート変換装置および動画像フレームレート変換方法 | |
KR20040058006A (ko) | 화상 신호 처리 장치 | |
JP3692942B2 (ja) | 画像処理装置、画像表示装置、および画像処理方法 | |
JP2005312030A (ja) | 半画像の中間列画像点の補間のための方法および装置 | |
JP4031390B2 (ja) | 画像変換装置および画像変換方法 | |
JP2009194721A (ja) | 画像信号処理装置、画像信号処理方法、及び撮像装置 | |
JP2006308665A (ja) | 画像処理装置 | |
JP3719385B2 (ja) | 画像処理装置、画像処理方法、および画像表示装置 | |
JP3719389B2 (ja) | 画像処理装置、画像表示装置、および画像処理方法 | |
US7567732B2 (en) | Image resolution conversion | |
JP4689243B2 (ja) | 画像処理装置、画像処理方法、及びデジタルカメラ | |
JP2005107437A (ja) | 液晶表示装置 | |
KR100224859B1 (ko) | 엣지에 근거한 영상신호의 수직 보간 방법 및 그에 적합한 장치 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7421 Effective date: 20040714 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20040927 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20040927 |
|
A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20040927 |
|
A975 | Report on accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A971005 Effective date: 20041117 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20050105 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050304 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20050329 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050428 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20050607 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20050620 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090708 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100708 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100708 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110708 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110708 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120708 Year of fee payment: 7 |
|
LAPS | Cancellation because of no payment of annual fees |