JP3485454B2 - 画像階調変換装置、画像階調変更方法およびその方法を実行させるプログラムを記録した媒体ならびに赤外線カメラ - Google Patents

画像階調変換装置、画像階調変更方法およびその方法を実行させるプログラムを記録した媒体ならびに赤外線カメラ

Info

Publication number
JP3485454B2
JP3485454B2 JP28719097A JP28719097A JP3485454B2 JP 3485454 B2 JP3485454 B2 JP 3485454B2 JP 28719097 A JP28719097 A JP 28719097A JP 28719097 A JP28719097 A JP 28719097A JP 3485454 B2 JP3485454 B2 JP 3485454B2
Authority
JP
Japan
Prior art keywords
frequency component
edge
image
gradation
low frequency
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP28719097A
Other languages
English (en)
Other versions
JPH10232927A (ja
Inventor
守人 塩原
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Priority to JP28719097A priority Critical patent/JP3485454B2/ja
Publication of JPH10232927A publication Critical patent/JPH10232927A/ja
Application granted granted Critical
Publication of JP3485454B2 publication Critical patent/JP3485454B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Landscapes

  • Image Processing (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Facsimile Image Signal Circuits (AREA)

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は、画像階調変換装
置、画像階調変換方法およびその方法を実行するプログ
ラムを記録した媒体に係わり、特に超多階調の画像を低
階調の画像に変換する階調変換装置、画像階調変換方法
およびその方法を実行するプログラムを記録した媒体に
関する。
【0002】
【従来の技術】赤外線カメラで撮影した赤外画像、CT
(Computed Tomography )等で撮影した医療画像等では
高解像度を実現するために例えば4096(12ビッ
ト)の超多階調を有するものがある。しかし一般的に使
用されている汎用ディスプレイで表示可能な階調は高々
256(8ビット)であるため、超多階調の画像を汎用
ディスプレイに表示する場合には階調を低減する階調変
換を行う必要があるが、単純な線型変換を使用した場合
には以下のような課題が生じる。
【0003】
【発明が解決しようとする課題】例えば赤外線カメラで
撮影した赤外画像にあっては相対的に温度の高い物体
(例えば人間)の画像は高い輝度を有するが、相対的に
温度の低い物体(例えば背景)の画像は低輝度であるた
め、単純な線型変換を使用した場合には温度の高い物体
は階調変化の少ない高輝度の画像となり温度の低い物体
は階調変化の少ない低輝度の画像となり、細かい情報
(例えば、滑らかな階調変化を示す階調情報)は明確に
表示されない。
【0004】
【課題を解決するための手段】第1の発明は、分離手段
により超多階調を有する原画像を大局的階調変動を表す
低周波成分と、局所的階調変動を表す高周波成分とに分
離する。その際、エッジ強度手段により原画像の隣接す
る画像間の階調差であるエッジ強度を検出し、分離特性
変更手段によりエッジ強度に応じて原画像を低周波成分
と高周波成分とに分離する分離特性を変更する。
【0005】 第1の発明では、原画像のエッジ強度に
応じて分離特性を変更することにより低周波成分からエ
ッジ情報が失われることが防止される。第1の発明は、
さらに分離段階により分離された低周波成分の階調を低
減するとともに、分離段階により分離された高周波成分
と階調が低減された低周波成分とを合成する。
【0006】 第1の発明では、さらに超多階調画像を
低階調ディスプレイに表示した場合にエッジ周辺の細か
い階調情報が失われることが防止される。第2の発明
は、分離段階が、エッジ強度検出段階で検出されたエッ
ジ強度に応じて原画像から低周波成分を抽出する低周波
成分抽出特性が変更され、原画像と抽出された低周波成
分とに基づいて高周波成分が抽出される。
【0007】 第2の発明では、階調差の大きい情報が
低周波成分に取り込まれる。第3の発明は、画素をエッ
ジを中心とする所定画素数幅内のエッジ周辺画素とそれ
以外の非エッジ周辺画素に分離し、エッジ周辺画素に対
してはエッジ保存フィルタにより低周波成分を抽出し非
エッジ周辺画素に対してはエッジ非保存フィルタにより
低周波成分を抽出する。
【0008】 第3の発明では、原画像を予めエッジ周
辺画素と非エッジ周辺画素に分離することにより、低周
波成分抽出の際にエッジ保存フィルタを使用するかエッ
ジ非保存フィルタを使用するかを各画素毎に判断する必
要がなくなる。第4の発明は、エッジ強度が高であるほ
どフィルタの大きさを小さくする。この第4の発明で
は、エッジ強度が高であるときは大きさの小さいフィル
タを使用することによりエッジ情報を保持したまま低周
波成分が抽出され、エッジ強度が低であるときには大き
さの大きいフィルタを使用することにより低周波成分が
抽出される。
【0009】 第5の発明は、画素をエッジを中心とす
るエッジ周辺画素とそれ以外に非エッジ周辺画素に分離
し、エッジ周辺画素に対しては大きさの小さいフィルタ
で、非エッジ周辺画素に対しては大きさの大きいフィル
タで低周波成分が抽出される。第5の発明では、原画像
を予めエッジ周辺画素と非エッジ周辺画素に分離するこ
とにより、低周波成分の抽出に使用するフィルタの大き
さを判断する必要がない。
【0010】 第6の発明は、超多階調画像を撮像し、
低周波成分と高周波成分とに分離した後、低周波成分を
より少ない階調に変換し、高周波成分を強調処理する。
そして、低周波成分と高周波成分を合成して低階調モニ
タに表示する。第6の発明では、超多階調画像が細かい
輝度情報を失うことなく低階調モニタに表示される。
【0011】 第7の発明は、第1から第5の発明の
れか一つを実行するプログラムを記録した媒体を提供す
る。
【0012】
【発明の実施の形態】図1は、上記課題を解決するため
の超多階調(M階調)の画像を低階調(N階調、N<
M)の画像に変換する階調変換方法の説明図であって、
原画像を撮像する撮像手段10原画像を原画像の局所的
な輝度変化を表す高周波成分と大局的な輝度変化を表す
低周波成分とに分離する分離部11、低周波成分の階調
をM階調からN階調に変換する低周波成分階調変換部1
2(変換方法としては、線型変換、非線型変換(γ補正
法)、Histogram Projection法、Histogram Equalizati
on法等周知の方法が適用される)、高周波成分に強調処
理(例えば線型変換)を施す強調処理部13、N階調に
変換された低周波成分と強調処理の施された高周波成分
を加算した後、再度N階調に変換する合成/再階調変換
部14から構成されている。
【0013】なお、図1中には原画像の1本の水平走査
線に沿う輝度変化波形も例示されており、(a)は原画
像の輝度変化波形(実線)および低周波成分波形(破
線)、(b)は階調変換後の低周波成分波形、(c)は
強調処理後の高周波成分波形、(d)は低周波成分と高
周波成分の合成波形、(e)は再階調変換後の出力波形
を表す。
【0014】まず、撮像手段10で撮像された原画像情
報に対して平均値フィルタ、ガウシアンフィルタ等を使
用して平滑化操作を施すことにより、最大輝度がM1、
最小輝度がM2である原画像の低周波成分波形((a)
の破線)が得られる。この低周波成分波形は、低周波成
分階調変換部12において、(M1−M2+1)段階の
輝度がN段階の輝度に変換され、階調変換後低周波成分
(b)となる。
【0015】一方原画情報から階調変換前の低周波成分
成分波形((a)の破線)を減算することにより算出さ
れる高周波成分波形は、強調処理部13においてその振
幅が例えば2倍に拡大され、強調処理後高周波成分波形
(c)となる。合成/再階調変換部14において階調変
換後低周波成分(b)と強調処理後高周波成分(c)と
を加算した合成して合成波形(d)を生成し、輝度が負
となる部分をカットした後の波形がN段階の輝度内に収
まるように再度階調変換して出力波形(e)が得られ
る。
【0016】しかしながら上記方法においては、輝度変
化が極めて大きい部分(以下エッジと記す)を有する原
画に対して階調変換で必須となるノイズ除去処理を実行
した場合に、エッジ周辺で原画の細かい輝度変化(階調
情報)が失われることを回避することはできない。図2
は課題の説明図であって、輝度がM階調ステップ状に変
化(a’)する部分にノイズ除去処理のために平滑フィ
ルタをかけると低周波成分(b’)ではステップ状の変
化は失われランプ状の変化となる。そしてノイズ除去を
確実にするためにフィルタの大きさを大とするとランプ
部分の傾斜は緩やかとなる。
【0017】高周波成分(c’)は{(a’)−
(b’)}として得られるので、零から正方向に徐々に
増加した後ステップ状に負側に反転し、その後徐々に零
に復帰する波形となる。従って、低周波成分(b’)に
階調変換を施した階調変換後低周波成分(b”)と、高
周波成分(c’)に強調操作を施した強調処理後高周波
成分(c”)とを合成した合成波形(d’)には斜線で
示されるオーバーシュート、アンダーシュートが生じ
る。
【0018】合成波形(d’)の負の輝度(即ちアンダ
ーシュート部)をカットした後再度階調変換を施すこと
により得られる出力波形(e’)を汎用ディスプレイに
表示すると、(イ)部は原画像より高輝度(即ち明る
く)に、(ロ)部は最低輝度(即ち真黒)に表示され
る。即ちエッジの一方の側に高輝度の帯域が、エッジの
他方の側に最低輝度の帯域が生じてエッジ周辺の細かい
輝度変化情報が失われることを避けることはできない
が、これは低周波成分を求める際(即ち原画像からノイ
ズを除去する際)に原画像の全体に一定の大きさのノイ
ズ除去フィルタを適用することに起因する。
【0019】本発明は上記課題に鑑みなされたものであ
って、超多階調画像を通常階調の画像に階調変換する際
にエッジ周辺の細かい輝度変化が失われることのない画
像階調変換装置、画像階調変換方法および画像階調変換
方法を実行するためのプログラムを記録したプログラム
記録媒体を提供することを目的とする。図3(イ)は本
発明に係る階調変換装置の1実施例の構成図であって、
赤外線カメラ31、マイクロコンピュータ32、比較的
少ない(例えば256)階調の輝度を表示可能なディス
プレイ33および外部プログラム記録媒体(例えばフレ
キシブルディスク)34から構成される。
【0020】即ち赤外線カメラ31で撮影されたビデオ
信号は、超多階調(例えば4096階調)を有し、入力
インターフェイス321を介してマイクロコンピュータ
32に取り込まれる。マイクロコンピュータ32は、入
力インターフェイス321の外、バス322、CPU3
23、出力インターフェイス324およびメモリ325
から構成されており、外部プログラム記録媒体34に記
憶されている階調変換プログラムを実行する。
【0021】即ち、階調変換プログラムは外部プログラ
ム記録媒体34に記録されており、階調変換に先立ち階
調変換プログラムが入力インターフェイス321を介し
メモリ325に取り込まれ、CPU323で実行され
る。そして、階調変換された画像は出力インターフェイ
ス324を介してディスプレイ33に表示される。な
お、本発明に係る画像変換方法を赤外線カメラ本体内に
組み込み、図3(ロ)に示す構成とすることもできる。
この場合高階調モニタ314を省略することも可能であ
る。
【0022】 即ち、レンズ系311を通った赤外象
は、受光素子312で電気信号に変換されビデオアンプ
313で増幅される。ビデオアンプ313で増幅された
ビデオ信号は、高階調モニタで表示されると共に、A/
Dコンバータ321に入力される。A/Dコンバータ3
21は超多階調のデジタル画像を再現可能な12ビット
のデジタル出力を有する。
【0023】A/Dコンバータ321から出力される超
多階調のデジタル画像は、メモリ325に順次取り込ま
れ前述の通り階調変換される。そして階調変換された画
像は出力インターフェイス324を介して通常のディプ
レイである低階調モニタ33に表示される。赤外線カメ
ラ本体内にマイクロコンピュータ32を組み込む場合
に、マイクロコンピュータ32が汎用性を有すると赤外
線カメラが大型化および高価となるため、マイクロコン
ピュータ32はストアードプログラム方式でない方が望
ましい。よって、本発明に係る画像変換方法を赤外線カ
メラ本体内に組み込む場合、プログラムはメモリ325
に最初から記録されている。
【0024】なお、CPU323はデジタルシグナルプ
ロセッサ等で構成してもよく、それに伴いデータバス3
22はデジタルシグナルプロセッサに対応して構成する
必要がある。また、汎用プロセッサとプログラムを用い
る方式のみならず、ハードウェアで構成されたフィルタ
回路やエッジ抽出回路を組み合わせて本発明を実現する
回路を構成してもよい。
【0025】図4は本発明に係る階調変換処理の原理を
説明するための流れ図であって、まずM階調を有する原
画像(A)40から隣接する2つの画素が所定のしきい
値以上の階調差を有する領域を強調するエッジ強調処理
を施しエッジ強調画像41を得る。次にエッジ強調画像
41に対して画素膨張処理を施しマスクパターン42を
作成し、エッジ周辺の画素(例えばエッジを中心とする
3画素)だけを通過させるマスク421とエッジ周辺の
画素(例えばエッジを中心とする3画素)以外の画素を
通過させる反転マスク422とを作成する。
【0026】次に原画像(A)40をエッジ周辺画素通
過マスク421で被いエッジ周辺の画素からエッジ情報
を保持しつつノイズを除去するエッジ保存ノイズ除去処
理43を行い、原画像40を反転マスク422で被いエ
ッジ周辺以外の画素からノイズを除するエッジ非保存ノ
イズ除去処理44を行い、原画像40の大局的な輝度変
化を表す低周波成分画像(D)45を得る。
【0027】なお、マスク421あるいは反転マスク4
22を使用することなく原画像の画素ごとにエッジ強度
を判断し、使用するノイズ除去処理方法を選択すること
も可能である。その後、低周波成分画像45の階調を減
少する階調変換処理を行い低周波成分階調変換画像4
5’を作成する。次に、原画像40から低周波成分画像
45を減算して画像の局所的な輝度変化を表す高周波成
分画像46を作成した後、輝度変化を強調して高周波成
分輝度強調画像46’を作成する。
【0028】そして、低周波成分階調変換画像45’と
高周波成分輝度強調画像46’とを加算して合成画像4
7を作成し、その後合成画像47全体をN階調に変換し
て出力画像48を得る。即ち本発明は、原画像をエッジ
強度に応じて低周波成分画像を得るフィルタ特性を変更
する点に特徴を有する。
【0029】図5は第1の低周波成分抽出ルーチンであ
って、ステップ50でエッジ強調画像を記憶するために
メモリ325内に確保されるメモリ領域をクリアする。
ステップ51でノイズ除去フィルタの大きさmを予め定
められた所定値mMAX(例えば25)に設定して、原画
像(A)に対して画素を左上から始めて右下で終る水平
走査を開始する。
【0030】ステップ52でその画素を中心とするフィ
ルタの中にエッジが含まれるか否かを判定し、エッジ部
でないと判定されればステップ53で大きさmのエッジ
非保存ノイズ除去フィルタ(例えば平均値フィルタある
いはガウシアンフィルタ)を使用してノイズ除去を実施
する。ステップ52でエッジ部であると判定されればス
テップ54でフィルタの大きさmをデクレメントする。
次にステップ55でフィルタの大きさmが最小値mMI N
(例えば3)であるか否かを判定し、最小値でなければ
ステップ52に戻って処理を繰り返す。
【0031】ステップ55で最小値まで低減されてもエ
ッジが含まれると判定されたときは、ステップ56で大
きさmMIN のエッジ非保存ノイズ除去フィルタ(例えば
メジアンフィルタ)を使用してノイズ除去を実施する。
ステップ57で原画像の全画素について処理が完了した
か否かを判定し、完了していないと判定されたときはス
テップ51にもどって処理を繰り返す。すべての画素に
ついて処理が完了したときは低周波成分抽出画像(D)
が完成してこの処理を完了する。
【0032】図6は原画像(A)から局所的な輝度変化
を表す高周波成分を抽出して高周波成分画像(E)を作
成する高周波成分抽出ルーチンのフローチャートであっ
て、ステップ60で高周波成分画像(E)を記憶するた
めにメモリ325内に確保されたメモリ領域をクリアし
た後、ステップ61で画素毎に原画像(A)から低周波
成分画像(D)を減算して高周波成分を求め高周波成分
画像(E)に記憶する。
【0033】ステップ62で原画像(A)の全画素にわ
たって高周波成分を求めたかを判定し、全画素について
高周波成分が算出されるまで処理を繰り返して、このル
ーチンを終了する。図7は低周波成分画像(D)の階調
をM階調からN階調(M>N)に圧縮する低周波成分階
調変換ルーチンのフローチャートであって、ステップ7
0で低周波成分階調変換画像(D’)を記憶するために
メモリ325内に確保されたメモリ領域をクリアする。
【0034】ステップ71では、例えば低周波成分画像
(D)の画素毎に次式により階調を変換して、階調変換
画像(D’)に記憶する。 D’(i,j)=〔N・{D(i,j)−MMIN }〕/
{MMAX −MMIN } ここで、MMAX は原画像(A)の最大階調でMMAX ≦M
また、MMIN は原画像(A)の最小階調であってMMIN
≦MMAX である。
【0035】ステップ72で低周波成分画像(D)の全
画素にわたって階調変換をおこなったかを判定し、全画
素について変換が終了するまで処理を繰り返した後この
ルーチンを終了する。図8は高周波成分画像(E)の全
画素にわたり強調処理する高周波成分強調処理ルーチン
のフローチャートであって、ステップ80で高周波成分
強調処理画像(E’)を記憶するためにメモリ325内
に確保されたメモリ領域をクリアする。
【0036】ステップ81で高周波成分画像(E)の画
素毎に例えば次式に基づいて強調処理を施して、強調処
理画像(E’)に記憶する。 E’(i,j)=n・E(i,j) (例えばn=2) ステップ82で高周波成分画像(E)の全画素にわたっ
て強調処理をおこなったかを判定し、全画素について変
換が終了するまで処理を繰り返した後このルーチンを終
了する。
【0037】図9は出力画像F’を得るための合成再階
調変換ルーチンのフローチャートであって、ステップ9
0で合成画像(F)および出力画像(F’)を記憶する
ためにメモリ325内に確保されたメモリ領域をクリア
する。ステップ91で階調変更画像(D’)と強調処理
画像(E’)を画素毎に加算して合成画像(F)を作成
し、ステップ92で合成画像(F)の最大輝度LMAX
よび最小輝度LMIN を探索する。そしてステップ93で
合成画像の階調を画素毎に次式により階調を再変換して
出力画像(F’)を生成する。
【0038】F’(i,j)=〔N・{F(i,j)−
MIN }〕/{LMAX −LMIN } ステップ94で合成画像(F)の全画素にわたって再階
調変換処理をおこなったかを判定し、全画素について変
換が終了するまで処理を繰り返した後このルーチンを終
了する。そして、出力画像(F’)を出力インターフェ
イス324を介してディスプレイ33に出力することに
よりエッジ周辺のグラデーションも失われない画像が表
示される。
【0039】上記の第1の階調変換方法によれば、原画
像の画素ごとにその画素を中心とするノイズ除去用フィ
ルタ内にエッジが含まれるか否かを判定してノイズ除去
に使用するフィルタを決定する必要があるため処理量が
多くなることは回避できない。第2の階調変換方法はこ
の点を解決するためのものであって、予めマスクを作成
することによって画素ごとの判定を省略する。
【0040】図10は原画像(A)からマスクの元とな
るエッジ強調画像(B)を作成するエッジ強調処理ルー
チンのフローチャートであって、ステップ100でエッ
ジ強調画像(B)を記憶するためにメモリ325内に確
保されるメモリ領域をクリアする。原画像(A)の画素
に対して左上から始めて右下で終る水平走査を開始し、
ステップ101で各画素毎のエッジ強度を算出する。
【0041】エッジ強度の算出には周知の方法を使用す
ることができるが、例えばラプラシアン法を適用した場
合は原画像(A)の画素A(i,j)のエッジ強度ES
(i,j)は次式で定義される。 ES(i,j) ={f(i,j+1)−f(i,j)}−{f(i,j)−f(i,j−1)} +{f(i+1,j)−f(i,j)}−{f(i,j)−f(i−1,j)} =f(i,j+1)+f(i,j−1)+f(i+1,j)+f(i−1,j) −4・f(i,j) ここで、f(i,j)は画素A(i,j)の輝度を表
す。
【0042】ステップ102でエッジ強度ESが予め定
められたしきい値ε以上であるか否かを判定し、エッジ
強度ESが予め定められたしきい値ε以上であればステ
ップ103で画素B(i,j)の画素値を "1" に設定
する。逆にエッジ強度ESがしきい値ε未満であればス
テップ104で画素B(i,j)の画素値を "0" に設
定する。
【0043】そしてステップ105で原画像(A)のす
べての画素についてエッジ強調処理が完了したかを判定
し、全画素の処理が完了していない場合はステップ10
1に戻る。一方、全画素の処理が完了した場合はこのル
ーチンを終了する。図11はエッジ強調画像(B)から
マスク画像(C)を作成する画素拡張処理ルーチンのフ
ローチャートであって、ステップ110で拡張処理の繰
り返し回数Lを所定の正の整数に設定し、ステップ11
1でマスク画像(C)および反転マスク画像(C’)を
記憶するためにメモリ325内に確保されたメモリ領域
をクリアする。
【0044】ステップ112でマスク画像(C)にエッ
ジ強調画像(B)を転写した後、マスク画像(C)を左
上から始めて右下で終る水平走査するが、ステップ11
3で画素値C(i,j)が "1" であるか否かを判定す
る。画素値C(i,j)が "1" であればステップ11
4で画素C(i,j)のいわゆる8近傍に画素値が "
0" である画素があるか否かを判定し、画素値が "0"
である画素があればステップ115で画素値を "1" に
置き換える画素拡張処理を実行してステップ116に進
む。なおステップ113で画素値C(i,j)が "0"
であるとき、およびステップ114で8近傍に画素値が
"0" である画素がないときは直接ステップ116に進
む。
【0045】図12は画素拡張処理の説明図であって、
"1" は画素値が "1" であることを示し、斜線は画素
拡張処理の結果 "1" に置き換えられた画素を表す。画
素(7,6)を例にとると、この8近傍画素は(6,
5)、(7,5)、(8,5)、(6,6)、(8,
6)、(6,7)、(7,7)、(8,7)となるが、
画素(8,5)および(6,7)はもともと画素値 "
1" であるので他の6画素の画素値を "0" から "1"
に変更することによって画素(7,6)は1画素分拡張
される。
【0046】ステップ116で全画素について処理が完
了したか否かを判定し、全画素について処理が完了して
いなければステップ113に戻り処理を繰り返す。逆に
全画素について処理が完了していればステップ117で
拡張処理の繰り返し回数Lが"1" であるかを判定し、
Lが "1" でなければステップ118で繰り返し回数L
をデクレメントしてステップ113に戻る。
【0047】繰り返し回数Lが "1" であれば、ステッ
プ119でマスク画像(C)の画素値を反転した反転マ
スク画像(C’)を作成してこのルーチンを終了する。
即ち、繰り返し回数Lを "1" に設定した場合はエッジ
はエッジを中心として両側に1画素分拡張され、 "2"
に設定した場合は2画素分拡張される。図13は原画像
(A)から大局的な輝度変化を表す低周波成分を抽出し
て低周波成分画像(D)を作成する第2の低周波成分抽
出ルーチンのフローチャートであって、ステップ130
で低周波成分画像(D)を記憶するためにメモリ325
内に確保されたメモリ領域をクリアする。
【0048】ステップ131で原画像(A)をマスク画
像(C)で覆って、即ち{A×C}を演算することによ
って原画像(A)からエッジ周辺の画素を取り出し、ス
テップ132でエッジ周辺の画素、即ち画素値が "0"
でない画素に対してエッジ情報を保持しつつノイズを除
去するエッジ保存ノイズ除去処理を施し、その結果を低
周波成分画像(D)に保存する。
【0049】エッジ保存ノイズ除去処理としては周知の
フィルタを使用することが可能であるが、メジアンフィ
ルタを使用することが適当である。メジアンフィルタは
マスク画像(C)で規定される領域に含まれる画素、例
えば繰り返し回数L=1であるときには3×3領域に含
まれる9画素の輝度の中央値(メジアン)を中心画素の
輝度とするフィルタである。従ってメジアンフィルタの
大きさ(繰り返し回数Lが1であるときはフィルタの大
きさは“3”となる)を大きくするとエッジ情報が不明
確となるだけでなく計算時間も長くなるので、メジアン
フィルタの大きさを小さくするためにマスク作成の繰り
返し回数Lは小に設定することが有利である。
【0050】ステップ133でマスク画像(C)の全画
素のメジアンフィルタ処理が終了したかを判定し、終了
していない場合はステップ132に戻り処理を繰り返
し、終了した場合はステップ134に進む。ステップ1
34では原画像(A)をマスク画像(C’)で覆って、
即ち{A×C’}を演算することによって原画像(A)
からエッジ周辺の画素以外の画素を取り出し、ステップ
135で "0" でない輝度を有するエッジ周辺の画素以
外の画素に対しエッジ情報に拘らずノイズを確実に除去
するためにエッジ非保存ノイズ除去処理を施し、その結
果を低周波成分画像(D)に保存する。
【0051】エッジ非保存ノイズ除去処理としては、周
知のフィルタを使用することが可能であるが、平均値フ
ィルタもしくはガウシアンフィルタを使用することが適
当である。なお、エッジ周辺の画素以外の画素に対して
はエッジ情報を保存する必要はなく、ノイズを確実に除
去する必要があるためフィルタの大きさをできるかぎり
大に設定することが有利である。
【0052】ステップ136でマスク画像(C)の全画
素の平均値フィルタもしくはガウシアンフィルタ処理が
終了したかを判定し、終了していない場合はステップ1
35に戻り処理を繰り返し、終了した場合はこのルーチ
ンを終了する。即ち第2の画像変換方法は、原画像から
エッジを中心とした所定画素幅の画素だけを抽出するマ
スクおよびそれ以外の画素だけを抽出する反転マスクを
生成し、マスクで抽出される画素に対してはエッジ保存
ノイズ除去処理を、反転マスクで抽出される画素に対し
てはエッジ非保存ノイズ除去処理を施すことにより、画
素毎にノイズ除去処理方法を判断する操作を省いてい
る。
【0053】なお低周波成分抽出以後の処理は第1の画
像変換方法と同一である。図14は第2の階調変換方法
の機能線図であって、ブロック140において原画像
(A)からエッジ強調処理(図10)を実施してエッジ
強調画像(B)を生成し、ブロック141においてエッ
ジ強調画像(B)からマスク画像(C)および反転マス
ク画像(C’)を生成(図11)する。
【0054】ブロック142において原画像(A)をマ
スク画像(C)で覆ってエッジ保存ノイズ除去処理を、
ブロック143において原画像(A)をマスク画像
(C’)で覆ってエッジ非保存ノイズ除去処理を実施
(図8)して、ブロック144で低周波成分画像(D)
を得た後、ブロック145で階調を圧縮した画像
(D’)を得るために階調変換(図7)を行う。
【0055】ブロック146で原画像(A)から低周波
成分画像(D)を減算して高周波成分画像(E)を算出
(図6)した後、ブロック147で高周波成分を強調処
理(図8)した画像(E’)を得る。そして、ブロック
148で階調を圧縮した低周波画像(D’)と強調処理
を施した高周波成分画像(E’)とを合成した合成画像
(F)を得た後、再度階調圧縮する階調変換を実行して
出力画像(F’)を得る(図9)。
【0056】第2の階調変換方法ではエッジを含む画素
に対してエッジ保存ノイズ除去処理を、エッジを含まな
い画素に対してエッジ非保存ノイズ除去処理を行ってノ
イズを除去しているが、ノイズ除去のために2種類のフ
ィルタを設置することが必要であるため処理は複雑とな
る。第3の階調変換方法は上記欠点を解決するためのも
のであって、ノイズ除去のためのフィルタの形式を変更
せずに同一形式のフィルタの大きさをエッジ周辺画素か
非エッジ周辺画素かであるかに応じて変更することによ
って、プログラムを簡素化したものである。
【0057】図15は低周波成分画像を生成するための
第3の低周波成分抽出ルーチンのフローチャートであっ
て、ステップ150で低周波成分画像(D)を記憶する
ためにメモリ325内に確保されたメモリ領域をクリア
する。ステップ151でノイズ除去のためのノイズ除去
処理のためのフィルタ(例えば平均値フィルタ、ガウシ
アンフィルタ)の大きさmを所定の正整数値m0 (例え
ば25)に設定した後、原画像(A)に対し左上から始
めて右下で終る水平走査を開始する。
【0058】そしてステップ152で大きさm0 のフィ
ルタ内にエッジがあるか否かを判定し、エッジが無けれ
ばステップ153で大きさm0 のフィルタでノイズ除去
を実施してその結果を低周波成分画像(D)に記憶す
る。ステップ152で大きさm0 のフィルタ内にエッジ
があると判定されたときは、ステップ154でフィルタ
の大きさmをデクレメントする。ステップ155でフィ
ルタの大きさが "3" まで低減されたか否かを判定し、
"3" まで低減されていないときはステップ152に戻
り、フィルタ内にエッジがなくなるまであるいはフィル
タの大きさが "3" に到達するまでステップ152およ
び154の処理を繰り返す。
【0059】ステップ155でフィルタの大きさが "
3" に到達したときは、ステップ156で大きさ“3”
のフィルタでノイズ除去をして低周波成分画像(D)に
記憶する。そしてステップ157で全領域について処理
が完了したか否かを判定して、完了していない場合はス
テップ151に戻り全領域の処理が完了した場合はこの
ルーチンを終了する。
【0060】図16は第3の階調変換方法の機能線図で
あって、ブロック160で第3の低周波成分抽出ルーチ
ンにより低周波成分画像(D)を抽出するが、その後の
処理、低周波成分画像(D)の階調変換(ブロック16
1)、高周波成分画像(E)の抽出(ブロック16
2)、高周波成分画像(E)の強調処理(ブロック16
3)、合成処理(ブロック164)および再階調圧縮変
換処理(ブロック165)は第1の変換方法と同一であ
る。
【0061】第3の階調変換方法は、1種類のフィルタ
によってノイズを除去できるものの、画素毎にフィルタ
の大きさを決定することが必要となるため処理量が多く
なる。第4の階調変換方法は上記問題点を解決するため
に第2の変換方法と同様にマスクを使用するので、第2
の階調変換方法と同一の処理(図10)によりエッジ強
調画面(B)を得る。
【0062】図17はエッジ強調画像(B)に基づいて
第2のマスク画像(F)を作成するための第2の画素拡
張処理ルーチンのフローチャートであって、ステップ1
70で拡張処理の繰り返し回数Lを予め定められた正の
整数に設定し、ステップ171でマスク値Pを "0" に
設定する。そして、ステップ172で第2のマスク画像
(F)を記憶するためにメモリ325内に確保されたメ
モリ領域をクリアした後、エッジ強調画面(B)を左上
から始めて右下で終る水平走査を開始する。
【0063】ステップ173でエッジ強調画面(B)の
画素値B(i,j)が "1" であるか否かを判定し、画
素値B(i,j)が "1" であればステップ174で第
2のマスク画像(F)の対応する画素の画素値F(i,
j)をマスク値 "P" に設定する。ただし、 "P" が3
未満であるときは "3" とする。これはエッジ近傍の画
素のノイズ除去処理の際にフィルタ内にエッジが入るこ
とを確実に防ぐための処置である。
【0064】ステップ175で画素B(i,j)のいわ
ゆる8近傍に画素値が "0" である画素があるか否かを
判定し、画素値が "0" である画素があればステップ1
76で画素値を "P" に置き換える。ただし、 "P" が
"3" 未満であるときは "3" とする。この理由は先に
述べた通りである。なおステップ173で画素値B
(i,j)が "0" であるとき、およびステップ175
で8近傍に画素値が "0"である画素がないときは直接
ステップ177に進む。
【0065】ステップ177ですべての画素について処
理が完了したか否かを判定し、処理が完了していなけれ
ばステップ173に戻り処理を繰り返す。逆に処理が完
了していればステップ178で拡張処理の繰り返し回数
Lが "1" であるかを判定し、Lが "1" でなければス
テップ179で繰り返し回数Lをデクレメントし、画素
値Pをインクリメントしてステップ173に戻る。な
お、Lが "1" であればこのルーチンを終了する。
【0066】図18は第4の階調変換方法で使用される
第4の低周波成分抽出ルーチンのフローチャートであっ
て、ステップ180で低周波成分画像(D)を記憶する
ためにメモリ325内に確保されたメモリ領域をクリア
した後、第2のマスク画像(F)を左上から始めて右下
で終る水平走査を開始する。ステップ181でノイズ除
去フィルタの大きさmを画素値に設定し、ステップ18
2でそのフィルタを使用して原画像(A)をフィルタ処
理をして、その結果を低周波成分画像(D)に記録す
る。
【0067】ステップ183ですべての画素について処
理が完了したか否かを判定し、処理が完了していなけれ
ばステップ181に戻り処理を繰り返す。逆に処理が完
了していればこのルーチンを終了する。即ち、第4の階
調変換方法ではエッジを中心とする所定距離の画素の画
素値を"3" に、それ以外の画素値を所定値(例えば2
5)に設定したマスク画像(F)を作成し、原画像をマ
スク画像(F)の画素値と同じ大きさのノイズ除去フィ
ルタを使用してノイズ除去することにより、画素毎にフ
ィルタの大きさを決定する処理を省略して処理量を減少
することが可能となる。
【0068】図19は第4の変換方法の機能線図であっ
て、ブロック190で原画像からエッジ強調画面(B)
を第2の変換方法と同一の手法(図10)によって得た
後、ブロック191で第2のマスク作成ルーチンにより
エッジ強調画像(B)から第2のマスク画像(F)を作
成する。そして、ブロック192で第2のマスク画像
(F)を使用して第4の低周波成分抽出ルーチンにより
低周波成分画面(D)を得る。
【0069】その後の処理、低周波成分画像(D)の階
調圧縮変換(ブロック193)、高周波成分画像(E)
の抽出(ブロック194)、高周波成分画像(E)の強
調処理(ブロック195)、合成処理(ブロック19
5)および再階調圧縮変換処理(ブロック196)は第
2の階調変換方法と同一である。即ち第4の階調変換方
法によれば、画素値としてノイズ除去フィルタの大きさ
を設定したマスク画像を使用することにより画素毎にフ
ィルタ内にエッジがあるか否かの判定をする必要がない
だけでなく、ノイズ除去フィルタの種類を変更する必要
もないため計算量を大幅に低減することが可能である。
【0070】
【発明の効果】本発明の画像階調変換装置、画像階調変
換方法およびその方法を実行するプログラムを記録した
媒体によれば、超多階調の画像において階調差の大きい
部分(エッジ)の情報を保持したまま階調を低減するこ
とが可能となり、低い階調のディスプレイに表示した場
合にもエッジ近傍のグラデーション情報を失うことなく
自然な表示を得ることが可能となる。
【図面の簡単な説明】
【図1】階調変換方法の説明図である。
【図2】課題の説明図である。
【図3】実施例の構成図である。
【図4】本発明に係る階調変換処理の流れ図である。
【図5】第1の低周波成分抽出ルーチンのフローチャー
トである。
【図6】高周波成分抽出ルーチンのフローチャートであ
る。
【図7】低周波階調変換ルーチンのフローチャートであ
る。
【図8】高周波成分強調処理ルーチンのフローチャート
である。
【図9】合成再階調変換ルーチンのフローチャートであ
る。
【図10】エッジ強調処理ルーチンのフローチャートで
ある。
【図11】画素拡張処理ルーチンのフローチャートであ
る。
【図12】画素拡張処理の説明図である。
【図13】第2の低周波成分抽出ルーチンのフローチャ
ートである。
【図14】第2の階調変換方法の機能線図である。
【図15】第3の低周波成分抽出ルーチンのフローチャ
ートである。
【図16】第3の階調変換方法の機能線図である。
【図17】第2のマスク作成ルーチンのフローチャート
である。
【図18】第4の低周波成分抽出ルーチンのフローチャ
ートである。
【図19】第4の階調変換方法の機能線図である。
【符号の説明】
31…赤外線カメラ 32…マイクロコンピュータ 321…入力インターフェイス 322…バス 323…CPU 324…出力インターフェイス 325…メモリ 33…ディスプレイ 34…フレキシブルディスク
───────────────────────────────────────────────────── フロントページの続き (58)調査した分野(Int.Cl.7,DB名) G06T 5/00 - 5/50 H04N 1/409 H04N 5/33

Claims (12)

    (57)【特許請求の範囲】
  1. 【請求項1】 超多階調を有する原画像を大局的階調変
    動を表す低周波成分と、局所的階調変動を表す高周波成
    分とに分離する分離手段と、 原画像の隣接する画像間の階調差であるエッジ強度を検
    出するエッジ強度検出手段と、 前記エッジ強度検出手段で検出されたエッジ強度に応じ
    て、原画像を低周波成分と高周波成分とに分離する分離
    特性を変更する分離特性変更手段と、前記分離手段により分離された低周波成分の階調を低減
    する階調低減手段と、 前記分離手段により分離された高周波成分と前記階調低
    減手段により階調が低減された低周波成分とを合成する
    合成手段と、を具備することを特徴とする 画像階調変換
    装置。
  2. 【請求項2】 前記分離特性変更手段が、 前記エッジ強度検出手段で検出されたエッジ強度に応じ
    て低周波成分抽出特性を変更する低周波成分抽出特性変
    更手段であり、 前記分離手段が、 前記低周波成分抽出特性変更手段で変更された低周波成
    分抽出特性により原画像から低周波成分を抽出する低周
    波成分抽出手段と、 原画像と前記低周波成分抽出手段により抽出された低周
    波成分とに基づいて高周波成分を抽出する高周波成分抽
    出手段と、を具備する請求項に記載の画像階調変換装
    置。
  3. 【請求項3】 前記分離特性変更手段が、 前記エッジ強度検出手段で検出されたエッジ強度が高で
    ある画素を中心とする所定画素数幅内の画素を原画像か
    ら抽出するエッジ周辺画素抽出手段と、 前記エッジ周辺画素抽出手段で抽出された画素以外の画
    素を原画像から抽出する非エッジ周辺画素抽出手段と、
    を具備し、 前記分離手段が、 前記エッジ周辺画素抽出手段で抽出された画素に対して
    はエッジ保存処理により、前記非エッジ周辺画素抽出手
    段で抽出された画素に対してはエッジ非保存処理により
    低周波成分を抽出する低周波成分抽出手段を具備する請
    求項1に記載の画像階調変換装置。
  4. 【請求項4】 前記低周波成分抽出手段が、 前記エッジ強度検出手段で検出されたエッジ強度が高で
    あるほど低周波成分を抽出するフィルタの大きさを小さ
    くする請求項に記載の画像階調変換装置。
  5. 【請求項5】 前記分離特性変更手段が、 前記エッジ強度検出手段で検出されたエッジ強度が高で
    ある画素を中心とする所定画素数幅の画素を原画像から
    抽出するエッジ周辺画素抽出手段と、 前記エッジ周辺画素抽出手段で抽出された画素以外の画
    素を抽出する非エッジ領域抽出手段と、を具備し、 前記分離手段が、 前記エッジ周辺画素抽出手段で抽出された画素に対して
    はフィルタの大きさが小さいフィルタで低周波成分を抽
    出し、前記非エッジ周辺画素抽出手段で抽出された画素
    に対してはフィルタの大きさの大きいフィルタで低周波
    成分を抽出する請求項1に記載の画像階調変換装置。
  6. 【請求項6】 超多階調画像を撮像可能な赤外線撮像手
    段と、 前記超多階調画像からその画像の大局的階調変動を表す
    低周波成分と局所的階調変動を表す高周波成分とを分離
    する分離手段と、 前記分離手段によって分離された低周波成分の階調を、
    より少ない階調に変換する低周波成分階調変換手段と、 前記分離手段によって分離された高周波成分の階調を、
    強調処理する高周波成分強調処理手段と、 低周波成分階調変換手段で階調変換された低周波成分
    と、前記高周波成分強調処理手段で強調処理された高周
    波成分とを合成する合成手段とを具備することを特徴と
    する赤外線カメラ。
  7. 【請求項7】 超多階調を有する原画像を大局的階調変
    動を表す低周波成分と、局所的階調変動を表す高周波成
    分とに分離する分離段階と、 原画像の隣接する画像間の階調差であるエッジ強度を検
    出するエッジ強度検出段階と、 前記エッジ強度検出段階で検出されたエッジ強度に応じ
    て、原画像を低周波成分と高周波成分とに分離する分離
    特性を変更する分離特性変更段階と、前記分離段階により分離された低周波成分の階調を低減
    する階調低減段階と、 前記分離段階により分離された高周波成分と前記階調低
    減段階により階調が低減された低周波成分とを合成する
    合成段階と、を具備することを特徴とする 画像階調変換
    方法。
  8. 【請求項8】 前記分離特性変更段階が、 前記エッジ強度検出段階で検出されたエッジ強度に応じ
    て低周波成分抽出特性を変更する低周波成分抽出特性変
    更段階であり、 前記分離段階が、 前記低周波成分抽出特性変更段階で変更された低周波成
    分抽出特性により原画像から低周波成分を抽出する低周
    波成分抽出段階と、 原画像と前記低周波成分抽出段階により抽出された低周
    波成分とに基づいて高周波成分を抽出する高周波成分抽
    出段階と、を含む請求項に記載の画像階調変換方法。
  9. 【請求項9】 前記分離特性変更段階が、 前記エッジ強度検出段階で検出されたエッジ強度が高で
    ある画素を中心とする所定画素数幅内の画素を原画像か
    ら抽出するエッジ周辺画素抽出段階と、 前記エッジ周辺画素抽出段階で抽出された画素以外の画
    素を原画像から抽出する非エッジ領域抽出段階と、を含
    み、 前記分離段階が、 前記エッジ周辺画素抽出段階で抽出された画素に対して
    はエッジ保存処理により、前記非エッジ周辺画素抽出段
    階で抽出された画素に対してはエッジ非保存処理により
    低周波成分を抽出する低周波成分抽出段階を含む請求項
    に記載の画像階調変換方法。
  10. 【請求項10】 前記低周波成分抽出段階が、 前記エッジ強度検出段階で検出されたエッジ強度が高で
    あるほど低周波成分を抽出するフィルタの大きさを小さ
    くする請求項に記載の画像階調変換方法。
  11. 【請求項11】 前記分離特性変更段階が、 前記エッジ強度検出段階で検出されたエッジ強度が高で
    ある画素を中心とする一定画素数幅内の画素を原画像か
    ら抽出するエッジ周辺画素抽出段階と、 前記エッジ周辺画素抽出段階で抽出された画素以外の画
    素を抽出する非エッジ周辺画素抽出段階と、を含み 前記分離段階が、 前記エッジ周辺画素抽出段階で抽出された画素に対して
    はフィルタの大きさの小さいフィルタでノイズ除去処理
    を実行し、前記非エッジ周辺画素抽出段階で抽出された
    画素に対してはフィルタの大きさの大きいフィルタで処
    理を実行する請求項に記載の画像階調変換方法。
  12. 【請求項12】 コンピュータに、請求項7乃至11の
    何れか1項に記載の画像階調変換方法を実行させるため
    のプログラムを記録したことを特徴とする媒体。
JP28719097A 1996-12-18 1997-10-20 画像階調変換装置、画像階調変更方法およびその方法を実行させるプログラムを記録した媒体ならびに赤外線カメラ Expired - Fee Related JP3485454B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP28719097A JP3485454B2 (ja) 1996-12-18 1997-10-20 画像階調変換装置、画像階調変更方法およびその方法を実行させるプログラムを記録した媒体ならびに赤外線カメラ

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP33863396 1996-12-18
JP8-338633 1996-12-18
JP28719097A JP3485454B2 (ja) 1996-12-18 1997-10-20 画像階調変換装置、画像階調変更方法およびその方法を実行させるプログラムを記録した媒体ならびに赤外線カメラ

Publications (2)

Publication Number Publication Date
JPH10232927A JPH10232927A (ja) 1998-09-02
JP3485454B2 true JP3485454B2 (ja) 2004-01-13

Family

ID=26556617

Family Applications (1)

Application Number Title Priority Date Filing Date
JP28719097A Expired - Fee Related JP3485454B2 (ja) 1996-12-18 1997-10-20 画像階調変換装置、画像階調変更方法およびその方法を実行させるプログラムを記録した媒体ならびに赤外線カメラ

Country Status (1)

Country Link
JP (1) JP3485454B2 (ja)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3581270B2 (ja) * 1999-03-26 2004-10-27 ノーリツ鋼機株式会社 画像処理装置、画像処理方法および画像処理プログラムを記録した記録媒体
US6724943B2 (en) * 2000-02-07 2004-04-20 Sony Corporation Device and method for image processing
JP2005182232A (ja) * 2003-12-17 2005-07-07 Matsushita Electric Ind Co Ltd 輝度補正装置および輝度補正方法
JP2008104009A (ja) * 2006-10-19 2008-05-01 Sony Corp 撮像装置および撮像方法
JP4834536B2 (ja) * 2006-12-22 2011-12-14 キヤノン株式会社 画像処理装置、画像処理方法、画像処理プログラム及び記憶媒体
JP4818212B2 (ja) * 2007-07-05 2011-11-16 キヤノン株式会社 画像処理装置及び方法
JP5008604B2 (ja) * 2008-05-16 2012-08-22 キヤノン株式会社 信号処理装置及び信号処理方法
GB2468304A (en) * 2009-03-03 2010-09-08 Sharp Kk Video image processing method that smooths the jagged diagonal edges created by epsilon filtering
US8600188B2 (en) * 2010-09-15 2013-12-03 Sharp Laboratories Of America, Inc. Methods and systems for noise reduction and image enhancement
WO2017085988A1 (ja) * 2015-11-17 2017-05-26 三菱電機株式会社 画像処理装置及び画像処理方法
JP6463512B2 (ja) * 2016-05-24 2019-02-06 オリンパス株式会社 画像信号処理装置、画像信号処理方法および画像信号処理プログラム

Also Published As

Publication number Publication date
JPH10232927A (ja) 1998-09-02

Similar Documents

Publication Publication Date Title
EP0849940B1 (en) An apparatus for converting gray levels of an image, a method thereof, a program storage device thereof, and an infrared camera
JP3995854B2 (ja) 画像処理方法および装置並びに記録媒体
JP3221291B2 (ja) 画像処理装置、画像処理方法、ノイズ除去装置及びノイズ除去方法
JP3700804B2 (ja) 画像処理方法および装置
US9185265B2 (en) Image processing method and image processing apparatus for performing a tone correction to acquire a combined image
JP2001118062A (ja) ダイナミックレンジ自動圧縮方法
JP3485454B2 (ja) 画像階調変換装置、画像階調変更方法およびその方法を実行させるプログラムを記録した媒体ならびに赤外線カメラ
US20080170801A1 (en) Automatic digital film and video restoration
JPH11505357A (ja) ピクセルレベルの明度調整のための装置および方法
JP2002300402A (ja) 画像処理装置、方法及び記録媒体
US7418122B2 (en) Image processing apparatus and method
JP3033967B2 (ja) 画像信号を処理する方法と装置
JPH10191100A (ja) 映像信号処理方法
KR101493694B1 (ko) 이미지 처리장치, 이미지 처리방법 및 처리방법을실행시키기 위한 프로그램을 저장한 기록매체
JP3700798B2 (ja) 画像処理方法および装置
JP3738791B2 (ja) 画像処理方法および装置
JP2008028626A (ja) 画像処理装置、画像処理方法及びプログラム
JP3783116B2 (ja) 放射線画像強調処理方法および装置
JPH07306938A (ja) 画像処理方法及び画像処理装置
JP2000307868A (ja) 画像処理方法および装置
JP2790604B2 (ja) 画像処理装置
JPH0950519A (ja) 画像処理装置及び方法
JP5159647B2 (ja) 画像処理装置及び画像処理方法
JPH1141541A (ja) 画像処理方法、画像処理装置、画像収集装置、及び画像処理システム
JP4303061B2 (ja) 画像処理装置および方法並びにプログラム

Legal Events

Date Code Title Description
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20030916

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20071024

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20081024

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20081024

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20091024

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20091024

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101024

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101024

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111024

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111024

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121024

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121024

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131024

Year of fee payment: 10

LAPS Cancellation because of no payment of annual fees