JP4418639B2 - 撮像装置及び撮像方法 - Google Patents

撮像装置及び撮像方法 Download PDF

Info

Publication number
JP4418639B2
JP4418639B2 JP2003101637A JP2003101637A JP4418639B2 JP 4418639 B2 JP4418639 B2 JP 4418639B2 JP 2003101637 A JP2003101637 A JP 2003101637A JP 2003101637 A JP2003101637 A JP 2003101637A JP 4418639 B2 JP4418639 B2 JP 4418639B2
Authority
JP
Japan
Prior art keywords
output
row
line noise
imaging
line
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2003101637A
Other languages
English (en)
Other versions
JP2004007551A (ja
Inventor
功 小林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2003101637A priority Critical patent/JP4418639B2/ja
Publication of JP2004007551A publication Critical patent/JP2004007551A/ja
Application granted granted Critical
Publication of JP4418639B2 publication Critical patent/JP4418639B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Measurement Of Radiation (AREA)
  • Image Input (AREA)
  • Image Processing (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Facsimile Image Signal Circuits (AREA)
  • Image Analysis (AREA)

Description

【0001】
【発明の属する技術分野】
本発明は、ファクシミリ、デジタル複写機、スチールカメラ或いは放射線撮像装置等の二次元の撮像装置及び撮像方法に関するものであって、特に可視光もしくは放射線により像を形成する撮像装置及び撮像方法に関するものである。
【0002】
【従来の技術】
従来、CCD型センサ、MOS型センサに代表されるSi単結晶センサや、水素化アモルファスシリコン(以下、a−Siと記す)のPIN型センサを用いた撮像素子を、二次元に並べた大型センサを用いた撮像装置が各種実用化されている。これらの撮像装置は可視光の像を形成するのみならず、原子力開発、放射線医療機器及び非破壊検査の発達に伴い放射線像を電気信号に変換する撮像装置として使用されている。
【0003】
しかしながら、それらの機器におけるS/Nは2〜3桁のものが多く、それ以上のS/Nは求められていなかった。これは、高S/Nの出力を高精度でデジタル化するのに適したA/D変換器がなかったり、或いは変換後のデータ量が大量になるため、メモリの制限や通信の制限を受けてしまい、使い勝手が悪く、その結果、高S/Nの撮像装置の必要性が小さかったためである。
【0004】
【発明が解決しようとする課題】
ところで、近年、大容量のメモリや高速な通信の開発は目覚ましく、これに伴い、4〜5桁の高S/Nを持つ撮像装置の要求が高まっている。しかしながら、特に、ライン単位でS/H回路を有する撮像装置において、外界の環境により撮影画像にライン状のノイズが突発的に混入する場合があった。これらの外因性ノイズ源は、特に、X線撮像装置においては、隣接する撮影室内のX線の高圧電源等が挙げられる。この突発的なノイズは、何時如何なるタイミングで発生するのか判らず、偶発的に画像が乱れることが問題であった。
【0005】
また、読み出し回路内に、各列もしくは各行ごとに設けられるような基準電位を有する装置にも上記問題が発生していた。このように予めセンサパネル内での素子のばらつきなどによる装置固有のノイズと共に、突発的に発生するノイズに対する対応を検討する必要があった。
【0006】
本発明は、上記従来の問題点に鑑みなされたもので、その目的は、ラインノイズの低減された高品質な画像情報を得ることが可能な撮像装置及び撮像方法を提供することにある。
【0007】
【課題を解決するための手段】
本発明は、上記目的を達成するため、光又は放射線の入射量に応じた電荷を発生する光感知センサ又は放射線感知センサが行方向及び列方向に複数配列された二次元エリアセンサと、前記行方向に配列された複数の光感知センサ又は放射線感知センサが発生した電荷を複数の信号線でパラレルに出力した撮影出力をサンプルホールドして行毎に順次読み出すサンプルホールド回路と、を有する撮像装置であって、前記光感知センサ又は放射線感知センサの撮影出力を記憶する記憶手段と、前記記憶手段に記憶された撮影出力の前記行方向に発生し得るラインノイズの有無を検知するラインノイズ検知手段であって、X行目の光感知センサの出力値の総和とX−1行目の光感知センサの出力値の総和との差の絶対値が所定値より大きく、かつ、X行目の光感知センサの出力値の総和とX+1行目の光感知センサの出力値の総和との差の絶対値が所定値より大きい場合に、X行目にラインノイズ有りと判定するラインノイズ検知手段と、前記ラインノイズ検知手段により前記ラインノイズの有無が検知された場合に、検知した前記ラインノイズの出力量を演算する演算手段と、前記ラインノイズ検知手段により前記ラインノイズの有無が検知された場合に、演算手段によって演算された前記ラインノイズの出力量を前記ラインノイズが検知された行の各撮影出力から減ずることにより撮影出力を補正する補正手段と、を有することを特徴とする。
【0009】
また、本発明は、光又は放射線の入射量に応じた電荷を発生する光感知センサ又は放射線感知センサが行方向及び列方向に複数配列された二次元エリアセンサと、前記行方向に配列された複数の光感知センサ又は放射線感知センサが発生した電荷を複数の信号線でパラレルに出力した撮影出力をサンプルホールドして行毎に順次読み出すサンプルホールド回路と、を有する撮像装置を用いて、放射線もしくは可視光を照射して撮影を行なう撮影方法であって、記憶手段に記憶された撮影時の撮影出力に対して、X行目の光感知センサの出力値の総和とX−1行目の光感知センサの出力値の総和との差の絶対値が所定値より大きく、かつ、X行目の光感知センサの出力値の総和とX+1行目の光感知センサの出力値の総和との差の絶対値が前記所定値より大きい場合に、X行目にラインノイズ有りと判定することにより、前記行方向に発生し得るラインノイズの有無を検知し、前記ラインノイズの有無検知された場合には前記ラインノイズの出力量を演算し、演算処理回路で前記出力量を前記ラインノイズが検知された行の各撮影出力から減ずることにより、前記記憶した撮影出力の前記ラインノイズを除去することを特徴とする。
【0010】
本発明においては、先ず撮影を行い、撮影した画像からラインノイズの情報を抽出し、その画像にラインノイズが含まれているかどうかを検知し、ラインノイズが含まれている場合には、そのラインのラインノイズ量を補正することにより、ラインノイズの減算された高品質な画像情報が得ることができる。
【0011】
【発明の実施の形態】
以下、本発明の実施の形態について図面を参照して詳細に説明する。
【0012】
(第1の実施形態)
図1は本発明による撮像装置の第1の実施形態の全体構成を示すシステムブロック図である。第1の実施形態では、医療用X線診断を目的とする放射線撮像装置を例として説明する。
【0013】
図1において、102はX線源であり、撮影スイッチ105によりX線パルスのオン、オフが制御され、制御回路107によりX線源102内の管球の管電圧、管電流が制御される。X線源102で発したX線は診断対象となる患者である被写体101を透過し、X線を可視光に変換するCsI、Gd22S等で構成される蛍光体103に入射する。
【0014】
この時、被写体101を透過するX線は被写体101の内部の骨や内臓の大きさや形、病巣の有無により透過量が異なりそれらの像情報を含んでいる。なお、ここでは放射線してX線を用いているが、α線、γ線等を用いることも可能である。これは、以下の実施形態においても同様である。
【0015】
患者を透過して、その情報を含んだX線は蛍光体103により可視光に変換され、二次元エリアセンサ104に入射する。二次元エリアセンサ104は二次元に配列された複数のセンサとそれらを駆動する駆動回路から成っていて、像情報光を被写体の二次元情報を含む電気信号に変換して出力する。二次元エリアセンサ104は制御回路107により蓄積時間や駆動スピードが制御される。二次元エリアセンサ104の出力はメモリ回路110に記憶される。図1では、蛍光体と二次元エリアセンサは離して描かれているが、密着して構成するほうが好適である。
【0016】
次に、メモリ回路110に記憶されている二次元エリアセンサ104の撮影出力にラインノイズが存在しているかをラインノイズ検知手段111により検知する。ここで、メモリ回路110、ラインノイズ検知手段111、演算処理回路112は、破線で囲んで示すように補正回路113を構成するものであり、各々制御回路107により制御される。上述したようにラインノイズとしては、読み出し動作を行なっている際の外因性ノイズが多く、特に医療用放射線撮像装置の場合においては、放射線源の高圧電源等によるものが多い。
【0017】
二次元エリアセンサ104には、センサ出力をサンプルホールドして読み出すサンプルホールド回路を含む読み出し回路が設けられている。二次元エリアセンサ104はn行(row)m列(column)の複数のセンサから成っており、サンプルホールド回路は行(row)方向に配列され、各々のセンサ出力がサンプルホールドして読み出される。
【0018】
即ち、二次元エリアセンサ104の信号を読み出す場合は、複数の信号線から信号電荷がパラレルに転送され、サンプルホールド回路により行方向のセンサ出力が1ライン毎に順次読み出され、順次メモリ回路110に記憶させて全てのラインの撮像出力がメモリ回路110に記憶される。したがって、電荷がサンプルホールド用容量に蓄積されている時に、外因性ノイズが発生した場合には、その蓄積されている信号電荷全てが影響を受けることとなり、すなわちラインノイズとなる。
【0019】
メモリ回路110に記憶されている二次元エリアセンサ104の撮影出力に、ラインノイズの存在がラインノイズ検知手段111により検知された場合は、そのラインノイズの量が演算処理回路112により求められる。次に、演算処理回路112により求められたラインノイズの量を、メモリ回路110に記憶しておいた二次元エリアセンサ104の撮影出力のラインノイズが存在するラインの撮影出力のみから減ずることにより、二次元エリアセンサ104の撮影出力においてラインノイズが減算された撮影出力を得ることが可能となる。すなわち、放射線源等に用いる高電圧源が存在するような撮影室においても好適な画像を得ることが可能となる。
【0020】
図2は補正回路113の補正動作を示すフローチャートである。まず、図1で説明したように二次元エリアセンサ104の撮影出力をメモリ回路110に記憶させる(S1)。ここで、二次元エリアセンサ104の各センサの個数をn行m列とすると、全ての撮影出力は、
DAT(1,1),DAT(2,1),・・・DAT(m,1)
・・・・・
DAT(1,n),DAT(2,n),・・・DAT(m,n)
となる。
【0021】
次いで、メモリ回路110に記憶されている二次元エリアセンサ104の撮影出力にラインノイズが存在しているかをラインノイズ検知手段111により検知する(S2)。これは、まず、各行の出力値の和:
Δ(DAT(1,n)+・・・+DAT(m,n))=SUMrown
を求める。
【0022】
即ち、全ての行の出力値の和:
SUMrow(1),SUMrow(2),・・・SUMrow(n)
を求める。
【0023】
次に、x行目を基準にした両隣の行の出力値の和との比較、即ち、各ラインにおける出力値の総和のライン間比較:
ΔSUMrow(x-1,x)=| SUMrow(x-1)−SUMrow(x)|>A
ΔSUMrow(x,x+1)=| SUMrow(x)−SUMrow(x+1)|>A
を行う。ここで、Aの値はメモリ回路110に記憶されている二次元エリアセンサ104の撮影出力に応じて適宜決定する。そして、
(ΔSUMrow(x-1,x)=| SUMrow(x-1)−SUMrow(x)|>A)
(ΔSUMrow(x,x+1)=| SUMrow(x)−SUMrow(x+1)|>A)
の場合、すなわち、x行目とx-1行目及びx行目とx+1行目の出力の差を基準値Aと比較して、両者がAよりも大きい時にはラインノイズがX行に存在することが判る。
【0024】
次に、X行に重畳されているラインノイズの量を求める(S3)。即ち、X行のラインの両隣のラインの出力値の総和を2で割ることにより、X行の予想値の和(平均値):
SUMSrow(x)=(SUMrow(x-1)+SUMrow(x+1))/2
を求める。
【0025】
次に、それをエリアセンサの列数mで割ることによりX行の予想値(1つのセンサ出力の平均値):Srow(x)=(SUMSrow(x))/m
を求める。
【0026】
ここで、X行における撮影出力の総和を列数mで割った値から、X行の予想値を減ずることによりX行におけるラインノイズ出力値(補正値):
Nrow(x)=(SUMrow(x)/m)−Srow(x)
を求めることができる。
【0027】
次に、撮影出力の補正を行う(S4)。即ち、X行におけるラインノイズ出力値(補正値)を、メモリ回路110に記憶しておいた二次元エリアセンサ104の撮影出力のラインノイズが存在するラインの撮影出力のみから減ずることにより、補正後の撮影出力:
DAT(1〜m,x)=DAT(1〜m,x)−Nrow(x)
が得られる。従って、二次元エリアセンサ104の撮影出力においてラインノイズが減算された撮影出力を得ることが可能となる。
【0028】
このように本実施形態によれば、先ず撮影を行い、撮影した画像からラインノイズの情報を抽出し、その画像にラインノイズが含まれているかどうかを検知し、含まれている場合には、そのラインのノイズ量を補正することにより、突発的に発生した外因性などによるラインノイズの減算された高品質な画像情報を得ることができる。即ち、放射線源等に用いる高電圧源が存在するような撮影室においても好適な画像を得ることが可能となる。
【0029】
図3は第1の実施形態の放射線撮像装置で撮影した画像の一例を模式的に示す。この画像からラインノイズが存在することを確認できる。即ち、図3における横方向の筋状の画像が外因性ノイズによる画像の乱れを示す。この撮影を行なったセンサパネルはスイッチ素子の駆動回路は左右に配され、サンプルホールド回路を含む読み出しICは、上下に配される。つまり、電荷がサンプルホールド用容量に蓄積されている時に、外因性ノイズが発生し、その蓄積されている信号電荷全てが影響を受けて、信号線と直交する方向、スイッチ素子の駆動線と平行にラインノイズが発生したと考えらえる。この画像において全センサの撮影出力を行(column)方向に足し合わせたデータSUMrowが図4である。図4を見ると、行(row)650あたりにラインノイズの存在を確認できる。体内構造は、行方向の平均を算出した場合、図4に示されるような急峻な像情報は含まれないため、ラインノイズとして判断される。
【0030】
図5は二次元エリアセンサ104の構成を示す全体回路図の一例を示す。図6(a)は二次元エリアセンサ104中の1画素に相当する各構成素子の平面図、図6(b)はその断面図である。
【0031】
図5において、S1-1〜S3-3は可視光を受光し電気信号に変換するためのG電極とD電極を有する光電変換素子であり、T1-1〜T3-3は光電変換素子で光電変換された信号電荷を、マトリクス信号配線M1〜M3側へ転送するためのスイッチ素子である。G1〜G3はシフトレジスタ(SR1)に接続され且つスイッチ素子T1-1〜T3-3に接続されたスイッチのゲート駆動用配線である。マトリクス信号配線M1には、スイッチ素子の電極間容量(Cgs)の3個分の容量が転送時において付加されており、図5内では容量素子としての表記をしていない。他のマトリクス信号配線M2、M3についても同様である。
【0032】
502はスイッチ素子T1-1〜T3-3を開閉するためのシフトレジスタ(SR1)で構成される駆動用回路部である。507は読み出し回路であってA1〜A3はオペアンプであり、Sn1からSn3はオペアンプA1〜A3の出力すなわち各マトリクス信号配線M1〜M3の出力を読み出し、読み出しコンデンサCL1〜CL3へ転送する転送スイッチである。この読み出し用コンデンサにおいてサンプルホールドする。このサンプルホールド用の容量の一端が基準電位、ここでは接地されている。外因性ノイズがある場合には、この基準電位に影響を及ぼすため、ラインノイズが発生すると考えられる。
【0033】
503は読み出し用スイッチSr1〜Sr3を切り替えるためのシフトレジスタ(SR2)である。CL1〜 CL3の並列信号は、Sr1〜Sr3とシフトレジスタ(SR2)503により直列変換され、最終段の電圧ホロワ回路を構成したオペアンプ504に入力され、さらにA/D変換回路部505でデジタル化される。RES1〜RES3はマトリクス信号配線M1〜M3に付加された容量(3個分のCgs)に蓄えられた信号成分をリセットするためのリセット用スイッチであり、CRES端子からのパルスによりあるリセット電位にリセット(図中ではGND電位にリセット)される。
【0034】
また、506Aは光電変換素子S1-1〜S3-3にバイアスを与えるための電源、506Bは光電変換素子のリフレッシュバイアスを与えるための電源である。リフレッシュ時においては、スイッチ素子Tがオンとなり同時にRESもオンとなり光電変換素子のG電極が一定電位に固定され(ここでは接地)、VREF506Bのバイアスが光電変換素子に印加されてリフレッシュが行なわれる。
【0035】
本実施形態の二次元エリアセンサは計9個の画素を3つのブロックに分け、1ブッロク当たり3画素の出力を同時にパラレルに転送し、この信号配線を通して検出用集積回路によって順次出力に変換され出力される。また、1ブロック内の3画素を横方向に配置し、3ブロックを順に縦に配置することにより各画素を二次元的に配置している。
【0036】
また、読み出し回路の別の構成例を図14に示す。図14において、612が図5のマトリクス配線と接続される複数の端子、603は端子612を介して転送された並列信号を直列信号に変換して出力する読み出し用回路部、E1〜E3は各端子612に接続された複数の演算増幅器において、端子612に対して初段である第1演算増幅器、Cf1は第1演算増幅器E1〜E3の反転入力端子と出力端子との間に接続された第1積分容量、SRES1〜SRES3は各第1積分容量Cf1の第1リセットスイッチ、CRESはSRES1、SRES2、SRES3に印加する制御信号、VREF1は第1演算増幅器E1〜E3の正転入力端子が設定された第1基準電圧、Sn1〜Sn3は第1演算増幅器E1〜E3を通して出力された出力信号をサンプリングするサンプリングスイッチ、SMPLはサンプリングスイッチSn1〜Sn3に印加する電圧パルス、CL1〜CL3はサンプリングコンデンサ、B1〜B3はサンプリングコンデンサCL1〜CL3に蓄積された信号電荷をインピーダンス変換するバッファアンプ、Sr1〜Sr3はバッファアンプB1〜B3の出力を直列信号として順次読み出す読み出し用スイッチ、604は読み出し用スイッチ駆動用回路部(シフトレジスタ:SR2)、605は出力バッファアンプ、613は出力バッファアンプ605から出力された出力信号を用途に応じて他の回路に接続させるための端子である。
【0037】
又、606はA/D変換回路部であり、本実施形態においては読み出し用回路部603からの出力信号はA/D変換回路部に接続されているがその限りではない。例えば、A/D変換回路部606が読み出し用回路部603の中に含まれて構成され、端子613を介して処理回路例えばメモリ等に接続されることできる。また演算増幅器をEとBのアンプの間に更に多段に設けても良い。
【0038】
図14の例では、サンプルホールド用のコンデンサCLの一方の端子が基準電位(ここでは接地)になっているため、突発的な外因性ノイズが発生した場合には、この基準電位に影響を及ぼすためにラインノイズが発生する恐れがある。
【0039】
次に、センサパネルの具体的な構成について説明する。図5中破線で囲む部分は大面積の同一絶縁基板上に形成されているが、このうち第1画素に相当する部分の平面図を図6(a)に示す。S11は光電変換素子、T11はTFT、SIGは信号配線(マトリクス配線)である。本実施形態においては光電変換素子S11の電極の面積を大きくすることによりコンデンサC11を形成している。
【0040】
これは、本実施形態の光電変換素子とコンデンサが同じ層構成であるから可能で、本実施形態の特徴でもある。また、図中A−B線における断面図を図6(b)に示す。画素上部にはパッシベーション用窒化シリコン膜SiN8、CsI、Gd22S等の蛍光体12が形成されている。紙面上方より像情報の含まれるX線13が入射すると蛍光体12により像情報を有する光14に変換され、この光が光電変換素子に入射する。蛍光体12は図1の蛍光体103に対応する。
【0041】
ここで、図6に基づいて各素子の形成方法について順に説明する。まず、絶縁材料であるガラス基板1上にスパッタ等により下部メタル層2としてCrを約50nm堆積させ、その後フォトリソによりパターニングし、不必要なエリアをエッチングする。これにより、光電変換素子S11の下部電極、TFT・T11のゲート電極及びコンデンサC11の下部電極を形成する。
【0042】
次に、CVDにより同一真空内でSiN(7)/i(4)/n(5)層をそれぞれ約200/500/50nm堆積する。これら各層は光電変換素子S11の絶縁層/光電変換半導体層/ホール注入阻止層、TFT・T11のゲート絶縁膜/半導体層/オーミックコンタクト層、及びコンデンサC11の中間層となる。また、信号配線のクロス部絶縁層としても使われる。各層の厚さはこれに限らず二次元エリアセンサとして使用する電圧、電流、電荷、入射光量等により最適に設計するが、少なくともSiNは電子とホールが通過できず、また、TFTのゲート絶縁膜として機能する50nm以上が必要である。
【0043】
各層堆積後、上部メタル層6としてAlをスパッタ等で約1μm堆積させる。更に、フォトリソによりパターニングし、不必要なエリアをエッチングし、光電変換素子S11の上部電極、TFT・T11の主電極であるソース電極並びにドレイン電極、コンデンサC11の上部電極及び信号配線SIGを形成する。
【0044】
また、TFT・T11のチャネル部のみn層をRIEでエッチングし、その後不必要なSiN(7)/i(4)/n(5)層をエッチングし、各素子を分離する。これで光電変換素子S11、TFT・T11及びコンデンサC11が完成する。以上、第一画素目について説明したが他の画素についても同時に形成することは言うまでもない。また、耐久性を向上するため通常各素子の上部がSiN等のパッシベーション膜8で覆われ、更に、CsI、Gd22S等の蛍光体12が形成される。
【0045】
本実施形態では、光電変換素子、TFT、コンデンサ及び信号配線SIGとが同時に堆積された共通の下部メタル層2、SiN(7)/i(4)/n(5)層、及び上部メタル層6と各層のエッチングのみで形成することができる。また、光電変換素子S11内に注入素子層が1カ所しかなく、且つ、同一真空内で形成できる。更に、TFTの特性上重要なゲート絶縁膜/i層界面も同一真空内で形成できる。また、コンデンサC11の中間層が熱によるリークの少ない絶縁層を含んでいるため良好な特性のコンデンサが得られる。
【0046】
次に、図1、図5及び図7によって本実施形態の放射線撮像装置の動作について説明する。本実施形態の光電変換素子は定期的にリフレッシュ駆動を行なう構成となっている。光電変換モードにおいては入射した光に比例した光電流を出力する光センサとして動作する。図7は本実施形態の動作を示すタイミングチャートである。
【0047】
まず、医師または技師は診断対象である患者、つまり被写体101をX線源102と二次元エリアセンサ104の間に位置させて診断したい部位が観察できるように被写体にポーズさせる。同時に、前もって問診等で得た患者の症状、体格、年齢や得たい情報を考慮し、最適な撮影出力が得られるように条件を制御パネル(図示せず)に入力する。この信号は電気信号で制御回路107に電送され、同時に条件メモリ回路(図示せず)にこれら条件が記憶される。
【0048】
この状態で医師または技師が撮影スイッチ105を押すと、撮影モードが開始される。まず、制御回路107は二次元エリアセンサ104を上述したようにリフレッシュ動作させる。その後、光電変換モードとなり、光電変換素子S1-1〜S3-3で光電変換された信号電荷は、光電変換素子内で形成されている容量成分に一定の期間だけ蓄積される。
【0049】
第1行の光電変換素子S1-1〜S1-3に蓄積されていた信号電荷は、シフトレジスタ(SR1)502のゲートパルス信号G1によりスイッチング素子T1-1〜T1-3がONし、マトリクス信号配線M1〜M3の各配線に形成される容量成分(スイッチング素子T1-1〜T3-3のCgs3個分の容量)に転送される。図7中、M1〜M3はその転送の様子を示しており、各光電変換素子内に蓄えられた信号量が異なった場合を示している。マトリクス信号配線M1〜M3の信号出力は、それぞれオペアンプA1〜A3によりインピーダンス変換される。
【0050】
その後、読み出し用回路部507内のスッチイング素子Sn1〜Sn3が、図7中に示されるSMPLパルスによりONし、読み出しコンデンサCL1〜CL3にそれぞれ転送される。読み出しコンデンサCL1〜CL3の信号は、それぞれバッファアンプB1〜B3によりインピーダンス変換される。その後読み出し用スイッチSr1〜Sr3がシフトレジスタ(SR2)503からのシフトパルスにより順次ONすることにより、読み出し用コンデンサCL1〜CL3に転送されていた並列の信号電荷が、直列変換され読み出される。直列変換された信号は最終段のオペアンプ504から出力され、さらにA/D変換回路部105によりデジタル化される。
【0051】
図7中に示されたVoutはA/D変換回路部に入力される前のアナログ信号を示している。第1行のS1−1〜S1−3の並列信号すなわちマトリクス信号配線M1〜M3の信号電位の並列信号が、それらの信号の小に比例してVout信号上で、直列変換されている。最後に、マトリクス信号配線M1〜M3の信号電位はCRESパルスがONすることによりリセット用スイッチ素RES1〜RES3を介して一定のリセット電位(GND電位)にリセットされ、次の光電変換素子S2−1〜S2−3の第2行の信号電荷の転送に備える。以下同様に第2行、第3行の光電変換された信号が繰り返し読み出される。
【0052】
これらの出力は、撮影出力記憶手段である図1に示したメモリ回路110に記憶される。この後、図1及び図2で説明したようにメモリ回路110に記憶しておいた二次元エリアセンサ104の撮影出力において、ラインノイズが存在しているかどうかをラインノイズ検知手段111により検知する。そして、メモリ回路110に記憶しておいた二次元エリアセンサ104の撮影出力において、確認できた場合には、そのラインノイズの量が演算処理回路112により求められる。
【0053】
最後に、X行におけるラインノイズ出力量を、メモリ回路110に記憶しておいた二次元エリアセンサ104の撮影出力のラインノイズが存在するラインの撮影出力のみから減ずることにより、補正後の撮影出力を得ることができる。即ち、二次元エリアセンサ104の撮影出力においてラインノイズが減算された撮影出力を得ることが可能となる。
【0054】
このように本実施形態によれば、先ず撮影を行い、撮影した画像からラインノイズの情報を抽出し、その画像にラインノイズが含まれているかどうかを検知し、ラインノイズが含まれている場合には、そのラインのノイズ量を補正することにより、ラインノイズの減算された高品質な画像情報が得ることができる。
【0055】
また、図1における補正回路113及び制御回路107の少なくとも一つを二次元エリアセンサ104と蛍光体103が含まれる筐体の中に含むようなカセッテ構造にすれば、可搬性が向上し好ましい。
【0056】
(第2の実施形態)
次に、本発明の第2の実施形態について説明する。第2の実施形態は撮像手段が蛍光体と二次元エリアセンサを用いた構成ではなく、X線を直接検知して電荷を発生する撮像手段を用いた放射線撮像装置の形態である。本実施形態においても医療用X線診断を目的とする放射線撮像装置を例として説明する。
【0057】
図8は直接型の放射線撮像装置に用いる1画素を示す等価回路図である。図8において、S11は放射線を電気信号に変換するGaAsセンサ素子であり、センサ素子で感知した電気信号を蓄積する素子が蓄積容量C11である。更に、蓄積容量C11から増幅するアンプ(Amp)へ電気信号を転送する素子がトランジスタT11である。
【0058】
また、センサ素子を構成するGaAs基板と蓄積容量C11及び転送用トランジスタT11を構成するガラス基板を導電性接着剤で接合する構成としている。そのため、GaAs基板とガラス基板との接合抵抗をr11としており、センサ素子S11と接合抵抗をr11とを合わせてセンサ部R11として図8中の破線で示している。
【0059】
図9は図8における画素部分の模式的断面図である。図8で説明したそれぞれの素子は、センサ素子S11と接合抵抗をr11とを合わせたセンサ部R11に相当するセンサ部と、蓄積容量C11に相当する蓄積容量と、転送用トランジスタT11に相当するトランジスタ903である。
【0060】
また、GaAs基板902の共通電極905と、GaAsセンサ素子によって変換された電気信号を収集する電荷収集電極906と、GaAs基板902とガラス基板915とを電気的に接続する導電性接着剤907と、蓄積容量からの電気信号の読み出しを制御するトランジスタ903に接続されている接合電極908とが示されている。
【0061】
更に、ガラス基板915に形成された蓄積容量及びトランジスタ903の層構成は、第1層のメタル層が904であり、その上に堆積される絶縁層が920であり、更にその上に真性半導体層930が堆積されている。
【0062】
図10は図8、図9の画素を用いた二次元エリアセンサの一例を示す構成図である。この二次元エリアセンサは、2000個×2000個の画素を有し、2000個×2000個のセンサ素子と2000個×2000個の転送回路(薄膜トランジスタ:TFT)と2000個のコンデンサとを有する。センサ素子は図8のセンサ部R11、TFTはトランジスタT11、コンデンサは蓄積容量C11に対応する。これらの各素子によって二次元エリアセンサが構成されている。なお、図10のAmpは図8のAmpに対応する。
【0063】
更に、TFTを駆動する垂直駆動回路704、TFTから出力された信号を読み取る読み取り回路700、電源703、X線二次元エリアセンサの制御及び2次元エリアセンサから出力された信号を受け取り2次元画像として表示と保存と画像の補正、二次元エリアセンサの制御を司るコンピュータ705からなっている。読み取り回路700はセンサ部の信号をサンプルホールドするサンプルホールド回路702、Ampを含んでいる。
【0064】
2次元のX線画像を得るには、1本のゲート線gに+15Vの電圧を印加し、ゲート線に接続されているTFTをオンにし、センサ素子からコンデンサに蓄積された電気信号を、信号転送線(Sig1〜Sig2000)を介し、読み取り回路700のサンプルホールド回路702に転送する。信号の転送は一定時間TFTをオン状態にした後、ゲート線に−5Vを印加しTFTをオフして終了する。
【0065】
更に、サンプルホールド回路702からマルチプレクサ(図示せず)によって信号は順次転送される。この動作を順次繰り返すことで、X線2次元画像を得ることができる。この例において、電気信号を蓄積するコンデンサはMIS型であり、一定電位電極は接地されているのでデプレッション(空乏)状態で常に使用することになる。
【0066】
ここで、本実施形態において、図10の構成は第1の実施形態における図1の二次元エリアセンサ104に相当する。また、図10のコンピュータ705は図1の制御回路107に相当する。従って、図10では前述のように直接型の放射線検出素子を用いた二次元エリアセンサについて説明したが、第2の実施形態の全体の構成としては図1の二次元エリアセンサ104の代わりに図10の構成を用い、その他の構成は図1と同じ構成する。但し、直接型の放射線検出素子を用いているため図1の蛍光体103は不要である。
【0067】
また、第2の実施形態においてもラインノイズを検知し、そのラインノイズを補正することは、第1の実施形態と全く同様である。このように直接型の放射線撮像装置においても、ラインノイズの減算された高品質の画像を得ることができる。
【0068】
(第3の実施形態)
図11は直接型の放射線撮像装置の更に他の実施形態を示す図である。なお、図11は直接型の放射線撮像装置の2画素分の断面図であり、センサ素子及び蓄積用コンデンサ及びTFTの層構成を示す。図11のセンサ素子としては半導体であるシリコン(Si)、ガリウムヒ素(GaAs)や、ガリウムリン(GaP)等が適応できるが、ここではGaAsを用いて説明する。
【0069】
センサ素子はGaAsウェハーを用いて、まず、上から保護層200、アルミニウム(Al)等の金属材料によって形成された上部電極層201、GaAs基板と前記上部基板をオーミックコンタクトを取るためのp+型GaAs層203、光電効果によりキャリアを発生する光電変換層204、n型GaAs層205、下部接続電極とオーミックコンタクトを取るためのn+型GaAs層206、及び、アルミニウムなどの金属電極で形成される下部接続電極207からなるPIN型ダイオードになっている。
【0070】
まず、半絶縁性GaAs基板または低ドーピングのp型GaAs基板上にn型GaAs層300nm、n+型GaAs層を100nm、分子線エピタキシー法(MBE法)や液相エピタキシー法(LPE法)等で順次堆積する、その後、リソグラフィーによりパターニングし、各電極に対応した形状にエッチングする。更に、シリコン窒化膜(SiNx)を化学気相堆積法(CVD法)で1μm堆積し表面を保護する。
【0071】
次に、基板の反対面にp型GaAs層を分子線エピタキシー法(MBE法)や液相エピタキシー法(LPE法)で300nm、アルミニウム等の金属層を1μm、スパッターで順次堆積する。n型GaAs層を堆積した側のシリコン窒化膜をエッチングにより開口し、下部接続電極となるアルミニウム等の金属層をスパッター等で1μm堆積する。更に、リソグラフィーによりパターニング後、不要部分をエッチングし電極を形成する。
【0072】
下側の電気回路基板は、少なくとも表面が絶縁である基板210上に、蓄積用コンデンサ及びスイッチング素子である薄膜トランジスタ(TFT)と、信号を転送するための配線等が形成されている。層構成はそれぞれ、絶縁基板上にクロム(Cr)等からなる蓄積用コンデンサの下部電極211とTFTのゲート電極216、絶縁層であるアモルファス窒化シリコン(a-SiNx)層212、217、TFTのチャネル層や蓄積用コンデンサの誘電体層となる水素化アモルファスシリコン(a-Si:H)層213、218、上部電極のオーミックコンタクトを取るためのn+型a-Si:H層214、219、蓄積用コンデンサの上部電極及びTFTのソース電極及びドレイン電極となるAl等の金属からなる電極層215、220、及び、保護層となるa-SiNx層221、光電変換層と接続のための上部接続電極層222からなっている。上部接続電極層はコンタクトホールを介して蓄積用コンデンサの下部電極と接続される。
【0073】
また、少なくとも表面が絶縁である基板上にCr等の金属をスパッタにより100nm形成する、リソグラフィーでパターニングした後、エッチングし蓄積用コンデンサの下部電極とTFTのゲート電極に分離する。次に、絶縁層となるa-SiNx層300nm,a-Si:H層300nm、n型a-Si:H層75nmを順次CVD法で堆積する。リソグラフィーでパターニングした後、リアクティブイオンエッチング(RIE)でエッチングし、蓄積用コンデンサとTFTに分離し、更にTFTと蓄積用コンデンサを接続するためのコンタクトホールをRIEで形成する。
【0074】
更に、Alをスパッターで1μm堆積しリソグラフィーでパターニングした後、エッチングし、TFTのソース電極、ドレイン電極、蓄積用コンデンサの上部電極及び信号転送配線に分離する。また、保護層となるa-SiNxをCVD法で堆積しRIEを用いて下部電極と上部接続電極とを繋ぐためのコンタクトホールをRIEを用いて形成する。更に、上部接続電極となるAl等の金属層をスッパター等で体積し、リソグラフィーでパターニングした後、RIEで不要な部分をエッチングし上部接続電極層を形成する。
【0075】
ここで、図11では2画素分のみ図示しているが、実際には撮影に必要な多数の画素が同時に形成されることは言うまでもない。また、各層の厚さは、これに限らず最適な膜厚を用いるものとする。
【0076】
センサ素子とTFTの接続方法は、センサ素子にバンプ208を形成し、異方導電接着剤で両者を電気的に接続する。バンプはセンサ素子に金(Au)1μm、パラジウム(Pd)、チタン(Ti)からなるバリアメタルを形成した後、15μm高さのAuのバンプを形成する。
【0077】
図12はGaAs基板のセンサ素子を、図13は下側の電気回路基板をそれぞれ両者の接続側から見た模式図を示す。図12に示すようにセンサ素子のキャリア供給電極はすだれ状になっており、すべて同電位が与えられる。電圧は310を介してTFTから供給される。
【0078】
下側の電気回路基板は、TFT407、蓄積用コンデンサ408からなる画素、TFTのゲート電極にバイアスを供給するゲートバイアス線400〜402、TFTから出力された電気信号を読み出し、回路へ転送するための信号転送線403〜405、蓄積用コンデンサの上部電極と接続され、電位を固定するための電極406、センサ素子と接続され、キャリア供給電極に電圧を与える電極等で構成されている。
【0079】
電極406、ゲート電極400〜402は蓄積用コンデンサの下部電極と同じ材料で、信号転送線は蓄積用コンデンサの上部電極と同じ材料で形成され、それぞれ下部電極及び上部電極の形成時に作られる。
【0080】
なお、図12及び図13において、3×3画素の例を示したが、実際の画素数はこれに限らない。また、TFTからキャリア供給電極へ電圧を供給する方法を示したが、本発明はこれに限らず、何らかの方法でセンサ素子から直接、電源へ接続する方法でも構わない。
【0081】
ここで、図11〜図13では、直接型の放射線検出素子を用いた二次元エリアセンサについて説明したが、これは第1の実施形態の二次元エリアセンサ104に相当する。従って、第3の実施形態の全体の構成としては図1の二次元エリアセンサ104の代わりに図11〜図13の二次元エリアセンサを用い、その他の構成は図1と同じ構成する。但し、直接型の放射線検出素子を用いているため図1の蛍光体103は不要である。
【0082】
また、第3の実施形態においてもラインノイズを検知し、その外因性ラインノイズを補正することは、第1、第2の実施形態と同様である。従って、第3の実施形態においてもラインノイズの減算された高品質の画像が得られる。
【0083】
【発明の効果】
以上説明したように本発明によれば、先ず、撮影を行い、撮影した画像からラインノイズの情報を抽出し、その画像にラインノイズが含まれているかを検知し、ラインノイズが含まれている場合には、そのラインのラインノイズ量を補正することにより、ラインノイズが減算された高品質な画像情報が得られ、高性能な撮像装置を実現することができる。
【図面の簡単な説明】
【図1】本発明の撮像装置の第1の実施形態を示す全体システムブロック図である。
【図2】第1の実施形態の補正回路の動作を説明するフローチャートである。
【図3】第1の実施形態の撮像装置で撮影した画像の一例を示す図である。
【図4】第1の実施形態の全センサの撮影出力を左右の行方向に足し合わせたデータである。
【図5】第1の実施形態の二次元エリアセンサの構成を示す全体回路図である。
【図6】第1の実施形態の二次元エリアセンサ中の1画素に相当する各構成素子を示す平面図及び断面図である。
【図7】第1の実施形態の動作を示すタイミングチャートである。
【図8】本発明の第2の実施形態に用いる1画素の等価回路図である。
【図9】第2の実施形態の1画素の断面図である。
【図10】第2の実施形態の二次元エリアセンサを示す等価回路図である。
【図11】本発明の第3の実施形態に用いる画素の断面図である。
【図12】第3の実施形態におけるGaAs基板のセンサ素子を、接続側から見た模式図である。
【図13】第3の実施形態における下側の電気回路基板を接続側から見た模式図である。
【図14】本発明の第1の実施形態における二次元エリアセンサの読み出し回路の他の例を示す回路図である。
【符号の説明】
101 患者
102 X線源
103 蛍光体
104 二次元エリアセンサ
105 撮影スイッチ
107 制御回路
110 メモリ回路
111 ラインノイズ検知手段
112 演算処理回路
113 補正回路
204、902 GaAs基板
210、915 ガラス基板
903 トランジスタ
905 GaAs基板の共通電極
906 GaAs基板の電荷収集電極
907 導電性接着剤
908 トランジスタ及び蓄積容量に接続されている接合電極
T11 トランジスタ
C11 蓄積容量
S11 センサ素子
R11 センサ部
g1〜g2000 制御線
sig1〜sig2000 読み出し信号線

Claims (3)

  1. 光又は放射線の入射量に応じた電荷を発生する光感知センサ又は放射線感知センサが行方向及び列方向に複数配列された二次元エリアセンサと、
    前記行方向に配列された複数の光感知センサ又は放射線感知センサが発生した電荷を複数の信号線でパラレルに出力した撮影出力をサンプルホールドして行毎に順次読み出すサンプルホールド回路と、を有する撮像装置であって、
    前記光感知センサ又は放射線感知センサの撮影出力を記憶する記憶手段と、
    前記記憶手段に記憶された撮影出力の前記行方向に発生し得るラインノイズの有無を検知するラインノイズ検知手段であって、X行目の光感知センサの出力値の総和とX−1行目の光感知センサの出力値の総和との差の絶対値が所定値より大きく、かつ、X行目の光感知センサの出力値の総和とX+1行目の光感知センサの出力値の総和との差の絶対値が所定値より大きい場合に、X行目にラインノイズ有りと判定するラインノイズ検知手段と、
    前記ラインノイズ検知手段により前記ラインノイズの有無が検知された場合に、検知した前記ラインノイズの出力量を演算する演算手段と、
    前記ラインノイズ検知手段により前記ラインノイズの有無が検知された場合に、演算手段によって演算された前記ラインノイズの出力量を前記ラインノイズが検知された行の各撮影出力から減ずることにより撮影出力を補正する補正手段と、
    を有することを特徴とする撮像装置。
  2. 前記演算手段は、前記ラインノイズが検知された行をX行とする場合、X行の両隣における行の撮影出力の総和の平均値を算出すると共に、得られた平均値を列数で割算してX行の補正値を算出し、且つ、X行における撮影出力の総和を前記列数で割った値から前記X行の補正値を減算することにより、X行における前記ラインノイズの出力量を算出することを特徴とする請求項に記載の撮像装置。
  3. 光又は放射線の入射量に応じた電荷を発生する光感知センサ又は放射線感知センサが行方向及び列方向に複数配列された二次元エリアセンサと、前記行方向に配列された複数の光感知センサ又は放射線感知センサが発生した電荷を複数の信号線でパラレルに出力した撮影出力をサンプルホールドして行毎に順次読み出すサンプルホールド回路と、を有する撮像装置を用いて、放射線もしくは可視光を照射して撮影を行なう撮影方法であって、
    記憶手段に記憶された撮影時の撮影出力に対して、X行目の光感知センサの出力値の総和とX−1行目の光感知センサの出力値の総和との差の絶対値が所定値より大きく、かつ、X行目の光感知センサの出力値の総和とX+1行目の光感知センサの出力値の総和との差の絶対値が前記所定値より大きい場合に、X行目にラインノイズ有りと判定することにより、前記行方向に発生し得るラインノイズの有無を検知し、
    前記ラインノイズの有無検知された場合には前記ラインノイズの出力量を演算し、
    演算処理回路で前記出力量を前記ラインノイズが検知された行の各撮影出力から減ずることにより、前記記憶した撮影出力の前記ラインノイズを除去することを特徴とする撮像方法。
JP2003101637A 2002-04-05 2003-04-04 撮像装置及び撮像方法 Expired - Fee Related JP4418639B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2003101637A JP4418639B2 (ja) 2002-04-05 2003-04-04 撮像装置及び撮像方法

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2002103954 2002-04-05
JP2003101637A JP4418639B2 (ja) 2002-04-05 2003-04-04 撮像装置及び撮像方法

Publications (2)

Publication Number Publication Date
JP2004007551A JP2004007551A (ja) 2004-01-08
JP4418639B2 true JP4418639B2 (ja) 2010-02-17

Family

ID=30446697

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2003101637A Expired - Fee Related JP4418639B2 (ja) 2002-04-05 2003-04-04 撮像装置及び撮像方法

Country Status (1)

Country Link
JP (1) JP4418639B2 (ja)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1716434B1 (en) * 2004-02-11 2012-05-30 Philips Intellectual Property & Standards GmbH X-ray detector with photogates and dose control
JP5034173B2 (ja) * 2005-05-02 2012-09-26 株式会社島津製作所 放射線検出器の検査方法
JP5043448B2 (ja) 2006-03-10 2012-10-10 キヤノン株式会社 放射線撮像装置及び放射線撮像システム
JP2009141439A (ja) * 2007-12-03 2009-06-25 Canon Inc 放射線撮像装置、その駆動方法及びプログラム
JP5311834B2 (ja) * 2008-01-24 2013-10-09 キヤノン株式会社 撮像装置、撮像システム、信号処理方法及びプログラム
WO2010010620A1 (ja) * 2008-07-24 2010-01-28 株式会社島津製作所 光または放射線撮像装置
JP5009330B2 (ja) * 2009-03-26 2012-08-22 住友重機械工業株式会社 放射線検出装置
JP5315157B2 (ja) 2009-07-27 2013-10-16 キヤノン株式会社 情報処理装置、ライン状ノイズ低減処理方法、及びプログラム
KR101436076B1 (ko) * 2013-03-29 2014-08-29 한국과학기술원 이미지 프로세서 및 그것의 데이터 처리 방법
JP2013200901A (ja) * 2013-07-08 2013-10-03 Canon Inc 情報処理装置、情報処理装置の制御方法及びプログラム

Also Published As

Publication number Publication date
JP2004007551A (ja) 2004-01-08

Similar Documents

Publication Publication Date Title
US7855738B2 (en) Imaging device and imaging method for use in such device
EP0796000B1 (en) Photoelectric conversion apparatus and photoelectric conversion system having the apparatus
US5811790A (en) Photoelectric conversion device having thermal conductive member
US7541617B2 (en) Radiation image pickup device
JP4217506B2 (ja) 放射線撮像装置
US20060062352A1 (en) Solid-state image pickup device and radiation image pickup device
JPH10189932A (ja) 光電変換装置
JPH08116044A (ja) 光電変換装置、その駆動方法及びそれを有するシステム
JP2005326403A (ja) 変換装置
US20100329421A1 (en) Suppression of direct detection events in x-ray detectors
US20080237479A1 (en) Radiation image detection method and apparatus
JP4418639B2 (ja) 撮像装置及び撮像方法
JP4311693B2 (ja) 光電変換装置及びそのリペア方法、それを用いたx線撮像システム
JP2002350551A (ja) 放射線撮像装置及びそれを用いた放射線撮像システム
US7557354B2 (en) Radiation image detector
JP2003296722A (ja) 撮像装置及びその撮像方法
JP2002305687A (ja) 光電変換装置及びその駆動方法、放射線撮像システム
JP4314255B2 (ja) 変換装置およびx線検出システム
JP2003319270A (ja) 光感知又は放射線感知センサからなる撮像装置及びその検査方法
JP2002158340A (ja) 放射線撮像装置、光電変換装置及び放射線撮像システム
JP2004265933A (ja) 放射線検出装置
JP2007165737A (ja) 固体撮像装置
JP3372783B2 (ja) 光電変換装置及びその駆動方法及びそれを有するシステム
US20060131507A1 (en) Imaging systems and methods including an alternating pixel arrangement
JP2001320037A (ja) 変換素子、変換装置、光電変換装置及び放射線撮像システム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20060329

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20081119

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090119

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090401

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20090407

RD05 Notification of revocation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7425

Effective date: 20090427

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090529

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20090721

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20091021

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20091109

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20091124

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20091130

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121204

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131204

Year of fee payment: 4

LAPS Cancellation because of no payment of annual fees