JP4497615B2 - 画像処理装置、補正方法及び記録媒体 - Google Patents

画像処理装置、補正方法及び記録媒体 Download PDF

Info

Publication number
JP4497615B2
JP4497615B2 JP2000004545A JP2000004545A JP4497615B2 JP 4497615 B2 JP4497615 B2 JP 4497615B2 JP 2000004545 A JP2000004545 A JP 2000004545A JP 2000004545 A JP2000004545 A JP 2000004545A JP 4497615 B2 JP4497615 B2 JP 4497615B2
Authority
JP
Japan
Prior art keywords
image
correction data
image correction
correction
area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2000004545A
Other languages
English (en)
Other versions
JP2001195563A (ja
Inventor
修 辻井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2000004545A priority Critical patent/JP4497615B2/ja
Priority to US09/750,168 priority patent/US6570150B2/en
Publication of JP2001195563A publication Critical patent/JP2001195563A/ja
Application granted granted Critical
Publication of JP4497615B2 publication Critical patent/JP4497615B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/90Dynamic range modification of images or parts thereof
    • G06T5/94Dynamic range modification of images or parts thereof based on local image properties, e.g. for local contrast enhancement
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/30Transforming light or analogous information into electric information
    • H04N5/32Transforming X-rays
    • H04N5/3205Transforming X-rays using subtraction imaging techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10116X-ray image

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Image Input (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Description

【0001】
【発明の属する技術分野】
本発明は例えば、X線フラットパネルセンサ等の被写体画像を検出する検出手段から出力される画像用データの処理を行うための画像処理装置に関するものである。
【0002】
【従来の技術】
ある種の蛍光体に放射線(X線、α線、β線、γ線、電子線、紫外線等)を照射すると、この放射線エネルギーの一部が蛍光体中に蓄積され、この蛍光体に可視光等の励起光を照射すると、蓄積されたエネルギーに応じて蛍光体が輝尽発光を示すことが知られており、このような性質を示す蛍光体は蓄積性蛍光体(輝尽性蛍光体)呼ばれる。この蓄積性蛍光体を利用して、人体等の被写体の放射線画像情報を一旦蓄積性蛍光体のシートに記録し、この蓄積性蛍光体シートをレーザ光等の励起光で走査して輝尽発光光を生ぜしめ、得られた輝尽発光光を光電的に読み取って画像信号を得、この画像信号に基づき写真感光材料等の記録材料、CRT等の表示装置に被写体の放射線画像を可視像として出力させる放射線画像情報記録再生システムが提案されている。
【0003】
また、近年においては半導体のセンサを使用して同様にX線画像を撮影する装置が開発されている。これらのシステムは、従来の銀塩写真を用いる放射線写真システムと比較して極めて広い放射線露出域にわたって画像を記録しうるという実用的な利点を有している。すなわち、非常に広いダイナミックレンジのX線を光電変換手段により読み取って電気信号に変換し、この電気信号を用いて写真感光材料等の記録材料、CRT等の表示装置に放射線画像を可視像として出力させることによって、放射線露光量の変動に影響されない放射線画像を得ることができる。
【0004】
ここでX線画像を検出するための半導体のセンサは、広面積、高分解能化が進み43×35cmの半切細部の画像に対して、2000×2500画素、あるいはそれ以上の画素から構成される。このような広い面積の検出領域を有する半導体のセンサに関しては、各画素の補正が必要である。必要な補正としては、オフセット補正、ゲイン補正(シェーディング補正)を考えることが出来る。オフセット補正は、影響毎に収集することが可能であり、X線曝射と同じ積分時間のオフセットをキャンセルする技術が知られている。ゲイン補正に関しては、被検査体がない状態で、X線を曝射してその画像を白画像として、補正係数を計算するわけであるが、この画像を頻繁にとることは著しく作業性を悪化させるものである。そこで、予め撮影したゲイン補正係数を長期にわたって、たとえば1週間、1ヶ月、1年間使用することが考えられる。センサ特性の温度変化、経年変化を考慮すると、なるべく頻繁に撮影したほうがよいと考えられる。
【0005】
【発明が解決しようとする課題】
センサとX線焦点との距離が近い状態で撮影を行う場合がある。例えば、骨撮影の場合には、センサとX線焦点との距離が1mで撮影される。このような場合において、センサの検出領域が43×43cmの面積を考えると、一般のX線装置の照射角度は12度であり、12度の放射角で1mの距離では、検出領域の全面を照射することはできない。
【0006】
ところで、このような撮影条件で被写体画像を検出する場合には、補正用のデ−タを取得する場合においても、この距離で照射することによって補正用画像を取得することが望ましい。
【0007】
しかしながら、従来においては、上記のような場合における被写体画像の適切な補正の方法が存在していなかった。
【0008】
【課題を解決するための手段】
上記の課題を解決するために、本願発明の画像処理装置は、X線検出センサの全領域に対する第一の画像補正用データを作成する第一の画像補正用データ作成手段と、前記X線検出センサの前記全領域よりも小さい照射野領域に対する第二の画像補正用データを作成する第二の画像補正用データ作成手段と、前記照射野領域外は前記第一の画像補正用データに基づき作成され、前記照射野領域内は前記第二の画像補正用データに基づき作成された、第三の画像補正用データを作成する第三の画像補正用データ作成手段とを有することを特徴とする。
【0020】
【発明の実施の形態】
(第1の実施の形態)
図1は、本発明の第1の実施の形態の画像処理装置の主要構成要素である。
【0021】
501は、被写体である患者の透過したX線分布を画像化するための検出手段であるX線フラットパネルセンサである。本実施の形態としては、アモルファスのセンサを使用している。
【0022】
X線フラットパネルセンサ501のような半導体センサの補正にはオフセット補正と、白補正(ゲイン補正、シェ−ディング補正)の二つが考えられるが、ここでは白補正について開示する。白補正は、一般的には、X線焦点とX線フラットパネルセンサ501に被検査体がない状態でX線をセンサ501に照射し、その照射によてセンサ501から出力される補正画像(補正用デ−タ)を用いて、センサ501から出力される画像デ−タの補正をすることである。補正画像を得るための撮影の際、テ−ブル撮影の場合、あるいは特殊な撮影を考える場合は、X線焦点と、X線フラットパネルセンサ501の間に、天板やスリットを挿入する場合がある。
【0023】
506は、センサ501から出力された補正画像を用いて画像を補正するための補正手段である。
【0024】
図1を用いて、本実施の形態の画像処理装置の動作を説明する。
【0025】
病院で使用される場合においてセンサの検出領域(図13の8で示す領域)の全領域に対して補正画像を撮影することが不可能な場合があるので、予め製品の工場出荷時に検出領域の全域に対する補正デ−タを取得する。そして第1の補正係数計算手段502によって補正係数を算出し、その補正係数を第1の補正係数保存手段503に保存する。この第1の補正係数保存手段503に保存された補正係数を第1の補正係数とする。しかしながら、補正デ−タはセンサの経年変化、温度変化も考慮してなるべく頻繁にとることが望ましい。そこで、病院ではセンサの検出領域中の照射可能な領域の補正デ−タを取得する。そして、そして第1の補正係数計算手段502によって補正係数を算出し、その補正係数を第2の補正係数保存手段504に保存する。この第2の補正係数保存手段504に保存された補正係数を第2の補正係数とする。これらはX線のシェ−ディングの違いもあり単純には連結できないので、第2の補正係数計算手段505によって、それぞれの補正画像に対して近似する関数を多項式で求めて、第2の補正係数の外側に、第1の補正係数を連結する。そして補正回路507で、この連結された補正係数(第3の補正係数)を用いて、センサから出力される画像デ−タに対して、補正を行う。
【0026】
次に、図1の画像処理装置の詳細について説明する。
【0027】
センサ501から出力された補正画像は、第一の補正係数計算手段502に転送される。第一の補正係数計算手段502は、認識手段601、割り算手段602、とLOG変換手段603より構成される。
【0028】
認識手段601は、画像縮小部301、照射野絞りの有無判定302、プロファイル解析303より構成される。画像縮小部301では、入力画像2688×2688画素の画像に対して336×336画素程度の縮小画像を出力する。後に続く処理の演算時間を短くするためにオリジナル12ビット画像が、下位4ビットの削除して8ビットに変換する事も考えられる。
【0029】
照射野絞りの有無制定302においては、入力画像領域に全体に対してX線入射領域がどの様に分布するかを抽出する。入射X線領域は、入力画像面全般に分布している場合もあるが、ある一部にX線が照射される場合(この場合、照射野絞りがあると言う)があるからである。最初に照射野絞りの有無を判定する。図6(A)に画像の例を示す。
【0030】
照射野絞りがあるとすれば、X線未照射部分が画像の周辺領域にあるため、入力画像の周辺領域の画素値の平均値と入力画像の中心部の平均画素値を比較する。経験的に周辺平均画素値が、中央平均画素値の5パーセントより小さい場合に照射野絞りがあると判断する事が出来る。図6(B)に周辺領域と中心領域の例を示す。
【0031】
照射野絞りがある場合は、プロファイル解析303により縦方向と横方向にたいしてプロファイルを何本か抽出する。抽出したプロファイルの2次微分値をからピーク点を2点抽出する。複数のプロファイルに対して2次微分のピーク値の座標を求めて、平均的な線分を求めて照射野領域の線分を求めることが出来る。
図6(C)にプロファイル位置の例、(D)に2次微分ピーク検出の例、(E)各プロファイルの検出位置、(F)に決定照射野領域を示す。照射野領域は、矩形に近似され4本の直線式で記憶することもできるし、マスク画像として2次元ビットマップとして記憶することも可能である。
【0032】
割り算手段602においては、抽出された照射野領域の中央画素(32×32画素程度)の平均値Vaを求めて、補正画像の照射野領域A1内部の画素Vに対して、V/Va=V1を計算する。これによって、画素のゲインとX線源のシェーディングの両方を補正することが可能である。具体的には、割り算結果に対しては定数Kが掛けられて、有効ビット長16ビットで保存される。補正画像の照射野領域A1に対する補正係数に対して、LOG変換手段603によりLOG変換される。LOG変換により12ビットに圧縮される。
【0033】
第一の補正画像の照射野領域A1に対する補正係数および補正画像の照射野領域情報が第一の補正係数保存手段503に保存される。ただし、本実施例においては、第一の補正画像は、照射野絞りを行わずに、工場の出荷時等に撮影されることを想定しているので、照射野領域はセンサの全領域であるが、これに限定されるものではない。
【0034】
次に病院等で撮影される第二の補正画像について説明する。第二の補正画像も同様に第一の補正係数計算手段502を使用して、補正係数の計算がされるが違いは照射野は限定されていることである。これを図3にしめす。第一の補正係数は(A)に、第二の補正係数は(B)にしめす。線で示した部分のプロファイルを下に示す。使用するX線装置、あるいはX線焦点からセンサまでの距離がことなるシェーディングの様子もことなる可能性がある。第二の補正画像に対する照射領域をA2、割り算手段の出力をV/Va=V2とする。
【0035】
図5に示す第二の補正係数計算手段について説明する。多項式近似手段701、照射野領域の比較手段702、誤差計算手段703、つなぎ合わせ手段704、LOG変換手段705より構成される。多項式近似手段701は、第一の補正係数V1(X,Y)、第二の補正係数V2(X,Y)に対する多項式F1(X,Y)、F2(X,Y)をそれぞれ求める。具体的には、F1(X,Y)=aX^2+bY^2+cXY+dX+eY+f、F2(X,Y)=sX^2+tY^2+uXY+vX+wY+zとした場合の各係数を最小二乗法でもとめることである。ここでは、二次の関数を使用したが三次関数を使用してもよいし、更に次数をあげてもよい。
【0036】
照射野領域の比較手段702は、照射野領域A1とA2の大小関係の比較である。ここで紹介する例は、A2がA1の部分になっているが、この方法の必要条件ではない。比較の手法としては、照射領域がビットマップで保存されている場合は、画像的に認識することが出来、領域が直線で表現されている場合は、線分として求めることが出来る。本実施例では内部であるA2を基本に第三の補正係数を決定し、A2の外形部分が接続部分として決定される。
【0037】
誤差計算手段703について説明する。基準補正係数がV2となったので、A2の外側に対して誤差分を計算する。つまり、A1の領域からA2の領域を差し引いた部分をA3とすると、A3の領域に対してF1(X,Y)を計算して、それと第一の補正係数V1(X,Y)の誤差分D(X,Y)をもとめる。
【0038】
D(X,Y)=V1(X,Y)/F1(X,Y)、ただし、(X,Y)はA3の領域。
【0039】
そして、やはりA3の領域に対してF2(X,Y)を設けて、これと誤差分D(X,Yの和をA3に対する第三の補正係数V33とする。
【0040】
V33(X,Y)=D(X,Y)×F2(X,Y)、ただし、(X,Y)はA3の領域。
【0041】
照射野領域A2に対する補正係数V32(X,Y)=V2(X,Y)、ただし、(X,Y)はA2の領域、となる。
【0042】
基本的に以上の処理で補正係数の連結処理は完了するが、つなぎ目に段差アーチファクトが発生することも考えられる。このためにつなぎめ処理704を行う。つなぎめ処理は、照射領域A2の外周の画素値に対して、V32(X,Y)とV33(X,Y)の和S32,S33を求める。
【0043】
S32=ΣV32(X,Y)、ただし、(X,Y)はA2の外周
S33=ΣV33(X,Y)、ただし、(X,Y)はA2の外周
【0044】
S32とS33が等しければ段差なく補正係数が連結されていると判断することが出来る。その差をA2の周辺画素数で割ったものを求めてそれをD3とする。
【0045】
D3=(S32−S33)/A2の外周画素数、
つなぎめ処理は、このD3をV33に足して、最終的な連結補正係数V3にする処理である。
【0046】
V3(X,Y)=V33(X,Y)+D3、ただし、(X,Y)はA3の領域。
【0047】
照射野領域A2に対する補正係数は、V3(X,Y)=V32(X,Y)、ただし、(X,Y)はA2の領域、である。以上によって求められた補正係数をLOG変換手段705によりLOG変換して、最終的な補正係数が計算される。本撮影の画像にたいする補正は、本画像のデータ(画像用データ)に対してオフセット補正、LOG変換した後に図に示す白補正手段によって第三の補正係数を減算することにより行われる。図17に近似関数と補正係数の連結の様子を示している。
【0048】
(第2の実施の形態)
図8は、本発明の第2の実施の形態の画像処理装置の主要構成要素である。
【0049】
501は、被写体である患者の透過したX線分布を画像化するための検出手段であるX線フラットパネルセンサである。本実施の形態としては、アモルファスのセンサを使用している。
【0050】
X線フラットパネルセンサ501のような半導体センサの補正にはオフセット補正と、白補正(ゲイン補正、シェ−ディング補正)の二つが考えられるが、ここでは白補正について開示する。白補正は、一般的には、X線焦点とX線フラットパネルセンサ501に被検査体がない状態でX線をセンサ501に照射し、その照射によてセンサ501から出力される補正画像(補正用デ−タ)を用いて、センサ501から出力される画像デ−タの補正をすることである。補正画像を得るための撮影の際、テ−ブル撮影の場合、あるいは特殊な撮影を考える場合は、X線焦点と、X線フラットパネルセンサ501の間に、天板やスリットを挿入する場合がある。
【0051】
516は、センサ501から出力された補正画像を用いて画像を補正するための補正手段である。
【0052】
図8を用いて、本実施の形態の画像処理装置の動作を説明する。
【0053】
まず、検出手段であるX線フラットパネルセンサ501の検出領域内(図13の8で示す領域)の照射領域に対応する部分から出力された補正画像(補正用デ−タ)は、第1の実施の形態で用いられた第1の補正係数計算手段と同じ補正係数計算手段502によって補正係数を算出し、その補正係数を第1の実施の形態で用いられた第1の補正係数保存手段同じ補正係数保存手段503に保存する。そして、その補正係数の照射領域をキャリブレ−ション領域保存手段504に保存する。センサからの画像デ−タに対しては、補正係数計算手段513とキャリブレ−ション領域保存手段514からの情報に基づいて、補正画像を得るために照射した照射領域と、画像デ−タを得るために照射した照射領域との重なり部分のみを補正し、重ならない部分の画像デ−タを画像として出力しないようにする。
【0054】
次に、図8の画像処理装置の詳細について説明する。
【0055】
センサ501から出力された補正画像は、補正係数計算手段502に転送される。補正係数計算手段502は、認識手段601と、割り算手段602、LOG変換手段603より構成される(図2)。
【0056】
認識手段601は、画像縮小部301、照射野絞りの有無判定302、プロファイル解析303より構成される。画像縮小部301では、入力画像2688×2688画素の画像に対して336×336画素程度の縮小画像を出力する。後に続く処理の演算時間を短くするためにオリジナル12ビット画像が、下位4ビットの削除して8ビットに変換する事も考えられる。
【0057】
認識手段601においては、入力画像領域に全体に対してX線入射領域がどの様に分布するかを抽出する。入射X線領域は、入力画像面全般に分布している場合もあるが、ある一部にX線が照射される場合(この場合、照射野絞りがあると言う)があるからである。最初に照射野絞りの有無を判定する。図6(A)に画像の例を示す。
【0058】
照射野絞りがあるとすれば、X線未照射部分が画像の周辺領域にあるため、入力画像の周辺領域の画素値の平均値と入力画像の中心部の平均画素値を比較する。経験的に周辺平均画素値が、中央平均画素値の5パーセントより小さい場合に照射野絞りがあると判断する事が出来る。図6(B)に周辺領域と中心領域の例を示す。
【0059】
照射野絞りがある場合は、プロファイル解析303により縦方向と横方向にたいしてプロファイルを何本か抽出する。抽出したプロファイルの2次微分値をからピーク点を2点抽出する。複数のプロファイルに対して2次微分のピーク値の座標を求めて、平均的な線分を求めて照射野領域の線分をもとめることが出来る。図6(C)にプロファイル位置の例、(D)に2次微分ピーク検出の例、(E)各プロファイルの検出位置、(F)に決定照射野領域を示す。照射野領域は、矩形に近似され4本の直線式で記憶することもできるし、マスク画像として2次元ビットマップとして記憶することも可能である。補正画像の照射の領域情報は、キャリブレーション領域保存手段514に記憶される。
【0060】
割り算手段602においては、抽出された照射野領域の中央画素(32×32画素程度)の平均値Vaと求めて、補正画像の照射野領域Ac内部の画素Vに対して、V/Vaを計算する。これによって、画素のゲインとX線源のシェーディングの両方を補正することが可能である。具体的には、割り算結果に対しては定数Kが掛けられて、有効ビット長16ビットで保存される。
【0061】
補正画像の照射野領域Acに対する補正係数に対して、LOG変換手段603によりLOG変換される。LOG変換により12ビットに圧縮されて、結果は補正係数保存手段503で保存される。
【0062】
次に実際に撮影された被検査体の画像に関する補正をおこなう白補正手段515を説明する。補正画像と被検査体画像の照射領域の関係を図9を用いて説明する。(A)が補正画像(キャリブレーション)画像の領域をしめす。センサ領域全体に対して、中央部の一部のみが補正画像の撮影領域となっている。(B)に示すのが、被検査体画像の撮影照射野領域である。(B)に示すように、2枚の照射野領域は完全にはオーバーラップしていない。そのために、被検査体画像の全部を白補正することは出来ず、(C)に示すように、2枚の画像がオーバーラップするところの補正が可能で、画像出力できる。しかし、表示に際しては単純に被検査体画像の撮影領域中の補正画像可能領域のみを表示するのは、操作者に不親切であるので、破線で示すように照射野領域の輪郭を表示することが考えられる。また、輪郭以外にも画像領域が補正画像との関係で一部不出力になっていることを文章で出力することも出きる。
【0063】
白補正手段515について説明する。図10に示す照射野抽出701、キャリブレーション(補正画像)領域と被検査体画像の比較手段702、LOG変換703、減算手段704から構成される。照射野抽出701は認識手段601とほぼ同じ処理が行われる。違う点は、照射野領域中に対象物が写し込まれているので、2次微分のピークが被検査体内のエッジ部で検知されることもあるが、抽出点の平均化処理をすることにより輪郭線の直線式を抽出することが可能である。
【0064】
キャリブレーション(補正画像)領域と被検査体画像の比較手段712は、被検査体画像の照射野領域中で補正係数が保存されている領域を決定する。輪郭を示す直線式の計算で求める方法と、2枚の照射野領域を示す2次元ビットマップをAND処理しても求めることが可能である。
【0065】
次に、比較手段712で決定された画像出力領域に対して、LOG変換713、減算手段714を行うことにより出力画像が決定される。図示しない画像出力装置に画像が出力される際には、周波数強調処理、階調変化処理等がおこなわれて出力される。
【0066】
以上に説明した補正手段は、第1の実施の形態では、第1の補正係数計算手段502、第1の補正係数保存手段503、第2の補正係数保存手段504、第2の補正係数計算手段505及び、演算手段506を含む構成のものを示し、第2の実施の形態では、補正係数計算手段502、補正係数保存手段503、キャリブレション領域保存手段及び白補正手段515を含む構成のものを示したが、これに限らず、センサ501内の検出領域における照射領域に対応する第1の領域に基いた補正用デ−タを用いて、前記検出領域における照射領域に対応する第2の領域に基いた画像用デ−タに補正を行う第1の処理と、第2の領域のうち前記第1の領域と重ならない領域の画像用デ−タの処理を行う第2の処理とを含む構成のものであればよい。また、補正手段はセンサ501内の検出領域における、照射領域に対応する前記検出領域よりも小さい第1の領域に基いた補正用デ−タを用いて、前記検出領域における照射領域に対応する第2の領域に基いた画像用デ−タに補正を行う処理を含む構成であってもよい。また、補正手段は、センサ501内の検出領域における照射領域に対応する第1の領域に基いた補正用デ−タを用いて、前記検出領域における照射領域に対応する第2の領域に基いた画像用デ−タに補正を行う処理と、その検出領域に照射される照射領域が前記検出領域よりも小さいことに基いて、検出領域から出力される画像用デ−タに対して補正を加える処理を含む構成であってもよい。また、さらに、補正手段は、センサ501内の検出領域における照射領域を認識する手段と、センサ501内の検出領域における照射領域に対応する第1の領域に基いた補正用デ−タを用いて、前記検出領域における照射領域に対応する第2の領域に基いた画像用デ−タに補正を行うとともに、その認識手段による認識結果に基づいて、画像用デ−タに対して補正を行う手段を含む構成であってもよい。
【0067】
次に、上記の第1又は第2の実施の形態で説明した検出手段(X線フラットパネルセンサ)及び補正手段を用いたX線撮像システムの全体を説明する。
【0068】
図11を用いて、X線撮像システムの全体を説明する。101はX線室、102はX線制御室、103は診断室を表している。本X線撮像システムの全体的な動作はシステム制御部110によって支配される。
【0069】
操作者インターフェース111は、ディスプレイ上のタッチパネル、マウス、キーボード、ジョイスティック、フットスイッチなどがある。操作者インターフェース111から撮像条件(静止画、動画、X線管電圧、管電流、X線照射時間など)および撮像タイミング、画像処理条件、被験者ID、取込画像の処理方法などの設定を行うことが出来るが、ほとんどの情報は、不図示の放射線情報システムから転送されるので、個別に入力する必要はない。操作者の重要な作業は、撮影した画像の確認作業である。つまり、アングルが正しいか、患者が動いていないか、画像処理が適切か等の判断を行なう。
【0070】
そして、システム制御部110はX線撮像シーケンスを司る撮像制御部214に、操作者105あるいは放射線情報システム507の指示に基づいた撮像条件を指示し、データを取り込む。撮像制御部214はその指示に基づき放射線源211であるX線発生装置120、撮像用寝台130、X線検出器140を駆動して画像データを取り込み、画像処理部10に転送後、操作者指定の画像処理を施してディスプレイ160に表示、同時にオフセット補正、LOG変換、およびゲイン補正の基本画像処理を行った生データを外部記憶装置161に保存する。画像処理部10は、第1の実施の形態の第1及び第2の補正係数計算手段502、505、白補正手段506又は、第2の実施の形態の補正係数計算手段502、白補正手段515を含む構成である。外部記憶装置161は、第1の実施の形態の第1及び第2の補正係数保存手段又は、第2の実施の形態の補正係数保存手段503、キャリブレーション領域保存手段504を含んだ構成であり、外部記憶装置161には、生画像の他に処理プログラム、保存画像リスト、ゲイン補正用画像等が保存される。このように、第1又は第2の実施の形態で説明した補正手段は、図12の画像処理部10、外部記録装置161が相当する。
【0071】
さらに、システム制御部110は撮像者105の指示に基づいて、再画像処理及び再生表示、ネットワーク上の装置への画像データの転送・保存、ディスプレイ表示やフィルムへの印刷などを行う。
【0072】
次に、信号の流れを追って順次説明を加える。
【0073】
X線発生装置120にはX線管球121とX線絞り123とが含まれる。X線管球121は撮像制御部214に制御された高圧発生電源124によって駆動され、X線ビーム125を放射する。X線絞り123は撮像制御部214により駆動され、撮像領域の変更に伴い、不必要なX線照射を行わないようにX線ビーム125を整形する。X線ビーム125はX線透過性の撮像用寝台130の上に横たわった被検体126に向けられる。撮像用寝台130は、撮像制御部214の指示に基づいて駆動される。X線ビーム125は、被検体126および撮像用寝台130を透過した後にX線検出部140に照射される。
【0074】
X線検出部140はグリッド141、シンチレータ142、光検出器アレー(検出領域)8、X線露光量モニタ144および駆動回路145から構成される。グリッド141は、被検体126を透過することによって生じるX線散乱の影響を低減する。グリッド141はX線低吸収部材と高吸収部材とから成り、例えば、AlとPbとのストライプ構造をしている。そして、光検出器アレー8とグリッド141との格子比の関係によりモワレが生じないようにX線照射時には撮像制御部214の指示に基づいてグリッド141を振動させる。図1で示したX線フラットパネルセンサー501の構成要素としては、シンチレータ142、光検出器アレー8および駆動回路145である。
【0075】
シンチレータ142ではエネルギーの高いX線によって蛍光体の母体物質が励起され、再結合する際の再結合エネルギーにより可視領域の蛍光が得られる。その蛍光はCaWo4やCdWO4などの母体自身によるものやCsl:TlやZns:Agなどの母体内に付活された発光中心物質によるものがある。
【0076】
このシンチレータ142に隣接して光検出器アレー8が配置されている。この光検出器アレー8は光子を電気信号に変換する。X線露光量モニタ144はX線透過量を監視するものである。X線露光量モニタ144は結晶シリコンの受光素子などを用いて直接X線を検出しても良いし、シンチレータ142からの光を検出してもよい。この例では、光検出器アレー8を透過した可視光(X線量に比例)を光検出器アレー8基板裏面に成膜されたアモーファスシリコン受光素子で検知し、撮像制御部214にその情報を送り、撮像制御部214はその情報に基づいて高圧発生電源124を駆動してX線を遮断あるいは調節する。駆動回路145は、撮像制御部214の制御下で、光検出器アレー(フラットパネルセンサ)8を駆動し、各画素から信号を読み出す。光検出器アレー8、周辺駆動回路145については後で詳述する。
【0077】
X線検出部140からの画像信号は、X線室101からX線制御室102内の画像処理部10へ転送される。この転送の際、X線室101内はX線発生に伴うノイズが大きいため、画像データがノイズのために正確に転送されない場合が有るため、転送路の耐雑音性を高くする必要がある。誤り訂正機能を持たせた伝送系にする事やその他、例えば、差動ドライバによるシールド付き対より線や光ファイバによる転送路を用いることが望ましい。画像処理部10では、撮像制御部214の指示に基づき表示データを切り替える(後に詳しく述べる)。その他、画像データの補正(第1の実施の形態の第1の補正係数計算手段502、第2の補正係数計算手段504、白補正手段506で行う補正動作又は第2の実施の形態の補正係数計算手段502、白補正手段515で行う補正動作)、空間フィルタリング、リカーシブ処理などをリアルタイムで行ったり、階調処理、散乱線補正、各種空間周波数処理などを行うことも可能である。
【0078】
処理された画像はディスプレイアダプタ151を介してディスプレイ160に表示される。またリアルタイム画像処理と同時に、データの補正のみ行われた基本画像は、外部記憶装置161に保存される。高速記憶装置161としては、大容量、高速かつ高信頼性を満たすデータ保存装置が望ましく、例えば、RAID等のハードディスクアレー等が望ましい。また、操作者の指示に基づいて、外部記憶装置161に蓄えられた画像データは外部記憶装置162に保存される。その際、画像データは所定の規格(例えば、IS&C)を満たすように再構成された後に、外部記憶装置に保存される。外部記憶装置は、例えば、光磁気ディスク162、LAN上のファイルサーバ170内のハードディスクなどである。
【0079】
本X線撮像システムはLANボード163を介して、LANに接続する事も可能であり、HISとのデータの互換性を持つ構造を有している。LANには、複数のX線撮像システムを接続する事は勿論のこと、動画・静止画を表示するモニタ174、画像データをファイリングするファイルサーバ170、画像をフィルムに出力するイメージプリンタ172、複雑な画像処理や診断支援を行う画像処理用端末173などが接続される。本X線撮像システムは、所定のプロトコル(例えば、DICOM)に従って、画像データを出力する。その他、LANに接続されたモニタを用いて、X線撮像時に医師によるリアルタイム遠隔診断が可能である。
【0080】
図12に光検出アレー8の一例の等価回路を示す。以下の例は2次元アモーファスシリコンセンサについて説明を加えていくが、検出素子は特に限定する必要はなく、例えばその他の固体撮像素子(電荷結合素子など)あるいは光電子倍増管のような素子であってもA/D変換部の機能、構成については同様である。
【0081】
さて、図12に戻って説明を加える。1素子の構成は光検出部21と電荷の蓄積および読み取りを制御するスイッチングTFT22とで構成され、一般にはガラスの基板上に配されたアモーファスシリコン(α−Si)で形成される。光検出部21中の21−Cはこの例では単に寄生キャパシタンスを有した光ダイオードでもよいし、光ダイオード21−Dと検出器のダイナミックレンジを改良するように追加コンデンサ21−Cを並列に含んでいる光検出器と捉えても良い。ダイオード21−DのアノードAは共通電極であるバイアス配線Lbに接続され、カソードKはコンデンサ21−Cに蓄積された電荷を読み出すための制御自在なスイッチングTFT22に接続されている。この例では、スイッチングTFT22はダイオード21−DのカソードKと電荷読み出し用増幅器26との間に接続された薄膜トランジスタである。
【0082】
スイッチングTFT22と信号電荷はリセット用スイッチング素子25を操作してコンデンサ21−Cをリセットした後に、放射線1を放射することにより、光ダイオード21−Dで放射線量に応じた電荷を発生し、コンデンサ21−Cに蓄積される。その後、再度、スイッチングTFT22と信号電荷はリセット用スイッチング素子25を操作して容量素子23に電荷を転送する。そして、光ダイオード21−Dにより蓄積された量を電位信号として前置増幅器26によって読み出し、A/D変換を行うことにより入射放射線量を検出する。
【0083】
図13は2次元に配列した光電変換装置(図11の光検出アレイ8及び駆動回路145に相当)を表した等価回路図である。図12で示された光電変換素子を具体的に2次元に拡張して構成した場合における光電変換動作について述べる。
【0084】
光検出アレー8の画素は2000×2000〜4000×4000程度の画素から構成され、アレー面積は200mm×200mm〜500mm×500mm程度である。図9において、光検出アレー8は4096×4096の画素から構成され、アレー面積は430mm×430mmである。よって、1画素のサイズは約105×105μmである。1ブロック内の4096画素を横方向に配線し、4096ラインを順に縦に配置する事により各画素を2次元的に配置している。
【0085】
上記の例では4096×4096画素の光検出器アレー8を1枚の基板で構成した例を示したが、4096×4096画素の光検出器アレー8を2048×2048個の画素を持つ4枚の光検出器で構成することもできる。2048×2048個の検出器を4枚で1つの光検出器アレー8を構成する場合は、分割して製作する事により歩留まりが向上するなどのメリットがある。
【0086】
前述の通り1画素は、光電変換素子21とスイッチングTFT22とで構成される。21−(1,1)〜21−(4096,4096)は前述の光電変換素子21に対応するものであり、光検出ダイオードのカソード側をK、アノード側をAとして表している。22−(1,1)〜22−(4096,4096)はスイッチングTFT22に対応するものである。
【0087】
2次元光検出器アレー8の各列の光電変換素子21−(m,n)のK電極は対応するスイッチングTFT22−(m,n)のソース、ドレイン導電路によりその列に対する共通の列信号線(Lc1〜4096)に接続されている。例えば、列1の光電変換素子21−(1,1)〜(1,4096)は第1の列信号配線Lc1に接続されている。各行の光電変換素子21のA電極は共通にバイアス配線Lbを通して前述のモードを操作するバイアス電源31に接続されている。各行のTFT22のゲート電極は行選択配線(Lr1〜4096)に接続されている。例えば、行1のTFT22−(1,1)〜(4096,1)は行選択配線Lr1に接続される。行選択配線Lrはラインセレクタ部32を通して撮像制御部33に接続されている。ラインセレクタ部32は例えばアドレスデコーダ34と4096個のスイッチ素子35から構成される。この構成により任意のラインLrnを読み出すことが可能である。ラインセレクタ部32は最も簡単に構成するならば単に液晶ディスプレイなどに用いられているシフトレジスタによって構成することも可能である。
【0088】
列信号配線Lcは撮像制御部33により制御される信号読み出し部36に接続されている。25は列信号配線Lrをリセット基準電源24の基準電位にリセットするためのスイッチ、26は信号電位を増幅するための前置増幅器、38はサンプルホールド回路、39はアナログマルチプレクサ、40はA/D変換器をそれぞれ表す。それぞれの列信号配線Lcnの信号は前置増幅器26により増幅されサンプルホールド回路38によりホールドされる。その出力はアナログマルチプレクサ39により順次A/D変換器40へ出力されディジタル値に変換され画像処理部10に転送される。
【0089】
光電変換装置は4096×4096個の画素を4096個のラインLcnに分け、1行あたり4096画素の出力を同時に転送し、この列信号配線Lcを通して前置増幅器26−1〜4096、サンプルホールド部38−1〜4096を通してアナログマルチプレクサ39によって順次、A/D変換器40に出力される。
【0090】
図9ではあたかもA/D変換器40が1つで構成されているように表されているが、実施には4〜32の系統で同時にA/D変換を行う。これは、アナログ信号帯域A/D変換レートを不必要に大きくすることなく、画像信号の読み取り時間を短くすることが要求されるためである。
【0091】
蓄積時間とA/D変換時間とは密接な関係にあり、高速にA/D変換を行うとアナログ回路の帯域が広くなり所望のS/Nを達成することが難しくなる。従って、A/D変換速度を不必要に速くすることなく、画像信号の読み取り時間を短くすることが要求される。そのためには、多くのA/D変換器40を用いてA/D変換を行えばよいが、その場合はコストが高くなる。よって、上述の点を考慮して適当な値を選択する必要がある。
【0092】
放射線1の照射時間はおよそ10〜500msecであるので、全画面の取り込み時間あるいは電荷蓄積時間を100msecのオーダーあるいはやや短めにすることが適当である。
【0093】
例えば、全画素を順次駆動して100msecで画像を取り込むために、アナログ信号帯域を50MHz程度にし、例えば10MHzのサンプリングレートでA/D変換を行うと、最低でも4系統のA/D変換器40が必要になる。本撮像装置では16系統で同時にA/D変換を行う。16系統のA/D変換器40の出力はそれぞれに対応する16系統の図示しないメモリ(FIFOなど)に入力される。そのメモリを選択して切り替えることで連続した1ラインの走査線にあたる画像データとして以後の画像処理部10、あるいはそのメモリに転送される。
この後、画像、グラフとしてディスプレイなどの表示装置に表示を行う。
【0094】
(他の実施形態)
本発明は、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ(またはCPUやMPU)が記憶媒体に格納されたプログラムコードを読出し実行することによっても、達成されることは言うまでもない。
【0095】
この場合、記憶媒体から読出されたプログラムコード自体が本発明の新規な機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。
【0096】
プログラムコードを供給するための記憶媒体としては、例えば、フロッピーディスク、ハードディスク、光ディスク、光磁気ディスク、CD−ROM,CD−R,磁気テープ不揮発性のメモリカード、ROMなどを用いることができる。
【0097】
また、コンピュータが読出したプログラムコードを実行することによって、前述した実施形態の機能が実現される他、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているOSなどが実際の処理の一部または全部を行い、その処理によっても前述した実施形態の機能が実現され得る。
【0098】
さらに、記憶媒体から読出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれた後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるCPUなどが実際の処理の一部または全部を行い、その処理によっても前述した実施形態の機能が実現され得る。
【0099】
尚、本発明は、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体からそのプログラムをパソコン通信等通信ラインを介して要求者にそのプログラムを配信する場合にも適用できる。
【0100】
【発明の効果】
本発明により、照射領域が検出手段内の検出領域よりも小さい場合であっても、適切に画像用デ−タに対して補正を行うことが可能となる。
【図面の簡単な説明】
【図1】第1の実施の形態を説明するための図である。
【図2】第1又は第2の実施の形態を説明するための図である。
【図3】第1の実施の形態を説明するための図である。
【図4】第1又は第2の実施の形態を説明するための図である。
【図5】第1の実施の形態を説明するための図である。
【図6】第1又は第2の実施の形態を説明するための図である。
【図7】第1又は第2の実施の形態を説明するための図である。
【図8】第2の実施の形態を説明するための図である。
【図9】第2の実施の形態を説明するための図である。
【図10】第2の実施の形態を説明するための図である。
【図11】第1又は第2の実施の形態で説明した検出手段及び補正手段を用いたX線撮像システムの全体図である。
【図12】図11のX線撮像システムの1部分を表す図である。
【図13】図11のX線撮像システムの1部分を表す図である。
【符号の説明】
8 光検出アレイ
501 X線フラットパネルセンサ
502 第一の補正係数計算手段
503 第一の補正係数保存手段
504 第二の補正係数保存手段
505 第二の補正係数計算手段
506 白補正手段
507 補正手段
514 キャリブレ−ション領域保存手段
515 白補正手段
516 補正手段

Claims (4)

  1. X線検出センサの全領域に対する第一の画像補正用データを作成する第一の画像補正用データ作成手段と、
    前記X線検出センサの前記全領域よりも小さい照射野領域に対する第二の画像補正用データを作成する第二の画像補正用データ作成手段と、
    前記照射野領域外は前記第一の画像補正用データに基づき作成され、前記照射野領域内は前記第二の画像補正用データに基づき作成された、第三の画像補正用データを作成する第三の画像補正用データ作成手段とを有することを特徴とする画像処理装置。
  2. 前記第三の画像補正用データ作成手段は、前記第一の画像補正用データと前記第二の画像補正用データとに基づく近似多項式を作成し、当該近似多項式を用いて前記第三の画像補正用データを作成することを特徴とする請求項1に記載の画像処理装置。
  3. 第一の画像補正用データ作成手段が、X線検出センサの全領域に対する第一の画像補正用データを作成する第一の画像補正用データ作成工程と、
    第二の画像補正用データ作成手段が、前記X線検出センサの前記全領域よりも小さい照射野領域に対する第二の画像補正用データを作成する第二の画像補正用データ作成工程と、
    第三の画像補正用データ作成手段が、前記照射野領域外は前記第一の画像補正用データに基づき作成され、前記照射野領域内は前記第二の画像補正用データに基づき作成された、第三の画像補正用データを作成する第三の画像補正用データ作成工程とを有することを特徴とする画像処理方法。
  4. コンピュータを、
    X線検出センサの全領域に対する第一の画像補正用データを作成する第一の画像補正用データ作成手段と、
    前記X線検出センサの前記全領域よりも小さい照射野領域に対する第二の画像補正用データを作成する第二の画像補正用データ作成手段と、
    前記照射野領域外は前記第一の画像補正用データに基づき作成され、前記照射野領域内は前記第二の画像補正用データに基づき作成された、第三の画像補正用データを作成する第三の画像補正用データ作成手段とを有することを特徴とする画像処理装置として機能させるためのコンピュータプログラムが格納されたコンピュータ読み取り可能な記録媒体。
JP2000004545A 2000-01-13 2000-01-13 画像処理装置、補正方法及び記録媒体 Expired - Fee Related JP4497615B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2000004545A JP4497615B2 (ja) 2000-01-13 2000-01-13 画像処理装置、補正方法及び記録媒体
US09/750,168 US6570150B2 (en) 2000-01-13 2000-12-29 Image processing apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2000004545A JP4497615B2 (ja) 2000-01-13 2000-01-13 画像処理装置、補正方法及び記録媒体

Publications (2)

Publication Number Publication Date
JP2001195563A JP2001195563A (ja) 2001-07-19
JP4497615B2 true JP4497615B2 (ja) 2010-07-07

Family

ID=18533318

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2000004545A Expired - Fee Related JP4497615B2 (ja) 2000-01-13 2000-01-13 画像処理装置、補正方法及び記録媒体

Country Status (2)

Country Link
US (1) US6570150B2 (ja)
JP (1) JP4497615B2 (ja)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6781143B2 (en) * 2001-04-06 2004-08-24 Fuji Photo Film Co., Ltd. Biochemical analysis data producing method, biochemical analysis data producing apparatus and stimulable phosphor sheet used therefor
US7006080B2 (en) 2002-02-19 2006-02-28 Palm, Inc. Display system
JP3639825B2 (ja) * 2002-04-03 2005-04-20 キヤノン株式会社 動画像表示方法、プログラム、コンピュータ可読記憶媒体、及び動画像表示装置
JP3639826B2 (ja) * 2002-04-03 2005-04-20 キヤノン株式会社 放射線撮影装置、プログラム、コンピュータ可読記憶媒体、及び放射線撮影システム
JP4313985B2 (ja) * 2002-05-14 2009-08-12 キヤノン株式会社 画像処理装置、画像処理システム、画像処理方法、記憶媒体、及びプログラム
US7508387B2 (en) 2003-09-30 2009-03-24 International Business Machines Corporation On demand calibration of imaging displays
JP5091659B2 (ja) * 2007-12-25 2012-12-05 株式会社東芝 X線診断装置
JP5566209B2 (ja) 2009-09-04 2014-08-06 キヤノン株式会社 撮像装置及び撮像システム、それらの制御方法及びそのプログラム
CN102577356B (zh) * 2009-10-21 2014-11-26 株式会社岛津制作所 放射线摄像装置
DE102012209305A1 (de) * 2012-06-01 2013-12-05 Krones Ag Verfahren und Vorrichtung zur Kontrolle bzw. Korrektur eines Direktdrucks auf Behältern mit reliefartiger Oberflächenkontur
JP6174849B2 (ja) * 2012-08-10 2017-08-02 キヤノン株式会社 放射線撮像装置及び放射線撮像システム
JP6105903B2 (ja) * 2012-11-09 2017-03-29 キヤノン株式会社 画像処理装置、画像処理方法、放射線撮影システム及びプログラム
JP6072102B2 (ja) * 2015-01-30 2017-02-01 キヤノン株式会社 放射線撮影システム及び放射線撮影方法

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08298591A (ja) * 1995-04-26 1996-11-12 Ricoh Co Ltd ファクシミリ装置

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5369261A (en) * 1992-02-12 1994-11-29 Shamir; Harry Multi-color information encoding system
JPH09129395A (ja) * 1995-10-31 1997-05-16 Ge Yokogawa Medical Syst Ltd X線自動露出制御方法および装置ならびにx線撮影装置
US5757425A (en) * 1995-12-19 1998-05-26 Eastman Kodak Company Method and apparatus for independently calibrating light source and photosensor arrays
US6016161A (en) * 1996-01-25 2000-01-18 Medar, Inc. Method and system for automatically calibrating a color-based machine vision system

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08298591A (ja) * 1995-04-26 1996-11-12 Ricoh Co Ltd ファクシミリ装置

Also Published As

Publication number Publication date
JP2001195563A (ja) 2001-07-19
US20010015407A1 (en) 2001-08-23
US6570150B2 (en) 2003-05-27

Similar Documents

Publication Publication Date Title
JP4533010B2 (ja) 放射線撮像装置、放射線撮像方法及び放射線撮像システム
JP3890210B2 (ja) 画像撮影装置及び画像撮影装置の制御方法
US7010091B2 (en) Photodetecting means, X-ray sensing method, X-ray sensing apparatus, and photoelectric conversion element
JP4989120B2 (ja) 放射線撮像システム及びその駆動方法
JP5038101B2 (ja) 放射線撮像装置、その駆動方法及びプログラム
EP1139118B1 (en) Method and apparatus for imaging and storage medium
JP4850730B2 (ja) 撮像装置、その処理方法及びプログラム
US7599541B2 (en) Radiographic apparatus and radiographic method
EP1440660B1 (en) Radiographic apparatus
JP4497615B2 (ja) 画像処理装置、補正方法及び記録媒体
JP6195495B2 (ja) X線検出器において3dゴーストアーチファクトを低減させる方法
JP4739060B2 (ja) 放射線撮像装置、放射線撮像システム、及びその制御方法
JP2000030046A (ja) 放射線画像検出処理装置
JP4724277B2 (ja) 画像撮影装置、画像撮影方法
US6952465B2 (en) Radiographic apparatus
JPH10104766A (ja) 放射線撮影装置
JP2001245140A (ja) 画像処理方法および画像処理装置
JP4258092B2 (ja) 画像処理装置および画像処理方法
JP4560175B2 (ja) 放射線画像撮影装置
JP2002334329A (ja) 画像処理装置および画像処理方法
JP2005152034A (ja) 放射線撮像装置及び放射線撮像方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20070111

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20090930

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20091013

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20091214

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20100201

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20100330

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20100413

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130423

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130423

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140423

Year of fee payment: 4

LAPS Cancellation because of no payment of annual fees