JP3853532B2 - Photographing method and photographing apparatus - Google Patents

Photographing method and photographing apparatus Download PDF

Info

Publication number
JP3853532B2
JP3853532B2 JP03519299A JP3519299A JP3853532B2 JP 3853532 B2 JP3853532 B2 JP 3853532B2 JP 03519299 A JP03519299 A JP 03519299A JP 3519299 A JP3519299 A JP 3519299A JP 3853532 B2 JP3853532 B2 JP 3853532B2
Authority
JP
Japan
Prior art keywords
light
type
filter
diaphragm
emitted
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP03519299A
Other languages
Japanese (ja)
Other versions
JP2000235003A (en
Inventor
尚志 小林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Holdings Corp
Original Assignee
Fuji Photo Film Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fuji Photo Film Co Ltd filed Critical Fuji Photo Film Co Ltd
Priority to JP03519299A priority Critical patent/JP3853532B2/en
Publication of JP2000235003A publication Critical patent/JP2000235003A/en
Application granted granted Critical
Publication of JP3853532B2 publication Critical patent/JP3853532B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Description

【0001】
【発明の属する技術分野】
本発明は撮影システムに関し、詳細には、撮影対象の相違により複数の撮影手法が切換可能に準備されている撮影方法および撮影装置の改良に関するものである。
【0002】
【従来の技術】
従来より、生化学・分子生物学分野においては、ブロッティング後のメンブレンフィルタ等における核酸・タンパク質等の検出方法として、特定のタンパク質等と化学反応して発光(化学発光)する化学物質を、当該タンパク質に標識せしめ、この化学発光のイメージングをCCD等の光電読取手段を用いて撮影する化学発光法が知られており、このような化学発光のイメージングを撮影する撮影装置として、メンブレンフィルタ等を適当な試料台上に載置して外光から遮光された暗箱内に収容し、この暗箱内において、メンブレンフィルタ等から発光する化学発光光をレンズを介して光電読取手段により光電的に読み取り、これにより所定の発光化学物質と反応する特定のタンパク質等の分布を表す画像情報を取得するものが知られている。
【0003】
一方、同分野においては、蛍光色素を標識物質として使用した蛍光検出(fluoresceuce)システムが知られている。このシステムは、蛍光色素で標識された特定の生体由来物質が分布する試料に励起光を照射し、この励起光の照射で励起された蛍光のイメージングを光電読取手段を用いて撮影することで、蛍光色素の分布状態すなわち特定の生体由来物質の分布状態を表す画像情報を読み取るものであり、遺伝子配列、遺伝子の発現レペル、実験用マウスにおける投与物質の代謝・吸収・***の経路・状態、タンパク質の分離・同定、あるいは分子量、特性の評価などを行なうことができる。
【0004】
ここで、上述した化学発光を検出することを目的とした撮影装置は、蛍光色素を励起しうる励起光を出射する励起光源と、光電読取手段に蛍光のみを入射せしめ励起光の入射を阻止する励起光カットフィルタと、所定の絞りとをさらに設けることによって、上述した蛍光検出システム用の撮影装置として機能させることもでき、すでにそのような撮影装置が開発されている。
【0005】
すなわち化学発光検出用の撮影を行う場合には、励起光が出射しないようにするとともに、励起光カットフィルタを化学発光の光路上から退避させ、絞りを開放状態として、試料から出射する化学発光光を光電読取手段により検出し、一方、蛍光検出用の撮影を行う場合には、励起光を出射させて試料を照射するとともに、励起光カットフィル夕を試料から光電読取手段までの蛍光の光路上に配し、試料の厚さ分の被写界深度を確保するため絞りを開放状態よりも絞ることで、蛍光のみを光電読取手段により検出するように、切り換えればよい。
【0006】
さらに、この撮影装置は、フイルム等の透過原稿や写真等の反射原稿に白色光を照射してその透過光や反射光をレンズを介して光電読取手段により光電的に読み取ってデジタル画像を得るデジタイザとして使用することもできる。この場合、蛍光検出のために設けられる励起光源とは別に、白色光を出射する照明光源を設け、さらに蛍光検出に用いられる絞りよりも、光電読取手段に入射する光量をさらに絞る絞りを設ければよい。
【0007】
【発明が解決しようとする課題】
ところで上述した化学発光検出、蛍光検出およびデジタイジングという3種類の撮影手法(照射光の種類、絞りの程度、使用フィルタの種類)を切換設定可能とした撮影装置においては、検出しようとする発光光の種類に応じて、オペレータが照射光、絞りおよびフィルタをそれぞれ切り換える操作を行わなければならない。しかし、このような操作に熟練したオペレータであれば、検出しようとする発光光の種類と撮影手法とを即座に対応づけることができ、迅速にかつ正確に上述した切換設定の操作を行うことができるが、不慣れなオペレータの場合は、切換設定操作に時間がかかったり、誤設定をする場合がある。
【0008】
また熟練したオペレータにおいても、照射光、絞りおよびフィルタを逐一切り換える操作は煩わしいものであり、設定ミスをする可能性も否定できない。
【0009】
本発明は上記事情に鑑みなされたものであって、検出しようとする発光光の種類に応じて、撮影装置の切換設定操作を簡単化した撮影方法および撮影装置を提供することを目的とするものである。
【0010】
【課題を解決するための手段】
本発明の撮影方法は、検出しようとする発光光と撮影手法とを予め対応づけておき、検出しようとする発光光の種類を入力することで、その発光光と対応づけられた撮影手法にしたがって、撮影手法を自動的に切り換えるようにしたものである。
【0011】
すなわち本発明の撮影方法は、試料から発光する発光光を光電読取手段により光電的に検出する、前記発光光の種類に応じて前記試料に照射する光の種類、前記試料から光電読取手段までの間に配置する絞りの程度およびフィルタの種類をそれぞれ切換え可能とされた撮影方法において、
前記検出しようとする前記発光光の種類に応じた、前記照射する光の種類、前記配置する絞りの程度および前記配置するフィルタの種類の組合せを、予め参照テーブル化しておき、
前記検出しようとする前記発光光の種類の選択の入力を受けて、該選択された前記発光光の種類に応じた前記照射する光の種類、前記配置する絞りの程度および前記配置するフィルタの種類の組合せを、前記参照テーブルを参照して求め、該求められた組合せにしたがって、前記照射する光の種類、前記配置する絞りの程度および前記配置するフィルタの種類をそれぞれ切り換えることを特徴とするものである。
【0012】
ここで参照テーブルとしては例えば、検出しようとする前記発光光が化学発光光のときは、照射する光は無し、配置する絞りは開放状態、配置するフィルタは無しの組合せであり、検出しようとする発光光が蛍光のときは、照射する光は蛍光を励起する励起光、配置する絞りは開放状態よりも絞った第1の絞り状態、配置するフィルタは励起光をカットし、かつ蛍光を透過するように帯域設定された励起光カットフィルタの組合せであり、検出しようとする発光光が試料からの反射光または透過光のときは、照射する光は白色光、配置する絞りは上記第1の絞り状態よりもさらに絞った第2の絞り状態、配置するフィルタは無しの組合せであるものとすればよい。
【0013】
さらに検出しようとする発光光が蛍光である場合には、より細分化して、検出しようとする発光光が蛍光試薬FITC(フルオレセインイソチオシラネート)による蛍光のときと、検出しようとする発光光が蛍光試薬Cy5(サイファイブ;アマシャムファルマシアバイオテク(株)の商品名)による蛍光のときとで、対応付けを分けてもよい。すなわち具体的には、蛍光試薬FITCによる蛍光のときは、照射する光はFITCによる蛍光を励起する励起光(具体的には青光)、配置する絞りは上記第1の絞り状態、配置するフィルタは励起光をカットし、かつFITCによる蛍光を透過するように帯域設定された励起光カットフィルタ(具体的には黄色透過フィルタ)の組合せとし、検出しようとする発光光が蛍光試薬Cy5による蛍光のときは、照射する光はCy5による蛍光を励起する励起光(具体的には赤光)、配置する絞りは上記第1の絞り状態、配置するフィルタは励起光をカットし、かつCy5による蛍光を透過するように帯域設定された励起光カットフィルタ(具体的には近赤外光透過フィルタ)の組合せとした対応付けを、参照テーブル化しておけばよい。
【0014】
また検出しようとする発光光が透過光または反射光である場合には、より細分化して、透過光のときと反射光のときとで、対応付けを分けてもよい。すなわち具体的には、透過光のときは、照射する光は試料(透過原稿)の透過光を光電的に読み取る方向から該試料を照射する白色光、配置する絞りは上記第2の絞り状態、配置するフィルタは無しの組合せとし、反射光のときは、照射する光は試料(反射原稿)の反射光を光電的に読み取る方向から該試料を照射する白色光、配置する絞りは上記第2の絞り状態、配置するフィルタは無しの組合せとした対応付けを、参照テーブル化しておけばよい。
【0015】
光電読取手段としては、微弱な化学発光や蛍光をも検出可能な幅広いダイナミックレンジを有し、かつリニアリティよく検出することができ、また短時間の光電読取りを繰り返し行うことにより擬似的な動画画像をも取り出すことができる、冷却素子を備えたインターライン型CCDを用いるのが好ましい。
【0016】
本発明の撮影装置は本発明の撮影方法を実施するための装置であって、試料から発光する発光光を光電読取手段により光電的に検出する、前記発光光の種類に応じて前記試料に照射する光の種類、前記試料から光電読取手段までの間に配置する絞りの程度およびフィルタの種類をそれぞれ切換え可能とされた撮影装置において、
前記検出しようとする前記発光光の種類に応じた、前記照射する光の種類、前記配置する絞りの程度および前記配置するフィルタの種類の組合せを、予め参照テーブルとして記憶した記憶手段と、
前記検出しようとする前記発光光の種類の選択を入力する撮影手法入力手段と、
前記参照テーブルを参照して、前記撮影手法入力手段に入力された前記発光光の種類に対応する、前記照射する光の種類、前記配置する絞りの程度および前記配置するフィルタの種類の組合せを求め、該求められた組合せにしたがって、前記照射する光の種類、前記配置する絞りの程度および前記配置するフィルタの種類をそれぞれ切り換える切換手段とを備えたことを特徴とするものである。
【0017】
ここで記憶手段に記憶された参照テーブルとしては、本発明の撮影方法において説明したものと同様に、例えば、検出しようとする前記発光光が化学発光光のときは、照射する光は無し、配置する絞りは開放状態、配置するフィルタは無しの組合せであり、検出しようとする発光光が蛍光のときは、照射する光は蛍光を励起する励起光、配置する絞りは開放状態よりも絞った第1の絞り状態、配置するフィルタは励起光をカットし、かつ蛍光を透過するように帯域設定された励起光カットフィルタの組合せであり、検出しようとする発光光が試料からの反射光または透過光のときは、照射する光は白色光、配置する絞りは上記第1の絞り状態よりもさらに絞った第2の絞り状態、配置するフィルタは無しの組合せであるものとすればよい。
【0018】
さらに検出しようとする発光光が蛍光である場合には、より細分化して、検出しようとする発光光が蛍光試薬FITCによる蛍光のときと、検出しようとする発光光が蛍光試薬Cy5による蛍光のときとで、対応付けを分けてもよい。すなわち具体的には、蛍光試薬FITCによる蛍光のときは、照射する光はFITCによる蛍光を励起する励起光(具体的には青光)、配置する絞りは上記第1の絞り状態、配置するフィルタは励起光をカットし、かつFITCによる蛍光を透過するように帯域設定された励起光カットフィルタ(具体的には黄色透過フィルタ)の組合せとし、検出しようとする発光光が蛍光試薬Cy5による蛍光のときは、照射する光はCy5による蛍光を励起する励起光(具体的には赤光)、配置する絞りは上記第1の絞り状態、配置するフィルタは励起光をカットし、かつCy5による蛍光を透過するように帯域設定された励起光カットフィルタ(具体的には近赤外光透過フィルタ)の組合せとした対応付けを、参照テーブル化しておけばよい。また検出しようとする発光光が透過光または反射光である場合には、より細分化して、透過光のときと反射光のときとで、対応付けを分けてもよい。すなわち具体的には、透過光のときは、照射する光は試料(透過原稿)の透過光を光電的に読み取る方向から該試料を照射する白色光、配置する絞りは上記第2の絞り状態、配置するフィルタは無しの組合せとし、反射光のときは、照射する光は試料(反射原稿)の反射光を光電的に読み取る方向から該試料を照射する白色光、配置する絞りは上記第2の絞り状態、配置するフィルタは無しの組合せとした対応付けを、参照テーブルとすればよい。
【0019】
光電読取手段としては、微弱な化学発光や蛍光をも検出可能な幅広いダイナミックレンジを有し、かつリニアリティよく検出することができ、また短時間の光電読取りを繰り返し行うことにより擬似的な動画画像をも取り出すことができる、冷却素子を備えたインターライン型CCDを用いるのが好ましい。
【0020】
なお、記憶手段や撮影手法入力手段は、光電読取手段や試料が配置される撮影質(暗箱)等の撮影装置本体と物理的に一体の構成であるものに限るものではなく、例えば撮影装置により得られた画像情報に対して画像処理や解析処理等を行うために撮影装置本体とシステム化されたパーソナルコンピュータ等に、これら記憶手段や撮影手法入力手段が備えられた構成であってもよいし、もちろん撮影装置本体と一体的に構成されてもよい。
【0021】
【発明の効果】
本発明の撮影方法・撮影装置によれば、光電読取手段により光電的に検出しようとする発光光(の種類)と撮影手法(試料に照射する光の種類、試料から光電読取手段までの間に配置する絞りの程度およびフィルタの種類)とを参照テーブルに予め対応づけておき、検出しようとする発光光の種類または撮影手法の名称(もしくはこの名称に対応づけられた番号等)を撮影手法入力手段に入力することで、この入力された発光光と対応づけられた撮影手法を参照テーブルを参照して求め、得られた撮影手法に切換手段が自動的に切り換えることにより、検出しようとする発光光の種類に応じて、撮影装置の切換設定操作を簡単化することができる。
【0022】
したがってオペレータが撮影装置の照射光、絞りおよびフィルタをそれぞれ切り換える操作を行う必要が無く、オペレータの熟達度に拘わらず迅速にかつ正確に上述した切換設定の操作を行うことができる。
【0023】
【発明の実施の形態】
以下、本発明の撮影方法を実施する撮影装置の具体的な実施形態について、図面を用いて説明する。
【0024】
図2は本発明の撮影装置の一実施形態の概略構成を示す斜視図、図1は図2に示した撮影装置の内部を含む構成全体を示す図である。図示の撮影装置100は、試料の撮影を行うCCD51を含む撮影装置本体20と、撮影により得られた画像信号に対して画像処理等を行うパーソナルコンピュータ70とから構成されている。
【0025】
撮影装置本体20は、光軸X方向に移動可能とされたレンズ40と、所定の試料11が載置されたトレイ10が択一的に配置される、レンズ40から光軸X方向の距離が互いに異なる離散的な7つの位置に形成された7段のトレイレール21a,…,21gと、これら7段のトレイレールのうちトレイ10が実際に配置されたlつのトレイレールを検出するトレイレール検出センサ22a,…,22gと、レンズ40によりその受光面上に結像された試料11から発光する発光光の分布像を光電的に読み取る、冷却素子を備えたインターライン型CCD51と、トレイレール検出センサ22a,…,22gにより検出された、トレイ10が実際に載置されたレール(21a,…,21gのうちいずれかlつ。図示においては21d。)に応じて、CCD51の受光面上に試料11からの発光光の像が結像されるように、レンズ40を光軸X方向に移動させるレンズ移動手段32と、レンズ40とCCD51との間であって試料11の像を構成する光の光路上に出入れ可能に設けられた、試料11が蛍光検出試料である場合における当該試料11から発光する蛍光を透過させ、かつこの蛍光を励起させる青色LED光の透過を阻止するように帯域設定された励起光カットフィルタ42と、レンズ40と励起光カットフィルタ42との間に設けられた、絞り状態が開放状態である開放絞り41a、開放絞り41aよりもその通過光量が絞られる第1の絞り41bおよび第1の絞り41bよりもその通過光量がさらに絞られる第2の絞り41cを択一的に上記光路上に配置する可変絞り41と、白色LED光を出射する白色LED光源45a、青色LED光を出射する青色LED光源45bおよび白色光を試料11の下方側から出射する蛍光ランプ45cからなる光源と、後述するパーソナルコンピュータ70のメモリ71aに記憶されたルックアップテーブルを参照して、励起光カットフィルタ42の光路上への出入れ状態、絞り41および光源をそれぞれ切り換える切換手段60、CCD51の露光を制御するカメラコントローラ52と、撮影装置本体20のケースである暗箱25とを備えた構成である。
【0026】
ここで、トレイレール検出センサ22a,…,22gはそれぞれトレイレール21a,…,21gに対応している。
【0027】
パーソナルコンピュータ70は主として撮影により得られた画像信号に対して画像処理等を行うが、マン/マシン・インターフェースであるキーボード73・マウス74、CRT72およびコンピュータ本体71からなり、コンピュータ本体71のメモリ71aには、下記表1に示すように、入力である検出光と、出力である照射光の種類、絞りおよびフィルタの組合せとが予め対応付けられたルックアップテーブルが記憶されている。
【0028】
【表1】

Figure 0003853532
【0029】
コンピュータ本体71は、キーボード73またはマウス74から入力された露光開始の合図にしたがってカメラコントローラ52に対して露光開始の信号を送出するとともに、露光終了後にCCD51により光電的に読み取られた画像信号を、カメラコントローラ52を介して受信し、画像処理等の信号処理を施す。
【0030】
次に本実施形態の撮影装置100の作用について説明する。
【0031】
まずオペレータが、化学発光検出用の試料(例えば、化学発光を呈する物質が分布するメンブレンフィルタ)11をトレイ10の所定の位置に載置して、所望とする画角での撮影に適したトレイレールを選択(本実施形態においてはトレイレール21dとする。)して、そのトレイレール21dにトレイ10を配置する。ここでレンズ40は最初、所定の初期位置に停止している。
【0032】
オペレータによるトレイ10の載置により、暗箱25内に設置されたセンサ22a〜22gのうち、トレイ10が載置された4段目のレール21dに対応するセンサ22dが、トレイ10が載置されたことを検出し、この検出信号をレンズ移動手段32に送る。このとき、他のセンサ22a〜22cおよび22e〜22gは、それぞれ対応するレール21a〜21cおよび21e〜21gにトレイ10が存在しないため、検出信号を出カすることはない。
【0033】
レンズ移動手段32は、検出信号を受けて、その検出信号がセンサ22dから出力されたものと認識し、このセンサ22dに対応する4段目のレール21d上に配置されたトレイ10上の試料11の像をCCD51の受光面にピントずれ無く結像させるのに適した位置まで、レンズ40を光軸X方向に移動させる。
【0034】
次にオペレータは、暗箱25の開閉扉25aを閉じて暗箱25内を遮光状態とし、コンピュータ70のキーボード73に、撮影対象が化学発光光である旨の入力を行う。ここでの入力事項は、化学発光光と1対1に対応する事項であれば、具体的な入力内容はどのようなものであってもよく、例えば「化学発光光用の撮影手法」としてもよい。また入力方式はキーボード73に直接文字で入力する方式であってもよいし、GUI(グラフィカルユーザインターフェース)環境において、CRT72に表示されたものからマウス74を用いて選択する方式であってもよい。
【0035】
このようにキーボード73等の撮影手法入力手段から、検出しようとする発光光の種類を入力すると、切換手段60が、入力された発光光の種類である「化学発光光」に対応する照射光、絞りおよびフィルタの組合せを、コンピュータ70のメモリ71aに記憶されたルックアップテーブルを参照して求める。すなわち、表1に示すように、「化学発光光」に対応付けられた、照射光なし(白色LED光源45a、青色LED光源45bおよび蛍光ランプ45cのいずれも消灯)、絞り開放(開放絞り41a選択)およびフィルタなし(励起光カットフィルタ42退避)の組合せを取得する。
【0036】
取得された組合せとなるように、切換手段60は、励起光カットフィルタ42を矢印Y方向に光路上から退避させ、開放絞り41aを光路上に配置させ、白色LED光源45a、青色LED光源45bおよび蛍光ランプ45cをいずれも点灯させないように切り換える。
【0037】
試料11から発光した化学発光光は、レンズ40により、開放絞り41aを介してCCD51の受光面上に、試料11上における化学発光光の発光分布像として結像され、ここでオペレータがキーボード73から露光開始の指示を入力すると、カメラコントローラ52がCCD51に対して露光開始の制御をなし、CCD51は露光開始から所定の露光時間(例えば30分間等)だけ露光を行い、この分布像を光電的に読み取る。そして読み取られた画像信号は、カメラコントローラ52を介してパーソナルコンピュータ70に入力され、画像処理や定量解析等に供される。
【0038】
パーソナルコンピュータ70は、キーボード73から撮影手法として入力された「化学発光光」の指示に基づいて、化学発光光の分布画像を画像処理等するのに適した画像処理条件で、取得された画像信号に対して画像処理を施す。
【0039】
画像信号の取得が終了すると、オペレータは撮影装置本体20の開閉扉25aを開放して試料11をトレイ10ごと暗箱25から取り出し、これにより一連の撮影操作が終了する。
【0040】
次に蛍光検出用の試料(例えば、蛍光色素で標識された特定のDNAが分布するゲル)11を撮影する場合について説明する。
【0041】
まず化学発光光検出用の試料の場合と同様に、オペレータが蛍光検出用の試料11をトレイ10の所定の位置に載置して、所望とする画角での撮影に適したトレイレールを選択(本実施形態においてはトレイレール21cとする。)して、そのトレイレール21cにトレイ10を配置する。
【0042】
オペレータによるトレイ10の載置により、暗箱25内に設置されたセンサ22a〜22gのうち、トレイ10が載置された3段目のレール21cに対応するセンサ22cが、トレイ10が載置されたことを検出し、この検出信号をレンズ移動手段32に送り、レンズ移動手段32は、検出信号を受けて、その検出信号がセンサ22cから出力されたものと認識し、このセンサ22cに対応する3段目のレール21c上に配置されたトレイ10上の試料11の像をCCD51の受光面にピントずれ無く結像させるのに適した位置まで、レンズ40を光軸X方向に移動させる。
【0043】
次にオペレータは、暗箱25の開閉扉25aを閉じて暗箱25内を遮光状態とし、コンピュータ70のキーボード73に、撮影対象が蛍光である旨の入力を行う。
【0044】
このようにキーボード73から、検出しようとする発光光の種類を入力すると、切換手段60が、入力された発光光の種類である「蛍光」に対応する照射光、絞りおよびフィルタの組合せを、コンピュータ70のメモリ71aに記憶されたルックアップテーブルを参照して求める。すなわち、表1に示すように、「蛍光」に対応付けられた、照射光として青色LED光源45b、第1絞り41bおよびフィルタあり(励起光カットフィルタ42使用)の組合せを取得する。
【0045】
取得された組合せとなるように、切換手段60は、励起光カットフィルタ42および第1絞り41bを光路上に配置させ、青色LED光源45bを点灯させるように切り換える。
【0046】
暗箱25内部では、青色LED光源45bが点灯するため、この青色LED光源45bから出射した青色LED光が試料11を照射し、試料11中に分布する特定のDNAを標識した蛍光色素を励起させる。したがって、試料11からはその特定のDNAの分布に対応した蛍光が発光し、発光した蛍光は、レンズ40により、第1絞り41bおよび励起光カットフィルタ42を介してCCD51の受光面上に、試料11上における蛍光の発光分布像として結像され、ここでオペレータがキーボード73から露光開始の指示を入力すると、カメラコントローラ52がCCD51に対して露光開始の制御をなし、CCD51は露光開始から所定の露光時間だけ露光を行い、この分布像を光電的に読み取る。そして読み取られた画像信号は、カメラコントローラ52を介してパーソナルコンピュータ70に入力され、画像処理や定量解析等に供される。ここでレンズ40には試料11を照射して試料11やトレイ10で反射した青色LED光も入射するが、励起光カットフィルタ42によりカットされ、CCD51には入射せず、発光した蛍光のみの分布像を検出することができる。
【0047】
パーソナルコンピュータ70は、キーボード73から撮影手法として入力された「蛍光」の指示に基づいて、蛍光の分布画像を画像処理等するのに適した画像処理条件で、取得された画像信号に対して画像処理を施す。
【0048】
画像信号の取得が終了すると、オペレータは撮影装置本体20の開閉扉25aを開放して試料11をトレイ10ごと暗箱25から取り出し、これにより一連の撮影操作が終了する。
【0049】
次にデジタイザとして反射光検出用の試料(例えば、写真などの反射原稿)11を撮影する場合について説明する。
【0050】
まずオペレータが試料11をトレイ10の所定の位置に載置して、所望とする画角での撮影に適したトレイレールを選択して、そのトレイレールにトレイ10を配置する。
【0051】
オペレータによるトレイ10の載置により、暗箱25内に設置されたセンサ22a〜22gのうち、トレイ10が載置されたレール(例えば21c)に対応するセンサ22cが、トレイ10が載置されたことを検出し、この検出信号をレンズ移動手段32に送り、レンズ移動手段32は、検出信号を受けて、その検出信号がセンサ22cから出力されたものと認識し、このセンサ22cに対応する3段目のレール21c上に配置されたトレイ10上の試料11の像をCCD51の受光面にピントずれ無く結像させるのに適した位置まで、レンズ40を光軸X方向に移動させる。
【0052】
次にオペレータは、暗箱25の開閉扉25aを閉じて暗箱25内を遮光状態とし、コンピュータ70のキーボード73に、撮影対象が反射光である旨の入力を行う。
【0053】
このようにキーボード73から、検出しようとする発光光の種類を入力すると、切換手段60が、入力された発光光の種類である「反射光」に対応する照射光、絞りおよびフィルタの組合せを、コンピュータ70のメモリ71aに記憶されたルックアップテーブルを参照して求める。すなわち、表1より、「反射光」に対応付けられた、照射光として白色LED光源45a、第2絞り41cおよびフィルタなし(励起光カットフィルタ42退避)の組合せを取得する。
【0054】
取得された組合せとなるように、切換手段60は、励起光カットフィルタ42を光路上から退避させ、第2絞り41cを光路上に配置させ、白色LED光源45aを点灯させるように切り換える。
【0055】
暗箱25内部では、白色LED光源45aが点灯するため、この白色LED光源45aから出射した白色LED光が試料11を照射し、試料11からはこの試料11に記録された画像に応じた反射光が出射する。そしてこの発光した反射光は、レンズ40により、第2絞り41cを介してCCD51の受光面上に、試料11に記録された画像の反射光像として結像され、ここでオペレータがキーボード73から露光開始の指示を入力すると、カメラコントローラ52がCCD51に対して露光開始の制御をなし、CCD51は露光開始から所定の露光時間だけ露光を行い、この反射光像を光電的に読み取る。そして読み取られた画像信号は、カメラコントローラ52を介してパーソナルコンピュータ70に入力され、画像処理や定量解析等に供される。
【0056】
パーソナルコンピュータ70は、キーボード73から撮影手法として入力された「反射光」の指示に基づいて、反射光像を画像処理等するのに適した画像処理条件で、取得された画像信号に対して画像処理を施す。
【0057】
画像信号の取得が終了すると、オペレータは撮影装置本体20の開閉扉25aを開放して試料11をトレイ10ごと暗箱25から取り出し、これにより一連の撮影操作が終了する。
【0058】
次にデジタイザとして透過光検出用の試料(例えば、ポジフイルムなどの透過原稿)11を撮影する場合について説明する。
【0059】
まずオペレータが試料11を光学的に透明なトレイ10の所定の位置に載置して、所望とする画角での撮影に適したトレイレールを選択して、そのトレイレールにトレイ10を配置する。
【0060】
オペレータによるトレイ10の載置により、暗箱25内に設置されたセンサ22a〜22gのうち、トレイ10が載置されたレール(例えば21b)に対応するセンサ22bが、トレイ10が載置されたことを検出し、この検出信号をレンズ移動手段32に送り、レンズ移動手段32は、検出信号を受けて、その検出信号がセンサ22bから出力されたものと認識し、このセンサ22bに対応する2段目のレール21b上に配置されたトレイ10上の試料11の像をCCD51の受光面にピントずれ無く結像させるのに適した位置まで、レンズ40を光軸X方向に移動させる。
【0061】
次にオペレータは、暗箱25の開閉扉25aを閉じて暗箱25内を遮光状態とし、コンピュータ70のキーボード73に、撮影対象が透過光である旨の入力を行う。
【0062】
このようにキーボード73から、検出しようとする発光光の種類を入力すると、切換手段60が、入力された発光光の種類である「透過光」に対応する照射光、絞りおよびフィルタの組合せを、コンピュータ70のメモリ71aに記憶されたルックアップテーブルを参照して求める。すなわち、表1より、「透過光」に対応付けられた、照射光として蛍光ランプ45c、第2絞り41cおよびフィルタなし(励起光カットフィルタ42退避)の組合せを取得する。
【0063】
取得された組合せとなるように、切換手段60は、励起光カットフィルタ42を光路上から退避させ、第2絞り41cを光路上に配置させ、試料11の下方に配置された蛍光ランプ45cを点灯させるように切り換える。
【0064】
暗箱25内部では、蛍光ランプ45cが点灯するため、この蛍光ランプ45cから出射した白色光が、透明なトレイ10を透過して試料11を照射し、試料11からはこの試料11に記録された画像に応じた透過光が出射する。そしてこの発光した透過光は、レンズ40により、第2絞り41cを介してCCD51の受光面上に、試料11に記録された画像の透過光像として結像され、ここでオペレータがキーボード73から露光開始の指示を入力すると、カメラコントローラ52がCCD51に対して露光開始の制御をなし、CCD51は露光開始から所定の露光時間だけ露光を行い、この透過光像を光電的に読み取る。そして読み取られた画像信号は、カメラコントローラ52を介してパーソナルコンピュータ70に入力され、画像処理や定量解析等に供される。
【0065】
パーソナルコンピュータ70は、キーボード73から撮影手法として入力された「透過光」の指示に基づいて、透過光像を画像処理等するのに適した画像処理条件で、取得された画像信号に対して画像処理を施す。
【0066】
画像信号の取得が終了すると、オペレータは撮影装置本体20の開閉扉25aを開放して試料11をトレイ10ごと暗箱25から取り出し、これにより一連の撮影操作が終了する。
【図面の簡単な説明】
【図1】本発明の撮影装置の一実施形態の全体構成を示す図
【図2】図1に示した撮影装置の概略構成を示す斜視図
【符号の説明】
10 トレイ
11 試料
20 撮影装置本体
21a〜21g トレイレール
22a〜22g トレイセンサ
25 暗箱
25a 開閉扉
32 レンズ移動手段
40 レンズ
41 絞り
41a 開放絞り
41b 第1絞り
41c 第2絞り
42 励起光カットフィルタ
45a 白色LED光源
45b 青色LED光源
45c 蛍光ランプ
51 冷却CCD
52 カメラコントローラ
60 切換手段
70 パーソナルコンピュータ
71 コンピュータ本体
71a メモリ
72 CRT
73 キーボード
74 マウス
100 撮影装置[0001]
BACKGROUND OF THE INVENTION
The present invention relates to an imaging system, and more particularly, to an improvement in an imaging method and an imaging apparatus in which a plurality of imaging methods are prepared so as to be switchable depending on differences in imaging objects.
[0002]
[Prior art]
Conventionally, in the field of biochemistry and molecular biology, as a method for detecting nucleic acids and proteins in a membrane filter after blotting, a chemical substance that chemically reacts with a specific protein or the like to emit light (chemiluminescence) is used. A chemiluminescence method is known in which chemiluminescence imaging is performed using a photoelectric reading means such as a CCD, and a membrane filter or the like is used as an imaging device for imaging such chemiluminescence imaging. The sample is placed on a sample stage and accommodated in a dark box shielded from external light. In this dark box, chemiluminescent light emitted from a membrane filter or the like is photoelectrically read by a photoelectric reading means through a lens, thereby Those that acquire image information representing the distribution of specific proteins that react with a given luminescent chemical are known.
[0003]
On the other hand, in the same field, a fluorescence detection (fluoresceuce) system using a fluorescent dye as a labeling substance is known. This system irradiates a sample in which a specific biological substance labeled with a fluorescent dye is distributed with excitation light, and images the fluorescence excited by irradiation with this excitation light using a photoelectric reading means. Reads image information indicating the distribution state of fluorescent dyes, that is, the distribution state of a specific biological substance, gene sequence, gene expression level, metabolism / absorption / excretion route / state of administered substance in experimental mice, protein Separation, identification, evaluation of molecular weight and characteristics can be performed.
[0004]
In this case, the above-described imaging device for detecting chemiluminescence has an excitation light source that emits excitation light that can excite the fluorescent dye, and only the fluorescence is incident on the photoelectric reading means to prevent the excitation light from entering. By further providing an excitation light cut filter and a predetermined aperture, it is possible to function as an imaging device for the above-described fluorescence detection system, and such an imaging device has already been developed.
[0005]
In other words, when photographing for chemiluminescence detection, the excitation light is prevented from being emitted, the excitation light cut filter is retracted from the chemiluminescence optical path, the aperture is opened, and the chemiluminescence light emitted from the sample. On the other hand, when photographing for fluorescence detection is performed, the excitation light is emitted to irradiate the sample, and the excitation light cut-off filter is placed on the fluorescence optical path from the sample to the photoelectric reading means. In order to ensure the depth of field equivalent to the thickness of the sample, it is only necessary to switch so that only the fluorescence is detected by the photoelectric reading means by reducing the aperture from the open state.
[0006]
Further, this photographing apparatus radiates white light to a transparent original such as a film or a reflective original such as a photograph, and photoelectrically reads the transmitted light or reflected light by a photoelectric reading means through a lens to obtain a digital image. It can also be used as In this case, an illumination light source that emits white light is provided separately from the excitation light source that is provided for fluorescence detection, and a diaphragm that further reduces the amount of light incident on the photoelectric reading means is provided rather than the diaphragm used for fluorescence detection. That's fine.
[0007]
[Problems to be solved by the invention]
By the way, in the photographing apparatus in which the three kinds of photographing methods (the type of irradiation light, the degree of aperture, and the type of filter used) of the above-described chemiluminescence detection, fluorescence detection, and digitizing can be switched and set, the emitted light to be detected Depending on the type, the operator must perform an operation for switching the irradiation light, the diaphragm, and the filter, respectively. However, an operator skilled in such an operation can immediately associate the type of emitted light to be detected with the photographing technique, and can perform the above-described switching setting operation quickly and accurately. However, in the case of an unfamiliar operator, the switching setting operation may take time or may be set incorrectly.
[0008]
Further, even an experienced operator cannot easily deny the possibility of making a setting error because the operation of switching the irradiation light, the diaphragm, and the filter one by one is troublesome.
[0009]
The present invention has been made in view of the above circumstances, and an object thereof is to provide an imaging method and an imaging apparatus in which the switching setting operation of the imaging apparatus is simplified according to the type of emitted light to be detected. It is.
[0010]
[Means for Solving the Problems]
According to the photographing method of the present invention, the emitted light to be detected is associated with the photographing method in advance, and the type of the emitted light to be detected is input, so that the emitted light is associated with the photographing method. The shooting method is automatically switched.
[0011]
That is, in the imaging method of the present invention, emitted light emitted from a sample is photoelectrically detected by a photoelectric reading unit, the type of light irradiated on the sample according to the type of the emitted light, and from the sample to the photoelectric reading unit. In the photographing method in which the degree of the diaphragm arranged between and the type of filter can be switched,
According to the type of the emitted light to be detected, the combination of the type of light to be irradiated, the degree of the diaphragm to be arranged, and the type of the filter to be arranged is made into a reference table in advance.
Upon receiving an input of selection of the type of the emitted light to be detected, the type of light to be irradiated according to the selected type of the emitted light, the degree of the diaphragm to be arranged, and the type of the filter to be arranged The combination is obtained by referring to the reference table, and the type of light to be irradiated, the degree of the diaphragm to be arranged, and the type of filter to be arranged are respectively switched according to the obtained combination. It is.
[0012]
Here, as the reference table, for example, when the emitted light to be detected is chemiluminescent light, there is no light to irradiate, the aperture to be arranged is in the open state, and the filter to be arranged is not combined. When the emitted light is fluorescence, the irradiation light is excitation light that excites the fluorescence, the diaphragm to be arranged is a first diaphragm state that is narrower than the open state, and the arranged filter cuts the excitation light and transmits the fluorescence. When the emission light to be detected is reflected light or transmitted light from the sample, the irradiated light is white light, and the diaphragm to be arranged is the first diaphragm. A combination of the second aperture state further narrowed than the state and the filter to be arranged may be used.
[0013]
Further, when the emitted light to be detected is fluorescent, it is further subdivided, and when the emitted light to be detected is fluorescence by a fluorescent reagent FITC (fluorescein isothiosilanate), the emitted light to be detected is fluorescent. The correspondence may be divided according to the fluorescence with the reagent Cy5 (Sciive; trade name of Amersham Pharmacia Biotech Co., Ltd.). Specifically, in the case of fluorescence by the fluorescent reagent FITC, the irradiation light is excitation light (specifically, blue light) that excites the fluorescence by FITC, the diaphragm to be arranged is the first diaphragm state, and the filter to be arranged Is a combination of an excitation light cut filter (specifically, a yellow transmission filter) with a band set to cut the excitation light and transmit the fluorescence from FITC, and the emitted light to be detected is the fluorescence of the fluorescence reagent Cy5. Sometimes, the irradiated light is excitation light (specifically red light) that excites fluorescence by Cy5, the diaphragm to be arranged is in the first diaphragm state, the arranged filter cuts the excitation light, and the fluorescence by Cy5 is emitted. The association as a combination of excitation light cut filters (specifically, near-infrared light transmission filters) whose bands are set so as to transmit may be formed into a reference table.
[0014]
In addition, when the emitted light to be detected is transmitted light or reflected light, the correspondence may be divided depending on whether the light is transmitted light or reflected light. Specifically, in the case of transmitted light, the irradiated light is white light that irradiates the sample from the direction in which the transmitted light of the sample (transmission original) is read photoelectrically, the diaphragm to be arranged is the second diaphragm state, In the case of reflected light, the irradiated light is white light that irradiates the sample from the direction in which the reflected light of the sample (reflective document) is read photoelectrically, and the diaphragm that is arranged is the second diaphragm. The association with the combination of the aperture state and the filter to be arranged may be made into a reference table.
[0015]
As the photoelectric reading means, it has a wide dynamic range that can detect even weak chemiluminescence and fluorescence, can be detected with good linearity, and pseudo moving image can be obtained by repeating photoelectric reading for a short time. It is preferable to use an interline CCD having a cooling element that can be taken out.
[0016]
The imaging apparatus of the present invention is an apparatus for carrying out the imaging method of the present invention, wherein the emitted light emitted from the sample is photoelectrically detected by a photoelectric reading means, and the sample is irradiated according to the type of the emitted light. In the photographing apparatus capable of switching the type of light to be performed, the degree of the diaphragm arranged between the sample and the photoelectric reading means, and the type of filter, respectively,
Storage means for storing in advance a combination of the type of light to be emitted, the degree of diaphragm to be arranged, and the type of filter to be arranged according to the type of the emitted light to be detected, as a reference table;
A photographing technique input means for inputting selection of the type of the emitted light to be detected;
Referring to the reference table, a combination of the type of light to be irradiated, the degree of the diaphragm to be arranged, and the type of filter to be arranged corresponding to the type of the emitted light input to the imaging technique input unit is obtained. And switching means for switching between the type of light to be irradiated, the degree of the diaphragm to be arranged, and the type of filter to be arranged according to the obtained combination.
[0017]
Here, as the reference table stored in the storage means, for example, when the emitted light to be detected is chemiluminescent light, there is no light to irradiate, as in the case of the imaging method of the present invention. The aperture to be opened is a combination of the open state and the filter to be arranged is not present. When the emitted light to be detected is fluorescence, the irradiated light is the excitation light that excites the fluorescence, and the aperture to be arranged is the aperture that is narrower than the open state. 1 is a combination of an excitation light cut filter whose band is set so as to cut the excitation light and transmit the fluorescence, and the emitted light to be detected is reflected light or transmitted light from the sample. In this case, the light to be irradiated may be white light, the aperture to be arranged may be a combination of the second aperture state that is further reduced than the first aperture state, and the filter to be arranged is not combined.
[0018]
Further, when the emitted light to be detected is fluorescence, when the emitted light to be detected is fluorescent by the fluorescent reagent FITC and when the emitted light to be detected is fluorescent by the fluorescent reagent Cy5 And the correspondence may be divided. Specifically, in the case of fluorescence by the fluorescent reagent FITC, the irradiation light is excitation light (specifically, blue light) that excites the fluorescence by FITC, the diaphragm to be arranged is the first diaphragm state, and the filter to be arranged Is a combination of an excitation light cut filter (specifically, a yellow transmission filter) with a band set to cut the excitation light and transmit the fluorescence from FITC, and the emitted light to be detected is the fluorescence of the fluorescence reagent Cy5. Sometimes, the irradiated light is excitation light (specifically red light) that excites fluorescence by Cy5, the diaphragm to be arranged is in the first diaphragm state, the arranged filter cuts the excitation light, and the fluorescence by Cy5 is emitted. The association as a combination of excitation light cut filters (specifically, near-infrared light transmission filters) whose bands are set so as to transmit may be formed into a reference table. In addition, when the emitted light to be detected is transmitted light or reflected light, the correspondence may be divided depending on whether the light is transmitted light or reflected light. Specifically, in the case of transmitted light, the irradiated light is white light that irradiates the sample from the direction in which the transmitted light of the sample (transmission original) is read photoelectrically, the diaphragm to be arranged is the second diaphragm state, In the case of reflected light, the irradiated light is white light that irradiates the sample from the direction in which the reflected light of the sample (reflective document) is read photoelectrically, and the diaphragm that is arranged is the second diaphragm. The association with the combination of aperture state and no filter to be arranged may be used as a reference table.
[0019]
As the photoelectric reading means, it has a wide dynamic range that can detect even weak chemiluminescence and fluorescence, can be detected with good linearity, and pseudo moving image can be obtained by repeating photoelectric reading for a short time. It is preferable to use an interline CCD having a cooling element that can be taken out.
[0020]
Note that the storage means and the imaging method input means are not limited to those that are physically integrated with the main body of the imaging apparatus such as the photoelectric reading means and the imaging quality (dark box) in which the sample is arranged. In order to perform image processing, analysis processing, and the like on the obtained image information, a configuration in which the storage unit and the imaging method input unit are provided in a personal computer systematized with the imaging apparatus main body may be used. Of course, it may be configured integrally with the photographing apparatus main body.
[0021]
【The invention's effect】
According to the imaging method and the imaging apparatus of the present invention, the emitted light (type) to be detected photoelectrically by the photoelectric reading means and the imaging method (type of light irradiated to the sample, between the sample and the photoelectric reading means) The degree of diaphragm to be arranged and the type of filter) are previously associated with the reference table, and the type of emitted light to be detected or the name of the imaging method (or the number associated with this name, etc.) is input to the imaging method. By inputting into the means, the photographing technique associated with the inputted emitted light is obtained with reference to the reference table, and the switching means automatically switches to the obtained photographing technique to detect the light emission to be detected. Depending on the type of light, the switching setting operation of the photographing apparatus can be simplified.
[0022]
Therefore, it is not necessary for the operator to perform the operation of switching the irradiation light, the diaphragm, and the filter of the imaging device, and the above-described switching setting operation can be performed quickly and accurately regardless of the level of proficiency of the operator.
[0023]
DETAILED DESCRIPTION OF THE INVENTION
Hereinafter, a specific embodiment of a photographing apparatus that performs the photographing method of the present invention will be described with reference to the drawings.
[0024]
FIG. 2 is a perspective view showing a schematic configuration of an embodiment of the imaging apparatus of the present invention, and FIG. 1 is a diagram showing the entire configuration including the inside of the imaging apparatus shown in FIG. The illustrated imaging apparatus 100 includes an imaging apparatus body 20 including a CCD 51 that performs imaging of a sample, and a personal computer 70 that performs image processing and the like on an image signal obtained by imaging.
[0025]
The imaging apparatus main body 20 has a lens 40 that can be moved in the optical axis X direction and a tray 10 on which a predetermined sample 11 is placed alternatively arranged from the lens 40 in the optical axis X direction. Tray rail detection for detecting seven tray rails 21a,..., 21g formed at seven different discrete positions, and one tray rail in which the tray 10 is actually arranged among these seven tray rails. Sensor 22a, ..., 22g, an interline CCD 51 having a cooling element that photoelectrically reads a distribution image of emitted light emitted from the sample 11 formed on the light receiving surface by the lens 40, and a tray rail detection .., 22g detected by the sensors 22a,..., 22g, depending on the rail on which the tray 10 is actually placed (any one of 21a,..., 21g, 21d in the drawing). The lens moving means 32 for moving the lens 40 in the optical axis X direction so that the image of the light emitted from the sample 11 is formed on the light receiving surface of the CCD 51, and the sample between the lens 40 and the CCD 51. Of the blue LED light that is provided so as to be able to enter and exit on the optical path of the light constituting the image 11 and transmits the fluorescence emitted from the sample 11 when the sample 11 is a fluorescence detection sample and excites the fluorescence. The excitation light cut filter 42 whose band is set so as to prevent transmission, and the open diaphragm 41a provided between the lens 40 and the excitation light cut filter 42, in which the diaphragm state is the open state, are more than the open diaphragm 41a. A variable stop 4 in which a first stop 41b for reducing the amount of passing light and a second stop 41c for further reducing the amount of passing light than the first stop 41b are arranged on the optical path. A light source comprising a white LED light source 45a that emits white LED light, a blue LED light source 45b that emits blue LED light, and a fluorescent lamp 45c that emits white light from the lower side of the sample 11, and a memory of a personal computer 70 to be described later Referring to the lookup table stored in 71a, the excitation light cut filter 42 is put in and out of the optical path, the diaphragm 41 and the switching means 60 for switching the light source, the camera controller 52 for controlling the exposure of the CCD 51, and the photographing The configuration includes a dark box 25 which is a case of the apparatus main body 20.
[0026]
Here, the tray rail detection sensors 22a, ..., 22g correspond to the tray rails 21a, ..., 21g, respectively.
[0027]
The personal computer 70 mainly performs image processing or the like on image signals obtained by photographing. The personal computer 70 includes a keyboard 73, a mouse 74, a CRT 72, and a computer main body 71, which are man / machine interfaces, and is stored in a memory 71a of the computer main body 71. As shown in Table 1 below, a lookup table is stored in which detection light that is input and the type of irradiation light that is output, a combination of a diaphragm and a filter are associated in advance.
[0028]
[Table 1]
Figure 0003853532
[0029]
The computer main body 71 sends an exposure start signal to the camera controller 52 in accordance with an exposure start signal input from the keyboard 73 or the mouse 74, and the image signal photoelectrically read by the CCD 51 after the exposure is completed. The signal is received via the camera controller 52 and subjected to signal processing such as image processing.
[0030]
Next, the operation of the photographing apparatus 100 of this embodiment will be described.
[0031]
First, an operator places a sample for detecting chemiluminescence (for example, a membrane filter in which a substance exhibiting chemiluminescence is distributed) 11 at a predetermined position of the tray 10 and is suitable for photographing at a desired angle of view. A rail is selected (in this embodiment, it is referred to as a tray rail 21d), and the tray 10 is disposed on the tray rail 21d. Here, the lens 40 is initially stopped at a predetermined initial position.
[0032]
By placing the tray 10 by the operator, among the sensors 22a to 22g installed in the dark box 25, a sensor 22d corresponding to the fourth rail 21d on which the tray 10 is placed is placed on the tray 10. This is detected and this detection signal is sent to the lens moving means 32. At this time, the other sensors 22a to 22c and 22e to 22g do not output detection signals because the trays 10 do not exist on the corresponding rails 21a to 21c and 21e to 21g, respectively.
[0033]
The lens moving unit 32 receives the detection signal, recognizes that the detection signal is output from the sensor 22d, and samples 11 on the tray 10 disposed on the fourth rail 21d corresponding to the sensor 22d. The lens 40 is moved in the direction of the optical axis X to a position suitable for forming the image on the light receiving surface of the CCD 51 without focusing.
[0034]
Next, the operator closes the open / close door 25a of the dark box 25 so that the inside of the dark box 25 is shielded from light, and inputs to the keyboard 73 of the computer 70 that the photographing object is chemiluminescent light. As long as the input items here are items corresponding to the chemiluminescent light on a one-to-one basis, any specific input content may be used, for example, as a “chemiluminescent light imaging method”. Good. Further, the input method may be a method in which characters are directly input to the keyboard 73, or a method in which a mouse 74 is selected from those displayed on the CRT 72 in a GUI (graphical user interface) environment.
[0035]
When the type of emitted light to be detected is input from the imaging method input means such as the keyboard 73 as described above, the switching means 60 emits irradiation light corresponding to “chemiluminescent light” that is the type of the input emitted light, The combination of the aperture and the filter is obtained with reference to a lookup table stored in the memory 71a of the computer 70. That is, as shown in Table 1, there is no irradiation light (all of the white LED light source 45a, the blue LED light source 45b and the fluorescent lamp 45c are off) associated with the “chemiluminescence light”, and the aperture is opened (the open aperture 41a is selected). ) And no filter (extraction of the excitation light cut filter 42).
[0036]
The switching means 60 retracts the excitation light cut filter 42 from the optical path in the direction of arrow Y and arranges the open stop 41a on the optical path so that the acquired combination is obtained, and the white LED light source 45a, the blue LED light source 45b, and Switching is performed so that none of the fluorescent lamps 45c is lit.
[0037]
The chemiluminescent light emitted from the sample 11 is imaged as a light emission distribution image of the chemiluminescent light on the sample 11 by the lens 40 on the light receiving surface of the CCD 51 through the open aperture 41a. When an exposure start instruction is input, the camera controller 52 controls the CCD 51 to start exposure, and the CCD 51 performs exposure for a predetermined exposure time (for example, 30 minutes) from the start of exposure, and photoelectrically converts this distribution image. read. The read image signal is input to the personal computer 70 via the camera controller 52 and is used for image processing, quantitative analysis, and the like.
[0038]
The personal computer 70 acquires an image signal acquired under image processing conditions suitable for image processing of a distribution image of chemiluminescent light based on an instruction of “chemiluminescent light” input as a photographing technique from the keyboard 73. Image processing is performed on the.
[0039]
When the acquisition of the image signal is completed, the operator opens the opening / closing door 25a of the photographing apparatus main body 20 and takes out the sample 11 together with the tray 10 from the dark box 25, thereby completing a series of photographing operations.
[0040]
Next, a case where a sample for fluorescence detection (for example, a gel in which specific DNA labeled with a fluorescent dye is distributed) 11 is photographed will be described.
[0041]
First, as in the case of the chemiluminescent detection sample, the operator places the fluorescence detection sample 11 at a predetermined position on the tray 10 and selects a tray rail suitable for photographing at a desired angle of view. (In this embodiment, the tray rail 21c is used.) Then, the tray 10 is disposed on the tray rail 21c.
[0042]
By placing the tray 10 by the operator, among the sensors 22a to 22g installed in the dark box 25, the sensor 22c corresponding to the third-stage rail 21c on which the tray 10 is placed is placed on the tray 10. The lens movement means 32 receives the detection signal, recognizes that the detection signal is output from the sensor 22c, and corresponds to the sensor 22c. The lens 40 is moved in the optical axis X direction to a position suitable for forming an image of the sample 11 on the tray 10 arranged on the rail 21c on the stage on the light receiving surface of the CCD 51 without focusing.
[0043]
Next, the operator closes the open / close door 25a of the dark box 25 to make the inside of the dark box 25 light-shielded, and inputs to the keyboard 73 of the computer 70 that the photographing object is fluorescent.
[0044]
When the type of emitted light to be detected is input from the keyboard 73 in this way, the switching means 60 determines the combination of irradiation light, diaphragm and filter corresponding to the input type of emitted light, “fluorescence”. It is obtained by referring to a lookup table stored in the memory 71a of 70. That is, as shown in Table 1, the combination of the blue LED light source 45b, the first diaphragm 41b, and the filter (using the excitation light cut filter 42) associated with “fluorescence” as the irradiation light is acquired.
[0045]
The switching unit 60 switches the excitation light cut filter 42 and the first diaphragm 41b on the optical path so that the blue LED light source 45b is lit so that the acquired combination is obtained.
[0046]
Since the blue LED light source 45b is lit inside the dark box 25, the blue LED light emitted from the blue LED light source 45b irradiates the sample 11 and excites the fluorescent dye labeled with specific DNA distributed in the sample 11. Therefore, fluorescence corresponding to the distribution of the specific DNA is emitted from the sample 11, and the emitted fluorescence is emitted from the sample 40 onto the light receiving surface of the CCD 51 via the first diaphragm 41 b and the excitation light cut filter 42. 11, when an operator inputs an instruction to start exposure from the keyboard 73, the camera controller 52 controls the CCD 51 to start exposure, and the CCD 51 has a predetermined value from the start of exposure. Exposure is performed for the exposure time, and this distribution image is read photoelectrically. The read image signal is input to the personal computer 70 via the camera controller 52 and used for image processing, quantitative analysis, and the like. Here, the blue LED light irradiated on the sample 11 and reflected by the sample 11 or the tray 10 is also incident on the lens 40, but is cut by the excitation light cut filter 42 and is not incident on the CCD 51, but only the emitted fluorescent light distribution An image can be detected.
[0047]
The personal computer 70 performs image processing on an acquired image signal under image processing conditions suitable for image processing of a fluorescence distribution image based on an instruction of “fluorescence” input as a photographing method from the keyboard 73. Apply processing.
[0048]
When the acquisition of the image signal is completed, the operator opens the opening / closing door 25a of the photographing apparatus main body 20 and takes out the sample 11 together with the tray 10 from the dark box 25, thereby completing a series of photographing operations.
[0049]
Next, a case where a sample (for example, a reflection original such as a photograph) 11 for detecting reflected light is photographed as a digitizer will be described.
[0050]
First, the operator places the sample 11 on a predetermined position of the tray 10, selects a tray rail suitable for photographing at a desired angle of view, and places the tray 10 on the tray rail.
[0051]
By placing the tray 10 by the operator, among the sensors 22a to 22g installed in the dark box 25, the sensor 22c corresponding to the rail (for example, 21c) on which the tray 10 is placed has been placed on the tray 10. And the detection signal is sent to the lens moving means 32. The lens moving means 32 receives the detection signal, recognizes that the detection signal is output from the sensor 22c, and corresponds to the three stages corresponding to the sensor 22c. The lens 40 is moved in the optical axis X direction to a position suitable for forming an image of the sample 11 on the tray 10 arranged on the eye rail 21c on the light receiving surface of the CCD 51 without focusing.
[0052]
Next, the operator closes the open / close door 25a of the dark box 25 to make the inside of the dark box 25 light-shielded, and inputs to the keyboard 73 of the computer 70 that the photographing object is reflected light.
[0053]
When the type of emitted light to be detected is input from the keyboard 73 in this way, the switching means 60 selects the combination of irradiation light, diaphragm and filter corresponding to “reflected light” which is the type of input emitted light. This is obtained by referring to a lookup table stored in the memory 71a of the computer 70. That is, from Table 1, a combination of white LED light source 45a, second diaphragm 41c, and no filter (extraction of excitation light cut filter 42) associated with “reflected light” is acquired as irradiation light.
[0054]
The switching means 60 switches so that the excitation light cut filter 42 is retracted from the optical path, the second diaphragm 41c is disposed on the optical path, and the white LED light source 45a is turned on so as to obtain the acquired combination.
[0055]
Since the white LED light source 45a is turned on inside the dark box 25, the white LED light emitted from the white LED light source 45a irradiates the sample 11, and the reflected light corresponding to the image recorded on the sample 11 is emitted from the sample 11. Exit. The emitted reflected light is imaged as a reflected light image of the image recorded on the sample 11 by the lens 40 on the light receiving surface of the CCD 51 through the second diaphragm 41c. When a start instruction is input, the camera controller 52 controls the CCD 51 to start exposure. The CCD 51 performs exposure for a predetermined exposure time from the start of exposure, and photoelectrically reads the reflected light image. The read image signal is input to the personal computer 70 via the camera controller 52 and used for image processing, quantitative analysis, and the like.
[0056]
The personal computer 70 performs image processing on the acquired image signal under image processing conditions suitable for image processing of the reflected light image based on an instruction of “reflected light” input as a photographing technique from the keyboard 73. Apply processing.
[0057]
When the acquisition of the image signal is completed, the operator opens the opening / closing door 25a of the photographing apparatus main body 20 and takes out the sample 11 together with the tray 10 from the dark box 25, thereby completing a series of photographing operations.
[0058]
Next, a case where a sample for transmitting light detection (for example, a transparent original such as a positive film) 11 is photographed as a digitizer will be described.
[0059]
First, the operator places the sample 11 on a predetermined position of the optically transparent tray 10, selects a tray rail suitable for photographing at a desired angle of view, and places the tray 10 on the tray rail. .
[0060]
By placing the tray 10 by the operator, among the sensors 22a to 22g installed in the dark box 25, the sensor 22b corresponding to the rail (for example, 21b) on which the tray 10 is placed has been placed on the tray 10. And the detection signal is sent to the lens moving means 32. The lens moving means 32 receives the detection signal, recognizes that the detection signal is output from the sensor 22b, and corresponds to the two stages corresponding to the sensor 22b. The lens 40 is moved in the optical axis X direction to a position suitable for forming an image of the sample 11 on the tray 10 arranged on the eye rail 21b on the light receiving surface of the CCD 51 without focusing.
[0061]
Next, the operator closes the open / close door 25a of the dark box 25 to make the inside of the dark box 25 light-shielded, and inputs to the keyboard 73 of the computer 70 that the subject to be photographed is transmitted light.
[0062]
When the type of emitted light to be detected is input from the keyboard 73 in this way, the switching means 60 selects the combination of irradiation light, diaphragm and filter corresponding to “transmitted light” which is the type of input emitted light. This is obtained by referring to a lookup table stored in the memory 71a of the computer 70. That is, from Table 1, a combination of the fluorescent lamp 45c, the second diaphragm 41c, and no filter (withdrawal of the excitation light cut filter 42) associated with the “transmitted light” is acquired.
[0063]
In order to obtain the acquired combination, the switching unit 60 retracts the excitation light cut filter 42 from the optical path, arranges the second diaphragm 41 c on the optical path, and lights the fluorescent lamp 45 c disposed below the sample 11. Switch so that
[0064]
Since the fluorescent lamp 45 c is lit inside the dark box 25, the white light emitted from the fluorescent lamp 45 c passes through the transparent tray 10 and irradiates the sample 11, and the image recorded on the sample 11 from the sample 11. The transmitted light corresponding to the light is emitted. The emitted transmitted light is imaged as a transmitted light image of the image recorded on the sample 11 by the lens 40 on the light receiving surface of the CCD 51 through the second diaphragm 41c. When a start instruction is input, the camera controller 52 controls the CCD 51 to start exposure. The CCD 51 performs exposure for a predetermined exposure time from the start of exposure, and photoelectrically reads the transmitted light image. The read image signal is input to the personal computer 70 via the camera controller 52 and used for image processing, quantitative analysis, and the like.
[0065]
The personal computer 70 performs image processing on an acquired image signal under image processing conditions suitable for image processing of a transmitted light image based on an instruction of “transmitted light” input as a photographing technique from the keyboard 73. Apply processing.
[0066]
When the acquisition of the image signal is completed, the operator opens the opening / closing door 25a of the photographing apparatus main body 20 and takes out the sample 11 together with the tray 10 from the dark box 25, thereby completing a series of photographing operations.
[Brief description of the drawings]
FIG. 1 is a diagram showing an overall configuration of an embodiment of a photographing apparatus of the present invention.
FIG. 2 is a perspective view showing a schematic configuration of the photographing apparatus shown in FIG.
[Explanation of symbols]
10 trays
11 samples
20 Imager body
21a-21g Tray rail
22a-22g Tray sensor
25 Dark box
25a Open / close door
32 Lens moving means
40 lenses
41 Aperture
41a Open aperture
41b First aperture
41c Second aperture
42 Excitation light cut filter
45a White LED light source
45b Blue LED light source
45c fluorescent lamp
51 Cooling CCD
52 Camera Controller
60 switching means
70 Personal computer
71 Computer body
71a memory
72 CRT
73 keyboard
74 mice
100 photographing device

Claims (2)

試料から発光する発光光を光電読取手段により光電的に検出する、前記発光光の種類に応じて前記試料に照射する光の種類、前記試料から光電読取手段までの間に配置する絞りの程度およびフィルタの種類をそれぞれ切換え可能とされた撮影方法において、
前記検出しようとする前記発光光の種類に応じた、前記照射する光の種類、前記配置する絞りの程度および前記配置するフィルタの種類の組合せを、予め参照テーブル化しておき、
前記検出しようとする前記発光光の種類の選択の入力を受けて、該選択された前記発光光の種類に応じた前記照射する光の種類、前記配置する絞りの程度および前記配置するフィルタの種類の組合せを、前記参照テーブルを参照して求め、
該求められた組合せにしたがって、前記照射する光の種類、前記配置する絞りの程度および前記配置するフィルタの種類をそれぞれ切り換えると共に、
前記参照テーブルが、
前記検出しようとする前記発光光が化学発光光のときは、前記照射する光は無し、前記配置する絞りは開放状態、前記配置するフィルタは無しの組合せであり、前記検出しようとする前記発光光が蛍光のときは、前記照射する光は前記蛍光を励起する励起光、前記配置する絞りは前記開放状態よりも絞った第1の絞り状態、前記配置するフィルタは前記励起光をカットし、かつ前記蛍光を透過するように帯域設定された励起光カットフィルタの組合せであり、前記検出しようとする前記発光光が前記試料からの反射光または透過光のときは、前記照射する光は白色光、前記配置する絞りは前記第1の絞り状態よりもさらに絞った第2の絞り状態、前記配置するフィルタは無しの組合せであるように、対応づけられたものであることを特徴とする撮影方法。
Emission light emitted from the sample is photoelectrically detected by the photoelectric reading means, the type of light irradiated to the sample according to the type of the emitted light, the degree of the diaphragm arranged between the sample and the photoelectric reading means, and In the shooting method in which the type of filter can be switched,
According to the type of the emitted light to be detected, the combination of the type of light to be irradiated, the degree of the diaphragm to be arranged, and the type of the filter to be arranged is made into a reference table in advance.
Upon receiving an input of selection of the type of the emitted light to be detected, the type of light to be irradiated according to the selected type of the emitted light, the degree of the diaphragm to be arranged, and the type of the filter to be arranged Is obtained by referring to the reference table,
According to the obtained combination, the type of light to be irradiated, the degree of the diaphragm to be arranged, and the type of filter to be arranged are respectively switched ,
The reference table is
When the emitted light to be detected is chemiluminescent light, there is no combination of the light to be irradiated, the aperture to be arranged is in an open state, and the filter to be arranged is not, and the emitted light to be detected When the light is fluorescence, the irradiation light is excitation light that excites the fluorescence, the diaphragm to be arranged is a first diaphragm state that is narrower than the open state, the filter to be arranged cuts the excitation light, and It is a combination of excitation light cut filters set to transmit the fluorescence, and when the emitted light to be detected is reflected light or transmitted light from the sample, the irradiated light is white light, second aperture state stop which the arrangement is squeezed further than the first aperture state, so that the filter to the arrangement is a combination of no, be characterized in that which is correlated Imaging method.
試料から発光する発光光を光電読取手段により光電的に検出する、前記発光光の種類に応じて前記試料に照射する光の種類、前記試料から光電読取手段までの間に配置する絞りの程度およびフィルタの種類をそれぞれ切換え可能とされた撮影装置において、
前記検出しようとする前記発光光の種類に応じた、前記照射する光の種類、前記配置する絞りの程度および前記配置するフィルタの種類の組合せを、予め参照テーブルとして記憶した記憶手段と、
前記検出しようとする前記発光光の種類の選択を入力する撮影手法入力手段と、
前記参照テーブルを参照して、前記撮影手法入力手段に入力された前記発光光の種類に対応する、前記照射する光の種類、前記配置する絞りの程度および前記配置するフィルタの種類の組合せを求め、該求められた組合せにしたがって、前記照射する光の種類、前記配置する絞りの程度および前記配置するフィルタの種類をそれぞれ切り換える切換手段とを備え
前記参照テーブルが、
前記検出しようとする前記発光光が化学発光光のときは、前記照射する光は無し、前記配置する絞りは開放状態、前記配置するフィルタは無しの組合せであり、前記検出しようとする前記発光光が蛍光のときは、前記照射する光は前記蛍光を励起する励起光、前記配置する絞りは前記開放状態よりも絞った第1の絞り状態、前記配置するフィルタは前記励起光をカットし、かつ前記蛍光を透過するように帯域設定された励起光カットフィルタの組合せであり、前記検出しようとする前記発光光が前記試料からの反射光または透過光のときは、前記照射する光は白色光、前記配置する絞りは前記第1の絞り状態よりもさらに絞った第2の絞り状態、前記配置するフィルタは無しの組合せであるように、対応づけられたものであることを特徴とする撮影装置。
Emission light emitted from the sample is photoelectrically detected by the photoelectric reading means, the type of light irradiated to the sample according to the type of the emitted light, the degree of the diaphragm arranged between the sample and the photoelectric reading means, and In the photographic device that can switch the type of filter,
Storage means for storing in advance a combination of the type of light to be emitted, the degree of diaphragm to be arranged, and the type of filter to be arranged according to the type of the emitted light to be detected, as a reference table;
A photographing technique input means for inputting selection of the type of the emitted light to be detected;
Referring to the reference table, a combination of the type of light to be irradiated, the degree of the diaphragm to be arranged, and the type of filter to be arranged corresponding to the type of the emitted light input to the imaging technique input unit is obtained. Switching means for switching each of the type of light to be irradiated, the degree of the diaphragm to be arranged, and the type of filter to be arranged according to the obtained combination ,
The reference table is
When the emitted light to be detected is chemiluminescent light, there is no combination of the light to be irradiated, the aperture to be arranged is in an open state, and the filter to be arranged is not, and the emitted light to be detected When the light is fluorescence, the irradiation light is excitation light that excites the fluorescence, the diaphragm to be arranged is a first diaphragm state that is narrower than the open state, the filter to be arranged cuts the excitation light, and It is a combination of excitation light cut filters set to transmit the fluorescence, and when the emitted light to be detected is reflected light or transmitted light from the sample, the irradiated light is white light, second aperture state stop which the arrangement is squeezed further than the first aperture state, so that the filter to the arrangement is a combination of no, be characterized in that which is correlated Imaging apparatus.
JP03519299A 1999-02-15 1999-02-15 Photographing method and photographing apparatus Expired - Fee Related JP3853532B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP03519299A JP3853532B2 (en) 1999-02-15 1999-02-15 Photographing method and photographing apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP03519299A JP3853532B2 (en) 1999-02-15 1999-02-15 Photographing method and photographing apparatus

Publications (2)

Publication Number Publication Date
JP2000235003A JP2000235003A (en) 2000-08-29
JP3853532B2 true JP3853532B2 (en) 2006-12-06

Family

ID=12435002

Family Applications (1)

Application Number Title Priority Date Filing Date
JP03519299A Expired - Fee Related JP3853532B2 (en) 1999-02-15 1999-02-15 Photographing method and photographing apparatus

Country Status (1)

Country Link
JP (1) JP3853532B2 (en)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4914542B2 (en) * 2001-07-04 2012-04-11 オリンパス株式会社 Scanning microscope equipment
US6970240B2 (en) * 2003-03-10 2005-11-29 Applera Corporation Combination reader
JP4034288B2 (en) * 2004-03-31 2008-01-16 富士フイルム株式会社 Imaging control apparatus and program
EP1906172A4 (en) * 2005-07-15 2014-01-08 Olympus Corp Light measuring instrument
WO2007087582A1 (en) * 2006-01-24 2007-08-02 Invitrogen Corporation Device and methods for quantifying analytes
JP4889437B2 (en) * 2006-10-16 2012-03-07 オリンパス株式会社 Weak light imaging device
JP4955457B2 (en) * 2007-05-22 2012-06-20 オリンパス株式会社 Microscope equipment
KR100996904B1 (en) 2008-03-26 2010-11-26 김황남 Gel documentation system
JP2012529056A (en) * 2009-06-05 2012-11-15 アリゾナ・ボード・オブ・リージェンツ・アクティング・フォー・アンド・オン・ビハーフ・オブ・アリゾナ・ステイト・ユニバーシティ Integrated photoelectrochemical sensor for nitric oxide in gaseous samples
JP5323130B2 (en) * 2011-05-26 2013-10-23 富士フイルム株式会社 Fluorescence analyzer and fluorescence analysis method
JP6305985B2 (en) * 2012-04-23 2018-04-04 ナノ3ディー バイオサイエンスィズ,インコーポレイテッド Phone camera and sample stand
JP2015175641A (en) * 2014-03-13 2015-10-05 富士フイルム株式会社 Photographing system and photographing method

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2873694B2 (en) * 1989-06-19 1999-03-24 キヤノン株式会社 Solid-state imaging device camera
JPH08128916A (en) * 1994-10-31 1996-05-21 Mitsubishi Electric Corp Oil leak detection device
JPH10210344A (en) * 1997-01-27 1998-08-07 Fuji Photo Film Co Ltd Cooled ccd camera
JPH10215395A (en) * 1997-01-30 1998-08-11 Fuji Photo Film Co Ltd Image generator

Also Published As

Publication number Publication date
JP2000235003A (en) 2000-08-29

Similar Documents

Publication Publication Date Title
JP3678397B2 (en) Shooting system
JP3585753B2 (en) Shooting system
JP3853532B2 (en) Photographing method and photographing apparatus
US8542274B2 (en) Wide field microscopic imaging system and method
WO2009081498A1 (en) Organism image capturing device
US11300513B2 (en) Device for reading an IVD assay
CN110199172A (en) For detecting the haemolysis of sample, jaundice, piarhemia or method, equipment and the quality inspection module of normality
JP2002257730A (en) Method and instrument for measuring fluorescent brightness
KR101530114B1 (en) Analyzing device
US20040234114A1 (en) Device and method for reading information outputted from microarray of biologically related substances and method for correcting shading of the device
JP2007003323A (en) Photographing system
JP2020536277A (en) Paste slide judgment system
US20110049389A1 (en) Fluorescent image obtaining device, fluorescent image obtaining method and fluorescent image obtaining program
JP2000074837A (en) Photographing device
JP2017067605A (en) Specimen measurement device and specimen measurement method
KR20150110902A (en) An optical sample analyzer for color and fluorescence test strips, a method for image-taking and quantifying measured data employing the same.
JPH08334466A (en) Fluorophotometry and device
JP4043925B2 (en) Biological material microarray reader and method
JP2000235002A (en) Photographic method and photographic device
CN111352228A (en) Method and microscope system for recording fluorescence images of a sample region
JP3667947B2 (en) Fluorescence image reader
TWI780472B (en) Screening test strip reading system
US20220299445A1 (en) Screening Test Paper Reading System
CN113376127A (en) Imaging system suitable for multiple detection of biomolecules
JP2004286453A (en) Fluorescence reader

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20040823

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20060608

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20060613

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20060810

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20060905

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20060906

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090915

Year of fee payment: 3

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090915

Year of fee payment: 3

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090915

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100915

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100915

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110915

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120915

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130915

Year of fee payment: 7

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees