JP3899106B2 - Imaging device - Google Patents
Imaging device Download PDFInfo
- Publication number
- JP3899106B2 JP3899106B2 JP2005061443A JP2005061443A JP3899106B2 JP 3899106 B2 JP3899106 B2 JP 3899106B2 JP 2005061443 A JP2005061443 A JP 2005061443A JP 2005061443 A JP2005061443 A JP 2005061443A JP 3899106 B2 JP3899106 B2 JP 3899106B2
- Authority
- JP
- Japan
- Prior art keywords
- reference image
- vibration
- luminance
- image
- imaging
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Investigating, Analyzing Materials By Fluorescence Or Luminescence (AREA)
Description
本発明は、取得及び処理した画像を蓄積すると同時にこれを解析する撮影装置に関し、特に、解析対象の画像から振動した画像を排除して、信頼性の高いデータ解析を行なう撮影装置に関する。 The present invention relates to an imaging device that accumulates acquired and processed images and analyzes the images at the same time, and more particularly to an imaging device that performs highly reliable data analysis by eliminating a vibration image from an analysis target image.
近年、撮影装置を用いた画像処理技術は、さまざまな分野に応用されており、遺伝子発現解析装置などの医療装置分野への応用例も数多くある。例えば、リアルタイムＰＣＲ法や、ＤＮＡマイクロアレイ（ＤＮＡチップともいう）、半導体ナノクリスタルを用いた遺伝子発現解析装置がある。 In recent years, image processing technology using an imaging device has been applied to various fields, and there are many examples of applications to the field of medical devices such as gene expression analyzers. For example, there are real-time PCR methods, DNA microarrays (also referred to as DNA chips), and gene expression analyzers using semiconductor nanocrystals.
以下、従来の撮影装置として、蛍光顕微鏡を用いた遺伝子発現解析装置を例に挙げて説明する。
従来の遺伝子発現解析装置の撮影対象は、種々の分光特性を持った直径１０μｍ程度のビーズである。そしてこれらビーズには、その分光特性毎に特定の種類のｍＲＮＡが結合するようにしておく。当該遺伝子発現解析装置は、前記ビーズを撮影し、各ビーズの分光特性を解析することにより、存在するビーズの種類に対応したｍＲＮＡを特定する。
Hereinafter, as a conventional imaging apparatus, a gene expression analysis apparatus using a fluorescence microscope will be described as an example.
A subject to be photographed by a conventional gene expression analyzer is a bead having a diameter of about 10 μm having various spectral characteristics. A specific kind of mRNA is bound to these beads for each spectral characteristic. The gene expression analyzer identifies the mRNA corresponding to the type of existing beads by photographing the beads and analyzing the spectral characteristics of each bead.
図１３は従来における蛍光顕微鏡を用いた遺伝子発現解析装置のブロック図である。
図１３において、従来の遺伝子発現解析装置６００は、観察対象である複数のビーズを注入する複数個のウエル６０２から構成されたウエルプレート６０１と、該ウエルプレート６０１を２次元平面ＸＹ方向に移動させるウエルプレート駆動部６０３と、該複数のビーズのシルエットを撮影する位置参照用画像撮影部６３０と、前記複数のビーズの輝度画像を、異なる通過波長領域を有する複数個の光学フィルタ毎に撮影する輝度参照用画像撮影部６４０と、ＣＣＤカメラ６１０を制御するＣＣＤカメラ制御部６１１と、当該装置６００全体を制御すると共に、前記各撮影部６３０，６４０にて撮影された画像を解析するＣＰＵ６２０とを備える。
FIG. 13 is a block diagram of a conventional gene expression analyzer using a fluorescence microscope.
In FIG. 13, a conventional gene
より詳細に述べると、前記位置参照用画像撮影部６３０は、当該装置６００中の、参照光としてのＬＥＤ６０６、対物レンズ６０５、該対物レンズ６０５をＺ軸方向に移動させるＺ軸駆動部６１２、所定の波長未満の光を反射し、所定の波長以上の光を通過させるダイクロイックミラー６０７、結像レンズ６０９、及びＣＣＤカメラ６１０から構成されるものであり、前記ＬＥＤ６０６からのＬＥＤ光をウエル６０２内の観察対象である複数のビーズに照射し、それにより得られたビーズのシルエット光を対物レンズ６０５により拡大した後、ダイクロイックミラー６０７、バンドパスフィルタ６０８を通過させて、結像レンズ６０９によって集光し、この際、Ｚ軸駆動部６１２により前記対物レンズ６０５を駆動してフォーカス位置を合わせるようにし、前記シルエット光をＣＣＤカメラ６１０で撮影して、二次元画像に変換したシルエット画像を得るものである。
More specifically, the position reference
そして、前記輝度参照用画像撮影部６４０は、当該装置６００中の、励起光源６１３、対物レンズ６０５、Ｚ軸駆動部６１２、ダイクロイックミラー６０７、所定の波長域のみを通過させるバンドパスフィルタ６０８を複数個保持するフィルタホイール６１４、該フィルタホイール６１４を回転駆動するフィルタホイール駆動部６１５、結像レンズ６０９、及びＣＣＤカメラ６１０、から構成されるものであり、前記励起光源６１３からの励起光をダイクロイックミラー６０７で反射させて対物レンズ６０５を介してウエル６０２内の観察対象である複数のビーズに照射し、該照射光によって各ビーズが発光した光を、対物レンズ６０５により拡大した後、ダイクロイックミラー６０７、バンドパスフィルタ６０８を通過させて、結像レンズ６０９によって集光し、この際、Ｚ軸駆動部６１２により対物レンズ６０５を駆動させてフォーカス位置を合わせた後、該各ビーズが発光した光をＣＣＤカメラ６１０で撮影して二次元画像に変換した輝度画像を得るものである。
The luminance reference
さらに、前記ＣＰＵ６２０内には、当該装置６００全体を制御する制御部６２１と、前記ＣＣＤカメラ６１０にて撮影した２次元画像を解析する解析部６２２と、前記位置参照用画像から、該撮影対象であるビーズの存在領域を示すマスク画像を作成するマスク画像作成部６２３と、が備えられている。
Further, the
以下、動作を説明する。図１４は、従来の遺伝子発現解析装置において、観察対象であるビーズの分光特性を得るまでの一連の動作を示すフローチャート図である。
まず、ステップＳ１０１において、当該装置６００のＣＰＵ６２０内に、撮影対象である複数のビーズの存在位置を求めるための位置参照用画像を取り込む。具体的には、まずＣＰＵ６２０内の制御部６２１は、ウエルプレート駆動部６０３を制御して、観察対象が注入されたウエル６０２が対物レンズ６０５の真上に位置するように、ウエルプレート６０１を移動させる。この後、制御部６２１は、ＬＥＤ６０６を点灯し、前記ウエル６０２にＬＥＤ光を照射させる。ＬＥＤ光は、ウエル６０２内の観察対象であるビーズのシルエット光となり、対物レンズ６０５により拡大され、ダイクロイックミラー６０７、バンドパスフィルタ６０８を通過し、さらに、結像レンズ６０９によって集光されて、ＣＣＤカメラ６１０に到達する。前記制御部６２１は、Ｚ軸駆動部６１２に、前記シルエット光を撮影するためにフォーカス位置に合わせるよう指令した後、ＣＣＤカメラ制御部６１１に指令を与え、ＣＣＤカメラ６１０によって観察対象である複数のビーズのシルエット画像を撮影する。そして、この撮影されたシルエット画像を、ＣＰＵ６２０内の解析部６２２において２値化処理し、処理後の画像を、該各撮影対象の存在位置を求めるための位置参照用画像としてＣＰＵ６２０に記憶する。
The operation will be described below. FIG. 14 is a flowchart showing a series of operations until obtaining spectral characteristics of beads to be observed in a conventional gene expression analyzer.
First, in step S101, a position reference image for obtaining the presence positions of a plurality of beads to be photographed is captured in the
次に、ステップＳ１０２において、前記ＣＰＵ６２０内に、前記各光学フィルタ通過後の前記各撮影対象の輝度値を求めるための複数の輝度参照用画像を取り込む。具体的には、まず制御部６２１は、ＬＥＤ６０６を消灯し、励起光源６１３から励起光を照射させる。励起光は、青色レーザー光のような短波長の光であり、該励起光がダイクロイックミラー６０７に当たると、該ダイクロイックミラー６０７の所定の波長未満の光を反射させるという性質によって、前記励起光を対物レンズ６０５の方向へ反射する。対物レンズ６０５はダイクロイックミラー６０７からの光をウエル６０２内の観察対象に集光させ、ウエル６０２内に存在する観察対象である複数のビーズは、前記対物レンズ６０５から照射された光によって、その分光特性に応じた発光パターンを示す。そして、該各ビーズが発光した光は、前述したシルエット光と同様、対物レンズ６０５、ダイクロイックミラー６０７、バンドパスフィルタ６０８を通過し、さらに、結像レンズ６０９によって集光されて、ＣＣＤカメラ６１０に到達する。このとき、バンドパスフィルタ６０８は、特定の波長域のみを通過させる性質を持つため、観察対象が発光した光の特定の波長域のみが、ＣＣＤカメラ６１０に到達する。前記制御部６２１は、ＣＣＤカメラ制御部６１１に指令を与え、観察対象が発光した光のうち、前記バンドパスフィルタ６０８を通過した特定の波長域のみの輝度画像を、ＣＣＤカメラ６１０で撮影する。そして、この撮影された輝度画像を、ＣＰＵ６２０内の解析部６２２で２値化処理し、該処理後の画像を、輝度参照用画像としてＣＰＵ６２０内に記憶する。
Next, in step S102, a plurality of luminance reference images for obtaining the luminance values of the respective photographing targets after passing through the optical filters are taken into the
この後、ステップＳ１０３において、前述のようにして得た輝度参照用画像が、所定枚数取り込まれたかを確認し、まだ所定枚数に達していない場合、制御部６２１は、フィルタホイール駆動部６１５を制御して、フィルタホイール６１４を回転し、異なる波長域を通過させるバンドパスフィルタ６０８を光路中に設置し、前述と同様の処理を行って、観察対象が発光した光のうち、新たに設置されたバンドパスフィルタ６０８を通過した特定の波長域の輝度画像を、ＣＣＤカメラ６１０で撮影する。そして、前記撮影された輝度画像を解析部６２２にて２値化処理し、これを新たな輝度参照用画像として記憶する。この処理を所定回数、ここでは最終的に８枚の輝度参照用画像を取得できるまで繰り返し行い、種々の波長における輝度参照用画像を取得する。
Thereafter, in step S103, it is confirmed whether a predetermined number of luminance reference images obtained as described above have been captured. If the predetermined number has not yet been reached, the
前述のようにして得た位置参照用画像と輝度参照用画像とを用いて、前記観察対象である複数のビーズの種類を特定する解析ステップに移行する。
ここで、前記各輝度参照用画像に表示されたビーズと、位置参照用画像に表示されたビーズは、同じ位置に存在するはずである。よって、解析ステップでは、これを利用して前記各輝度参照用画像から、光学フィルタ毎の各ビーズの輝度値を求め、該輝度値よりビーズの種類を特定する。
Using the position reference image and the luminance reference image obtained as described above, the process proceeds to an analysis step for specifying the types of the plurality of beads to be observed.
Here, the beads displayed in each of the luminance reference images and the beads displayed in the position reference image should exist at the same position. Therefore, in the analysis step, using this, the brightness value of each bead for each optical filter is obtained from each brightness reference image, and the type of bead is specified from the brightness value.
まず、ステップＳ１０４において、ＣＰＵ６２０内のマスク画像作成部６２３で、取り込んだ位置参照用画像を用いて、ビーズの存在領域を示すマスク画像を作成する（ステップＳ１０４）。
First, in step S104, the mask
図１５は、マスク画像と複数の輝度参照用画像とを示す図である。図１５において、８０１は位置参照用画像に、ビーズの中央部の高輝度部を塗りつぶすマスク処理をして得た、ビーズの存在領域を示すマスク画像である。
FIG. 15 is a diagram illustrating a mask image and a plurality of luminance reference images. In FIG. 15,
ここで、図中の７０１ａは、５０５ｎｍの光を通すバンドパスフィルタ６０８を通して取得した第１の輝度参照用画像であり、７０１ｂは、５２５ｎｍの光を通すバンドパスフィルタを通して取得した第２の輝度参照用画像であり、７０１ｃは、５４５ｎｍの光を通すバンドパスフィルタを通して取得した第３の輝度参照用画像である。
Here, 701a in the figure is a first luminance reference image acquired through a
ここでは、２０ｎｍ毎に異なる波長域の光を通過させる８枚のバンドパスフィルタ６０８を用い、全部で８枚の輝度参照用画像を取得する。
なお、図１５では８枚の輝度参照用画像のうちの最初の３枚のみを示している。
Here, a total of eight luminance reference images are acquired using eight
Note that FIG. 15 shows only the first three of the eight luminance reference images.
前記マスク画像８０１上の領域Ｂ１ｍ，Ｂ２ｍ，Ｂ３ｍそれぞれは、ビーズＢ１，Ｂ２，Ｂ３が存在するビーズ存在領域であり、第１〜第３の輝度参照用画像７０１ａ〜７０１ｃ上の領域Ｂ１ａ〜Ｂ１ｃ，（Ｂ２ａ〜Ｂ２ｃ）（図中では、図示されず）、Ｂ３ａ〜Ｂ３ｃのそれぞれは、各輝度参照用画像上における、前記マスク画像８０１上の領域Ｂ１ｍ，Ｂ２ｍ，Ｂ３ｍに相当する領域である。
Each of the regions B1m, B2m, and B3m on the
ステップＳ１０５〜Ｓ１０６において、前記ＣＰＵ６２０内の解析部６２２では、前記各輝度参照用画像上に存在するビーズ領域Ｂ１ａ〜Ｂ１ｃ，Ｂ２ａ〜Ｂ２ｃ，Ｂ３ａ〜Ｂ３ｃの位置は、それぞれ前記マスク画像８０１上に存在するビーズ領域Ｂ１ｍ，Ｂ２ｍ，Ｂ３ｍの位置と同じであることを前提とし、該各輝度参照用画像上の領域Ｂ１ａ〜Ｂ１ｃ，Ｂ２ａ〜Ｂ２ｃ，Ｂ３ａ〜Ｂ３ｃのそれぞれの輝度平均値を求める。
In steps S105 to S106, the
例えば、第１の輝度参照用画像７０１ａ上のＢ１ａ領域の輝度平均値がＡで、第２の輝度参照用画像７０１ｂ上のＢ１ｂ領域の輝度平均値がＢで、第３の輝度参照用画像７０１ｃ上のＢ１ｃ領域の輝度平均値がＣである、ものとする。
そして、ステップＳ１０７において、以上のようにして得た輝度平均値をプロットする。
For example, the average luminance value of the B1a region on the first luminance reference image 701a is A, the average luminance value of the B1b region on the second
In step S107, the luminance average values obtained as described above are plotted.
図１６は、マスク画像上の３つのビーズ領域に相当する、輝度参照用画像上の領域の輝度平均値をプロットした図である。
図１６において、横軸がバンドパスフィルタの透過波長を示し、縦軸が輝度平均値を示す。図中の、９０１はビーズ存在領域Ｂ１ｍに相当する第１〜第８の輝度参照用画像上の領域の輝度平均値をプロットし、該プロット点を繋いで得たビーズＢ１の特性を示す分光曲線であり、９０２はビーズ存在領域Ｂ２ｍに相当する領域の輝度平均値をプロットし、該プロット点を繋いで得たビーズＢ２の特性を示す分光曲線であり、９０３はビーズ存在領域Ｂ３ｍに相当する輝度参照用画像上の領域の輝度平均値をプロットし、該プロット点を繋いで得たビーズＢ３の特性を示す分光曲線である。
FIG. 16 is a diagram in which the luminance average values of the regions on the luminance reference image corresponding to the three bead regions on the mask image are plotted.
In FIG. 16, the horizontal axis represents the transmission wavelength of the bandpass filter, and the vertical axis represents the luminance average value. In the figure, reference numeral 901 denotes a spectral curve showing the characteristics of the beads B1 obtained by plotting the average luminance values of the regions on the first to eighth luminance reference images corresponding to the bead existence region B1m and connecting the plotted points. 902 is a spectral curve showing the characteristic of the bead B2 obtained by plotting the luminance average value of the region corresponding to the bead existing region B2m and connecting the plotted points, and 903 is the luminance corresponding to the bead existing region B3m. It is a spectral curve which shows the characteristic of bead B3 which plotted the brightness | luminance average value of the area | region on the image for a reference, and connected the said plot point.
そして、ステップＳ１０８において、前記解析部６２２は、このようして得た各ビーズの分光曲線９０１〜９０３から、各ビーズＢ１〜Ｂ３の分光特性を解析し、ビーズの種類を同定する。
In step S108, the
このように、従来手法においては、図１７（ａ）に示すように、第１の輝度参照用画像にマスク画像をオーバレイ表示させた際に、マスク画像上のビーズ領域Ｂ１ｍ〜Ｂ３ｍと、該第１の輝度参照用画像上のビーズ領域Ｂ１ａ〜Ｂ３ａとが、同じ位置にあることを前提とし、マスク画像のビーズ存在領域Ｂ１ｍ〜Ｂ３ｍに相当する輝度参照用画像上の領域の輝度平均値を得、その平均値から前記ビーズの種類を特定していた。 As described above, in the conventional method, as shown in FIG. 17A, when the mask image is overlaid on the first luminance reference image, the bead regions B1m to B3m on the mask image are displayed. Assuming that the bead areas B1a to B3a on one luminance reference image are at the same position, the average luminance value of the areas on the luminance reference image corresponding to the bead existing areas B1m to B3m of the mask image is obtained. The type of the beads was specified from the average value.
従って従来の手法では、振動を検出する手段がなく、輝度参照用画像の撮影中に振動が生じて、輝度参照用画像上のビーズの位置に変動が生じたとしても前述と同様に処理され、例えば図１７（ｂ）に示すように、輝度参照用画像にマスク画像をオーバレイ表示した際、マスク画像上のビーズ存在領域Ｂ１ｍ〜Ｂ３ｍと輝度参照用画像上のビーズ領域にずれが生じた場合、解析部６２２は、各輝度参照用画像上の各ビーズの正確な輝度平均値が求められず、この結果、ビーズの種類を正しく特定することができなかった。
Therefore, in the conventional method, there is no means for detecting vibrations, and even if the vibration occurs during the photographing of the luminance reference image and the position of the beads on the luminance reference image fluctuates, it is processed in the same manner as described above. For example, as shown in FIG. 17B, when a mask image is displayed in an overlay on the luminance reference image, when a deviation occurs between the bead existing regions B1m to B3m on the mask image and the bead region on the luminance reference image, The
なお、図１７は、従来のマスク画像中に存在するビーズ領域と第１の輝度参照用画像中に存在するビーズ領域の関係を示す図であり、図（ａ）は振動が発生していない場合の、輝度参照用画像にマスク画像をオーバレイ表示したものを示し、図（ｂ）は振動が発生した場合の、輝度参照用画像にマスク画像をオーバレイ表示したものを示す。 FIG. 17 is a diagram showing the relationship between the bead area existing in the conventional mask image and the bead area existing in the first luminance reference image, and FIG. 17A shows the case where no vibration is generated. FIG. 5B shows the luminance reference image in which the mask image is displayed as an overlay, and FIG. 8B shows the luminance reference image in which the mask image is displayed as an overlay when vibration occurs.
これを解決する方法として、例えば、特許文献１の技術を用いて、撮影対象近傍に振動検出センサを取りつけ、各輝度参照用画像の撮影前あるいは撮影中に、ビーズの位置に変動が生じたか否かを判定して、データの有効性を判定することが考えられる。
しかしながら、前記特許文献１のような振動検知方法を用いた場合、振動を検知するための振動センサを当該装置６００内に設ける必要があるため、コストアップの原因となることに加え、振動とビーズ位置の変動との対応付けに多大な労力を必要とする、という課題が生じる。
However, when the vibration detection method as in
すなわち、振動の強弱や方向、センサの取りつけ位置、あるいは振動とセンサの位置との関係などについて、詳細な解析を行わない限り、センサからの出力と、実際のビーズ位置の変動の許容範囲を正確に対応付けるのは困難である。 In other words, unless detailed analysis is performed on the strength and direction of vibration, the mounting position of the sensor, or the relationship between vibration and sensor position, the output from the sensor and the allowable range of actual bead position fluctuations are accurate. It is difficult to correspond to
本発明は、このような課題を解決するためになされたものであり、装置に振動センサなどの新たな構成要素を付加することなく、振動の発生を検出し、振動した画像を排除して信頼性の高いデータ解析を行なえる撮影装置を提供することを目的とする。 The present invention has been made to solve such a problem, and detects the occurrence of vibration without adding a new component such as a vibration sensor to the apparatus, and eliminates the vibration image to make it reliable. An object of the present invention is to provide a photographing apparatus capable of performing highly accurate data analysis.
前記従来の課題を解決するため、本発明の請求項１にかかる撮影装置は、同一の形状を持つ複数の撮影対象に参照光を照射し、該撮影対象のシルエットを撮影し、該各撮影対象の存在位置を求めるための位置参照用画像を取得する位置参照用画像撮影部と、前記撮影対象に励起光を照射し、所定の通過帯域を持つ複数の光学フィルタ毎に前記撮影対象の輝度画像を撮影し、前記各撮影対象の輝度を前記各光学フィルタ毎に求めるための複数の輝度参照用画像を取得する輝度参照用画像撮影部と、前記位置参照用画像の前記撮像対象の数あるいは面積の変化量と、前記撮像対象の形状変化の少なくとも一つを検出し、該検出結果に基づいて、前記位置参照用画像撮影部において前記撮影対象の撮影時に該各撮影対象に振動が生じたか否かを判定する第１の振動検出部と、前記第１の振動検出部にて振動が検出されなかった位置参照用画像から、前記撮影対象の存在領域を示すマスク画像を作成するマスク画像作成部と、前記各輝度参照用画像と前記マスク画像とをオーバレイ表示させ、前記各撮影対象の存在領域の外側に撮影対象が存在するか否かを検出し、該検出結果に基づいて、前記輝度参照用画像撮影部において前記撮影対象の撮影時に該各撮影対象に振動が生じたか否かを判定する第２の振動検出部と、を備えるものである。
これにより、当該装置にて取得した画像を用いて、撮影時に振動が生じたか否かを検出可能となる。
In order to solve the conventional problem, an imaging apparatus according to
This makes it possible to detect whether vibration has occurred during shooting using the image acquired by the apparatus.
さらに、本発明の請求項２にかかる撮影装置は、請求項１に記載の撮影装置において、前記第１の振動検出部は、前記位置参照用画像上の個々の撮像対象の形状を表わす特徴量を求める形状変化検出部を備え、該形状変化検出部で検出された特徴量と、予め保持されている該特徴量の閾値とを比較し、前記位置参照用画像上の複数の撮影対象のうち、前記閾値より大きな特徴量を持つものが、所定の個数以上、又は所定の割合以上存在する場合に、振動が生じたものと判定するものである。
これにより、取得した位置参照用画像を用いて、前記撮影対象のシルエットを撮影する際に振動が生じたか否かを検出することができる。
Furthermore, the imaging apparatus according to
Thereby, it is possible to detect whether or not vibration has occurred when shooting the silhouette of the shooting target, using the acquired position reference image.
さらに、本発明の請求項３にかかる記載の撮影装置は、請求項２に記載の撮影装置において、前記撮像対象が球状をした物体である場合、前記特徴量は該撮影対象の最大直径の長さである、ものとしたものである。
これにより、撮影対象の形状を容易に求めることができる。
Furthermore, in the imaging device according to
Thereby, the shape of the object to be imaged can be easily obtained.
さらに、本発明の請求項４にかかる撮影装置は、請求項２に記載の撮影装置において、前記撮像対象が球状であり、且つ高い光透過性を持つ物質である場合、前記特徴量は該撮像対象の高輝度部分の最大直径の長さである、ものとしたものである。
これにより、撮影対象の形状をより正確且つ簡単に求めることができる。
Furthermore, an imaging device according to a fourth aspect of the present invention is the imaging device according to the second aspect, wherein when the imaging target is a spherical material and is a substance having high light transmittance, the feature amount is the imaging parameter. It is assumed to be the length of the maximum diameter of the high-intensity part of the object.
Thereby, the shape of the object to be imaged can be obtained more accurately and easily.
さらに、本発明の請求項５にかかる撮影装置は、請求項１に記載の撮影装置において、前記マスク画像作成部は、前記第１の振動検出部で振動が検出されなかった位置参照用画像上の前記撮影対象部分、及び該撮影対象部分に接する外周部分、をぬりつぶして、前記マスク画像を作成するものである。
これにより、作成されたマスク画像を用いて、前記撮影対象の輝度画像を撮影する前あるいは撮影する際に、振動が生じたか否かを容易に検出することが可能となる。
Furthermore, an imaging device according to a fifth aspect of the present invention is the imaging device according to the first aspect, wherein the mask image creation unit is arranged on a position reference image in which no vibration is detected by the first vibration detection unit. The mask image is created by squeezing the photographing target portion and the outer peripheral portion in contact with the photographing target portion.
Thus, it is possible to easily detect whether or not vibration has occurred before or when the luminance image to be captured is captured using the created mask image.
さらに、本発明の請求項６にかかる撮影装置は、請求項１に記載の撮影装置において、前記第２の振動検出部は、前記輝度参照用画像と前記マスク画像とをオーバレイ表示し、該輝度参照用画像上の、前記撮影対象の存在領域以外の画素の輝度値と、予め保持されている該輝度値の閾値とを比較し、前記撮影対象の存在領域以外の画素のうち、前記閾値より高い輝度値を持つ画素が、所定の個数以上、又は所定の割合より多く存在する場合に、振動が生じたものと判定するものである。
これにより、前記マスク画像を用いて、撮影時に振動が生じたか否かをより確実に検出することができる。
Furthermore, according to a sixth aspect of the present invention, in the photographing apparatus according to the first aspect, the second vibration detection unit displays the luminance reference image and the mask image in an overlay manner, and the luminance. On the reference image, the brightness value of a pixel other than the region to be imaged is compared with a threshold value of the brightness value held in advance. When there are more than a predetermined number of pixels having a high luminance value or more than a predetermined ratio, it is determined that vibration has occurred.
Thereby, it is possible to more reliably detect whether or not vibration has occurred during photographing using the mask image.
さらに、本発明の請求項７にかかる撮影装置は、請求項１に記載の撮影装置において、前記第２の振動検出部は、前記輝度参照用画像と前記マスク画像とをオーバレイ表示し、該輝度参照用画像上の、前記撮影対象の存在領域の外周に接する画素の輝度値と、予め保持されている該輝度値の閾値とを比較し、前記撮影対象の存在領域の外周に接する画素のうち、前記閾値より高い輝度値を持つ画素が、所定の個数以上、又は所定の割合より多く存在する場合に、振動が生じたものと判定するものである。
これにより、検出対象が少なくなるため、輝度画像の撮影前あるいは撮影時に振動が生じたか否かをより短時間で検出することができる。
Furthermore, according to a seventh aspect of the present invention, in the photographing apparatus according to the first aspect, the second vibration detection unit displays the luminance reference image and the mask image in an overlay manner, and the luminance. The luminance value of the pixel in contact with the outer periphery of the region to be photographed on the reference image is compared with the threshold value of the luminance value held in advance, and the pixel in contact with the outer periphery of the region to be photographed is selected. When there are more than a predetermined number of pixels having a luminance value higher than the threshold value or more than a predetermined ratio, it is determined that vibration has occurred.
As a result, the number of detection targets is reduced, so that it is possible to detect in a shorter time whether or not vibration has occurred before or during photographing of the luminance image.
さらに、本発明の請求項８にかかる撮影装置は、請求項１に記載の撮影装置において、前記第１の振動検出部あるいは前記第２の振動検出部のいずれかにおいて、振動が検出された場合、前記位置参照用画像及び前記各輝度参照用画像の全てを取得しなおすものである。
これにより、振動が検出された画像を確実に排除することができ、この結果、当該装置における解析データの信頼性を格段に向上させることができる。
Furthermore, an imaging device according to an eighth aspect of the present invention is the imaging device according to the first aspect, wherein vibration is detected in either the first vibration detection unit or the second vibration detection unit. The position reference image and the luminance reference images are all acquired again.
As a result, an image in which vibration is detected can be surely excluded, and as a result, the reliability of analysis data in the apparatus can be significantly improved.
さらに、本発明の請求項９にかかる撮影装置は、請求項１に記載の撮影装置において、前記第１の振動検出部あるいは前記第２の振動検出部のいずれかにおいて振動が検出された場合、振動が検出された輝度参照用画像と、該振動が検出された輝度参照用画像上の前記撮影対象の存在位置を求めるための位置参照用画像とを取得しなおすものである。
これにより、振動が検出された画像を排除したすべての画像を取得するまでの時間を短縮できる。
Furthermore, the imaging apparatus according to
As a result, it is possible to shorten the time required to acquire all the images excluding the images in which vibration is detected.
本発明の撮影装置によれば、位置参照用画像撮影部にて撮影された位置参照用画像を用いて、該画像の撮影中に振動が生じたか否かを検出する第１の振動検出部と、前記マスク画像作成部にて前記位置参照用画像から作成された前記ビーズ存在領域を示すマスク画像を用いて、輝度参照用画像撮影部にて撮影された複数の輝度参照用画像の撮影前あるいは撮影中に振動が生じたか否かを検出する第２の振動検出部とを設けるようにしたので、撮影された位置参照用画像及び各輝度参照用画像を用いて、それらの撮影前あるいは撮影時に生じた振動を容易に検出し、撮影された画像のうち、振動が生じた画像を排除することが可能となる。この結果、当該装置において、信頼性の高いデータ解析を行うことができる。 According to the photographing apparatus of the present invention, the first vibration detection unit that detects whether vibration has occurred during photographing of the image using the position reference image photographed by the position reference image photographing unit; Using the mask image indicating the bead existence area created from the position reference image by the mask image creating unit, or before photographing a plurality of luminance reference images photographed by the brightness reference image photographing unit, or Since the second vibration detection unit for detecting whether or not vibration has occurred during photographing is provided, the photographed position reference image and each luminance reference image are used before photographing or during photographing. The generated vibration can be easily detected, and it is possible to eliminate the image in which vibration has occurred among the captured images. As a result, the apparatus can perform highly reliable data analysis.
以下に、本発明の撮影装置の実施の形態を図面とともに詳細に説明する。
（実施の形態１）
本実施の形態１による撮影装置は、画像を撮影する前あるいは撮影中に振動が生じたか否かを、該撮影した画像から検出するものである。ここで、本実施の形態１においては、撮影装置が、背景技術で述べた、撮影された画像中に存在するビーズの分光特性を解析して該ビーズの種類を特定し、そのビーズの種類に対応したｍＲＮＡを同定する遺伝子発現解析装置である場合を例に挙げて説明する。
また、撮影対象は、種々の分光特性を持った直径１０μｍ程度のビーズであるものとする。
Hereinafter, embodiments of the photographing apparatus of the present invention will be described in detail with reference to the drawings.
(Embodiment 1)
The photographing apparatus according to the first embodiment detects whether or not vibration has occurred before or during photographing of an image from the photographed image. Here, in the first embodiment, the imaging device analyzes the spectral characteristics of the beads existing in the captured image described in the background art, identifies the type of the beads, and sets the type of the beads. A case of a gene expression analysis apparatus for identifying corresponding mRNA will be described as an example.
In addition, it is assumed that a subject to be photographed is a bead having various spectral characteristics and a diameter of about 10 μm.
図１は、本実施の形態１における遺伝子発現解析装置の構成を示す図である。
図１において、本実施の形態１による遺伝子発現解析装置１００は、観察対象である複数のビーズを注入する複数個のウエル１０２から構成されたウエルプレート１０１と、該ウエルプレート１０１を２次元平面ＸＹ方向に移動させるウエルプレート駆動部１０３と、撮影対象である複数のビーズのシルエットを撮影する位置参照用画像撮影部１３０と、前記ビーズの輝度画像を、異なる通過波長領域を有する複数個の光学フィルタ毎に撮影する輝度参照用画像撮影部１４０と、ＣＣＤカメラ１１０を制御するＣＣＤカメラ制御部１１１と、ＣＰＵ１２０とを備える。そして、前記ＣＰＵ１２０には、当該装置１００全体を制御する制御部１２１と、前記ＣＣＤカメラ１１０で撮影した画像を解析する解析部１２２と、前記位置参照用画像から、ビーズの存在領域を示すマスク画像を作成するマスク画像作成部１２３に加え、前記位置参照用画像を撮影中に振動が生じたか否かを検出する第１の振動検出部１２４と、前記輝度参照用画像を撮影する前あるいは撮影中に振動が生じたか否かを検出する第２の振動検出部１２５とが設けられている。
なお、図１において、図１１に示す従来装置６００と同一又は相当する箇所には、該従来装置に付した番号と同一または相当する番号を付している。
FIG. 1 is a diagram showing the configuration of the gene expression analysis apparatus according to the first embodiment.
In FIG. 1, a gene
In FIG. 1, parts that are the same as or equivalent to those of the
以下詳細に説明する。前記位置参照用画像撮影部１３０は、本装置１００中の、参照光としてのＬＥＤ１０６、対物レンズ１０５、Ｚ軸駆動部１１２、ダイクロイックミラー１０７、結像レンズ１０９、及びＣＣＤカメラ１１０から構成されるものであり、前記ＬＥＤ１０６からのＬＥＤ光をウエル１０２内の観察対象である複数のビーズに照射し、それにより得られたビーズのシルエット光を対物レンズ１０５により拡大した後、ダイクロイックミラー１０７、バンドパスフィルタ１０８を通過させて、結像レンズ１０９によって集光し、この際、Ｚ軸駆動部１１２によりフォーカス位置を合わせるようにし、前記シルエット光をＣＣＤカメラ１１０で撮影して二次元画像に変換したシルエット画像を得るものである。
This will be described in detail below. The position reference
そして、前記輝度参照用画像撮影部１４０は、当該装置１００中の、励起光源１１３、対物レンズ１０５、Ｚ軸駆動部１１２、ダイクロイックミラー１０７、フィルタホイール１１４、フィルタホイール駆動部１１５、結像レンズ１０９、及びＣＣＤカメラ１１０、から構成されるものであり、前記励起光源１１３からの励起光をダイクロイックミラー１０７、対物レンズ１０５を介して、ウエル１０２内の観察対象である複数のビーズに照射し、該照射光によって各ビーズが発光した光を対物レンズ１０５により拡大した後、ダイクロイックミラー１０７、バンドパスフィルタ１０８を通過させて、結像レンズ１０９によって集光し、この際、Ｚ軸駆動部１１２により対物レンズ１０５を移動させてフォーカス位置を合わせた後、該各ビーズが発光した光をＣＣＤカメラ１１０で撮影して二次元画像に変換した輝度画像を得るものである。
The luminance reference
次に、動作を説明する。
本実施の形態１の遺伝子発現解析装置１００では、前述した従来装置６００と同様、観察対象である複数のビーズを撮影して、位置参照用画像と複数の輝度参照用画像を取り込んだ後、該取り込んだ画像を用いて、ビーズの分光特性を解析する（図１４参照）。
Next, the operation will be described.
In the gene
本実施の形態１における解析ステップの工程は、従来装置における解析ステップの工程と同じであるため、ここでは、画像を取り込む画像取り込みステップの詳細な工程について説明する。 Since the process of the analysis step in the first embodiment is the same as the process of the analysis step in the conventional apparatus, a detailed process of the image capture step for capturing an image will be described here.
図２は、本実施の形態１の遺伝子発現解析装置の画像取り込みステップの一連の流れを示すフローチャートである。
まず、ステップＳ１において、当該装置１００のＣＰＵ１２０内に、撮影対象である複数のビーズの存在位置を求めるための位置参照用画像を取り込む。具体的には、まずＣＰＵ１２０の制御部１２１は、ウエルプレート駆動部１０３を制御して、観察対象が注入されたウエル１０２が対物レンズ１０５の真上に位置するように、ウエルプレート１０１を移動させる。この後、制御部１２１は、ＬＥＤ１０６を点灯させ、ウエル１０２にＬＥＤ光を照射する。ＬＥＤ光は、ウエル１０２内の観察対象であるビーズのシルエット光となり、対物レンズ１０５により拡大され、ダイクロイックミラー１０７、バンドパスフィルタ１０８を通過し、さらに結像レンズ１０９によって集光されて、ＣＣＤカメラ１１０に到達する。前記制御部１２１は、Ｚ軸駆動部１１２に、前記シルエット光を撮影するためにフォーカス位置を合わせるよう指令した後、ＣＣＤカメラ制御部１１１に指令を与え、ＣＣＤカメラ１１０によって、前記複数のビーズのシルエット画像を撮影する。そして、この撮影されたシルエット画像を、ＣＰＵ１２０内の解析部１２２において２値化処理し、処理後の画像を、該各撮影対象の存在位置を求めるための位置参照用画像としてＣＰＵ１２０に記憶する。
FIG. 2 is a flowchart showing a series of steps of the image capturing step of the gene expression analysis apparatus according to the first embodiment.
First, in step S <b> 1, a position reference image for obtaining the presence positions of a plurality of beads to be photographed is captured in the
図３（ａ）は、撮影されたシルエット画像を示す図であり、図３（ｂ）は、図３（ａ）に示すシルエット画像中に存在する１つのビーズの拡大図であり、図３（ｃ）は、図３（ａ）に示すシルエット画像から得た位置参照用画像を示す図である。なお、現実のシルエット画像には数百のビーズが写るが、図３では、簡単のために５個のビーズのみを示している。 FIG. 3A is a diagram showing a captured silhouette image, and FIG. 3B is an enlarged view of one bead existing in the silhouette image shown in FIG. 3A. c) is a diagram showing a position reference image obtained from the silhouette image shown in FIG. In the actual silhouette image, several hundred beads are shown. In FIG. 3, only five beads are shown for simplicity.
図３（ｂ）に示されているように、ビーズは中央部に非常に明るい領域を持っている。これは、ビーズが半透明なアクリルでてきているため、ＬＥＤ光を照射した場合にレンズの働きを示し、中央部分に集光して中央が非常に明るくなり、ビーズの周縁部分は光が曲げられて届かないため、非常に暗くなるからである。 As shown in FIG. 3 (b), the bead has a very bright area in the center. This is because the beads are made of translucent acrylic, so it shows the function of the lens when it is irradiated with LED light. It converges at the center and becomes very bright at the center, and light is bent at the periphery of the bead. It is very dark because it is not delivered.
次に、ステップＳ２において、前記ＣＰＵ１２０内の第１の振動検出部１２４で、前記位置参照用画像撮影部１３０にてシルエット画像を撮影する際に振動が生じたか否かを検出する。
Next, in step S2, the first
以下、前記第１の振動検出部１２４における振動検出方法について示す。図６は、第１の振動検出ステップの流れを示すフローチャートである。
ステップＳ２１として、第１の振動検出部１２４は、まず数・面積変化検出部１２４ａにおいて、位置参照用画像上のビーズの数、あるいは個々のビーズ面積を検出し、ステップＳ２２として、該検出されたビーズ数、あるいは個々のビーズ面積と、予め保持していた閾値とを比較する（ステップＳ２２）。
Hereinafter, a vibration detection method in the first
In step S21, the first
そして前記ステップＳ２２において、ビーズ数、あるいは個々のビーズ面積が前記閾値未満と判定された場合は、シルエット画像の撮影中に激しい振動が生じたと判定して、図２に示すステップＳ１に移行し、再度シルエット画像を撮影し直す。 If it is determined in step S22 that the number of beads or the area of each bead is less than the threshold, it is determined that intense vibration has occurred during the capturing of the silhouette image, and the process proceeds to step S1 shown in FIG. Reshoot the silhouette image again.
ここで、位置参照用画像上に表示されたビーズの数、あるいは個々のビーズ面積を検出することで、振動が検出できる理由を述べる。
図４（ａ）は、シルエット画像の撮影時に激しい振動が生じた場合に得られるシルエット画像を示す図であり、図４（ｂ）は、図４（ａ）中のビーズＢ５を２値化した図である。
Here, the reason why the vibration can be detected by detecting the number of beads displayed on the position reference image or the area of each bead will be described.
FIG. 4 (a) is a diagram showing a silhouette image obtained when intense vibration occurs during the shooting of the silhouette image, and FIG. 4 (b) binarizes the bead B5 in FIG. 4 (a). FIG.
撮影時に激しい振動が生じた際に撮影されたシルエット画像２０１は、図４（ａ）に示すように大きくボケてしまい、その結果、ビーズ数が極めて少なくなったり（図４中では５つから３つに減少）、または図４（ｂ）に示されるように、個々のビーズ部分の面積が小さくなる。
As shown in FIG. 4A, the
この現象を利用し、数・面積変化検出部１２４ａにおいて、位置参照用画像上のビーズ数、及び個々のビーズ面積を検出し、該ビーズ数あるいは個々のビーズ面積を所定の閾値と比較することにより、撮影時に激しい振動が生じたか否かを検出する。
By utilizing this phenomenon, the number / area
次に、前記数・面積変化検出部１２４ａに予め保持しておく閾値の計算方法を示す。
１つのウエル１０２に投入するビーズの数Ｎは、予め設定されており、しかも該ビーズは、前記ウエル１０２内に平均して分布している。従って、前記ウエル１０２のウエル面積をＳWとし、位置参照用画像で観察するウエル面積をＳMとすると、位置参照用画像中のビーズ数Ｎｘは、Ｎｘ＝（ＳW／ＳM）×Ｎとなり、これを上限とする値をビーズ数の閾値として設定する。この閾値が前記上限値に近ければ近いほど、小さい振動も検出できる。
Next, a threshold value calculation method stored in advance in the number / area
The number N of beads to be introduced into one
また、ビーズ面積の閾値については、ビーズの形状は同じなので、前記ビーズ数の閾値から、個々のビーズ面積を計算し、これをビーズ面積の閾値として設定する。例えば、位置参照用画像２０１中のビーズ数の閾値を２００個とし、個々のビーズ面積の閾値を８０画素とする。
Since the bead area has the same shape as the bead area threshold, the individual bead area is calculated from the bead number threshold and set as the bead area threshold. For example, the threshold value for the number of beads in the
これらの閾値を予め保持しておき、該数・面積変化検出部１２４ａで検出した、位置参照用画像２０１中のビーズ数が２００個未満の場合に、撮影中に激しい振動が生じたと判定する。または、該数・面積変化検出部１２４ａで検出した、位置参照用画像２０１中の個々のビーズ面積のうちの最大面積をもつビーズ面積が８０画素未満である場合に、撮影中に激しい振動が生じたと判定する。もちろん、前記位置参照用画像２０１中の全てのビーズ面積を、前記ビーズ数の閾値と個々のビーズ面積の閾値とから計算し、この値をビーズ面積の閾値として保持してもよい。この場合、該数・面積変化検出部１２４ａで検出した、ビーズ面積が２００個×８０画素＝１６０００画素未満である場合に、激しい振動が生じたと判定する。
These threshold values are held in advance, and when the number of beads in the
一方、前記ステップＳ２２において、前記数・面積変化検出部１２４ａで検出された値が閾値以上の場合は、次にステップＳ２３で、前記第１の振動検出部１２４内の形状変化検出部１２４ｂにおいて、前記位置参照用画像に存在するビーズの特徴量を検出し、ステップＳ２４において、該特徴量と、前記形状変化検出部１２４ｂに予め保持していた閾値とを比較する。
On the other hand, if the value detected by the number / area
そして、前記ステップＳ２４において、前記ビーズの特徴量が前記閾値より大きいと判定された場合は、シルエット画像の撮影中に穏やかな振動が生じたものとして、図２に示すステップＳ１に移行し、再度シルエット画像を撮影し直す。 If it is determined in step S24 that the feature amount of the bead is larger than the threshold value, it is assumed that gentle vibration has occurred during the capturing of the silhouette image, and the process proceeds to step S1 shown in FIG. Reshoot the silhouette image.
図５（ａ）は、撮影時に穏やかな振動が発生した場合に得られるシルエット画像を示す図であり、図５（ｂ）は、図５（ａ）を２値化した位置参照用画像中に存在する１つのビーズＢ５の拡大図であり、図５（ｃ）は、該ビーズＢ５の中央部分に存在する高輝度部を示す図である。 FIG. 5A is a diagram showing a silhouette image obtained when a gentle vibration occurs during shooting. FIG. 5B is a position reference image obtained by binarizing FIG. 5A. FIG. 5C is an enlarged view of one existing bead B5, and FIG. 5C is a diagram showing a high-intensity part existing in the central portion of the bead B5.
撮影時に穏やかな振動が生じた際に撮影されたシルエット画像中に存在するビーズは、図５（ａ）に示すように、形状に多少歪みが生じて楕円となるが、ビーズ数は変化せず、個々のビーズ面積の変化も少ないため、前述した前記数・面積変化検出部１２４ａによる振動検出方法は適用できない。
As shown in FIG. 5 (a), the bead present in the silhouette image taken when a gentle vibration occurs during photographing is slightly distorted in shape and becomes an ellipse, but the number of beads does not change. Since the change in the area of each bead is small, the above-described vibration detection method using the number / area
しかし、穏やかな振動が生じた場合、前述したようにシルエット画像中のビーズは、その形状に歪みが生じるため、この現象を利用して、形状変化検出部１２４ｂにおいて、ビーズの形状変化を検出し、撮影中に穏やかな振動が生じたか否かを検出する。
However, when a gentle vibration occurs, the bead in the silhouette image is distorted in its shape as described above. Therefore, by using this phenomenon, the shape
以下、形状変化検出部１２４ｂにおいて、ビーズの形状変化を検出する方法について説明する。
位置参照用画像に存在するビーズの形状変化は、形状変化検出部１２４ｂにて、ビーズ形状が楕円形か否かを検出して求める。よって、位置参照用画像上のビーズの形状を示す値（以下「特徴量」と称す）として、ビーズの最大直径を検出し、該最大直径が予め保持されていた閾値より大きければ、振動が生じたと判定する。
Hereinafter, a method of detecting the shape change of the bead in the shape
The change in the shape of the bead existing in the position reference image is obtained by detecting whether or not the bead shape is an ellipse by the shape
なお、図５（ｂ）に示すように、ビーズが高い光透過性を持つ場合は、該ビーズの中央部がレンズ作用により集光されて輝度値が非常に高く、２値化後も安定した形状を保つので、この高輝度部分の形状の最大直径を特徴量とする。 In addition, as shown in FIG.5 (b), when a bead has high light transmittance, the central part of this bead was condensed by the lens effect | action, and the luminance value was very high, and it stabilized even after binarization. In order to maintain the shape, the maximum diameter of the shape of the high-luminance portion is used as the feature amount.
このとき、予め保持しておく閾値は、通常時のビーズの直径を下限とする値を設定する。この閾値が前記下限値に近ければ近いほど、かすかな振動も検出できる。なお、形状が楕円形か否かの判定は、ビーズの長軸の長さと短軸の長さを求めてその比が１から離れている場合を楕円と判定するという方法でも行える。 At this time, the threshold value to be stored in advance is set to a value having the lower limit of the diameter of the normal bead. The closer this threshold is to the lower limit, the more faint vibration can be detected. Whether or not the shape is elliptical can also be determined by determining the length of the major axis and the minor axis of the bead and determining that the ratio is away from 1 as an ellipse.
以下、ビーズが高い光透過性を持つ場合の特徴量の求め方について説明する。
図５（ｃ）において、２２０はビーズの高輝度部分の白い領域の外形状である。外形状２２０において、最も右にある画素２１１の座標を、（Ｘｍａｘ，Ｙａ）、最も左にある画素２１２の座標を、（Ｘｍｉｎ，Ｙｂ）、最も上にある画素２１３の座標を、（Ｘａ，Ｙｍａｘ）、最も下にある画素２１４の座標を、（Ｘｂ，Ｙｍｉｎ）とする。
Hereinafter, a description will be given of how to obtain the characteristic amount when the beads have high light transmittance.
In FIG.5 (c), 220 is an outer shape of the white area | region of the high-intensity part of a bead. In the
このとき、横幅２１５は、（Ｘｍａｘ−Ｘｍｉｎ）で求められ、高さ２１６は、（Ｙｍａｘ−Ｙｍｉｎ）で求められる。楕円形の長軸を求めるためには、横幅（Ｘｍａｘ−Ｘｍｉｎ）と高さ（Ｙｍａｘ−Ｙｍｉｎ）とを比較し、横幅（Ｘｍａｘ−Ｘｍｉｎ）の方が大きいときには、Ｌ＝（Ｘｍａｘ−Ｘｍｉｎ)2＋（Ｙａ−Ｙｂ)2とし、高さ（Ｙｍａｘ−Ｙｍｉｎ）の方が大きいときには、Ｌ＝（Ｘａ−Ｘｂ)2＋（Ｙｍａｘ−Ｙｍｉｎ)2とする。
At this time, the
ここで求めたＬ値は、長さ２１７の２乗であり、楕円の長軸２１８の２乗に近い値となる。
なお、Ｌ値は大小の比較に用いるだけであるため、平方根をとる必要が無く、このまま用いるものとする。
The L value obtained here is the square of the
Since the L value is only used for the comparison of the magnitude, it is not necessary to take the square root and is used as it is.
以上のようにして、位置参照用画像に存在する全てのビーズのＬ値を求めた後、これらの平均値を求め、この値をＬＡ値とする。
このときの、前記形状変化検出部１２４ｂに予め保持しておく閾値は、振動がない場合の、前記位置参照用画像に存在する全てのビーズの直径の平均値ＬＡ値を下限とする値Ｌｍａｘである。
After obtaining the L values of all the beads existing in the position reference image as described above, the average value of these is obtained, and this value is used as the LA value.
The threshold value stored in advance in the shape
一方、前記ステップＳ２４において、前記形状変化検出部１２４ｂでビーズの形状変化が検出されなかった場合は、振動が生じなかったものとして、図２に示す次のステップＳ３に進む。
ステップＳ３では、位置参照用画像からマスク画像を作成する。
On the other hand, if no change in the shape of the beads is detected in the shape
In step S3, a mask image is created from the position reference image.
以下、マスク画像について説明する。図７（ａ）は、位置参照用画像を示す図であり、図７（ｂ）は、図７（ａ）よりマスク画像を作成する途中経過を示す図であり、図７（ｃ）は、作成されたマスク画像を示す図である。 Hereinafter, the mask image will be described. FIG. 7A is a diagram showing a position reference image, FIG. 7B is a diagram showing the progress of creating a mask image from FIG. 7A, and FIG. It is a figure which shows the produced mask image.
マスク画像は、位置参照用画像に存在するビーズの存在位置を示すものであり、図７（ａ）に示す位置参照用画像に対し、マスク処理を施すことで得る。具体的には、図７（ｂ）に示すように、まずビーズの中央部の高輝度部を塗りつぶす処理を行った後、該ビーズＢ１，Ｂ２，Ｂ３の外周が一回り大きくなるように処理を施し、図７（ｃ）に示すようなマスク画像を得る。なお、本実施の形態１では、各ビーズＢ１，Ｂ２，Ｂ３の外周を一画素分大きくする処理を施している。 The mask image indicates the presence position of the beads present in the position reference image, and is obtained by performing mask processing on the position reference image shown in FIG. Specifically, as shown in FIG. 7B, first, a process of filling the high-intensity part at the center of the bead is performed, and then the process is performed so that the outer circumferences of the beads B1, B2, and B3 become one size larger. To obtain a mask image as shown in FIG. In the first embodiment, the process of enlarging the outer circumference of each bead B1, B2, B3 by one pixel is performed.
そして、ステップＳ４において、前記ＣＰＵ１２０内に、前記各光学フィルタ通過後の前記各撮影対象の平均輝度値を求めるための複数の輝度参照用画像を取り込む。具体的には、まずＣＰＵ１２０の制御部１２１は、ＬＥＤ１０６を消灯し、励起光源１１３から励起光を照射する。励起光は、ダイクロイックミラー１０７により対物レンズ１０５の方向へ反射し、対物レンズ１０５は、ダイクロイックミラー１０７からの光をウエル１０２内の観察対象である複数のビーズに集光させる。ウエル１０２内に存在する複数のビーズは、前記対物レンズ１０５から照射された光によって、その分光特性に応じた発光パターンを示し、該各ビーズが発光した光は、前述したＬＥＤ光によるビーズのシルエット光と同様、対物レンズ１０５、ダイクロイックミラー１０７、バンドパスフィルタ１０８を通過し、さらに結像レンズ１０９によって集光されて、ＣＣＤカメラ１１０に到達する。このとき、バンドパスフィルタ１０８は、特定の波長域のみを通過させる性質を持つため、ビーズが発光した光の特定の波長域のみが、ＣＣＤカメラ１１０に到達する。この状態で、制御部１２１は、ＣＣＤカメラ制御部１１１に指令を与え、ビーズが発光した光のうち、前記バンドパスフィルタ１０８を通過した特定の波長域のみの輝度画像を、ＣＣＤカメラ１１０で撮影する。そして、ＣＰＵ１２０内の解析部１２２で、撮影された輝度画像を２値化処理し、該処理後の画像を、輝度参照用画像としてＣＰＵ１２０内に記憶する。図８は、マスク画像と輝度参照用画像を示す図である。
In step S4, a plurality of luminance reference images for obtaining an average luminance value of each photographing target after passing through each optical filter are captured in the
ステップＳ５では、前記ステップＳ４にて１枚の輝度参照用画像がＣＰＵ１２０内に取り込まれた後、第２の振動検出部１２５で、前記ステップＳ３で作成されたマスク画像を用いて、該取り込まれた輝度画像の撮影時に振動が生じたか否かを検出する。
In step S5, after one luminance reference image is captured in the
以下、前記第２の振動検出部１２５における輝度参照用画像の振動検出方法について示す。
輝度参照用画像の振動を検出する際には、すでに振動していない位置参照用画像２１０が、ＣＰＵ１２０内に記憶されており、該位置参照用画像より、該画像中のビーズ存在位置を示すマスク画像４０１が作成されている。
Hereinafter, the vibration detection method of the luminance reference image in the second
When detecting the vibration of the luminance reference image, the
前述したようにマスク画像４０１中の各ビーズ領域Ｂ１ｍ，Ｂ２ｍ，Ｂ３ｍは、位置参照用画像に存在するビーズＢ１，Ｂ２，Ｂ３の外周を一回り大きくする。
ここでは１画素分大きくする処理を施しているため、輝度画像を撮影した際に振動が生じていなければ、図９（ａ）に示すように、輝度参照用画像３０１とマスク画像４０１とをオーバレイ表示した場合に、輝度参照用画像３０１ａ上のビーズ領域Ｂ１ａ〜Ｂ３ａの周囲に、マスク画像４０１の塗りつぶされたビーズ領域Ｂ１ｍ，Ｂ２ｍ，Ｂ３ｍが存在するはずである。
As described above, the bead regions B1m, B2m, and B3m in the
Here, since the process of enlarging one pixel is performed, if no vibration occurs when the luminance image is captured, the luminance reference image 301 and the
図９は、マスク画像上のビーズ領域と、第１の輝度参照用画像上のビーズ領域の関係を示す図であり、図（ａ）は振動が発生していない場合の輝度参照用画像に、マスク画像をオーバレイ表示したものであり、図（ｂ）は撮影前あるいは撮影中に振動が発生した場合の輝度参照用画像に、マスク画像をオーバレイ表示したものである。 FIG. 9 is a diagram showing the relationship between the bead region on the mask image and the bead region on the first luminance reference image, and FIG. 9A shows the luminance reference image when no vibration is generated, The mask image is displayed as an overlay. FIG. (B) shows the mask image displayed as an overlay on the luminance reference image when vibration occurs before or during shooting.
図９中、領域Ｂ１ａ，Ｂ２ａ，Ｂ３ａは、励起光によってビーズＢ１，Ｂ２，Ｂ３が発光した光を表示したものであり、領域Ｂ１ｍ，Ｂ２ｍ，Ｂ３ｍは、ビーズＢ１，Ｂ２，Ｂ３のマスク領域を前記輝度参照用画像にオーバレイ表示したものである。 In FIG. 9, regions B1a, B2a, and B3a display the light emitted from the beads B1, B2, and B3 by the excitation light, and the regions B1m, B2m, and B3m indicate the mask regions of the beads B1, B2, and B3. The luminance reference image is displayed as an overlay.
輝度参照用画像を撮影する前あるいは撮影時に振動が生じなかった場合、位置参照用画像と輝度参照用画像とのビーズ位置にずれが生じないため、図９（ａ）に示すように、輝度参照用画像３０１ａ上の各ビーズ領域Ｂ１ａ，Ｂ２ａ，Ｂ３ａは、該輝度参照用画像にオーバレイ表示されたマスク画像の各ビーズ領域Ｂ１ｍ，Ｂ２ｍ，Ｂ３ｍの内部におさまる。よってこの場合、輝度参照用画像３０１ａにオーバレイ表示されたマスク画像のビーズ領域Ｂ１ｍ，Ｂ２ｍ，Ｂ３ｍの外側に、輝度の高い部分は存在しない。
If there is no vibration before or during the photographing of the luminance reference image, there is no deviation in the bead position between the position reference image and the luminance reference image, so as shown in FIG. 9 (a). The bead areas B1a, B2a, and B3a on the
一方、輝度参照用画像を撮影する前あるいは撮影時に振動が生じた場合は、位置参照用画像と輝度参照用画像とのビーズ位置にずれが生じるため、図９（ｂ）に示すように、輝度参照用画像３０１ａにオーバレイ表示したマスク画像の各ビーズ領域Ｂ１ｍ，Ｂ２ｍ，Ｂ３ｍの外側に、該輝度参照用画像３０１ａ上のビーズ領域Ｂ１ａ，Ｂ２ａ，Ｂ３ａがはみだす。よってこの場合、輝度参照用画像３０１ａにオーバレイ表示されたマスク画像のビーズ領域Ｂ１ｍ，Ｂ２ｍ，Ｂ３ｍの外側に高輝度の部分が存在することとなる。
On the other hand, if vibration occurs before or during photographing of the luminance reference image, the bead position between the position reference image and the luminance reference image is shifted, so as shown in FIG. 9B. The bead areas B1a, B2a, and B3a on the
第２の振動検出部１２５は、以上の現象を利用して、輝度参照用画像の振動検出を行う。図１０は、第２の振動検出ステップの流れを示すフローチャートである。
まず、ステップＳ５１において、第１の輝度参照用画像３０１ａの輝度分布について調べる。本実施の形態１の輝度参照用画像３０１ａでは、全面積の大部分を占める背景である部分は低輝度を示し、ビーズが存在する、励起されている領域Ｂ１ａ，Ｂ２ａ，Ｂ３ａのみが高輝度を示している。
The second
First, in step S51, the luminance distribution of the first
よって、輝度参照用画像の輝度分布を調べるために、輝度参照用画像３０１ａから、各階調毎にその階調を示す画素の数を求めてヒストグラムを作成する。図１１は、輝度参照用画像から作成されたヒストグラムを示す。
Therefore, in order to examine the luminance distribution of the luminance reference image, the number of pixels indicating the gradation is obtained for each gradation from the
そして、ステップＳ５２において、前記ステップＳ５１で作成したヒストグラムの低輝度側から探索し、低輝度側に位置する画素数の合計が全体の５％となる輝度値ＩＬを求め、また、前記ヒストグラムの高輝度側から探索し、高輝度側に位置する画素数の合計が全体の０．５％となる輝度値ＩＨを求める。ここで、低輝度と高輝度で画素数の全体比が異なるのは、低輝度側の分布は密であり、高輝度側の分布は粗であるからである。 In step S52, a search is made from the low luminance side of the histogram created in step S51 to obtain a luminance value IL in which the total number of pixels located on the low luminance side is 5% of the total. A search is made from the luminance side, and a luminance value IH is obtained in which the total number of pixels located on the high luminance side is 0.5% of the total. Here, the overall ratio of the number of pixels is different between low luminance and high luminance because the distribution on the low luminance side is dense and the distribution on the high luminance side is coarse.
そして、前述のようにして得た輝度値ＩＬ，ＩＨを、下記に示す（式１）に代入して、境界値ＴＨを求める。
境界値ＴＨ＝（ＩＬ＋ＩＨ）／２…（式１）
Then, the luminance values IL and IH obtained as described above are substituted into (Equation 1) shown below to obtain the boundary value TH.
Boundary value TH = (IL + IH) / 2 (Formula 1)
そして、ステップＳ５３において、輝度参照用画像３０１ａ全体を探索し、オーバレイ表示されたマスク画像のビーズ領域Ｂ１ｍ，Ｂ２ｍ，Ｂ３ｍの外側に位置している画素のうち、前述のようにして得た境界値ＴＨよりも高い輝度をもつ画素の数をカウントする。
In step S53, the entire
ステップＳ５４において、前記ステップＳ５３にて得た境界値ＴＨよりも高い輝度をもつ画素数と、予め第２の振動検出部１２５に保持されていた閾値とを比較し、境界値ＴＨよりも高い輝度をもつ画素数が閾値よりも大きい場合は、撮影中に振動が生じたと判定し、前記図２に示すステップＳ１に移行して、再度、位置参照用画像から撮影をし直す。
In step S54, the number of pixels having a higher brightness than the boundary value TH obtained in step S53 is compared with the threshold value previously held in the second
なお、この際、輝度参照用画像３０１ａにオーバレイ表示されたマスク画像のビーズ領域Ｂ１ｍ，Ｂ２ｍ，Ｂ３ｍの外側に位置している画素の総数を求め、該画素の総数に占める、前記ステップＳ５３で得た境界値ＴＨよりも高い輝度をもつ画素数の割合が、あらかじめ与えられていた比率を超える場合に、振動が生じたと判定するものであってもよい。
At this time, the total number of pixels located outside the bead areas B1m, B2m, and B3m of the mask image displayed as an overlay on the
さらに、前述の方法においては、輝度参照用画像３０１ａにオーバレイ表示されたマスク画像のビーズ領域Ｂ１ｍ，Ｂ２ｍ，Ｂ３ｍの外側に位置している画素すべてを探索したが、想定される振動がそれほど大きくなく、振動によるビーズのずれ量がビーズの直径程度以下である場合には、処理時間短縮のために、輝度参照用画像にオーバレイ表示されたマスク画像のビーズ領域Ｂ１ｍ，Ｂ２ｍ，Ｂ３ｍの外周付近の画素のみを調べることで、振動が生じたか否かを検出することが可能である。
Further, in the above-described method, all pixels located outside the bead regions B1m, B2m, and B3m of the mask image displayed in the
すなわち、輝度参照用画像にオーバレイ表示されたマスク画像の各ビーズ領域Ｂ１ｍ，Ｂ２ｍ，Ｂ３ｍの外周に接する画素の輝度を調べ、前記境界値ＴＨよりも高い輝度を示した画素の数をカウントする。そして、カウントされた画素の総数、または輝度を調べた画素の総数に占める、前記カウントされた画素の総数の割合が、予め与えられていた閾値よりも大きい場合に、振動が発生したと判定するものであってもよい。 That is, the luminance of the pixels in contact with the outer periphery of each of the bead regions B1m, B2m, and B3m of the mask image displayed as an overlay on the luminance reference image is checked, and the number of pixels that exhibit luminance higher than the boundary value TH is counted. Then, when the ratio of the total number of counted pixels or the total number of counted pixels to the total number of pixels examined for luminance is larger than a predetermined threshold value, it is determined that vibration has occurred. It may be a thing.
一方、前記ステップＳ５４において、前記ステップＳ５３にて得た境界値ＴＨよりも高い輝度をもつ画素数が、前記閾値以下であった場合は、振動が生じていないと判定して、図２に示す次のステップＳ６に移行する。 On the other hand, in step S54, if the number of pixels having a luminance higher than the boundary value TH obtained in step S53 is equal to or less than the threshold, it is determined that no vibration has occurred, and is shown in FIG. The process proceeds to the next step S6.
ステップＳ６では、輝度参照用画像がＣＰＵ１２０内に所定枚数取り込まれたか否かを判断し、まだ取り込まれていない場合は、前述した図２のステップＳ４に移行して、次の輝度画像を撮影し、前記マスク画像４０１を用いて、該輝度画像を撮影する前あるいは撮影中に振動が生じたか否かを検出する。
一方、前記ステップＳ６にて所定枚数の輝度参照用画像が取り込まれたと判断された場合は、画像取り込みステップを終了する。
In step S6, it is determined whether or not a predetermined number of luminance reference images have been captured in the
On the other hand, if it is determined in step S6 that a predetermined number of luminance reference images have been captured, the image capturing step is terminated.
以上のように、本実施の形態１では、ＣＰＵ１２０内に、位置参照用画像撮影部１３０にてシルエット画像を撮影中に振動が生じたか否かを検出する第１の振動検出部１２４と、輝度参照用画像撮影部１４０にて輝度画像を撮影中に振動が生じたか否かを検出する第２の振動検出部１２５とを設け、前記第１の振動検出部１２４で、該撮影された位置参照用画像を用いて撮影時に振動が生じたか否かを検出し、また前記第２の振動検出部１２５で、前記各輝度参照用画像が撮影される毎に、振動が検出されなかった位置参照用画像から作成されたビーズ存在位置を示すマスク画像を用いて撮影時に振動が生じたか否かを検出するようにし、前記各振動検出部１２４，１２５にて振動を検出した場合は、すべての画像を撮影し直すようにしたので、撮影時に振動が生じた画像を確実、且つ容易に排除可能となり、当該装置において、信頼性の極めて高いデータ解析をおこなうことができる。
As described above, in the first embodiment, in the
なお、本実施の形態１では、輝度参照用画像の背景部分が低輝度、ビーズが励起されている領域が高輝度として説明したが、輝度の関係が逆の場合であっても、同様の方法により振動の判定を行うことができる。 In the first embodiment, the background portion of the luminance reference image is described as low luminance and the region where the beads are excited is described as high luminance. However, the same method can be used even when the luminance relationship is reversed. Thus, vibration can be determined.
（実施の形態２）
前記実施の形態１においては、所定枚数の輝度参照用画像のうちすでに何枚か輝度参照用画像を取得した後であっても、輝度参照用画像にて振動を検出した場合は、全ての画像の取得をやり直すものであったが、本実施の形態２においては、全ての画像を取得しなおすのではなく、振動が検出される前に撮影した画像はそのまま保持しておき、振動が検出された輝度参照用画像を再度撮影し直すとともに、該撮影しなおされた輝度参照用画像の輝度値を求めるために用いる位置参照用画像を取得するものである。
(Embodiment 2)
In the first embodiment, even if some luminance reference images have already been acquired from the predetermined number of luminance reference images, all the images are detected when vibration is detected in the luminance reference images. However, in the second embodiment, not all the images are reacquired, but the image taken before the vibration is detected is kept as it is, and the vibration is detected. The luminance reference image is re-photographed, and a position reference image used for obtaining the luminance value of the re-photographed luminance reference image is acquired.
本実施の形態２の振動検出方法は、前記マスク画像と輝度参照用画像とをオーバレイ表示した際に、ビーズのずれ量がビーズの直径以下である場合に適用する。よって、本実施の形態２の撮影装置は、機械的な対策などが施されており、撮影時の振動がかなり軽減されていることを前提とする。 The vibration detection method of the second embodiment is applied when the amount of bead displacement is equal to or less than the bead diameter when the mask image and the luminance reference image are displayed in an overlay manner. Therefore, it is assumed that the photographing apparatus according to the second embodiment is provided with mechanical measures and the vibration during photographing is considerably reduced.
本実施の形態２では、撮影装置が、前記実施の形態１と同様の構成を有し、撮影された画像中に存在するビーズの分光特性を解析して該ビーズの種類を特定し、そのビーズの種類に対応したｍＲＮＡを同定する遺伝子発現解析装置である場合を例に挙げて説明する。また、撮影対象は、種々の分光特性を持った直径１０μｍ程度のビーズであるものとする。 In the second embodiment, the imaging device has the same configuration as that of the first embodiment, and analyzes the spectral characteristics of the beads present in the captured image to identify the type of the beads. A case of a gene expression analysis apparatus that identifies mRNA corresponding to the type of will be described as an example. In addition, it is assumed that the subject to be photographed is a bead having various spectral characteristics and a diameter of about 10 μm.
以下、動作を説明する。
本実施の形態２の遺伝子発現解析装置では、前述した従来装置６００と同様、観察対象であるビーズを撮影して、位置参照用画像と複数の輝度参照用画像を取り込んだ後、該取り込んだ画像を用いて、ビーズの分光特性を解析する（図１４参照）。
The operation will be described below.
In the gene expression analysis apparatus according to the second embodiment, as in the
本実施の形態２における解析ステップの工程は、従来装置における解析ステップの工程と同じであるため、ここでは、画像を取り込む画像取り込みステップの詳細な工程について説明する。 Since the process of the analysis step in the second embodiment is the same as the process of the analysis step in the conventional apparatus, a detailed process of the image capture step for capturing an image will be described here.
図１２は、本実施の形態２の遺伝子発現解析装置の画像取り込みステップの一連の流れを示すフローチャートである。
まず、ステップＳ１において、当該装置１００のＣＰＵ１２０内に、撮影対象である複数のビーズの存在位置を求めるための位置参照用画像を取り込む。具体的には、まずＣＰＵ１２０の制御部１２１は、ウエルプレート駆動部１０３を制御して、観察対象が注入されたウエル１０２が対物レンズ１０５の真上に位置するように、ウエルプレート１０１を移動させた後、ＬＥＤ１０６を点灯させて、該ウエル１０２内の観察対象である複数のビーズのシルエット光を、対物レンズ１０５、ダイクロイックミラー１０７、バンドパスフィルタ１０８、結像レンズ１０９を介して、ＣＣＤカメラ１１０にてシルエット画像を撮影する。そして前記ＣＰＵ１２０内の解析部１２２にて、該シルエット画像を２値化処理した位置参照用画像ＡをＣＰＵ１２０内に記憶する。
FIG. 12 is a flowchart showing a series of steps of the image capturing step of the gene expression analysis apparatus according to the second embodiment.
First, in step S <b> 1, a position reference image for obtaining the presence positions of a plurality of beads to be photographed is captured in the
次に、ステップＳ２において、前述の実施の形態１で図６を用いて説明したのと同様の方法を用いて、第１の振動検出部１２４で、前記位置参照用画像撮影部１３０にてでシルエット画像を撮影する際に振動が生じたか否かを検出する。なお、本実施の形態２では、振動がかなり軽減されていることが前提となっているため、前記実施の形態１のように、数・面積変化検出部１２４ａにて位置参照用画像中に存在するビーズの数あるいは個々のビーズ面積の変化により激しい振動を検出した後、形状変化検出部１２４ｂでビーズの形状変化を検出して穏やかな振動を検出するのではなく、形状変化検出部１２４ｂだけで、画像の撮影時における振動の検出を行ってもよい。
そして、前記ステップＳ２において振動が検出された場合は、前記ステップＳ１に移行して、再度、位置参照用画像Ａを取得する。
Next, in step S2, the first
If vibration is detected in step S2, the process proceeds to step S1, and the position reference image A is acquired again.
一方、前記ステップＳ２において、振動が検出されなかった場合は、次のステップＳ３に移行して、前述の実施の形態１と同様の方法で、前記位置参照用画像Ａから、該画像上におけるビーズ存在位置を示すマスク画像Ａを作成する。 On the other hand, if no vibration is detected in the step S2, the process proceeds to the next step S3, and the bead on the image is read from the position reference image A by the same method as in the first embodiment. A mask image A indicating the existing position is created.
この後、ステップＳ４において、１枚目の輝度参照用画像の取り込みを行う。そして、ステップＳ５において、第２の振動検出部１２５で、前述の実施の形態１と同様の方法により、前記ステップＳ３で作成したマスク画像Ａを用いて、前記ステップＳ４にて取得した輝度参照用画像の振動検出を行う。
Thereafter, in step S4, the first luminance reference image is captured. Then, in step S5, the second
前記ステップＳ５において、振動が検出されなかった場合には、次のステップＳ６に移行し、所定枚数の輝度参照用画像をＣＰＵ１２０内に取り込んだか否かについて判定を行い、未取得の場合には、前記ステップＳ４に移行して、所定枚数取得できるまでステップＳ４〜ステップＳ６を繰り返す。
If no vibration is detected in step S5, the process proceeds to the next step S6, where it is determined whether or not a predetermined number of luminance reference images have been captured in the
ここで、例えば６枚目の輝度参照用画像をＣＰＵ１２０内に取り込んだ後に、前記ステップＳ５において、振動が検出されたものとする。この場合は、ステップＳ７に移行し、振動検出された輝度参照用画像の位置参照用画像Ａ’を再度取得する。
Here, it is assumed that, for example, after the sixth luminance reference image is taken into the
そして、ステップＳ８において、第１の振動検出部１２４で、前記ステップＳ２と同様の方法で、前記位置参照用画像Ａ’を用いて、画像撮影時に振動が生じたか否かを検出する。
In step S8, the first
前記ステップＳ８にて振動が検出されなかった場合は、次のステップＳ９に移行し、該位置参照用画像Ａ’からマスク画像Ａ’を作成する。
一方、前記ステップＳ８において、振動が検出された場合は、前記ステップＳ７に移行して、再度位置参照用画像Ａ’を取得しなおす。
If no vibration is detected in step S8, the process proceeds to the next step S9, and a mask image A ′ is created from the position reference image A ′.
On the other hand, when vibration is detected in step S8, the process proceeds to step S7, and the position reference image A ′ is acquired again.
次に、ステップＳ１０において、再度６枚目の輝度参照用画像の取り込みを行う。そして、ステップＳ１１において、第２の振動検出部１２５で、前述の実施の形態１と同様の方法により、前記ステップＳ９で作成したマスク画像Ａ’を用いて、該６枚目の輝度参照用画像の振動検出を行う。そして、前記ステップＳ１１において振動が検出されなかった場合は、ステップＳ１２に移行し、残りの輝度参照用画像がＣＰＵ１２０内に取得されたか否か判断し、未取得の場合は、残りの輝度参照用画像が全て得られるまでステップＳ１０〜ステップＳ１２を繰り返す。
Next, in step S10, the sixth luminance reference image is captured again. In step S11, the second
以上の方法で取得した画像は、位置参照用画像Ａ、位置参照用画像Ａ’と、８枚の輝度参照用画像であるが、１〜５枚目の輝度参照用画像はマスク画像Ａ上のビーズ領域により該各画像上のビーズ領域が求められ、６〜８枚目の輝度参照用画像はマスク画像Ａ’上のビーズ領域により該各画像上のビーズ領域が求められる。 The images acquired by the above method are the position reference image A, the position reference image A ′, and eight luminance reference images. The first to fifth luminance reference images are on the mask image A. A bead region on each image is obtained from the bead region, and a bead region on each image is obtained from the bead region on the mask image A ′ in the sixth to eighth luminance reference images.
前述したように本実施の形態２においては、振動によるビーズのずれ量がビーズの直径程度以下であることを想定しているため、マスク画像Ａとマスク画像Ａ’のビーズの対応関係は、各ビーズがオーバラップしていることを利用して容易に求めることができる。 As described above, in the second embodiment, since it is assumed that the deviation amount of the beads due to vibration is less than or equal to the diameter of the beads, the correspondence relationship between the beads of the mask image A and the mask image A ′ is as follows. It can be easily obtained by utilizing the fact that the beads overlap.
したがって、図１６に示すような分光分布図を作成するためには、１〜５枚目の輝度参照用画像上の、マスク画像Ａ上のビーズ領域に相当する領域の輝度平均と、６〜８枚目の輝度参照用画像上の、マスク画像Ａ上のビーズ領域とオーバラップしているマスク画像Ａ’上のビーズ領域に相当する領域の輝度平均とを求め、全ての輝度平均をプロットすればよいこととなる。
以上により作成した分光曲線から各ビーズの分光特性が分かり、これに対応してビーズの種類同定を行うことが可能となる。
Therefore, in order to create a spectral distribution diagram as shown in FIG. 16, the luminance average of the region corresponding to the bead region on the mask image A on the first to fifth luminance reference images, and 6-8. If the brightness average of the area corresponding to the bead area on the mask image A ′ overlapping the bead area on the mask image A on the brightness reference image of the first sheet is obtained, and all the brightness averages are plotted It will be good.
The spectral characteristics of each bead can be understood from the spectral curve created as described above, and the type of the bead can be identified accordingly.
また、前述したようにして６枚目の輝度参照用画像を取得した後、例えば７枚目の輝度参照用画像で振動が検出された場合は、ステップＳ７に移行し、振動検出された７枚目の輝度参照用画像用の位置参照用画像Ａ”を再度取得し、該位置参照用画像Ａ”からマスク画像Ａ”を作成する。そして解析する際には、位置参照用画像Ａ、位置参照用画像Ａ’、位置参照用画像Ａ”と、８枚の輝度参照用画像のうち、１〜５枚目の輝度参照用画像はマスク画像Ａ上のビーズ領域により該各画像上のビーズ領域が求められ、６枚目の輝度参照用画像はマスク画像Ａ’上のビーズ領域により該画像上のビーズ領域が求められ、７〜８枚目の輝度参照用画像はマスク画像Ａ”上のビーズ領域により該各画像上のビーズ領域が求められる。また、図１６に示す分光分布図を作成するためには、１〜５枚目の輝度参照用画像上の、マスク画像Ａ上のビーズ領域に相当する、領域の輝度平均と、６枚目の輝度参照用画像上の、マスク画像Ａのビーズ領域とオーバラップするマスク画像Ａ’上のビーズ領域に相当する領域の輝度平均と、７〜８枚目の輝度参照用画像上の、マスク画像Ａ’上のビーズ領域とオーバラップするマスク画像Ａ”上のビーズ領域に相当する領域の輝度平均とを求め、これらすべての輝度平均をプロットすればよい。
以上のように、本実施の形態２においては、ＣＰＵ１２０内に位置参照用画像撮影部１３０にてシルエット画像撮影中に振動が生じたか否かを検出する第１の振動検出部１２４と、輝度参照用画像撮影部１４０にて輝度画像を撮影中に振動が生じたか否かを検出する第２の振動検出部１２５とを設け、前記位置参照用画像Ａが撮影された後に、前記第１の振動検出部１２４で、該撮影された位置参照用画像Ａを用いて、撮影時に振動が生じたか否かを検出し、また前記各輝度参照用画像が撮影された後に、前記第２の振動検出部１２５で、振動が検出されなかった位置参照用画像Ａから作成された、該画像上のビーズ存在位置を示すマスク画像Ａを用いて、撮影時に振動が生じたか否かを検出するようにし、すでに複数枚の輝度参照用画像を撮影した後、その次に撮影された輝度参照用画像において振動を検出した場合は、前記位置参照用画像Ａとは別の位置参照用画像Ａ’を再度取得し、該位置参照用画像Ａ’から作成されたマスク画像Ａ’を用いて、振動検出後に再度取得された輝度参照用画像において振動が生じたか否かを検出するようにしたので、撮影時に振動が生じた画像を排除可能となり、当該装置において、信頼性の極めて高いデータ解析をおこなうことができる。また、画像を全て取得するまでの時間を短縮することができる。
In addition, after obtaining the sixth luminance reference image as described above, for example, when vibration is detected in the seventh luminance reference image, the process proceeds to step S7, and the seven vibration detected images are detected. The position reference image A ″ for the luminance reference image of the eye is obtained again, and a mask image A ″ is created from the position reference image A ″. When analyzing, the position reference image A and the position reference image are generated. Among the image A ′, the position reference image A ″, and the eight luminance reference images, the first to fifth luminance reference images have a bead region on each image due to the bead region on the mask image A. In the sixth luminance reference image, the bead region on the image is obtained from the bead region on the mask image A ′, and the seventh to eighth luminance reference images are the bead regions on the mask image A ″. To obtain the bead area on each image, as shown in FIG. In order to create the light distribution map, the luminance average of the region corresponding to the bead region on the mask image A on the first to fifth luminance reference images and the sixth luminance reference image The average brightness of the area corresponding to the bead area on the mask image A ′ overlapping the bead area of the mask image A, and the bead area on the mask image A ′ on the seventh to eighth luminance reference images What is necessary is just to obtain | require the brightness | luminance average of the area | region corresponding to the bead area | region on the mask image A "which overlaps, and to plot all these brightness | luminance averages.
As described above, in the second embodiment, the first
本発明にかかる撮影装置は、振動の影響によりフィルタ画像間の位置関係がずれるのを防ぐことにより、確実なデータ解析が行えることから、分光特性を複数のフィルタ画像により観測する、蛍光顕微鏡を用いた遺伝子発現解析装置などのバイオ解析装置として有効である。 The imaging apparatus according to the present invention uses a fluorescence microscope that observes spectral characteristics with a plurality of filter images because it can perform reliable data analysis by preventing the positional relationship between filter images from being shifted due to the influence of vibration. It is effective as a bioanalytical device such as a gene expression analyzer.
１０１，６０１ ウエルプレート
１０２，６０２ ウエル
１０３，６０３ ウエルプレート駆動部
１０５，６０５ 対物レンズ
１０６，６０６ ＬＥＤ
１０７，６０７ ダイクロックミラー
１０８，６０８ バンドパスフィルタ
１０９，６０９ 結像レンズ
１１０，６１０ ＣＣＤカメラ
１１１，６１１ ＣＣＤカメラ制御部
１１２，６１２ Ｚ軸駆動部
１１３，６１３ 励起光源
１１４，６１４ フィルタホイール
１１５，６１５ フィルタホイール駆動部
１２０，６２０ ＣＰＵ
１２１，６２１ 制御部
１２２，６２２ 解析部
１２３，６２３ マスク画像作成部
１２４ 第１の振動検出部
１２４ａ 数・面積変化検出部
１２４ｂ 形状変化検出部
１２５ 第２の振動検出部
１３０，６３０ 位置参照用画像撮影部
１４０，６４０ 輝度参照用画像撮影部
２０１ シルエット画像
２１０ 位置参照用画像
２１１ 最も右に位置する画素
２１２ 最も左に位置する画素
２１３ 最も上に位置する画素
２１４ 最も下に位置する画素
２１５ 横方向幅
２１６ 縦方向幅
２１７ 評価値
２１８ 楕円の長軸
２２０ 振動が生じた時のビーズ中央高輝度部の外形
３０１，７０１ 輝度参照用画像
４０１，８０１ マスク画像
９０１ ビーズＢ１の分光曲線
９０２ ビーズＢ２の分光曲線
９０３ ビーズＢ３の分光曲線
101,601 well plate 102,602 well 103,603 well plate driving unit 105,605 objective lens 106,606 LED
107,607 Dichroic mirror 108,608 Band pass filter 109,609 Imaging lens 110,610 CCD camera 111,611 CCD camera control unit 112,612 Z-axis drive unit 113,613 Excitation light source 114,614 Filter wheel 115,615 Filter wheel drive unit 120,620 CPU
121, 621
213 Topmost pixel
214
Claims (9)
前記撮影対象に励起光を照射し、所定の通過帯域を持つ複数の光学フィルタ毎に前記撮影対象の輝度画像を撮影し、前記各撮影対象の輝度を前記各光学フィルタ毎に求めるための複数の輝度参照用画像を取得する輝度参照用画像撮影部と、
前記位置参照用画像の前記撮像対象の数あるいは面積の変化量と、前記撮像対象の形状変化の少なくとも一つを検出し、該検出結果に基づいて、前記位置参照用画像撮影部において前記撮影対象の撮影時に該各撮影対象に振動が生じたか否かを判定する第１の振動検出部と、
前記第１の振動検出部にて振動が検出されなかった位置参照用画像から、前記撮影対象の存在領域を示すマスク画像を作成するマスク画像作成部と、
前記各輝度参照用画像と前記マスク画像とをオーバレイ表示させ、前記各撮影対象の存在領域の外側に撮影対象が存在するか否かを検出し、該検出結果に基づいて、前記輝度参照用画像撮影部において前記撮影対象の撮影時に該各撮影対象に振動が生じたか否かを判定する第２の振動検出部と、を備える、
ことを特徴とする撮影装置。 A position reference image photographing unit that irradiates a plurality of photographing objects having the same shape with reference light, photographs a silhouette of the photographing object, and obtains a position reference image for obtaining an existence position of each photographing object; ,
A plurality of light sources for irradiating the photographing object with excitation light, photographing a luminance image of the photographing object for each of a plurality of optical filters having a predetermined pass band, and obtaining a luminance of each of the photographing objects for each of the optical filters. A luminance reference image capturing unit for acquiring a luminance reference image;
At least one of a change amount of the number or area of the imaging target of the position reference image and a shape change of the imaging target is detected, and the imaging target is captured by the position reference image capturing unit based on the detection result. A first vibration detection unit that determines whether or not vibration has occurred in each of the shooting targets during shooting,
A mask image creating unit that creates a mask image indicating an existing area of the imaging target from a position reference image in which no vibration is detected by the first vibration detecting unit;
Each luminance reference image and the mask image are displayed in an overlay manner, and it is detected whether or not a photographing target exists outside the region where each photographing target is present, and based on the detection result, the luminance reference image A second vibration detection unit that determines whether or not vibration has occurred in each of the shooting targets at the time of shooting of the shooting target in the shooting unit;
An imaging apparatus characterized by that.
前記第１の振動検出部は、前記位置参照用画像上の個々の撮像対象の形状を表わす特徴量を求める形状変化検出部を備え、
該形状変化検出部で検出された特徴量と、予め保持されている該特徴量の閾値とを比較し、前記位置参照用画像上の複数の撮影対象のうち、前記閾値より大きな特徴量を持つものが、所定の個数以上、又は所定の割合以上存在する場合に、振動が生じたものと判定する、
ことを特徴とする撮影装置。 The imaging device according to claim 1,
The first vibration detection unit includes a shape change detection unit for obtaining a feature amount representing the shape of each imaging target on the position reference image.
The feature quantity detected by the shape change detection unit is compared with a threshold value of the feature quantity stored in advance, and among the plurality of shooting targets on the position reference image, the feature quantity is larger than the threshold value. When there are more than a predetermined number or a predetermined ratio, it is determined that vibration has occurred.
An imaging apparatus characterized by that.
前記撮像対象が球状をした物体である場合、前記特徴量は該撮影対象の最大直径の長さである、
ことを特徴とする撮影装置。 The imaging device according to claim 2,
When the imaging target is a spherical object, the feature amount is the length of the maximum diameter of the imaging target.
An imaging apparatus characterized by that.
前記撮像対象が球状であり、且つ高い光透過性を持つ物質である場合、前記特徴量は該撮像対象の高輝度部分の最大直径の長さである、
ことを特徴とする撮影装置。 The imaging device according to claim 2,
When the imaging object is spherical and is a substance having high light transmittance, the feature amount is the length of the maximum diameter of the high-luminance portion of the imaging object.
An imaging apparatus characterized by that.
前記マスク画像作成部は、前記第１の振動検出部で振動が検出されなかった位置参照用画像上の前記撮影対象部分、及び該撮影対象部分に接する外周部分、をぬりつぶして、前記マスク画像を作成する、
ことを特徴とする撮影装置。 The imaging device according to claim 1,
The mask image creation unit paints out the mask image by squeezing the photographing target portion on the position reference image and the outer peripheral portion in contact with the photographing target portion, in which vibration is not detected by the first vibration detection unit. create,
An imaging apparatus characterized by that.
前記第２の振動検出部は、前記輝度参照用画像と前記マスク画像とをオーバレイ表示し、該輝度参照用画像上の、前記撮影対象の存在領域以外の画素の輝度値と、予め保持されている該輝度値の閾値とを比較し、
前記撮影対象の存在領域以外の画素のうち、前記閾値より高い輝度値を持つ画素が、所定の個数以上、又は所定の割合より多く存在する場合に、振動が生じたものと判定する、
ことを特徴とする撮影装置。 The imaging device according to claim 1,
The second vibration detection unit overlay-displays the luminance reference image and the mask image, and holds in advance luminance values of pixels other than the imaging target existing area on the luminance reference image. The threshold value of the brightness value
It is determined that vibration has occurred when a pixel having a luminance value higher than the threshold is greater than a predetermined number or more than a predetermined ratio among pixels other than the imaging target existing area.
An imaging apparatus characterized by that.
前記第２の振動検出部は、前記輝度参照用画像と前記マスク画像とをオーバレイ表示し、該輝度参照用画像上の、前記撮影対象の存在領域の外周に接する画素の輝度値と、予め保持されている該輝度値の閾値とを比較し、前記撮影対象の存在領域の外周に接する画素のうち、前記閾値より高い輝度値を持つ画素が、所定の個数以上、又は所定の割合より多く存在する場合に、振動が生じたものと判定する、
ことを特徴とする撮影装置。 The imaging device according to claim 1,
The second vibration detection unit overlay-displays the luminance reference image and the mask image, and stores in advance a luminance value of a pixel in contact with the outer periphery of the region where the subject is to be photographed on the luminance reference image. Compared with the threshold value of the brightness value, the number of pixels having a brightness value higher than the threshold value among the pixels in contact with the outer periphery of the existence area of the photographing target is greater than or equal to a predetermined number. To determine that vibration has occurred,
An imaging apparatus characterized by that.
前記第１の振動検出部あるいは前記第２の振動検出部のいずれかにおいて振動が検出された場合、前記位置参照用画像及び前記各輝度参照用画像の全てを取得しなおす、
ことを特徴とする撮影装置。 The imaging device according to claim 1,
When vibration is detected in either the first vibration detection unit or the second vibration detection unit, the position reference image and the luminance reference images are all acquired again.
An imaging apparatus characterized by that.
前記第１の振動検出部あるいは前記第２の振動検出部のいずれかにおいて振動が検出された場合、振動が検出された輝度参照用画像と、該振動が検出された輝度参照用画像上の前記撮影対象の存在位置を求めるための位置参照用画像とを取得しなおす、
ことを特徴とする撮影装置。 The imaging device according to claim 1,
When vibration is detected in either the first vibration detection unit or the second vibration detection unit, the luminance reference image in which vibration is detected and the luminance reference image in which the vibration is detected Re-acquiring a position reference image for determining the position of the subject to be photographed,
An imaging apparatus characterized by that.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2005061443A JP3899106B2 (en) | 2004-03-09 | 2005-03-04 | Imaging device |
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2004065184 | 2004-03-09 | ||
| JP2005061443A JP3899106B2 (en) | 2004-03-09 | 2005-03-04 | Imaging device |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2005292124A JP2005292124A (en) | 2005-10-20 |
| JP3899106B2 true JP3899106B2 (en) | 2007-03-28 |
Family
ID=35325189
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2005061443A Expired - Fee Related JP3899106B2 (en) | 2004-03-09 | 2005-03-04 | Imaging device |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3899106B2 (en) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4680052B2 (en) * | 2005-12-22 | 2011-05-11 | シスメックス株式会社 | Specimen imaging apparatus and specimen analyzer including the same |
| CN112557350B (en) * | 2020-11-26 | 2022-11-11 | 中国科学院苏州生物医学工程技术研究所 | HSV model-based solution turbidity detection method, medium and image system |
-
2005
- 2005-03-04 JP JP2005061443A patent/JP3899106B2/en not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2005292124A (en) | 2005-10-20 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107110782B (en) | Defect inspection method and defect inspection apparatus for wide band gap semiconductor substrate | |
| JP3576523B2 (en) | Fluorescence luminance measurement method and apparatus | |
| JP6100813B2 (en) | Whole slide fluorescent scanner | |
| JP5356728B2 (en) | Edge extraction device, surveying instrument, and program | |
| JP5928308B2 (en) | Image acquisition apparatus and image acquisition method | |
| JP2017053790A (en) | Defect detection device and defect detection method | |
| EP2024772B1 (en) | Method and system for digitizing a specimen with fluorescent target points | |
| US20140140595A1 (en) | Microscopy system and method for biological imaging | |
| JP2013025466A (en) | Image processing device, image processing system and image processing program | |
| WO2019124508A1 (en) | Wire shape inspecting device and wire shape inspecting method | |
| JP2008170256A (en) | Flaw detection method, flaw detection program and inspection device | |
| JP2005069725A (en) | Particle diameter measuring device | |
| JP3899106B2 (en) | Imaging device | |
| JP2011044016A (en) | Three dimensional cell image analyzer | |
| WO2017217325A1 (en) | Data recovery device, microscope system, and data recovery method | |
| US7356165B2 (en) | Imaging apparatus performing a high reliability data analysis | |
| JP2009236760A (en) | Image detection device and inspection apparatus | |
| JP5331661B2 (en) | Image processing method and image processing apparatus | |
| EP3792620A1 (en) | Magnetic particle inspection device | |
| JP2008111705A (en) | Method and program for detecting defect and inspection apparatus | |
| JP4490061B2 (en) | Particle image analyzer | |
| JP2006112993A (en) | Color bead discriminating device | |
| JP2006349610A (en) | Pollen particle counting system, and pollen particle imaging device, pollen particle counting device and pollen particle counting method used therefor | |
| KR100442679B1 (en) | Method for handling an image of dna chip | |
| JP2016001153A (en) | Apparatus and method for inspecting optical component |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20061124 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20061212 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20061222 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110105 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120105 Year of fee payment: 5 |
|
| LAPS | Cancellation because of no payment of annual fees |