JP5508809B2 - Image analysis method and image analysis apparatus - Google Patents
Image analysis method and image analysis apparatus Download PDFInfo
- Publication number
- JP5508809B2 JP5508809B2 JP2009238442A JP2009238442A JP5508809B2 JP 5508809 B2 JP5508809 B2 JP 5508809B2 JP 2009238442 A JP2009238442 A JP 2009238442A JP 2009238442 A JP2009238442 A JP 2009238442A JP 5508809 B2 JP5508809 B2 JP 5508809B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- data
- calculation
- frame
- value
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/97—Determining parameters from multiple pictures
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/62—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
- G01N21/63—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
- G01N21/64—Fluorescence; Phosphorescence
- G01N21/645—Specially adapted constructive features of fluorimeters
- G01N21/6456—Spatial resolved fluorescence measurements; Imaging
- G01N21/6458—Fluorescence microscopy
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10056—Microscopic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10064—Fluorescence image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30024—Cell structures in vitro; Tissue sections in vitro
Description
本発明は、画像解析方法および画像解析装置に関する。 The present invention relates to an image analysis method and an image analysis apparatus.
従来、ラスターイメージ相関分光法（ＲＩＣＳ：Raster Image Correlation Spectroscopy）として非特許文献１，２に示すような方法が提案されている。この画像解析方法において、１フレーム以上のラスター走査画像からなる蛍光画像を取得する。つまり、画像解析したい試料において、興味を持っている領域を決め、その領域をラスター走査方式で繰り返し走査し、複数フレームの蛍光強度からなる画像を取得する。フレーム中の蛍光強度はピクセル単位でデータとして表わされている。 Conventionally, methods as shown in Non-Patent Documents 1 and 2 have been proposed as Raster Image Correlation Spectroscopy (RICS). In this image analysis method, a fluorescence image composed of a raster scan image of one frame or more is acquired. In other words, an area of interest is determined in the sample to be image-analyzed, and the area is repeatedly scanned by the raster scanning method to obtain an image composed of a plurality of frames of fluorescence intensity. The fluorescence intensity in the frame is expressed as data in pixel units.
これらのピクセル単位のデータ（ピクセルのデータ）は、それぞれ取得された時間および取得された位置が異なるため、各データに対応する取得時間および取得位置はずれている。 These pieces of pixel data (pixel data) have different acquisition times and acquisition positions, and therefore the acquisition times and acquisition positions corresponding to the respective data are shifted.
したがって、これらのピクセルのデータを用いて、空間相関解析することで、分子の揺らぎによる相関特性を得ることができる。ここで、分子の相関特性からは、拡散定数や分子数を求めることができる。 Therefore, correlation characteristics due to molecular fluctuations can be obtained by performing spatial correlation analysis using the data of these pixels. Here, the diffusion constant and the number of molecules can be obtained from the correlation characteristics of the molecules.
このように、空間相関解析することで、分子拡散時間や、分子数等を評価することができるため、分子間の相互作用を観察することが可能である。 Thus, by performing a spatial correlation analysis, the molecular diffusion time, the number of molecules, and the like can be evaluated, so that the interaction between molecules can be observed.
従来、ＲＩＣＳの空間相関解析において、一つのＲＩＣＳの解析結果を得るためには、１フレームの画像を構成するピクセルのデータだけを用いる。これは、１フレーム以上の画像を取得した場合であっても同様で、一つのＲＩＣＳの解析結果を得るためには、１フレームの画像を構成するピクセルのデータだけを用いる。 Conventionally, in the RICS spatial correlation analysis, in order to obtain one RICS analysis result, only data of pixels constituting one frame image is used. This is the same even when an image of one frame or more is acquired. In order to obtain an analysis result of one RICS, only data of pixels constituting one frame image is used.
しかし、細胞観察のような細胞の核、膜、質などの異なる局所的な解析領域に限定してＲＩＣＳの解析を行なう場合、解析領域に含まれるピクセル数が少なくなり、解析結果の精度が低下するという問題が生じる。何故なら、ＲＩＣＳの空間相関演算は統計計算の一種で、データ数が多いほど精度が高く、データ数が少ないほど誤差が大きくなるためである。つまり、空間相関解析をする領域に含まれるデータ数が少なすぎると、統計計算の結果としてのＲＩＣＳの解析精度が低下してしまう。 However, when RICS analysis is limited to different local analysis areas such as cell nuclei, such as cell observation, the number of pixels included in the analysis area decreases, and the accuracy of the analysis results decreases. Problem arises. This is because the RICS spatial correlation calculation is a kind of statistical calculation, and the accuracy increases as the number of data increases, and the error increases as the number of data decreases. In other words, if the number of data included in the area for spatial correlation analysis is too small, the accuracy of RICS analysis as a result of statistical calculation is reduced.
また、分子拡散時間が短い分子を観察するには、１ピクセルのデータを得るのに要するピクセル時間と１ラインを走査するのに要するライン時間とを小さく設定する必要がある。これは、ピクセル時間とライン時間を大きく設定すると、分子拡散時間に対するピクセル間の取得時間のずれが大きくなり、十分な回数の相関計算をすることができなくなるからである。一方、分子拡散時間が長い分子を観察するには、ピクセル時間とライン時間を大きく設定する必要がある。これは、ピクセル時間とライン時間を小さく設定すると、実際の分子拡散時間が、１フレームで観察可能な分子拡散時間の最大値を越え、分子拡散時間を算出することができなくなるからである。 Further, in order to observe a molecule having a short molecular diffusion time, it is necessary to set a small pixel time required for obtaining data of one pixel and a line time required for scanning one line. This is because if the pixel time and the line time are set large, the difference in the acquisition time between pixels with respect to the molecular diffusion time increases, and a sufficient number of correlation calculations cannot be performed. On the other hand, in order to observe a molecule having a long molecular diffusion time, it is necessary to set a large pixel time and line time. This is because if the pixel time and line time are set small, the actual molecular diffusion time exceeds the maximum value of the molecular diffusion time that can be observed in one frame, and the molecular diffusion time cannot be calculated.
ピクセル時間とライン時間は、走査速度によって決まるので、画像を取得した後に変更することはできない。このため、分子の拡散定数等を適切に得るには、画像取得の前に、適切なピクセル時間およびライン時間を推測する必要が生じる。しかし、ほとんどのサンプルの分子拡散時間は未知数であるため、事前にピクセル時間およびライン時間の設定を推測することは難しい。 Pixel time and line time are determined by the scanning speed and cannot be changed after the image is acquired. For this reason, in order to appropriately obtain the molecular diffusion constant and the like, it is necessary to estimate an appropriate pixel time and line time before image acquisition. However, since the molecular diffusion time of most samples is unknown, it is difficult to estimate the pixel time and line time settings in advance.
本発明の目的は、ピクセル数の少ない解析領域に対しても高い精度で空間相関解析を行なえるとともに観察可能な拡散時間を拡張可能なＲＩＣＳの画像解析方法を提供することである。 An object of the present invention is to provide an RICS image analysis method capable of performing spatial correlation analysis with high accuracy even in an analysis region with a small number of pixels and extending an observable diffusion time.
本発明による画像解析方法は、各画像のピクセルのデータが時系列的に取得された複数のピクセルからなる複数フレームの画像を時系列的に取得する画像取得ステップと、前記複数フレームの各画像に対して解析領域を設定する解析領域設定ステップと、前記複数フレームの画像の中から解析に利用する２フレーム以上の選定画像を選定する画像選定ステップと、前記選定画像の同一画像の前記解析領域内の取得時間間隔が同じ二つのピクセルのデータペアの積和計算を前記選定画像のすべてに対して行なうとともに、前記選定画像の異なる二つの画像の前記解析領域内の取得時間間隔が同じ二つのピクセルのデータペアの積和計算を行なって相関値を計算する演算ステップとを有している。 An image analysis method according to the present invention includes: an image acquisition step of acquiring a plurality of frames of images each including a plurality of pixels in which pixel data of each image is acquired in time series; An analysis region setting step for setting an analysis region for the image, an image selection step for selecting a selection image of two or more frames to be used for analysis from the images of the plurality of frames, and an analysis region in the same image of the selection image The product-sum calculation of data pairs of two pixels having the same acquisition time interval is performed for all of the selected images, and two pixels having the same acquisition time interval in the analysis region of two different images of the selected image And calculating a correlation value by performing a product-sum calculation of the data pairs.
本発明によれば、ピクセル数の少ない解析領域に対しても高い精度で空間相関解析を行なえるとともに観察可能な拡散時間を拡張可能なＲＩＣＳの画像解析方法が提供される。 According to the present invention, there is provided a RICS image analysis method capable of performing spatial correlation analysis with high accuracy even in an analysis region having a small number of pixels and extending an observable diffusion time.
以下、図面を参照しながら本発明の実施形態について説明する。 Hereinafter, embodiments of the present invention will be described with reference to the drawings.
[装置構成]
図１は、本発明の実施形態による画像解析装置を概略的に示している。この画像解析装置は、試料の蛍光観察のための走査型共焦点光学顕微鏡をベースに構成されている。
[Device configuration]
FIG. 1 schematically shows an image analysis apparatus according to an embodiment of the present invention. This image analysis apparatus is configured based on a scanning confocal optical microscope for fluorescence observation of a sample.
図１に示すように、画像解析装置１００は、試料Ｓに励起光を照射する光照射部１１０と、試料Ｓ内の測定点から発せられる光を検出する光検出部１３０と、画像解析に必要な制御を行なう制御部１６０と、試料Ｓを支持する試料ステージ１９０とを有している。 As shown in FIG. 1, the image analysis apparatus 100 is necessary for image analysis, a light irradiation unit 110 that irradiates the sample S with excitation light, a light detection unit 130 that detects light emitted from a measurement point in the sample S, and the like. And a sample stage 190 that supports the sample S.
試料Ｓはマイクロプレートやスライドガラスなどの試料容器に収容され、試料ステージ１９０に載置される。試料ステージ１９０は、たとえば、試料Ｓを光照射部１１０および光検出部１３０に対して横方向（ｘｙ方向）および高さ方向（ｚ方向）に移動可能に支持する。たとえば、試料ステージ１９０は、出力軸が互いに直交する三つのステッピング・モーターを含んでおり、これらのステッピング・モーターによって試料Ｓをｘｙｚ方向に移動し得る。 The sample S is accommodated in a sample container such as a microplate or a slide glass, and is placed on the sample stage 190. For example, the sample stage 190 supports the sample S so as to be movable in the lateral direction (xy direction) and the height direction (z direction) with respect to the light irradiation unit 110 and the light detection unit 130. For example, the sample stage 190 includes three stepping motors whose output axes are orthogonal to each other, and the sample S can be moved in the xyz direction by these stepping motors.
画像解析装置１００は、多重光照射・多重光検出型である。このため、光照射部１１０はｎチャンネルの光源系１１１を含み、これに対応して光検出部１３０はｎチャンネルの検出系１３１を含んでいる。ｎチャンネルの検出系１３１は、それぞれ、ｎチャンネルの光源系１１１から射出された励起光によって生成された蛍光を検出する。ここで、ｎチャンネルは、チャンネル１、チャンネル２、・・・チャンネルｎによって構成される。チャンネルは、励起光の種類によってそれぞれ異なる。 The image analysis apparatus 100 is a multiple light irradiation / multiple light detection type. For this reason, the light irradiation unit 110 includes an n-channel light source system 111, and the light detection unit 130 correspondingly includes an n-channel detection system 131. Each of the n-channel detection systems 131 detects fluorescence generated by the excitation light emitted from the n-channel light source system 111. Here, the n channel includes channel 1, channel 2,... Channel n. The channel differs depending on the type of excitation light.
光照射部１１０のｎチャンネルの光源系１１１は、光源１１２ａ，…，１１２ｎとコリメートレンズ１１４ａ，…，１１４ｎとダイクロイックミラー１１６ａ，…，１１６ｎとを含んでいる。光源１１２ａ，…，１１２ｎは、試料Ｓに含まれる蛍光色素を励起して試料Ｓから光（蛍光）を発せさせるための励起光を発する。光源１１２ａ，…，１１２ｎから発せられる励起光の波長は、試料Ｓに含まれる蛍光色素の種類に対応して、互いに相違している。光源１１２ａ，…，１１２ｎは、たとえば、試料Ｓ中の蛍光色素に合った発振波長のレーザー光源で構成される。コリメートレンズ１１４ａ，…，１１４ｎは、それぞれ、光源１１２ａ，…，１１２ｎから発せられた励起光をコリメートする。ダイクロイックミラー１１６ａ，…，１１６ｎは、それぞれ、コリメートレンズ１１４ａ，…，１１４ｎを通過した励起光を同じ方向に反射する。ダイクロイックミラー１１６ａ，…，１１６ｎは、それぞれ、図１の上方から入射する励起光を透過し、図１の右方から入射する励起光を反射する。その結果、光源１１２ａ，…，１１２ｎからそれぞれ射出された異なる波長の励起光は、ダイクロイックミラー１１６ａの通過後に一本のビームに合成される。ダイクロイックミラー１１６ｎは、励起光を透過する必要がないので、単なるミラーに変更されてもよい。 The n-channel light source system 111 of the light irradiation unit 110 includes light sources 112a,..., 112n, collimating lenses 114a,..., 114n, and dichroic mirrors 116a,. The light sources 112a,..., 112n emit excitation light for exciting the fluorescent dye contained in the sample S to emit light (fluorescence) from the sample S. The wavelengths of the excitation light emitted from the light sources 112a,..., 112n are different from each other corresponding to the type of fluorescent dye contained in the sample S. The light sources 112a,..., 112n are constituted by, for example, laser light sources having an oscillation wavelength suitable for the fluorescent dye in the sample S. The collimating lenses 114a,..., 114n collimate the excitation light emitted from the light sources 112a,. The dichroic mirrors 116a,..., 116n reflect the excitation light that has passed through the collimating lenses 114a,. Each of the dichroic mirrors 116a,..., 116n transmits the excitation light incident from above in FIG. 1 and reflects the excitation light incident from the right side in FIG. As a result, the excitation lights having different wavelengths respectively emitted from the light sources 112a,..., 112n are combined into one beam after passing through the dichroic mirror 116a. The dichroic mirror 116n does not need to transmit the excitation light, and may be changed to a simple mirror.
光照射部１１０はさらに、ダイクロイックミラー１２２とガルバノミラー１２４と対物レンズ１２６と対物レンズ駆動機構１２８を含んでいる。ダイクロイックミラー１２２は、光源系１１１からの励起光をガルバノミラー１２４に向けて反射し、試料Ｓから発せられる蛍光を透過する。ガルバノミラー１２４は、励起光を対物レンズ１２６に向けて反射するとともに、その反射方向を変更する。対物レンズ１２６は、励起光を収束して試料Ｓ内の測定点に照射するとともに、試料Ｓ内の測定点からの光を取り込む。対物レンズ１２６には、微小な共焦点領域（測定点）の形成のために、ＮＡ（開口数）の大きいものが使用される。これにより得られる共焦点領域の大きさは、直径０．６μｍ程度、長さ２μｍ程度の略円筒状となる。ガルバノミラー１２４は、測定点をｘｙ方向に走査するｘｙ走査機構を構成している。ｘｙ走査機構は、ガルバノミラーを使用して構成するほかに、音響光学変調素子（ＡＯＭ）やポリゴンミラー、ホログラムスキャナーなどを使用して構成してもよい。対物レンズ駆動機構１２８は、対物レンズ１２６を光軸に沿って移動させる。これにより、測定点がｚ方向に移動される。つまり、対物レンズ駆動機構１２８は、測定点をｚ方向に走査するｚ走査機構を構成している。 The light irradiation unit 110 further includes a dichroic mirror 122, a galvano mirror 124, an objective lens 126, and an objective lens driving mechanism 128. The dichroic mirror 122 reflects the excitation light from the light source system 111 toward the galvanometer mirror 124 and transmits the fluorescence emitted from the sample S. The galvanometer mirror 124 reflects the excitation light toward the objective lens 126 and changes the reflection direction thereof. The objective lens 126 converges the excitation light and irradiates the measurement point in the sample S, and takes in the light from the measurement point in the sample S. An objective lens 126 having a large NA (numerical aperture) is used to form a minute confocal region (measurement point). The confocal region thus obtained has a substantially cylindrical shape with a diameter of about 0.6 μm and a length of about 2 μm. The galvanometer mirror 124 constitutes an xy scanning mechanism that scans measurement points in the xy direction. The xy scanning mechanism may be configured using an acousto-optic modulation element (AOM), a polygon mirror, a hologram scanner, or the like in addition to using a galvano mirror. The objective lens driving mechanism 128 moves the objective lens 126 along the optical axis. Thereby, the measurement point is moved in the z direction. That is, the objective lens driving mechanism 128 constitutes a z scanning mechanism that scans the measurement point in the z direction.
光検出部１３０は、対物レンズ１２６とガルバノミラー１２４とダイクロイックミラー１２２を光照射部１１０と共有している。光検出部１３０はさらに、収束レンズ１３２とピンホール１３４とコリメートレンズ１３６とを含んでいる。収束レンズ１３２は、ダイクロイックミラー１２２を透過した光を収束する。ピンホール１３４は、収束レンズ１３２の焦点に配置されている。つまり、ピンホール１３４は、試料Ｓ内の測定点に対して共役な位置にあり、測定点からの光だけを選択的に通す。コリメートレンズ１３６は、ピンホール１３４を通過した光を平行にする。コリメートレンズ１３６を通過した光は、ｎチャンネルの検出系１３１に入射する。 The light detection unit 130 shares the objective lens 126, the galvano mirror 124, and the dichroic mirror 122 with the light irradiation unit 110. The light detection unit 130 further includes a converging lens 132, a pinhole 134, and a collimating lens 136. The converging lens 132 converges the light transmitted through the dichroic mirror 122. The pinhole 134 is disposed at the focal point of the converging lens 132. That is, the pinhole 134 is in a conjugate position with respect to the measurement point in the sample S, and selectively allows only light from the measurement point to pass through. The collimating lens 136 collimates the light that has passed through the pinhole 134. The light that has passed through the collimator lens 136 enters the n-channel detection system 131.
ｎチャンネルの検出系１３１は、ダイクロイックミラー１３８ａ，…，１３８ｎと蛍光フィルター１４０ａ，…，１４０ｎと光検出器１４２ａ，…，１４２ｎとを含んでいる。 The n-channel detection system 131 includes dichroic mirrors 138a, ..., 138n, fluorescent filters 140a, ..., 140n, and photodetectors 142a, ..., 142n.
ダイクロイックミラー１３８ａ，…，１３８ｎは、それぞれ、光源１１２ａ，…，１１２ｎからの励起光によって試料Ｓから生成された蛍光の波長域付近の波長の光を選択的に反射する。ダイクロイックミラー１３８ｎは、光を透過する必要がないので、単なるミラーに変更されてもよい。蛍光フィルター１４０ａ，…，１４０ｎは、それぞれ、ダイクロイックミラー１３８ａ，…，１３８ｎによって反射された光から、不所望な波長成分の光を遮断し、光源１１２ａ，…，１１２ｎからの励起光によって生成された蛍光だけを選択的に透過する。蛍光フィルター１４０ａ，…，１４０ｎを透過した蛍光はそれぞれ光検出器１４２ａ，…，１４２ｎに入射する。光検出器１４２ａ，…，１４２ｎは、入射した光の強度に対応した信号を出力する。すなわち、光検出器１４２ａ，…，１４２ｎは、試料Ｓ内の測定点からの蛍光強度信号を出力する。 The dichroic mirrors 138a,..., 138n selectively reflect light having a wavelength in the vicinity of the fluorescent wavelength region generated from the sample S by the excitation light from the light sources 112a,. The dichroic mirror 138n does not need to transmit light, and may be changed to a simple mirror. The fluorescence filters 140a,..., 140n block the light having an undesired wavelength component from the light reflected by the dichroic mirrors 138a,..., 138n, respectively, and are generated by the excitation light from the light sources 112a,. Only the fluorescence is selectively transmitted. The fluorescence transmitted through the fluorescent filters 140a,..., 140n is incident on the photodetectors 142a,. The photodetectors 142a,..., 142n output signals corresponding to the intensity of incident light. That is, the photodetectors 142a,..., 142n output fluorescence intensity signals from the measurement points in the sample S.
制御部１６０はたとえばパーソナルコンピューターで構成される。制御部１６０は、試料Ｓの観察領域の蛍光画像の取得と記憶と表示、取得する蛍光画像のフレーム数（枚数）や解析領域の設定の入力待ち、画像解析（相関値の算出）、拡散時間の推定などを行なう。また制御部１６０は、ｘｙ走査機構であるガルバノミラー１２４、ｚ走査機構である対物レンズ駆動機構１２８、試料ステージ１９０などの制御を行なう。 The control unit 160 is constituted by a personal computer, for example. The control unit 160 acquires, stores, and displays the fluorescence image of the observation region of the sample S, waits for input of the number of frames (number of frames) of the acquired fluorescence image and the setting of the analysis region, image analysis (calculation of correlation value), diffusion time Etc. are estimated. The control unit 160 controls the galvano mirror 124 that is an xy scanning mechanism, the objective lens driving mechanism 128 that is a z scanning mechanism, the sample stage 190, and the like.
図１に示される制御部の機能ブロックを図２に示す。制御部１６０は、図２に示すように、走査制御部１６２と画像形成部１６４と記憶部１６６と表示部１６８と入力部１７０と解析領域設定部１７２と画像選定部１７４とデータ抽出部１７６と解析部１７８とステージ制御部１８０とを含んでいる。ここで、走査制御部１６２と画像形成部１６４と記憶部１６６とステージ制御部１８０と上述したガルバノミラー１２４と対物レンズ駆動機構１２８と試料ステージ１９０と光検出器１４２とが画像取得部を構成し、データ抽出部１７６と解析部１７８とが演算部を構成する。 FIG. 2 shows functional blocks of the control unit shown in FIG. As shown in FIG. 2, the control unit 160 includes a scan control unit 162, an image forming unit 164, a storage unit 166, a display unit 168, an input unit 170, an analysis region setting unit 172, an image selection unit 174, and a data extraction unit 176. An analysis unit 178 and a stage control unit 180 are included. Here, the scanning control unit 162, the image forming unit 164, the storage unit 166, the stage control unit 180, the galvano mirror 124, the objective lens driving mechanism 128, the sample stage 190, and the photodetector 142 constitute an image acquisition unit. The data extraction unit 176 and the analysis unit 178 constitute an arithmetic unit.
走査制御部１６２は、試料Ｓの蛍光画像を取得する際、励起光の照射位置を試料Ｓに対してラスター走査するようにガルバノミラー１２４を制御する。走査制御部１６２はまた、必要であれば、励起光の照射位置を試料Ｓに対してｚ走査するように対物レンズ駆動機構１２８を制御する。画像形成部１６４は、走査制御部１６２から入力される励起光の照射位置の情報と光検出器１４２ａ，…，１４２ｎの出力信号とから試料Ｓの蛍光画像を形成する。これにより、蛍光画像が取得される。記憶部１６６は、画像形成部１６４で形成された蛍光画像を順次記憶する。表示部１６８は、試料Ｓの蛍光画像や解析結果を表示する。入力部１７０は、たとえばマウスやキーボードを含み、表示部１６８と共同してＧＵＩを構成する。このＧＵＩは、取得フレーム数や観察領域や解析領域の設定などに利用される。ステージ制御部１８０は、たとえば観察領域を設定するために、入力部１７０からの入力情報にしたがって試料ステージ１９０を制御する。解析領域設定部１７２は、入力部１７０からの入力情報にしたがって解析領域を設定する。画像選定部１７４は、入力部１７０からの入力情報にしたがって、解析に利用する２フレーム以上の蛍光画像を選定する。データ抽出部１７６は、解析領域設定部１７２と画像選定部１７４からの入力情報に基づいて、記憶部１６６に記憶されている蛍光画像から必要なデータを抽出する。必要なデータは、画像選定部１７４によって選定された蛍光画像の同一画像の前記解析領域内の取得時間間隔が同じ二つのピクセルのデータペアと、画像選定部１７４によって選定された選定画像の異なる二つの画像の前記解析領域内の取得時間間隔が同じ二つのピクセルのデータペアである。これら複数のデータペアに含まれるデータは、たとえば、記憶部１６６に記憶されているすべての蛍光画像のすべてのピクセルのデータまたは一部のピクセルのデータであってよく、あるいは、記憶部１６６に記憶されている一部の蛍光画像のすべてのピクセルのデータまたは一部のピクセルのデータであってもよい。データの抽出は、後述する式（１）〜式（４）にしたがって行なわれる。解析部１７８は、データ抽出部１７６によって抽出されたデータに対して後述する相関値の演算を行なう。 When acquiring the fluorescence image of the sample S, the scanning control unit 162 controls the galvanometer mirror 124 so as to raster scan the irradiation position of the excitation light with respect to the sample S. The scanning control unit 162 also controls the objective lens driving mechanism 128 so that the irradiation position of the excitation light is z-scanned with respect to the sample S if necessary. The image forming unit 164 forms a fluorescent image of the sample S from the information on the irradiation position of the excitation light input from the scanning control unit 162 and the output signals of the photodetectors 142a,. Thereby, a fluorescence image is acquired. The storage unit 166 sequentially stores the fluorescent images formed by the image forming unit 164. The display unit 168 displays the fluorescence image of the sample S and the analysis result. The input unit 170 includes, for example, a mouse and a keyboard, and constitutes a GUI in cooperation with the display unit 168. This GUI is used for setting the number of acquired frames, the observation area, and the analysis area. The stage control unit 180 controls the sample stage 190 according to the input information from the input unit 170 in order to set an observation region, for example. The analysis area setting unit 172 sets an analysis area according to the input information from the input unit 170. The image selection unit 174 selects a fluorescent image of two or more frames used for analysis according to the input information from the input unit 170. The data extraction unit 176 extracts necessary data from the fluorescence image stored in the storage unit 166 based on the input information from the analysis region setting unit 172 and the image selection unit 174. Necessary data includes two pairs of data of two pixels having the same acquisition time interval in the analysis region of the same image of the fluorescence image selected by the image selection unit 174 and two different images selected by the image selection unit 174. A data pair of two pixels having the same acquisition time interval in the analysis region of one image. The data included in the plurality of data pairs may be, for example, data of all pixels or data of some pixels of all fluorescent images stored in the storage unit 166, or stored in the storage unit 166. The data of all pixels or the data of some pixels of a part of the fluorescent image that is being recorded may be used. Data extraction is performed in accordance with equations (1) to (4) described later. The analysis unit 178 calculates a correlation value described later on the data extracted by the data extraction unit 176.
図１において、光源１１２ａ，…，１１２ｎから発せられた励起光は、コリメートレンズ１１４ａ，…，１１４ｎとダイクロイックミラー１１６ａ，…，１１６ｎとダイクロイックミラー１２２とガルバノミラー１２４と対物レンズ１２６を経て試料Ｓ内の測定点に照射される。励起光が照射される測定点は、ガルバノミラー１２４によってｘｙ方向にラスター走査される。さらに必要であれば、対物レンズ駆動機構１２８によってｚ走査される。励起光を受けた試料Ｓは測定点から蛍光を発する。試料Ｓからの光（蛍光のほかに不所望な反射光などを含む）は、対物レンズ１２６とガルバノミラー１２４とダイクロイックミラー１２２と収束レンズ１３２を経てピンホール１３４に至る。ピンホール１３４は測定点と共役な位置にあるため、試料Ｓ内の測定点からの光だけがピンホール１３４を通過する。ピンホール１３４を通過した光すなわち試料Ｓ内の測定点からの光はコリメートレンズ１３６を経てｎチャンネルの検出系１３１に入射する。ｎチャンネルの検出系１３１に入射した光は、ダイクロイックミラー１３８ａ，…，１３８ｎによって波長にしたがって分離される（つまり分光される）とともに、蛍光フィルター１４０ａ，…，１４０ｎによって不所望な成分が除去される。その結果、光源１１２ａ，…，１１２ｎからの励起光によって生成された蛍光だけが光検出器１４２ａ，…，１４２ｎにそれぞれ入射する。光検出器１４２ａ，…，１４２ｎは、それぞれ、入射光すなわち試料Ｓ内の測定点から発せられた蛍光の強度を示す蛍光強度信号を出力する。この蛍光強度信号は画像形成部１６４に入力される。画像形成部１６４は、１回のラスター走査（およびｚ走査）ごとに、入力される蛍光強度信号をｘｙ方向（およびｚ方向）の位置情報に同期させて処理して、試料Ｓ内の焦点面（測定点が移動した平面または曲面）の１フレームの蛍光画像を形成する。形成された蛍光画像は、記憶部１６６に保存される。ここに述べた一連の動作は、設定された取得するフレーム数だけ繰り返され、設定されたフレーム数の蛍光画像が取得される。各蛍光画像は、ピクセルのデータが時系列的に取得された複数のピクセルからなる。 1, excitation light emitted from light sources 112a,..., 112n passes through collimating lenses 114a,..., 114n, dichroic mirrors 116a, ..., 116n, dichroic mirror 122, galvano mirror 124, and objective lens 126. The measurement point is irradiated. The measurement point irradiated with the excitation light is raster scanned in the xy direction by the galvanometer mirror 124. Further, if necessary, z scanning is performed by the objective lens driving mechanism 128. The sample S that has received the excitation light emits fluorescence from the measurement point. Light from the sample S (including undesired reflected light in addition to fluorescence) reaches the pinhole 134 through the objective lens 126, the galvanometer mirror 124, the dichroic mirror 122, and the converging lens 132. Since the pinhole 134 is at a position conjugate with the measurement point, only light from the measurement point in the sample S passes through the pinhole 134. The light that has passed through the pinhole 134, that is, the light from the measurement point in the sample S, enters the n-channel detection system 131 through the collimator lens 136. The light incident on the n-channel detection system 131 is separated (that is, spectrally separated) by the dichroic mirrors 138a,..., 138n, and unwanted components are removed by the fluorescent filters 140a,. . As a result, only the fluorescence generated by the excitation light from the light sources 112a,..., 112n enters the photodetectors 142a,. Each of the photodetectors 142a,..., 142n outputs incident light, that is, a fluorescence intensity signal indicating the intensity of fluorescence emitted from a measurement point in the sample S. This fluorescence intensity signal is input to the image forming unit 164. The image forming unit 164 processes the input fluorescence intensity signal in synchronization with the positional information in the xy direction (and z direction) for each raster scan (and z scan), and the focal plane in the sample S A fluorescent image of one frame (a flat surface or a curved surface where the measurement point has moved) is formed. The formed fluorescent image is stored in the storage unit 166. The series of operations described here is repeated for the set number of frames to be acquired, and a fluorescence image having the set number of frames is acquired. Each fluorescent image is composed of a plurality of pixels from which pixel data is acquired in time series.
記憶部１６６に保存された蛍光画像は、必要に応じて処理され、表示部１６８に表示される。たとえば、測定点のｚ位置を変えて複数フレームの蛍光画像を取得し、それらを合成して三次元画像を形成し、これを表示部１６８に表示することも可能である。 The fluorescence image stored in the storage unit 166 is processed as necessary and displayed on the display unit 168. For example, it is also possible to acquire a plurality of frames of fluorescent images by changing the z position of the measurement point, combine them to form a three-dimensional image, and display this on the display unit 168.
[空間相関計算式]
本実施形態において使用する空間相関計算式は、十分なデータ数と十分な遅延時間とが得られるように、従来の空間相関計算式を拡張したものである。
[Spatial correlation formula]
The spatial correlation calculation formula used in this embodiment is an extension of the conventional spatial correlation calculation formula so that a sufficient number of data and a sufficient delay time can be obtained.
次式（１）は、本実施形態において使用するＲＩＣＳの解析に使用する空間自己相関計算式を表している。式（１）は、チャンネル１の自己相関計算式の例である。
ここで、ＧｓａはＲＩＣＳの空間自己相関値、Ｉ１γはチャンネル１のγフレーム目の蛍光強度データ（ピクセルのデータ）、Ｉ１（γ＋η）はチャンネル１の（γ＋η）フレーム目の蛍光強度データ（ピクセルのデータ）、ｘ，ｙは測定点の空間的座標、ξ，ψは測定点からの空間的座標の変化量、γは１以上の整数（γ＝１，２，…，ｑ）、ηは０以上ｑ未満の整数（η＝０，１，…，ｐ（＜ｑ））、Ｍ１γ１（γ＋η）は、チャンネル１のγフレーム目とチャンネル１の（γ＋η）フレーム目との積和計算の回数、Ａ１は平均値である。 Here, G sa is the RICS spatial autocorrelation value, I 1γ is the fluorescence intensity data (pixel data) of the γ frame of channel 1, and I 1 (γ + η) is the fluorescence intensity data of the (γ + η) frame of channel 1 (Pixel data), x and y are the spatial coordinates of the measurement point, ξ and ψ are the amount of change in the spatial coordinate from the measurement point, γ is an integer of 1 or more (γ = 1, 2,..., Q), η is an integer greater than or equal to 0 and less than q (η = 0, 1,..., p (<q)), and M 1γ1 (γ + η) is the product sum of the γ frame of channel 1 and the (γ + η) frame of channel 1 number of calculations, a 1 is an average value.
γと（γ＋η）は共に積和計算の対象となるフレームを示すパラメータである。言い換えれば、γとηは、複数フレームの蛍光画像に対して、相関解析に利用する蛍光画像を選定するためのものである。γは、積和計算の対象の一方のフレームを示し、ηは、時間拡張のために導入されたパラメータであり、γに対するフレーム数の遅れを示している。ｑは、空間相関計算に使用するフレームの総数を表している。ｐは、空間相関計算における最大の遅延時間を決めるフレーム数を表している。ｐの取り得る最大の値はｑ−１である。 Both γ and (γ + η) are parameters indicating a frame to be subjected to product-sum calculation. In other words, γ and η are for selecting a fluorescence image to be used for correlation analysis with respect to a plurality of frames of fluorescence images. γ indicates one frame to be subjected to product-sum calculation, and η is a parameter introduced for time extension, and indicates a delay in the number of frames with respect to γ. q represents the total number of frames used for spatial correlation calculation. p represents the number of frames that determines the maximum delay time in the spatial correlation calculation. The maximum value that p can take is q-1.
平均値Ａ１は、たとえば次式（２）で表される。
ここで、Ｍ１γは、チャンネル１のγフレーム目の計算に使用するデータ数である。 Here, M 1γ is the number of data used for the calculation of the γ-th frame of channel 1.
平均値Ａ１の算出式は式（２）に限定されない。平均値Ａ１は、他の周知の任意の計算式を使用して算出されてもよい。 Equation for calculating the average value A 1 is not limited to Equation (2). Mean value A 1 may be calculated using any formula other known.
次式（３）は、本実施形態において使用するＲＩＣＳの解析に使用する空間相互相関計算式を表している。式（３）は、チャンネル１とチャンネル２の相互相関計算式の例である。
ここで、ＧｓｃはＲＩＣＳの空間相互相関値、Ｉ１γはチャンネル１のγフレーム目の蛍光強度データ（ピクセルのデータ）、Ｉ２（γ＋η）はチャンネル２の（γ＋η）フレーム目の蛍光強度データ（ピクセルのデータ）、ｘ，ｙは測定点の空間的座標、ξ，ψは測定点からの空間的座標の変化量、γは１以上の整数（γ＝１，２，…，ｑ）、ηは０以上ｑ未満の整数（η＝０，１，…，ｐ（＜ｑ））、Ｍ１γ２（γ＋η）は、チャンネル１のγフレーム目とチャンネル２の（γ＋η）フレーム目の積和計算の回数、Ａ２は平均値である。 Here, G sc is the RICS spatial cross-correlation value, I 1γ is the fluorescence intensity data (pixel data) of the γ frame of channel 1, and I 2 (γ + η) is the fluorescence intensity data of the (γ + η) frame of channel 2. (Pixel data), x and y are the spatial coordinates of the measurement point, ξ and ψ are the amount of change in the spatial coordinate from the measurement point, γ is an integer of 1 or more (γ = 1, 2,..., Q), η is an integer greater than or equal to 0 and less than q (η = 0, 1,..., p (<q)), and M 1γ2 (γ + η) is the product sum calculation of the γ frame of channel 1 and the (γ + η) frame of channel 2 number of, a 2 is an average value.
γとηは、式（１）の同様に、それぞれ、積和計算の対象の一方のフレームと、γに対するフレーム数の遅れを示している。 Similarly to Equation (1), γ and η respectively indicate one frame to be subjected to product-sum calculation and a delay in the number of frames with respect to γ.
平均値Ａ２は、たとえば次式（４）で表される。
ここで、Ｍ１γは、チャンネル１のγフレーム目の計算に使用するデータ数、Ｍ２γは、チャンネル２のγフレーム目の計算に使用するデータ数である。 Here, M 1γ is the number of data used for calculation of the γ frame of channel 1, and M 2γ is the number of data used for calculation of the γ frame of channel 2.
次式（５）は、本実施形態において使用するＲＩＣＳの解析に使用するフィッティング式を表している。
ここで、ＧｓはＲＩＣＳの空間相関値（空間自己相関値Ｇｓａまたは空間相互相関値Ｇｓｃ）、ＳはＲＩＣＳの解析におけるスキャンの影響、ＧはＲＩＣＳの解析における時間遅延の影響、Ｄは拡散定数、δｒはピクセルサイズ、Ｎは分子数、Ｗ０は励起レーザビームの横方向の半径、ＷＺは励起レーザビームの縦方向の半径、τｐはピクセル時間、τｌはライン時間、τｆはフレーム時間である。 Here, G s is the RICS spatial correlation value (spatial autocorrelation value G sa or spatial cross-correlation value G sc ), S is the influence of scanning in the RICS analysis, G is the influence of time delay in the RICS analysis, and D is Diffusion constant, δ r is the pixel size, N is the number of molecules, W 0 is the lateral radius of the excitation laser beam, W Z is the longitudinal radius of the excitation laser beam, τ p is the pixel time, τ l is the line time, τ f is the frame time.
ここで、τｐはピクセル間の取得時間のずれである。すなわち、ピクセル時間τｐは、１ピクセルのデータを取得するのに要する時間である。またτｌは、任意のラインの最初のピクセルと、その次のラインの最初のピクセルとの間の取得時間のずれ（ライン時間）である。すなわち、ライン時間τｌは、１ラインを走査するのに要する時間を意味する。またτｆは、任意のフレームの最初のピクセルと、その次のフレームの最初のピクセルとの間の取得時間のずれである。すなわち、フレーム時間τｆは、１フレームを走査するのに要する時間を意味する。 Here, τ p is a shift in acquisition time between pixels. That is, the pixel time τ p is a time required to acquire data for one pixel. Further, τ l is an acquisition time shift (line time) between the first pixel of an arbitrary line and the first pixel of the next line. That is, the line time τ 1 means the time required to scan one line. Also, τ f is a shift in acquisition time between the first pixel of an arbitrary frame and the first pixel of the next frame. That is, the frame time τ f means the time required to scan one frame.
式（１）〜式（４）において、γは、γ＝１，２，…，ｑと表され、ηは、η＝０，１，…，ｐと表され、ｐとｑの間には、ｐ＜ｑの関係がある。ｑ＝１の場合（１フレームだけのデータで空間相関計算を行なう場合）、ｐ＝０となり、ηの取り得る値は０だけとなる。この場合、本実施形態においてＲＩＣＳの解析に使用する空間相関計算式とフィッティング式は、η＝０の場合には、従来のＲＩＣＳの解析に使用する空間相関計算式とフィッティング式と同じになる。すなわち、η＝０のとき、式（１）の空間自己相関計算式は次式（６）で表される。
ここで、Ｉ１はチャンネル１の同一フレームの蛍光強度データ（ピクセルのデータ）、ｘ，ｙは測定点の空間的座標、ξ，ψは測定点からの空間的座標の変化量、Ｍ１１はチャンネル１の同一フレーム中の積和計算の回数である。 Here, I 1 is the fluorescence intensity data (pixel data) of the same frame of channel 1, x and y are the spatial coordinates of the measurement point, ξ and ψ are the amount of change in the spatial coordinates from the measurement point, and M 11 is This is the number of product-sum calculations in the same frame of channel 1.
平均値Ａ１は、次式（７）で表される。
ここで、Ｍ１は、チャンネル１の同一フレーム中の計算に使用するデータ数である。 Here, M 1 is the number of data used for calculation in the same frame of channel 1.
また、式（３）の空間相互相関計算式は次式（８）で表される。
ここで、Ｉ１はチャンネル１の計算に使用するフレームの蛍光強度データ（ピクセルのデータ）、Ｉ２はチャンネル２の計算に使用するフレームの蛍光強度データ（ピクセルのデータ）、ｘ，ｙは測定点の空間的座標、ξ，ψは測定点からの空間的座標の変化量、Ｍ１２はチャンネル１とチャンネル２中のデータの積和計算の回数である。 Here, I 1 is the fluorescence intensity data (pixel data) of the frame used for the calculation of channel 1, I 2 is the fluorescence intensity data (pixel data) of the frame used for the calculation of channel 2, and x and y are the measurements The spatial coordinates of the points, ξ, ψ are the amount of change in the spatial coordinates from the measurement point, and M 12 is the number of product-sum calculations of data in channel 1 and channel 2.
平均値Ａ２は、次式（９）で表される。
ここで、ここで、Ｍ１は、チャンネル１の計算に使用するフレーム中の計算に使用するデータ数、Ｍ２は、チャンネル２の計算に使用するフレーム中の計算に使用するデータ数である。 Here, M 1 is the number of data used for calculation in the frame used for calculation of channel 1, and M 2 is the number of data used for calculation in the frame used for calculation of channel 2.
また、式（５）のフィッティング式は次式（１０）で表される。
[測定手順]
以下、図３を参照しながら画像解析の手順について説明する。また、各ステップについて、適宜、図４〜図１２を参照しながら説明する。
[Measurement procedure]
The image analysis procedure will be described below with reference to FIG. Each step will be described with reference to FIGS. 4 to 12 as appropriate.
（ステップＳ１）
試料Ｓの観察領域と取得する蛍光画像のフレーム数を設定する。設定した観察領域の設定したフレーム数の蛍光画像を時系列的に取得する。蛍光画像の取得は、同一の観察領域に対して同一の走査方法によって行なう。すなわち、所定の方向に向けて光を照射した後、再び当該所定の方向に向けて光を照射するまでを１セットの走査とした場合、少なくとも２セット以上、解析領域が走査される。
(Step S1)
The observation area of the sample S and the number of frames of the fluorescent image to be acquired are set. Fluorescence images of the set number of frames in the set observation area are acquired in time series. The fluorescence image is acquired by the same scanning method for the same observation region. In other words, when one set of scanning is performed from the irradiation of light toward a predetermined direction to the irradiation of light toward the predetermined direction again, at least two sets or more of the analysis region are scanned.
画像解析に使用する複数フレームの蛍光画像を模式的に図４に示す。画像解析に使用する複数フレームの蛍光画像は、ステップＳ１で取得した画像の全部であってもよく、また一部であってもよい。以下では、画像解析に使用する複数フレームの蛍光画像を単に複数フレームの蛍光画像と呼ぶ。図４において、Ｆｋは、一つのチャンネルにおけるｋフレーム目の蛍光画像を表している。各蛍光画像は、ピクセルのデータが時系列的に取得された複数のピクセルからなる。ピクセルのデータは、たとえば、２次元または３次元の観察領域から得られた蛍光強度である。 FIG. 4 schematically shows a plurality of frames of fluorescent images used for image analysis. The plurality of frames of fluorescent images used for image analysis may be all or some of the images acquired in step S1. Hereinafter, a plurality of frames of fluorescent images used for image analysis are simply referred to as a plurality of frames of fluorescent images. In FIG. 4, F k represents the fluorescence image of the k-th frame in one channel. Each fluorescent image is composed of a plurality of pixels from which pixel data is acquired in time series. Pixel data is, for example, fluorescence intensity obtained from a two-dimensional or three-dimensional observation region.
（ステップＳ２）
図５に示すように、画像解析に使用する蛍光画像の領域（観察領域）Ｒ１に対して解析する領域（解析領域）Ｒ２を設定する。解析領域Ｒ２は、観察領域Ｒ１の一部に限定されるものではなく、観察領域Ｒ１に一致していてもよい。解析領域Ｒ２は、アプリケーション的にはデフォルトで観察領域Ｒ１すなわちステップＳ１における走査領域に設定されている。観察領域Ｒ１の全体を解析する場合には、このステップは不要である。
(Step S2)
As shown in FIG. 5, a region (analysis region) R2 to be analyzed is set with respect to a region (observation region) R1 of the fluorescence image used for image analysis. The analysis region R2 is not limited to a part of the observation region R1, and may coincide with the observation region R1. The analysis area R2 is set as an observation area R1, that is, a scanning area in step S1 by default in terms of application. This step is not necessary when analyzing the entire observation region R1.
（ステップＳ３）
複数フレームの蛍光画像をデータ情報変化に基づいて分類する。たとえば、複数フレームの蛍光画像の解析領域Ｒ２の区分値をそれぞれ算出し、算出した区分値に基づいて複数フレームの蛍光画像を複数グループに分類する。区分値は、たとえば、解析領域Ｒ２のピクセルのデータの統計値であり、解析領域Ｒ２のピクセルのデータの最大値、最小値、平均値、相対差、相対比のいずれかである。ピクセルのデータは、たとえば、２次元または３次元の観察領域から得られた蛍光強度である。相対差は、たとえば、最大値と最小値との差である。
(Step S3)
A plurality of frames of fluorescent images are classified based on data information changes. For example, the division values of the analysis region R2 of the plurality of frames of fluorescence images are calculated, and the plurality of frames of fluorescence images are classified into a plurality of groups based on the calculated division values. The segment value is, for example, a statistical value of pixel data in the analysis region R2, and is any one of a maximum value, a minimum value, an average value, a relative difference, and a relative ratio of pixel data in the analysis region R2. Pixel data is, for example, fluorescence intensity obtained from a two-dimensional or three-dimensional observation region. The relative difference is, for example, a difference between a maximum value and a minimum value.
複数グループに分類された複数フレームの蛍光画像の解析領域の画像を模式的に図６に示す。図６において、Ｆａｋはｋフレーム目の蛍光画像の解析領域の画像を表している。Ｄａ，Ｄｂ，Ｄｃ，Ｄｄ，Ｄｅ，Ｄｆは、蛍光画像の解析領域の区分値を表している。ここでは、一例として、区分値は６種類あるとしている。図６の例では、Ｆａ１，Ｆａ２，Ｆａ７９，Ｆａ８０が同じグループに分類され、Ｆａ３，Ｆａ７４，Ｆａ７５が同じグループに分類され、Ｆａ４，Ｆａ７１，Ｆａ７２，Ｆａ７３が同じグループに分類され、Ｆａ５，Ｆａ７６，Ｆａ７７，Ｆａ７８が同じグループに分類され、Ｆａ６，Ｆａ７が同じグループに分類され、Ｆａ８，Ｆａ９，Ｆａ１０が同じグループに分類されている。 FIG. 6 schematically shows images of analysis regions of fluorescent images of a plurality of frames classified into a plurality of groups. In FIG. 6, Fa k represents the image of the analysis area of the k-th frame of the fluorescent image. D a , D b , D c , D d , D e , and D f represent segment values in the analysis region of the fluorescence image. Here, as an example, there are six types of segment values. In the example of FIG. 6, Fa 1 , Fa 2 , Fa 79 , and Fa 80 are classified into the same group, Fa 3 , Fa 74 , and Fa 75 are classified into the same group, and Fa 4 , Fa 71 , Fa 72 , Fa 73 Are classified into the same group, Fa 5 , Fa 76 , Fa 77 and Fa 78 are classified into the same group, Fa 6 and Fa 7 are classified into the same group, and Fa 8 , Fa 9 and Fa 10 are classified into the same group. Has been.
（ステップＳ４）
グループごとに解析領域の平均画像を算出する。平均画像は、各グループに含まれる全ての画像の平均値であってもよく、または各グループに含まれる一部の画像の平均値であってもよい。たとえば、平均画像の算出は、各グループに含まれる画像の数を算出し、算出した画像の数に基づいて各グループの平均画像を算出する。
(Step S4)
An average image of the analysis area is calculated for each group. The average image may be an average value of all images included in each group, or may be an average value of some images included in each group. For example, the average image is calculated by calculating the number of images included in each group and calculating the average image of each group based on the calculated number of images.
より具体的には、各グループに含まれる全ての画像について、解析領域を構成するピクセルごとに、ピクセルのデータの平均値を算出する。そして、ピクセルごとに算出された各ピクセルのデータの平均値からなる画像を平均画像としてよい。 More specifically, for all the images included in each group, an average value of pixel data is calculated for each pixel constituting the analysis region. Then, an image composed of an average value of data of each pixel calculated for each pixel may be used as the average image.
さらに、グループごとの平均画像のすべてのピクセルの平均値を算出する。 Further, an average value of all pixels of the average image for each group is calculated.
（ステップＳ５）
グループごとに解析領域の各画像から平均画像を減算する。これにより画像に共通に重畳する不要なデータが除去される。たとえば、大きい分子や不動分子などの影響を取り除かれる。解析領域の各画像から平均画像を減算するには、たとえば、解析領域を構成するピクセルごとに、各画像のピクセルのデータから平均画像のピクセルのデータを減算し、算出された値からなる画像を得ればよい。
(Step S5)
The average image is subtracted from each image in the analysis region for each group. Thereby, unnecessary data superimposed on the image in common is removed. For example, the influence of large molecules and immobile molecules can be removed. In order to subtract the average image from each image in the analysis region, for example, for each pixel constituting the analysis region, the pixel data of the average image is subtracted from the pixel data of each image, and an image composed of the calculated values is obtained. It only has to be obtained.
さらに、グループごとに解析領域の各画像に平均値を加算する。これにより減算によって低下した輝度値の低下が補われる。ここでは、平均値を加算する例をあげたが、これに代えて、最小値を加算してもよい。 Further, an average value is added to each image in the analysis region for each group. This compensates for a decrease in luminance value that has been decreased by subtraction. Here, an example in which the average value is added has been described, but a minimum value may be added instead.
以下、このように平均画像の減算と平均値の加算を経て算出された画像を解析領域の再構築画像と呼ぶことにする。 Hereinafter, the image calculated through the subtraction of the average image and the addition of the average value is referred to as a reconstructed image of the analysis region.
ここで、ｋフレーム目の解析領域の再構築画像をＦｂｋとする。また、区分値Ｄａ，Ｄｂ，Ｄｃ，Ｄｄ，Ｄｅ，Ｄｆに対応する蛍光画像の解析領域の平均画像をそれぞれＡａ，Ａｂ，Ａｃ，Ａｄ，Ａｅ，Ａｆとする。ここで、Ａａ，Ａｂ，Ａｃ，Ａｄ，Ａｅ，Ａｆはそれぞれ相応の平均値を加算済みのものとする。このようにした場合、図６の例では、再構築画像は、Ｆｂ１＝Ｆａ１−Ａａ，Ｆｂ２＝Ｆａ２−Ａａ，Ｆｂ３＝Ｆａ３−Ａｂ，Ｆｂ４＝Ｆａ４−Ａｃ，Ｆｂ５＝Ｆａ５−Ａｄ，Ｆｂ６＝Ｆａ６−Ａｅ，Ｆｂ７＝Ｆａ７−Ａｅ，Ｆｂ８＝Ｆａ８−Ａｆ，Ｆｂ９＝Ｆａ９−Ａｆ，Ｆｂ１０＝Ｆａ１０−Ａｆ，…，Ｆｂ７１＝Ｆａ７１−Ａｃ，Ｆｂ７２＝Ｆａ７２−Ａｃ，Ｆｂ７３＝Ｆａ７３−Ａｃ，Ｆｂ７４＝Ｆａ７４−Ａｂ，Ｆｂ７５＝Ｆａ７５−Ａｂ，Ｆｂ７６＝Ｆａ７６−Ａｄ，Ｆｂ７７＝Ｆａ７７−Ａｄ，Ｆｂ７８＝Ｆａ７８−Ａｄ，Ｆｂ７９＝Ｆａ７９−Ａａ，Ｆｂ８０＝Ｆａ８０−Ａａとなる。 Here, the reconstructed image of the analysis region of the kth frame is assumed to be Fb k . Further, the average images of the analysis regions of the fluorescence images corresponding to the segment values D a , D b , D c , D d , D e , and D f are respectively represented as A a , A b , A c , A d , A e , A Let f . Here, it is assumed that A a , A b , A c , A d , A e , and A f have already been added with corresponding average values. In this case, in the example of FIG. 6, the reconstructed image has Fb 1 = Fa 1 −A a , Fb 2 = Fa 2 −A a , Fb 3 = Fa 3 −A b , Fb 4 = Fa 4 − A c, Fb 5 = Fa 5 -A d, Fb 6 = Fa 6 -A e, Fb 7 = Fa 7 -A e, Fb 8 = Fa 8 -A f, Fb 9 = Fa 9 -A f, Fb 10 = Fa 10 −A f ,..., Fb 71 = Fa 71 −A c , Fb 72 = Fa 72 −A c , Fb 73 = Fa 73 −A c , Fb 74 = Fa 74 −A b , Fb 75 = Fa 75 -A b, Fb 76 = Fa 76 -A d, Fb 77 = Fa 77 -A d, Fb 78 = Fa 78 -A d, Fb 79 = Fa 79 -A a, the Fb 80 = Fa 80 -A a .
画像解析に使用する蛍光画像の解析領域の画像が同種類のものであること、言い換えれば解析領域のデータ情報変化が実質的にないことがあらかじめ分かっている場合には、ステップＳ３，Ｓ４，Ｓ５は省略してよい。 If it is known in advance that the images in the analysis region of the fluorescence image used for image analysis are of the same type, in other words, that there is substantially no change in the data information in the analysis region, steps S3, S4, S5 May be omitted.
（ｐとｑの値について）
式（１）〜（４）の空間相関計算を実施するにあたってｐとｑの値を決定する必要がある。前述したように、ｐは、空間相関計算における最大の遅延時間を決めるフレーム数を表し、ｑは、空間相関計算に使用するフレームの総数を表している。ｐとｑの値が大きいほど、計算に使用するデータ数は多くなるので、計算結果の精度つまり信頼度は増加するが、計算に要する時間は長くなる。反対に、ｐとｑの値が小さいほど、計算に使用するデータ数は少なくなるので、計算に要する時間は短くなるが、計算結果の精度つまり信頼度は低下する。このような理由から、ｐとｑの値は、十分な精度の計算結果が得られる範囲において、なるべく小さく設定するとよい。
(About the values of p and q)
It is necessary to determine the values of p and q when performing the spatial correlation calculation of the equations (1) to (4). As described above, p represents the number of frames for determining the maximum delay time in the spatial correlation calculation, and q represents the total number of frames used for the spatial correlation calculation. As the values of p and q are larger, the number of data used for the calculation increases, so the accuracy of the calculation result, that is, the reliability increases, but the time required for the calculation becomes longer. On the contrary, the smaller the values of p and q, the smaller the number of data used for the calculation, so the time required for the calculation is shortened, but the accuracy of the calculation result, that is, the reliability is lowered. For this reason, the values of p and q are preferably set as small as possible within a range where sufficiently accurate calculation results can be obtained.
（ステップＳ６）
ｐの値を決定するため、まず、拡散時間を推定する。拡散時間の推定は、式（６）〜（１０）を使用してＲＩＣＳの解析をすることにより行なう。具体的には、式（６）〜式（９）を使用して、異なる遅延時間に対する相関値Ｇｓをそれぞれ求める。そして、遅延時間と相関値Ｇｓとの関係から、式（１０）を使用して、拡散定数と分子数を求める。
(Step S6)
In order to determine the value of p, first the diffusion time is estimated. The estimation of the diffusion time is performed by analyzing the RICS using the equations (6) to (10). Specifically, correlation values G s for different delay times are obtained using equations (6) to (9). Then, from the relationship between the delay time and the correlation value G s , the diffusion constant and the number of molecules are obtained using Equation (10).
式（１０）において、遅延時間がゼロのときは（ξ＝０、ψ＝０）、Ｓは１であり、Ｇｓは１／Ｎで表せる。したがって、分子数を求めることができる。 In the equation (10), when the delay time is zero (ξ = 0, ψ = 0), S is 1 and G s can be expressed by 1 / N. Therefore, the number of molecules can be obtained.
拡散定数と拡散時間との関係は次式（１１）で表される。この式（１１）に基づいて、先に求めた拡散定数から拡散時間を求めることができる。
ここで、Ｄは拡散定数、τは拡散時間、Ｗ０は励起レーザビームの横方向の半径を意味する。 Here, D is a diffusion constant, τ is a diffusion time, and W 0 is a lateral radius of the excitation laser beam.
なお、解析の対象が拡散時間の短い分子である場合には、式（６）〜式（１０）を使用して得られる拡散時間は適切な拡散時間を示している。最大の遅延時間が拡散時間の２倍よりも大きい場合、式（１０）を用いて十分にフィッティングできるからである。しかし、解析の対象が拡散時間の長い分子である場合には、式（１０）を用いてフィッティングしても、そこから得られる拡散時間は、必ずしも、実際の拡散時間と一致しない。この場合、拡散時間は推定値に過ぎない。 In addition, when the object of analysis is a molecule | numerator with short diffusion time, the diffusion time obtained using Formula (6)-Formula (10) has shown appropriate diffusion time. This is because when the maximum delay time is larger than twice the diffusion time, the fitting can be sufficiently performed using the equation (10). However, when the object of analysis is a molecule with a long diffusion time, even if fitting is performed using Equation (10), the diffusion time obtained from the result does not necessarily match the actual diffusion time. In this case, the diffusion time is only an estimate.
（ステップＳ７）
ｐの値を決定するため、次に、次式（１２）を使用してｐを求める。
In order to determine the value of p, next, p is calculated | required using following Formula (12).
ここで、τＤは推定拡散時間、ξｍａｘ，ψｍａｘは、１フレーム中の空間的座標の変化の最大値、ｎは２以上の整数（ｎ≧２）である。 Here, τ D is the estimated diffusion time, ξ max , ψ max is the maximum value of the change in spatial coordinates in one frame, and n is an integer of 2 or more (n ≧ 2).
一般に、相関値の算出には、最大の遅延時間が、拡散時間の２倍程度あればよいとされている。最大の遅延時間が、拡散時間の２倍よりも短いと、式（５）を用いて適切にフィッティングすることが困難となる。したがって、少なくともｎ＝２とした上で、式（１１）を用いて、ｐを算出すれば、式（５）を用いて適切にフィッティングすることができると考えられる。ただし、解析結果に求められる精度に応じて、ｎを３以上の整数に設定してもよい。これにより、式（１１）を満足するｐを用いた式（１）〜式（４）を使用したＲＩＣＳの解析であれば、適切な解析結果が得られると考えられる。 In general, the maximum delay time is about twice as long as the diffusion time for calculating the correlation value. If the maximum delay time is shorter than twice the diffusion time, it is difficult to fit appropriately using the equation (5). Therefore, if p is calculated using Equation (11) with at least n = 2, it can be considered that fitting can be performed appropriately using Equation (5). However, n may be set to an integer of 3 or more according to the accuracy required for the analysis result. Thereby, if it is the analysis of RICS using Formula (1)-Formula (4) using p which satisfies Formula (11), it is thought that a suitable analysis result is obtained.
（ステップＳ８）
パラメータγの最終値ｑを決定する。ｑの値は、前述したように、ｑ＞ｐを満足するものでなければならない。ｑの値は、たとえば、解析領域がｍ×ｍの場合、次式（１３）を満足するように決める。
The final value q of the parameter γ is determined. The value of q must satisfy q> p as described above. The value of q is determined so as to satisfy the following expression (13) when the analysis region is m × m, for example.
（ステップＳ９）
ステップＳ５において算出された再構築画像を、ステップＳ５において決定したｑの値に基づいて複数ブロックに分割する。また、複数ブロックを順序づけ、最初のブロックを、続くステップＳ１０における空間相関計算の計算対象に設定する。
(Step S9)
The reconstructed image calculated in step S5 is divided into a plurality of blocks based on the value of q determined in step S5. Further, the plurality of blocks are ordered, and the first block is set as a calculation target of the spatial correlation calculation in the subsequent step S10.
複数ブロックに分割された複数フレームの蛍光画像の解析領域の再構築画像を模式的に図７に示す。図７には、一例として、８０フレームの蛍光画像の解析領域の再構築画像Ｆｂ１〜Ｆｂ８０が、８フレームずつ、１０個のブロックＢ１〜Ｂ１０に分割された例が示されている。 FIG. 7 schematically shows a reconstructed image of the analysis region of the fluorescence image of a plurality of frames divided into a plurality of blocks. FIG. 7 shows an example in which the reconstructed images Fb 1 to Fb 80 in the analysis region of the 80-frame fluorescence image are divided into 10 blocks B 1 to B 10 every 8 frames. .
（ステップＳ１０）
計算対象のブロックに対して空間相関値を計算する。空間自己相関値を計算する場合は式（１）と式（２）の空間自己相関計算式を使用し、空間相互相関値を計算する場合は式（３）と式（４）の空間相互相関計算式を使用する。
(Step S10)
A spatial correlation value is calculated for the block to be calculated. When calculating the spatial autocorrelation value, use the formulas (1) and (2) to calculate the spatial autocorrelation value, and when calculating the spatial crosscorrelation value, formula (3) and the formula (4) spatial crosscorrelation. Use a formula.
相関値の計算に使用する各ピクセルのデータは、そのピクセルのデータそのものであってもよいし、そのピクセルを含む複数のピクセルのデータの統計値であってもよい。複数のピクセルは、たとえば、注目のピクセルおよびこれに隣接するピクセルであってよい。統計値は、たとえば、ピクセルのデータの平均値、最大値、最小値、相対差、絶対差、相対比のいずれかであってよい。どのような統計値を使用するかは、ＲＩＣＳの解析によってどのような情報を得たいかによって決める。 The data of each pixel used for calculating the correlation value may be the data of the pixel itself, or may be a statistical value of data of a plurality of pixels including the pixel. The plurality of pixels may be, for example, a pixel of interest and a pixel adjacent thereto. The statistical value may be, for example, any one of an average value, a maximum value, a minimum value, a relative difference, an absolute difference, and a relative ratio of pixel data. What statistics are used depends on what information is desired to be obtained by RICS analysis.
また相関値の計算は、ピクセルのデータに基づいて画像をそれぞれ構成し直し、構成し直した画像について相関値を計算してもよい。たとえば、隣のピクセルのデータ同士を足して、ピクセルのデータの数を半分にする。または、一つのピクセルのデータを複数に分割する。本来ならば、一度画像を取得するとピクセルのデータの数は増えないが、取得したピクセルのデータの強度がそのピクセルのデータの周囲にガウシアン分布で広がっていると仮定して、本来取得できていないピクセルのデータを補う。本質的にピクセルのデータの数が増えている訳ではないが、見た目が良くなる。 The correlation value may be calculated by reconstructing images based on pixel data, and calculating the correlation value for the reconstructed image. For example, the data of adjacent pixels is added to halve the number of pixel data. Alternatively, the data of one pixel is divided into a plurality of pieces. Originally, once the image is acquired, the number of pixel data does not increase, but it cannot be acquired on the assumption that the intensity of the acquired pixel data spreads around the pixel data in a Gaussian distribution. Supplement pixel data. Although the number of pixel data is not essentially increasing, it looks better.
式（１）〜式（４）を使用する計算は、ηの値を０，１，２，…，ｐと順に変えつつ、ηの各値に対して、さらにγの値を１，２，…，ｐ−ηと順に変えつつ、さらにγの各値に対して、ξ，ψを順に変えつつ行なう。たとえば、解析領域Ｒ２が２５６ピクセル×２５６ピクセルの領域である場合、ξ，ψをそれぞれ０，１，２，…，２５５と順に変える。 In the calculation using the equations (1) to (4), the value of η is changed to 0, 1, 2,. .., P−η, and in order, for each value of γ, ξ and ψ are changed in order. For example, when the analysis region R2 is a region of 256 pixels × 256 pixels, ξ and ψ are sequentially changed to 0, 1, 2,.
たとえば、η＝０，γ＝１，ψ＝０に対して、ξを０，１，２，…，２５５と１ずつ増やしながら、ξの各値について計算処理を行ない、次にψを１増やし、η＝０，γ＝１，ψ＝１に対して、ξを０，１，２，…，２５５と１ずつ増やしながら、ξの各値について計算処理を行ない、この計算処理をψ＝２５５になるまで繰り返す。その後、γを１増やし、η＝０，γ＝２，ψ＝０に対して、ξを０，１，２，…，２５５と１ずつ増やしながら、ξの各値について計算処理を行ない、次に、η＝０，γ＝２，ψ＝１に対して、ξを０，１，２，…，２５５と１ずつ増やしながら、ξの各値について計算処理を行ない、この計算処理をψ＝２５５になるまで繰り返す。この計算処理をψ＝２５５になるまで繰り返す。この計算処理はγを１ずつ増やしながら、γ＝ｑになるまで繰り返す。 For example, for η = 0, γ = 1, and ψ = 0, calculation processing is performed for each value of ξ while ξ is increased by 1, 0, 1, 2,..., 255, and then ψ is increased by 1. , Η = 0, γ = 1, ψ = 1, ξ is incremented by 0, 1, 2,..., 255, and each value of ξ is calculated, and this calculation processing is performed as ψ = 255. Repeat until. Thereafter, γ is increased by 1, and η = 0, γ = 2, ψ = 0, and ξ is increased by 1, 0, 1, 2,. Further, with respect to η = 0, γ = 2, ψ = 1, ξ is incremented by 1 with 0, 1, 2,..., 255, and each value of ξ is calculated. Repeat until 255. This calculation process is repeated until ψ = 255. This calculation process is repeated while increasing γ by 1 until γ = q.
その後、ηを１増やし、η＝１，γ＝１，ψ＝０に対して、ξを０，１，２，…，２５５と１ずつ増やしながら、ξの各値について計算処理を行ない、次にψを１増やし、η＝１，γ＝１，ψ＝１に対して、ξを０，１，２，…，２５５と１ずつ増やしながら、ξの各値について計算処理を行ない、この計算処理をψ＝２５５になるまで繰り返す。その後、γを１増やし、η＝１，γ＝２，ψ＝０に対して、ξを０，１，２，…，２５５と１ずつ増やしながら、ξの各値について計算処理を行ない、次に、η＝１，γ＝２，ψ＝１に対して、ξを０，１，２，…，２５５と１ずつ増やしながら、ξの各値について計算処理を行ない、この計算処理をψ＝２５５になるまで繰り返す。この計算処理をψ＝２５５になるまで繰り返す。この計算処理はγを１ずつ増やしながら、γ＝ｑ−１になるまで繰り返す。 Thereafter, η is increased by 1, and for η = 1, γ = 1, ψ = 0, ξ is increased by 1, 0, 1, 2,. Ψ is increased by 1, and for η = 1, γ = 1, ψ = 1, ξ is increased by 1, 0, 1, 2,. The process is repeated until ψ = 255. Thereafter, γ is increased by 1, and calculation processing is performed for each value of ξ while ξ is increased by 1, 0, 1, 2,..., 255 for η = 1, γ = 2, and ψ = 0. Further, with respect to η = 1, γ = 2, ψ = 1, ξ is incremented by 1, 0, 1, 2,..., 255, and each value of ξ is calculated. Repeat until 255. This calculation process is repeated until ψ = 255. This calculation process is repeated while increasing γ by 1 until γ = q−1.
以降、ηを１ずつ増やしながらηの各値に対して、γを１ずつ増やしながら、同様の計算処理を、γ＝ｑ−ηになるまで繰り返す。この計算処理は、ηを１ずつ増やしながら、η＝ｐになるまで繰り返す。 Thereafter, the same calculation process is repeated until γ = q−η while increasing γ by 1 for each value of η while increasing η by 1. This calculation process is repeated while increasing η by 1 until η = p.
図８は、Ｇｓ（２，４，０）中の積和計算を模式的に示している。この計算は、同一フレーム（γフレーム目）の再構築画像の解析領域Ｒ２内のピクセルのデータ間の相関計算である。この計算において、γの取り得る最終値はｑである。 FIG. 8 schematically shows the product-sum calculation in G s (2, 4, 0). This calculation is a correlation calculation between data of pixels in the analysis region R2 of the reconstructed image of the same frame (γth frame). In this calculation, the final value that γ can take is q.
図９は、Ｇｓ（２，４，１）中の積和計算を模式的に示している。この計算は、異なるフレームの画像の解析領域Ｒ２内のピクセルのデータの間の相関計算である。具体的には、γフレーム目の再構築画像の解析領域Ｒ２内のピクセルのデータと（γ＋１）フレーム目の再構築画像の解析領域Ｒ２内のピクセルのデータとの間の相関計算である。この計算において、γの取り得る最終値はｑー１である。 FIG. 9 schematically shows the product-sum calculation in G s (2, 4, 1). This calculation is a correlation calculation between the data of the pixels in the analysis region R2 of the image of different frames. Specifically, this is a correlation calculation between the pixel data in the analysis region R2 of the reconstructed image of the γ frame and the pixel data in the analysis region R2 of the reconstructed image of the (γ + 1) frame. In this calculation, the final value that γ can take is q-1.
図１０は、Ｇｓ（２，４，２）中の積和計算を模式的に示している。つまり、γフレーム目の再構築画像の解析領域Ｒ２内のピクセルのデータと（γ＋２）フレーム目の再構築画像の解析領域Ｒ２内のピクセルのデータとの間の相関計算を示している。この計算において、γの取り得る最終値はｑー２である。 FIG. 10 schematically shows the product-sum calculation in G s (2, 4, 2). That is, the correlation calculation between the pixel data in the analysis region R2 of the reconstructed image of the γ frame and the pixel data in the analysis region R2 of the reconstructed image of the (γ + 2) frame is shown. In this calculation, the final value that γ can take is q−2.
図１１は、Ｇｓ（２，４，ｐ）中の積和計算を模式的に示している。つまり、γフレーム目の再構築画像の解析領域Ｒ２内のピクセルのデータとｐフレーム目の再構築画像の解析領域Ｒ２内のピクセルのデータとの間の相関計算を示している。この計算において、γの取り得る最終値はｑーｐである。 FIG. 11 schematically shows the product-sum calculation in G s (2, 4, p). That is, the correlation calculation between the pixel data in the analysis region R2 of the reconstructed image of the γ frame and the pixel data in the analysis region R2 of the reconstructed image of the p frame is shown. In this calculation, the final value that γ can take is q−p.
図１２は、式（１）〜式（４）における変数ξ，ψ，ηと計算に使用するフレームを示している。図１２から、本実施形態による式（１）〜式（４）を使用した計算では、遅延時間が拡張されていることがわかる。具体的には、遅延時間は、２５６τｐ＋２５５τｌを超えて、２５６τｐ＋２５５τｌ＋ｐτｆまで拡大されている。 FIG. 12 shows variables ξ, ψ, η in the equations (1) to (4) and a frame used for the calculation. From FIG. 12, it can be seen that the delay time is extended in the calculation using the equations (1) to (4) according to the present embodiment. Specifically, the delay time is extended beyond 256τ p + 255τ l to 256τ p + 255τ l + pτ f .
ここで、遅延時間とは、一つのピクセルの取得時間と別のピクセルの取得時間との差を意味している。たとえば、（ξ，ψ，η）＝（１，１，０）と、（ξ，ψ，η）＝（４，２，０）との遅延時間は、（４−１）τｐ＋（２−１）τｌ＋（０−０）τｆで表される。 Here, the delay time means the difference between the acquisition time of one pixel and the acquisition time of another pixel. For example, the delay time between (ξ, ψ, η) = (1, 1, 0) and (ξ, ψ, η) = (4, 2, 0) is (4-1) τ p + (2 -1) It is represented by τ l + (0-0) τ f .
そして、一つの遅延時間に対して、一つの相関値Ｇｓが得られる。ここで、理想的には、遅延時間が小さいほど、相関値Ｇｓは大きくなり、遅延時間が大きいほど、相関値Ｇｓは小さくなる。 Then, one correlation value G s is obtained for one delay time. Here, ideally, the correlation value G s increases as the delay time decreases, and the correlation value G s decreases as the delay time increases.
（ステップＳ１１）
計算対象のブロックが最終ブロックであるかを判断する。計算対象のブロックが最終ブロックでない場合には、計算対象のブロックを次のブロックに変更してステップＳ１０に戻る。また計算対象のブロックが最終ブロックであい場合には、次のステップＳ１２に進む。
(Step S11)
It is determined whether the block to be calculated is the last block. If the block to be calculated is not the final block, the block to be calculated is changed to the next block, and the process returns to step S10. If the calculation target block is the last block, the process proceeds to the next step S12.
（ステップＳ１２）
ステップＳ１１において計算された複数の空間相関値の平均値を計算する。
(Step S12)
An average value of the plurality of spatial correlation values calculated in step S11 is calculated.
（ステップＳ１３）
ステップＳ１２において計算された空間相関値を式（５）によってフィッティングする。
(Step S13)
The spatial correlation value calculated in step S12 is fitted by equation (5).
式（５）によってフィッティングすることにより拡散時間の推定をする。具体的には、式（１）〜式（４）を使用して、異なる遅延時間に対する自己相関値Ｇｓａまたは相互相関値Ｇｓｃをそれぞれ求める。そして、自己相関値Ｇｓａまたは相互相関値Ｇｓｃと遅延時間との関係から、式（５）を使用して、拡散定数と分子数を求める。 The diffusion time is estimated by fitting using equation (5). Specifically, the autocorrelation value Gsa or the cross-correlation value Gsc with respect to different delay times is obtained using the equations (1) to (4). Then, from the relationship between the autocorrelation value Gsa or the cross-correlation value Gsc and the delay time, the diffusion constant and the number of molecules are obtained using Equation (5).
式（５）において、遅延時間がゼロのときは（ξ＝０，ψ＝０，η＝０）、Ｓは１であり、自己相関値Ｇｓａまたは相互相関値Ｇｓｃは１／Ｎで表せる。したがって、分子数を求めることができる。 In equation (5), when the delay time is zero (ξ = 0, ψ = 0, η = 0), S is 1, and the autocorrelation value Gsa or the cross-correlation value Gsc can be expressed by 1 / N. . Therefore, the number of molecules can be obtained.
未知数である拡散定数Ｄと分子数Ｎを変動させながら、測定値として得られる相関値Ｇｓａまたは相関値Ｇｓｃと理論値として得られるＧｓとの差が最小となるように、適切な拡散定数Ｄと分子数Ｎを求める。このように、式（５）によるフィッティングとは、拡散定数Ｄと分子数Ｎを変動させながら、２次元または３次元の観察領域における、最適な、分子数または拡散定数を推定することである。 While varying the diffusion constant D and the number of molecules N is unknown, so that the difference between G s obtained as a correlation value G sa or correlation value G sc and the theoretical value is obtained as the measurement value is minimized, adequate diffusion The constant D and the number of molecules N are obtained. Thus, the fitting by the equation (5) is to estimate the optimal number of molecules or diffusion constant in a two-dimensional or three-dimensional observation region while varying the diffusion constant D and the number of molecules N.
拡散定数と拡散時間との関係を示す式（１１）に基づいて、求めた拡散定数から拡散時間を求めることができる。 Based on the equation (11) showing the relationship between the diffusion constant and the diffusion time, the diffusion time can be obtained from the obtained diffusion constant.
（ステップＳ１４）
計算結果を表示し保存する。具体的には、ステップＳ１２で得た空間相関平均値と、ステップＳ１４で得た空間相関値のフィッティング結果を表示する。解析結果の一例を図１３〜図１６に示す。図１３は、小さい分子に対する空間相関値の計算結果を輝度で示した画像であり、図１４は、そのフィッティング結果を示している。また図１５は、大きい分子に対する空間相関値の計算結果を輝度で示した画像であり、図１６は、そのフィッティング結果を示している。
(Step S14)
Display and save the calculation results. Specifically, the spatial correlation average value obtained in step S12 and the fitting result of the spatial correlation value obtained in step S14 are displayed. An example of the analysis result is shown in FIGS. FIG. 13 is an image showing the calculation result of the spatial correlation value for a small molecule in luminance, and FIG. 14 shows the fitting result. FIG. 15 is an image showing the calculation result of the spatial correlation value for a large molecule in luminance, and FIG. 16 shows the fitting result.
ＲＩＣＳのような画像データを計算の元とする空間的相関解析において、本実施形態では、ステップＳ３〜Ｓ５において、複数フレームの画像をフレームデータの変化に応じていくつかのグループに分類し、グループごとに平均画像の減算処理を行なっている。つまり、異なる大きい分子や不動分子の影響が混在するフレームから一つの平均画像を算出して減算処理することを避け、大きい分子や不動分子の影響を事前に分類し、分類したグループごとに平均画像を算出して減算処理している。これにより、フレームデータの変化に応じたグループごとに、大きい分子や不動分子の影響が適材適所に除去される。 In spatial correlation analysis based on image data such as RICS, in the present embodiment, in steps S3 to S5, images of a plurality of frames are classified into several groups according to changes in the frame data. The average image is subtracted every time. In other words, avoid calculating and subtracting one average image from the frames where the effects of different large molecules and immobile molecules coexist, classify the effects of large molecules and immobile molecules in advance, and average images for each classified group Is calculated and subtracted. As a result, for each group corresponding to the change in the frame data, the influence of large molecules and immobile molecules is removed in the right place.
従来、ＲＩＣＳのような画像データを計算の元とする空間的相関解析では、１フレームの画像の解析領域中のピクセルのデータを用いて一つの相関値を計算する。しかし、細胞観察のような細胞の核、膜、質などの異なる局所的な解析領域に限定してＲＩＣＳの解析を行なう場合、解析領域が小さくなる。解析領域が小さくなると、積和計算に利用できるピクセルデータの数（たとえば８×８）が減少する。このため、解析領域が非常に小さくなると、相関値が適切に算出できなくなる。図１７は、ＥＧＦＰ溶液（色素液を蒸留水で希釈したもの）の拡散定数（Ｄ）を解析領域のＲＯＩサイズを変えながら比較した結果を示している。図１７において、ＲＯＩサイズ＝２５６は、解析領域内に２５６×２５６のピクセル数が含まれていることを意味する。図１７から分かるように、解析領域のＲＯＩサイズが大きいほど、ＥＧＦＰ溶液の拡散定数９０（理論値）に近い値を示し、解析領域のＲＯＩサイズが小さいほど、ＥＧＦＰ溶液の拡散定数９０（理論値）から遠い値を示している。すなわち、ピクセルのデータが多いほど、正しい結果（理論値）に近い値（測定値）が得られることが分かる。 Conventionally, in spatial correlation analysis based on image data such as RICS, one correlation value is calculated using pixel data in the analysis region of an image of one frame. However, when the RICS analysis is limited to a different local analysis region such as the cell nucleus, membrane, and quality as in cell observation, the analysis region becomes small. As the analysis area becomes smaller, the number of pixel data (for example, 8 × 8) that can be used for product-sum calculation decreases. For this reason, if the analysis region becomes very small, the correlation value cannot be calculated appropriately. FIG. 17 shows the result of comparing the diffusion constant (D) of the EGFP solution (the dye solution diluted with distilled water) while changing the ROI size in the analysis region. In FIG. 17, ROI size = 256 means that the number of pixels of 256 × 256 is included in the analysis region. As can be seen from FIG. 17, the larger the ROI size in the analysis region, the closer to the diffusion constant 90 (theoretical value) of the EGFP solution, and the smaller the ROI size in the analysis region, the more the diffusion constant 90 (theoretical value) of the EGFP solution. ) Is far away. That is, it can be seen that the more the pixel data, the closer to the correct result (theoretical value) (measured value).
これに対して本実施形態では、ステップＳ１０における空間相関値計算において、１フレームの画像の解析領域内の二つのピクセルに対する積和計算によって一つの相関値を計算するのではなく、複数フレーム（ｑフレーム）の画像の解析領域内の二つのピクセルに対して積和計算を継続的に行なって一つの相関値を計算する。このように複数フレームの画像のデータを使用して一つの相関値を計算するので、相関値の計算に使用するデータが１フレームの画像中のデータに制限されず、一つの相関値の計算に使用するデータの数が増大する。このため、高い精度でＲＩＣＳの解析を行なえる。 On the other hand, in the present embodiment, in the spatial correlation value calculation in step S10, instead of calculating one correlation value by product-sum calculation for two pixels in the analysis region of one frame image, a plurality of frames (q The product-sum calculation is continuously performed on two pixels in the analysis region of the image of the frame) to calculate one correlation value. As described above, since one correlation value is calculated using the data of a plurality of frames of images, the data used for calculating the correlation value is not limited to the data in one frame of image, and one correlation value can be calculated. The number of data used increases. Therefore, RICS analysis can be performed with high accuracy.
さらに本実施形態では、ステップＳ１０における空間相関値計算において使用する式（１）〜（４）は、パラメータηによって遅延時間の拡張が図られている。これにより、ピクセル時間とライン時間を調整することなく、観察可能な拡散時間を拡張できる。このため、データ収集をし直さなくても、すでに取得したデータを用いて試料に適した拡散時間を推測することができる。これにより、大きい拡散時間の分子についても、小さい拡散時間の分子についても、適切な拡散時間を算出することが可能となる。 Furthermore, in this embodiment, the delay times of the equations (1) to (4) used in the spatial correlation value calculation in step S10 are extended by the parameter η. Thereby, the observable diffusion time can be extended without adjusting the pixel time and the line time. For this reason, the diffusion time suitable for the sample can be estimated using the already acquired data without re-collecting data. This makes it possible to calculate an appropriate diffusion time for both molecules having a large diffusion time and molecules having a small diffusion time.
これまで、図面を参照しながら本発明の実施形態を述べたが、本発明は、これらの実施形態に限定されるものではなく、その要旨を逸脱しない範囲において様々な変形や変更が施されてもよい。 The embodiments of the present invention have been described above with reference to the drawings. However, the present invention is not limited to these embodiments, and various modifications and changes can be made without departing from the scope of the present invention. Also good.
また実施形態では、ラスター走査によって取得された画像について説明したが、画像は、ラスター走査によって取得されたものに限定されるものではなく、ピクセルのデータが時系列的に取得された複数のピクセルからなる画像であればよく、他の走査方法によって取得されたものであってもよい。 In the embodiment, the image acquired by the raster scan has been described. However, the image is not limited to the image acquired by the raster scan, and the pixel data is obtained from a plurality of pixels acquired in time series. And may be obtained by other scanning methods.
１００…画像解析装置、１１０…光照射部、１１２ａ，…，１１２ｎ…光源、１１４ａ，…，１１４ｎ…コリメートレンズ、１１６ａ，…，１１６ｎ…ダイクロイックミラー、１２２…ダイクロイックミラー、１２４…ガルバノミラー、１２６…対物レンズ、１２８…対物レンズ駆動機構、１３０…光検出部、１３２…収束レンズ、１３４…ピンホール、１３６…コリメートレンズ、１３８ａ，…，１３８ｎ…ダイクロイックミラー、１４０ａ，…，１４０ｎ…蛍光フィルター、１４２ａ，…，１４２ｎ…光検出器、１６０…制御部、１６２…走査制御部、１６４…画像形成部、１６６…記憶部、１６８…表示部、１７０…入力部、１７２…解析領域設定部、１７４…画像選定部、１７６…データ抽出部、１７８…解析部、１８０…ステージ制御部、１９０…試料ステージ、Ｒ１…観察領域、Ｒ２…解析領域。 DESCRIPTION OF SYMBOLS 100 ... Image analysis apparatus 110 ... Light irradiation part, 112a, ..., 112n ... Light source, 114a, ..., 114n ... Collimate lens, 116a, ..., 116n ... Dichroic mirror, 122 ... Dichroic mirror, 124 ... Galvano mirror, 126 ... Objective lens, 128 ... Objective lens drive mechanism, 130 ... Photodetector, 132 ... Converging lens, 134 ... Pinhole, 136 ... Collimate lens, 138a, ..., 138n ... Dichroic mirror, 140a, ..., 140n ... Fluorescent filter, 142a ,..., 142 n... Photodetector, 160... Control unit, 162... Scanning control unit, 164 ... image forming unit, 166... Storage unit, 168 ... display unit, 170 ... input unit, 172. Image selection unit, 176 ... data extraction unit, 178 ... analysis unit, 180 ... stage Control unit, 190 ... sample stage, R1 ... observation area, R2 ... the analysis region.
Claims (24)
前記複数フレームの各画像に対して解析領域を設定する解析領域設定ステップと、
前記複数フレームの画像の中から解析に利用する２フレーム以上の選定画像を選定する画像選定ステップと、
前記選定画像の同一画像の前記解析領域内の取得時間間隔が同じ二つのピクセルのデータペアの積和計算を前記選定画像のすべてに対して行なうとともに、前記選定画像の異なる二つの画像の前記解析領域内の取得時間間隔が同じ二つのピクセルのデータペアの積和計算を行なって相関値を計算する演算ステップとを有している画像解析方法。 An image acquisition step of acquiring, in time series, a plurality of frames of a plurality of pixels in which pixel data of each image is acquired in time series;
An analysis region setting step for setting an analysis region for each image of the plurality of frames;
An image selection step of selecting a selection image of two or more frames to be used for analysis from the plurality of frames of images;
The product-sum calculation of data pairs of two pixels having the same acquisition time interval in the analysis area of the same image of the selected image is performed on all of the selected images, and the analysis of two different images of the selected images An image analysis method comprising: an arithmetic step of calculating a correlation value by performing a product-sum calculation of data pairs of two pixels having the same acquisition time interval in a region.
前記複数フレームの画像を前記区分値に基づいて複数グループに分類する分類ステップと、
前記グループごとに前記解析領域の平均画像を算出する平均画像算出ステップと、
前記グループごとに前記解析領域の各画像から前記平均画像を減算して前記解析領域の再構築画像を算出する再構築画像算出ステップとをさらに有し、
前記演算ステップは、再構築画像に対して相関値を計算する、請求項１に記載の画像解析方法。 A segment value calculating step for calculating a segment value of the analysis area;
A classification step of classifying the images of the plurality of frames into a plurality of groups based on the segment values;
An average image calculation step of calculating an average image of the analysis region for each group;
A reconstructed image calculating step of subtracting the average image from each image of the analysis region for each group to calculate a reconstructed image of the analysis region;
The image analysis method according to claim 1, wherein the calculating step calculates a correlation value for the reconstructed image.
前記演算ステップは、前記複数ブロックごとに相関値を計算し、
前記複数ブロックごとに計算された相関値の平均値を計算するステップをさらに有している、請求項１または２に記載の画像解析方法。 Further comprising the step of dividing the plurality of frames of images into a plurality of blocks;
The calculation step calculates a correlation value for each of the plurality of blocks,
The image analysis method according to claim 1, further comprising a step of calculating an average value of correlation values calculated for each of the plurality of blocks.
前記複数フレームの各画像に対して解析領域を設定する解析領域設定部と、
前記複数フレームの画像の中から解析に利用する２フレーム以上の選定画像を選定する画像選定部と、
前記選定画像の同一画像の前記解析領域内の取得時間間隔が同じ二つのピクセルのデータペアの積和計算を前記選定画像のすべてに対して行なうとともに、前記選定画像の異なる二つの画像の前記解析領域内の取得時間間隔が同じ二つのピクセルのデータペアの積和計算を行なって相関値を計算する演算部とを有している画像解析装置。 An image acquisition unit that acquires, in time series, a plurality of frames of a plurality of pixels in which pixel data of each image is acquired in time series;
An analysis region setting unit that sets an analysis region for each image of the plurality of frames;
An image selection unit for selecting a selection image of two or more frames to be used for analysis from the images of the plurality of frames;
The product-sum calculation of data pairs of two pixels having the same acquisition time interval in the analysis area of the same image of the selected image is performed on all of the selected images, and the analysis of two different images of the selected images An image analysis apparatus comprising: an arithmetic unit that calculates a correlation value by performing a product-sum calculation of data pairs of two pixels having the same acquisition time interval in an area.
前記解析領域の区分値を算出し、
前記複数フレームの画像を前記区分値に基づいて複数グループに分類し、
前記グループごとに前記解析領域の平均画像を算出し、
前記グループごとに前記解析領域の各画像から前記平均画像を減算して前記解析領域の再構築画像を算出し、
再構築画像に対して相関値を計算する、請求項１３に記載の画像解析装置。 The computing unit is
Calculate the segment value of the analysis area,
Classifying the images of the plurality of frames into a plurality of groups based on the partition values;
Calculate an average image of the analysis area for each group,
Subtracting the average image from each image of the analysis region for each group to calculate a reconstructed image of the analysis region,
The image analysis apparatus according to claim 13, wherein a correlation value is calculated for the reconstructed image.
前記複数フレームの画像を複数ブロックに分割し、
前記複数ブロックごとに相関値を計算し、
前記複数ブロックごとに計算された相関値の平均値を計算する、請求項１３または１４に記載の画像解析装置。 The computing unit is
Dividing the image of the plurality of frames into a plurality of blocks;
Calculating a correlation value for each of the plurality of blocks;
The image analysis apparatus according to claim 13, wherein an average value of correlation values calculated for each of the plurality of blocks is calculated.
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2009238442A JP5508809B2 (en) | 2009-10-15 | 2009-10-15 | Image analysis method and image analysis apparatus |
| PCT/JP2010/068192 WO2011046212A1 (en) | 2009-10-15 | 2010-10-15 | Image analyzing method and image analyzing device |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2009238442A JP5508809B2 (en) | 2009-10-15 | 2009-10-15 | Image analysis method and image analysis apparatus |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2011085486A JP2011085486A (en) | 2011-04-28 |
| JP5508809B2 true JP5508809B2 (en) | 2014-06-04 |
Family
ID=43876261
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2009238442A Active JP5508809B2 (en) | 2009-10-15 | 2009-10-15 | Image analysis method and image analysis apparatus |
Country Status (2)
| Country | Link |
|---|---|
| JP (1) | JP5508809B2 (en) |
| WO (1) | WO2011046212A1 (en) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2012008055A (en) | 2010-06-25 | 2012-01-12 | Olympus Corp | Method and device for analyzing image |
| CN103189737B (en) * | 2010-10-29 | 2017-05-31 | 奥林巴斯株式会社 | Image analysis method and image analysis apparatus |
| JP5856814B2 (en) | 2011-11-10 | 2016-02-10 | オリンパス株式会社 | Image analysis method and image analysis apparatus |
Family Cites Families (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH0993588A (en) * | 1995-09-28 | 1997-04-04 | Toshiba Corp | Moving image processing method |
| JP3984132B2 (en) * | 2002-09-17 | 2007-10-03 | オリンパス株式会社 | Fluorescence spectrometer |
| JP4615941B2 (en) * | 2004-09-10 | 2011-01-19 | オリンパス株式会社 | Optical signal analysis method |
| JP5161427B2 (en) * | 2006-02-20 | 2013-03-13 | 株式会社東芝 | Image photographing apparatus, image processing apparatus, and program |
| WO2008087869A1 (en) * | 2007-01-16 | 2008-07-24 | Olympus Corporation | Fluorescent signal analyzing apparatus and fluorescent signal analyzing method |
| JP5354938B2 (en) * | 2007-05-02 | 2013-11-27 | オリンパス株式会社 | Fluorescence microscope device |
| JP5208824B2 (en) * | 2009-03-18 | 2013-06-12 | オリンパス株式会社 | Image acquisition apparatus, image acquisition method, and program |
| JP2010217716A (en) * | 2009-03-18 | 2010-09-30 | Victor Co Of Japan Ltd | Electronic equipment |
| JP5468805B2 (en) * | 2009-03-31 | 2014-04-09 | オリンパス株式会社 | Image analysis method and image analysis apparatus |
| JP5566055B2 (en) * | 2009-07-10 | 2014-08-06 | オリンパス株式会社 | Image analysis method and image analysis apparatus |
-
2009
- 2009-10-15 JP JP2009238442A patent/JP5508809B2/en active Active
-
2010
- 2010-10-15 WO PCT/JP2010/068192 patent/WO2011046212A1/en active Application Filing
Also Published As
| Publication number | Publication date |
|---|---|
| WO2011046212A1 (en) | 2011-04-21 |
| JP2011085486A (en) | 2011-04-28 |
| WO2011046212A9 (en) | 2011-07-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US9383570B2 (en) | Image analysis method and image analysis apparatus | |
| JP5489469B2 (en) | Fluorescence signal analysis apparatus and fluorescence signal analysis method | |
| JP5508808B2 (en) | Image analysis method and image analysis apparatus | |
| JP4109587B2 (en) | Method and arrangement for changing under control the spectral composition and / or intensity of illumination light and / or sample light | |
| JP5468805B2 (en) | Image analysis method and image analysis apparatus | |
| US20220205919A1 (en) | Widefield, high-speed optical sectioning | |
| JP2012008055A5 (en) | ||
| JP5566055B2 (en) | Image analysis method and image analysis apparatus | |
| WO2012056580A1 (en) | Image analysis method and image analysis device | |
| WO2013080808A1 (en) | Image processing device, microscope system, image processing method and image processing program | |
| JP5856814B2 (en) | Image analysis method and image analysis apparatus | |
| JP5508809B2 (en) | Image analysis method and image analysis apparatus | |
| WO2012056578A1 (en) | Image analysis method and image analysis device | |
| JP5489541B2 (en) | Image analysis method and image analysis apparatus | |
| CN114442298A (en) | Apparatus and method for capturing image data | |
| CN110869747A (en) | Sample observation device and sample observation method |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20120925 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20131210 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20140122 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20140304 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20140324 |
|
| S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |