WO2010140609A1 - 画像処理装置、プログラム、および、顕微鏡 - Google Patents

画像処理装置、プログラム、および、顕微鏡 Download PDF

Info

Publication number
WO2010140609A1
WO2010140609A1 PCT/JP2010/059318 JP2010059318W WO2010140609A1 WO 2010140609 A1 WO2010140609 A1 WO 2010140609A1 JP 2010059318 W JP2010059318 W JP 2010059318W WO 2010140609 A1 WO2010140609 A1 WO 2010140609A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
microscope
sample
reference point
confocal
Prior art date
Application number
PCT/JP2010/059318
Other languages
English (en)
French (fr)
Inventor
岡本　高明
Original Assignee
株式会社ニコン
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社ニコン filed Critical 株式会社ニコン
Priority to EP10783391.5A priority Critical patent/EP2439576B1/en
Priority to CN201080024155.9A priority patent/CN102449527B/zh
Priority to JP2011518464A priority patent/JP5447516B2/ja
Publication of WO2010140609A1 publication Critical patent/WO2010140609A1/ja
Priority to US13/310,178 priority patent/US9030546B2/en

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/365—Control or image processing arrangements for digital or video microscopes
    • G02B21/367—Control or image processing arrangements for digital or video microscopes providing an output produced by processing a plurality of individual source images, e.g. image tiling, montage, composite images, depth sectioning, image comparison
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/0004—Microscopes specially adapted for specific applications
    • G02B21/0088—Inverse microscopes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B15/00—Optical objectives with means for varying the magnification
    • G02B15/02—Optical objectives with means for varying the magnification by changing, adding, or subtracting a part of the objective, e.g. convertible objective
    • G02B15/04—Optical objectives with means for varying the magnification by changing, adding, or subtracting a part of the objective, e.g. convertible objective by changing a part
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10056—Microscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10064—Fluorescence image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30024—Cell structures in vitro; Tissue sections in vitro

Definitions

  • the present invention relates to an image processing apparatus, a program, and a microscope, and in particular, an image processing apparatus, a program, and a program suitable for use when superimposing an image photographed by a total reflection microscope and an image photographed by a confocal microscope, And a microscope.
  • a TIRF image an image obtained by a total reflection microscope
  • a confocal microscope an image obtained by a confocal microscope
  • the sample image acquisition method illumination method
  • the observation range sample depth direction
  • image size are different between the TIRF image and the confocal image. Etc. are different. Therefore, in order to superimpose two images, it is necessary to perform corrections such as enlargement, reduction, rotation, translation, and reversal of the images.
  • the present invention has been made in view of such a situation. For example, images acquired by microscopes using different observation techniques such as TIRF images and confocal images can be easily and accurately superimposed. It is to make.
  • the image processing apparatus includes a first image related to a predetermined surface of a sample acquired using the first microscope and a second image related to the predetermined surface of the sample acquired using a second microscope.
  • Reference point detecting means for detecting three or more points as images corresponding to each other as images of the same position in the predetermined plane of the sample, and the reference point in the first image.
  • Calculation means for calculating a conversion coefficient for mutually converting the first coordinate system and the second coordinate system of the reference point in the second image.
  • the first image related to the predetermined surface of the sample acquired using the first microscope and the first surface related to the predetermined surface of the sample acquired using the second microscope are detected as reference points, respectively, and the first coordinates of the reference points in the first image are detected.
  • a conversion coefficient for converting between the system and the second coordinate system of the reference point in the second image is calculated.
  • the program according to the first aspect of the present invention includes a first image relating to a predetermined surface of a sample obtained using a first microscope and a second image relating to the predetermined surface of the sample obtained using a second microscope.
  • three or more images are detected as reference points that are associated with each other as images of the same position within the predetermined plane of the sample, and the first coordinate system of the reference point in the first image and the This is for causing a computer to execute a process including a step of calculating a conversion coefficient for mutually converting the second coordinate system of the reference point in the second image.
  • the first image related to the predetermined surface of the sample acquired using the first microscope and the second image related to the predetermined surface of the sample acquired using the second microscope are detected as reference points from the images, and the first coordinate system of the reference points in the first image is detected.
  • a conversion coefficient for mutually converting the second coordinate system of the reference point in the second image is calculated.
  • the microscope according to the second aspect of the present invention is a microscope that can be used as the first microscope and the second microscope, the first image obtained by photographing the sample when used as the first microscope, and the first microscope.
  • reference point detection means for detecting three or more reference points corresponding to the same position of the sample, and based on the detected reference point
  • calculating means for calculating a conversion coefficient for mutually converting the first coordinate system in the first image and the second coordinate system in the second image.
  • the second aspect of the present invention in the first image obtained by photographing a sample when used as a first microscope and the second image obtained by photographing the sample when used as a second microscope, 3 or more reference points corresponding to the same position are detected, and based on the detected reference points, a first coordinate system in the first image and a second coordinate system in the second image are obtained. Conversion coefficients for mutual conversion are calculated.
  • the coordinate system of an image photographed with a total reflection microscope and the coordinate system of an image photographed with a confocal microscope can be mutually converted.
  • the image photographed with the total reflection microscope and the image photographed with the confocal microscope can be easily and accurately superimposed.
  • the microscope system 1 is configured to include a microscope 11, an image generation circuit 12, an imaging device 13, an image generation circuit 14, a computer 15, and a display device 16.
  • the microscope 11 can be used as a confocal microscope or a total reflection microscope by changing the setting positions of the lens support member 35 and the optical element support member 36.
  • the lens support member 35 is constituted by, for example, a rotating turret, and is disposed so as to be rotatable about the rotation shaft 35a.
  • the lens support member 35 includes a second relay lens system 51 and a third relay lens system 52.
  • the optical element support member 36 is constituted by, for example, a rotating turret or the like, and is disposed so as to be rotatable around the rotation shaft 36a.
  • the optical element support member 36 includes an optical path dividing optical element 36b in which a beam splitter 61 and an illumination light cut filter 62 are integrally provided.
  • the second relay lens system 51 of the lens support member 35 is inserted on the optical axis of the microscope 11, and the optical path dividing optical element 36 b of the optical element support member 36 is on the optical axis of the microscope 11. If it is set not to be inserted into the microscope 11, the microscope 11 can be used as a confocal microscope.
  • the microscope 11 when the third relay lens system 52 of the lens support member 35 and the optical path splitting optical element 36b of the optical element support member 36 are set to be inserted on the optical axis of the microscope 11.
  • the microscope 11 can be used as a total reflection microscope.
  • Illumination light emitted from the laser illumination light source 31 passes through the beam splitter 32 and enters the two-dimensional scanner 33. Then, the confocal light emitted from the two-dimensional scanner 33 enters the objective lens 37 through the first relay lens system 34 and the second relay lens system 51, and is placed on the cover glass 2. Condensed to
  • control circuit 41 controls two scanners that are provided in the two-dimensional scanner 33 and whose light deflection directions are orthogonal to each other, based on a control signal supplied from the computer 15.
  • the confocal light is scanned in the two-dimensional plane of the sample 3 while controlling the scanning speed.
  • Light (fluorescence) from the sample 3 is collected by the objective lens 37, passes through the same optical path as the confocal light, is reflected by the beam splitter 32 toward the imaging lens 38, and the imaging lens 38 and the pinhole 39. Then, an image is formed on the photomultiplier 40.
  • the photomultiplier 40 detects the intensity of the imaged light, and supplies a light detection signal representing the detected light intensity to the image generation circuit 12.
  • the image generation circuit 12 Based on the control signal supplied from the computer 15, the image generation circuit 12 performs image processing for arranging the light detection signals from the photomultiplier 40 one pixel at a time according to the scanning speed by the two-dimensional scanner 33, thereby confocal. A confocal image that is an image observed by a microscope is generated. The image generation circuit 12 supplies the generated confocal image to the computer 15, and the display device 16 displays the confocal image under the control of the computer 15.
  • the illumination light (hereinafter referred to as TIRF light) emitted from the laser illumination light source 31 passes through the beam splitter 32 and enters the two-dimensional scanner 33.
  • the TIRF light emitted from the two-dimensional scanner 33 enters the first relay lens system 34, and the objective lens 37 passes through the relay lens system 52a and the relay lens system 52b that constitute the third relay lens system 52. Is condensed near the entrance pupil plane (image-side focal plane) I. Then, the TIRF light passes through the objective lens 37 to become substantially parallel light and is irradiated onto the sample 3.
  • the control circuit 41 adjusts the position where the TIRF light is incident on the entrance pupil plane I of the objective lens 37 by controlling the scanning operation of the two-dimensional scanner 33 based on the control signal supplied from the computer 15. To do. Then, as the incident position of the TIRF light is moved from the center of the entrance pupil plane I to the periphery, the incident angle of the TIRF light on the sample 3 increases. When the incident angle exceeds a predetermined angle, the TIRF light is converted into the sample 3 And the cover glass 2 are totally reflected at the boundary surface S. In this total reflection state, evanescent light is generated in the vicinity of the boundary surface S, and only a very thin range in the vicinity of the boundary surface S of the sample 3 is irradiated with the evanescent light.
  • the light (fluorescence) from the sample 3 excited by the evanescent light is collected by the objective lens 37 and reflected by the beam splitter 61 in the direction of the illumination light cut filter 62, and the illumination light cut filter 62 and the imaging lens.
  • An image is formed on the image pickup device (for example, a CCD camera) 13 via 42.
  • the TIRF image which is an observation image with a total reflection microscope is image
  • the TIRF image captured by the imaging device 13 is processed by the image generation circuit 14 and supplied to the computer 15, and the display device 16 displays the TIRF image under the control of the computer 15.
  • the computer 15 automatically generates a TIRF image obtained when the microscope 11 is used as a total reflection microscope and a confocal image obtained when the microscope 11 is used as a confocal microscope. It has the function to overlap automatically.
  • FIG. 3 shows a configuration example of the image processing unit 101 that is one of the functions realized by the computer 15 executing a predetermined control program.
  • the image processing unit 101 has a function of automatically superimposing a TIRF image and a confocal image.
  • the reference point detection unit 111 sets 3 reference points corresponding to the same position of the sample 3 in the TIRF image supplied from the image generation circuit 14 and the confocal image supplied from the image generation circuit 12. Detect points or more.
  • the reference point detection unit 111 notifies the coordinate conversion coefficient calculation unit 112 of the coordinates of the detected reference point in the coordinate system of each image.
  • the coordinate conversion coefficient calculation unit 112 calculates a coordinate conversion coefficient for mutually converting the coordinate system of the TIRF image and the coordinate system of the confocal image based on the reference point detected by the reference point detection unit 111.
  • the coordinate conversion coefficient calculation unit 112 notifies the superimposition unit 113 of the calculated coordinate conversion coefficient.
  • the superposition unit 113 is supplied from the image generation circuit 14 using the coordinate conversion coefficient calculated by the coordinate conversion coefficient calculation unit 112 in accordance with a command input from the user via an operation unit (not shown) of the computer 15.
  • the TIRF image and the confocal image supplied from the image generation circuit 12 are superimposed.
  • the superimposing unit 113 outputs the superimposed image to a subsequent stage (for example, a display control device of the computer 15).
  • the superimposing unit 113 instructs the reference point detection unit 111 and the coordinate conversion coefficient calculation unit 112 to calculate the coordinate conversion coefficient and supplies the TIRF image and the confocal image to the reference point detection unit 111 as necessary. To do.
  • step S1 the microscope system 1 acquires a TIRF image of the sample specimen 201. Specifically, first, instead of the sample 3, the user places the sample sample 201 shown in FIG. 5 on the cover glass 2 on the stage of the microscope 11, and uses the microscope 11 as a total reflection microscope. Set to state (state in FIG. 2).
  • the sample 201 has three points M1 to M3 (hereinafter referred to as markers M1 to M3) stained with a reagent that emits fluorescence when irradiated with light of a predetermined wavelength. Further, the positions of the markers M1 to M3 are set so that the length of each side of the triangle formed by the markers M1 to M3 and the angle of each point are different so that the positions of the markers M1 to M3 can be clearly distinguished. Is done.
  • the microscope system 1 images the sample specimen 201 by the imaging device 13 in a state where the TIRF light having a wavelength for exciting the markers M1 to M3 is totally reflected by the boundary surface S between the cover glass 2 and the sample specimen 201.
  • the imaging device 13 supplies the TIRF image of the sample specimen 201 obtained as a result of imaging to the reference point detection unit 111 via the image generation circuit 14.
  • step S2 the microscope system 1 acquires a confocal image of the sample specimen 201.
  • the user sets the microscope sample 11 to be used as a confocal microscope (state shown in FIG. 1) while the sample specimen 201 is placed on the cover glass 2 on the stage of the microscope 11. .
  • the microscope system 1 scans the boundary surface S between the cover glass 2 and the sample specimen 201 with the confocal light having a wavelength for exciting the markers M1 to M3 (scans the same surface as the TIRF light), and the photomultiplier. 40 detects the intensity of light from the sample 201.
  • the photomultiplier 40 supplies a light detection signal representing the detected light intensity to the image generation circuit 12, and the image generation circuit 12 generates a confocal image of the sample specimen 201 based on the light detection signal.
  • the image generation circuit 12 supplies the generated confocal image to the reference point detection unit 111.
  • the reference point detection unit 111 detects the coordinates of the markers M1 to M3 in the TIRF image. Specifically, the reference point detection unit 111 detects a bright spot area due to fluorescence emitted from the markers M1 to M3 in the TIRF image, and obtains coordinates in the coordinate system of the TIRF image of the center of gravity of the detected bright spot area. . In addition, the reference point detection unit 111 compares the triangle having the centroid of each bright spot area of the TIRF image with the known triangle having the vertices of the markers M1 to M3, and thereby coordinates of the centroid of each bright spot area. Are respectively associated with the markers M1 to M3. Then, the reference point detection unit 111 notifies the coordinate conversion coefficient calculation unit 112 of the coordinates of the markers M1 to M3 associated with each other in the TIRF image.
  • step S4 the reference point detection unit 111 detects the coordinates of the markers M1 to M3 in the confocal image by the same processing as in step S3, and performs coordinate conversion on the coordinates of the markers M1 to M3 associated in the confocal image.
  • the coefficient calculation unit 112 is notified.
  • step S5 the coordinate conversion coefficient calculation unit 112 calculates a coordinate conversion coefficient between the coordinate system of the TIRF image and the coordinate system of the confocal image.
  • the relationship between the TIRF image obtained by photographing the same surface of the sample specimen 201 and the confocal image is a relationship of secondary transformation (enlargement, reduction, rotation, translation, inversion).
  • secondary transformation enlargement, reduction, rotation, translation, inversion
  • the inversion of the image can be easily determined and corrected visually, and since the presence or absence of occurrence is known in advance by the configuration of the photographing optical system, if excluded from the processing target of the image processing unit 101,
  • the coordinate system of the TIRF image and the coordinate system of the confocal image can be converted into each other by Helmat transform.
  • ⁇ represents the rotation angle of the coordinate axis when the coordinate axis of the coordinate system A is aligned with the coordinate axis of the coordinate system B
  • the coefficients c and d are the origins when the coordinate axis of the coordinate system A is aligned with the coordinate axis of the coordinate system B.
  • the amount of parallel movement in the x-axis direction and the y-axis direction is shown.
  • a cos ⁇
  • b sin ⁇
  • Expression (1) and Expression (2) are expressed by a matrix, the following Expression (3) is obtained.
  • the coordinates of the markers M1 to M3 in the coordinate system of the TIRF image are (X 1 , Y 1 ) to (X 3 , Y 3 ), and the coordinates of the markers M1 to M3 in the coordinate system of the confocal image are (x 1 , y 1 ) to (x 3 , y 3 ), the coordinates (X 1 , Y 1 ) to (X 3 , Y 3 ) and the coordinates (x 1 , y 1 ) to (x 3 , y 3 ) Is represented by the following formula (4).
  • the coefficients a to d that minimize the errors vx 1 to vy 3 can be obtained by the following equations (5) to (8) using the least square method.
  • the coordinate conversion coefficient calculator 112 uses the markers M1 to M3 as reference points to convert the coordinate conversion coefficients a to d for mutually converting the coordinate system of the TIRF image and the coordinate system of the confocal image. And the coordinate conversion coefficients a to d are supplied to the superimposing unit 113. Thereafter, the coordinate conversion coefficient calculation process ends.
  • the microscope system 1 acquires a TIRF image of the sample 3. Specifically, first, the user places the sample 3 to be observed on the cover glass 2 on the stage of the microscope 11, and sets the microscope 11 to be used as a total reflection microscope (state shown in FIG. 2). .
  • the microscope system 1 photographs the sample 3 with the imaging device 13 in a state where the TIRF light is totally reflected at the boundary surface S between the sample 3 shown in FIG. 7 and the cover glass 2 (not shown in FIG. 7). To do. Thereby, light is irradiated only to a very thin range in the vicinity of the boundary surface S, and the sample 3 is photographed with little background light.
  • the imaging device 13 supplies the TIRF image of the sample 3 to the superposition unit 113 via the image generation circuit 14.
  • FIG. 8 shows an example of the TIRF image of the sample 3.
  • the white bright spot in the TIRF image 211 includes a portion that is stained with a reagent and excited by TIRF light to emit fluorescence.
  • a plane cut plane perpendicular to the optical axis of the microscope 11
  • the microscope system 1 detects the intensity of light from the sample 3 with the photomultiplier 40 in synchronization with the scanning of the confocal light, and the image generating circuit 12 uses the confocal image of the cut surface at the position Z1 of the sample 3. Is generated. Similarly, the microscope system 1 generates a confocal image of each cut surface at the positions Z2 to Z6 of the sample 3, for example.
  • the image generation circuit 12 supplies the generated confocal image to the overlay unit 113.
  • FIG. 10 shows an example of a confocal image of the sample 3.
  • the white bright spot in the confocal image 221 includes a portion that is stained with a reagent and excited by the confocal light to emit fluorescence.
  • the superimposing unit 113 superimposes the TIRF image and the confocal image.
  • the user operates an operation unit (not shown) of the computer 15 to select a TIRF image and a desired confocal image, and the operation unit notifies the superposition unit 113 of the information.
  • the superposition unit 113 uses the coordinate conversion coefficient calculated by the coordinate conversion coefficient calculation unit 112 to generate an image obtained by converting the coordinate system of the confocal image selected by the user into the coordinate system of the TIRF image.
  • the superimposing unit 113 generates an image in which the TIRF image selected by the user and the confocal image obtained by converting the coordinate system are superimposed.
  • the display device 16 displays the superimposed image under the control of the computer 15. Thereafter, the overlay process ends.
  • FIG. 11 shows an image obtained by superimposing the TIRF image 211 of FIG. 8 and the confocal image 221 of FIG.
  • the number of TIRF images and confocal images to be superimposed is not particularly limited. For example, it is possible to superimpose TIRF images and confocal images one by one, or in the thickness direction of the sample 3. It is also possible to superimpose a three-dimensional image obtained by superimposing confocal images of each cut surface and a TIRF image.
  • the TIRF image and the confocal image can be easily and accurately superimposed.
  • step S41 the TIRF image of the sample 3 is acquired in the same manner as in step S21 of FIG.
  • the acquired TIRF image is supplied to the overlay unit 113.
  • step S42 a confocal image of the sample 3 is acquired in the same manner as in step S22 of FIG. At this time, as shown in FIG. 13, not only the confocal image of each cut surface at the positions Z1 to Z6 of the sample 3, but also the confocal image at the boundary surface S between the cover glass 2 and the sample 3 is obtained. To be acquired. The acquired confocal image is supplied to the overlay unit 113.
  • the confocal image 301 in FIG. 14 shows an example of the confocal image on the boundary surface S of the sample 3.
  • the confocal image 301 in FIG. 14 shows an example of the confocal image on the boundary surface S of the sample 3.
  • step S43 the superimposing unit 113 determines whether it is necessary to calculate a coordinate conversion coefficient. If it is determined that a coordinate conversion coefficient needs to be calculated, the process proceeds to step S44.
  • the conditions for determining that the calculation of the coordinate conversion coefficient is necessary are, for example, when the calculation of the coordinate conversion coefficient is instructed by the user, or the components of the optical system of the microscope 1 (for example, the objective lens 37). It is conceivable that the above-described replacement or setting change has been performed, the coordinate conversion coefficient has not been calculated yet, or the sample 3 has been changed.
  • step S44 the reference point detection unit 111 extracts a bright spot of the TIRF image.
  • the superimposing unit 113 supplies the TIRF image and the confocal image on the boundary surface S to the reference point detection unit 111, and calculates the coordinate conversion coefficient to the reference point detection unit 111 and the coordinate conversion coefficient calculation.
  • the reference point detection unit 111 binarizes the TIRF image using a predetermined threshold. That is, for each pixel of the TIRF image, the reference point detection unit 111 sets the pixel value of a pixel whose luminance is equal to or higher than a predetermined threshold to the maximum value (white), and sets the pixel value of a pixel whose luminance is lower than the predetermined threshold to 0.
  • a binarized image set to (black) is generated.
  • the binarized image 311 of FIG. 15 is obtained by binarizing the TIRF image 211 of FIG.
  • a pixel whose pixel value is set to the maximum value is referred to as a white pixel
  • a pixel whose pixel value is set to 0 is referred to as a black pixel.
  • the reference point detection unit 111 extracts, as a bright spot area, a region in which a predetermined number (for example, 2) or more of white pixels are adjacent to each other in the vertical, horizontal, or diagonal directions in the binarized image of the TIRF image. To do. Then, the reference point detection unit 111 obtains coordinates in the coordinate system of the TIRF image of the center of gravity (hereinafter simply referred to as “bright spot”) of each bright spot area.
  • a predetermined number for example, 2 or more of white pixels are adjacent to each other in the vertical, horizontal, or diagonal directions in the binarized image of the TIRF image.
  • FIG. 16 shows the positions of the bright spots Pt1 to Pt16 detected from the binarized image 311 of FIG.
  • step S45 the reference point detection unit 111 lists combinations of three bright spots of the TIRF image. For example, in the case of the binarized image 311 in FIG. 16, (bright spot Pt1, bright spot Pt2, bright spot Pt3), (bright spot Pt1, bright spot Pt2, bright spot Pt4), ..., (bright spot Pt14, 560 sets of combinations of three bright spots, bright spot Pt15 and bright spot Pt16), are listed.
  • the reference point detection unit 111 calculates an angle between three points of each combination of bright spots of the listed TIRF images. For example, in the case of a combination of the bright spot Pt1, the bright spot Pt2, and the bright spot Pt3 of the binarized image 311, the angles of the respective vertices of the triangle having the bright spot Pt1, the bright spot Pt2, and the bright spot Pt3 as vertices are calculated. . And calculate the angle of each vertex of this triangle. This is done for all combinations of bright spots that have been stopped.
  • step S47 the bright spot of the confocal image is extracted by the same processing as in step S44, and the coordinates of the extracted bright spot in the coordinate system of the confocal image are obtained.
  • FIG. 17 shows a binarized image 321 obtained by binarizing the confocal image 301 of FIG.
  • FIG. 18 shows the positions of the bright spots Pc1 to Pc7 extracted from the binarized image 321.
  • step S48 combinations of three bright spots of the confocal image are listed by the same processing as in step S45.
  • step S49 an angle between three points of each combination of bright spots in the listed confocal image is calculated by the same processing as in step S46.
  • the illuminating light irradiation range is different between the TIRF image and the confocal image, and thus the extracted bright spots do not necessarily match. That is, when capturing a TIRF image, the TIRF light is irradiated only to a very shallow range near the boundary surface S of the sample 3, whereas when capturing a confocal image, the confocal light is irradiated to a position deeper than the TIRF light. .
  • FIG. 19 shows a longitudinal section of the sample 3, and points P1 to P4 indicate positions stained with the reagent.
  • the boundary surface S of the sample 3 is irradiated with TIRF light
  • the TIRF light is irradiated from the boundary surface S to a range of depth D1
  • points P1 to P3 within the irradiation range are excited to emit fluorescence.
  • confocal light is condensed on the boundary surface S of the sample 3
  • the confocal light diverging from the boundary surface S to the range of the depth D2 is irradiated, and the points P1 to P4 within the irradiation range are excited to emit fluorescence.
  • the TIRF image three points P1 to P3 are extracted as bright points
  • points P1 to P4 regions substantially conjugate to the pinhole 39
  • the extracted bright spots do not match.
  • FIG. 20 shows an example of the luminance distribution of the TIRF image obtained by photographing the boundary surface S of the sample 3
  • FIG. 21 shows an example of the luminance distribution of the confocal image obtained by photographing the boundary surface S of the sample 3.
  • the horizontal axis indicates luminance
  • the vertical axis indicates the number of pixels.
  • the bright spot extracted from the TIRF image is associated with the bright spot extracted from the confocal image, and the reference point used for calculating the coordinate conversion coefficient is determined.
  • the reference point detection unit 111 extracts a pair of bright spot combinations in which the angles between the three points coincide in the TIRF image and the confocal image. That is, the reference point detection unit 111 performs the following processing for all pairs including one of the combinations of three bright spots of the TIRF image and one of the combinations of three bright spots of the confocal image. The angle between the three points is compared, and a pair whose angle difference is within a predetermined range is extracted.
  • a pair consisting of a combination of bright spots A to C of a TIRF image and a combination of bright spots P to R of a confocal image.
  • a predetermined range for example, within 3 degrees
  • the pairs of the bright spots A to C and the bright spots P to R are extracted as a pair of bright spots in which the angles between the three points coincide with each other.
  • the difference exceeds a predetermined range, a pair of bright spots A to C and bright spots P to R is not extracted as a pair of bright spot combinations having the same angle between the three points.
  • step S51 the reference point detection unit 111 classifies the pairs of bright spot combinations having the same angle between the three points based on the ratio of the lengths between the three points. Specifically, for each pair of bright spot combinations extracted in step S50, the reference point detection unit 111 sets the length between three bright spots in one combination and the three bright spot positions in the other combination. Calculate the ratio to the length of.
  • a pair of a combination of the bright spots A to C of the TIRF image and a bright spot P to R of the confocal image is extracted, and the triangle ABC and the bright spots P to R having the bright spots A to C as vertices are extracted.
  • the angle P is an angle a ⁇ angle p, the angle b ⁇ angle q, and the angle c ⁇ angle r.
  • the reference point detection unit 111 calculates this ratio ⁇ for all the extracted pairs. Then, the reference point detection unit 111 classifies each pair based on the ratio ⁇ . That is, the reference point detection unit 111 divides the value of the ratio ⁇ into a plurality of ranges at a predetermined interval, and groups pairs in which the ratio ⁇ is within the same value range into one group. As a result, pairs of bright spot combinations having three bright spot vertices with a close ratio of triangle sizes are grouped into one group.
  • the reference point detection unit 111 sets a bright point belonging to the group having the largest number of pairs as a reference point. That is, the reference point detection unit 111 sets, as a reference point, a bright spot that belongs to a group having the largest number of pairs among groups of bright spot combinations classified based on the ratio ⁇ .
  • a combination of bright spot combinations is classified into group 1 and group 2, and a pair of bright spots A, B, and C of a TIRF image and bright spots P, Q, and R of a confocal image belong to group 1.
  • a pair of bright spots A, B, and D of a TIRF image and bright spots P, Q, and S of a confocal image, and bright spots B, D, and F of a TIRF image and bright spots Q, S of a confocal image , T belong to group 2, the bright spots A, B, D, F of the TIRF image belonging to group 2 with a large number of pairs and the bright spots P, Q, S, T of the confocal image The reference point is set.
  • the bright spot corresponding to the same position of the sample 3 in the TIRF image and the confocal image is detected as the reference point, while the bright spot existing only in one of the TIRF image and the confocal image. Is prevented from being detected as a reference point.
  • step S53 the coordinate conversion coefficient between the coordinate system of the TIRF image and the coordinate system of the confocal image is calculated based on the set reference point, as in the process of step S5 of FIG. Thereafter, the process proceeds to step S54.
  • step S43 determines whether the calculation of the coordinate conversion coefficient is necessary. If it is determined in step S43 that the calculation of the coordinate conversion coefficient is not necessary, the processes in steps S44 to S53 are skipped, and the process proceeds to step S54.
  • step S54 the TIRF image and the confocal image are superimposed and displayed on the display device 16 in the same manner as in step S23 of FIG.
  • the coordinate conversion coefficient is calculated based on the image obtained by photographing the actual sample 3 without using the sample sample 201, and the TIRF image and the confocal image can be superimposed. Therefore, it is possible to save time and labor for exchanging samples, and it is possible to more easily superimpose the TIRF image and the confocal image.
  • the coordinate conversion coefficient may be calculated every time without performing the determination process in step S43. Further, when four or more reference points are detected from each image in the processes of steps S50 to S52, the coordinate conversion coefficient may be calculated using only three of them.
  • the process of superimposing the TIRF image and the confocal image taken using the same microscope 11 has been described.
  • the present invention is similar to the TIRF image obtained by photographing the same sample using a different microscope.
  • the present invention can also be applied when superimposing a focal image.
  • the coordinate system of the confocal image is converted to the coordinate system of the TIRF image, and the images are superimposed, but conversely, the coordinate system of the TIRF image is changed to the coordinate system of the confocal image. It is also possible to convert and superimpose the images. Alternatively, the coordinate system of the TIRF image and the coordinate system of the confocal image may be converted into a third coordinate system different from the two coordinate systems, and the images may be superimposed.
  • the superposition processing of the confocal image and the TIRF image has been described.
  • the confocal image and the fluorescence observation image obtained by a so-called ordinary optical microscope
  • the super-resolution image obtained by a so-called ordinary optical microscope
  • a phase difference observation image obtained with a phase contrast microscope
  • the superimposition process with any one of the TIRF image and the fluorescence observation image, the super-resolution image, and the phase difference observation image may be performed.
  • the function of the image processing unit 101 is not necessarily installed in the computer 15, and may be installed in the microscope 11, for example.
  • the series of processes described above can be executed by hardware or software.
  • a series of processing is executed by software
  • a program constituting the software is installed in the computer 15.
  • the computer 15 includes, for example, a general-purpose personal computer capable of executing various functions by installing various programs by installing a computer incorporated in dedicated hardware.
  • the program executed by the computer 15 can be provided by being recorded on a removable medium such as a package medium.
  • the program can be provided via a wired or wireless transmission medium such as a local area network, the Internet, or digital satellite broadcasting.
  • the program can be installed in advance in the memory of the computer 15 or the like.
  • the program executed by the computer 15 may be a program that is processed in time series in the order described in this specification, or in parallel or at a necessary timing such as when a call is made. It may be a program in which processing is performed.
  • system means an overall apparatus configured by a plurality of apparatuses and means.

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Optics & Photonics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Microscoopes, Condenser (AREA)
  • Investigating, Analyzing Materials By Fluorescence Or Luminescence (AREA)
  • Studio Devices (AREA)

Abstract

　本発明は、TIRF画像とコンフォーカル画像を簡単かつ正確に重ね合わせるようにできるようにする画像処理装置、プログラム、および、顕微鏡に関する。　基準点検出部１１１は、全反射顕微鏡を用いて取得した試料の所定面に関するTIRF画像および共焦点顕微鏡を用いて取得した試料の前記所定面に関するコンフォーカル画像のなかから、互いに試料の前記所定面の同じ位置の像としてに対応付けられる像を基準点としてそれぞれ３点以上検出する。座標変換係数計算部１１２は、TIRF画像における基準点の座標系とコンフォーカル画像における基準点の座標系とを相互に変換するための座標変換係数を計算する。重ね合わせ部１１３は、その座標変換係数を用いて、TIRF画像とコンフォーカル画像とを重ね合わせる。本発明は、例えば、顕微鏡の観察画像を画像処理する画像処理装置に適用できる。

Description

画像処理装置、プログラム、および、顕微鏡
　本発明は、画像処理装置、プログラム、および、顕微鏡に関し、特に、全反射顕微鏡により撮影された画像と、共焦点顕微鏡により撮影された画像を重ね合わせる場合に用いて好適な画像処理装置、プログラム、および、顕微鏡に関する。
　従来、光学部材を切り替えることにより、全反射顕微鏡（TIRF（Total Internal Reflection Fluorescence）顕微鏡、全反射照明蛍光顕微鏡）と共焦点顕微鏡（コンフォーカル顕微鏡）の両方に使用できる顕微鏡が提案されている（例えば、特許文献１参照）。
特開２００４－８５８１１号公報
　ところで、全反射顕微鏡により得られた画像（以下、TIRF画像と称する）と、共焦点顕微鏡により得られた画像（以下、コンフォーカル画像と称する）との両方を用いて試料の現象を確認する場合、例えば、２つの画像を重ね合わせて、双方の画像に出現する物体が同一のものであるか否かを判断するときがある。しかし、全反射顕微鏡と共焦点顕微鏡とでは、試料の画像取得方法（試料への照明方法）が異なるため、TIRF画像とコンフォーカル画像とでは、観察範囲（試料の深さ方向）や画像のサイズなどが異なる。従って、２つの画像を重ね合わせるためには、画像の拡大、縮小、回転、平行移動、反転といった補正を行なう必要がある。
　しかしながら、従来の顕微鏡では、ユーザが、目視で確認しながら、画像の補正を行ない、TIRF画像とコンフォーカル画像を重ね合わせなければならなかった。
　本発明は、このような状況を鑑みてなされたものであり、例えば、TIRF画像とコンフォーカル画像のように、異なる観察手法の顕微鏡によりそれぞれ取得した画像を簡単かつ正確に重ね合わせることができるようにするものである。
　本発明の第１の側面の画像処理装置は、第１の顕微鏡を用いて取得した試料の所定面に関する第１の画像および第２の顕微鏡を用いて取得した前記試料の前記所定面に関する第２の画像のなかから、互いに前記試料の前記所定面内の同じ位置の像として対応付けられる像を基準点としてそれぞれ３点以上検出する基準点検出手段と、前記第１の画像における前記基準点の第１の座標系と前記第２の画像における前記基準点の第２の座標系とを相互に変換するための変換係数を計算する計算手段とを含む。
　本発明の第１の側面の画像処理装置においては、第１の顕微鏡を用いて取得した試料の所定面に関する第１の画像および第２の顕微鏡を用いて取得した前記試料の前記所定面に関する第２の画像のなかから、互いに前記試料の前記所定面内の同じ位置の像として対応付けられる像が基準点としてそれぞれ３点以上検出され、前記第１の画像における前記基準点の第１の座標系と前記第２の画像における前記基準点の第２の座標系とを相互に変換するための変換係数が計算される。
　本発明の第１の側面のプログラムは、第１の顕微鏡を用いて取得した試料の所定面に関する第１の画像および第２の顕微鏡を用いて取得した前記試料の前記所定面に関する第２の画像のなかから、互いに前記試料の前記所定面内の同じ位置の像として対応付けられる像を基準点としてそれぞれ３点以上検出し、前記第１の画像における前記基準点の第１の座標系と前記第２の画像における前記基準点の第２の座標系とを相互に変換するための変換係数を計算するステップを含む処理をコンピュータに実行させるためのものである。
　本発明の第１の側面のプログラムにおいては、第１の顕微鏡を用いて取得した試料の所定面に関する第１の画像および第２の顕微鏡を用いて取得した前記試料の前記所定面に関する第２の画像のなかから、互いに前記試料の前記所定面内の同じ位置の像として対応付けられる像が基準点としてそれぞれ３点以上検出され、前記第１の画像における前記基準点の第１の座標系と前記第２の画像における前記基準点の第２の座標系とを相互に変換するための変換係数が計算される。
　本発明の第２の側面の顕微鏡は、第１の顕微鏡および第２の顕微鏡として使用することができる顕微鏡であって、第１の顕微鏡として使用した場合に試料を撮影した第１の画像および第２の顕微鏡として使用した場合に前記試料を撮影した第２の画像において、前記試料の同じ位置に対応する基準点を３点以上検出する基準点検出手段と、検出された前記基準点に基づいて、前記第１の画像における第１の座標系と前記第２の画像における第２の座標系とを相互に変換するための変換係数を計算する計算手段とを含む。
　本発明の第２の側面においては、第１の顕微鏡として使用した場合に試料を撮影した第１の画像および第２の顕微鏡として使用した場合に前記試料を撮影した第２の画像において、前記試料の同じ位置に対応する基準点が３点以上検出され、検出された前記基準点に基づいて、前記第１の画像における第１の座標系と前記第２の画像における第２の座標系とを相互に変換するための変換係数が計算される。
　本発明の第１または第２の側面によれば、全反射顕微鏡により撮影した画像の座標系と、共焦点顕微鏡により撮影した画像の座標系とを相互に変換することができる。その結果、全反射顕微鏡により撮影した画像と、共焦点顕微鏡により撮影した画像とを簡単かつ正確に重ね合わせることができる。
本発明を適用した顕微鏡システムを共焦点顕微鏡として使用する場合の構成を示す図である。 本発明を適用した顕微鏡システムを全反射顕微鏡として使用する場合の構成を示す図である。 顕微鏡システムのコンピュータにより実現される画像処理部の構成例を示すブロック図である。 顕微鏡システムにより実行される座標変換係数計算処理を説明するためのフローチャートである。 サンプル試料の例を示す図である。 顕微鏡システムにより実行される重ね合わせ処理の第１の実施の形態を説明するためのフローチャートである。 TIRF画像の撮影位置を説明するための図である。 TIRF画像の一例を示す図である。 コンフォーカル画像の撮影位置を説明するための図である。 コンフォーカル画像の一例を示す図である。 TIRF画像とコンフォーカル画像を重ね合わせた画像の一例を示す図である。 顕微鏡システムにより実行される重ね合わせ処理の第２の実施の形態を説明するためのフローチャートである。 コンフォーカル画像の撮影位置を説明するための図である。 コンフォーカル画像の一例を示す図である。 TIRF画像の２値化画像の一例を示す図である。 TIRF画像の輝点の位置を示す図である。 コンフォーカル画像の２値化画像の一例を示す図である。 コンフォーカル画像の輝点の位置を示す図である。 TIRF画像とコンフォーカル画像のコンフォーカル画像の輝点の位置の違いを説明するための図である。 TIRF画像の輝度の分布の例を示す図である。 コンフォーカル画像の輝度の分布の例を示す図である。
　以下、図を参照して、本発明の実施の形態について説明する。
　図１および図２は本発明を適用した顕微鏡システムの一実施の形態を示している。顕微鏡システム１は、顕微鏡１１、画像生成回路１２、撮像装置１３、画像生成回路１４、コンピュータ１５、および、表示装置１６を含むように構成される。
　顕微鏡１１は、レンズ支持部材３５および光学素子支持部材３６の設定位置を変えることにより、共焦点顕微鏡または全反射顕微鏡として使用することができる。
　具体的には、レンズ支持部材３５は、例えば、回転ターレットなどにより構成され、回転軸３５ａを中心に回転可能に配置されている。また、レンズ支持部材３５は、第２リレーレンズ系５１と第３リレーレンズ系５２を備えている。
　一方、光学素子支持部材３６は、例えば、回転ターレットなどにより構成され、回転軸３６ａ回りに回転可能に配置されている。また、光学素子支持部材３６は、ビームスプリッタ６１と照明光カットフィルタ６２を一体に設けた光路分割光学素子３６ｂを備えている。
　そして、図１に示されるように、レンズ支持部材３５の第２リレーレンズ系５１を顕微鏡１１の光軸上に挿入し、光学素子支持部材３６の光路分割光学素子３６ｂを顕微鏡１１の光軸上に挿入しないように設定した場合、顕微鏡１１を共焦点顕微鏡として使用することができる。一方、図２に示されるように、レンズ支持部材３５の第３リレーレンズ系５２、および、光学素子支持部材３６の光路分割光学素子３６ｂを顕微鏡１１の光軸上に挿入するように設定した場合、顕微鏡１１を全反射顕微鏡として使用することができる。
　まず、図１を参照して、顕微鏡１１を共焦点顕微鏡として使用する場合について説明する。
　レーザ照明光源３１から出射された照明光（以下、コンフォーカル光と称する）は、ビームスプリッタ３２を透過し、二次元スキャナ３３に入射する。そして、二次元スキャナ３３から出射されたコンフォーカル光は、第１リレーレンズ系３４および第２リレーレンズ系５１を介して対物レンズ３７に入射し、カバーガラス２上に載置されている試料３に集光する。
　このとき、制御回路４１は、コンピュータ１５から供給される制御信号に基づいて、二次元スキャナ３３に設けられている、光偏向方向が互いに直行する２個のスキャナを制御することにより、走査範囲や走査速度を制御しながら、試料３の二次元平面内でコンフォーカル光を走査させる。
　試料３からの光（蛍光）は、対物レンズ３７で集光され、コンフォーカル光と同じ光路を通って、ビームスプリッタ３２により結像レンズ３８の方向に反射され、結像レンズ３８とピンホール３９を介して、フォトマルチプライヤー４０に結像される。フォトマルチプライヤー４０は、結像した光の強度を検出し、検出した光の強度を表す光検出信号を画像生成回路１２に供給する。
　画像生成回路１２は、コンピュータ１５から供給される制御信号に基づいて、フォトマルチプライヤー４０からの光検出信号を、二次元スキャナ３３による走査速度に応じて１画素ずつ並べる画像処理を行ない、共焦点顕微鏡による観察画像であるコンフォーカル画像を生成する。画像生成回路１２は、生成したコンフォーカル画像をコンピュータ１５に供給し、表示装置１６は、コンピュータ１５の制御の基に、コンフォーカル画像を表示する。
　次に、図２を参照して、顕微鏡１１を全反射顕微鏡として使用する場合について説明する。
　レーザ照明光源３１から出射された照明光（以下、TIRF光と称する）は、ビームスプリッタ３２を透過し、二次元スキャナ３３に入射する。そして、二次元スキャナ３３から出射されたTIRF光は、第１リレーレンズ系３４に入射し、第３リレーレンズ系５２を構成するリレーレンズ系５２ａとリレーレンズ系５２ｂとを介して、対物レンズ３７の入射瞳面（像側焦点面）Ｉの近傍に集光する。そして、TIRF光は、対物レンズ３７を透過することにより、ほぼ平行光となり、試料３に照射される。
　このとき、制御回路４１は、コンピュータ１５から供給される制御信号に基づいて、二次元スキャナ３３の走査動作を制御することにより、TIRF光が対物レンズ３７の入射瞳面Ｉに入射する位置を調整する。そして、TIRF光の入射位置を入射瞳面Ｉの中心から周辺に移動させるにつれて、TIRF光の試料３への入射角が大きくなり、入射角が所定の角度を超えると、TIRF光は、試料３とカバーガラス２との境界面Ｓで全反射されるようになる。この全反射状態にあるとき、境界面Ｓの近傍においてエバネッセント光が発生し、試料３の境界面Ｓの近傍のごく薄い範囲のみがエバネッセント光により照射される。
　そして、エバネッセント光により励起された試料３からの光（蛍光）は、対物レンズ３７により集光され、ビームスプリッタ６１により照明光カットフィルタ６２の方向に反射され、照明光カットフィルタ６２、結像レンズ４２を介して、撮像装置（例えば、ＣＣＤカメラ等）１３に結像される。そして、撮像装置１３により、全反射顕微鏡による観察画像であるTIRF画像が撮影される。撮像装置１３により撮影されたTIRF画像は、画像生成回路１４で処理され、コンピュータ１５に供給され、表示装置１６は、コンピュータ１５の制御の基に、TIRF画像を表示する。
　また、後述するように、コンピュータ１５は、顕微鏡１１を全反射顕微鏡として使用した場合に得られたTIRF画像と、顕微鏡１１を共焦点顕微鏡として使用した場合に得られたコンフォーカル画像とを、自動的に重ね合わせる機能を有している。
　図３は、コンピュータ１５が所定の制御プログラムを実行することにより実現される機能の１つである画像処理部１０１の構成例を示している。画像処理部１０１は、TIRF画像とコンフォーカル画像を自動的に重ね合わせる機能を有している。
　具体的には、基準点検出部１１１は、画像生成回路１４から供給されるTIRF画像、および、画像生成回路１２から供給されるコンフォーカル画像において、試料３の同じ位置に対応する基準点を３点以上検出する。基準点検出部１１１は、検出した基準点の各画像の座標系における座標を座標変換係数計算部１１２に通知する。
　座標変換係数計算部１１２は、基準点検出部１１１により検出された基準点に基づいて、TIRF画像の座標系とコンフォーカル画像の座標系とを相互に変換するための座標変換係数を計算する。座標変換係数計算部１１２は、計算した座標変換係数を重ね合わせ部１１３に通知する。
　重ね合わせ部１１３は、コンピュータ１５の操作部（不図示）を介してユーザから入力される指令に従って、座標変換係数計算部１１２により計算された座標変換係数を用いて、画像生成回路１４から供給されるTIRF画像と、画像生成回路１２から供給されるコンフォーカル画像との重ね合わせを行なう。そして、重ね合わせ部１１３は、重ね合わせた画像を後段（例えば、コンピュータ１５の表示制御装置）に出力する。また、重ね合わせ部１１３は、必要に応じて、座標変換係数の計算を基準点検出部１１１および座標変換係数計算部１１２に指令するとともに、TIRF画像およびコンフォーカル画像を基準点検出部１１１に供給する。
　次に、図４のフローチャートを参照して、顕微鏡システム１により実行される座標変換係数計算処理について説明する。
　ステップＳ１において、顕微鏡システム１は、サンプル試料２０１のTIRF画像を取得する。具体的には、まず、ユーザは、試料３の代わりに、図５に示されるサンプル試料２０１を顕微鏡１１のステージ上のカバーガラス２の上に載置し、顕微鏡１１を全反射顕微鏡として使用する状態（図２の状態）に設定する。
　なお、サンプル試料２０１は、所定の波長の光を照射したときに蛍光を発する試薬により、点Ｍ１乃至Ｍ３（以下、マーカＭ１乃至Ｍ３と称する）の３点が染色されている。また、マーカＭ１乃至Ｍ３の位置は、マーカＭ１乃至Ｍ３の位置を明確に区別できるように、マーカＭ１乃至Ｍ３により形成される三角形の各辺の長さおよび各点の角度がそれぞれ異なるように設定される。
　そして、顕微鏡システム１は、マーカＭ１乃至Ｍ３を励起する波長のTIRF光を、カバーガラス２とサンプル試料２０１の境界面Ｓで全反射させた状態で、撮像装置１３によりサンプル試料２０１を撮影する。撮像装置１３は、撮影の結果得られたサンプル試料２０１のTIRF画像を、画像生成回路１４を介して、基準点検出部１１１に供給する。
　ステップＳ２において、顕微鏡システム１は、サンプル試料２０１のコンフォーカル画像を取得する。具体的には、まず、ユーザは、サンプル試料２０１を顕微鏡１１のステージ上のカバーガラス２の上に載置したまま、顕微鏡１１を共焦点顕微鏡として使用する状態（図１の状態）に設定する。そして、顕微鏡システム１は、マーカＭ１乃至Ｍ３を励起する波長のコンフォーカル光を、カバーガラス２とサンプル試料２０１の境界面Ｓ上を走査（TIRF光と同じ面を走査）させながら、フォトマルチプライヤー４０によりサンプル試料２０１からの光の強度を検出する。フォトマルチプライヤー４０は、検出した光の強度を表す光検出信号を画像生成回路１２に供給し、画像生成回路１２は、光検出信号に基づいて、サンプル試料２０１のコンフォーカル画像を生成する。画像生成回路１２は、生成したコンフォーカル画像を、基準点検出部１１１に供給する。
　ステップＳ３において、基準点検出部１１１は、TIRF画像におけるマーカＭ１乃至Ｍ３の座標を検出する。具体的には、基準点検出部１１１は、TIRF画像において、マーカＭ１乃至Ｍ３により発せられた蛍光による輝点領域を検出し、検出した輝点領域の重心のTIRF画像の座標系における座標を求める。また、基準点検出部１１１は、TIRF画像の各輝点領域の重心を頂点とする三角形を、マーカＭ１乃至Ｍ３を頂点とする既知の三角形と比較することにより、各輝点領域の重心の座標をマーカＭ１乃至Ｍ３にそれぞれ対応付ける。そして、基準点検出部１１１は、TIRF画像における対応付けしたマーカＭ１乃至Ｍ３の座標を、座標変換係数計算部１１２に通知する。
　ステップＳ４において、基準点検出部１１１は、ステップＳ３と同様の処理により、コンフォーカル画像におけるマーカＭ１乃至Ｍ３の座標を検出し、コンフォーカル画像における対応付けしたマーカＭ１乃至Ｍ３の座標を、座標変換係数計算部１１２に通知する。
　ステップＳ５において、座標変換係数計算部１１２は、TIRF画像の座標系とコンフォーカル画像の座標系との間の座標変換係数を計算する。
　サンプル試料２０１の同じ面を撮影したTIRF画像とコンフォーカル画像の関係は、２次変換（拡大、縮小、回転、平行移動、反転）の関係となる。このうち、画像の反転は、目視により簡単に判別し、修正することが可能であり、撮影光学系の構成により発生の有無が予め分かっているので、画像処理部１０１の処理対象から除外すると、TIRF画像の座標系とコンフォーカル画像の座標系とは、ヘルマート変換により相互に変換することができる。
　ここで、ヘルマート変換を用いて、座標系Ａにおける座標（X,Y）を座標系Ｂにおける座標（x,y）に変換する場合について考える。この場合、座標（X,Y）と座標（x,y）の関係は、以下の式（１）および式（２）により表される。
　x＝X・cosθ＋Y・sinθ＋c　・・・（１）
　y＝－X・sinθ＋Y・cosθ＋d　・・・（２）
　なお、θは、座標系Ａの座標軸を座標系Ｂの座標軸に合わせる場合の座標軸の回転角を示し、係数cおよび係数dは、座標系Ａの座標軸を座標系Ｂの座標軸に合わせる場合の原点のｘ軸方向およびｙ軸方向の平行移動量を示している。ここで、a＝cosθとし、b＝sinθとし、式（１）および式（２）を行列により表現すると、以下の式（３）となる。
Figure JPOXMLDOC01-appb-M000001
　従って、TIRF画像の座標系におけるマーカＭ１乃至Ｍ３の座標を（X1,Y1）乃至（X3,Y3）とし、コンフォーカル画像の座標系におけるマーカＭ１乃至Ｍ３の座標を（x1,y1）乃至（x3,y3）とすると、座標（X1,Y1）乃至（X3,Y3）と座標（x1,y1）乃至（x3,y3）との間の関係式は、以下の式（４）により表される。
Figure JPOXMLDOC01-appb-M000002
　なお、vx1乃至vy3は誤差を示している。
　そして、誤差vx1乃至vy3を最小にする係数ａ乃至dは、最小二乗法を用いて、以下の式（５）乃至（８）により求めることができる。
Figure JPOXMLDOC01-appb-M000003
　このようにして、座標変換係数計算部１１２は、マーカＭ1乃至Ｍ３を基準点として用いて、TIRF画像の座標系とコンフォーカル画像の座標系とを相互に変換するための座標変換係数ａ乃至ｄを計算し、座標変換係数ａ乃至ｄを重ね合わせ部１１３に供給する。その後、座標変換係数計算処理は終了する。
　なお、座標変換係数の計算に用いるマーカを、４点以上設定するようにしてもよい。
　次に、図６のフローチャートを参照して、顕微鏡システム１により実行される重ね合わせ処理について説明する。
　ステップＳ２１において、顕微鏡システム１は、試料３のTIRF画像を取得する。具体的には、まず、ユーザは、観察したい試料３を顕微鏡１１のステージ上のカバーガラス２の上に載置し、顕微鏡１１を全反射顕微鏡として使用する状態（図２の状態）に設定する。そして、顕微鏡システム１は、図７に示される試料３とカバーガラス２（図７では図示せず）との境界面ＳでTIRF光を全反射させた状態で、撮像装置１３により試料３を撮影する。これにより、境界面Ｓの近傍のごく薄い範囲のみに光が照射され、背景光が少ない状態で試料３が撮影される。なお、図７の縦軸は、試料３の深さ方向（＝顕微鏡１１の光軸方向）を示している。撮像装置１３は、試料３のTIRF画像を、画像生成回路１４を介して、重ね合わせ部１１３に供給する。
　図８は、試料３のTIRF画像の一例を示している。なお、TIRF画像２１１内の白い輝点は、試薬により染色され、TIRF光により励起され蛍光を発した部分を含んでいる。
　ステップＳ２２において、顕微鏡システム１は、試料３のコンフォーカル画像を取得する。具体的には、まず、ユーザは、観察したい試料３を顕微鏡１１のステージ上のカバーガラス２の上に載置したまま、顕微鏡１１を共焦点顕微鏡として使用する状態（図１の状態）に設定する。そして、顕微鏡システム１は、例えば、図９の試料３の厚さ方向（＝顕微鏡１１の光軸方向）の位置Ｚ１における平面（顕微鏡１１の光軸に垂直な切断面）上をコンフォーカル光を走査させる。そして、顕微鏡システム１は、コンフォーカル光の走査に合わせて、フォトマルチプライヤー４０により試料３からの光の強度を検出し、画像生成回路１２により、試料３の位置Ｚ１における切断面のコンフォーカル画像を生成する。同様にして、顕微鏡システム１は、例えば、試料３の位置Ｚ２乃至Ｚ６における各切断面のコンフォーカル画像を生成する。画像生成回路１２は、生成したコンフォーカル画像を重ね合わせ部１１３に供給する。
　図１０は、試料３のコンフォーカル画像の一例を示している。なお、コンフォーカル画像２２１内の白い輝点は、試薬により染色され、コンフォーカル光により励起され蛍光を発した部分を含んでいる。
ステップＳ２３において、重ね合わせ部１１３は、TIRF画像とコンフォーカル画像を重ね合わせる。具体的には、ユーザは、コンピュータ１５の操作部（不図示）を操作して、TIRF画像と所望のコンフォーカル画像を選択し、操作部は、その情報を重ね合わせ部１１３に通知する。重ね合わせ部１１３は、座標変換係数計算部１１２により計算された座標変換係数を用いて、ユーザにより選択されたコンフォーカル画像の座標系を、TIRF画像の座標系に変換した画像を生成する。また、重ね合わせ部１１３は、ユーザにより選択されたTIRF画像と、座標系を変換したコンフォーカル画像とを重ね合わせた画像を生成する。そして、表示装置１６は、コンピュータ１５の制御の基に、重ね合わせた画像を表示する。その後、重ね合わせ処理は終了する。
　図１１は、図８のTIRF画像２１１と図１０のコンフォーカル画像２２１とを重ね合わせた画像を示している。
　なお、重ね合わせるTIRF画像とコンフォーカル画像の枚数は、特に限定されるものではなく、例えば、TIRF画像とコンフォーカル画像を１枚ずつ重ね合わせることも可能であるし、試料３の厚さ方向の各切断面のコンフォーカル画像を重ね合わせた３次元画像とTIRF画像とを重ね合わせることも可能である。
　以上のようにして、TIRF画像とコンフォーカル画像を簡単かつ正確に重ね合わせることができる。
　次に、図１２のフローチャートを参照して、顕微鏡システム１により実行される重ね合わせ処理の第２の実施の形態について説明する。なお、この重ね合わせ処理の第２の実施の形態は、サンプル試料２０１を用いずに、TIRF画像とコンフォーカル画像の重ね合わせをできるようにするものである。
　ステップＳ４１において、図６のステップＳ２１の処理と同様に、試料３のTIRF画像が取得される。取得されたTIRF画像は、重ね合わせ部１１３に供給される。
　ステップＳ４２において、図６のステップＳ２２の処理と同様に、試料３のコンフォーカル画像が取得される。なお、このとき、図１３に示されるように、試料３の位置Ｚ１乃至Ｚ６における各切断面のコンフォーカル画像だけでなく、カバーガラス２と試料３との間の境界面Ｓにおけるコンフォーカル画像も取得される。取得されたコンフォーカル画像は、重ね合わせ部１１３に供給される。
　図１４のコンフォーカル画像３０１は、試料３の境界面Ｓにおけるコンフォーカル画像の一例を示している。
　ステップＳ４３において、重ね合わせ部１１３は、座標変換係数の計算が必要であるか否かを判定する。座標変換係数の計算が必要であると判定された場合、処理はステップＳ４４に進む。
　なお、座標変換係数の計算が必要であると判定される条件としては、例えば、ユーザにより座標変換係数の計算が指令された場合、または、顕微鏡１の光学系の部品（例えば、対物レンズ３７）の交換もしくは設定の変更が行なわれた場合、または、座標変換係数の計算がまだ行なわれていない場合、または、試料３が変更された場合などが考えられる。
　ステップＳ４４において、基準点検出部１１１は、TIRF画像の輝点を抽出する。具体的には、重ね合わせ部１１３は、TIRF画像、および、境界面Ｓにおけるコンフォーカル画像を基準点検出部１１１に供給するとともに、座標変換係数の計算を基準点検出部１１１および座標変換係数計算部１１２に指令する。
　基準点検出部１１１は、TIRF画像を所定の閾値を用いて２値化する。すなわち、基準点検出部１１１は、TIRF画像の各画素について、輝度が所定の閾値以上の画素の画素値を最大値（白）に設定し、輝度が所定の閾値未満の画素の画素値を０（黒）に設定した２値化画像を生成する。例えば、図８のTIRF画像２１１を２値化することにより、図１５の２値化画像３１１が得られる。
　なお、以下、２値化画像の画素のうち、画素値が最大値に設定されている画素を白色画素と称し、画素値が０に設定されている画素を黒色画素と称する。
　次に、基準点検出部１１１は、TIRF画像の２値化画像において、所定の数（例えば、２）以上の白色画素が、縦、横または斜め方向に互いに隣接する領域を輝点領域として抽出する。そして、基準点検出部１１１は、各輝点領域の重心（以下、単に「輝点」と称する）のTIRF画像の座標系における座標を求める。
　図１６は、図１５の２値化画像３１１から検出された輝点Ｐｔ１乃至Ｐｔ１６の位置を示している。
　ステップＳ４５において、基準点検出部１１１は、TIRF画像の輝点の３点ずつの組み合わせをリストアップする。例えば、図１６の２値化画像３１１の場合、（輝点Ｐｔ１、輝点Ｐｔ２、輝点Ｐｔ３）、（輝点Ｐｔ１、輝点Ｐｔ２、輝点Ｐｔ４）、・・・、（輝点Ｐｔ１４、輝点Ｐｔ１５、輝点Ｐｔ１６）の、３つの輝点からなる５６０組の組み合わせがリストアップされる。
　ステップＳ４６において、基準点検出部１１１は、リストアップしたTIRF画像の輝点の各組み合わせの３点間の角度を計算する。例えば、２値化画像３１１の輝点Ｐｔ１、輝点Ｐｔ２、輝点Ｐｔ３からなる組み合わせの場合、輝点Ｐｔ１、輝点Ｐｔ２、輝点Ｐｔ３を頂点とする三角形の各頂点の角度が計算される。そして、この三角形の各頂点の角度の計算が。リストップされた全ての輝点の組み合わせについて行なわれる。
　ステップＳ４７において、ステップＳ４４と同様の処理により、コンフォーカル画像の輝点が抽出され、抽出された各輝点のコンフォーカル画像の座標系における座標が求められる。なお、図１７は、図１４のコンフォーカル画像３０１を２値化した２値化画像３２１を示している。また、図１８は、２値化画像３２１から抽出された輝点Ｐｃ１乃至Ｐｃ７の位置を示している。
　ステップＳ４８において、ステップＳ４５と同様の処理により、コンフォーカル画像の輝点の３点ずつの組み合わせがリストアップされる。
　ステップＳ４９において、ステップＳ４６と同様の処理により、リストアップしたコンフォーカル画像の輝点の各組み合わせの３点間の角度が計算される。
　ここで、同じ試料３の境界面Ｓを撮影した画像でも、TIRF画像とコンフォーカル画像とでは、照明光の照射範囲が異なるため、抽出される輝点は必ずしも一致しない。すなわち、TIRF画像の撮影時には、試料３の境界面Ｓの近傍のごく浅い範囲のみにTIRF光が照射される一方、コンフォーカル画像の撮影時には、TIRF光より深い位置までコンフォーカル光が照射される。
　具体的には、図１９は、試料３の縦方向の断面を示しており、点Ｐ１乃至Ｐ４は試薬により染色された位置を示している。例えば、TIRF光を試料３の境界面Ｓに照射した場合、境界面Ｓから深さＤ１の範囲までTIRF光が照射され、照射範囲内の点Ｐ１乃至Ｐ３が励起され蛍光を発する。一方、コンフォーカル光を試料３の境界面Ｓに集光した場合、境界面Ｓから深さＤ２の範囲まで発散したコンフォーカル光が照射され、照射範囲内の点Ｐ１乃至Ｐ４が励起され蛍光を発する。従って、TIRF画像では、点Ｐ１乃至Ｐ３の３点が輝点として抽出され、コンフォーカル画像では、点Ｐ１乃至Ｐ４（ピンホール３９と略共役な領域）が輝点として抽出されることになり、抽出される輝点が一致しない。
　また、図２０は、試料３の境界面Ｓを撮影したTIRF画像の輝度分布の例を示しており、図２１は、試料３の境界面Ｓを撮影したコンフォーカル画像の輝度分布の例を示している。なお、図２０および図２１の横軸は輝度を示し、縦軸は画素数を示している。図２０と図２１を比較して明らかなように、コンフォーカル画像とTIRF画像とでは輝度分布が異なっているため、２つの画像間で抽出される輝点に違いが出ると考えられる。
　そこで、これから説明するステップＳ５０乃至Ｓ５２の処理で、TIRF画像から抽出された輝点とコンフォーカル画像から抽出された輝点の対応付けを行ない、座標変換係数の計算に用いる基準点を決定する。
　具体的には、ステップＳ５０において、基準点検出部１１１は、TIRF画像とコンフォーカル画像で３点間の角度が一致する輝点の組み合わせのペアを抽出する。すなわち、基準点検出部１１１は、TIRF画像の輝点の３点ずつの組み合わせのうちの１つと、コンフォーカル画像の輝点の３点ずつの組み合わせのうちの１つとからなるペアの全てについて、３点間の角度を比較し、角度の差が所定の範囲内となるペアを抽出する。
　例えば、TIRF画像の輝点Ａ乃至Ｃの組み合わせと、コンフォーカル画像の輝点Ｐ乃至Ｒの組み合わせとからなるペアについて考える。この場合、輝点Ａ乃至Ｃを頂点とする三角形ＡＢＣと、輝点Ｐ乃至Ｒを頂点とする三角形ＰＱＲのそれぞれ対応する角度の差が所定の範囲内（例えば、３度以内）であるとき、換言すれば、三角形ＡＢＣと三角形ＰＱＲがほぼ相似するとき、輝点Ａ乃至Ｃと輝点Ｐ乃至Ｒのペアは、３点間の角度が一致する輝点の組み合わせのペアとして抽出され、角度の差が所定の範囲を超えるとき、輝点Ａ乃至Ｃと輝点Ｐ乃至Ｒのペアは、３点間の角度が一致する輝点の組み合わせのペアとして抽出されない。
　ステップＳ５１において、基準点検出部１１１は、３点間の角度が一致する輝点の組み合わせのペアを、３点間の長さの比率に基づいて分類する。具体的には、基準点検出部１１１は、ステップＳ５０において抽出した輝点の組み合わせの各ペアについて、一方の組み合わせにおける輝点の３点間の長さと、他方の組み合わせにおける輝点の３点間の長さとの比率を計算する。
　例えば、TIRF画像の輝点Ａ乃至Ｃの組み合わせと、コンフォーカル画像の輝点Ｐ乃至Ｒの組み合わせのペアが抽出されており、輝点Ａ乃至Ｃを頂点とする三角形ＡＢＣと輝点Ｐ乃至Ｒを頂点とする三角形ＰＱＲで、角度ａ≒角度ｐ、角度ｂ≒角度ｑ、角度ｃ≒角度ｒである場合について考える。この場合、三角形ＡＢＣと三角形ＰＱＲはほぼ相似なので、辺ＡＢの長さ／辺ＰＱの長さ≒辺ＢＣの長さ／辺ＱＲの長さ≒辺ＣＡの長さ／辺ＲＰの長さ≒比率αとなり、この比率αが、３点間の長さの比率として求められる。
　基準点検出部１１１は、抽出した全てのペアについてこの比率αを計算する。そして、基準点検出部１１１は、比率αに基づいて各ペアを分類する。すなわち、基準点検出部１１１は、比率αの値を所定の間隔で複数の範囲に分け、比率αが同じ値の範囲内に入るペアを１つのグループにまとめる。これにより、３つの輝点を頂点とする三角形の大きさの比率が近い輝点の組み合わせのペアが、１つのグループにまとめられる。
　ステップＳ５２において、基準点検出部１１１は、最もペアの数が多いグループに属する輝点を基準点に設定する。すなわち、基準点検出部１１１は、比率αに基づいて分類した輝点の組み合わせのペアからなるグループのうち、ペアの数が最も多いグループに属する輝点を基準点に設定する。
　例えば、輝点の組み合わせのペアがグループ１とグループ２に分類され、TIRF画像の輝点Ａ、Ｂ、Ｃと、コンフォーカル画像の輝点Ｐ、Ｑ、Ｒとのペアがグループ１に属し、TIRF画像の輝点Ａ、Ｂ、Ｄと、コンフォーカル画像の輝点Ｐ、Ｑ、Ｓとのペア、および、TIRF画像の輝点Ｂ、Ｄ、Ｆと、コンフォーカル画像の輝点Ｑ、Ｓ、Ｔとのペアがグループ２に属する場合、ペアの数が多いグループ２に属するTIRF画像の輝点Ａ、Ｂ、Ｄ、Ｆ、および、コンフォーカル画像の輝点Ｐ、Ｑ、Ｓ、Ｔが、基準点に設定される。
　このステップＳ５０乃至Ｓ５２の処理により、TIRF画像およびコンフォーカル画像において試料３の同じ位置に対応する輝点が、基準点として検出される一方、TIRF画像またはコンフォーカル画像の一方のみに存在する輝点が、基準点として検出されることが防止される。
　ステップＳ５３において、図４のステップＳ５の処理と同様に、設定された基準点に基づいて、TIRF画像の座標系とコンフォーカル画像の座標系との間の座標変換係数が計算される。その後、処理はステップＳ５４に進む。
　一方、ステップＳ４３において、座標変換係数の計算が必要でないと判定された場合、ステップＳ４４乃至Ｓ５３の処理はスキップされ、処理はステップＳ５４に進む。
　ステップＳ５４において、図６のステップＳ２３の処理と同様に、TIRF画像とコンフォーカル画像とが重ね合わされて、表示装置１６に表示される。
　このようにして、サンプル試料２０１を用いずに、実際の試料３を撮影した画像に基づいて、座標変換係数が計算され、TIRF画像とコンフォーカル画像を重ね合わせることができる。従って、試料の交換などの手間を省略することができ、より簡単にTIRF画像とコンフォーカル画像を重ね合わせることができる。
　なお、図１２のフローチャートにおいて、ステップＳ４３の判定処理を行なわずに、毎回座標変換係数を計算するようにしてもよい。また、ステップＳ５０乃至Ｓ５２の処理で、各画像から基準点が４点ずつ以上検出された場合、そのうちの３点ずつのみを用いて、座標変換係数を計算するようにしてもよい。
　なお、以上の説明では、同じ顕微鏡１１を用いて撮影したTIRF画像およびコンフォーカル画像の重ね合わせを行なう処理について説明したが、本発明は、異なる顕微鏡を用いて同じ試料を撮影したTIRF画像とコンフォーカル画像とを重ね合わせる場合にも適用することができる。
　また、以上の説明では、コンフォーカル画像の座標系をTIRF画像の座標系に変換して、画像を重ね合わせる例を示したが、逆に、TIRF画像の座標系をコンフォーカル画像の座標系に変換して、画像を重ね合わせるようにしてもよい。あるいは、TIRF画像の座標系とコンフォーカル画像の座標系を、２つの座標系とは異なる第３の座標系に変換して、画像を重ね合わせるようにしてもよい。
　また、以上の説明では、コンフォーカル画像とTIRF画像との重ね合わせ処理について説明したが、コンフォーカル画像と蛍光観察画像（いわゆる通常の光学顕微鏡により取得）、超解像画像（超解像用顕微鏡により取得）、および位相差観察画像（位相差顕微鏡により取得）のうちのいずれか一つとの重ね合わせ処理でもよい。また、TIRF画像と蛍光観察画像、超解像画像、位相差観察画像のうちのいずれか一つとの重ね合わせ処理でもよい。
　さらに、画像処理部１０１の機能を、必ずしもコンピュータ１５に搭載する必要はなく、例えば、顕微鏡１１に搭載するようにしてもよい。
　上述した一連の処理は、ハードウエアにより実行することもできるし、ソフトウエアにより実行することもできる。一連の処理をソフトウエアにより実行する場合には、例えば、そのソフトウエアを構成するプログラムが、コンピュータ１５にインストールされる。ここで、コンピュータ１５には、専用のハードウエアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどが含まれる。
　コンピュータ１５が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディアに記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。さらに、プログラムは、コンピュータ１５のメモリなどに、あらかじめインストールしておくことができる。
　なお、コンピュータ１５が実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
　また、本明細書において、システムの用語は、複数の装置、手段などより構成される全体的な装置を意味するものとする。
　さらに、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。
　１　顕微鏡システム，　２　カバーガラス，　３　試料，　１１　顕微鏡，　１２　画像生成回路，　１３　撮像装置，　１４　画像生成回路，　１５　コンピュータ，　１６　表示装置，　１０１　画像処理部，　１１１　基準点検出部，　１１２　座標変換係数計算部，　１１３　重ね合わせ部

Claims (9)

  1. 　第１の顕微鏡を用いて取得した試料の所定面に関する第１の画像および第２の顕微鏡を用いて取得した前記試料の前記所定面に関する第２の画像のなかから、互いに前記試料の前記所定面内の同じ位置の像として対応付けられる像を基準点としてそれぞれ３点以上検出する基準点検出手段と、
    　前記第１の画像における前記基準点の第１の座標系と前記第２の画像における前記基準点の第２の座標系とを相互に変換するための変換係数を計算する計算手段と
    　を含む画像処理装置。
  2. 　前記基準点検出手段は、前記第１の画像における輝点と前記第２の画像における輝点のうち、互いに前記試料の前記所定面内の同じ位置の輝点として対応付けられる輝点を前記基準点としてそれぞれ検出する
    　請求項１に記載の画像処理装置。
  3. 　前記基準点検出手段は、前記第１の画像における複数の輝点のうちから選択された３つの輝点の組み合わせ群と、前記第２の画像における複数の輝点のうちから選択された３つの輝点の組み合わせ群とのペアのうち、前記３つの輝点を頂点とする３角形がほぼ相似するペアに含まれる前記輝点を前記基準点として検出する
    　請求項１に記載の画像処理装置。
  4. 　前記基準点検出手段は、前記第１の画像を所定の閾値を用いて２値化した第１の２値化画像、および、前記第２の画像を所定の閾値を用いて２値化した第２の２値化画像を用いて前記輝点を抽出する
    　請求項２または３に記載の画像処理装置。
  5. 　前記計算手段は、前記第１の座標系と前記第２の座標系とをヘルマート変換により相互に変換する場合の前記変換係数を計算する
    　請求項１乃至４のいずれかに記載の画像処理装置。
  6. 　前記変換係数を用いて、前記第１の画像と前記第２の画像とを重ね合わせる重ね合わせ手段を
    　さらに含む請求項１乃至５のいずれかに記載の画像処理装置。
  7. 　前記第１の顕微鏡は全反射顕微鏡であり、前記第２の顕微鏡は共焦点顕微鏡である
    　請求項１乃至６のいずれかに記載の画像処理装置。
  8. 　第１の顕微鏡を用いて取得した試料の所定面に関する第１の画像および第２の顕微鏡を用いて取得した前記試料の前記所定面に関する第２の画像のなかから、互いに前記試料の前記所定面内の同じ位置の像として対応付けられる像を基準点としてそれぞれ３点以上検出し、
    　前記第１の画像における前記基準点の第１の座標系と前記第２の画像における前記基準点の第２の座標系とを相互に変換するための変換係数を計算する
    　ステップを含む処理をコンピュータに実行させるためのプログラム。
  9. 　第１の顕微鏡および第２の顕微鏡として使用することができる顕微鏡において、
    　第１の顕微鏡として使用した場合に取得した試料の所定面に関する第１の画像および第２の顕微鏡として使用した場合に取得した前記試料の前記所定面に関する第２の画像のなかから、互いに前記試料の前記所定面内の同じ位置の像として対応付けられる像を基準点としてそれぞれ３点以上検出する基準点検出手段と、
    　前記第１の画像における前記基準点の第１の座標系と前記第２の画像における前記基準点の第２の座標系とを相互に変換するための変換係数を計算する計算手段と
    　を含む顕微鏡。
PCT/JP2010/059318 2009-06-02 2010-06-02 画像処理装置、プログラム、および、顕微鏡 WO2010140609A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
EP10783391.5A EP2439576B1 (en) 2009-06-02 2010-06-02 Image processing device, program and microscope
CN201080024155.9A CN102449527B (zh) 2009-06-02 2010-06-02 图像处理装置、图像处理方法和显微镜
JP2011518464A JP5447516B2 (ja) 2009-06-02 2010-06-02 画像処理装置、画像処理方法、プログラム、および、顕微鏡
US13/310,178 US9030546B2 (en) 2009-06-02 2011-12-02 Image processor, image processing method, program and microscope

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2009132734 2009-06-02
JP2009-132734 2009-06-02

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US13/310,178 Continuation US9030546B2 (en) 2009-06-02 2011-12-02 Image processor, image processing method, program and microscope

Publications (1)

Publication Number Publication Date
WO2010140609A1 true WO2010140609A1 (ja) 2010-12-09

Family

ID=43297742

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2010/059318 WO2010140609A1 (ja) 2009-06-02 2010-06-02 画像処理装置、プログラム、および、顕微鏡

Country Status (5)

Country Link
US (1) US9030546B2 (ja)
EP (1) EP2439576B1 (ja)
JP (1) JP5447516B2 (ja)
CN (1) CN102449527B (ja)
WO (1) WO2010140609A1 (ja)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102012102983A1 (de) * 2012-04-05 2013-10-10 Carl Zeiss Microscopy Gmbh Verfahren und Vorrichtung zum Bestimmen eines kritischen Winkels eines Anregungslichtstrahls
GB201215771D0 (en) * 2012-09-04 2012-10-17 Univ Nottingham Monitoring and/or characterising biological or chemicl material
JP6373864B2 (ja) 2012-12-14 2018-08-15 ザ ジェイ． デヴィッド グラッドストーン インスティテューツ 自動ロボット顕微鏡検査システム
EP2796917A1 (en) * 2013-04-26 2014-10-29 Baden-Württemberg Stiftung gGmbH A method for automated platform and/or reference object independent acquisition of positional information and localization of objects of interest in a microscope
US10036704B2 (en) * 2014-07-31 2018-07-31 National Taiwan University Fluorescence intensity analyzing and fluorescence image synthesizing system
CN106226895B (zh) * 2016-08-25 2019-02-26 浙江大学 一种带反馈的旋转全内反射显微方法及装置
DE102017214189A1 (de) * 2017-08-15 2019-02-21 Carl Zeiss Microscopy Gmbh Verfahren zum Betrieb einer Mikroskopieranordnung und Mikroskopieranordnung mit einem ersten Mikroskop und mindestens einem weiteren Mikroskop
JP6631647B2 (ja) * 2018-03-08 2020-01-15 株式会社島津製作所 走査型プローブ顕微鏡及び表面画像補正方法
DE102018114090A1 (de) * 2018-06-13 2019-12-19 SURFACE CONCEPT GmbH Bildverarbeitungsvorrichtung und Verfahren zur Bildverarbeitung, insbesondere für ein superauflösendes Mikroskop
US20200292297A1 (en) * 2019-03-15 2020-09-17 Faro Technologies, Inc. Three-dimensional measurement device

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0462858A (ja) * 1990-06-25 1992-02-27 Hitachi Ltd 異物の観察、分析方法
JPH06258240A (ja) * 1993-03-09 1994-09-16 Seiko Instr Inc 座標変換方法
JP2000284186A (ja) * 1999-03-31 2000-10-13 Sapporo Breweries Ltd 観察装置の位置設定手段における座標変換方法及び座標変換手段を備える観察装置
JP2003164433A (ja) * 2001-11-29 2003-06-10 Hitachi Medical Corp 医療支援システム
JP2004085811A (ja) 2002-08-26 2004-03-18 Nikon Corp 顕微鏡
JP2004334222A (ja) * 2003-05-09 2004-11-25 Leica Microsystems Wetzlar Gmbh 重畳画像を生成するための顕微鏡及び鏡検方法。
JP2006039048A (ja) * 2004-07-23 2006-02-09 Olympus Corp 顕微鏡装置
JP2006106346A (ja) * 2004-10-05 2006-04-20 Olympus Corp 顕微鏡システム
JP2007093488A (ja) * 2005-09-29 2007-04-12 Olympus Corp 生物由来の被験試料の画像を、光学的結像手段を用いて取得する方法及び装置
JP2007328134A (ja) * 2006-06-08 2007-12-20 Nikon Corp 観察装置、および観察プログラム
JP2009008739A (ja) * 2007-06-26 2009-01-15 Olympus Corp 生体観察装置

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0355496A3 (en) * 1988-08-15 1990-10-10 Sumitomo Heavy Industries Co., Ltd. Position detector employing a sector fresnel zone plate
KR970072024A (ko) * 1996-04-09 1997-11-07 오노 시게오 투영노광장치
US6472671B1 (en) * 2000-02-09 2002-10-29 Jean I. Montagu Quantified fluorescence microscopy
TWI254141B (en) * 2000-03-06 2006-05-01 Olympus Optical Co Pattern forming member applied to sectioning image observation apparatus and sectioning image observation apparatus using them
CN1209653C (zh) * 2000-04-26 2005-07-06 西安交通大学 光纤面板共焦显微镜测量三维面形的方法和装置
US20050037406A1 (en) * 2002-06-12 2005-02-17 De La Torre-Bueno Jose Methods and apparatus for analysis of a biological specimen
ATE427515T1 (de) * 2003-09-25 2009-04-15 Leica Microsystems Mikroskop mit evaneszenter probenbeleuchtung
JP4756819B2 (ja) * 2003-10-21 2011-08-24 オリンパス株式会社 走査型顕微鏡システム
US7981604B2 (en) * 2004-02-19 2011-07-19 California Institute Of Technology Methods and kits for analyzing polynucleotide sequences
JP4673000B2 (ja) * 2004-05-21 2011-04-20 株式会社キーエンス 蛍光顕微鏡、蛍光顕微鏡装置を使用した表示方法、蛍光顕微鏡画像表示プログラム及びコンピュータで読み取り可能な記録媒体並びに記憶した機器
DE102004034987A1 (de) * 2004-07-16 2006-02-02 Carl Zeiss Jena Gmbh Lichtrastermikroskop und Verwendung
WO2007034796A1 (ja) * 2005-09-26 2007-03-29 National University Corporation Hamamatsu University School Of Medicine 複数の観察手法を用いた顕微鏡細胞観察・検査システム
DE102006028530A1 (de) * 2005-11-11 2007-05-16 Till I D Gmbh Mikroskopvorrichtung
EP1785714B1 (en) * 2005-11-15 2017-02-22 Olympus Corporation Lens evaluation device
US8417060B2 (en) * 2006-03-20 2013-04-09 Arizona Board Of Regents For And On Behalf Of Arizona State University Methods for multi-point descriptors for image registrations
DE102007018922A1 (de) * 2007-02-12 2008-08-14 Leica Microsystems Cms Gmbh Mikroskop
WO2008111452A1 (ja) * 2007-03-09 2008-09-18 Omron Corporation 認識処理方法およびこの方法を用いた画像処理装置
JP5286774B2 (ja) * 2007-04-11 2013-09-11 株式会社ニコン 顕微鏡装置と、これに用いられる蛍光キューブ
EP1998205B1 (en) 2007-05-29 2011-07-06 Olympus Corporation Observation apparatus
JP4735758B2 (ja) * 2007-06-13 2011-07-27 株式会社ニコン 共焦点顕微鏡装置
JP2009207808A (ja) * 2008-03-06 2009-09-17 Fujifilm Corp 放射線画像撮影装置
US8107711B2 (en) * 2008-05-12 2012-01-31 Vala Sciences, Inc. User interface method and system for management and control of automated image processing in high content screening or high throughput screening
DE102008054317A1 (de) * 2008-11-03 2010-05-06 Carl Zeiss Microlmaging Gmbh Kombinationsmikroskopie
DE102011087196A1 (de) * 2011-11-28 2013-05-29 Leica Microsystems Cms Gmbh Mikroskopbeleuchtungssystem und -verfahren

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0462858A (ja) * 1990-06-25 1992-02-27 Hitachi Ltd 異物の観察、分析方法
JPH06258240A (ja) * 1993-03-09 1994-09-16 Seiko Instr Inc 座標変換方法
JP2000284186A (ja) * 1999-03-31 2000-10-13 Sapporo Breweries Ltd 観察装置の位置設定手段における座標変換方法及び座標変換手段を備える観察装置
JP2003164433A (ja) * 2001-11-29 2003-06-10 Hitachi Medical Corp 医療支援システム
JP2004085811A (ja) 2002-08-26 2004-03-18 Nikon Corp 顕微鏡
JP2004334222A (ja) * 2003-05-09 2004-11-25 Leica Microsystems Wetzlar Gmbh 重畳画像を生成するための顕微鏡及び鏡検方法。
JP2006039048A (ja) * 2004-07-23 2006-02-09 Olympus Corp 顕微鏡装置
JP2006106346A (ja) * 2004-10-05 2006-04-20 Olympus Corp 顕微鏡システム
JP2007093488A (ja) * 2005-09-29 2007-04-12 Olympus Corp 生物由来の被験試料の画像を、光学的結像手段を用いて取得する方法及び装置
JP2007328134A (ja) * 2006-06-08 2007-12-20 Nikon Corp 観察装置、および観察プログラム
JP2009008739A (ja) * 2007-06-26 2009-01-15 Olympus Corp 生体観察装置

Also Published As

Publication number Publication date
CN102449527A (zh) 2012-05-09
EP2439576A4 (en) 2014-11-12
US9030546B2 (en) 2015-05-12
US20120147172A1 (en) 2012-06-14
EP2439576A1 (en) 2012-04-11
CN102449527B (zh) 2015-08-19
EP2439576B1 (en) 2018-05-16
JP5447516B2 (ja) 2014-03-19
JPWO2010140609A1 (ja) 2012-11-22

Similar Documents

Publication Publication Date Title
JP5447516B2 (ja) 画像処理装置、画像処理方法、プログラム、および、顕微鏡
JP6299111B2 (ja) レーザ加工装置
US9402059B2 (en) Microscope
JP6249513B1 (ja) 補正方法、補正装置及び検査装置
US20130250144A1 (en) Imaging apparatus and method of controlling same
US20140098213A1 (en) Imaging system and control method for same
JP6480713B2 (ja) 顕微鏡システム
JP5799473B2 (ja) 撮影装置とその撮影方法
CN109983766B (zh) 图像处理装置、显微镜***、图像处理方法、及程序
JP6716383B2 (ja) 顕微鏡システム、情報提示方法、プログラム
JP6029293B2 (ja) 走査型電子顕微鏡の画像処理装置、および、走査方法
WO2007055082A1 (ja) 共焦点顕微鏡装置
JP2007086610A (ja) 微分干渉顕微鏡及び欠陥検査装置
JP2016051167A (ja) 画像取得装置およびその制御方法
JP5019279B2 (ja) 共焦点顕微鏡及び合焦カラー画像の生成方法
JP5718012B2 (ja) 走査型レーザ顕微鏡
JP5191265B2 (ja) 光学顕微鏡装置及び光学顕微鏡用データ処理装置
JP2009151163A (ja) シェーディング補正装置及びシェーディング補正方法
JP2007286284A (ja) 共焦点走査型顕微鏡システム、及びそれを使用した観察方法
JP4885439B2 (ja) カラー画像取得方法及び共焦点レーザ顕微鏡
JP2022161475A (ja) 欠陥検出装置、欠陥検出方法、画像処理装置及び画像処理プログラム
JP2004029537A (ja) 顕微鏡、三次元画像生成方法、三次元画像を生成する制御をコンピュータに行わせるプログラム、及びそのプログラムを記録した記録媒体
JP2010160371A (ja) 共焦点顕微鏡
EP2535923B1 (en) Detection method and detection device
JP2009277618A (ja) 磁区構造画像取得方法および走査透過電子顕微鏡

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 201080024155.9

Country of ref document: CN

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 10783391

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2011518464

Country of ref document: JP

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 2010783391

Country of ref document: EP