WO2014112084A1 - 画像取得装置及び画像取得装置のフォーカス方法 - Google Patents

画像取得装置及び画像取得装置のフォーカス方法 Download PDF

Info

Publication number
WO2014112084A1
WO2014112084A1 PCT/JP2013/050853 JP2013050853W WO2014112084A1 WO 2014112084 A1 WO2014112084 A1 WO 2014112084A1 JP 2013050853 W JP2013050853 W JP 2013050853W WO 2014112084 A1 WO2014112084 A1 WO 2014112084A1
Authority
WO
WIPO (PCT)
Prior art keywords
imaging
image
optical path
sample
area
Prior art date
Application number
PCT/JP2013/050853
Other languages
English (en)
French (fr)
Inventor
英資 大石
Original Assignee
浜松ホトニクス株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 浜松ホトニクス株式会社 filed Critical 浜松ホトニクス株式会社
Priority to US14/398,011 priority Critical patent/US9921392B2/en
Priority to DK18153434.8T priority patent/DK3333608T3/da
Priority to PCT/JP2013/050853 priority patent/WO2014112084A1/ja
Priority to CN201380070771.1A priority patent/CN104937469B/zh
Priority to EP18153434.8A priority patent/EP3333608B1/en
Priority to HUE18153434A priority patent/HUE054657T2/hu
Priority to EP13871428.2A priority patent/EP2947488B1/en
Publication of WO2014112084A1 publication Critical patent/WO2014112084A1/ja
Priority to US15/889,332 priority patent/US10571664B2/en
Priority to US16/592,192 priority patent/US20200033564A1/en

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B13/00—Optical objectives specially designed for the purposes specified below
    • G02B13/001—Miniaturised objectives for electronic devices, e.g. portable telephones, webcams, PDAs, small digital cameras
    • G02B13/0055—Miniaturised objectives for electronic devices, e.g. portable telephones, webcams, PDAs, small digital cameras employing a special optical element
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00—Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/28—Systems for automatic generation of focusing signals
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/24—Base structure
    • G02B21/241—Devices for focusing
    • G02B21/244—Devices for focusing using image analysis techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H04N23/673—Focus control based on electronic image sensor signals based on contrast or high frequency components of image signals, e.g. hill climbing method

Definitions

  • the present invention relates to an image acquisition device used for acquiring an image of a sample or the like and a focusing method thereof.
  • an image acquisition device for example, there is a virtual microscope device in which an imaging region of a sample is divided into a plurality of regions in advance, and each divided region is imaged at a high magnification and then these are combined.
  • a focus map for the entire region of the sample is set as an imaging condition when acquiring an image of a sample such as a biological sample, and focus control based on the focus map is performed. Image acquisition of the sample is performed while performing.
  • an entire sample is acquired as a macro image using an image acquisition device equipped with a macro optical system.
  • an imaging range of the sample is set, the imaging range is divided into a plurality of divided areas, and a focus acquisition position is set for each divided area.
  • the sample is transferred to an image acquisition apparatus having a micro optical system, the focus position at the set focus acquisition position is acquired, and a focus map is created from these focus positions.
  • This method is a light intensity difference or contrast difference between a light image (front pin) focused before a light image incident on an image acquisition device for image acquisition and a light image focused later (rear pin). Is a method of detecting the shift direction of the focal position with respect to the current height of the objective lens and acquiring the image by moving the objective lens in a direction to cancel the shift.
  • a second imaging unit that captures a region in front of the region captured by the first imaging unit, and an image captured by the second imaging unit are used for the first imaging unit.
  • the automatic focusing control means for adjusting the in-focus position of the objective lens at the imaging position of the first imaging means and the distance between the divided areas and the moving speed of the sample, the divided areas are imaged by the second imaging means.
  • Timing control means for aligning the timing of moving from the position to the imaging position of the first imaging means and the timing of positioning the imaging position of the divided area imaged by the second imaging means on the imaging surface of the first imaging means And are provided.
  • the optical path length difference in the light guide optical system for focus control is formed using a glass member.
  • an optical path difference optical system is formed by using a half mirror and a mirror, and lights having different optical path lengths are incident on the two imaging regions of the second imaging unit, respectively. ing.
  • a first imaging unit and a second imaging unit are configured by a line sensor. With a line sensor, the exposure time is short, so it is important to secure the amount of light in order to obtain a clear image.
  • the light is branched by the optical path difference optical system. There is a problem that it is difficult to secure.
  • the region imaged by the second imaging unit is positioned in the sample scanning direction with respect to the region imaged by the first imaging unit. It is adjusted so as to be on the near side, and prior acquisition of the focal position shift direction is performed.
  • the optical path difference optical system is constituted by the half mirror and the mirror, there is a problem that the light passing through the optical path difference optical system is difficult to fit on the imaging surface of the second imaging means.
  • the present invention has been made to solve the above-described problems, and provides an image acquisition device and a focus method thereof that can acquire the shift direction of the focal position under the same conditions regardless of the scanning direction of the sample with a simple configuration. For the purpose.
  • an image acquisition apparatus includes a stage on which a sample is placed, stage control means for scanning the stage at a predetermined speed, a light source for irradiating light toward the sample, and a sample
  • a light guiding optical system including a light branching unit that branches the optical image of the first optical path into a first optical path for image acquisition and a second optical path for focus control, and a first optical image that is branched into the first optical path.
  • a first imaging unit that acquires one image
  • a second imaging unit that acquires a second image based on the second optical image branched into the second optical path, and the second image
  • a focus control unit that controls the focal position of imaging by the first imaging unit based on the analysis result, and a first imaging region that acquires a partial image of the second optical image on the imaging surface of the second imaging unit
  • an area control means for setting the second imaging area, and an in-plane direction of the imaging surface disposed in the second optical path
  • An optical path difference generating member for generating an optical path difference in the second optical image along the optical path difference generating member, and the optical path difference generating member is about the axis of the imaging plane orthogonal to the moving direction of the second optical image accompanying the scanning of the sample
  • the optical path difference of the second optical image is arranged to be symmetric, and the area control means is configured to detect the position of the first imaging area and the position of the second imaging area on the imaging surface as the scanning direction of the sample is reversed. Is
  • the optical path difference generating member is disposed in the second optical path, the first imaging area and the second imaging area of the second imaging means are incident on the first imaging means.
  • a light image (front pin) focused before the light image and a light image (rear pin) focused later can be respectively captured.
  • the optical path length difference can be formed without branching light in the second optical path for focus control, the amount of light to the second optical path necessary for obtaining information on the focal position is suppressed. Therefore, it is possible to secure a light amount when performing imaging with the first imaging means.
  • the position of the first imaging area and the position of the second imaging area on the imaging surface can be inverted with respect to the axis of the imaging surface in accordance with the inversion of the scanning direction of the sample. For this reason, the shift direction of the focal position can be acquired under the same conditions regardless of the scanning direction of the sample.
  • a region where a light image conjugate with the first optical image incident on the first imaging means is substantially coincident with the axis of the imaging surface.
  • the axis of the imaging surface substantially coincides with the central axis of the imaging surface orthogonal to the moving direction of the second optical image accompanying the scanning of the sample. In this case, it is possible to reliably reverse the position of the first imaging region and the position of the second imaging region on the imaging surface accompanying the reversal of the scanning direction of the sample.
  • the optical path difference generating member is a flat plate member arranged so as to overlap at least a part of the imaging surface, and the area control means is a flat plate so as to avoid the shadow of the second light image by the edge portion of the flat plate member. It is preferable to set the first imaging region and the second imaging region in a region overlapping the member and a region not overlapping the flat plate member, respectively. In this case, the configuration of the optical path difference generating member can be simplified by using the flat plate member. Further, since the edge portion of the flat plate member forms a shadow of the second optical image on the imaging surface of the second imaging device, the first imaging area and the second imaging area can be set by avoiding the shadow. The accuracy of control of the focal position can be ensured.
  • the optical path difference generating member is a member having a portion whose thickness continuously changes along the in-plane direction of the imaging surface, and the region control means is overlapped with a portion having a different thickness of the optical path difference generating member. It is preferable to set the first imaging region and the second imaging region. In this case, the distance between the front pin and the rear pin can be freely adjusted by adjusting the position of the first imaging region and the position of the second imaging region. As a result, the focal position of the sample can be detected with high accuracy.
  • an objective lens facing the sample and an objective lens control unit that relatively controls the position of the objective lens with respect to the sample based on control by the focus control unit are provided. It is preferable that the objective lens is not driven during the position analysis, and the objective lens is moved in one direction with respect to the sample while the focus position analysis by the focus control unit is not executed. In this case, the analysis accuracy of the focal position can be ensured by not changing the positional relationship between the objective lens and the sample during the analysis of the focal position.
  • the area control means is configured to change the imaging in the first imaging area from the imaging in the first imaging area based on the scanning speed of the stage and the interval between the first imaging area and the second imaging area. It is preferable to set a waiting time until imaging. Thereby, since the light from the same position of the sample is incident on the first imaging region and the second imaging region, the focal position can be controlled with high accuracy.
  • the focus method of the image acquisition apparatus branches the light source that irradiates light toward the sample, and the optical image of the sample into the first optical path for image acquisition and the second optical path for focus control.
  • a light guiding optical system including a light branching unit; a first imaging unit that obtains a first image based on the first light image branched into the first optical path; and a second optical unit branched into the second optical path.
  • a first imaging region and a second imaging region for acquiring a partial image of the second optical image are set on the imaging surface of the second imaging unit, and the imaging surface
  • An optical path difference generating member that generates an optical path difference in the second optical image along the in-plane direction of the The second optical image is arranged in the second optical path so that the optical path difference of the second optical image is symmetric about the axis of the imaging plane orthogonal to the moving direction of the second optical image. Accordingly, the position of the first imaging region and the position of the second imaging region on the imaging surface are inverted with respect to the axis of the imaging surface.
  • the optical path difference generating member is arranged in the second optical path, so that the first imaging area and the second imaging area of the second imaging means are incident on the first imaging means. It is possible to capture a light image (front pin) focused before the light image to be performed and a light image (rear pin) focused later.
  • the optical path length difference can be formed without branching light in the second optical path for focus control, the amount of light to the second optical path necessary for obtaining information on the focal position can be suppressed. It is possible to secure the amount of light when performing imaging with the first imaging means.
  • the position of the first imaging area and the position of the second imaging area on the imaging surface are reversed about the axis in accordance with the reversal of the scanning direction of the sample. For this reason, the shift direction of the focal position can be acquired under the same conditions regardless of the scanning direction of the sample.
  • a region where a light image conjugate with the first light image incident on the first image pickup unit is substantially coincided with the axis of the image pickup surface on the image pickup surface.
  • the axis of the imaging surface is substantially coincident with the central axis of the imaging surface that is orthogonal to the moving direction of the second optical image accompanying the scanning of the sample. In this case, it is possible to reliably reverse the position of the first imaging region and the position of the second imaging region on the imaging surface accompanying the reversal of the scanning direction of the sample.
  • the optical path difference generating member a flat plate member arranged so as to overlap at least a part of the imaging surface is used, and the flat plate is used so as to avoid the shadow of the second light image by the edge portion of the flat plate member by the region control means. It is preferable to set the first imaging region and the second imaging region in a region overlapping the member and a region not overlapping the flat plate member, respectively. In this case, the configuration of the optical path difference generating member can be simplified by using the flat plate member. Further, since the edge portion of the flat plate member forms a shadow of the second optical image on the imaging surface of the second imaging device, the first imaging area and the second imaging area can be set by avoiding the shadow. The accuracy of control of the focal position can be ensured.
  • the optical path difference generating member a member having a portion whose thickness continuously changes along the in-plane direction of the imaging surface is used, and the region control unit is configured to overlap the different thickness portions of the optical path difference generating member. It is preferable to set the first imaging region and the second imaging region. In this case, the distance between the front pin and the rear pin can be freely adjusted by adjusting the position of the first imaging region and the position of the second imaging region. As a result, the focal position of the sample can be detected with high accuracy.
  • the image acquisition apparatus includes an objective lens facing the sample and an objective lens control unit that relatively controls the position of the objective lens with respect to the sample based on the control by the focus control unit. It is preferable that the objective lens is not driven during the execution of the focus position analysis by the focus control means, and the objective lens is moved in one direction with respect to the sample while the focus position analysis is not executed by the focus control means. By not changing the positional relationship between the objective lens and the sample during the analysis of the focal position, the analysis accuracy of the focal position can be ensured.
  • the area control means changes the imaging in the first imaging area from the imaging in the first imaging area based on the scanning speed of the stage and the interval between the first imaging area and the second imaging area. It is preferable to set a waiting time until imaging. Thereby, since the light from the same position of the sample is incident on the first imaging region and the second imaging region, the focal position can be controlled with high accuracy.
  • the shift direction of the focal position can be acquired according to the scanning direction of the sample with a simple configuration.
  • FIG. 1 It is a figure which shows one Embodiment of the macro image acquisition apparatus which comprises the image acquisition apparatus which concerns on this invention. It is a figure which shows one Embodiment of the micro image acquisition apparatus which comprises the image acquisition apparatus which concerns on this invention. It is a block diagram which shows the functional component of an image acquisition apparatus. It is a figure which shows the analysis result of the contrast value in case the distance to the surface of a sample corresponds with the focal distance of an objective lens. It is a figure which shows the analysis result of the contrast value in case the distance to the surface of a sample is longer than the focal distance of an objective lens. It is a figure which shows the analysis result of the contrast value in case the distance to the surface of a sample is shorter than the focal distance of an objective lens.
  • FIG. 1 is a diagram showing an embodiment of a macro image acquisition device constituting an image acquisition device according to the present invention.
  • FIG. 2 is a diagram showing an embodiment of a micro image acquisition device constituting the image acquisition device according to the present invention.
  • the image acquisition device M includes a macro image acquisition device M1 that acquires a macro image of the sample S and a micro image acquisition device M2 that acquires a micro image of the sample S. .
  • the image acquisition apparatus M sets, for example, a plurality of line-shaped divided areas 40 (see FIG. 13) for the macro image acquired by the macro image acquisition apparatus M1, and each of the divided areas 40 is set to a high magnification by the micro image acquisition apparatus M2. This is a device that generates a virtual micro image by acquiring and combining them.
  • the macro image acquisition apparatus M1 includes a stage 1 on which a sample S is placed as shown in FIG.
  • the stage 1 is an XY stage that is driven in the horizontal direction by a motor or actuator such as a stepping motor (pulse motor) or a piezoelectric actuator.
  • the sample S to be observed with the image acquisition device M is a biological sample such as a cell, for example, and is placed on the stage 1 in a state of being sealed with a slide glass. By driving the stage 1 in the XY plane, the imaging position with respect to the sample S can be moved.
  • the stage 1 can reciprocate between the macro image acquisition device M1 and the micro image acquisition device M2, and has a function of transporting the sample S between both devices.
  • macro image acquisition the entire image of the sample S may be acquired by one imaging, or the sample S may be divided into a plurality of regions and imaged.
  • the stage 1 may be provided in both the macro image acquisition device M1 and the micro image acquisition device M2.
  • a light source 2 that irradiates light toward the sample S and a condenser lens 3 that condenses the light from the light source 2 onto the sample S are disposed.
  • the light source 2 may be arranged so as to irradiate light obliquely toward the sample S.
  • a light guide optical system 4 that guides a light image from the sample S and an imaging device 5 that captures a light image of the sample S are disposed on the upper surface side of the stage 1.
  • the light guide optical system 4 includes an imaging lens 6 that forms an optical image from the sample S on the imaging surface of the imaging device 5.
  • the imaging device 5 is an area sensor that can acquire a two-dimensional image, for example.
  • the imaging device 5 acquires the entire image of the light image of the sample S incident on the imaging surface via the light guide optical system 4 and stores it in a virtual micro image storage unit 39 described later.
  • the micro image acquisition device M2 has a light source 12 and a condenser lens 13 similar to those of the macro image acquisition device M1 on the bottom surface side of the stage 1, as shown in FIG.
  • a light guide optical system 14 that guides a light image from the sample S is disposed on the upper surface side of the stage 1.
  • the optical system that irradiates the sample S with light from the light source 12 employs an excitation light irradiation optical system for irradiating the sample S with excitation light and a dark field illumination optical system for acquiring a dark field image of the sample S. May be.
  • the light guide optical system 4 includes an objective lens 15 disposed so as to face the sample S, and a beam splitter (light branching means) 16 disposed at a subsequent stage of the objective lens 15.
  • the objective lens 15 is provided with a motor or actuator such as a stepping motor (pulse motor) or a piezo actuator that drives the objective lens 15 in the Z direction orthogonal to the mounting surface of the stage 1.
  • a motor or actuator such as a stepping motor (pulse motor) or a piezo actuator that drives the objective lens 15 in the Z direction orthogonal to the mounting surface of the stage 1.
  • the beam splitter 16 is a part that branches the optical image of the sample S into a first optical path L1 for image acquisition and a second optical path L2 for focus control.
  • the beam splitter 16 is disposed at an angle of about 45 degrees with respect to the optical axis from the light source 12.
  • the optical path passing through the beam splitter 16 is the first optical path L1
  • the beam splitter 16 The optical path reflected by 16 is the second optical path.
  • an imaging lens 17 that forms an optical image (first optical image) of the sample S that has passed through the beam splitter 16, and an imaging surface is disposed at the imaging position of the imaging lens 17.
  • a first imaging device (first imaging means) 18 is arranged.
  • the first imaging device 18 is a device that can acquire a one-dimensional image (first image) based on a first light image of the sample S.
  • a two-dimensional CCD sensor that can be driven by TDI (Time Delay Integration) is used. Used.
  • the first imaging device 18 has a structure in which, for example, two TDI sensors having different transfer directions are combined, and the light receiving units having a plurality of light receiving rows are located on the center side of the imaging surface.
  • the first imaging device 18 may be a line sensor.
  • the first imaging device 18 is a device that can acquire a two-dimensional image such as a CMOS sensor or a CCD sensor. There may be.
  • the first images picked up by the first image pickup device 18 are sequentially stored in a temporary storage memory such as a lane buffer, and then compressed and output to an image generation unit 38 to be described later.
  • an optical path difference generation member 21 that causes an optical path difference in the second optical image is disposed in the front stage of the second imaging device 20.
  • the field adjustment lens 19 is preferably configured so that the second light image is formed on the second imaging device 20 with the same size as the first light image.
  • the second imaging device 20 is a device that can acquire a two-dimensional image (second image) based on the second optical image of the sample S, such as a CMOS (Complementary Metal Oxide Semiconductor) or a CCD (Charge Coupled Device). These sensors are used. A line sensor may be used.
  • CMOS Complementary Metal Oxide Semiconductor
  • CCD Charge Coupled Device
  • the imaging surface 20a of the second imaging device 20 is disposed so as to substantially coincide with the XZ plane orthogonal to the second optical path L2.
  • a second light image is projected onto the imaging surface 20a.
  • the second optical image moves the imaging surface 20a in the + Z direction when the sample S is scanned in the forward direction by the stage 1, and moves the imaging surface 20a in the -Z direction when scanned in the reverse direction of the sample S.
  • a first imaging area 22A and a second imaging area 22B for acquiring a partial image of the second optical image are set on the imaging surface 20a (see, for example, FIG. 7).
  • the first imaging region 22A and the second imaging region 22B are oriented in a direction perpendicular to the moving direction (scanning direction: Z direction) of the second optical image on the imaging surface 20a accompanying the scanning of the sample S. Is set. Further, the first imaging area 22A and the second imaging area 22B are set with a predetermined interval, and both acquire a part of the second optical image in a line shape. Thereby, the optical image of the same area as the first optical image of the sample S acquired by the first imaging device 18 can be acquired as the second optical image in the first imaging area 22A and the second imaging area 22B. .
  • the 2nd imaging device 20 before the 1st optical image which injects into the 1st imaging device 18 based on the position of 22 A of 1st imaging regions, and the position of 2nd imaging region 22B.
  • a focused light image (front pin) and a later focused light image (rear pin) can be acquired.
  • the focus difference between the front pin and the rear pin is incident on the thickness and refractive index of the optical path difference generating member 21 through which the second optical image incident on the first imaging region 22A passes, and on the second imaging region 22B. This depends on the difference between the thickness and the refractive index of the optical path difference generating member 21 through which the second optical image passes.
  • the optical path difference generating member 21 is a glass member that causes an optical path difference in the second optical image along the in-plane direction of the imaging surface 20a.
  • the optical path difference generating member 21 is disposed so that the optical path difference of the second optical image is symmetric with respect to the axis P of the imaging surface 20a orthogonal to the moving direction of the second optical image accompanying the scanning of the sample S.
  • the optical path difference generating member 21 is arranged so that the surface facing the second imaging device 20 is parallel to the imaging surface (light receiving surface) 20a of the second imaging device. Thereby, refraction of light by the surface facing the second imaging device 20 can be reduced, and the amount of light received by the second imaging device 20 can be ensured.
  • An example of the shape of the optical path difference generation member 21 and the arrangement of the first imaging region 22A and the second imaging region 22B on the imaging surface 20a will be described later.
  • FIG. 3 is a block diagram showing functional components of the image acquisition device.
  • the image acquisition apparatus M includes a computer system including a CPU, a memory, a communication interface, a storage unit such as a hard disk, an operation unit 31 such as a keyboard, a monitor 32, and the like.
  • a focus control unit 34 As constituent elements, a focus control unit 34, an area control unit 35, an objective lens control unit 36, a stage control unit 37, an image generation unit 38, and a virtual micro image storage unit 39 are provided.
  • the focus control unit 34 is a part that analyzes the second image acquired by the second imaging device 20 and controls the focal position of imaging by the first imaging device 18 based on the analysis result. More specifically, the focus control unit 34, first, in the second imaging device 20, the contrast value of the image acquired in the first imaging region 22A and the contrast value of the image acquired in the second imaging region 22B. Find the difference between
  • the image contrast value of the front pin acquired in the first imaging region 22A and the second imaging region are obtained.
  • the image contrast value of the pin substantially matches, and the difference value between them is almost zero.
  • the focus control unit 34 outputs instruction information indicating that the objective lens 15 is driven in a direction approaching the sample S to the objective lens control unit 36.
  • the focus control unit 34 outputs instruction information indicating that the objective lens 15 is driven in a direction away from the sample S to the objective lens control unit 36.
  • the area control unit 35 is a part that controls the position of the first imaging area 22 ⁇ / b> A and the position of the second imaging area 22 ⁇ / b> B on the imaging surface 20 a of the second imaging device 20.
  • the area control unit 35 first sets the first imaging area 22A at a preset position based on an operation from the operation unit 31, and after the imaging in the first imaging area 22A is performed, the first imaging area 22A is set. The setting of the imaging area 22A is canceled.
  • the second imaging area 22B is set with a predetermined interval from the first imaging area 22A in the Z direction, and after the imaging in the second imaging area 22B is performed, the second imaging area 22B is set. Is released.
  • the waiting time W is a waiting time W2 from the completion of imaging in the first imaging area 22A to the start of imaging in the second imaging area 22B
  • W2 d / v ⁇ st.
  • the distance d between the first imaging region 22A and the second imaging region 22B is set based on the optical path length difference generated by the optical path difference generating member 21. However, this interval d actually corresponds to the distance on the slide of the sample S, and it is finally necessary to convert the interval d into the number of pixels in the second imaging region 22B.
  • the area control unit 35 changes the position of the first imaging area 22A and the position of the second imaging area 22B on the imaging surface 20a with respect to the axis P of the imaging surface 20a as the scanning direction of the sample S is reversed. Are reversed so that they are line symmetric.
  • This setting is appropriately executed according to the shape and arrangement of the optical path difference generating member 21.
  • the optical path difference generation member 21A formed of a flat glass member is arranged so as to coincide with the axis P of the imaging surface 20a.
  • a region 22C where a light image conjugate with the first light image incident on the first image pickup device 18 is located so as to coincide with the axis P of the image pickup surface 20a.
  • the axis P of the imaging surface 20a is in a state of being coincident with the central axis of the imaging surface 20a orthogonal to the moving direction of the second optical image accompanying the scanning of the sample S.
  • the first imaging region 22A overlaps the optical path difference generation member 21A in the upper half region of the imaging surface 20a.
  • the second imaging area 22B is set to an area overlapping the optical path difference generating member 21A.
  • the first imaging region 22A is separated from the optical path difference generating member 21A.
  • the second imaging region 22B is set as a region that overlaps with the optical path difference generation member 21A.
  • the edge portion E of the optical path difference generating member 21A may form a shadow 23 of the second optical image on the imaging surface 20a. Therefore, the interval d between the first imaging region 22A and the second imaging region 22B is made wider than the width of the shadow 23, and the first imaging region 22A and the second imaging region are located at positions avoiding the shadow 23. It is preferable to set 22B.
  • the optical path difference generating member 21B made of a prism-shaped glass member whose thickness continuously changes toward the center in the Z direction is aligned with the axis P of the imaging surface 20a.
  • the change in the thickness of the optical path difference generating member 21B is symmetric with respect to the axis P of the imaging surface, and is switched from increasing to decreasing along the Z direction.
  • a region 22C where a light image conjugate with the first light image incident on the first imaging device 18 is located so as to coincide with the center in the Z direction on the imaging surface 20a.
  • the axis P of the imaging surface 20a coincides with the central axis of the imaging surface 20a orthogonal to the moving direction of the second optical image accompanying the scanning of the sample S.
  • the first imaging area 22A is the upper side
  • the second imaging area 22B is set to be on the lower side.
  • the region 22B is set to be on the upper side.
  • optical path difference generating member 21 for example, as shown in FIG. 11A, an optical path difference in which the central portion in the Z direction has a constant thickness and the thickness decreases as both ends in the Z direction go outward.
  • the generation member 21C may be used.
  • the optical path difference generation member 21D made of two glass members having a prism shape with a right-angled cross section is formed at both ends of the imaging surface 20a in the Z direction. You may arrange
  • the distance of the objective lens 15 to the stage 1 is fixed.
  • the position of the stage 1 is adjusted so that the cross line of the calibration slide is positioned at the center of the visual field of the first imaging device 18.
  • the back focus of the second imaging device 20 is adjusted so that the cross line of the calibration slide falls within the field of view of the second imaging device 20.
  • the position in the in-plane direction of the second imaging device 20 is adjusted so that the cross line of the calibration slide comes to a desired position on the imaging surface 20a of the second imaging device 20.
  • the objective lens control unit 36 is a part that controls the driving of the objective lens 15. Upon receiving the instruction information output from the focus control unit 34, the objective lens control unit 36 drives the objective lens 15 in the Z direction according to the content of the instruction information. Thereby, the focal position of the objective lens 15 with respect to the sample S is adjusted.
  • the objective lens control unit 36 does not drive the objective lens 15 during the analysis of the focal position by the focus control unit 34, and moves the objective lens 15 in the Z direction until the analysis of the next focal position is started. Drive in only one direction along.
  • FIG. 12 is a diagram illustrating the relationship between the distance between the objective lens and the surface of the sample with respect to the scanning time of the stage. As shown in the figure, during the scan of the sample S, the focal position analysis period A and the objective lens driving period B based on the analysis result occur alternately. Thus, the analysis accuracy of the focal position can be ensured by not changing the positional relationship between the objective lens 15 and the sample S during the analysis of the focal position.
  • the stage control unit 37 is a part that controls the driving of the stage 1. More specifically, the stage control unit 37 scans the stage 1 on which the sample S is placed at a predetermined speed based on an operation from the operation unit 31. The scanning of the stage 1 relatively sequentially moves the imaging field of the sample S in the first imaging device 18 and the second imaging device 20. For example, as shown in FIG. 13, the scanning direction of the stage 1 is the scanning of the next divided region 40 in the opposite direction by moving the stage 1 in the direction orthogonal to the scanning direction after the scanning of one divided region 40 is completed. Bi-directional scanning.
  • each of the deceleration periods F in which the deceleration occurs occurs when scanning outside the divided region 40.
  • imaging may be started during the stabilization period D, and the data portion acquired during the stabilization period D after image acquisition may be deleted. Such a method is suitable when using an imaging device that requires idle reading of data.
  • the image generation unit 38 is a part that combines the acquired images to generate a virtual micro image.
  • the image generation unit 38 sequentially receives the first image output from the first imaging device 18, that is, the image of each divided region 40, and synthesizes them to synthesize the entire image of the sample S. Then, an image having a lower resolution than this is created based on the synthesized image, and the high resolution image and the low resolution image are associated with each other and stored in the virtual micro image storage unit 39.
  • an image acquired by the macro image acquisition device M1 may be further associated.
  • the virtual micro image may be stored as one image or may be stored as an image divided into a plurality of images.
  • FIG. 15 is a flowchart showing the operation of the image acquisition apparatus M.
  • the macro image of the sample S is acquired by the macro image acquisition device M1 (step S01).
  • the acquired macro image is binarized using, for example, a predetermined threshold, and then displayed on the monitor 32, and a micro image is selected from the macro image by automatic setting using a predetermined program or manual setting by an operator.
  • a range to be acquired is set (step S02).
  • the sample S is transferred to the micro image acquisition device M2 side, and focus acquisition conditions are set (step S03).
  • imaging in the second imaging region 22B is performed based on the scanning speed v of the stage 1 and the interval d between the first imaging region 22A and the second imaging region 22B.
  • a waiting time W until the start is set. More preferably, the exposure time el of imaging in the first imaging area 22A, the time st from when the setting of the first imaging area 22A is canceled until the second imaging area 22B is set, and the like are taken into consideration.
  • step S04 scanning of the stage 1 is started, and micro images for each divided region 40 of the sample S are acquired by the micro image acquisition device M2 (step S04).
  • the second imaging device 20 uses the first imaging region 22A and the second imaging region 22B to obtain the difference between the contrast value of the front pin and the contrast value of the rear pin. Based on this, the deviation direction of the objective lens 15 with respect to the sample S is analyzed, and the position of the objective lens 15 is adjusted in real time.
  • the acquired micro images are synthesized and a virtual micro image is generated (step S05).
  • the first imaging region 22A and the second imaging of the second imaging device 20 are provided by arranging the optical path difference generation member 21 in the second optical path L2.
  • a light image (front pin) focused before the light image incident on the first imaging device 18 and a light image (rear pin) focused later can be respectively captured.
  • the optical path length difference can be formed without branching the light in the second optical path L2 for focus control, it is possible to obtain the information on the focal position from the second optical path L2. The amount of light is suppressed, and the amount of light when the first imaging device 18 performs imaging can be secured.
  • the position of the first imaging region 22A and the position of the second imaging region 22B on the imaging surface 20a are line-symmetric with respect to the axis P as the scanning direction of the sample S is reversed. It is reversed so that For this reason, regardless of the scanning direction of the sample S, the shift direction of the focal position can be acquired under the same conditions.
  • this image acquisition device M from the imaging in the first imaging area 22A based on the scanning speed v of the stage and the interval d between the first imaging area 22A and the second imaging area 22B. A waiting time W until imaging in the second imaging area 22B is set. Therefore, since the light from the same position of the sample S enters the first imaging region 22A and the second imaging region 22B, the focal position of the objective lens 15 can be controlled with high accuracy.
  • an optical path difference generating member 21 (21B to 21D) made of a glass member having a portion whose thickness changes along the in-plane direction of the imaging surface 20a in the second imaging device 20 is used.
  • the distance between the front pin and the rear pin can be freely adjusted by adjusting the position of the first imaging area 22A and the position of the second imaging area 22B by the area control unit 35.
  • the focus of the sample S is adjusted by adjusting the focus difference between the front pin and the rear pin. The position can be detected with high accuracy.
  • the configuration of the optical path difference generating member 21 can be simplified.
  • the edge portion E of the flat plate member forms a shadow 23 of the second optical image on the imaging surface 20a of the second imaging device 20, the first imaging region 22A and the second imaging region 22A are avoided by avoiding the shadow 23.
  • the imaging region 22B it is possible to ensure the accuracy of control of the focal position of the objective lens 15.
  • the imaging surface 20a is positioned on the near side in the scanning direction of the sample S with respect to the region 22C where the optical image conjugate with the first optical image incident on the first imaging device 18 is incident.
  • the position of the first imaging area 22A and the position of the second imaging area 22B are set.
  • this invention is not restricted to the said aspect, The aspect which analyzes the shift
  • an apparatus for generating a virtual micro image has been exemplified.
  • the image acquisition apparatus according to the present invention may be various as long as it acquires an image while scanning a sample at a predetermined speed with a stage or the like. It can be applied to the device.

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Microscoopes, Condenser (AREA)
  • Automatic Focus Adjustment (AREA)
  • Studio Devices (AREA)

Abstract

　この画像取得装置Ｍでは、第２の光路Ｌ２に光路差生成部材２１が配置されていることにより、第２の撮像装置２０において、第１の撮像装置１８に入射する光像よりも前に焦点が合った光像（前ピン）と、後に焦点が合った光像（後ピン）とをそれぞれ撮像する際の光量が抑えられ、第１の撮像装置１８で撮像する際の光量を確保できる。また、この画像取得装置Ｍでは、試料Ｓの走査方向の反転に伴って撮像面２０ａにおける第１の撮像領域２２Ａの位置と第２の撮像領域２２Ｂの位置とを軸Ｐについて反転させている。このため、試料Ｓの走査方向にかかわらず、焦点位置のずれ方向を同じ条件で取得できる。

Description

画像取得装置及び画像取得装置のフォーカス方法
　本発明は、試料等の画像取得に用いられる画像取得装置及びそのフォーカス方法に関する。
　画像取得装置として、例えば試料の撮像領域を予め複数の領域に分割し、各分割領域を高倍率で撮像した後、これらを合成するバーチャル顕微鏡装置がある。このようなバーチャル顕微鏡での画像取得では、従来、生体サンプルなどの試料の画像を取得する際の撮像条件として、試料の全領域を対象とする焦点マップが設定され、焦点マップに基づく焦点制御を行いつつ試料の画像取得が行われている。
　焦点マップの作成には、まず、マクロ光学系を備える画像取得装置を用い、試料全体をマクロ画像として取得する。次に、取得したマクロ画像を用い、試料の撮像範囲を設定すると共に、撮像範囲を複数の分割領域に分割し、各分割領域に対して焦点取得位置を設定する。焦点取得位置の設定の後、ミクロ光学系を備える画像取得装置に試料を移し、設定された焦点取得位置における焦点位置を取得し、これらの焦点位置から焦点マップを作成する。
　しかしながら、このような焦点マップを作成するにあたっては、処理に時間を要するという問題があった。また、取得する焦点の間隔や数を抑えれば処理に要する時間は短縮されるが、その場合にはフォーカス精度が低下するという問題があった。そのため、焦点位置を取得しつつ試料の高倍率画像を取得するダイナミックフォーカスの開発が進められている。この方式は、画像取得用の撮像装置に入射する光像よりも前に焦点が合った光像（前ピン）と、後に焦点が合った光像（後ピン）との光強度差或いはコントラスト差に基づいて現在の対物レンズの高さに対する焦点位置のずれ方向を検出し、ずれをキャンセルする方向に対物レンズを移動させて画像を取得する方式である。
　例えば特許文献１に記載の顕微鏡システムでは、第１の撮像手段が撮像する領域よりも手前の領域を撮像する第２の撮像手段と、第２の撮像手段で撮像された画像に基づいて、第１の撮像手段の撮像位置での対物レンズの合焦位置を調整する自動合焦制御手段と、分割領域間の距離と試料の移動速度とに応じて、分割領域が第２の撮像手段の撮像位置から第１の撮像手段の撮像位置まで移動するタイミングと、第２の撮像手段で撮像された分割領域の結像位置を第１の撮像手段の撮像面に位置させるタイミングとを揃えるタイミング制御手段とが設けられている。また、例えば特許文献２，３に記載の顕微鏡装置では、ガラス部材を用いて焦点制御用の導光光学系内での光路長差を形成している。
特開２０１１－０８１２１１号公報 再公表特許ＷＯ２００５／１１４２８７号公報 再公表特許ＷＯ２００５／１１４２９３号公報
　上述した特許文献１に記載の顕微鏡システムでは、ハーフミラー及びミラーを用いることによって光路差光学系を形成し、第２の撮像手段の２つの撮像領域に対して光路長の異なる光をそれぞれ入射させている。この従来の顕微鏡システムでは、例えばラインセンサによって第１の撮像手段及び第２の撮像手段を構成している。ラインセンサでは露光時間が短いため、鮮明な画像を取得するために光量の確保が重要となるのに対し、この従来の顕微鏡システムでは、光路差光学系で光を分岐させているため、光量の確保が難しくなるという問題がある。
　また、この従来の顕微鏡システムでは、光路分岐手段の光学面を傾斜させることにより、第２の撮像手段で撮像される領域が第１の撮像手段で撮像される領域に対して試料のスキャン方向の手前側となるように調整され、焦点位置のずれ方向の先行取得を行っている。しかしながら、このような構成では、光学面の調整が難しいという問題がある。特に、試料のスキャン方向が変わる場合には、光学面の調整をスキャン方向の変更の前後で行う必要があり、調整作業が煩雑なものとなるおそれがある。さらに、ハーフミラー及びミラーで光路差光学系を構成しているので、光路差光学系を経た光が第２の撮像手段の撮像面に収まり難いという問題もある。
　本発明は、上記課題の解決のためになされたものであり、簡単な構成で、試料の走査方向にかかわらず焦点位置のずれ方向を同じ条件で取得できる画像取得装置及びそのフォーカス方法を提供することを目的とする。
　上記課題の解決のため、本発明に係る画像取得装置は、試料が載置されるステージと、ステージを所定の速度で走査するステージ制御手段と、試料に向けて光を照射する光源と、試料の光像を画像取得用の第１の光路及び焦点制御用の第２の光路に分岐する光分岐手段を含む導光光学系と、第１の光路に分岐された第１の光像による第１の画像を取得する第１の撮像手段と、第２の光路に分岐された第２の光像による第２の画像を取得する第２の撮像手段と、第２の画像を解析し、その解析結果に基づいて第１の撮像手段による撮像の焦点位置を制御する焦点制御手段と、第２の撮像手段の撮像面に、第２の光像の一部画像を取得する第１の撮像領域及び第２の撮像領域を設定する領域制御手段と、第２の光路に配置され、撮像面の面内方向に沿って第２の光像に光路差を生じさせる光路差生成部材と、を備え、光路差生成部材は、試料の走査に伴う第２の光像の移動方向に直交する撮像面の軸について第２の光像の光路差が対称となるように配置され、領域制御手段は、試料の走査方向の反転に伴って撮像面における第１の撮像領域の位置と第２の撮像領域の位置とを軸について反転させることを特徴としている。
　この画像取得装置では、第２の光路に光路差生成部材が配置されていることにより、第２の撮像手段の第１の撮像領域及び第２の撮像領域において、第１の撮像手段に入射する光像よりも前に焦点が合った光像（前ピン）と、後に焦点が合った光像（後ピン）とをそれぞれ撮像することができる。この画像取得装置では、焦点制御用の第２の光路での光の分岐を行わずに光路長差を形成できるので、焦点位置の情報を得るために必要な第２の光路への光量が抑えられ、第１の撮像手段での撮像を行う際の光量を確保できる。また、この画像取得装置では、試料の走査方向の反転に伴って撮像面における第１の撮像領域の位置と第２の撮像領域の位置とを撮像面の軸について反転させることができる。このため、試料の走査方向にかかわらず、焦点位置のずれ方向を同じ条件で取得できる。
　また、撮像面において、第１の撮像手段に入射する第１の光像と共役な光像が入射する領域は、撮像面の軸に略一致していることが好ましい。これにより、試料の走査方向が反転した場合であっても、撮像面における第１の撮像領域、第２の撮像領域、及び第１の光像と共役な光像が入射する領域の位置関係を維持できる。
　また、撮像面の軸は、試料の走査に伴う第２の光像の移動方向に直交する撮像面の中心軸に略一致していることが好ましい。この場合、試料の走査方向の反転に伴う撮像面における第１の撮像領域の位置と第２の撮像領域の位置の反転を確実に行うことができる。
　また、光路差生成部材は、撮像面の少なくとも一部に重なるように配置された平板部材であり、領域制御手段は、平板部材のエッジ部分による第２の光像の影を避けるように、平板部材に重なる領域と平板部材に重ならない領域とに第１の撮像領域と第２の撮像領域とをそれぞれ設定することが好ましい。この場合、平板部材を用いることで、光路差生成部材の構成を簡単化できる。また、平板部材のエッジ部分は、第２の撮像装置の撮像面における第２の光像の影を形成するので、影を避けて第１の撮像領域と第２の撮像領域を設定することで、焦点位置の制御の精度を担保できる。
　また、光路差生成部材は、撮像面の面内方向に沿って連続的に厚さが変化する部分を有する部材であり、領域制御手段は、光路差生成部材の厚みの異なる部分に重なるように第１の撮像領域と第２の撮像領域とを設定することが好ましい。この場合、第１の撮像領域の位置と第２の撮像領域の位置とを調整することで、前ピンと後ピンとの間隔を自在に調整できる。これにより、試料の焦点位置を精度良く検出することが可能となる。
　また、試料に対峙する対物レンズと、焦点制御手段による制御に基づいて、試料に対する対物レンズの位置を相対的に制御する対物レンズ制御手段とを備え、対物レンズ制御手段は、焦点制御手段による焦点位置の解析実行中は対物レンズの駆動を行わず、焦点制御手段による焦点位置の解析非実行中に対物レンズを試料に対して一方向に移動させることが好ましい。この場合、焦点位置の解析中に対物レンズと試料との位置関係を変化させないことで、焦点位置の解析精度を担保できる。
　また、領域制御手段は、ステージの走査速度と、第１の撮像領域と第２の撮像領域との間の間隔とに基づいて、第１の撮像領域での撮像から第２の撮像領域での撮像までの待ち時間を設定することが好ましい。これにより、試料の同じ位置からの光が第１の撮像領域と第２の撮像領域とに入射するため、焦点位置の制御を精度良く実施できる。
　また、本発明に係る画像取得装置のフォーカス方法は、試料に向けて光を照射する光源と、試料の光像を画像取得用の第１の光路及び焦点制御用の第２の光路に分岐する光分岐手段を含む導光光学系と、第１の光路に分岐された第１の光像による第１の画像を取得する第１の撮像手段と、第２の光路に分岐された第２の光像による第２の画像を取得する第２の撮像手段と、第２の画像を解析し、その解析結果に基づいて第１の撮像手段による撮像の焦点位置を制御する焦点制御手段と、備えた画像取得装置のフォーカス方法であって、第２の撮像手段の撮像面に、第２の光像の一部画像を取得する第１の撮像領域及び第２の撮像領域を設定し、撮像面の面内方向に沿って第２の光像に光路差を生じさせる光路差生成部材を、試料の走査に伴う第２の光像の移動方向に直交する撮像面の軸について第２の光像の光路差が対称となるように第２の光路に配置し、領域制御手段によって、試料の走査方向の反転に伴って撮像面における第１の撮像領域の位置と第２の撮像領域の位置とを撮像面の軸について反転させることを特徴としている。
　この画像取得装置のフォーカス方法では、第２の光路に光路差生成部材を配置することにより、第２の撮像手段の第１の撮像領域及び第２の撮像領域において、第１の撮像手段に入射する光像よりも前に焦点が合った光像（前ピン）と、後に焦点が合った光像（後ピン）とをそれぞれ撮像することができる。このフォーカス方法では、焦点制御用の第２の光路での光の分岐を行わずに光路長差を形成できるので、焦点位置の情報を得るために必要な第２の光路への光量が抑えられ、第１の撮像手段での撮像を行う際の光量を確保できる。また、このフォーカス方法では、試料の走査方向の反転に伴って撮像面における第１の撮像領域の位置と第２の撮像領域の位置とを軸について反転させる。このため、試料の走査方向にかかわらず、焦点位置のずれ方向を同じ条件で取得できる。
　また、撮像面において、第１の撮像手段に入射する第１の光像と共役な光像が入射する領域を、撮像面の軸に略一致させることが好ましい。これにより、試料の走査方向が反転した場合であっても、撮像面における第１の撮像領域、第２の撮像領域、及び第１の光像と共役な光像が入射する領域の位置関係を維持できる。
　撮像面の軸を、試料の走査に伴う第２の光像の移動方向に直交する撮像面の中心軸に略一致させることが好ましい。この場合、試料の走査方向の反転に伴う撮像面における第１の撮像領域の位置と第２の撮像領域の位置の反転を確実に行うことができる。
　また、光路差生成部材として、撮像面の少なくとも一部に重なるように配置された平板部材を用い、領域制御手段によって、平板部材のエッジ部分による第２の光像の影を避けるように、平板部材に重なる領域と平板部材に重ならない領域とに第１の撮像領域と第２の撮像領域とをそれぞれ設定することが好ましい。この場合、平板部材を用いることで、光路差生成部材の構成を簡単化できる。また、平板部材のエッジ部分は、第２の撮像装置の撮像面における第２の光像の影を形成するので、影を避けて第１の撮像領域と第２の撮像領域を設定することで、焦点位置の制御の精度を担保できる。
　また、光路差生成部材として、撮像面の面内方向に沿って連続的に厚さが変化する部分を有する部材を用い、領域制御手段によって、光路差生成部材の厚みの異なる部分に重なるように第１の撮像領域と第２の撮像領域とを設定することが好ましい。この場合、第１の撮像領域の位置と第２の撮像領域の位置とを調整することで、前ピンと後ピンとの間隔を自在に調整できる。これにより、試料の焦点位置を精度良く検出することが可能となる。
　また、画像取得装置は、試料に対峙する対物レンズと、焦点制御手段による制御に基づいて、試料に対する対物レンズの位置を相対的に制御する対物レンズ制御手段とを備え、対物レンズ制御手段によって、焦点制御手段による焦点位置の解析実行中は対物レンズの駆動を行わず、焦点制御手段による焦点位置の解析非実行中に対物レンズを前記試料に対して一方向に移動させることが好ましい。焦点位置の解析中に対物レンズと試料との位置関係を変化させないことで、焦点位置の解析精度を担保できる。
　また、領域制御手段によって、ステージの走査速度と、第１の撮像領域と第２の撮像領域との間の間隔とに基づいて、第１の撮像領域での撮像から第２の撮像領域での撮像までの待ち時間を設定することが好ましい。これにより、試料の同じ位置からの光が第１の撮像領域と第２の撮像領域とに入射するため、焦点位置の制御を精度良く実施できる。
　本発明によれば、簡単な構成で、焦点位置のずれ方向を試料の走査方向に応じて取得できる。
本発明に係る画像取得装置を構成するマクロ画像取得装置の一実施形態を示す図である。 本発明に係る画像取得装置を構成するミクロ画像取得装置の一実施形態を示す図である。 画像取得装置の機能的な構成要素を示すブロック図である。 試料の表面までの距離が対物レンズの焦点距離に一致している場合のコントラスト値の解析結果を示す図である。 試料の表面までの距離が対物レンズの焦点距離よりも長い場合のコントラスト値の解析結果を示す図である。 試料の表面までの距離が対物レンズの焦点距離よりも短い場合のコントラスト値の解析結果を示す図である。 光路差生成部材及び第２の撮像装置の一例（順方向）を示す図である。 光路差生成部材及び第２の撮像装置の一例（逆方向）を示す図である。 光路差生成部材及び第２の撮像装置の別の例（順方向）を示す図である。 光路差生成部材及び第２の撮像装置の別の例（逆方向）を示す図である。 光路差生成部材の変形例を示す図である。 ステージの走査時間に対する対物レンズと試料の表面との距離の関係を示す図である。 ステージ制御部によるステージの走査方向の制御を示す図である。 ステージ制御部によるステージの走査速度の制御を示す図である。 画像取得装置の動作を示すフローチャートである。
　以下、図面を参照しながら、本発明に係る画像取得装置及び画像取得装置のフォーカス方法の好適な実施形態について詳細に説明する。
　図１は、本発明に係る画像取得装置を構成するマクロ画像取得装置の一実施形態を示す図である。また、図２は、本発明に係る画像取得装置を構成するミクロ画像取得装置の一実施形態を示す図である。図１及び図２に示すように、画像取得装置Ｍは、試料Ｓのマクロ画像を取得するマクロ画像取得装置Ｍ１と、試料Ｓのミクロ画像を取得するミクロ画像取得装置Ｍ２とによって構成されている。画像取得装置Ｍは、マクロ画像取得装置Ｍ１で取得したマクロ画像に対して例えばライン状の複数の分割領域４０（図１３参照）を設定し、各分割領域４０をミクロ画像取得装置Ｍ２で高倍率に取得して合成することにより、バーチャルマイクロ画像を生成する装置である。
　マクロ画像取得装置Ｍ１は、図１に示すように、試料Ｓが載置されるステージ１を備えている。ステージ１は、例えばステッピングモータ（パルスモータ）或いはピエゾアクチュエータなどのモータやアクチュエータによって水平方向に駆動するＸＹステージである。画像取得装置Ｍで観察する試料Ｓは、例えば細胞などの生体サンプルであり、スライドガラスに密封された状態でステージ１に載置される。このステージ１をＸＹ面内で駆動させることにより、試料Ｓに対する撮像位置を移動させることができる。
　ステージ１は、マクロ画像取得装置Ｍ１とミクロ画像取得装置Ｍ２との間を往復可能となっており、両装置間で試料Ｓを搬送する機能を有している。なお、マクロ画像取得においては、試料Ｓの全体画像を１度の撮像で取得してもよく、試料Ｓを複数の領域に分割して撮像してもよい。また、ステージ１は、マクロ画像取得装置Ｍ１及びミクロ画像取得装置Ｍ２の双方にそれぞれ設けておいてもよい。
　ステージ１の底面側には、試料Ｓに向けて光を照射する光源２と、光源２からの光を試料Ｓに集光する集光レンズ３とが配置されている。光源２は、試料Ｓに向けて斜めに光を照射するように配置されていてもよい。また、ステージ１の上面側には、試料Ｓからの光像を導光する導光光学系４と、試料Ｓの光像を撮像する撮像装置５とが配置されている。導光光学系４は、試料Ｓからの光像を撮像装置５の撮像面に結像させる結像レンズ６を有している。また、撮像装置５は、例えば２次元画像を取得可能なエリアセンサである。撮像装置５は、導光光学系４を経て撮像面に入射した試料Ｓの光像の全体画像を取得し、後述のバーチャルマイクロ画像格納部３９に格納する。
　ミクロ画像取得装置Ｍ２は、図２に示すように、ステージ１の底面側にマクロ画像取得装置Ｍ１と同様の光源１２及び集光レンズ１３を有している。また、ステージ１の上面側には、試料Ｓからの光像を導光する導光光学系１４が配置されている。光源１２からの光を試料Ｓに照射させる光学系には、試料Ｓに励起光を照射するための励起光照射光学系や試料Ｓの暗視野画像を取得するための暗視野照明光学系を採用してもよい。
　導光光学系４は、試料Ｓと対峙して配置された対物レンズ１５と、対物レンズ１５の後段に配置されたビームスプリッタ（光分岐手段）１６とを有している。対物レンズ１５には、ステージ１の載置面に直交するＺ方向に対物レンズ１５を駆動するステッピングモータ（パルスモータ）或いはピエゾアクチュエータなどのモータやアクチュエータが設けられている。これらの駆動手段によって対物レンズ１５のＺ方向の位置を変えることにより、試料Ｓの画像取得における撮像の焦点位置が調整可能になっている。なお、焦点位置の調整は、ステージ１のＺ方向の位置を変えてもよく、対物レンズ１５及びステージ１の双方のＺ方向の位置を変えてもよい。
　ビームスプリッタ１６は、試料Ｓの光像を画像取得用の第１の光路Ｌ１と焦点制御用の第２の光路Ｌ２とに分岐する部分である。このビームスプリッタ１６は、光源１２からの光軸に対しておよそ４５度の角度で配置されており、図２において、ビームスプリッタ１６を通過する光路が第１の光路Ｌ１となっており、ビームスプリッタ１６で反射する光路が第２の光路となっている。
　第１の光路Ｌ１には、ビームスプリッタ１６を通過した試料Ｓの光像（第１の光像）を結像させる結像レンズ１７と、結像レンズ１７の結像位置に撮像面を配置した第１の撮像装置（第１の撮像手段）１８とが配置されている。第１の撮像装置１８は、試料Ｓの第１の光像による１次元画像（第１の画像）を取得可能な装置であり、例えばＴＤＩ（Ｔｉｍｅ　Ｄｅｌａｙ　Ｉｎｔｅｇｒａｔｉｏｎ）駆動が可能な２次元ＣＣＤセンサが用いられる。第１の撮像装置１８は、例えば転送方向の異なる２つのＴＤＩセンサを組み合わせた構造をなし、複数段の受光列を有する受光部同士が撮像面の中央側に位置している。なお、第１の撮像装置１８は、ラインセンサであってもよい。
　また、ステージ１を一定の速度で制御しながら、試料Ｓの画像を順次取得する方式であれば、第１の撮像装置１８は、ＣＭＯＳセンサやＣＣＤセンサなどの２次元画像を取得可能な装置であってもよい。第１の撮像装置１８で撮像された第１の画像は、レーンバッファなどの一時保存メモリに順次保存された後、圧縮されて後述の画像生成部３８に出力される。
　一方、第２の光路Ｌ２には、ビームスプリッタ１６で反射した試料の光像（第２の光像）を縮小する視野調整レンズ１９と、第２の撮像装置（第２の撮像手段）２０とが配置されている。また、第２の撮像装置２０の前段には、第２の光像に光路差を生じさせる光路差生成部材２１が配置されている。視野調整レンズ１９は、第２の光像が第１の光像と同程度の大きさで第２の撮像装置２０に結像するように構成されていることが好ましい。
　第２の撮像装置２０は、試料Ｓの第２の光像による２次元画像（第２の画像）を取得可能な装置であり、例えばＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ　Ｍｅｔａｌ　Ｏｘｉｄｅ　Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）やＣＣＤ（Ｃｈａｒｇｅ　Ｃｏｕｐｌｅｄ　Ｄｅｖｉｃｅ）などのセンサが用いられる。また、ラインセンサを用いてもよい。
　第２の撮像装置２０の撮像面２０ａは、第２の光路Ｌ２に直交するＸＺ面と略一致するように配置されている。撮像面２０ａには、第２の光像が投影される。第２の光像は、ステージ１によって試料Ｓが順方向に走査された場合に撮像面２０ａを＋Ｚ方向に移動し、試料Ｓの逆方向に走査された場合に撮像面２０ａを－Ｚ方向に移動する。この撮像面２０ａには、第２の光像の一部画像を取得する第１の撮像領域２２Ａ及び第２の撮像領域２２Ｂが設定されている（例えば図７参照）。第１の撮像領域２２Ａ及び第２の撮像領域２２Ｂは、試料Ｓの走査に伴う撮像面２０ａ上での第２の光像の移動方向（走査方向：Ｚ方向）に対して垂直となる向きに設定される。また、第１の撮像領域２２Ａと第２の撮像領域２２Ｂとは、所定の間隔をもって設定されており、いずれも第２の光像の一部をライン状に取得する。これにより、第１の撮像装置１８で取得される試料Ｓの第１の光像と同じ領域の光像を第２の光像として第１の撮像領域２２Ａ及び第２の撮像領域２２Ｂで取得できる。
　これにより、第２の撮像装置２０では、第１の撮像領域２２Ａの位置と第２の撮像領域２２Ｂの位置に基づいて、第１の撮像装置１８に入射する第１の光像よりも前に焦点が合った光像（前ピン）と、後に焦点が合った光像（後ピン）とを取得できる。前ピンと後ピンとの間のフォーカス差は、第１の撮像領域２２Ａに入射する第２の光像が通過する光路差生成部材２１の厚さ及び屈折率と、第２の撮像領域２２Ｂに入射する第２の光像が通過する光路差生成部材２１の厚さ及び屈折率との差に依存する。
　光路差生成部材２１は、撮像面２０ａの面内方向に沿って第２の光像に光路差を生じさせるガラス部材である。光路差生成部材２１は、試料Ｓの走査に伴う第２の光像の移動方向に直交する撮像面２０ａの軸Ｐについて第２の光像の光路差が対称となるように配置される。また、光路差生成部材２１は、第２の撮像装置２０と対向する面が第２の撮像装置の撮像面（受光面）２０ａと平行となるように配置されることが好ましい。これにより、第２の撮像装置２０と対向する面による光の屈折を低減でき、第２の撮像装置２０で受光する光量を確保することができる。光路差生成部材２１の形状、及び撮像面２０ａにおける第１の撮像領域２２Ａと第２の撮像領域２２Ｂとの配置の例については後述する。
　図３は、画像取得装置の機能的な構成要素を示すブロック図である。同図に示すように、画像取得装置Ｍは、ＣＰＵ、メモリ、通信インタフェイス、ハードディスクといった格納部、キーボードなどの操作部３１、モニタ３２等を備えたコンピュータシステムを備え、制御部３３の機能的な構成要素として、焦点制御部３４と、領域制御部３５と、対物レンズ制御部３６と、ステージ制御部３７と、画像生成部３８と、バーチャルマイクロ画像格納部３９とを備えている。
　焦点制御部３４は、第２の撮像装置２０で取得した第２の画像を解析し、その解析結果に基づいて第１の撮像装置１８による撮像の焦点位置を制御する部分である。より具体的には、焦点制御部３４は、まず、第２の撮像装置２０において、第１の撮像領域２２Ａで取得した画像のコントラスト値と、第２の撮像領域２２Ｂで取得した画像のコントラスト値との差分を求める。
　ここで、図４に示すように、試料Ｓの表面に対して対物レンズ１５の焦点位置が合っている場合、第１の撮像領域２２Ａで取得した前ピンの画像コントラスト値と第２の撮像領域２２Ｂで取得した後ピンの画像コントラスト値とが略一致し、これらの差分値はほぼゼロとなる。
　一方、図５に示すように、試料Ｓの表面までの距離が対物レンズ１５の焦点距離よりも長い場合、第１の撮像領域２２Ａで取得した前ピンの画像コントラスト値よりも第２の撮像領域２２Ｂで取得した後ピンの画像コントラスト値の方が大きくなり、これらの差分値はプラスとなる。この場合、焦点制御部３４は、対物レンズ制御部３６に対し、対物レンズ１５を試料Ｓに近づける向きに駆動する旨の指示情報を出力する。
　また、図６に示すように、試料Ｓの表面までの距離が対物レンズ１５の焦点距離よりも短い場合、第１の撮像領域２２Ａで取得した前ピンの画像コントラスト値よりも第２の撮像領域２２Ｂで取得した後ピンの画像コントラスト値の方が小さくなり、これらの差分値はマイナスとなる。この場合、焦点制御部３４は、対物レンズ制御部３６に対し、対物レンズ１５を試料Ｓに遠ざける向きに駆動する旨の指示情報を出力する。
　領域制御部３５は、第２の撮像装置２０の撮像面２０ａにおける第１の撮像領域２２Ａの位置及び第２の撮像領域２２Ｂの位置を制御する部分である。領域制御部３５は、操作部３１からの操作に基づき、予め設定された位置にまず第１の撮像領域２２Ａを設定し、第１の撮像領域２２Ａでの撮像が行われた後、第１の撮像領域２２Ａの設定を解除する。次に、第１の撮像領域２２ＡからＺ方向に所定の間隔をもって第２の撮像領域２２Ｂを設定し、第２の撮像領域２２Ｂでの撮像が行われた後、第２の撮像領域２２Ｂの設定を解除する。
　このとき、第１の撮像領域２２Ａでの撮像から第２の撮像領域２２Ｂでの撮像までの待ち時間Ｗは、第１の撮像領域２２Ａと第２の撮像領域２２Ｂとの間の間隔ｄと、ステージ１の走査速度ｖに基づいて設定される。例えば、待ち時間Ｗを第１の撮像領域２２Ａでの撮像開始から第２の撮像領域２２Ｂでの撮像開始までの時間Ｗ１とすると、第１の撮像領域２２Ａでの撮像の露光時間ｅｌ、第１の撮像領域２２Ａの設定を解除してから第２の撮像領域２２Ｂを設定するまでの時間ｓｔを考慮して、Ｗ１＝ｄ／ｖ－ｅｌ－ｓｔで求めることができる。
　また、待ち時間Ｗを第１の撮像領域２２Ａでの撮像完了から第２の撮像領域２２Ｂでの撮像開始までの待ち時間Ｗ２とすると、第１の撮像領域２２Ａの設定を解除してから第２の撮像領域２２Ｂを設定するまでの時間ｓｔを考慮して、Ｗ２＝ｄ／ｖ－ｓｔで求めることができる。また、第１の撮像領域２２Ａと第２の撮像領域２２Ｂとの間の間隔ｄは、光路差生成部材２１によって生じる光路長差に基づいて設定される。ただし、この間隔ｄは、実際には試料Ｓのスライド上の距離に対応しており、最終的には間隔ｄを第２の撮像領域２２Ｂの画素数に変換する必要がある。第２の撮像装置２０の画素サイズをＡＦｐｓｚ、倍率をＡＦｍａｇとした場合、間隔ｄに対応する画素数ｄｐｉｘは、ｄｐｉｘ＝ｄ÷（ＡＦｐｓｚ／ＡＦｍａｇ）で求められる。
　また、領域制御部３５は、試料Ｓの走査方向の反転に伴って、撮像面２０ａにおける第１の撮像領域２２Ａの位置と第２の撮像領域２２Ｂの位置とを撮像面２０ａの軸Ｐに対して線対称となるように反転させる。この設定は、光路差生成部材２１の形状・配置に応じて適宜実行される。例えば図７及び図８に示す例では、平板形状のガラス部材で形成された光路差生成部材２１Ａが撮像面２０ａの軸Ｐに一致するように配置されている。第１の撮像装置１８に入射する第１の光像と共役な光像が入射する領域２２Ｃは、撮像面２０ａの軸Ｐに一致するように位置している。なお、本形態では、撮像面２０ａの軸Ｐは、試料Ｓの走査に伴う第２の光像の移動方向に直交する撮像面２０ａの中心軸と一致した状態となっている。
　そして、図７に示すように、試料Ｓが順方向（＋Ｚ方向）に走査される場合には、撮像面２０ａの上半分領域において、第１の撮像領域２２Ａは、光路差生成部材２１Ａと重ならない領域に設定され、第２の撮像領域２２Ｂは、光路差生成部材２１Ａと重なる領域に設定される。また、図８に示すように、試料Ｓが逆方向（－Ｚ方向）に走査される場合には、撮像面２０ａの下半分領域において、第１の撮像領域２２Ａは、光路差生成部材２１Ａと重ならない領域に設定され、第２の撮像領域２２Ｂは、光路差生成部材２１Ａと重なる領域に設定される。
　なお、光路差生成部材２１Ａのエッジ部分Ｅは、撮像面２０ａにおける第２の光像の影２３を形成するおそれがある。したがって、第１の撮像領域２２Ａと第２の撮像領域２２Ｂとの間の間隔ｄを影２３の幅よりも広くし、影２３を避けた位置に第１の撮像領域２２Ａと第２の撮像領域２２Ｂとを設定することが好適である。
　また、図９及び図１０に示す例では、Ｚ方向の中心に向かって連続的に厚みが変化するプリズム状のガラス部材からなる光路差生成部材２１Ｂが撮像面２０ａの軸Ｐに一致するように配置されている。光路差生成部材２１Ｂの厚みの変化は、撮像面の軸Ｐを中心に対称となっており、Ｚ方向に沿って、増加から減少へ切り替わっている。第１の撮像装置１８に入射する第１の光像と共役な光像が入射する領域２２Ｃは、撮像面２０ａにおけるＺ方向の中心に一致するように位置している。なお、本形態においても、撮像面２０ａの軸Ｐは、試料Ｓの走査に伴う第２の光像の移動方向に直交する撮像面２０ａの中心軸と一致した状態となっている。
　そして、図９に示すように、試料Ｓが順方向（＋Ｚ方向）に走査される場合には、撮像面２０ａの上半分領域において、第１の撮像領域２２Ａが上側、第２の撮像領域２２Ｂが下側となるように設定される。また、図１０に示すように、試料Ｓが逆方向（－Ｚ方向）に走査される場合には、撮像面２０ａの下半分領域において、第１の撮像領域２２Ａが下側、第２の撮像領域２２Ｂが上側となるように設定される。
　その他、光路差生成部材２１としては、例えば図１１（ａ）に示すように、Ｚ方向の中央部分が一定の厚みを有し、Ｚ方向の両端部が外側に向かうに従って厚みが減少する光路差生成部材２１Ｃを用いてもよく、例えば図１１（ｂ）に示すように、断面直角三角形のプリズム状をなす２つのガラス部材からなる光路差生成部材２１Ｄを、撮像面２０ａのＺ方向の両端部側から中央側に向かって厚みが減少するように配置してもよい。
　なお、撮像面２０ａにおいて、第１の撮像装置１８に入射する第１の光像と共役な光像が入射する領域２２Ｃの位置を設定する場合、まず、ステージ１に対する対物レンズ１５の距離を固定し、キャリブレーションスライドのクロスラインが第１の撮像装置１８の視野の中心に位置するようにステージ１の位置を調整する。次に、キャリブレーションスライドのクロスラインが第２の撮像装置２０の視野に入るように、第２の撮像装置２０のバックフォーカスを調整する。最後に、キャリブレーションスライドのクロスラインが第２の撮像装置２０の撮像面２０ａの所望の位置に来るように、第２の撮像装置２０の面内方向の位置を調整する。
　対物レンズ制御部３６は、対物レンズ１５の駆動を制御する部分である。対物レンズ制御部３６は、焦点制御部３４から出力される指示情報を受け取ると、指示情報の内容に従って、対物レンズ１５をＺ方向に駆動させる。これにより、試料Ｓに対する対物レンズ１５の焦点位置が調整される。
　なお、対物レンズ制御部３６は、焦点制御部３４による焦点位置の解析中は対物レンズ１５の駆動は行わず、また、次の焦点位置の解析が開始されるまで、対物レンズ１５をＺ方向に沿って一方向にのみ駆動させる。図１２は、ステージの走査時間に対する対物レンズと試料の表面との距離の関係を示す図である。同図に示すように、試料Ｓの走査中は、焦点位置の解析期間Ａと、解析結果に基づく対物レンズ駆動期間Ｂとが交互に生じることとなる。このように、焦点位置の解析中に対物レンズ１５と試料Ｓとの位置関係を変化させないことで、焦点位置の解析精度を担保できる。
　ステージ制御部３７は、ステージ１の駆動を制御する部分である。より具体的には、ステージ制御部３７は、操作部３１からの操作に基づき、試料Ｓが載置されたステージ１を所定の速度で走査させる。このステージ１の走査により、第１の撮像装置１８及び第２の撮像装置２０での試料Ｓの撮像視野が相対的に順次移動する。ステージ１の走査方向は、例えば図１３に示すように、一つの分割領域４０の走査が終了した後、ステージ１を走査方向と直交する方向に移動させて次の分割領域４０を反対方向に走査する双方向走査とされる。
　また、画像取得の間のステージ１の走査速度は一定であるが、実際には走査の開始直後にステージ１の振動等の影響によって走査速度が不安定な期間が存在する。このため、図１４に示すように、分割領域４０よりも長い走査幅を設定し、ステージ１が加速する加速期間Ｃ、ステージ１の走査速度が安定化するまでの安定化期間Ｄ、及びステージ１が減速する減速期間Ｆのそれぞれが、分割領域４０よりも外側を走査しているときに生じるようにすることが好ましい。これにより、ステージ１の走査速度が一定となる一定速度期間Ｅに合わせて画像取得を行うことが可能となる。なお、安定化期間Ｄ中に撮像を開始し、画像取得後に安定化期間Ｄ中に取得したデータ部分を削除するようにしてもよい。このような手法は、データの空読みが必要な撮像装置を用いる場合に好適である。
　画像生成部３８は、取得した画像を合成してバーチャルマイクロ画像を生成する部分である。画像生成部３８は、第１の撮像装置１８から出力される第１の画像、すなわち、各分割領域４０の画像を順次受け取り、これらを合成して試料Ｓの全体の画像を合成する。そして、この合成画像に基づいてこれよりも低い解像度の画像を作成し、高解像度の画像と低解像度の画像とを関連付けてバーチャルマイクロ画像格納部３９に格納する。バーチャルマイクロ画像格納部３９では、マクロ画像取得装置Ｍ１で取得した画像も更に関連付けてもよい。バーチャルマイクロ画像は、１枚の画像として格納してもよく、複数に分割された画像として格納してもよい。
　続いて、上述した画像取得装置Ｍの動作について説明する。
　図１５は、画像取得装置Ｍの動作を示すフローチャートである。同図に示すように、画像取得装置Ｍでは、まず、マクロ画像取得装置Ｍ１による試料Ｓのマクロ画像の取得がなされる（ステップＳ０１）。取得したマクロ画像は、例えば所定の閾値を用いて二値化された後、モニタ３２に表示され、所定のプログラムを用いた自動設定又は操作者による手動設定により、マクロ画像の中からミクロ画像を取得する範囲が設定される（ステップＳ０２）。
　次に、試料Ｓがミクロ画像取得装置Ｍ２側に移送され、焦点取得条件の設定がなされる（ステップＳ０３）。ここでは、上述したように、ステージ１の走査速度ｖと、第１の撮像領域２２Ａと第２の撮像領域２２Ｂとの間の間隔ｄとに基づいて、第２の撮像領域２２Ｂでの撮像が開始されるまでの待ち時間Ｗを設定する。より好ましくは、第１の撮像領域２２Ａでの撮像の露光時間ｅｌ、及び第１の撮像領域２２Ａの設定を解除してから第２の撮像領域２２Ｂを設定するまでの時間ｓｔ等を考慮する。
　焦点取得条件を設定した後、ステージ１の走査を開始し、ミクロ画像取得装置Ｍ２による試料Ｓの各分割領域４０ごとのミクロ画像の取得がなされる（ステップＳ０４）。第１の撮像装置１８でのミクロ画像の取得の際、第２の撮像装置２０では第１の撮像領域２２Ａ及び第２の撮像領域２２Ｂによって前ピンのコントラスト値と後ピンのコントラスト値の差分に基づいて試料Ｓに対する対物レンズ１５のずれ方向が解析され、対物レンズ１５の位置の調整がリアルタイムで実行される。全ての分割領域４０についてミクロ画像の取得が完了した後、取得したミクロ画像が合成され、バーチャルマイクロ画像が生成される（ステップＳ０５）。
　以上説明したように、この画像取得装置Ｍでは、第２の光路Ｌ２に光路差生成部材２１が配置されていることにより、第２の撮像装置２０の第１の撮像領域２２Ａ及び第２の撮像領域２２Ｂにおいて、第１の撮像装置１８に入射する光像よりも前に焦点が合った光像（前ピン）と、後に焦点が合った光像（後ピン）とをそれぞれ撮像することができる。この画像取得装置Ｍでは、焦点制御用の第２の光路Ｌ２での光の分岐を行わずに光路長差を形成できるので、焦点位置の情報を得るために必要な第２の光路Ｌ２への光量が抑えられ、第１の撮像装置１８での撮像を行う際の光量を確保できる。また、この画像取得装置Ｍでは、試料Ｓの走査方向の反転に伴って撮像面２０ａにおける第１の撮像領域２２Ａの位置と第２の撮像領域２２Ｂの位置とを軸Ｐに対して線対称となるように反転させている。このため、試料Ｓの走査方向にかかわらず、焦点位置のずれ方向を同じ条件で取得できる。
　また、この画像取得装置Ｍでは、ステージの走査速度ｖと、第１の撮像領域２２Ａと第２の撮像領域２２Ｂとの間の間隔ｄとに基づいて、第１の撮像領域２２Ａでの撮像から第２の撮像領域２２Ｂでの撮像までの待ち時間Ｗが設定される。したがって、試料Ｓの同じ位置からの光が第１の撮像領域２２Ａと第２の撮像領域２２Ｂとに入射するため、対物レンズ１５の焦点位置の制御を精度良く実施できる。
　本実施形態の光路差生成部材として、第２の撮像装置２０における撮像面２０ａの面内方向に沿って厚みが変化する部分を有するガラス部材からなる光路差生成部材２１（２１Ｂ～２１Ｄ）を用いる場合、領域制御部３５によって第１の撮像領域２２Ａの位置と第２の撮像領域２２Ｂの位置とを調整することで、前ピンと後ピンとの間隔を自在に調整できる。これにより、例えば第２の撮像装置２０で撮像した画像のコントラストのピークが複数存在する場合やピーク形状が平らである場合などに、前ピンと後ピンとのフォーカス差を調整することによって試料Ｓの焦点位置を精度良く検出することが可能となる。
　また、本実施形態の光路差生成部材として、平板形状のガラス部材からなる光路差生成部材２１（２１Ａ）を用いる場合には、光路差生成部材２１の構成を簡単化できる。この場合、平板部材のエッジ部分Ｅは、第２の撮像装置２０の撮像面２０ａにおける第２の光像の影２３を形成するので、影２３を避けて第１の撮像領域２２Ａと第２の撮像領域２２Ｂを設定することで、対物レンズ１５の焦点位置の制御の精度を担保できる。
　また、上述した実施形態では、第１の撮像装置１８に入射する第１の光像と共役な光像が入射する領域２２Ｃに対して撮像面２０ａにおける試料Ｓの走査方向の手前側に位置するように第１の撮像領域２２Ａの位置及び第２の撮像領域２２Ｂの位置が設定されている。これにより、焦点位置のずれ方向を第１の撮像装置１８の撮像位置に対して先行取得することが可能となっている。なお、本発明は、当該態様に限られるものではなく、第１の撮像装置１８の撮像位置で焦点位置のずれ方向を解析する態様であってもよい。
　上述した実施形態では、バーチャルマイクロ画像を生成する装置を例示したが、本発明に係る画像取得装置は、ステージ等によって試料を所定の速度で走査しながら画像を取得する装置であれば、種々の装置に適用することができる。
　１…ステージ、１２…光源、１４…導光光学系、１５…対物レンズ、１６…ビームスプリッタ（光分岐手段）、１８…第１の撮像装置（第１の撮像手段）、２０…第２の撮像装置（第２の撮像手段）、２０ａ…撮像面、２１（２１Ａ～２１Ｄ）…光路差生成部材、２２Ａ…第１の撮像領域、２２Ｂ…第２の撮像領域、３４…焦点制御部（焦点制御手段）、３５…領域制御部（領域制御手段）、３６…対物レンズ制御部（対物レンズ制御手段）、Ｅ…エッジ部分、Ｌ１…第１の光路、Ｌ２…第２の光路、Ｍ…画像取得装置、Ｍ１…マクロ画像取得装置、Ｍ２…ミクロ画像取得装置、Ｐ…軸、Ｓ…試料。

Claims (14)

  1. 　試料が載置されるステージと、
    　前記ステージを所定の速度で走査するステージ制御手段と、
    　前記試料に向けて光を照射する光源と、
    　前記試料の光像を画像取得用の第１の光路及び焦点制御用の第２の光路に分岐する光分岐手段を含む導光光学系と、
    　前記第１の光路に分岐された第１の光像による第１の画像を取得する第１の撮像手段と、
    　前記第２の光路に分岐された第２の光像による第２の画像を取得する第２の撮像手段と、
    　前記第２の画像を解析し、その解析結果に基づいて前記第１の撮像手段による撮像の焦点位置を制御する焦点制御手段と、
    　前記第２の撮像手段の撮像面に、前記第２の光像の一部画像を取得する第１の撮像領域及び第２の撮像領域を設定する領域制御手段と、
    　前記第２の光路に配置され、前記撮像面の面内方向に沿って前記第２の光像に光路差を生じさせる光路差生成部材と、を備え、
    　前記光路差生成部材は、前記試料の走査に伴う前記第２の光像の移動方向に直交する前記撮像面の軸について前記第２の光像の光路差が対称となるように配置され、
    　前記領域制御手段は、前記試料の走査方向の反転に伴って前記撮像面における前記第１の撮像領域の位置と前記第２の撮像領域の位置とを前記軸について反転させることを特徴とする画像取得装置。
  2. 　前記撮像面において、前記第１の撮像手段に入射する前記第１の光像と共役な光像が入射する領域は、前記撮像面の軸に略一致していることを特徴とする請求項１記載の画像取得装置。
  3. 　前記撮像面の軸は、前記試料の走査に伴う前記第２の光像の移動方向に直交する前記撮像面の中心軸に略一致していることを特徴とする請求項１又は２記載の画像取得装置。
  4. 　前記光路差生成部材は、前記撮像面の少なくとも一部に重なるように配置された平板部材であり、
    　前記領域制御手段は、前記平板部材のエッジ部分による前記第２の光像の影を避けるように、前記平板部材に重なる領域と前記平板部材に重ならない領域とに前記第１の撮像領域と前記第２の撮像領域とをそれぞれ設定することを特徴とする請求項１～３のいずれか一項記載の画像取得装置。
  5. 　前記光路差生成部材は、前記撮像面の面内方向に沿って連続的に厚さが変化する部分を有する部材であり、
    　前記領域制御手段は、前記光路差生成部材の厚みの異なる部分に重なるように前記第１の撮像領域と前記第２の撮像領域とを設定することを特徴とする請求項１～４のいずれか一項記載の画像取得装置。
  6. 　前記試料に対峙する対物レンズと、
    　前記焦点制御手段による制御に基づいて、前記試料に対する前記対物レンズの位置を相対的に制御する対物レンズ制御手段とを備え、
    　前記対物レンズ制御手段は、前記焦点制御手段による焦点位置の解析実行中は前記対物レンズの駆動を行わず、前記焦点制御手段による焦点位置の解析非実行中に前記対物レンズを前記試料に対して一方向に移動させることを特徴とする請求項１～５のいずれか一項記載の画像取得装置。
  7. 　前記領域制御手段は、前記ステージの走査速度と、前記第１の撮像領域と前記第２の撮像領域との間の間隔とに基づいて、前記第１の撮像領域での撮像から前記第２の撮像領域での撮像までの待ち時間を設定することを特徴とする請求項１～６のいずれか一項記載の画像取得装置。
  8. 　試料に向けて光を照射する光源と、
    　前記試料の光像を画像取得用の第１の光路及び焦点制御用の第２の光路に分岐する光分岐手段を含む導光光学系と、
    　前記第１の光路に分岐された第１の光像による第１の画像を取得する第１の撮像手段と、
    　前記第２の光路に分岐された第２の光像による第２の画像を取得する第２の撮像手段と、
    　前記第２の画像を解析し、その解析結果に基づいて前記第１の撮像手段による撮像の焦点位置を制御する焦点制御手段と、備えた画像取得装置のフォーカス方法であって、
    　前記第２の撮像手段の撮像面に、前記第２の光像の一部画像を取得する第１の撮像領域及び第２の撮像領域を設定し、
    　前記撮像面の面内方向に沿って前記第２の光像に光路差を生じさせる光路差生成部材を、前記試料の走査に伴う前記第２の光像の移動方向に直交する前記撮像面の軸について前記第２の光像の光路差が対称となるように前記第２の光路に配置し、
    　領域制御手段によって、前記試料の走査方向の反転に伴って前記撮像面における前記第１の撮像領域の位置と前記第２の撮像領域の位置とを前記軸について反転させることを特徴とする画像取得装置のフォーカス方法。
  9. 　前記撮像面において、前記第１の撮像手段に入射する前記第１の光像と共役な光像が入射する領域を、前記撮像面の軸に略一致させることを特徴とする請求項８記載の画像取得装置のフォーカス方法。
  10. 　前記撮像面の軸を、前記試料の走査に伴う前記第２の光像の移動方向に直交する前記撮像面の中心軸に略一致させることを特徴とする請求項８又は９記載の画像取得装置のフォーカス方法。
  11. 　前記光路差生成部材として、前記撮像面の少なくとも一部に重なるように配置された平板部材を用い、
    　前記領域制御手段によって、前記平板部材のエッジ部分による前記第２の光像の影を避けるように、前記平板部材に重なる領域と前記平板部材に重ならない領域とに前記第１の撮像領域と前記第２の撮像領域とをそれぞれ設定することを特徴とする請求項８～１０のいずれか一項記載の画像取得装置のフォーカス方法。
  12. 　前記光路差生成部材として、前記撮像面の面内方向に沿って連続的に厚さが変化する部分を有する部材を用い、
    　前記領域制御手段によって、前記光路差生成部材の厚みの異なる部分に重なるように前記第１の撮像領域と前記第２の撮像領域とを設定することを特徴とする請求項８～１１のいずれか一項記載の画像取得装置のフォーカス方法。
  13. 　前記画像取得装置は、
    　前記試料に対峙する対物レンズと、
    　前記焦点制御手段による制御に基づいて、前記試料に対する前記対物レンズの位置を相対的に制御する対物レンズ制御手段とを備え、
    　前記対物レンズ制御手段によって、前記焦点制御手段による焦点位置の解析実行中は前記対物レンズの駆動を行わず、前記焦点制御手段による焦点位置の解析非実行中に前記対物レンズを前記試料に対して一方向に移動させることを特徴とする請求項８～１２のいずれか一項記載の画像取得装置のフォーカス方法。
  14. 　前記領域制御手段によって、ステージの走査速度と、前記第１の撮像領域と前記第２の撮像領域との間の間隔とに基づいて、前記第１の撮像領域での撮像から前記第２の撮像領域での撮像までの待ち時間を設定することを特徴とする請求項８～１３のいずれか一項記載の画像取得装置のフォーカス方法。
PCT/JP2013/050853 2011-12-19 2013-01-17 画像取得装置及び画像取得装置のフォーカス方法 WO2014112084A1 (ja)

Priority Applications (9)

Application Number Priority Date Filing Date Title
US14/398,011 US9921392B2 (en) 2011-12-19 2013-01-17 Image capturing apparatus and focusing method thereof
DK18153434.8T DK3333608T3 (da) 2013-01-17 2013-01-17 Billedopfangningsanordning og fremgangsmåde til fokusering deraf
PCT/JP2013/050853 WO2014112084A1 (ja) 2013-01-17 2013-01-17 画像取得装置及び画像取得装置のフォーカス方法
CN201380070771.1A CN104937469B (zh) 2013-01-17 2013-01-17 图像取得装置以及图像取得装置的聚焦方法
EP18153434.8A EP3333608B1 (en) 2013-01-17 2013-01-17 Image capturing appartus and focusing method thereof
HUE18153434A HUE054657T2 (hu) 2013-01-17 2013-01-17 Képfelvevõ berendezés és fókuszálási eljárás arra
EP13871428.2A EP2947488B1 (en) 2013-01-17 2013-01-17 Image acquisition device and focus method for image acquisition device
US15/889,332 US10571664B2 (en) 2011-12-19 2018-02-06 Image capturing apparatus and focusing method thereof
US16/592,192 US20200033564A1 (en) 2011-12-19 2019-10-03 Image capturing apparatus and focusing method thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2013/050853 WO2014112084A1 (ja) 2013-01-17 2013-01-17 画像取得装置及び画像取得装置のフォーカス方法

Related Child Applications (2)

Application Number Title Priority Date Filing Date
US14/398,011 A-371-Of-International US9921392B2 (en) 2011-12-19 2013-01-17 Image capturing apparatus and focusing method thereof
US15/889,332 Continuation US10571664B2 (en) 2011-12-19 2018-02-06 Image capturing apparatus and focusing method thereof

Publications (1)

Publication Number Publication Date
WO2014112084A1 true WO2014112084A1 (ja) 2014-07-24

Family

ID=51209205

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2013/050853 WO2014112084A1 (ja) 2011-12-19 2013-01-17 画像取得装置及び画像取得装置のフォーカス方法

Country Status (6)

Country Link
US (3) US9921392B2 (ja)
EP (2) EP3333608B1 (ja)
CN (1) CN104937469B (ja)
DK (1) DK3333608T3 (ja)
HU (1) HUE054657T2 (ja)
WO (1) WO2014112084A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019123869A1 (ja) * 2017-12-18 2019-06-27 浜松ホトニクス株式会社 画像取得装置及び画像取得方法

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102419163B1 (ko) 2017-09-29 2022-07-08 라이카 바이오시스템즈 이미징 인크. 실시간 오토포커스 포커싱 알고리즘
CN111164484B (zh) 2017-09-29 2022-07-29 徕卡生物***成像股份有限公司 双程微距图像
KR102589291B1 (ko) * 2017-11-17 2023-10-16 엘지이노텍 주식회사 카메라 모듈, 광학 기기 및 이의 이미지 생성 방법

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08320430A (ja) * 1995-05-23 1996-12-03 Nikon Corp 自動焦点検出装置
WO2005114287A1 (ja) 2004-05-24 2005-12-01 Hamamatsu Photonics K.K. 顕微鏡装置
WO2005114293A1 (ja) 2004-05-24 2005-12-01 Hamamatsu Photonics K.K. 顕微鏡装置
JP2011081211A (ja) 2009-10-07 2011-04-21 Olympus Corp 顕微鏡システム

Family Cites Families (35)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5668887A (en) 1992-05-29 1997-09-16 Eastman Kodak Company Coating density analyzer and method using non-synchronous TDI camera
DE19714221A1 (de) * 1997-04-07 1998-10-08 Zeiss Carl Fa Konfokales Mikroskop mit einem motorischen Scanningtisch
US6181474B1 (en) * 1999-03-22 2001-01-30 Kovex Corporation Scanning confocal microscope with objective lens position tracking
US6518554B1 (en) * 2000-05-24 2003-02-11 Chromavision Medical Systems, Inc. Reverse focusing methods and systems
JP3726699B2 (ja) 2001-04-20 2005-12-14 日本ビクター株式会社 光学撮像装置、光学測距装置
JP4334784B2 (ja) 2001-06-11 2009-09-30 日本放送協会 オートフォーカス装置及びそれを用いた撮像装置
JP2003185914A (ja) 2001-12-21 2003-07-03 Nikon Corp 焦点検出装置およびこれを備えた光学装置および焦点検出方法
JP2005202092A (ja) 2004-01-15 2005-07-28 Hitachi Kokusai Electric Inc 合焦点検出方法及びそれを用いた光学顕微鏡
JP4917331B2 (ja) * 2006-03-01 2012-04-18 浜松ホトニクス株式会社 画像取得装置、画像取得方法、及び画像取得プログラム
JP4664871B2 (ja) 2006-07-10 2011-04-06 オリンパス株式会社 自動焦点検出装置
JP5290557B2 (ja) 2007-10-01 2013-09-18 三星電子株式会社 撮像装置及び撮像方法
TWI425203B (zh) 2008-09-03 2014-02-01 Univ Nat Central 高頻譜掃描裝置及其方法
US8004688B2 (en) * 2008-11-26 2011-08-23 Zygo Corporation Scan error correction in low coherence scanning interferometry
JP5504881B2 (ja) 2009-12-25 2014-05-28 ソニー株式会社 演算装置、演算方法、演算プログラム及び顕微鏡
CN101799611A (zh) 2010-01-12 2010-08-11 珠海保税区光联通讯技术有限公司 无热差分相移键控解调器
US9134109B2 (en) 2010-04-30 2015-09-15 Hamamatsu Photonics K.K. Phase image acquisition device
US9041930B1 (en) * 2010-05-20 2015-05-26 Kla-Tencor Corporation Digital pathology system
JP5577885B2 (ja) * 2010-06-28 2014-08-27 ソニー株式会社 顕微鏡及び合焦点方法
JP5589619B2 (ja) 2010-07-01 2014-09-17 ソニー株式会社 情報処理装置、ステージうねり補正方法、プログラム
JPWO2012017684A1 (ja) 2010-08-06 2013-10-03 パナソニック株式会社 レンズユニット
CN101963582B (zh) 2010-09-13 2012-03-14 深圳大学 一种三维荧光纳米显微成像方法、***及成像设备
JP2012073285A (ja) * 2010-09-27 2012-04-12 Olympus Corp 撮像方法および顕微鏡装置
CA2824447C (en) * 2010-12-24 2018-03-20 Huron Technologies International Inc. Pathology slide scanner
JP2012194487A (ja) * 2011-03-17 2012-10-11 Casio Comput Co Ltd 撮像装置、撮像方法及びプログラム
JP2013120239A (ja) 2011-12-06 2013-06-17 Sony Corp 撮影画像のリニアリティ評価方法、画像取得方法及び画像取得装置
JP5296861B2 (ja) 2011-12-19 2013-09-25 浜松ホトニクス株式会社 画像取得装置及び画像取得装置のフォーカス方法
JP5301642B2 (ja) 2011-12-19 2013-09-25 浜松ホトニクス株式会社 画像取得装置及び画像取得装置のフォーカス方法
JP5848596B2 (ja) 2011-12-19 2016-01-27 浜松ホトニクス株式会社 画像取得装置及び画像取得装置のフォーカス方法
JP5307221B2 (ja) 2011-12-19 2013-10-02 浜松ホトニクス株式会社 画像取得装置及び画像取得装置のフォーカス方法
CN102628799A (zh) 2012-04-25 2012-08-08 中国科学院上海光学精密机械研究所 无需深度扫描的时域光学相干层析成像方法与***
JP6211063B2 (ja) * 2012-05-02 2017-10-11 ライカ バイオシステムズ イメージング インコーポレイテッド ライン走査イメージングにおけるリアルタイムフォーカシング
CN102882107B (zh) 2012-10-22 2014-06-18 上海理工大学 一种可快速连续调节太赫兹波偏振和强度的方法
JP5923026B2 (ja) 2012-10-31 2016-05-24 浜松ホトニクス株式会社 画像取得装置及び画像取得方法
JP5941395B2 (ja) 2012-10-31 2016-06-29 浜松ホトニクス株式会社 画像取得装置及び画像取得装置のフォーカス方法
US8780418B1 (en) * 2013-03-15 2014-07-15 Northrop Grumman Systems Corporation Scanning focal plane sensor systems and methods for imaging large dynamic range scenes

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08320430A (ja) * 1995-05-23 1996-12-03 Nikon Corp 自動焦点検出装置
WO2005114287A1 (ja) 2004-05-24 2005-12-01 Hamamatsu Photonics K.K. 顕微鏡装置
WO2005114293A1 (ja) 2004-05-24 2005-12-01 Hamamatsu Photonics K.K. 顕微鏡装置
JP2011081211A (ja) 2009-10-07 2011-04-21 Olympus Corp 顕微鏡システム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP2947488A4

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019123869A1 (ja) * 2017-12-18 2019-06-27 浜松ホトニクス株式会社 画像取得装置及び画像取得方法
JP2019109340A (ja) * 2017-12-18 2019-07-04 浜松ホトニクス株式会社 画像取得装置及び画像取得方法
US11921277B2 (en) 2017-12-18 2024-03-05 Hamamatsu Photonics K.K. Image acquisition device and image acquisition method

Also Published As

Publication number Publication date
EP2947488B1 (en) 2019-02-27
US10571664B2 (en) 2020-02-25
EP2947488A1 (en) 2015-11-25
US20150109512A1 (en) 2015-04-23
US20180196237A1 (en) 2018-07-12
EP3333608B1 (en) 2021-02-24
US20170285306A9 (en) 2017-10-05
EP3333608A1 (en) 2018-06-13
EP2947488A4 (en) 2016-08-24
CN104937469A (zh) 2015-09-23
HUE054657T2 (hu) 2021-09-28
CN104937469B (zh) 2017-06-23
US9921392B2 (en) 2018-03-20
US20200033564A1 (en) 2020-01-30
DK3333608T3 (da) 2021-04-12

Similar Documents

Publication Publication Date Title
JP5307221B2 (ja) 画像取得装置及び画像取得装置のフォーカス方法
JP5923026B2 (ja) 画像取得装置及び画像取得方法
JP5941395B2 (ja) 画像取得装置及び画像取得装置のフォーカス方法
JP6010505B2 (ja) 画像取得装置及び画像取得装置のフォーカス方法
US20200033564A1 (en) Image capturing apparatus and focusing method thereof
JP5848596B2 (ja) 画像取得装置及び画像取得装置のフォーカス方法
JP5301642B2 (ja) 画像取得装置及び画像取得装置のフォーカス方法
WO2014174919A1 (ja) 画像取得装置及び画像取得装置のフォーカス方法
JP5296861B2 (ja) 画像取得装置及び画像取得装置のフォーカス方法
WO2014112085A1 (ja) 画像取得装置及び画像取得装置のフォーカス方法
WO2014112086A1 (ja) 画像取得装置及び画像取得装置のフォーカス方法
JP6134249B2 (ja) 画像取得装置及び画像取得装置の画像取得方法
WO2014112083A1 (ja) 画像取得装置及び画像取得装置のフォーカス方法
JP5986041B2 (ja) 画像取得装置及び画像取得装置のフォーカス方法
JP6023012B2 (ja) 画像取得装置及び画像取得装置のフォーカス方法
WO2019123869A1 (ja) 画像取得装置及び画像取得方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 13871428

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 14398011

Country of ref document: US

WWE Wipo information: entry into national phase

Ref document number: 2013871428

Country of ref document: EP

NENP Non-entry into the national phase

Ref country code: DE

NENP Non-entry into the national phase

Ref country code: JP