WO2021220630A1 - 顕微鏡補助装置 - Google Patents
顕微鏡補助装置 Download PDFInfo
- Publication number
- WO2021220630A1 WO2021220630A1 PCT/JP2021/009524 JP2021009524W WO2021220630A1 WO 2021220630 A1 WO2021220630 A1 WO 2021220630A1 JP 2021009524 W JP2021009524 W JP 2021009524W WO 2021220630 A1 WO2021220630 A1 WO 2021220630A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- microscope
- movable portion
- operating means
- optical axis
- axis direction
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B21/00—Microscopes
- G02B21/24—Base structure
- G02B21/26—Stages; Adjusting means therefor
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B21/00—Microscopes
- G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
- G02B21/362—Mechanical details, e.g. mountings for the camera or image sensor, housings
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B21/00—Microscopes
- G02B21/24—Base structure
- G02B21/241—Devices for focusing
- G02B21/245—Devices for focusing using auxiliary sources, detectors
Definitions
- the present invention relates to a microscope auxiliary device used by being attached to a microscope for observing an object such as a minute cell or a semiconductor element, or for performing mechanical operations such as sorting, separating, and moving an object.
- the position of the object is usually fixed in the optical axis direction, the knob provided on the microscope is manually rotated, and the objective lens is moved in the optical axis direction for manual focus. ..
- an object moving part generally called a "hollow stage”, which is capable of electrically moving in the optical axis direction without blocking the observation optical path and the illumination optical path of a microscope on which an object is placed.
- the object can be electrically moved in the optical axis direction without moving the objective lens in the optical axis direction, so that autofocus is possible.
- a moving part of the operating means In order to move the operating means such as pipettes, probes, and tweezers for mechanically operating the object in the multiaxial direction, a moving part of the operating means generally called a "micromanipulator" is attached to the microscope and used.
- the operating means movable portion is composed of a combination of stages in which the operating means can be moved in the multi-axis direction.
- the movement in the multi-axis direction includes movement in the optical axis direction at least for focus adjustment, and is usually movement in the three-axis direction of XYZ together with movement in the plane direction orthogonal to the optical axis direction.
- Patent Document 1 discloses a method of controlling a micromanipulator from image information acquired by an imaging unit.
- Non-Patent Document 1 discloses cell manipulation using a micromanipulator.
- the present invention provides a microscope assisting device capable of shortening the operation time by interlocking the movement of at least two movable parts including the moving part of the object or the moving part of the operating means in the optical axis direction. With the goal.
- the microscope assisting device as one aspect of the present invention is a microscope assisting device that can be attached to a microscope, for manipulating an object moving portion that moves an object in the optical axis direction of the microscope and the object.
- a first operating means movable portion that moves the first operating means in the optical axis direction
- a second operating means movable portion that moves the second operating means for operating the object in the optical axis direction.
- the first mode has a switching means for switching from the second mode, and the first mode corresponds to the object movable portion, the first operating means movable portion, or the first operation means according to the instruction of the movement instruction means.
- 2 is a mode in which one of the movable portions of the operating means is moved in the direction of the optical axis, and the second mode is the movable portion of the object and the first operating means in response to the instruction of the moving instruction means. In this mode, at least two of the movable portion and the second operating means movable portion are interlocked to move in the optical axis direction.
- a microscope assisting device capable of shortening an operation time by interlocking movements of at least two movable parts including an object movable part or an operating means movable part in the optical axis direction. be able to.
- FIG. It is an overall view of the microscope system in Example 1.
- FIG. It is explanatory drawing of the console in Example 1.
- FIG. It is explanatory drawing of the operation in Example 1.
- FIG. It is a flowchart of the operation in Example 1.
- FIG. It is an overall view of the microscope system in Example 2.
- FIG. It is explanatory drawing of the operation in Example 2.
- FIG. It is a flowchart of the operation in Example 2.
- FIG. It is an overall view of the microscope system in Example 3.
- FIG. It is explanatory drawing of the effect in Example 3.
- FIG. It is an overall view of the microscope system in Example 4.
- FIG. It is explanatory drawing of the effect in Example 4.
- FIG. It is an overall view of the microscope system in Example 5. It is explanatory drawing of the effect in Example 5.
- FIG. 1 is an overall view of a microscope system 10 composed of a microscope (inverted microscope) 100 and a microscope auxiliary device, and shows a state in which the microscope auxiliary device is attached to the microscope 100.
- the microscope auxiliary device includes an object movable portion 1, an operating means movable portion 2L, 2R, a controller 3, and a console 4.
- FIG. 1A shows a front view of the microscope system 10
- FIG. 1B shows a right side view of the microscope system 10.
- FIGS. 1A and 1B in order to make the figure easier to see, some dimensions are exaggerated, some parts are omitted, and some internal parts are drawn with solid lines instead of dotted lines.
- the microscope 100 is configured such that the illumination optical system 101 illuminates the object 103 placed on the transparent observation dish 102, and the observation optical system 104 observes the object 103.
- the observation optical system 104 enables the magnified image obtained by the objective lens 104a to be visually observed by the eyepiece lens 104b via another lens (not shown) or a refraction optical system.
- the focus can be adjusted by slightly moving the objective lens 104a in the optical axis direction (vertical direction in FIG. 1). This minute movement is performed by rotating the knob 105 provided on the microscope 100, and the amount of rotation of the knob 105 is converted into the minute movement amount of the objective lens 104a via a deceleration transmission mechanism (not shown).
- the object movable part 1 which is a part of the microscope auxiliary device is generally called a "hollow stage" or the like, and an observation dish 102 on which the object 103 is placed is placed on the object 103, and the object 103 is placed on the optical axis of the microscope 100.
- a drive mechanism that can be moved in a direction.
- the operating means movable parts 2L and 2R which are a part of the microscope auxiliary device, are generally called “micromanipulators" and are attached to the left and right sides of the microscope 100.
- the operating means movable portions 2L and 2R include a driving mechanism capable of moving the operating means 2La and 2Ra for operating the object 103 at least in the optical axis direction of the microscope 100.
- the operating means movable portions 2L and 2R can move in the three axial directions of XYZ in combination with the movement in the plane direction orthogonal to the optical axis direction. It may also include axes in the yaw, pitch, and roll rotation directions. In some cases, a high-speed drive mechanism for coarse movement and a high-resolution drive mechanism for fine movement are individually provided.
- the controller 3 which is a part of the microscope auxiliary device and controls the moving object 1 and the moving means 2L and 2R, includes a CPU 3a that controls the entire system and other peripheral circuits.
- Other peripheral circuits include a drive circuit C3b for driving the object movable portion 1 and drive circuits R3c and R3d for driving the drive mechanisms of the operating means movable portions 2L and 2R, respectively.
- the drive circuit C3b has a function of controlling the movement of the observation dish 102 placed on the moving object 1 in the optical axis direction. By moving the observation plate 102 in the optical axis direction, the drive circuit C3b can align the object 103 placed on the observation plate 102 with the focus position of the objective lens 104a.
- the drive circuits R3c and R3d have a function of controlling the movement of the operating means movable portions 2L and 2R in the optical axis direction. As a result, by moving the operating means 2La and 2Ra in the optical axis direction, the tips of the operating means 2La and 2Ra can be aligned with the focus position of the objective lens 104a.
- the console 4 for giving instructions to the controller 3 is provided with some input means for inputting necessary instructions to the object movable portion 1 and the operating means movable portions 2L and 2R.
- FIG. 2A is an explanatory diagram of the function of the console 4.
- the dials 4aL, 4aC, and 4aR are input means for adjusting the positions of the object movable portion 1 and the operating means movable portions 2L and 2R in the optical axis direction.
- the dial 4aL corresponds to the left operating means movable portion 2L
- the dial 4aC corresponds to the object movable portion 1
- the dial 4aR corresponds to the right operating means movable portion 2R.
- each movable portion in the optical axis direction can be moved in the directions of the arrows DL, DC, and DR according to the amount of rotation of the dials 4aL, 4aC, and 4aR.
- the dials 4aL, 4aC, and 4aR function as movement instruction means for instructing the object movable portion 1 or the operating means movable portion 2L and 2R to move the microscope 100 in the optical axis direction.
- the dials 4aL, 4aC, and 4aR are examples of manual movement instruction means for inputting the movement amount and the movement direction according to the rotation amount.
- the present embodiment can be applied as a manual movement instruction means for inputting a movement amount and a movement direction by a slide type input means, a lever-down type input means, a touch panel, or the like.
- FIG. 2B is an example in which dials LX, LY, RX, and RY for moving the operating means movable portions 2L and 2R in the XY directions are added.
- FIG. 2C two sets of button switches X, Y, and Z are provided, and the operating means movable portions 2L, 2R corresponding to the operation of the dials 4aL and 4aR by the button switches X, Y, and Z are provided. It may be a specification that switches the moving direction of.
- the operation means movable portion 2L moves in the X direction by operating the dial 4aL.
- the input means such as a stick-shaped lever may be used instead of the dial.
- a function may be provided in which the magnification of the rotation amount of each dial and the movement amount of the object movable portion 1 and the operating means movable portions 2L and 2R can be freely changed. The description of the input means for movement other than the optical axis direction and the above-mentioned means for changing the magnification will be omitted.
- the operation modes of the changeover switches 4bLC and 4bRC can be changed by operating them left and right.
- the changeover switches 4bLC and 4bRC are changeover switches that can reciprocate in two directions, "ON” for enabling the "interlocking mode” described later and "OFF” for disabling it.
- the interlocking mode By disabling the interlocking mode, it becomes a non-interlocking mode in which the object movable portion 1 or the operating means movable portion 2L and 2R are moved independently according to the instructions to the dials 4aL, 4aC, and 4aR. Further, by enabling the interlocking mode, at least two movable parts of the object movable part 1 or the operating means movable part 2L and 2R are moved by the same amount of movement at the same time in response to the instruction to the dials 4aL, 4aC, and 4aR. It becomes the interlocking mode to make. In this way, the changeover switches 4bLC and 4bRC function as switching means for switching between the non-interlocking mode (first mode) and the interlocking mode (second mode).
- 3 (a) and 3 (b) are explanatory views of the operation in this embodiment.
- the changeover switches 4bLC and 4bRC are all switched to the interlocking mode OFF side.
- the dial 4aC When the dial 4aC is operated, only the object movable portion 1 moves in the optical axis direction (DC direction in FIG. 3A). Therefore, it is possible to focus on a desired portion of the object 103 placed on the observation plate 102 while checking the image.
- the focus of the operating means 2La and 2Ra attached to the operating means movable portions 2L and 2R remains unchanged.
- the interlocking mode by manual focus will be described with reference to FIG. 3 (b).
- the changeover switch 4bLC is switched to the interlocking mode ON side
- the changeover switch 4bRC is switched to the interlocking mode OFF side.
- the dial 4aC is operated, the object movable portion 1 moves in the optical axis direction. Therefore, it is possible to focus on a desired portion of the object 103 placed on the observation plate 102 while checking the image. This is the same as when the interlocking mode is OFF.
- the left operating means movable portion 2L for which the interlocking mode ON is selected also moves in the optical axis direction by the same amount of movement as the object movable portion 1.
- the focus of the operating means 2La attached to the left operating means movable portion 2L also changes in the same manner as the object 103.
- the operating means 2Ra attached to the right operating means movable portion 2R in which the interlocking mode is not selected does not move in the optical axis direction, the focus does not change.
- the changeover switch 4bLC is switched to the interlocking mode OFF side and the changeover switch 4bRC is switched to the interlocking mode ON side, the right operating means movable portion 2R and the object movable portion 1 can be interlocked. Further, when both the changeover switches 4bLC and 4bRC are switched to the interlocking mode ON side, the three movable portions of the operating means movable portions 2L and 2R and the object movable portion 1 can be interlocked.
- FIG. 4 is a flowchart showing the flow of operations of FIGS. 3A and 3B, taking the response to the dial 4aC as an example.
- the controller 3 determines whether or not it is in the accepting state for accepting the operation by the dial 4aC. If it is in the reception state, the process proceeds to step S102. On the other hand, if it is not in the reception state, this flow is terminated.
- step S102 the controller 3 determines whether or not there is an input to the dial 4aC. If there is an input, the process proceeds to step S103. On the other hand, if there is no input, the process returns to step S101.
- step S103 the controller 3 determines whether or not the changeover switch 4bLC is OFF. If the changeover switch 4bLC is OFF, the process proceeds to step S104. On the other hand, when the changeover switch 4bLC is ON, the process proceeds to step S105.
- step S104 since the changeover switch 4bLC is OFF, the microscope auxiliary device operates in the non-interlocking mode. At this time, the controller 3 moves only the object movable portion 1 in the optical axis direction according to the amount of input to the dial 4aL, and returns to step S101.
- step S105 since the changeover switch 4bLC is ON, the microscope auxiliary device operates as an interlocking mode. At this time, the controller 3 moves the object movable portion and the operating means movable portion 2L in the optical axis direction according to the amount of input to the dial 4aL, and returns to step S101.
- the holding pipette HP can be attached to the left operating means movable part 2L, and the injection pipette IP can be attached to the right operating means movable part 2R.
- the holding pipette HP sucks and holds an egg or a fertilized egg which is an object 103.
- the injection pipette IP injects sperm into an egg and special cells into a fertilized egg.
- FIG. 5A is a view of the state immediately after the holding pipette HP and the injection pipette IP are attached. Since the positions of the holding pipette HP and the injection pipette IP in the optical axis direction are different, the moving distances DL and DR to the focus position are different. Therefore, the interlocking mode is turned off, and the dials 4aL and 4aR are individually operated to move the holding pipette HP and the injection pipette IP individually to align the tip with the focus position. After that, the positions and inclinations of the holding pipette HP and the injection pipette IP in the plane direction are appropriately adjusted.
- FIG. 5B is a view of the state after the tips of the holding pipette HP and the injection pipette IP are aligned with the focus position and the position and inclination in the plane direction are appropriately adjusted.
- the petri dish which is the observation dish 102 on which the cells, which are the object 103, are placed, is set in the field of view of the microscope.
- the petri dish is set after adjusting the positions and inclinations of the holding pipette HP and the injection pipette IP so that the cells are stored in the culture room and the time taken out of the culture room is minimized.
- the operation time can be shortened by turning on the interlocking mode and retracting the injection pipette IP by the same distance at the same time, rather than moving the holding pipette HP and the injection pipette IP individually. Further, after retracting the holding pipette HP and the injection pipette IP, it is necessary to set the petri dish and return the holding pipette HP and the injection pipette IP to the focus position again. Also at this time, the operation time can be shortened by turning on the interlocking mode and moving the same distance at the same time. This is because if both are retracted by the same distance and restored by the same distance, both will be in focus.
- FIG. 5C is a diagram immediately before the holding pipette HP holds the cells and the injection pipette IP attempts to puncture the vicinity of the center of the cells.
- the interlocking mode of the operating means movable portion 2L and the object movable portion 1 is turned ON. Then, the operation time can be shortened by operating the dial 4aL or the dial 4aC to move the operating means movable portion 2L and the object movable portion 1 at the same time.
- the relative positions of the cells and the holding pipette HP are displaced, and the holding of the cells becomes unstable, which is not preferable.
- the objective lens 104a is first adjusted to readjust the cell focus. After that, since it is necessary to adjust the position of the injection pipette IP and readjust the focus of the injection pipette IP, it takes a long time to operate.
- the interlocking mode is enabled, and the movements of at least two movable portions of the object movable portion 1 and the operating means movable portions 2L and 2R are interlocked with each other in the optical axis direction. By moving it, the operation time can be shortened. At this time, it may be necessary to disable the interlocking mode as shown in FIG. 5A, such as focus adjustment immediately after the pipette is attached, instead of always enabling the interlocking mode. Therefore, a switch for switching between enabling and disabling the interlocking mode is practically required.
- a switch that mechanically reciprocates is shown as a switching means, but a software switch that switches modes in response to a means such as a touch switch or a foot pedal, or a voice instead of a physical switch. But it may be. This point is the same in each subsequent embodiment.
- the microscope auxiliary device that can be attached to the microscope 100 of this embodiment includes an object movable portion 1, a first operating means movable portion (operating means movable portion 2L), and a second operating means movable portion. (Operating means movable portion 2R). Further, the microscope auxiliary device has movement instruction means (dial 4aL, 4aC, 4aR) and changeover means (changeover switch 4bLC, 4bRC). The moving part of the object moves the object 103 in the optical axis direction of the microscope. The first operating means movable portion moves the first operating means (operating means 2La) for operating the object in the optical axis direction.
- the second operating means movable portion moves the second operating means (operating means 2Ra) for operating the object in the optical axis direction.
- the movement instruction means instructs the movable portion of the object, the movable portion of the first operating means, or the movable portion of the second operating means to move in the optical axis direction.
- the switching means switches between the first mode and the second mode.
- the first mode is a mode in which one of the moving part of the object, the moving part of the first operating means, or the moving part of the second operating means is moved in the optical axis direction according to the instruction of the moving instruction means (non-moving part). Interlocking mode).
- the second mode at least two of the moving part of the object, the moving part of the first operating means, and the moving part of the second operating means are interlocked in the optical axis direction in response to the instruction of the moving instruction means.
- It is a moving mode (interlocking mode). That is, in the second mode, at least two of the moving part of the object, the moving part of the first operating means, or the moving part of the second operating means are illuminated by the same amount of movement at the same time according to the instruction of the moving instruction means. This mode is to move in the axial direction.
- a microscope auxiliary device capable of shortening the operation time by interlocking the movement of at least two movable parts including the movable part of the object or the movable part of the operating means in the optical axis direction. can do.
- FIG. 6 is an overall view of a microscope system 10a composed of a microscope (inverted microscope) 100 and a microscope auxiliary device, and shows a state in which the microscope auxiliary device is attached to the microscope 100.
- the microscope auxiliary device includes an object movable portion 1, an operating means movable portion 2L, 2R, a display device (display unit) 12, a controller 13, and a console 14.
- FIG. 6A shows a front view of the microscope system 10a
- FIG. 6B shows a right side view of the microscope system 10a.
- FIGS. 6A and 6B in order to make the figure easier to see, some dimensions are exaggerated, some parts are omitted, and some internal parts are drawn with solid lines instead of dotted lines.
- a prism (not shown) is added to the observation optical system, and a magnified image can be formed on the imaging unit 11.
- the image pickup unit 11 may be a dedicated device, or may be configured to attach a general digital camera via a predetermined mount adapter.
- the image pickup unit 11 can acquire an image for performing autofocus such as a "contrast method” or an "imaging surface phase difference method” as in a general digital camera.
- the controller 13 has an image processing circuit 13e that processes an image acquired by the imaging unit 11 in addition to the CPU 13a, the drive circuit C13b, the drive circuit L13c, and the drive circuit R13d.
- the image processing circuit 13e can perform various image processing on the image obtained by the imaging unit 11 and output it as an image to the external display device 12. It is also possible to output image information for performing autofocus of the "contrast method” and the "imaging surface phase difference method” to the CPU 13a by using the image obtained by the image pickup unit 11.
- the button switches 14cL, 14cC, and 14cR of the console 14 are input means that can detect that they have been pressed and instruct a trigger to start a predetermined operation.
- the button switches 14cL, 14cC, and 14cR are assigned to the function of instructing the trigger for starting the autofocus operation.
- the button switch 14cC is pressed, the object movable portion 1 is moved in the optical axis direction, and the autofocus operation is started.
- the focus can be adjusted by the object movable portion 1 on the object 103 placed on the observation plate 102.
- various conventional techniques can be used to automatically determine that the focus has been achieved.
- the method of recognizing the area near the object 103 may be a method of automatically determining from image recognition or a method of manually instructing using the display device 12 in advance.
- buttons 14cL and 14cR are assigned to the functions of instructing the operation means 2La and 2Ra attached to the operation means movable portions 2L and 2R to trigger the start of the autofocus operation.
- the method of autofocus and the method of recognizing the area near the operating means 2La and 2Ra are the same as those of the button switch 14cC.
- manual focus can be instructed by the dials 14aL, 14aC, 14aR
- autofocus can be instructed by the button switches 14cL, 14cC, 14cR added in this embodiment.
- the dials 4aL, 4aC, 4aR and the button switches 14cL, 14cC, 14cR instruct the object movable portion 1 or the operating means movable portion 2L, 2R to move the microscope 100 in the optical axis direction in this embodiment. It functions as a movement instruction means.
- the button switches 14cL, 14cC, and 14cR start moving based on a predetermined input signal (triggered by a predetermined input signal) by pressing a button, and automatically stop when a predetermined condition is satisfied. This is an example.
- a touch panel or the like can also be applied as an automatic movement instruction means that automatically stops when a predetermined condition is satisfied.
- FIG. 7 (a) and 7 (b) are explanatory views of the operation in this embodiment.
- the changeover switches 4bLC and 4bRC are all switched to the interlocking mode OFF side.
- the button switch 14cC is pressed, only the moving object 1 moves in the optical axis direction (DC direction in FIG. 7A). Therefore, the object 103 placed on the observation plate 102 can be autofocused.
- the focus of the operating means 2La and 2Ra attached to the operating means movable portions 2L and 2R remains unchanged.
- the operating means 2La and 2Ra attached to the operating means movable portions 2L and 2R move in the optical axis direction (DL direction and DR direction in FIG. 7A). Therefore, the operating means 2La and 2Ra can be autofocused. At this time, the focus of the object 103 remains unchanged.
- the interlocking mode by autofocus will be described.
- the changeover switch 4bLC is switched to the interlocking mode ON side
- the changeover switch 4bRC is switched to the interlocking mode OFF side.
- the button switch 14cC is pressed, the moving object 1 moves in the optical axis direction and can focus on the object 103 placed on the observation plate 102, which is the same as when the interlocking mode is OFF. ..
- the operating means movable portion 2L for which the interlocking mode ON is selected also moves in the optical axis direction by the same amount of movement as the object movable portion 1.
- the focus of the operating means 2La attached to the operating means movable portion 2L changes in the same manner as the object 103.
- the operating means 2Ra attached to the operating means movable portion 2R for which the interlocking mode is not selected does not move in the optical axis direction, the focus does not change.
- the changeover switch 4bLC is switched to the interlocking mode OFF side and the changeover switch 44bRC is switched to the interlocking mode ON side, the operating means movable portion 2R and the object movable portion 1 can be interlocked. Further, when both the changeover switches 4bLC and 4bRC are switched to the interlocking mode ON side, the three operating means movable portions 2L and 2R and the object movable portion 1 can be interlocked.
- FIG. 8 is a flowchart showing the flow of operations of FIGS. 7A and 7B, taking the response to the button switch 14cC as an example.
- the controller 13 determines whether or not it is in the accepting state for accepting the operation by the button switch 14cC. If it is in the reception state, the process proceeds to step S202. On the other hand, if it is not in the reception state, this flow is terminated.
- step S202 the controller 13 determines whether or not there is an input to the button switch 14cC. If there is an input, the process proceeds to step S203. On the other hand, if there is no input, the process returns to step S201.
- step S203 the controller 13 determines whether or not the changeover switch 4bLC is OFF. If the changeover switch 4bLC is OFF, the process proceeds to step S204. On the other hand, when the changeover switch 4bLC is ON, the process proceeds to step S205.
- step S204 since the changeover switch 4bLC is OFF, the microscope auxiliary device operates as a non-interlocking mode. At this time, the controller 13 moves only the object movable portion 1 in the optical axis direction to autofocus the object, and ends this flow.
- step S205 since the changeover switch 4bLC is ON, the microscope auxiliary device operates as an interlocking mode. At this time, the controller 13 moves only the movable portion 1 of the object in the optical axis direction to autofocus the object, and at the same time, moves the movable portion 2L of the operating means by the same amount in the optical axis direction to end this flow. do.
- FIG. 9A is a view of the state immediately after the holding pipette HP and the injection pipette IP are attached. Since the positions of the holding pipette HP and the injection pipette IP in the optical axis direction are different, the moving distances DL and DR to the focus position are different. Therefore, the interlocking mode is turned off, and the button switches 14cL and 4cR are individually pressed to autofocus the holding pipette HP and the injection pipette IP individually. After that, the positions and inclinations of the holding pipette HP and the injection pipette IP in the plane direction are appropriately adjusted.
- FIG. 9 (c) is a diagram immediately before the holding pipette HP holds the cells and the injection pipette IP attempts to puncture the vicinity of the center of the cells.
- the interlocking mode of the operating means movable portion 2L and the object movable portion 1 is turned ON.
- the operation time can be shortened by operating the button switch 14cL or the button switch 14cC to move the operating means movable portion 2L and the object movable portion 1 at the same time.
- the relative positions of the cells and the holding pipette HP are displaced, and the holding of the cells becomes unstable, which is not preferable.
- the objective lens 104a is first adjusted to readjust the cell focus. After that, since it is necessary to adjust the position of the injection pipette IP and readjust the focus of the injection pipette IP, it takes a long time to operate.
- the interlocking mode is enabled, and the movements of at least two movable portions of the object movable portion 1 and the operating means movable portions 2L and 2R are interlocked with each other in the optical axis direction. By moving it, the operation time can be shortened.
- a microscope auxiliary device capable of shortening the operation time by interlocking the movement of at least two movable parts including the movable part of the object or the movable part of the operating means in the optical axis direction. can do.
- FIG. 10 is an overall view of a microscope system 10b composed of a microscope (inverted microscope) 100 and a microscope auxiliary device, and shows a state in which the microscope auxiliary device is attached to the microscope 100.
- the microscope auxiliary device includes operating means movable units 2L and 2R, a display device (display unit) 12, a controller 23, and a console 24.
- FIG. 10A shows a front view of the microscope system 10b
- FIG. 10B shows a right side view of the microscope system 10b.
- FIGS. 10A and 10B in order to make the figure easier to see, some dimensions are exaggerated, some parts are omitted, and some internal parts are drawn with solid lines instead of dotted lines.
- the controller 23 includes a CPU 23a, a drive circuit L23c, a drive circuit R23d, and an image processing circuit 23e.
- the operation mode of the changeover switches 24dL and 24dR can be changed by operating them left and right.
- the changeover switches 24dL and 24dR are changeover switches that can reciprocate in two directions, "ON” for enabling the "interlocking mode” described later and "OFF” for disabling it.
- the interlocking mode By disabling the interlocking mode, even if the knob 105 is operated to move the objective lens 104a in the optical axis direction, the operating means movable parts 2L and 2R do not move in the optical axis direction, which is the same non-interlocking mode as before. Become.
- the interlocking mode when the knob 105 is operated to move the objective lens 104a in the optical axis direction, the interlocking mode is set in which the operating means movable parts 2L and 2R are simultaneously moved by the same amount of movement. ..
- the changeover switches 24dL and 24dR function as switching means for switching between the interlocking mode (second mode) and the non-interlocking mode (first mode).
- the predetermined focusing evaluation value is obtained by calculating the contrast of the acquired image in the case of the contrast method, and in the imaging surface phase difference method, the phase difference can be detected by dividing the pupil in a predetermined direction. It can be obtained by comparing two images. These are conventional techniques commonly used in digital cameras. Then, by feedback control so as to keep the in-focus evaluation value of the observation image of the microscope 100 acquired by the imaging unit 11 constant, the position relative to the focus position of the objective lens 104a in the optical axis direction becomes constant. can do. As a result, the operating means movable portions 2L and 2R can move in conjunction with the optical axis direction by the same distance as the moving distance of the objective lens 104a of the microscope 100 in the optical axis direction.
- FIG. 11 is a block diagram of feedback control performed in the interlocking mode.
- the controller 23 stores the initial value f0 of the focusing evaluation value f in advance and sets it as the target value.
- the CPU 23a (comparison unit 231) calculates the difference df between the target value f0 and the current focusing evaluation value f.
- the target value is dZ.
- the controller 23 drives the operating means movable portion so as to move relative to dZ, and the current position Z of the operating means movable portion is output. Further, the controller 23 (detection unit 234) calculates the focusing evaluation value f at the current position Z and performs feedback control. In this way, feedback control is performed so as to keep the in-focus evaluation value of the observation image of the microscope 100 acquired by the imaging unit 11 constant. As a result, the operating means movable portion can move in conjunction with the optical axis direction by the same distance as the moving distance of the objective lens 104a of the microscope in the optical axis direction.
- the feedback control of this embodiment only maintains the focusing evaluation value, and does not increase the focusing evaluation value to bring it closer to focusing. This is because the purpose of the interlocking mode is not to focus, but to move the operating means movable parts 2L and 2R by the same amount as the amount of movement of the objective lens 104a in the optical axis direction.
- FIG. 12A is a view of the state immediately after the holding pipette HP and the injection pipette IP are attached. Since the positions of the holding pipette HP and the injection pipette IP in the optical axis direction are different, the moving distances DL and DR to the focus position are different. Therefore, the interlocking mode is turned off, and the dials 24aL and 24aR are individually operated to move the holding pipette HP and the injection pipette IP individually to align the tip with the focus position. After that, the positions and inclinations of the holding pipette HP and the injection pipette IP in the plane direction are appropriately adjusted.
- the tips of the holding pipette HP and the injection pipette IP are aligned with the focus position and adjusted appropriately, and then the petri dish 102, which is the observation dish 102 on which the cells of the object 103 are placed, is placed in the microscope field. It is the figure of the set state.
- the reason why the petri dish is set after adjusting the position and inclination of the holding pipette HP and the injection pipette IP is that the cells are stored in the proper environment in the culture room and the time to take them out of the culture room is minimized. Is. After that, it is necessary to focus on the set object 103.
- the changeover switches 24dL and 24dR are switched to turn on the interlocking mode, the objective lens is adjusted, and the focus position is moved in the direction of the arrow DC. ..
- the interlocking mode is enabled.
- the holding pipette HP and the injection pipette IP also move in the same manner as the objective lens 104a, the holding pipette HP and the injection pipette IP can also be moved by operating only the objective lens 104a.
- the objective lens 104a, the holding pipette HP, and the injection pipette IP are not linked, three operations are required.
- the operation time can be shortened.
- FIG. 12 (c) is a diagram immediately before the holding pipette HP holds the cells and the injection pipette IP attempts to puncture the vicinity of the center of the cells.
- the changeover switch 24dL sets the interlocking mode to the OFF side because the relative position between the holding pipette HP and the cell is desired to be maintained.
- the changeover switch 24dR sets the interlocking mode to the ON side.
- the focus of the cell can be adjusted while maintaining the relative position of the cell and the holding pipette HP that holds it, and the injection pipette IP that wants to maintain the focus is linked with the objective lens 104a. ..
- the focus can be finely adjusted with one operation, so that the operation time can be shortened.
- FIG. 13 is an overall view of a microscope system 10c composed of a microscope (inverted microscope) 100 and a microscope auxiliary device, and shows a state in which the microscope auxiliary device is attached to the microscope 100.
- the microscope auxiliary device includes operating means movable units 2L and 2R, a display device 12, and an image processing unit 20.
- 13 (a) shows a front view of the microscope system 10c
- FIGS. 13 (b) and 13 (c) show a left side view of the microscope system 10c, respectively.
- FIGS. 13 (a) to 13 (c) in order to make the figure easier to see, some dimensions are exaggerated, some parts are omitted, and some internal parts are drawn with solid lines instead of dotted lines.
- the imaging unit (imaging apparatus) 11 of the present embodiment can acquire two images capable of detecting the phase difference by dividing the pupil in a predetermined direction, and can acquire an observation image (captured image) of the microscope 100.
- the imaging unit 11 is capable of so-called imaging surface phase-difference AF.
- the imaging unit 11 is attached to the microscope 100 via the mount 11a.
- the mount 11a of this embodiment is rotatable about the optical axis of the imaging unit 11 as shown by the arrows in FIGS. 13 (a) to 13 (c). Therefore, the mount 11a functions as an image pickup unit rotating means capable of rotating the image pickup unit 11 relative to the microscope 100.
- the image processing device (image processing unit) 20 externally displays the image rotating means 201 that generates a rotated image obtained by rotating the image acquired by the imaging unit 11 by a predetermined angle, and the rotated image rotated by a predetermined angle. It has an image output means 202 capable of outputting to the means 12.
- the image pickup unit rotation means determines. It is possible to generate an image that is rotated in the opposite direction by an angle. As a result, the image acquired without rotating the imaging unit 11 by a predetermined angle can be output to the display means 12 by the image output means.
- FIG. 14 is an explanatory diagram of the effect in this embodiment.
- FIG. 14A is an optical image observed by the eyepiece lens 104a when performing cell manipulation, and normally, as shown in FIG. 14B, a part of the optical image is cut out as it is and output to the display means 12. .. This is because it is desirable to output and record as observed.
- the pupil division direction of the imaging surface phase difference AF is usually divided in the left-right direction of FIG. 14 (b).
- the image has few straight lines in the vertical direction (direction orthogonal to the pupil division direction), the parallax of the imaging surface phase difference AF is small, and the AF accuracy may be lowered. Therefore, by rotating and attaching the imaging unit 11 by a predetermined angle (90 degrees in this embodiment), it is possible to acquire an image as shown in FIG. 14 (c). As a result, the parallax of the imaging surface phase-difference AF becomes large, so that the AF accuracy can be improved.
- FIG. 15 is an overall view of a microscope system 10d composed of a microscope (inverted microscope) 100 and a microscope auxiliary device, and shows a state in which the microscope auxiliary device is attached to the microscope 100.
- the microscope auxiliary device includes operating means movable units 2L and 2R, a display device 12, and an image processing unit 20.
- 15 (a) shows a front view of the microscope system 10d
- FIGS. 15 (b) and 15 (c) show a left side view of the microscope system 10d, respectively.
- FIGS. 15 (a) to 15 (c) in order to make the figure easier to see, some dimensions are exaggerated, some parts are omitted, and some internal parts are drawn with solid lines instead of dotted lines.
- the image processing device (image processing unit) 20 of this embodiment has a dial 20a and a level display 20b in addition to the image rotating means 201 and the image output means 202.
- the dial 20a is a rotation angle changing means for changing the angle at which the image rotating means 201 rotates the image.
- the level display 20b is a display means for displaying a change in the deviation of two images having parallax acquired by the imaging unit 11. In the level display 20b, the larger the LED frame on the right side is lit, the larger the parallax between the two images is, and as a result, it is shown that the AF accuracy of the imaging surface phase difference AF is good.
- FIG. 16 is an explanatory diagram of the effect of this embodiment.
- FIG. 16A is an optical image observed by the eyepiece lens 104a when the three probes P are brought into contact with the cell tissue 203.
- FIG. 16B Normally, as shown in FIG. 16B, a part of the optical image is cut out as it is and output to the display means 12. This is because it is desirable to output and record the optical image as it is observed.
- the pupil division direction of the imaging surface phase-difference AF is usually divided into the left-right direction in FIG. 16B, whereas in this work, the probe is brought into contact with the cell tissue 203 from various directions. There is. Therefore, as shown in FIG. 16B, the image has few straight lines intersecting at 45 degrees or less in the vertical direction (direction orthogonal to the pupil division direction), the parallax of the imaging surface phase difference AF is small, and the AF accuracy is lowered. There is a risk. Therefore, when the image pickup unit 11 is attached by rotating it by an angle ⁇ , the parallax of the imaging surface phase difference AF becomes large when the image as shown in FIG. 16C is acquired, so that the AF accuracy can be improved.
Landscapes
- Physics & Mathematics (AREA)
- Chemical & Material Sciences (AREA)
- Analytical Chemistry (AREA)
- General Physics & Mathematics (AREA)
- Optics & Photonics (AREA)
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Microscoopes, Condenser (AREA)
Abstract
【課題】対象物可動部または操作手段可動部を含む少なくとも2つの可動部の光軸方向への移動を連動させることにより、操作時間を短縮することが可能な顕微鏡補助装置を提供する。 【解決手段】顕微鏡補助装置は、対象物可動部(1)と、第1の操作手段可動部(2L)と、第2の操作手段可動部(2R)と、移動指示手段(4aL、4aC、4aR)と、第1のモードと第2のモードとを切り替える切り替え手段(4bLC、4bRC)とを有し、第1のモードは、移動指示手段の指示に応じて、対象物可動部、第1の操作手段可動部、または、第2の操作手段可動部の一つを光軸方向に移動させるモードであり、第2のモードは、移動指示手段の指示に応じて、対象物可動部、第1の操作手段可動部、および、第2の操作手段可動部のうち少なくとも二つを連動して光軸方向に移動させるモードである。
Description
本発明は、微小な細胞や半導体素子などの対象物の観察、または、対象物の選り分け、切り分け、移動などの機械的操作を行うために顕微鏡に取り付けて使用する顕微鏡補助装置に関する。
顕微鏡のフォーカス調整を行う際には、通常、対象物の位置を光軸方向に固定し、顕微鏡に設けられたノブを手動で回転させ、対物レンズを光軸方向に移動させてマニュアルフォーカスを行う。一方、対象物を載せて顕微鏡の観察光路や照明光路を遮らずに光軸方向に電動で移動可能な、一般に「中空ステージ」と呼ばれる対象物可動部を使用する方法がある。この方法によれば、対物レンズを光軸方向に移動させることなく、対象物を光軸方向に電動で移動可能になるため、オートフォーカスが可能である。
オートフォーカスを行うには、顕微鏡に撮像部を取り付け、画像を取得する必要がある。オートフォーカスには、デジタルカメラで一般的に使用されている従来技術が適用可能である。例えば、取得した画像のコントラストを評価することでオートフォーカスを行うコントラスト方式や、撮像部で所定の方向に瞳分割することで位相差を検出可能な2つの画像を比較してオートフォーカスを行う撮像面位相差方式などがある。
対象物に機械的操作をするためのピペット、プローブ、ピンセットなどの操作手段を多軸方向に移動するため、一般に「マイクロマニピュレータ」と呼ばれる操作手段可動部が顕微鏡に取り付けられて使用される。操作手段可動部は、操作手段を多軸方向に移動可能なステージの組み合わせで構成されている。多軸方向の移動とは、少なくともフォーカス調整のために光軸方向の移動を含み、通常は光軸方向に直交する平面方向の移動を合わせてXYZの三軸方向の移動である。
特許文献1には、撮像部で取得した画像情報からマイクロマニピュレータを制御する方法が開示されている。非特許文献1には、マイクロマニピュレータを用いた細胞操作が開示されている。
荒木康久、「生殖補助医療技術学テキスト」、医歯薬出版株式会社
しかし、従来の構成では、対象物可動部に載置された対象物を光軸方向に移動させる電動操作と、操作手段可動部に取り付けられた操作手段とを光軸方向に移動させる電動操作は、互いに連動していない。従って、対象物と操作手段のフォーカスを合わせた後でフォーカスを再調整する場合、対象物可動部と操作手段可動部とをそれぞれ個別に移動させる必要があるため、再調整の際に操作時間がかかる。
そこで本発明は、対象物可動部または操作手段可動部を含む少なくとも2つの可動部の光軸方向への移動を連動させることにより、操作時間を短縮することが可能な顕微鏡補助装置を提供することを目的とする。
本発明の一側面としての顕微鏡補助装置は、顕微鏡に取り付け可能な顕微鏡補助装置であって、対象物を前記顕微鏡の光軸方向に移動させる対象物可動部と、前記対象物を操作するための第1の操作手段を前記光軸方向に移動させる第1の操作手段可動部と、前記対象物を操作するための第2の操作手段を前記光軸方向に移動させる第2の操作手段可動部と、前記対象物可動部、前記第1の操作手段可動部、または、前記第2の操作手段可動部に対して前記光軸方向への移動を指示する移動指示手段と、第1のモードと第2のモードとを切り替える切り替え手段とを有し、前記第1のモードは、前記移動指示手段の指示に応じて、前記対象物可動部、前記第1の操作手段可動部、または、前記第2の操作手段可動部の一つを前記光軸方向に移動させるモードであり、前記第2のモードは、前記移動指示手段の指示に応じて、前記対象物可動部、前記第1の操作手段可動部、および、前記第2の操作手段可動部のうち少なくとも二つを連動して前記光軸方向に移動させるモードである。
本発明の他の目的及び特徴は、以下の実施例において説明される。
本発明によれば、対象物可動部または操作手段可動部を含む少なくとも2つの可動部の光軸方向への移動を連動させることにより、操作時間を短縮することが可能な顕微鏡補助装置を提供することができる。
以下、本発明の実施例について、図面を参照しながら詳細に説明する。
まず、本発明の実施例1における顕微鏡システムについて説明する。図1は、顕微鏡(倒立顕微鏡)100と顕微鏡補助装置とで構成される顕微鏡システム10の全体図であり、顕微鏡補助装置を顕微鏡100に取り付けた状態を示す。顕微鏡補助装置は、対象物可動部1、操作手段可動部2L、2R、コントローラ3、および、コンソール4を有する。図1(a)は顕微鏡システム10の正面図、図1(b)は顕微鏡システム10の右側面図をそれぞれ示す。図1(a)、(b)において、図を見やすくするため、一部の寸法を誇張し、一部の部品を省略し、一部の内部の部品を点線ではなく実線で描いている。
顕微鏡100は、照明光学系101で透過性の観察皿102に置かれた対象物103を照明し、観察光学系104で対象物103を観察するように構成されている。観察光学系104は、対物レンズ104aで得られた拡大像を、不図示の他のレンズや屈折光学系を経由して、接眼レンズ104bで肉眼による観察を可能にしている。フォーカスは、対物レンズ104aを光軸方向(図1の上下方向)に微小移動させることで調整可能である。この微小移動は、顕微鏡100に設けられたノブ105を回転することで行われ、ノブ105の回転量が不図示の減速伝達機構を介して、対物レンズ104aの微小移動量に変換される。
顕微鏡補助装置の一部である対象物可動部1は、一般には「中空ステージ」などと呼ばれ、対象物103が置かれた観察皿102を載置し、対象物103を顕微鏡100の光軸方向に移動させることが可能な駆動機構を含む。
顕微鏡補助装置の一部である操作手段可動部2L、2Rは、一般には「マイクロマニピュレータ」などと呼ばれ、顕微鏡100の左右に取り付けられる。操作手段可動部2L、2Rは、対象物103を操作するための操作手段2La、2Raを少なくとも顕微鏡100の光軸方向に移動させることが可能な駆動機構を含む。通常、操作手段可動部2L、2Rは、光軸方向に直交する平面方向の移動を合わせてXYZの三軸方向の移動が可能である。また、ヨー、ピッチ、ロールの回転方向の軸を含む場合もある。また、粗動用の高速駆動機構および微動用の高分解能駆動機構を個別に備えている場合もある。
顕微鏡補助装置の一部であり、対象物可動部1および操作手段可動部2L、2Rを制御するコントローラ3は、システム全体を制御するCPU3aおよびその他周辺回路を備えている。その他の周辺回路として、対象物可動部1を駆動する駆動回路C3b、および、操作手段可動部2L、2Rの駆動機構をそれぞれ駆動する駆動回路R3c、R3dが含まれる。
駆動回路C3bは、対象物可動部1に載置された観察皿102の光軸方向の移動を制御する機能を有する。駆動回路C3bは、観察皿102を光軸方向に移動させることで、観察皿102に載置された対象物103を対物レンズ104aのフォーカス位置に合わせることができる。駆動回路R3c、R3dは、操作手段可動部2L、2Rの光軸方向の移動を制御する機能を有する。これにより、操作手段2La、2Raを光軸方向に移動させることで、操作手段2La、2Raの先端を対物レンズ104aのフォーカス位置に合わせることができる。
コントローラ3に指示を与えるためのコンソール4には、対象物可動部1および操作手段可動部2L、2Rへ必要な指示を入力するための入力手段がいくつか設けられている。
ここで、図2を参照して、コンソール4の機能について説明する。図2(a)は、コンソール4の機能の説明図である。ダイヤル4aL、4aC、4aRは、対象物可動部1と操作手段可動部2L、2Rの光軸方向の位置を調整するための入力手段である。ダイヤル4aLは左の操作手段可動部2L、ダイヤル4aCは対象物可動部1、ダイヤル4aRは右側の操作手段可動部2Rにそれぞれ対応している。ダイヤル4aL、4aC、4aRの回転量に応じて、各可動部の光軸方向の位置を矢印DL、DC、DR方向に移動させることができる。このようにダイヤル4aL、4aC、4aRは、対象物可動部1または操作手段可動部2L、2Rに顕微鏡100の光軸方向の移動を指示する移動指示手段として機能する。ダイヤル4aL、4aC、4aRは、回転量に応じて移動量および移動方向を入力する手動移動指示手段の一例である。本実施例は、この他に、スライド式の入力手段や、レバーを倒す方式の入力手段や、タッチパネル等でも、移動量および移動方向を入力する手動移動指示手段として適用可能である。
ダイヤル4aL、4aC、4aRと同様な入力手段は、操作手段可動部2L、2Rの光軸以外の方向、例えば、XY方向の移動ためにも必要である。図2(b)は、操作手段可動部2L、2RのXY方向の移動用のダイヤルLX、LY、RX、RYを追加した例である。または、図2(c)に示されるように、ボタンスイッチX、Y、Zを2組設けて、ボタンスイッチX、Y、Zによってダイヤル4aL、4aRの操作に対応する操作手段可動部2L、2Rの移動方向が切り替わる仕様としてもよい。例えば、切り替えスイッチとしてのボタンスイッチXを押すと、ダイヤル4aLの操作によって操作手段可動部2LがX方向に移動するような仕様である。本実施例において、ダイヤルでなくても、スティック状のレバーなどの入力手段でもよい。また、それぞれのダイヤルの回転量と対象物可動部1や操作手段可動部2L、2Rの移動量の倍率を自在に変更可能な機能を設けてもよい。なお、光軸方向の以外の移動の入力手段や前述の倍率を変更する手段についての説明は省略する。
図2(a)において、切り替えスイッチ4bLC、4bRCは、左右に操作することで動作モードを変更することができる。本実施例において、切り替えスイッチ4bLC、4bRCは、後述の「連動モード」を有効にする「ON」と、無効にする「OFF」の2つの方向を往復可能な切り替えスイッチである。
連動モードを無効にすることで、ダイヤル4aL、4aC、4aRへの指示に応じて、対象物可動部1または操作手段可動部2L、2Rをそれぞれ独立して移動させる非連動モードとなる。また、連動モードを有効にすることで、ダイヤル4aL、4aC、4aRへの指示に応じて、対象物可動部1または操作手段可動部2L、2Rの少なくとも2つの可動部を同時に同じ移動量だけ移動させる連動モードとなる。このように切り替えスイッチ4bLC、4bRCは、非連動モード(第1のモード)と連動モード(第2のモード)とを切り替える切り替え手段として機能する。
図3(a)、(b)は、本実施例における動作の説明図である。まず、図3(a)を参照して、マニュアルフォーカスによる非連動モードの説明をする。まず、切り替えスイッチ4bLC、4bRCを全て連動モードOFF側に切り替えておく。ダイヤル4aCを操作すると、対象物可動部1のみが光軸方向(図3(a)中のDC方向)に移動する。このため、画像を確認しながら、観察皿102に載置された対象物103の所望の箇所にフォーカスを合わせることができる。このとき、操作手段可動部2L、2Rに取り付けられた操作手段2La、2Raのフォーカスはそのままである。
同様に、ダイヤル4aL、4aRを操作すると、左右それぞれの操作手段可動部2L、2Rに取り付けられた操作手段2La、2Raのみが光軸方向(図3(a)中のDL方向およびDR方向)に移動する。このため、画像を確認しながら、操作手段2La、2Raにフォーカスを合わせることができる。このとき、対象物103のフォーカスはそのままである。
次に、図3(b)を参照して、マニュアルフォーカスによる連動モードの説明をする。例として、左の操作手段可動部2Lと対象物可動部1の2つを連動させる例を挙げる。まず、切り替えスイッチ4bLCを連動モードON側に、切り替えスイッチ4bRCを連動モードOFF側に、切り替えておく。ダイヤル4aCを操作すると、対象物可動部1が光軸方向に移動するため、画像を確認しながら、観察皿102に載置された対象物103の所望の箇所にフォーカスを合わせることができることは、連動モードOFFのときと同様である。ここで連動モードONにおいては、連動モードONが選択されている左の操作手段可動部2Lも対象物可動部1と同じ移動量だけ同じ速度で光軸方向に移動する。その結果、左の操作手段可動部2Lに取り付けられた操作手段2Laも、対象物103と同様にフォーカスが変化する。一方、連動モードが選択されていない右の操作手段可動部2Rに取り付けられた操作手段2Raは光軸方向に移動しないため、フォーカスは変化しない。
同様に、切り替えスイッチ4bLCを連動モードOFF側に、切り替えスイッチ4bRCを連動モードON側に切り替えておくと、右の操作手段可動部2Rと対象物可動部1の2つを連動させることができる。また、切り替えスイッチ4bLC、4bRCを両方とも連動モードON側に切り替えておくと、操作手段可動部2L、2Rと対象物可動部1の3つの可動部を連動させることができる。
図4は、ダイヤル4aCに対する応答を例にして、図3(a)、(b)の動作の流れを示すフローチャートである。まずステップS101において、コントローラ3は、ダイヤル4aCによる操作を受け付ける受付状態であるか否かを判定する。受付状態である場合、ステップS102へ進む。一方、受付状態でない場合、本フローを終了する。
ステップS102において、コントローラ3は、ダイヤル4aCに対する入力があるか否かを判定する。入力がある場合、ステップS103へ進む。一方、入力がない場合、ステップS101へ戻る。
ステップS103において、コントローラ3は、切り替えスイッチ4bLCがOFFか否かを判定する。切り替えスイッチ4bLCがOFFである場合、ステップS104へ進む。一方、切り替えスイッチ4bLCがONである場合、ステップS105へ進む。
ステップS104において、切り替えスイッチ4bLCがOFFであるため、顕微鏡補助装置は非連動モードとして動作する。このときコントローラ3は、ダイヤル4aLへの入力量に応じて対象物可動部1のみを光軸方向に移動させ、ステップS101へ戻る。
ステップS105において、切り替えスイッチ4bLCがONであるため、顕微鏡補助装置は連動モードとして動作する。このときコントローラ3は、ダイヤル4aLへの入力量に応じて対象物可動部と操作手段可動部2Lを光軸方向に移動させ、ステップS101へ戻る。
以下、細胞操作を例として、連動モードの効果について説明する。細胞操作では左の操作手段可動部2LにホールディングピペットHP、右の操作手段可動部2RにインジェクションピペットIPを取り付けられる。ホールディングピペットHPは、対象物103である卵子や受精卵を吸引して保持する。インジェクションピペットIPは、卵子に***を、また、受精卵に特殊な細胞などを注入する。なお、これらの詳細は、非特許文献1に記載されている。
図5(a)~(c)は、本実施例における効果の説明図である。図5(a)は、ホールディングピペットHPとインジェクションピペットIPを取り付けた直後の状態の図である。ホールディングピペットHPとインジェクションピペットIPの光軸方向の位置は異なっているため、フォーカス位置までの移動距離DL、DRは異なる。従って、連動モードをOFFにして、ダイヤル4aL、4aRを個別に操作してホールディングピペットHPとインジェクションピペットIPを個別に移動させて先端をフォーカス位置に合わせる。この後、ホールディングピペットHPとインジェクションピペットIPの平面方向の位置や傾きなどを適正に調整する。
図5(b)は、ホールディングピペットHPとインジェクションピペットIPの先端がフォーカス位置に合って、平面方向の位置や傾きなどを適正に調整した後の状態の図である。この後、対象物103である細胞を置いた観察皿102であるシャーレを顕微鏡視野内にセットする。ホールディングピペットHPとインジェクションピペットIPの位置や傾きの調整を行った後でシャーレをセットするのは、細胞は培養室で保管されており、培養室外に出す時間を最小限にとどめるためである。ここで、シャーレをセットするためにホールディングピペットHPとインジェクションピペットIPを退避させる必要がある。このとき、ホールディングピペットHPとインジェクションピペットIPを個別に移動させるより、連動モードをONにして同時に同じ距離だけ退避させる方が、操作時間を短縮することができる。また、ホールディングピペットHPとインジェクションピペットIPを退避させた後、シャーレをセットしてホールディングピペットHPとインジェクションピペットIPを再びフォーカス位置に戻す必要がある。このときも、連動モードをONにして同時に同じ距離だけ移動させる方が、操作時間を短縮することができる。両方とも同じ距離だけ退避して同じ距離だけ元に戻せば、両方がフォーカス位置に合うためである。
図5(c)は、ホールディングピペットHPで細胞を保持し、インジェクションピペットIPで細胞の中心付近を穿刺しようとする直前の図である。インジェクションピペットIPの光軸方向の位置を再調整する場合、インジェクションピペットIPのみを移動し、それ以外の位置を維持する必要があるため、連動モードをOFFにしてダイヤル4aRを操作する。
一方、細胞の光軸方向の位置を再調整する場合、操作手段可動部2Lと対象物可動部1の連動モードをONにする。そして、ダイヤル4aLまたはダイヤル4aCを操作して、操作手段可動部2Lと対象物可動部1を同時に移動させる方が、操作時間を短縮することができる。ここで、連動モードを使用せず、対象物可動部1のみを移動させると、細胞とホールディングピペットHPの相対位置がずれて細胞の保持が不安定になるため、好ましくない。
連動モードを備えていない従来の顕微鏡補助装置の場合、まず対物レンズ104aを調整して細胞のフォーカスを再調整する。その後、インジェクションピペットIPの位置を調整してインジェクションピペットIPのフォーカスを再調整する必要があるため、操作時間がかかる。一方、本実施例の顕微鏡観察補助装置によれば、連動モードを有効して、対象物可動部1と操作手段可動部2L、2Rの少なくとも2つの可動部の光軸方向の移動を連動して移動させることにより、操作時間を短縮することができる。このとき、常に連動モードを有効にするのではなく、図5(a)のとおりピペットの取り付け直後のフォーカス調整のように連動モードを無効にする必要である場合がある。このため、連動モードの有効と無効とを切り替えるスイッチが実用上必要である。
本実施例では、切り替え手段として、機械的に往復するスイッチの例を示したが、タッチスイッチやフットペダルなどの手段や、物理的なスイッチではなく音声などに反応してモードを切り替えるソフトウエアスイッチでもよい。この点は、以降の各実施例でも同様である。
なお本実施例は、対象物可動部1と左右の操作手段可動部2L、2Rの3つを移動対象として、連動モードの有効と無効とを切り替えるスイッチを2組設けた例を説明した。ただし本実施例は、これに限定されるものではなく、更に左右の操作手段可動部2L、2Rを連動させるスイッチを設けてもよい。また、スイッチを1つにして連動モードにおいて同時に同じ移動量だけ移動させる対象物可動部1または操作手段可動部2L、2Rを選択可能な可動部選択手段(コンソール4)を設けてもよい。また、移動対象が複数あればよく、3つではなくても同様の構成は可能である。また本実施例は、顕微鏡100として倒立顕微鏡の例を説明したが、上部から観察する実体顕微鏡や、その他の種類の顕微鏡であっても、同様の構成は可能である。これらの点は、以降の各実施例でも同様である。
以上のように、本実施例の顕微鏡100に取り付け可能な顕微鏡補助装置は、対象物可動部1、第1の操作手段可動部(操作手段可動部2L)、および、第2の操作手段可動部(操作手段可動部2R)を有する。また顕微鏡補助装置は、移動指示手段(ダイヤル4aL、4aC、4aR)および切り替え手段(切り替えスイッチ4bLC、4bRC)を有する。対象物可動部は、対象物103を顕微鏡の光軸方向に移動させる。第1の操作手段可動部は、対象物を操作するための第1の操作手段(操作手段2La)を光軸方向に移動させる。第2の操作手段可動部は、対象物を操作するための第2の操作手段(操作手段2Ra)を光軸方向に移動させる。移動指示手段は、対象物可動部、第1の操作手段可動部、または、第2の操作手段可動部に対して光軸方向への移動を指示する。切り替え手段は、第1のモードと第2のモードとを切り替える。第1のモードは、移動指示手段の指示に応じて、対象物可動部、第1の操作手段可動部、または、第2の操作手段可動部の一つを光軸方向に移動させるモード(非連動モード)である。第2のモードは、移動指示手段の指示に応じて、対象物可動部、第1の操作手段可動部、および、第2の操作手段可動部のうち少なくとも二つを連動して光軸方向に移動させるモード(連動モード)である。すなわち第2のモードは、移動指示手段の指示に応じて、対象物可動部、第1の操作手段可動部、または、第2の操作手段可動部のうち少なくとも二つを同時に同じ移動量だけ光軸方向に移動させるモードである。
本実施例によれば、対象物可動部または操作手段可動部を含む少なくとも2つの可動部の光軸方向への移動を連動させることにより、操作時間を短縮することが可能な顕微鏡補助装置を提供することができる。
次に、本発明の実施例2における顕微鏡システムについて説明する。図6は、顕微鏡(倒立顕微鏡)100と顕微鏡補助装置とで構成される顕微鏡システム10aの全体図であり、顕微鏡補助装置を顕微鏡100に取り付けた状態を示す。顕微鏡補助装置は、対象物可動部1、操作手段可動部2L、2R、表示装置(表示部)12、コントローラ13、および、コンソール14を有する。図6(a)は顕微鏡システム10aの正面図、図6(b)は顕微鏡システム10aの右側面図をそれぞれ示す。図6(a)、(b)において、図を見やすくするため、一部の寸法を誇張し、一部の部品を省略し、一部の内部の部品を点線ではなく実線で描いている。
図6を参照して、本実施例において、実施例1に対して追加された機能を説明する。観察光学系に不図示のプリズムが追加されており、拡大像を撮像部11に結像することができる。撮像部11は、専用機器でもよいし、一般のデジタルカメラを所定のマウントアダプタを介して取り付ける構成でもよい。撮像部11は、一般のデジタルカメラと同様に「コントラスト方式」や「撮像面位相差方式」などのオートフォーカスを行うための画像を取得することができる。
コントローラ13は、CPU13a、駆動回路C13b、駆動回路L13c、駆動回路R13dに加えて、撮像部11での取得画像を処理する画像処理回路13eを有する。画像処理回路13eは、撮像部11で得られた画像に様々な画像処理をして、外部の表示装置12に映像として出力することができる。また、撮像部11で得られた画像を利用して「コントラスト方式」や「撮像面位相差方式」のオートフォーカスを行うための画像情報をCPU13aへ出力することもできる。
コンソール14のボタンスイッチ14cL、14cC、14cRは、押されたことを検出して、所定の動作開始のトリガを指示することができる入力手段である。本実施例において、ボタンスイッチ14cL、14cC、14cRは、オートフォーカス動作開始のトリガを指示する機能に割り当てられている。ボタンスイッチ14cCを押すと、対象物可動部1を光軸方向に移動して、オートフォーカス動作が開始される。対象物可動部1によってフォーカスを調整できるのは、観察皿102に置かれた対象物103である。フォーカスが合ったことを自動で判定するのは、前述の通り、様々な方式の従来技術が利用可能である。また、対象物103付近の領域を認識する方法は、画像認識から自動で判断する方法でもよいし、事前に表示装置12を利用して手動で指示する方法でもよい。
同様に、ボタンスイッチ14cL、14cRは、操作手段可動部2L、2Rに取り付けられた操作手段2La、2Raに対するオートフォーカス動作開始のトリガを指示する機能に割り当てられている。なお、オートフォーカスの方式と操作手段2La、2Ra付近の領域を認識する方法については、ボタンスイッチ14cCと同様である。
本実施例では、実施例1と同様に、ダイヤル14aL、14aC、14aRによりマニュアルフォーカスを指示し、本実施例で追加されたボタンスイッチ14cL、14cC、14cRによりオートフォーカスを指示することができる。このように、ダイヤル4aL、4aC、4aRとボタンスイッチ14cL、14cC、14cRは、本実施例において、対象物可動部1または操作手段可動部2L、2Rに顕微鏡100の光軸方向の移動を指示する移動指示手段として機能する。ボタンスイッチ14cL、14cC、14cRは、ボタンを押すことによって、所定の入力信号に基づいて(所定の入力信号をトリガとして)移動を開始し、所定の条件を満たすと自動で停止する自動移動指示手段の一例である。その他にタッチパネル等でも、所定の条件を満たすと自動で停止する自動移動指示手段として適用することができる。
図7(a)、(b)は、本実施例における動作の説明図である。まず、図7(a)を参照して、オートフォーカスによる非連動モードの説明をする。まず、切り替えスイッチ4bLC、4bRCを全て連動モードOFF側に切り替えておく。ボタンスイッチ14cCを押すと、対象物可動部1のみが光軸方向(図7(a)中のDC方向)に移動する。このため、観察皿102に載置された対象物103にオートフォーカスすることができる。このとき、操作手段可動部2L、2Rに取り付けられた操作手段2La、2Raのフォーカスはそのままである。同様に、ボタンスイッチ14cL、14cRを押すと、操作手段可動部2L、2Rに取り付けられた操作手段2La、2Raのみが光軸方向(図7(a)中のDL方向、DR方向)に移動して、操作手段2La、2Raにオートフォーカスすることができる。このとき、対象物103のフォーカスはそのままである。
次に、図7(b)を参照して、オートフォーカスによる連動モードの説明をする。例として、左の操作手段可動部2Lと対象物可動部1の2つを連動させる例を挙げる。まず、切り替えスイッチ4bLCを連動モードON側に、切り替えスイッチ4bRCを連動モードOFF側に、切り替えておく。ボタンスイッチ14cCを押すと、対象物可動部1が光軸方向に移動して、観察皿102に載置された対象物103にフォーカスを合わせることができることは、連動モードOFFとときと同様である。ここで連動モードONにおいては、連動モードONが選択されている操作手段可動部2Lも対象物可動部1と同じ移動量だけ同じ速度で光軸方向に移動する。その結果、操作手段可動部2Lに取り付けられた操作手段2Laも対象物103と同様にフォーカスが変化する。一方、連動モードが選択されていない操作手段可動部2Rに取り付けられた操作手段2Raは光軸方向には移動しないため、フォーカスは変化しない。
同様に、切り替えスイッチ4bLCを連動モードOFF側に、切り替えスイッチ44bRCを連動モードON側に切り替えておくと、操作手段可動部2Rと対象物可動部1の2つを連動させることができる。また、切り替えスイッチ4bLC、4bRCを両方とも連動モードON側に切り替えておくと、操作手段可動部2L、2Rと対象物可動部1の3つを連動させることができる。
図8は、ボタンスイッチ14cCに対する応答を例にして、図7(a)、(b)の動作の流れを示すフローチャートである。まずステップS201において、コントローラ13は、ボタンスイッチ14cCによる操作を受け付ける受付状態であるか否かを判定する。受付状態である場合、ステップS202へ進む。一方、受付状態でない場合、本フローを終了する。
ステップS202において、コントローラ13は、ボタンスイッチ14cCに対する入力があるか否かを判定する。入力がある場合、ステップS203へ進む。一方、入力がない場合、ステップS201へ戻る。
ステップS203において、コントローラ13は、切り替えスイッチ4bLCがOFFか否かを判定する。切り替えスイッチ4bLCがOFFである場合、ステップS204へ進む。一方、切り替えスイッチ4bLCがONである場合、ステップS205へ進む。
ステップS204において、切り替えスイッチ4bLCがOFFであるため、顕微鏡補助装置は非連動モードとして動作する。このときコントローラ13は、対象物可動部1のみを光軸方向に移動させて対象物にオートフォーカスを行い、本フローを終了する。
ステップS205において、切り替えスイッチ4bLCがONであるため、顕微鏡補助装置は連動モードとして動作する。このときコントローラ13は、対象物可動部1のみを光軸方向に移動させて対象物にオートフォーカスを行い、同時に、同じ量だけ操作手段可動部2Lを光軸方向に移動させ、本フローを終了する。
以下、細胞操作を例として、連動モードの効果について説明する。 図9(a)、(b)は、本実施例における効果の説明図である。図9(a)は、ホールディングピペットHPとインジェクションピペットIPを取り付けた直後の状態の図である。ホールディングピペットHPとインジェクションピペットIPの光軸方向の位置は異なっているため、フォーカス位置までの移動距離DL、DRは異なる。従って、連動モードをOFFにして、ボタンスイッチ14cL、4cRを個別に押してホールディングピペットHPとインジェクションピペットIPを個別にオートフォーカスする。この後、ホールディングピペットHPとインジェクションピペットIPの平面方向の位置や傾きなどを適正に調整する。
図9(c)は、ホールディングピペットHPで細胞を保持し、インジェクションピペットIPで細胞の中心付近を穿刺しようとする直前の図である。インジェクションピペットIPの光軸方向の位置を再調整する場合、インジェクションピペットIPのみを移動し、それ以外の位置を維持する必要があるため、連動モードをOFFにしてボタンスイッチ14cRを押す。
一方、細胞の光軸方向の位置を再調整する場合、操作手段可動部2Lと対象物可動部1の連動モードをONにする。その後、ボタンスイッチ14cLまたはボタンスイッチ14cCを操作して、操作手段可動部2Lと対象物可動部1を同時に移動させる方が、操作時間を短縮することができる。ここで、連動モードを使用せず、対象物可動部1のみを移動させると、細胞とホールディングピペットHPの相対位置がずれて細胞の保持が不安定になるため、好ましくない。
連動モードを備えていない従来の顕微鏡補助装置の場合、まず対物レンズ104aを調整して細胞のフォーカスを再調整する。その後、インジェクションピペットIPの位置を調整してインジェクションピペットIPのフォーカスを再調整する必要があるため、操作時間がかかる。一方、本実施例の顕微鏡観察補助装置によれば、連動モードを有効して、対象物可動部1と操作手段可動部2L、2Rの少なくとも2つの可動部の光軸方向の移動を連動して移動させることにより、操作時間を短縮することができる。このとき、常に連動モードを有効にするのではなく、図9(a)のとおりピペットの取り付け直後のフォーカス調整のように連動モードを無効にする必要である場合がある。このため、連動モードの有効と無効とを切り替えるスイッチが実用上必要である。
本実施例によれば、対象物可動部または操作手段可動部を含む少なくとも2つの可動部の光軸方向への移動を連動させることにより、操作時間を短縮することが可能な顕微鏡補助装置を提供することができる。
次に、本発明の実施例3における顕微鏡システムについて説明する。図10は、顕微鏡(倒立顕微鏡)100と顕微鏡補助装置とで構成される顕微鏡システム10bの全体図であり、顕微鏡補助装置を顕微鏡100に取り付けた状態を示す。顕微鏡補助装置は、操作手段可動部2L、2R、表示装置(表示部)12、コントローラ23、および、コンソール24を有する。図10(a)は顕微鏡システム10bの正面図、図10(b)は顕微鏡システム10bの右側面図をそれぞれ示す。図10(a)、(b)において、図を見やすくするため、一部の寸法を誇張し、一部の部品を省略し、一部の内部の部品を点線ではなく実線で描いている。
図10を参照して、本実施例において、実施例2に対して削除または追加された機能を説明する。本実施例では、実施例2の対象物可動部1と駆動回路Cがない。従って、本実施例では、対象物のフォーカス調整は顕微鏡のノブ105を回転することにより、対物レンズ104aを光軸方向に移動させて行われる。コントローラ23は、CPU23a、駆動回路L23c、駆動回路R23d、および、画像処理回路23eを有する。
切り替えスイッチ24dL、24dRは、左右に操作することで動作モードを変更することができる。切り替えスイッチ24dL、24dRは、後述の「連動モード」を有効にする「ON」と、無効にする「OFF」の2つの方向を往復可能な切り替えスイッチである。
連動モードを無効にすることで、ノブ105を操作して対物レンズ104aを光軸方向に移動させても、操作手段可動部2L、2Rは光軸方向に移動しない、従来と同じ非連動モードとなる。一方、「連動モード」を有効にすることで、ノブ105を操作して対物レンズ104aを光軸方向に移動させると、操作手段可動部2L、2Rを同時に同じ移動量だけ移動させる連動モードとなる。このように切り替えスイッチ24dL、24dRは、連動モード(第2のモード)と非連動モード(第1のモード)とを切り替える切り替え手段として機能する。
以下、連動モードにおいて、対物レンズ104aを光軸方向に移動させたとき、操作手段可動部2L、2Rを同時に同じ移動量だけ移動させる方法について説明する。対物レンズ104aを移動させると、フォーカス位置が光軸方向に移動するため、操作手段可動部2L、2Rに取り付けられた操作手段2La、2Raのフォーカスが変化する。フォーカスの変化は、撮像部11において所定の合焦評価値を演算した結果の時間的な変化で検出可能である。ここで所定の合焦評価値とは、コントラスト方式の場合は取得した画像のコントラストを計算することで得られ、撮像面位相差方式では、所定の方向に瞳分割することで位相差を検出可能な2つの画像を比較することで得られる。これらは、デジタルカメラで一般的に使用されている従来技術である。そして、撮像部11で取得された顕微鏡100の観察画像の合焦評価値を一定に維持するようにフィードバック制御することにより、対物レンズ104aのフォーカス位置に対する光軸方向の相対的な位置を一定にすることができる。その結果、顕微鏡100の対物レンズ104aの光軸方向の移動距離と同じ距離だけ操作手段可動部2L、2Rが光軸方向に連動して移動することができる。
図11は、連動モードにおいて行われるフィードバック制御のブロック図である。コントローラ23は、予め、合焦評価値fの初期値f0を記憶しておき目標値とする。CPU23a(比較部231)は、目標値f0と現在の合焦評価値fとの差分dfを計算する。CPU23a(制御部)232は、差分f0-f=dfに対し、合焦評価値の差分から光軸方向ずれ量に変換する計算をして、制御対象である操作手段可動部の相対移動量の目標値dZとする。コントローラ23(駆動回路233)は、操作手段可動部がdZ相対移動するように駆動し、操作手段可動部の現在位置Zが出力される。またコントローラ23(検出部234)は、現在位置Zにおける合焦評価値fを計算し、フィードバック制御を行う。このようにして、撮像部11で取得された顕微鏡100の観察画像の合焦評価値を一定に維持するようにフィードバック制御する。その結果、顕微鏡の対物レンズ104aの光軸方向の移動距離と同じ距離だけ前記操作手段可動部が光軸方向に連動して移動することができる。
なお、本実施例のフィードバック制御は合焦評価値を維持するだけであって、合焦評価値を上昇させてより合焦に近づけるものではない。連動モードは合焦させることが目的ではなく、対物レンズ104aの光軸方向の移動量と同じだけ操作手段可動部2L、2Rを移動させることが目的だからである。
以下、細胞操作を例として、連動モードの効果について説明する。図12(a)~(c)は、本実施例における効果の説明図である。図12(a)は、ホールディングピペットHPとインジェクションピペットIPを取り付けた直後の状態の図である。ホールディングピペットHPとインジェクションピペットIPの光軸方向の位置は異なっているため、フォーカス位置までの移動距離DL、DRは異なる。従って、連動モードをOFFにして、ダイヤル24aL、24aRを個別に操作してホールディングピペットHPとインジェクションピペットIPを個別に移動させて先端をフォーカス位置に合わせる。この後、ホールディングピペットHPとインジェクションピペットIPの平面方向の位置や傾きなどを適正に調整する。
図12(b)は、ホールディングピペットHPとインジェクションピペットIPの先端がフォーカス位置に合って、適正な調整した後に、対象物103である細胞を載置した観察皿102であるシャーレを顕微鏡視野内にセットした状態の図である。ホールディングピペットHPとインジェクションピペットIPの位置や傾きの調整を行った後でシャーレをセットするのは、細胞は培養室で適正な環境に保管されており、培養室外に出す時間を最小限にとどめるためである。この後、セットした対象物103にフォーカスを合わせる必要があるが、ここで切り替えスイッチ24dL、24dRを切り替えて連動モードをONにして、対物レンズを調整して、フォーカス位置を矢印DC方向に移動させる。フォーカス面が対象物103の中心にまで移動すると、連動モードが有効になっている。その結果、ホールディングピペットHPとインジェクションピペットIPも対物レンズ104aと同様に移動するため、対物レンズ104aだけを操作することによって、ホールディングピペットHPとインジェクションピペットIPの移動もできる。従来は、対物レンズ104aとホールディングピペットHPとインジェクションピペットIPは連動していないため3つの操作が必要である。一方、本実施例によれば、1つの操作で完了するため、操作時間を短縮することができる。
図12(c)は、ホールディングピペットHPで細胞を保持し、インジェクションピペットIPで細胞の中心付近を穿刺しようとする直前の図である。この状態で細胞の光軸方向の位置を再調整する場合、ホールディングピペットHPと細胞の相対位置は維持したいため、切り替えスイッチ24dLは連動モードをOFF側にする。一方、インジェクションピペットIPのフォーカスは維持したいため、切り替えスイッチ24dRは連動モードをON側にする。この状態で対物レンズ104aの位置を調整すれば、細胞とそれを保持するホールディングピペットHPの相対位置を維持したまま細胞のフォーカスを調整でき、フォーカスを維持したいインジェクションピペットIPは対物レンズ104aと連動する。その結果、1つの操作でフォーカスの微調整が可能になるため、操作時間を短縮することができる。このとき、常に連動モードを有効にするのではなく、連動モードを無効にする必要がある場合もあるため、連動モードを有効と無効を切り替えるスイッチは実用上必要である。
本実施例において、連動モードが選択されている場合であっても観察画像の合焦評価値が所定の値以下である場合、連動させても意味がないため、操作手段可動部を対物レンズ104aの移動に連動して光軸方向に移動しないようにしてもよい。
次に、本発明の実施例4における顕微鏡システムについて説明する。図13は、顕微鏡(倒立顕微鏡)100と顕微鏡補助装置とで構成される顕微鏡システム10cの全体図であり、顕微鏡補助装置を顕微鏡100に取り付けた状態を示す。顕微鏡補助装置は、操作手段可動部2L、2R、表示装置12、および、画像処理部20を有する。図13(a)は顕微鏡システム10cの正面図、図13(b)、(c)は顕微鏡システム10cの左側面図をそれぞれ示す。図13(a)~(c)において、図を見やすくするため、一部の寸法を誇張し、一部の部品を省略し、一部の内部の部品を点線ではなく実線で描いている。
図13(a)~(c)を参照して、本実施例において、実施例3に対して追加された機能を説明する。本実施例の撮像部(撮像装置)11は、所定の方向に瞳分割した位相差検出が可能な2つの画像を取得可能であって、顕微鏡100の観察画像(撮像画像)を取得可能な撮像センサを有する。撮像部11は、いわゆる撮像面位相差AFが可能である。また撮像部11は、マウント11aを介して顕微鏡100に取り付けられている。本実施例のマウント11aは、撮像部11の光軸を中心として図13(a)~(c)中の矢印で示されるように回転可能である。このため、マウント11aは、顕微鏡100に対して撮像部11を相対的に回転させることが可能な撮像部回転手段として機能する。
画像処理装置(画像処理部)20は、撮像部11で取得した画像を所定の角度だけ回転させた回転画像を生成する画像回転手段201と、所定の角度だけ回転させた回転画像を外部の表示手段12へ出力することが可能な画像出力手段202とを有する。これらの構成により、撮像部回転手段であるマウント11aによって撮像部を所定の角度だけ回転させた結果、観察画像が所定の角度だけ回転した状態で取得されたとしても、撮像部回転手段で所定の角度だけ逆に回転させた画像を生成することができる。その結果、撮像部11を所定の角度だけ回転させない状態で取得される画像を画像出力手段で表示手段12へ出力することができる。
次に、図14を参照して、左右方向からホールディングピペットHPとインジェクションピペットIPを挿入する場合を例として、本実施例の効果について説明する。図14は、本実施例における効果の説明図である。
図14(a)は、細胞操作を行う際に接眼レンズ104aで観察される光学像であり、通常は図14(b)のように光学像の一部をそのまま切り出して表示手段12に出力する。観察されるままに出力し、記録することが望ましいからである。
ここで、撮像面位相差AFの瞳分割方向は、図14(b)の左右方向に分割されていることが通常である。一方、細胞操作の作業では、視野内に左右からホールディングピペットHPやインジェクションピペットIPを挿入して作業することが通常である。このため、図14(b)のように、上下方向(瞳分割方向と直交する方向)に直線部が少ない画像となり、撮像面位相差AFの視差が少なく、AF精度が低下するおそれがある。そこで、撮像部11を所定の角度(本実施例では90度)だけ回転させて取り付けることにより、図14(c)のような画像を取得することが可能である。その結果、撮像面位相差AFの視差が大きくなるため、AF精度を向上させることができる。
しかしながら、このまま画像を出力して記録すると、図14(d)に示されるように、光学像に対して90度だけ回転した画像が出力され記録される。その結果、表示手段12で観察し、または後に記録画像を再生する際に違和感がある。そこで、画像回転手段201を用いて90度逆に回転させた画像を生成し、図14(e)のように画像を出力して記録することにより、周辺部に画像の欠落が生じるものの、違和感なく表示手段12で観察し、または後に記録画像を再生することができる。
本実施例によれば、撮像面位相差AFのAF精度を向上させることができる。このため、対象物可動部または操作手段可動部を含む少なくとも2つの可動部の光軸方向への移動を連動して移動させる際の精度が向上し、操作時間を短縮することができる。
次に、本発明の実施例5における顕微鏡システムについて説明する。図15は、顕微鏡(倒立顕微鏡)100と顕微鏡補助装置とで構成される顕微鏡システム10dの全体図であり、顕微鏡補助装置を顕微鏡100に取り付けた状態を示す。顕微鏡補助装置は、操作手段可動部2L、2R、表示装置12、および、画像処理部20を有する。図15(a)は顕微鏡システム10dの正面図、図15(b)、(c)は顕微鏡システム10dの左側面図をそれぞれ示す。図15(a)~(c)において、図を見やすくするため、一部の寸法を誇張し、一部の部品を省略し、一部の内部の部品を点線ではなく実線で描いている。
図15を参照して、本実施例において、実施例4に対して追加された機能を説明する。本実施例の画像処理装置(画像処理部)20は、画像回転手段201および画像出力手段202に加え、ダイヤル20aおよびレベル表示20bを有する。ダイヤル20aは、画像回転手段201が画像を回転させる角度を変更する回転角度変更手段である。レベル表示20bは、撮像部11が取得した視差のある2つの画像のずれの変化を表示する表示手段である。レベル表示20bにおいて、右側のより大きなLED枠が点灯するほど、2つの画像の視差が大きく、その結果、撮像面位相差AFのAF精度がよい画像であることを示している。
次に、図16を参照して、様々な方向から細胞組織にプローブを接触させる場合を例として、本実施例の効果について説明する。図16は、本実施例の効果の説明図である。図16(a)は、細胞組織203に3つのプローブPを接触させる際に接眼レンズ104aで観察される光学像である。通常、図16(b)に示されるように、光学像の一部をそのまま切り出して表示手段12に出力する。光学像を観察されるままに出力し、記録することが望ましいからである。
撮像面位相差AFの瞳分割方向は、図16(b)の左右方向に分割されていることが通常であるのに対して、この作業では様々な方向から細胞組織203にプローブを接触させている。このため図16(b)のように上下方向(瞳分割方向と直交する方向)に45度以下に交差する直線部が少ない画像となり、撮像面位相差AFの視差が少なく、AF精度が低下するおそれがある。そこで、撮像部11を角度θだけ回転させて取り付けることによって、図16(c)のような画像を取得すると撮像面位相差AFの視差が大きくなるため、AF精度を向上させることができる。
しかしながら、このまま画像を出力して記録すると、図16(d)に示されるように、光学像に対して角度θだけ回転した画像が出力され記録される。その結果、表示手段12で観察し、または後に記録画像を再生する際に違和感がある。そこで、画像回転手段201を用いて角度θだけ逆に回転させた画像を生成し、図14(e)のように出力、記録することにより、周辺部に画像の欠落が生じるものの、違和感なく表示手段12で観察し、または後に記録画像を再生することができる。撮像部11を回転させる角度θを決める際には、レベル表示20bの表示を参照しなからレベル表示20bが最大になる角度に決めることができる。また、ダイヤル20aを用いて図16(a)の光学像と図16(e)の出力画像が同等な角度になるように、画像回転手段201が画像を生成する際に逆に回転させる角度を調整することができる。
なお本実施例では、手動でダイヤル20aを用いて画像を回転する例を示したが、マウント11aで撮像部11の回転角度θをセンサ等で検出して、画像回転手段が画像を生成する際に逆に回転させる角度を自動で決定することも可能である。
本実施例によれば、撮像面位相差AFのAF精度を向上させることができる。このため、対象物可動部または操作手段可動部を含む少なくとも2つの可動部の光軸方向への移動を連動して移動させる際の精度が向上し、操作時間を短縮することができる。
以上、本発明の好ましい実施例について説明したが、本発明はこれらの実施例に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。
Claims (14)
- 顕微鏡に取り付け可能な顕微鏡補助装置であって、
対象物を前記顕微鏡の光軸方向に移動させる対象物可動部と、
前記対象物を操作するための第1の操作手段を前記光軸方向に移動させる第1の操作手段可動部と、
前記対象物を操作するための第2の操作手段を前記光軸方向に移動させる第2の操作手段可動部と、
前記対象物可動部、前記第1の操作手段可動部、または、前記第2の操作手段可動部に対して前記光軸方向への移動を指示する移動指示手段と、
第1のモードと第2のモードとを切り替える切り替え手段と、を有し、
前記第1のモードは、前記移動指示手段の指示に応じて、前記対象物可動部、前記第1の操作手段可動部、または、前記第2の操作手段可動部の一つを前記光軸方向に移動させるモードであり、
前記第2のモードは、前記移動指示手段の指示に応じて、前記対象物可動部、前記第1の操作手段可動部、および、前記第2の操作手段可動部のうち少なくとも二つを連動して前記光軸方向に移動させるモードであることを特徴とする顕微鏡補助装置。 - 前記第2のモードは、前記移動指示手段の指示に応じて、前記対象物可動部、前記第1の操作手段可動部、または、前記第2の操作手段可動部のうち少なくとも二つを同時に同じ移動量だけ前記光軸方向に移動させるモードであることを特徴とする請求項1に記載の顕微鏡補助装置。
- 前記移動指示手段は、移動量および移動方向を入力する手動移動指示手段であることを特徴とする請求項1または2に記載の顕微鏡補助装置。
- 前記移動指示手段は、所定の入力信号に基づいて前記移動の開始を指示し、所定の条件を満たしたときに前記移動の停止を指示する自動移動指示手段であることを特徴とする請求項1または2に記載の顕微鏡補助装置。
- 前記第2のモードにおいて、前記対象物可動部、前記第1の操作手段可動部、または、前記第2の操作手段可動部のうち連動させる少なくとも二つを選択する可動部選択手段を更に有することを特徴とする請求項1乃至4のいずれか一項に記載の顕微鏡補助装置。
- 顕微鏡に取り付け可能な顕微鏡補助装置であって、
対象物を操作するための操作手段を前記顕微鏡の光軸方向に移動させる操作手段可動部と、
前記顕微鏡の観察画像を取得する撮像部と、を有し、
前記操作手段可動部は、前記観察画像に基づいて、前記顕微鏡の対物レンズの前記光軸方向の移動距離と同じ距離だけ、前記対物レンズの移動と連動して前記光軸方向に移動することを特徴する顕微鏡補助装置。 - 前記操作手段可動部は、前記観察画像の合焦評価値を一定に維持するようにフィードバック制御を行うことにより、前記対物レンズの移動と連動して前記光軸方向に移動することを特徴する請求項6に記載の顕微鏡補助装置。
- 第1のモードと第2のモードとを切り替える切り替え手段を更に有し、
前記第1のモードは、前記対物レンズが前記光軸方向に移動しても、前記操作手段可動部が前記対物レンズの移動と連動して移動しないモードであり、
前記第2のモードは、前記操作手段可動部が、前記観察画像に基づいて前記対物レンズの前記光軸方向の前記移動距離と同じ距離だけ、前記対物レンズの移動と連動して前記光軸方向に連動して移動するモードであることを特徴とする請求項6または7に記載の顕微鏡補助装置。 - 前記切り替え手段により前記第2のモードが選択されている場合であって、前記観察画像の合焦評価値が所定の値以下である場合、前記操作手段可動部は、前記対物レンズの移動と連動して前記光軸方向に移動しないことを特徴とする請求項8のいずれか一項に記載の顕微鏡補助装置。
- 顕微鏡に取り付け可能な顕微鏡補助装置であって、
対象物を操作するための操作手段を少なくとも前記顕微鏡の光軸方向に移動させる操作手段可動部と、
位相差検出のために所定の方向に瞳分割した2つの画像を取得する撮像部と、
前記顕微鏡に対して前記撮像部を相対的に回転させる撮像部回転手段と、
前記撮像部で取得した画像を所定の角度だけ回転させた回転画像を生成する画像回転手段と、を有することを特徴とする顕微鏡補助装置。 - 前記回転画像を表示部へ出力する画像出力手段を更に有することを特徴とする請求項10に記載の顕微鏡補助装置。
- 前記所定の角度は、90度であることを特徴とする請求項10または11に記載の顕微鏡補助装置。
- 前記所定の角度を変更する回転角度変更手段を更に有することを特徴とする請求項10乃至12のいずれか一項に記載の顕微鏡補助装置。
- 前記2つの画像のずれの変化を表示する表示手段を更に有することを特徴とする請求項10乃至13のいずれか一項に記載の顕微鏡補助装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US17/969,082 US20230041003A1 (en) | 2020-04-30 | 2022-10-19 | Microscope auxiliary apparatus |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020-080813 | 2020-04-30 | ||
JP2020080813A JP2021173983A (ja) | 2020-04-30 | 2020-04-30 | 顕微鏡補助装置 |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
US17/969,082 Continuation US20230041003A1 (en) | 2020-04-30 | 2022-10-19 | Microscope auxiliary apparatus |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2021220630A1 true WO2021220630A1 (ja) | 2021-11-04 |
Family
ID=78281758
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2021/009524 WO2021220630A1 (ja) | 2020-04-30 | 2021-03-10 | 顕微鏡補助装置 |
Country Status (3)
Country | Link |
---|---|
US (1) | US20230041003A1 (ja) |
JP (1) | JP2021173983A (ja) |
WO (1) | WO2021220630A1 (ja) |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006023487A (ja) * | 2004-07-07 | 2006-01-26 | Nikon Corp | 顕微鏡装置 |
WO2012018136A1 (ja) * | 2010-08-06 | 2012-02-09 | 日本精工株式会社 | マニピュレータシステム及び微小操作対象物の操作方法 |
JP2013160960A (ja) * | 2012-02-07 | 2013-08-19 | Nsk Ltd | マニピュレータシステム及び微小操作対象物の操作方法 |
WO2016163401A1 (ja) * | 2015-04-08 | 2016-10-13 | 日本精工株式会社 | マニピュレーションシステム及びその制御方法 |
-
2020
- 2020-04-30 JP JP2020080813A patent/JP2021173983A/ja active Pending
-
2021
- 2021-03-10 WO PCT/JP2021/009524 patent/WO2021220630A1/ja active Application Filing
-
2022
- 2022-10-19 US US17/969,082 patent/US20230041003A1/en active Pending
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006023487A (ja) * | 2004-07-07 | 2006-01-26 | Nikon Corp | 顕微鏡装置 |
WO2012018136A1 (ja) * | 2010-08-06 | 2012-02-09 | 日本精工株式会社 | マニピュレータシステム及び微小操作対象物の操作方法 |
JP2013160960A (ja) * | 2012-02-07 | 2013-08-19 | Nsk Ltd | マニピュレータシステム及び微小操作対象物の操作方法 |
WO2016163401A1 (ja) * | 2015-04-08 | 2016-10-13 | 日本精工株式会社 | マニピュレーションシステム及びその制御方法 |
Non-Patent Citations (1)
Title |
---|
THORLABS INC.: "MZS500-E - Z-Axis Piezo Stage and Controller Kit", 13 October 2011 (2011-10-13), JP, pages 1 - 82, XP009532018, Retrieved from the Internet <URL:https://www.thorlabs.co.jp/thorproduct.cfm?partnumber=MZS500-E> [retrieved on 20210524] * |
Also Published As
Publication number | Publication date |
---|---|
US20230041003A1 (en) | 2023-02-09 |
JP2021173983A (ja) | 2021-11-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2925647B2 (ja) | 顕微鏡変倍装置 | |
US7375880B2 (en) | Mouth switch mechanism for operation microscope | |
US20050105174A1 (en) | Microscope system | |
JPH10118076A (ja) | 内視鏡下外科手術装置 | |
WO2021220630A1 (ja) | 顕微鏡補助装置 | |
JP5893313B2 (ja) | 顕微鏡システム | |
JP3549253B2 (ja) | 手術用顕微鏡 | |
JP3081699B2 (ja) | マクロレンズを備えた顕微鏡 | |
JP2002350735A (ja) | 手術用顕微鏡 | |
JP3953591B2 (ja) | 自動焦点顕微鏡 | |
JP2002303797A (ja) | 顕微鏡 | |
WO2023047927A1 (ja) | 総合倍率を利用した制御が可能な顕微鏡補助装置、顕微鏡補助装置の制御方法およびプログラム | |
JP2964870B2 (ja) | マイクロマニピュレータシステム | |
JP2000295605A (ja) | 電子内視鏡装置 | |
JP4615840B2 (ja) | 手術用観察装置 | |
JP4398200B2 (ja) | 立体観察装置 | |
JP5174693B2 (ja) | 顕微鏡システム | |
JP3756634B2 (ja) | 内視鏡装置 | |
JP4302404B2 (ja) | 手術用顕微鏡 | |
JPH11299727A (ja) | 内視鏡装置 | |
JP4635492B2 (ja) | 顕微鏡装置 | |
JPH10142238A (ja) | 複合型顕微鏡 | |
JP2002090633A (ja) | 顕微鏡 | |
JP2006106192A (ja) | マニュピレータシステム及び顕微鏡システム | |
JPH08243957A (ja) | マイクロマニピュレータシステム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 21795460 Country of ref document: EP Kind code of ref document: A1 |
|
NENP | Non-entry into the national phase |
Ref country code: DE |
|
122 | Ep: pct application non-entry in european phase |
Ref document number: 21795460 Country of ref document: EP Kind code of ref document: A1 |