WO2023127001A1 - 顕微鏡システム、投影ユニット、及び、選別支援方法 - Google Patents

顕微鏡システム、投影ユニット、及び、選別支援方法 Download PDF

Info

Publication number
WO2023127001A1
WO2023127001A1 PCT/JP2021/048510 JP2021048510W WO2023127001A1 WO 2023127001 A1 WO2023127001 A1 WO 2023127001A1 JP 2021048510 W JP2021048510 W JP 2021048510W WO 2023127001 A1 WO2023127001 A1 WO 2023127001A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
sperm
target
microscope system
microscope
Prior art date
Application number
PCT/JP2021/048510
Other languages
English (en)
French (fr)
Inventor
拓人 山根
敏征 服部
勇大 尾原
琢磨 佐藤
沙織 村形
Original Assignee
株式会社エビデント
学校法人慈恵大学
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社エビデント, 学校法人慈恵大学 filed Critical 株式会社エビデント
Priority to JP2023570498A priority Critical patent/JPWO2023127001A1/ja
Priority to PCT/JP2021/048510 priority patent/WO2023127001A1/ja
Publication of WO2023127001A1 publication Critical patent/WO2023127001A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N33/00—Investigating or analysing materials by specific methods not covered by groups G01N1/00 - G01N31/00
    • G01N33/48—Biological material, e.g. blood, urine; Haemocytometers
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N33/00—Investigating or analysing materials by specific methods not covered by groups G01N1/00 - G01N31/00
    • G01N33/48—Biological material, e.g. blood, urine; Haemocytometers
    • G01N33/483—Physical analysis of biological material
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N33/00—Investigating or analysing materials by specific methods not covered by groups G01N1/00 - G01N31/00
    • G01N33/48—Biological material, e.g. blood, urine; Haemocytometers
    • G01N33/50—Chemical analysis of biological material, e.g. blood, urine; Testing involving biospecific ligand binding methods; Immunological testing

Definitions

  • the disclosure of this specification relates to a microscope system, a projection unit, and a selection support method.
  • ART is a general term for technologies such as in vitro fertilization (IVF) and microinsemination, in which eggs and sperm removed from humans are fertilized outside the body, and the collected sperm is injected into the uterus and fertilized with the egg inside the body. artificial insemination.
  • IVF in vitro fertilization
  • microinsemination in which eggs and sperm removed from humans are fertilized outside the body, and the collected sperm is injected into the uterus and fertilized with the egg inside the body. artificial insemination.
  • Patent Document 1 describes a microscope suitable for intracytoplasmic sperm injection (ICSI) used in microinsemination, which is a type of ART.
  • ICSI is a method of directly injecting sperm into an egg by piercing an injection pipette containing sperm into the egg fixed with a holding pipette.
  • the above problems can occur not only in the sperm sorting work but also in any target sorting work.
  • an object of one aspect of the present invention is to provide a technology that supports the selection of objects in a sample.
  • a microscope system includes a microscope that forms an optical image of a sperm sample containing a sorting target, an imaging device that acquires a digital image of the sperm sample, and sperm detection and sperm morphology in the digital image.
  • a projection unit is a projection unit attached to a microscope, and includes an imaging unit that acquires a digital image of a sperm sample, and sperm detection based on the digital image and evaluation of the sperm morphology. a processing unit that generates a target image that is an image of a sorting target contained in a sample; a projection unit for displaying in a larger size.
  • a selection support method forms an optical image of a sperm sample containing a selection target, acquires a digital image of the sperm sample, and performs sperm detection and sperm morphology evaluation on the digital image.
  • a target image that is an image to be sorted is generated, and the target image is displayed on an image plane on which the optical image is formed in a size larger than that of the sorting target in the optical image.
  • FIG. 1 is a diagram illustrating the configuration of a microscope system 1;
  • FIG. 1 is a diagram illustrating the configuration of a microscope 100;
  • FIG. 4 is a diagram illustrating the configuration of an operation unit of the input device 50;
  • FIG. 2 is a diagram illustrating a hardware configuration of a processing device 200;
  • FIG. It is a flowchart which shows an example of the procedure of ICSI by an embryologist.
  • 3 is a diagram illustrating the configuration of a drop formed as a sample 300 in a petri dish 310;
  • FIG. It is a flowchart which shows an example of the sperm selection procedure by an embryonic culture person.
  • FIG. 9 is a flowchart showing an example of sorting support processing; 6 is a flowchart showing an example of target image generation processing; 4 is a flowchart showing an example of image display processing; 4 is a diagram showing an example of an optical image generated by the microscope 100;
  • FIG. FIG. 2 is a diagram showing an example of a digital image acquired by an imaging device 143;
  • FIG. 10 is a diagram showing an example of object detection results for a digital image;
  • FIG. 4 is a diagram for explaining an example of a method of generating a target image; 4 is a diagram showing an example of an image seen through an eyepiece lens 101.
  • FIG. FIG. 10 is a diagram for explaining another example of a method of generating a target image;
  • FIG. 10 is a diagram showing another example of an image seen through the eyepiece 101; 9 is a flowchart showing another example of sorting support processing; 9 is a flowchart showing another example of image display processing; FIG. 4 is a diagram for explaining an example of a method of generating an auxiliary image; FIG. FIG. 10 is a diagram showing still another example of an image seen through the eyepiece 101; 2 is a diagram illustrating the configuration of a microscope system 2; FIG.
  • FIG. 1 is a diagram illustrating the configuration of a microscope system 1.
  • FIG. 2 is a diagram illustrating the configuration of the microscope 100.
  • FIG. 3 is a diagram illustrating the configuration of the operation unit of the input device 50.
  • FIG. 4 is a diagram illustrating the configuration of the processing device 200. As shown in FIG.
  • the microscope system 1 is a system for observing a sample by looking through an eyepiece 101.
  • the microscope system 1 is an inverted microscope system equipped with a transmitted illumination system 120 used for microscopic insemination, particularly sperm sorting.
  • the microscope system 1 is used, for example, by an embryologist.
  • a sample to be observed is a sperm suspension containing sperm contained in a petri dish or the like in the case of sperm sorting.
  • the microscope system 1 includes at least a microscope 100, an imaging device 143, a projection device 153, and a processing device 200.
  • Microscope 100 forms an optical image of a sample containing sperm to be sorted (that is, a sperm sample).
  • Imaging device 143 acquires a digital image of the specimen.
  • the processing device 200 generates an image to be sorted (hereinafter referred to as a target image) based on object detection on the digital image.
  • the selection target is a target whose quality is judged by the user, and means a target whose selection or non-selection is determined as a result of the quality judgment.
  • the projection device 153 is an example of an optical device that displays a target image in a size larger than the selection target in the optical image on the image plane where the optical image is formed.
  • "displaying an image (image)” refers to forming an image (image) in a visible manner. position).
  • the microscope system 1 uses the projection device 153 to display the target image in a size larger than the selection target in the optical image on the image plane where the optical image of the sample is formed by the microscope 100 .
  • the sorting target (sperm) in the optical image is displayed within, for example, a 1 mm ⁇ 1 mm area on the image plane
  • the target image is displayed on the image plane in a size larger than 1 mm ⁇ 1 mm.
  • the user who is looking through the eyepiece 101 and observing the sample can observe the sperm to be sorted included in the optical image in detail with a larger size target image without taking his eyes off the eyepiece 101. can do. Therefore, it is possible to accurately specify and collect good sperm in a short period of time. Therefore, according to the microscope system 1, it is possible to support the sperm sorting work of users such as embryologists.
  • the microscope system 1 includes a microscope controller 10, a display device 30, and a plurality of input devices in addition to the microscope 100, the imaging device 143, the projection device 153, and the processing device 200 described above. (input device 40 , input device 50 , input device 60 , input device 70 ) and identification device 80 .
  • the microscope system 1 is also connected to a database server 20 storing various data.
  • the imaging device 143 and the projection device 153 are arranged inside the microscope body 110 of the microscope 100 .
  • the microscope 100 is an inverted microscope equipped with an eyepiece 101.
  • the microscope 100 includes a microscope main body 110, a plurality of objective lenses 102 attached to the microscope main body 110, a stage 111, a transmitted illumination system 120, and an eyepiece tube 170, as shown in FIG. Further, the microscope 100 includes modulation elements for visualizing unstained samples such as sperm and ovum in each of the illumination optical path and the observation optical path, as will be described later.
  • a user such as an embryologist, can use the microscope 100 to examine a sample using four microscopy techniques: bright field (BF) observation, polarized light (PO) observation, differential interference contrast (DIC) observation, and modulation contrast (MC) observation. can be observed. Modulation contrast observation is also called relief contrast (RC) observation.
  • BF bright field
  • PO polarized light
  • DIC differential interference contrast
  • MC modulation contrast
  • Modulation contrast observation is also called relief contrast (RC) observation.
  • a plurality of objective lenses 102 are attached to a revolver 112 .
  • the multiple objective lenses 102 include an objective lens 102a for BF observation, an objective lens 102b for PO observation and DIC observation, and an objective lens 102c for MC observation.
  • the modulator 104 is included in the objective lens 102c.
  • the modulator 104 includes three regions with different transmittances (for example, a region with a transmittance of about 100%, a region with a transmittance of about 5%, and a region with a transmittance of about 0%).
  • FIG. 2 illustrates three objective lenses according to the microscopy method
  • the plurality of objective lenses 102 may include objective lenses with different magnifications for each microscopy method.
  • 4x objective lens for BF observation 10x, 20x, and 40x objective lenses for MC observation, 20x objective lens for PO observation, and 60x objective lens for DIC observation are included. will be described as an example.
  • the revolver 112 is a switching device that switches objective lenses arranged on the optical path among the plurality of objective lenses 102 .
  • the revolver 112 switches the objective lens arranged on the optical path according to the microscope method and observation magnification.
  • the objective lens arranged on the optical path by the revolver 112 guides the transmitted light that has passed through the sample to the eyepiece lens 101 .
  • a sample placed in a container is placed on the stage 111 .
  • the container is, for example, a petri dish, and the sample contains reproductive cells such as sperm and ovum.
  • the stage 111 moves in the optical axis direction of the objective lens 102 arranged on the optical path and in the direction orthogonal to the optical axis of the objective lens 102 .
  • the stage 111 may be a manual stage or an electric stage.
  • the transmitted illumination system 120 illuminates the sample placed on the stage 111 from above the stage 111 .
  • Transillumination system 120 includes a light source 121 and a universal condenser 122, as shown in FIGS.
  • the light source 121 may be, for example, an LED (Light Emitting Diode) light source or a lamp light source such as a halogen lamp light source.
  • the universal condenser 122 includes a polarizer 123 (first polarizing plate), a plurality of optical elements housed in a turret 124, and a condenser lens 128, as shown in FIG.
  • the polarizer 123 is used for MC observation, PO observation and DIC observation.
  • the turret 124 accommodates a plurality of optical elements that are switched for use according to the microscope method.
  • a DIC prism 125 is used for DIC observation.
  • Aperture plate 126 is used for BF observation and PO observation.
  • the optical element 127 is a combination of a slit plate 127a, which is a light shielding plate in which a slit is formed, and a polarizing plate 127b (second polarizing plate) arranged so as to partially cover the slit. used.
  • the eyepiece tube 170 includes the eyepiece lens 101 .
  • the imaging lens 103 is arranged between the eyepiece lens 101 and the objective lens 102 .
  • the imaging lens 103 forms an optical image of the sample on an image plane IP between the eyepiece lens 101 and the imaging lens 103 based on the transmitted light.
  • a target image which will be described later, is also formed on the image plane IP based on the light from the projection device 153 .
  • the optical image and the target image are displayed on the image plane IP.
  • a user of the microscope system 1 uses the eyepiece 101 to observe the optical image formed on the image plane IP and the virtual image of the target image.
  • the microscope body 110 includes a laser assisted hatching unit 130, an imaging unit 140, and a projection unit 150, as shown in FIGS.
  • the microscope body 110 also includes an intermediate magnification unit 160, as shown in FIG.
  • the microscope main body 110 includes a DIC prism 105 and an analyzer 106 that can be inserted into and removed from the optical path.
  • the laser assisted hatching unit 130 is a laser unit arranged between the objective lens 102 and the imaging lens 103, as shown in FIG.
  • the laser assisted hatching unit 130 irradiates the sample with laser light by introducing the laser light from between the objective lens 102 and the imaging lens 103 . More specifically, the laser-assisted hatching unit 130 irradiates, for example, a laser beam onto the zona pellucida surrounding an embryo grown from a fertilized egg.
  • Laser assisted hatching unit 130 includes splitter 131 , scanner 133 , lens 134 and laser 135 .
  • Splitter 131 is, for example, a dichroic mirror.
  • the scanner 133 is, for example, a galvanometer scanner, and adjusts the irradiation position of the laser light in a direction perpendicular to the optical axis of the objective lens 102 .
  • a lens 134 converts the laser beam into a parallel beam. Thereby, the laser light is focused on the sample by the objective lens 102 .
  • the imaging unit 140 includes a splitter 141 and an imaging device 143 that acquires a digital image of the sample based on transmitted light.
  • the imaging unit 140 is arranged between the imaging lens 103 and the eyepiece 101 .
  • Splitter 141 is, for example, a half mirror.
  • the imaging lens 103 forms an optical image of the sample on the light receiving surface of the imaging device included in the imaging device 143 .
  • the imaging device 143 is, for example, a digital camera that acquires a digital image, and the imaging device included in the imaging device 143 is, for example, a CCD (Charge Coupled Device) image sensor, a CMOS (Complementary Metal-Oxide-Semiconductor) image sensor, or the like. is.
  • the imaging device detects light from a sample and converts the detected light into an electrical signal by photoelectric conversion.
  • the imaging unit 140 outputs digital images acquired by the imaging device 143 to the processing device 200 .
  • the projection unit 150 is arranged between the imaging lens 103 and the eyepiece lens 101 .
  • the projection unit 150 includes a splitter 151, a lens 152, and a projection device 153, as shown in FIG.
  • Splitter 151 is, for example, a half mirror.
  • the projection device 153 projects the target image generated by the processing device 200 . More specifically, the lens 152 converges the light from the projection device 153 onto the image plane IP of the imaging lens 103, that is, the image plane IP where an optical image is formed, so that the projection device 153 is projected onto the image plane IP. Project the target image.
  • the intermediate variable power unit 160 is arranged between the objective lens 102 and the imaging lens 103 .
  • the intermediate magnification unit 160 includes a plurality of lenses (lens 161, lens 162, and lens 163), and by switching the lenses arranged on the optical path among these, an image is formed on the image plane. Change the magnification of the optical image displayed. By using the intermediate magnification unit 160, the magnification of the optical image can be changed without switching the objective lens 102 located near the sample.
  • the DIC prism 105 and the analyzer 106 are arranged between the objective lens 102 and the imaging lens 103.
  • a DIC prism 105 is used for DIC observation.
  • Analyzer 106 is used for PO viewing and DIC viewing.
  • a polarizer 123 and an optical element 127 are arranged on the illumination light path as modulation elements (hereinafter referred to as first modulation elements) for modulating the illumination light irradiated to the sample.
  • a modulator 104 is arranged on the observation optical path as a modulating element (hereinafter referred to as a second modulating element) that modulates the transmitted light.
  • the polarizer 123 is arranged on the illumination optical path as a first modulation element
  • the analyzer 106 is arranged on the observation optical path as a second modulation element.
  • the polarizer 123 and the DIC prism 125 are arranged on the illumination optical path as the first modulation elements, and the analyzer 106 and the DIC prism 105 are arranged on the observation optical path as the second modulation elements. . Thereby, it is possible to visualize an unstained sample and, for example, to sort sperm.
  • the microscope controller 10 is a device that controls the microscope 100.
  • the microscope controller 10 is connected to the processing device 200 , the input device 50 and the microscope 100 and controls the microscope 100 according to commands from the processing device 200 or the input device 50 .
  • the display device 30 is, for example, a liquid crystal display, a plasma display, an organic EL display, a CRT display, an LED matrix panel, or the like.
  • the input device 40 includes a handle 41 and a handle 42. By operating the handle 41 and the handle 42, the operation of a micromanipulator (not shown) that moves the pipettes 43 and 44 is controlled. Pipettes 43 and 44 are used to manipulate samples in microinsemination procedures, including sperm sorting. Pipette 43 is, for example, a holding pipette, and pipette 44 is, for example, an injection pipette.
  • the input device 50 is a hand switch device for changing settings related to the microscopy method and observation magnification of the microscope 100 . As shown in FIG. 3, the input device 50 has, for example, six buttons (buttons 51 to 56), and the user can quickly switch the settings of the microscope 100 simply by pressing these buttons. can be done.
  • the setting of the microscope 100 is switched to BF observation with an observation magnification of 4x (hereinafter referred to as BF4x observation).
  • the setting of the microscope 100 is switched to the setting of MC observation with an observation magnification of 10 times (hereinafter referred to as MC10x observation).
  • the setting of the microscope 100 is switched to MC observation with an observation magnification of 20 times (hereinafter referred to as MC20x observation).
  • the setting of the microscope 100 is switched to MC observation with an observation magnification of 40 times (hereinafter referred to as MC40x observation).
  • the setting of the microscope 100 is switched to PO observation with an observation magnification of 20 times (hereinafter referred to as PO 20 ⁇ observation).
  • PO 20 ⁇ observation an observation magnification of 20 times
  • DIC60x observation an observation magnification of 60 times
  • the input device 60 is a keyboard.
  • Input device 70 is a mouse.
  • the input device 60 and the input device 70 are each connected to the processing device 200 .
  • the microscope system 1 may include other input devices (not shown) such as a touch panel, a voice input device, and a foot pedal.
  • the identification device 80 is a device that acquires identification information attached to the sample. Attached to the sample includes, for example, the case where the identification information is attached to a container containing the sample.
  • the identification information is information that identifies the sample, and more specifically, for example, information that identifies the patient who provided the sample.
  • the identification device 80 may be, for example, a barcode reader, an RFID (registered trademark) reader, a QR code (registered trademark) reader, or the like.
  • the processing device 200 generates a target image based on object detection on the digital image acquired by the imaging device 143 .
  • the generated target image is output to the projection device 153 of the microscope 100 directly or via the microscope controller 10 .
  • the processing device 200 is connected to the microscope 100, the microscope controller 10, the display device 30, the input device 60, the input device 70, and the identification device 80, as shown in FIG.
  • the processing device 200 is also connected to the database server 20 .
  • the processing device 200 includes an image analysis unit 210, an image generation unit 220, and a storage unit 230 as functional components related to target image generation.
  • the image analysis unit 210 detects an object on the digital image, and determines sperm to be selected (hereinafter simply referred to as a selection target) from the sperm detected by the object detection (hereinafter referred to as selection candidates). perform image analysis, including target determination;
  • the image analysis performed by the image analysis unit 210 may include candidate evaluation for evaluating selection candidates detected by object detection, in addition to object detection and target determination, and may include tracking processing for tracking selection candidates.
  • the selection candidate is a candidate to be selected, and the selection target is determined from among the selection candidates.
  • the method of object detection is not particularly limited.
  • the image analysis unit 210 may, for example, perform object detection using a learned model stored in the storage unit 230, and detect objects classified as sperm as sorting candidates.
  • Algorithms of the trained model are not particularly limited, but deep learning models such as SSD, YOLO, and FasterR-CNN may be used, for example.
  • the method of target determination is to evaluate the morphology of candidates for selection detected by object detection and determine the target to be selected.
  • the image analysis unit 210 recognizes the morphology of the candidate for selection based on the digital image, and determines whether the candidate for selection is classified into a normal morphology, an abnormal morphology, or an indistinguishable morphology based on the recognized morphology. Selection targets are determined by calculating the probability.
  • "indistinguishable" means that the sperm is out of focus or faces to the side and the morphology cannot be determined accurately.
  • the image analysis unit 210 may detect surplus cytoplasm and other abnormal sites included in the selection candidates based on the digital image, and may count them. Based on the digital image, the image analysis unit 210 may calculate parameters related to the shape and size of the candidates for selection, such as the circularity of the sperm head, the thickness of the neck, and the asymmetry of the neck position. .
  • the image generation unit 220 generates a target image, which is an image to be sorted determined by the image analysis unit 210, based on the digital image. That is, the image generator 220 generates a target image to be sorted based on sperm detection and sperm morphology evaluation for the digital image.
  • the image generation unit 220 displays the target image projected onto the image plane in a size larger than the selection target in the optical image similarly projected onto the image plane.
  • the size of the target image to be generated may be adjusted by enlarging or reducing the image clipped from the digital image by digital zooming.
  • the area to be sorted that is cut out from the digital image is, for example, an area that contains the entire sperm detected by object detection, but it is not necessary to cut out the entire sperm.
  • a setting of the microscope system 1 may be able to change which range of the sorting target is to be cut out. Therefore, the image generation unit 220 may cut out the entire sperm region (from the head to the tail) or cut out the region from the head to the neck of the sperm according to the settings of the microscope system 1. Alternatively, only the head region may be cut out, only the neck region may be cut out, only the tail region may be cut out, or a specified region of the sperm may be cut out.
  • the settings of the microscope system 1 may be changed according to, for example, which part of the object to be sorted is focused by the user for quality judgment.
  • the target image generated by the image generation unit 220 is output to the projection device 153.
  • the projection device 153 projects the target image onto the image plane, and the target image is projected onto the image plane in a size larger than that of the selection target in the optical image.
  • the target image is preferably displayed on the image plane at a higher overall magnification than the optical image.
  • the storage unit 230 stores learned models used in image analysis performed by the image analysis unit 210 . Specifically, the storage unit 230 stores a trained model for object detection performed to detect sperm that are candidates for selection and a trained model for candidate evaluation that evaluates sperm that are candidates for selection. there is The image analysis unit 210 performs object detection (sperm detection) and candidate evaluation using the learned model stored in the storage unit 230 .
  • the processing device 200 may be a general-purpose computer or a dedicated computer.
  • the processing device 200 is not particularly limited to this configuration, but may have, for example, a physical configuration as shown in FIG.
  • the processing device 200 may include a processor 201, a storage device 202, an input interface (I/F) 203, an output interface (I/F) 204, and a communication device 205. They may be connected to each other by bus 206 .
  • the processor 201 may include hardware, and the hardware may include, for example, at least one of circuitry for processing digital signals and circuitry for processing analog signals.
  • Processor 201 may include, for example, one or more circuit devices (eg, ICs) or one or more circuit elements (eg, resistors, capacitors) on a circuit board.
  • the processor 201 may be a CPU (central processing unit). Also, the processor 201 may use various types of processors including GPUs (Graphics Processing Units) and DSPs (Digital Signal Processors).
  • the processor 201 may be a hardware circuit having an ASIC (Application Specific Integrated Circuit) or an FPGA (Field-Programmable Gate Array).
  • Processor 201 may include amplifier circuits, filter circuits, etc. for processing analog signals.
  • the processor 201 functions as the image analysis unit 210 and the image generation unit 220 described above by executing programs stored in the storage device 202 .
  • the storage device 202 may include memory and/or other storage devices.
  • the memory may be, for example, random access memory (RAM).
  • the memory may be a semiconductor memory such as SRAM (Static Random Access Memory) or DRAM (Dynamic Random Access Memory).
  • Storage device 202 may be, for example, a register, a magnetic storage device such as a hard disk drive, an optical storage device such as an optical disk drive, an internal or external hard disk drive, a solid state storage device, a CD-ROM, a DVD, or other optical or magnetic storage device. It may be a disk storage device or other storage device.
  • the storage device 202 stores programs executed by the processor 201, learned models, and other data, and functions as the storage unit 230 described above. Note that the storage device 202 is an example of a non-temporary computer-readable storage medium.
  • the input I/F 203 is connected to an input device operated by a user of the microscope system 1 (for example, an embryologist), receives an operation signal according to the operation of the input device, and outputs it to the processor 201 .
  • a user of the microscope system 1 for example, an embryologist
  • the output I/F 204 is connected to the display device 30.
  • the output I/F 204 may be further connected to an audio output device such as a speaker that outputs audio, a light emitting device such as a lamp that outputs light, and a vibration device such as a vibrator that outputs vibration, which are not shown.
  • the communication device 205 is a device that exchanges data with the microscope 100 and other devices.
  • the communication device 205 may be a communication device that exchanges data by wire, or may be a communication device that exchanges data wirelessly.
  • the programs and learned models stored in the storage device 202 may be obtained by the communication device 205 from another device via the Internet.
  • FIG. 5 is a flow chart showing an example of the ICSI procedure by an embryologist.
  • FIG. 6 is a diagram illustrating the configuration of a drop formed as the sample 300 in the petri dish 310.
  • FIG. 7 is a flow chart showing an example of a sperm sorting procedure by an embryologist.
  • FIG. 8 is a flowchart showing an example of sorting support processing.
  • FIG. 9 is a flowchart illustrating an example of target image generation processing.
  • FIG. 10 is a flowchart illustrating an example of image display processing.
  • FIG. 11 is a diagram showing an example of an optical image generated by the microscope 100.
  • FIG. 12 is a diagram showing an example of a digital image acquired by the imaging device 143. As shown in FIG. FIG. FIG.
  • FIG. 13 is a diagram showing an example of object detection results for a digital image.
  • FIG. 14 is a diagram for explaining an example of a method of generating a target image.
  • FIG. 15 is a diagram showing an example of an image seen through the eyepiece lens 101. As shown in FIG. Specific utilization of the sperm sorting support method performed by the microscope system 1 in ICSI will be described below with reference to FIGS. 5 to 15 .
  • the user prepares a sample (step S1).
  • the user prepares a sample 300 containing a plurality of drops in a petri dish 310 and places it on the stage 111, as shown in FIG. 6, for example.
  • a drop 301 is a drop for cleaning and is used for cleaning the pipette.
  • the drop 302 is a sperm suspension drop, for example, a drop of a sperm suspension in a PVP solution.
  • a drop 303 is an oocyte manipulation drop, and is, for example, an oocyte in an m-HTF solution.
  • the m-HTF solution is a Hepps-containing HTF solution supplemented with 10% serum.
  • step S2 the user sets up the microscope system 1 (step S2).
  • the user presses the button 51 of the input device 50 to switch the setting of the microscope system 1 to BF4 ⁇ observation.
  • the positions of the pipettes 43 and 44 are adjusted by operating the input device 40 and the pipettes 43 and 44 are brought into focus.
  • the stage 111 is moved to wash the pipettes 43 and 44 with the drop 301 (washing drop).
  • the user confirms the state of the egg (egg cell) in the drop 303 (egg manipulation drop) (step S3).
  • the user presses the button 53 of the input device 50 to switch the setting of the microscope system 1 to MC20x observation.
  • the morphology of the ovum is observed by MC20x observation, and the ovum is selected.
  • the button 55 of the input device 50 may be pressed to switch the setting of the microscope system 1 to PO20x observation.
  • the degree of maturity of the ovum may be determined, and the ovum may be further selected.
  • step S4 the user sorts the sperm according to the procedure shown in FIG. 7 (step S4).
  • the stage 111 is moved to move the observation position to the drop 302 (sperm floating drop), and the sperm is focused by MC20 ⁇ observation (step S11).
  • step S12 the user selects sperm suitable for fertilization by MC20x observation.
  • embryologists judged sperm quality based on sperm morphology and motility observed in optical images, and sorted sperm based on that judgment.
  • MC20x a sufficient field of view is secured for the size of the sperm, which has the advantage of making it easy to understand the motility of the sperm. Too much. For this reason, it is necessary to observe the spermatozoa selected in step S12 at a higher magnification, which causes the problem that the sorting operation takes time and requires reworking.
  • step S12 the microscope system 1 classifies the sperm morphology into good, poor, and indistinguishable on the image plane, and the sperm determined to be good is larger than the target sperm in the optical image. Display by size.
  • the image By projecting the image in a size larger than the sorting object in the optical image, it is possible to assist the user in determining the morphology of the sperm, which has been difficult in this step in the past.
  • it is possible to suppress rework due to different judgments in the post-process and for example, it is possible to omit switching to MC40x observation in step S14 and shorten the time required for sperm sorting.
  • the optical image and the target image onto the same image plane, it is possible to accurately identify the morphology of the sperm of interest (sperm to be sorted) using the target image, while mainly confirming the motility of the sperm using the optical image. can be grasped. Therefore, since sperm can be sorted by confirming both motility and morphology, it is possible to suppress rework due to different determinations in the subsequent steps.
  • step S12 the microscope system 1 performs the selection support process shown in FIG. 8, so that the target image is projected onto the image plane together with the optical image.
  • the microscope system 1 projects an optical image of the sample onto the image plane (step S21).
  • the microscope 100 forms, for example, an optical image O1 shown in FIG. 11 on the image plane.
  • a region 143R shown in FIG. 11 indicates a region imaged by the imaging device 143 in step S22.
  • the microscope system 1 acquires a digital image at the same time as step S21 (step S22).
  • the imaging device 143 acquires, for example, a digital image D1 of the sample shown in FIG. 12 based on the light from the sample, and outputs the acquired digital image D1 to the processing device 200 .
  • the microscope system 1 After that, the microscope system 1 generates a target image based on the digital image (step S23).
  • the processing device 200 performs the target image generation processing shown in FIG.
  • the processing device 200 first performs object detection on the digital image D1 (step S31).
  • the image analysis unit 210 performs object detection by inputting the digital image D1 as an input image into the trained model, and detects spermatozoa as sorting candidates as shown in FIG.
  • FIG. 13 shows a box B attached to the position of an object (selection candidate) classified by the object detection.
  • the processing device 200 evaluates the selection candidate (step S32).
  • the image analysis unit 210 evaluates each of the selection candidates. Specifically, the image analysis unit 210 evaluates the forms of selection candidates.
  • the processing device 200 determines sorting targets based on the evaluation performed in step S32 (step S33).
  • the image analysis unit 210 determines the selection candidate with the highest evaluation among the selection candidates as the selection target. Specifically, for example, as shown in FIG. 13, the central sperm with the highest probability of determining good sperm is determined as the selection target.
  • the processing device 200 cuts out the selection target area from the digital image (step S34).
  • the image generation unit 220 cuts out a selection target area from the digital image D1 to generate the target image T1.
  • the size of the target image T1 may be adjusted in step S34 so that it is displayed larger than the selection target in the optical image when projected onto the image plane.
  • the microscope system 1 displays the target image on the image plane in a size larger than the selection target in the optical image (step S24).
  • the processing device 200 performs the image display processing shown in FIG. In the image display process, the processing device 200 first determines the overall magnification of the target image T1 displayed on the image plane (step S41), and further determines the size of the target image T1 (step S42).
  • step S41 when the total magnification of the optical image formed on the image plane is, for example, 200 times, the image analysis unit 210 sets the total magnification of the target image T1 projected on the image plane to a magnification exceeding 200 times (for example, 1000 times). times).
  • step S42 when the selection target in the optical image formed on the image plane is projected onto a region of 1 mm ⁇ 1 mm, the image analysis unit 210 determines the size of the target image T1 to be 1 mm ⁇ 1 mm or more. do.
  • the processing device 200 determines the position of the target image T1 displayed on the image plane (step S43).
  • the processing device 200 determines the position of the target image while avoiding the region of the sperm to be sorted included in the optical image, for example, so that the region of the sperm to be sorted included in the optical image does not overlap the target image. do.
  • the position of the target image may be arranged at a previously specified position such as the upper side, the lower side, the right side, or the left side with respect to the center of the field of view.
  • the processing device 200 displays the target image T1 with the overall magnification determined in step S41 and the size determined in step S42 at the position determined in step S43 (step S44).
  • the processing device 200 assigns each pixel of the target image T1 to a pixel of the projection device 153 based on the overall magnification determined in step S41, the size determined in step S42, and the position determined in step S43.
  • the projection device 153 projects the target image T1 in a size larger than the selection target in the optical image at a position that does not overlap the selection target in the optical image on the image plane. This allows the user to simultaneously confirm the optical image O1 and the target image T1 displayed on the image plane, as shown in FIG. 15, for example.
  • step S12 the sorting support process shown in FIG. 8 is repeatedly performed, so that the sorting target spermatozoa moving within the field of view can be tracked, so that the sorting target spermatozoa can be carefully observed in the target image. can be done.
  • step S12 the user immobilizes the sperm by scratching the tail of the sperm by RC20x observation (step S13).
  • the user immobilizes the sperm by rubbing the tail of the sperm against the bottom surface of the petri dish 310 with a pipette.
  • the user may observe the morphology of the immobilized sperm in more detail and further sort the sperm (step S14).
  • the user presses the button 54 of the input device 50 to switch the setting of the microscope system 1 to MC40 ⁇ observation.
  • the user may then further sort the sperm with MC40x viewing.
  • the microscope system 1 performs the sorting support process shown in FIG. 8 in the same manner as in step S12, and projects the target image onto the image plane in a size larger than the sorting target in the optical image. May assist in sperm sorting operations.
  • the user then takes the selected sperm into the pipette 44, which is an injection pipette, and moves the observation position to the drop 303 (egg manipulation drop) (step S15). Complete the sperm sorting sequence shown in .
  • the user confirms the position of the spindle in preparation for sperm injection (step S5).
  • the user observes the egg selected in step S3 in the drop 303 and confirms the position of the mitotic spindle of the egg.
  • the user presses the button 55 of the input device 50 to switch the setting of the microscope system 1 to PO20 ⁇ observation.
  • the user changes the orientation of the spindle by operating the pipette 43, which is a holding pipette, so that the spindle of the egg visualized by PO20x observation is positioned in the direction of 12 o'clock or 6 o'clock. This is to prevent the spindle from being damaged by the pipette thrust into the ovum from the 3 o'clock or 9 o'clock direction in step S6, which will be described later.
  • the user injects the sperm into the egg (step S6) and ends the ICSI.
  • the user presses the button 53 of the input device 50 to switch the setting of the microscope system 1 to MC20x observation.
  • the user fixes the ovum whose orientation has been adjusted in step S5 with a holding pipette 43 and pierces it with an injection pipette 44 .
  • good sperm is injected into the egg from the pipette 44 .
  • the user After completing the series of ICSI procedures shown in Figure 5, the user returns the sperm-injected egg to the incubator and cultures it. Also, the user may operate the processing device 200 using the input device 60 and the input device 70 to store the information obtained by ICSI in the database server 20 .
  • the processing device 200 may operate the processing device 200 using the input device 60 and the input device 70 to store the information obtained by ICSI in the database server 20 .
  • sperm and egg patient information may be associated with each other and stored in the database server 20 .
  • the target image which is the image of the sperm to be sorted, is projected onto the image plane in a size larger than that of the sorting target in the optical image.
  • the sperm size is about 60 ⁇ m, and an objective lens of at least 20 ⁇ is used to distinguish good sperm. Since the field number of an inverted microscope is generally about 22, the actual field of view is about ⁇ 1 mm. It is very difficult to select free-moving spermatozoa with a size of about 60 ⁇ m within the real field of view ⁇ 1 mm. In general, sperm that are presumed to be good sperm have high motility, and the ICSI work needs to be done in a short time. A good/bad judgment must be made.
  • the microscope system 1 can determine good sperm candidates from a morphological point of view while mainly confirming the motility of sperm in optical images. Then, it is possible to confirm the morphology of the sperm at the same time by projecting it onto the image plane at a higher total magnification than the optical image. As a result, good sperm can be selected appropriately and in a short period of time based on both motility and morphology of the sperm, so that the fertilization success rate can be improved. Therefore, according to the microscope system 1, it is possible to effectively assist the sorting operation of the spermatozoa in the sample.
  • FIG. 16 is a diagram for explaining another example of the target image generation method.
  • FIG. 17 is a diagram showing another example of an image seen through the eyepiece 101.
  • FIG. This embodiment will be described below with reference to FIGS. 16 and 17.
  • FIG. Note that the configuration of the microscope system according to the present embodiment (hereinafter also simply referred to as the microscope system) is the same as that of the microscope system 1 .
  • This embodiment differs from the first embodiment in that a plurality of target images are displayed on the image plane. Other points are the same as in the first embodiment.
  • the processing device 200 determines a plurality of selection targets based on the evaluation performed in step S32.
  • the number of sorting targets may be predetermined, such as two. Further, the number of selection targets may be determined based on the evaluation in step S32, and the processing device 200 may, for example, determine all selection candidates evaluated to exceed a certain criterion as selection targets. good.
  • step S34 for example, as shown in FIG. 16, the processing device 200 cuts out a plurality of selection target regions from the digital image to generate a plurality of target images (target image T1, target image T2). .
  • good sperm are projected onto the image plane in a size larger than that of the sorting object in the optical image, so that it is possible to assist the user in determining the morphology of the sperm. Since both the motility and morphology of the sperm can be simultaneously confirmed from the target image, good sperm can be selected appropriately and in a short period of time based on both the motility and morphology of the sperm. This is the same as the microscope system 1 according to the embodiment of . Further, in the microscope system according to the present embodiment, as shown in FIG.
  • a plurality of spermatozoa included in the optical image O1 is determined as a sorting target, and a plurality of target images (target image T1, target image T2) are optically selected. displayed with the image. Therefore, since the possibility of early discovery of good sperm that exceeds the user's criteria for judging quality increases, sperm can be sorted more efficiently than the microscope system 1 .
  • FIG. 18 is a flow chart showing another example of the sorting support process.
  • FIG. 19 is a flowchart showing another example of image display processing.
  • FIG. 20 is a diagram for explaining an example of a method of generating an auxiliary image.
  • FIG. 21 is a diagram showing still another example of an image seen through the eyepiece 101.
  • FIG. Note that the configuration of the microscope system according to the present embodiment (hereinafter also simply referred to as the microscope system) is the same as that of the microscope system 1 .
  • This embodiment differs from the first embodiment in that the sorting support process shown in FIG. 18 is performed instead of the sorting support process shown in FIG. Other points are the same as in the first embodiment.
  • the microscope system projects an optical image of the sample onto the image plane (step S51), acquires a digital image (step S52), and generates a target image (step S53).
  • the processing from step S51 to step S53 is the same as the processing from step S21 to step S23 in FIG.
  • the microscope system After that, the microscope system generates an auxiliary image for the target image (step S54).
  • the processing device 200 generates the auxiliary image.
  • the auxiliary image is an image that provides the user with information indicating whether the morphology of the sperm to be sorted is close to good, poor, or indistinguishable, and information on the size of the sperm head to be sorted.
  • step S54 for example, as shown in FIG. 20, the processing device 200 first generates an evaluation result ER by evaluating the sorting target based on the target image T1, and then generates an auxiliary image ER based on the evaluation result ER.
  • A1 may be generated.
  • the auxiliary image A1 includes evaluation information E1 regarding the morphology of the object to be sorted, and a marker M1 indicating the size of the head of the object to be sorted.
  • the marker M1 is also an example of a marker indicating a target position or area.
  • the auxiliary image A1 may include a marker indicating the position or region of excess cytoplasm in the sperm instead of or in addition to the marker M1 indicating the head size in the sperm. That is, the auxiliary image A1 may include a marker indicating the presence or absence of surplus cytoplasm.
  • the auxiliary image A1 may also include markers indicating the degree of circularity of the head, the thickness of the neck, and the asymmetry between the positions of the head and neck. In other words, it may include a marker indicating the target position or area to be sorted.
  • the evaluation information E1 preferably includes numerical information indicating the size of the head.
  • the auxiliary image A1 may include a marker indicating the position or region of the space or other defective part of the sperm.
  • FIG. 20 shows an example in which the auxiliary image A1 is generated based on the target image T1, but the auxiliary image A1 is information obtained in the process of generating the target image T1 in step S53 (for example, candidate evaluation information). result).
  • the microscope system displays the target image and the auxiliary image on the image plane (step S55). 19, the target image T1 and the auxiliary image A1 are displayed on the image plane together with the optical image O1, as shown in FIG.
  • the processing device 200 first determines the overall magnification of the target image T1 arranged on the image plane (step S61), then determines the size of the target image T1 (step S62), and further The position of the target image T1 displayed on the image plane is determined (step S63).
  • the processing from step S61 to step S63 is the same as the processing from step S41 to step S43 in FIG.
  • the processing device 200 determines the position of the auxiliary image A1 arranged on the image plane (step S64).
  • the processing device 200 may determine the position of the auxiliary image A1 in relation to the target image T1.
  • the processing device 200 may determine the positional relationship between the auxiliary image A1 and the target image T1, for example, such that the marker M1 in the auxiliary image A1 overlaps the region of interest in the target image T1. That is, the processing device 200 generates a projection image including the auxiliary image A1 and the target image T1 in the determined positional relationship.
  • the processing device 200 places the target image T1 having the overall magnification determined in step S61 and the size determined in step S62 at the position determined in step S63, and the auxiliary image A1 at the position determined in step S64. display (step S65). That is, the processing device 200 projects the projection image generated in step S64 onto the image plane.
  • the processing device 200 assigns each pixel of the projection image to a pixel of the projection device 153 . That is, each pixel of the target image T1 is assigned to a pixel of the projection device 153 based on the overall magnification determined in step S61, the size determined in step S62, and the position determined in step S63. Pixels are assigned to pixels of projection device 153 based on the positions determined in step S64.
  • the projection device 153 projects the target image T1 at a position that does not overlap the selection target in the optical image O1 on the image plane in a size larger than the selection target in the optical image, and also projects the auxiliary image A1 on the image plane. Project to the appropriate position of Thereby, the user can confirm the optical image O1, the target image T1, and the auxiliary image A1 at the same time, as shown in FIG.
  • the target image is projected onto the image plane in a size larger than that of the sorting target in the optical image. Since both the motility and morphology of the sperm can be simultaneously confirmed from the target image, good sperm can be selected appropriately and in a short period of time based on both the motility and morphology of the sperm.
  • the microscope system according to the present embodiment projects an auxiliary image that provides information related to the target image onto the image plane, thereby further assisting the user in determining the quality of the sperm. be able to.
  • the microscope system according to the present embodiment it is possible to select sperm suitable for fertilization with high accuracy, so that it is possible to suppress the difference in fertilization rate between embryologists.
  • the configuration of the microscope system is not limited to this example.
  • the microscope system 2 shown in FIG. 22 may be used.
  • the microscope system 2 differs from the microscope system 1 in that a microscope 400 is provided instead of the microscope 100 .
  • a microscope 400 has a projection unit 500 between a microscope main body 410 and a lens barrel 420 .
  • Projection unit 500 is a projection unit for a microscope, and includes a projection section (splitter 151, lens 152, and projection device 153) corresponding to projection unit 150 shown in FIG. 1, and an imaging section corresponding to imaging unit 140 shown in FIG. (splitter 141 and imaging device 143 ) and an image processor 510 .
  • the image processing unit 510 functions as the image analysis unit 210, the image generation unit 220, and the storage unit 230 shown in FIG.
  • the projection unit 500 and the microscope system 2 With the projection unit 500 and the microscope system 2, the same effects as those of the microscope system 1 can be obtained.
  • an existing microscope system can be expanded to obtain the above effects, so the existing microscope system can be effectively utilized.
  • sorting target is not limited to sperm.
  • the sorting target be selected based on both motility and morphology.
  • the target image is projected onto the image plane by the projection device 153 .
  • a device may be used.
  • the target image is displayed on the image plane in a size larger than the selection target in the optical image. It may be displayed in a size equal to or larger than that of the sorting object inside.
  • a target image obtained by cropping the entire sperm area and a target image obtained by cropping only the sperm head area may be generated and arranged on the image plane at different overall magnifications. As a result, it is possible to observe the entire sperm at an appropriate magnification while observing a specific portion of the sperm at a higher magnification.
  • the target image may be updated periodically based on, for example, the frame rate of the moving image captured by the imaging device 143, and the update frequency may be changeable according to settings. That is, the target image may be projected onto the image plane as a moving image, or may be projected as a still image. By projecting the target image as a still image, the user can carefully observe the morphology of the sperm. Further, by projecting the target image as the sperm image, it is possible to avoid a situation in which the auxiliary image is projected at a position shifted from the predetermined position with respect to the target image due to delay in creation of the auxiliary image.
  • the processing device tracks the sorting object. Further, even when projecting as a moving image, by adjusting the updating frequency, it is possible to avoid the inconvenience caused by the delay in creating the auxiliary image.
  • the phrase "based on A” does not mean “based only on A”, but means “based at least on A”, and furthermore, “based at least in part on A”. It also means “te”. That is, “based on A” may be based on B in addition to A, or may be based on a portion of A.

Landscapes

  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Food Science & Technology (AREA)
  • Analytical Chemistry (AREA)
  • Urology & Nephrology (AREA)
  • Hematology (AREA)
  • Biomedical Technology (AREA)
  • Medicinal Chemistry (AREA)
  • Physics & Mathematics (AREA)
  • Molecular Biology (AREA)
  • Biochemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Microscoopes, Condenser (AREA)

Abstract

顕微鏡システム１は、選別対象を含む***試料の光学像を形成する顕微鏡１００と、***試料のデジタル画像を取得するイメージング装置１４３と、デジタル画像に対する***検出と***形態の評価に基づいて選別対象の画像である対象画像を生成する処理装置２００と、対象画像を、光学像が形成される像面に、光学像中の選別対象よりも大きなサイズで表示する投影装置１５３と、を備える。

Description

顕微鏡システム、投影ユニット、及び、選別支援方法
　本明細書の開示は、顕微鏡システム、投影ユニット、及び、選別支援方法に関する。
　晩婚化・晩産化が進む現在、不妊治療を受ける患者の数は年々増加しており、生殖補助医療（ＡＲＴ：Ａｓｓｉｓｔｅｄ　Ｒｅｐｒｏｄｕｃｔｉｖｅ　Ｔｅｃｈｎｏｌｏｇｙ）の需要もますます高まっている。
　ＡＲＴは、体外受精（ＩＶＦ：Ｉｎ　ｖｉｔｒｏ　ｆｅｒｔｉｌｉｚａｔｉｏｎ）や顕微授精など、ヒトから取り出した卵子と***を体外で受精させる技術の総称であり、採取した***を子宮に注入し体内で卵子と受精させる一般的な人工授精とは区別される。
　ＡＲＴに関連する技術は、例えば、特許文献１に記載されている。特許文献１には、ＡＲＴの一種である顕微授精において用いられる卵細胞質内***注入法（ＩＣＳＩ：Ｉｎｔｒａｃｙｔｏｐｌａｓｍｉｃ　ｓｐｅｒｍ　ｉｎｊｅｃｔｉｏｎ）に好適な顕微鏡が記載されている。なお、ＩＣＳＩは、ホールディングピペットで固定した卵子に***が納められたインジェクションピペットを突き刺すことで卵子内に***を直接注入する方法である。
国際公開第２０１２／１５０６８９号
　ところで、ＩＣＳＩの成功率を高めるためには、***を選別して受精に適した***を卵子に注入することが重要である。しかしながら、選別作業により得られる***が良質か否かは、作業者である胚培養士の経験によるところが大きく、胚培養士間で受精率に格差が生じやすい。
　なお、以上では***の選別作業を例に説明したが、上記の課題は、***の選別作業に限らずに、任意の対象の選別作業において生じ得る。
　以上のような実情から、本発明の一側面に係る目的は、試料内の対象の選別作業を支援する技術を提供することである。
　本発明の一態様に係る顕微鏡システムは、選別対象を含む***試料の光学像を形成する顕微鏡と、前記***試料のデジタル画像を取得するイメージング装置と、前記デジタル画像中に対する***検出と***形態の評価に基づいて前記選別対象の画像である対象画像を生成する処理装置と、前記対象画像を、前記光学像が形成される像面に、前記光学像中の選別対象よりも大きなサイズで表示する光学装置と、を備える。
　本発明の一態様に係る投影ユニットは、顕微鏡に装着される投影ユニットであって、***試料のデジタル画像を取得するイメージング部と、前記デジタル画像に対する***検出と***形態の評価に基づいて前記***試料に含まれる選別対象の画像である対象画像を生成する処理部と、前記対象画像を、前記顕微鏡が形成する前記***試料の光学像が形成される像面に、前記光学像中の選別対象より大きなサイズで表示する投影部と、を備える。
　本発明の一態様に係る選別支援方法は、選別対象を含む***試料の光学像を形成し、前記***試料のデジタル画像を取得し、前記デジタル画像に対する***検出と***形態の評価に基づいて前記選別対象の画像である対象画像を生成し、前記対象画像を、前記光学像が形成される像面に、前記光学像中の選別対象よりも大きなサイズで表示する。
　上記の態様によれば、選別作業における試料の良否判断を支援することができる。
顕微鏡システム１の構成を例示した図である。 顕微鏡１００の構成を例示した図である。 入力装置５０の操作部の構成を例示した図である。 処理装置２００のハードウェア構成を例示した図である。 胚培養士によるＩＣＳＩの手順の一例を示すフローチャートである。 シャーレ３１０内に試料３００として形成されるドロップの構成を例示した図である。 胚培養士による***選別手順の一例を示すフローチャートである。 選別支援処理の一例を示すフローチャートである。 対象画像生成処理の一例を示すフローチャートである。 画像表示処理の一例を示すフローチャートである。 顕微鏡１００で生成される光学像の一例を示した図である。 イメージング装置１４３で取得されるデジタル画像の一例を示した図である。 デジタル画像に対する物体検出結果の一例を示した図である。 対象画像の生成方法の一例を説明するための図である。 接眼レンズ１０１から見える画像の一例を示した図である。 対象画像の生成方法の別の例を説明するための図である。 接眼レンズ１０１から見える画像の別の例を示した図である。 選別支援処理の別の例を示すフローチャートである。 画像表示処理の別の例を示すフローチャートである。 補助画像の生成方法の一例を説明するための図である。 接眼レンズ１０１から見える画像の更に別の例を示した図である。 顕微鏡システム２の構成を例示した図である。
［第１の実施形態］
　図１は、顕微鏡システム１の構成を例示した図である。図２は、顕微鏡１００の構成を例示した図である。図３は、入力装置５０の操作部の構成を例示した図である。図４は、処理装置２００の構成を例示した図である。
　顕微鏡システム１は、接眼レンズ１０１を覗いて試料を観察するためのシステムである。具体的には、顕微鏡システム１は、顕微授精、特に、***選別に用いられる、透過照明系１２０を備えた倒立型の顕微鏡システムである。顕微鏡システム１は、例えば、胚培養士によって利用される。観察対象である試料は、***選別作業時であれば、シャーレなどに収容された***を含む***懸濁液などである。
　顕微鏡システム１は、少なくとも、顕微鏡１００と、イメージング装置１４３と、投影装置１５３と、処理装置２００と、を備えている。顕微鏡１００は、選別対象である***を含む試料（つまり、***試料）の光学像を形成する。イメージング装置１４３は、試料のデジタル画像を取得する。処理装置２００は、デジタル画像に対する物体検出に基づいて選別対象の画像（以降、対象画像と記す。）を生成する。ここで、選別対象とは、利用者によって良否が判断される対象であり、良否判断の結果、選択又は非選択が決定される対象のことをいう。投影装置１５３は、対象画像を光学像が形成される像面に、光学像中の選別対象よりも大きなサイズで表示する光学装置の一例である。なお、本明細書において、“像（画像）を表示する”とは、像（画像）を視認可能に形成することをいい、別の言い方では、像（画像）を形成し視認可能な面（位置）に配置することをいう。
　顕微鏡システム１は、顕微鏡１００によって試料の光学像が形成されている像面に、投影装置１５３を用いて対象画像を光学像中の選別対象よりも大きなサイズで表示する。つまり、光学画像中の選別対象（***）が、例えば、像面において１ｍｍ×１ｍｍの領域内に表示されている場合に、対象画像を１ｍｍ×１ｍｍよりも大きなサイズで像面に表示する。これにより、接眼レンズ１０１を覗いて試料を観察している利用者は、光学像に含まれる選別対象の***を、接眼レンズ１０１から目を離すことなく、さらに大きなサイズの対象画像で詳細に観察することができる。このため、良好な***を短時間で精度よく特定して採取することが可能となる。従って、顕微鏡システム１によれば、胚培養士などの利用者の***選別作業を支援することができる。
　以下、図１から図４を参照しながら、顕微鏡システム１の構成の具体例について詳細に説明する。顕微鏡システム１は、図１に示すように、上述した、顕微鏡１００と、イメージング装置１４３と、投影装置１５３と、処理装置２００に加えて、顕微鏡コントローラ１０と、表示装置３０と、複数の入力装置（入力装置４０、入力装置５０、入力装置６０、入力装置７０）と、識別装置８０を備えている。また、顕微鏡システム１は、種々のデータが格納されているデータベースサーバ２０に接続されている。なお、この例では、イメージング装置１４３と投影装置１５３は、顕微鏡１００の顕微鏡本体１１０内に配置されている。
　顕微鏡１００は、接眼レンズ１０１を備えた倒立顕微鏡である。顕微鏡１００は、図１に示すように、顕微鏡本体１１０と、顕微鏡本体１１０に取り付けられた、複数の対物レンズ１０２、ステージ１１１、透過照明系１２０、及び接眼鏡筒１７０を備えている。また、顕微鏡１００は、後述するように、***や卵子などの無染色の試料を可視化するための変調素子を、照明光路と観察光路のそれぞれに備えている。胚培養士などの利用者は、顕微鏡１００を用いて、明視野（ＢＦ）観察、偏光（ＰＯ）観察、微分干渉（ＤＩＣ）観察、及び変調コントラスト（ＭＣ）観察の４つの顕微鏡法で、試料を観察することができる。なお、変調コントラスト観察は、レリーフコントラスト（ＲＣ）観察とも称される。
　複数の対物レンズ１０２は、レボルバ１１２に装着されている。複数の対物レンズ１０２には、図２に示すように、ＢＦ観察用の対物レンズ１０２ａ、ＰＯ観察及びＤＩＣ観察用の対物レンズ１０２ｂ、ＭＣ観察用の対物レンズ１０２ｃが含まれている。また、対物レンズ１０２ｃには、モジュレータ１０４が含まれている。モジュレータ１０４は、透過率の異なる３つ領域（例えば、透過率１００％程度の領域、５％程度の領域、０％程度の領域）を含んでいる。
　図２には、顕微鏡法に応じた３本の対物レンズが例示されているが、複数の対物レンズ１０２には、顕微鏡法毎に複数の倍率の異なる対物レンズが含まれてもよい。以降では、ＢＦ観察用の４倍対物レンズ、ＭＣ観察用の１０倍、２０倍、４０倍対物レンズ、ＰＯ観察用の２０倍対物レンズ、ＤＩＣ観察用の６０倍対物レンズが含まれている場合を例にして説明する。
　レボルバ１１２は、複数の対物レンズ１０２の間で光路上に配置する対物レンズを切り替える切替装置である。レボルバ１１２は、顕微鏡法及び観察倍率に応じて光路上に配置する対物レンズを切り替える。レボルバ１１２によって光路上に配置された対物レンズは、試料を透過した透過光を接眼レンズ１０１へ導く。
　ステージ１１１には、容器に入れられた試料が載置される。容器は、例えばシャーレであり、試料には、***や卵子などの生殖細胞が含まれている。ステージ１１１は、光路上に配置された対物レンズ１０２の光軸方向、及び、対物レンズ１０２の光軸と直交する方向に移動する。なお、ステージ１１１は、手動ステージであっても、電動ステージであってもよい。
　透過照明系１２０は、ステージ１１１に載置された試料を、ステージ１１１の上方から照明する。透過照明系１２０は、図１及び図２に示すように、光源１２１と、ユニバーサルコンデンサ１２２を含んでいる。光源１２１は、例えば、ＬＥＤ（Ｌｉｇｈｔ　Ｅｍｉｔｔｉｎｇ　Ｄｉｏｄｅ）光源であってもよく、ハロゲンランプ光源などのランプ光源であってもよい。
　ユニバーサルコンデンサ１２２には、図２に示すように、ポラライザ１２３（第１の偏光板）と、ターレット１２４に収容された複数の光学素子と、コンデンサレンズ１２８が含まれている。ポラライザ１２３は、ＭＣ観察、ＰＯ観察及びＤＩＣ観察で使用される。ターレット１２４には、顕微鏡法に応じて切り替えて使用される複数の光学素子が収容されている。ＤＩＣプリズム１２５は、ＤＩＣ観察で使用される。開口板１２６は、ＢＦ観察及びＰＯ観察で使用される。光学素子１２７は、スリットが形成された遮光板であるスリット板１２７ａと、スリットの一部を覆うように配置された偏光板１２７ｂ（第２の偏光板）と、の組み合わせであり、ＭＣ観察で使用される。
　接眼鏡筒１７０には、接眼レンズ１０１が含まれている。結像レンズ１０３は、接眼レンズ１０１と対物レンズ１０２の間に配置されている。結像レンズ１０３は、接眼レンズ１０１と結像レンズ１０３の間の像面ＩＰに、透過光に基づいて試料の光学像を形成する。また、像面ＩＰには、投影装置１５３からの光に基づいて後述する対象画像も形成される。これにより、像面ＩＰに光学像と対象画像が表示される。顕微鏡システム１の利用者は、像面ＩＰに形成されている光学像及び対象画像の虚像を、接眼レンズ１０１を用いて観察する。
　顕微鏡本体１１０は、図１及び図２に示すように、レーザアシステッドハッチングユニット１３０と、イメージングユニット１４０と、投影ユニット１５０を含んでいる。また、顕微鏡本体１１０は、図２に示すように、中間変倍ユニット１６０を含んでいる。さらに、顕微鏡本体１１０は、ＤＩＣプリズム１０５と、アナライザ１０６を、光路に対して挿脱可能に含んでいる。
　レーザアシステッドハッチングユニット１３０は、図２に示すように、対物レンズ１０２と結像レンズ１０３の間に配置されたレーザユニットである。レーザアシステッドハッチングユニット１３０は、対物レンズ１０２と結像レンズ１０３の間からレーザ光を導入することによって、試料にレーザ光を照射する。より具体的には、レーザアシステッドハッチングユニット１３０は、例えば、受精卵から成長した胚を取り囲む透明帯に、レーザ光を照射する。レーザアシステッドハッチングユニット１３０は、スプリッタ１３１と、スキャナ１３３と、レンズ１３４と、レーザ１３５を含んでいる。スプリッタ１３１は、例えば、ダイクロイックミラーである。スキャナ１３３は、例えば、ガルバノスキャナであり、レーザ光の照射位置を対物レンズ１０２の光軸と直交する方向に調整する。レンズ１３４は、レーザ光を平行光束に変換する。これにより、レーザ光は、対物レンズ１０２によって試料上に集光する。
　イメージングユニット１４０は、図２に示すように、スプリッタ１４１と、透過光に基づいて試料のデジタル画像を取得するイメージング装置１４３と、を含んでいる。イメージングユニット１４０は、結像レンズ１０３と接眼レンズ１０１の間に配置されている。スプリッタ１４１は、例えば、ハーフミラーである。結像レンズ１０３は、試料の光学像をイメージング装置１４３に含まれる撮像素子の受光面に形成する。イメージング装置１４３は、例えば、デジタル画像を取得するデジタルカメラであり、イメージング装置１４３に含まれる撮像素子は、例えば、ＣＣＤ（Ｃｈａｒｇｅ　Ｃｏｕｐｌｅｄ　Ｄｅｖｉｃｅ）イメージセンサ、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ　Ｍｅｔａｌ－Ｏｘｉｄｅ－Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）イメージセンサなどである。撮像素子は、試料からの光を検出し、検出した光を光電変換によって電気信号へ変換する。イメージングユニット１４０は、イメージング装置１４３で取得したデジタル画像を処理装置２００へ出力する。
　投影ユニット１５０は、結像レンズ１０３と接眼レンズ１０１の間に配置されている。投影ユニット１５０は、図２に示すように、スプリッタ１５１と、レンズ１５２と、投影装置１５３を含んでいる。スプリッタ１５１は、例えば、ハーフミラーである。投影装置１５３は、処理装置２００が生成した対象画像を投影する。より詳細には、レンズ１５２が結像レンズ１０３の像面、即ち、光学像が形成される像面ＩＰに、投影装置１５３からの光を集光することによって、投影装置１５３が像面ＩＰに対象画像を投影する。
　中間変倍ユニット１６０は、対物レンズ１０２と結像レンズ１０３の間に配置されている。中間変倍ユニット１６０は、図２に示すように、複数のレンズ（レンズ１６１、レンズ１６２、レンズ１６３）を含み、これらの間で光路上に配置されるレンズを切り替えることで、像面に形成される光学像の倍率を変更する。中間変倍ユニット１６０を用いることで、試料の近くに位置する対物レンズ１０２を切り替えることなく光学像の倍率を変更することができる。
　ＤＩＣプリズム１０５とアナライザ１０６は、対物レンズ１０２と結像レンズ１０３の間に配置されている。ＤＩＣプリズム１０５は、ＤＩＣ観察で使用される。アナライザ１０６は、ＰＯ観察及びＤＩＣ観察で使用される。
　顕微鏡１００では、ＭＣ観察を行うときには、試料に照射される照明光を変調する変調素子（以降、第１の変調素子と記す。）として、照明光路上にポラライザ１２３と光学素子１２７が配置され、透過光を変調する変調素子（以降、第２の変調素子と記す。）として、観察光路上にモジュレータ１０４が配置される。また、ＰＯ観察を行うときには、第１の変調素子として、照明光路上にポラライザ１２３が配置され、第２の変調素子として、観察光路上にアナライザ１０６が配置される。また、ＤＩＣ観察を行うときには、第１の変調素子として、照明光路上にポラライザ１２３とＤＩＣプリズム１２５が配置され、第２の変調素子として、観察光路上にアナライザ１０６とＤＩＣプリズム１０５が配置される。これにより、無染色の試料を可視化することが可能であり、例えば、***の選別などを行うことができる。
　顕微鏡コントローラ１０は、顕微鏡１００を制御する装置である。顕微鏡コントローラ１０は、処理装置２００と入力装置５０と顕微鏡１００に接続されていて、処理装置２００又は入力装置５０からの命令に応じて顕微鏡１００を制御する。
　表示装置３０は、例えば、液晶ディスプレイ、プラズマディスプレイ、有機ＥＬディスプレイ、ＣＲＴディスプレイ、ＬＥＤマトリクスパネルなどの表示装置である。
　入力装置４０は、ハンドル４１とハンドル４２を含んでいる。ハンドル４１及びハンドル４２を操作することで、ピペット４３及びピペット４４を動かす図示しないマイクロマニュピレータの動作を制御する。ピペット４３及びピペット４４は、***選別を含む顕微授精の作業において試料を操作するために用いられる。ピペット４３は、例えば、ホールディングピペットであり、ピペット４４は、例えば、インジェクションピペットである。
　入力装置５０は、顕微鏡１００の顕微鏡法と観察倍率に関する設定を変更するためのハンドスイッチ装置である。入力装置５０は、図３に示すように、例えば、６つのボタン（ボタン５１～ボタン５６）を有していて、利用者はこれらのボタンを押下するだけで、顕微鏡１００の設定を素早く切り替えることができる。
　利用者がボタン５１を押下することで、顕微鏡１００の設定は、観察倍率４倍のＢＦ観察（以降、ＢＦ４×観察と記す。）の設定に切り替わる。利用者がボタン５２を押下することで、顕微鏡１００の設定は、観察倍率１０倍のＭＣ観察（以降、ＭＣ１０×観察と記す。）の設定に切り替わる。利用者がボタン５３を押下することで、顕微鏡１００の設定は、観察倍率２０倍のＭＣ観察（以降、ＭＣ２０×観察と記す。）の設定に切り替わる。利用者がボタン５４を押下することで、顕微鏡１００の設定は、観察倍率４０倍のＭＣ観察（以降、ＭＣ４０×観察と記す。）の設定に切り替わる。利用者がボタン５５を押下することで、顕微鏡１００の設定は、観察倍率２０倍のＰＯ観察（以降、ＰＯ２０×観察と記す。）の設定に切り替わる。利用者がボタン５６を押下することで、顕微鏡１００の設定は、観察倍率６０倍のＤＩＣ観察（以降、ＤＩＣ６０×観察と記す。）の設定に切り替わる。
　入力装置６０は、キーボードである。入力装置７０は、マウスである。入力装置６０及び入力装置７０は、それぞれ処理装置２００に接続されている。なお、顕微鏡システム１には、タッチパネル、音声入力装置、フットペダルなどの図示しないその他の入力装置が含まれてもよい。
　識別装置８０は、試料に付された識別情報を取得する装置である。なお、試料に付されたとは、例えば、識別情報が試料を収容する容器に貼付等されている場合を含む。識別情報は、試料を識別する情報であり、より具体的には、例えば、試料を提供した患者を特定する情報である。識別装置８０は、例えば、バーコードリーダ、ＲＦＩＤ（登録商標）リーダ、ＱＲコード（登録商標）リーダなどであってもよい。
　処理装置２００は、イメージング装置１４３で取得したデジタル画像に対する物体検出に基づいて対象画像を生成する。生成した対象画像は、顕微鏡１００の投影装置１５３へ、直接または顕微鏡コントローラ１０を経由して、出力される。なお、処理装置２００は、図１に示すように、顕微鏡１００、顕微鏡コントローラ１０、表示装置３０、入力装置６０、入力装置７０、及び、識別装置８０に接続されている。また、処理装置２００は、データベースサーバ２０にも接続されている。
　処理装置２００は、対象画像の生成に関連する機能的構成要素として、画像解析部２１０と、画像生成部２２０と、記憶部２３０と、を備えている。
　画像解析部２１０は、デジタル画像に対する物体検出と、物体検出で検出された***（以降、選別候補と記す。）の中から選別対象としての***（以降、単に選別対象と記す。）を決定する対象決定と、を含む画像解析を行う。画像解析部２１０が行う画像解析には、物体検出と対象決定に加えて、物体検出で検出された選別候補を評価する候補評価が含まれてもよく、選別候補を追跡する追跡処理が含まれてもよい。なお、選別候補とは、選別対象の候補のことをいい、選別対象は、選別候補の中から決定される。
　物体検出の方法は特に限定しない。画像解析部２１０は、例えば、記憶部２３０に記憶されている学習済みモデルを用いて物体検出を行い、***に分類された物体を選別候補として検出してもよい。学習済みモデルのアルゴリズムは、特に限定しないが、例えば、ＳＳＤ、ＹＯＬＯ、ＦａｓｔｅｒＲ－ＣＮＮなどの深層学習モデルが用いられてもよい。
　対象決定の方法は、物体検出により検出された選別候補の形態（morphology）を評価し選別対象を決定することにより行う。具体的には、画像解析部２１０は、デジタル画像に基づいて選別候補の形態を認識し、認識した形態に基づいて選別候補が、正常形態、異常形態、判別不能のいずれに分類されるかの確率を算出することにより、選別対象を決定する。ここで判別不能とは、***にフォーカスがあっていない場合、または側面を向いており正確に形態を判定できないことを意味する。画像解析部２１０は、デジタル画像に基づいて選別候補に含まれる余剰細胞質その他の異常部位を検出し、さらに計数してもよい。画像解析部２１０は、デジタル画像に基づいて、例えば、***の頭部の円形度、頸部の太さ、頸部位置の非対称度合いなどの選別候補の形状や大きさに関するパラメータを算出してよい。
　画像生成部２２０は、デジタル画像に基づいて、画像解析部２１０で決定された選別対象の画像である対象画像を生成する。即ち、画像生成部２２０は、デジタル画像に対する***検出と***形態の評価に基づいて選別対象の対象画像を生成する。
　画像生成部２２０は、投影装置１５３が対象画像を像面に投影した場合に、像面に投影された対象画像が同じく像面に投影された光学像中の選別対象よりも大きなサイズで表示されるように、デジタル画像から切り出した画像をデジタルズームにより拡大又は縮小することで、生成する対象画像のサイズを調整してもよい。
　デジタル画像から切り出される選別対象の領域は、例えば、物体検出で検出された***全体を含む領域であるが、必ずしも***全体を切り出さなくてもよい。選別対象のうちのどの範囲を切り出すかは顕微鏡システム１の設定によって変更可能であってもよい。このため、画像生成部２２０は、顕微鏡システム１の設定に応じて、***の全体（頭部から尾部まで）の領域を切り出してもよく、***の頭部から頸部までの領域を切り出してもよく、頭部の領域のみを切り出してもよく、頸部の領域のみを切り出してもよく、尾部の領域のみを切り出してもよく、その他、***の指定された領域を切り出してもよい。顕微鏡システム１の設定は、例えば、利用者が選別のために選別対象のどの部分に注目して良否判断を行うかに応じて変更してもよい。
　画像生成部２２０で生成された対象画像は、投影装置１５３へ出力される。これにより、投影装置１５３が対象画像を像面に投影し、対象画像が光学像中の選別対象よりも大きなサイズで像面に投影される。これにより、望ましくは、対象画像は光学像よりも高い総合倍率で像面に表示される。
　記憶部２３０は、画像解析部２１０が行う画像解析で用いられる学習済みモデルを記憶する。具体的には、記憶部２３０には、選別候補である***を検出するために行われる物体検出用の学習済みモデルと選別候補である***を評価する候補評価用の学習済みモデルが記憶されている。画像解析部２１０は、記憶部２３０に記憶されている学習済みモデルを用いて物体検出（***検出）と候補評価を行う。
　なお、処理装置２００は、汎用のコンピュータであっても、専用のコンピュータであってもよい。処理装置２００は、特にこの構成に限定されるものではないが、例えば、図４に示すような物理構成を有してもよい。具体的には、処理装置２００は、プロセッサ２０１と、記憶装置２０２と、入力インターフェース（Ｉ／Ｆ）２０３と、出力インターフェース（Ｉ／Ｆ）２０４と、通信装置２０５と、を備えてもよく、それらが互いにバス２０６によって接続されてもよい。
　プロセッサ２０１は、ハードウェアを含んでもよく、ハードウェアは例えば、デジタル信号を処理するための回路およびアナログ信号を処理するための回路のうちの少なくとも１つを含んでもよい。プロセッサ２０１は、例えば、回路基板上に、１つまたは複数の回路デバイス（例えば、ＩＣ）または１つまたは複数の回路素子（例えば、抵抗器、コンデンサ）を含むことができる。プロセッサ２０１は、ＣＰＵ（ｃｅｎｔｒａｌ　ｐｒｏｃｅｓｓｉｎｇ　ｕｎｉｔ）であってもよい。また、プロセッサ２０１には、ＧＰＵ（Ｇｒａｐｈｉｃｓ　ｐｒｏｃｅｓｓｉｎｇ　ｕｎｉｔ）及びＤＳＰ（Ｄｉｇｉｔａｌ　Ｓｉｇｎａｌ　Ｐｒｏｃｅｓｓｏｒ）を含む様々なタイプのプロセッサが使用されてもよい。プロセッサ２０１は、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ　Ｓｐｅｃｉｆｉｃ　Ｉｎｔｅｇｒａｔｅｄ　Ｃｉｒｃｕｉｔ）またはＦＰＧＡ（Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ　Ｇａｔｅ　Ａｒｒａｙ）を有するハードウェア回路であってもよい。プロセッサ２０１は、アナログ信号を処理するための増幅回路、フィルタ回路などを含むことができる。プロセッサ２０１は、記憶装置２０２に記憶されているプログラムを実行することで、上述した画像解析部２１０及び画像生成部２２０として機能する。
　記憶装置２０２は、メモリ及び／又はその他の記憶装置を含んでもよい。メモリは、例えば、ランダムアクセスメモリ（ＲＡＭ）であってもよい。メモリは、ＳＲＡＭ（Ｓｔａｔｉｃ　Ｒａｎｄａｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）やＤＲＡＭ（Ｄｙｎａｍｉｃ　Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）などの半導体メモリであってもよい。記憶装置２０２は、例えば、レジスタ、ハードディスク装置のような磁気記憶装置、光学ディスク装置のような光学記憶装置、内部または外部ハードディスクドライブ、ソリッドステート記憶装置、ＣＤ－ＲＯＭ、ＤＶＤ、他の光学または磁気ディスク記憶装置、または、他の記憶装置であってもよい。記憶装置２０２は、プロセッサ２０１によって実行されるプログラム、学習済みモデル、その他のデータを記憶し、上述した記憶部２３０として機能する。なお、記憶装置２０２は、非一時的なコンピュータ可読記憶媒体の一例である。
　入力Ｉ／Ｆ２０３は、顕微鏡システム１の利用者（例えば、胚培養士）が操作する入力装置に接続され、入力装置に対する操作に応じた操作信号を受信し、プロセッサ２０１へ出力する。
　出力Ｉ／Ｆ２０４は、表示装置３０に接続される。出力Ｉ／Ｆ２０４は、さらに、図示しない、音声を出力するスピーカーなどの音声出力装置、光を出力するランプなどの発光装置、振動を出力するバイブレータなどの振動装置などに接続されてもよい。
　通信装置２０５は、顕微鏡１００やその他の装置とデータをやり取りする装置である。通信装置２０５は、有線でデータをやり取りする通信装置であってもよく、無線でデータをやり取りする通信装置であってもよい。記憶装置２０２に記憶されるプログラムや学習済みモデルは、通信装置２０５がインターネット経由で他の装置から取得したものであってもよい。
　図５は、胚培養士によるＩＣＳＩの手順の一例を示すフローチャートである。図６は、シャーレ３１０内に試料３００として形成されるドロップの構成を例示した図である。図７は、胚培養士による***選別手順の一例を示すフローチャートである。図８は、選別支援処理の一例を示すフローチャートである。図９は、対象画像生成処理の一例を示すフローチャートである。図１０は、画像表示処理の一例を示すフローチャートである。図１１は、顕微鏡１００で生成される光学像の一例を示した図である。図１２は、イメージング装置１４３で取得されるデジタル画像の一例を示した図である。図１３は、デジタル画像に対する物体検出結果の一例を示した図である。図１４は、対象画像の生成方法の一例を説明するための図である。図１５は、接眼レンズ１０１から見える画像の一例を示した図である。以下、図５から図１５を参照しながら、顕微鏡システム１が行う***の選別支援方法の、ＩＣＳＩにおける具体的な活用について説明する。
　まず、利用者は、試料を準備する（ステップＳ１）。ここでは、利用者は、例えば、図６に示すように、シャーレ３１０内に複数のドロップを含む試料３００を作成し、ステージ１１１上に配置する。
　ドロップ３０１は、洗浄用のドロップであり、ピペットの洗浄に使用される。ドロップ３０２は、***浮遊ドロップであり、例えば、ＰＶＰ溶液に***懸濁液を滴下したものである。ドロップ３０３は、卵子操作用ドロップであり、例えば、ｍ－ＨＴＦ溶液に卵子を入れたものである。なお、ｍ－ＨＴＦ溶液は、１０％血清を添加したＨｅｐｐｓ含有ＨＴＦ溶液である。これらのドロップは、ミネラルオイルで覆われている。
　次に、利用者は、顕微鏡システム１をセットアップする（ステップＳ２）。ここでは、利用者は、例えば、入力装置５０のボタン５１を押下して、顕微鏡システム１の設定をＢＦ４×観察に切り替える。その後、入力装置４０を操作してピペット４３及びピペット４４の位置を調整し、ピペット４３及びピペット４４にピントを合わせる。さらに、ステージ１１１を動かして、ピペット４３及びピペット４４をドロップ３０１（洗浄用ドロップ）で洗浄する。
　セットアップが完了すると、利用者は、ドロップ３０３（卵子操作用ドロップ）内の卵子(卵細胞)の状態を確認する（ステップＳ３）。ここでは、利用者は、例えば、入力装置５０のボタン５３を押下して、顕微鏡システム１の設定をＭＣ２０×観察に切り替える。ＭＣ２０×観察で卵子の形態を観察して、卵子を選別する。さらに、例えば、入力装置５０のボタン５５を押下して、顕微鏡システム１の設定をＰＯ２０×観察に切り替えてもよい。ＰＯ２０×観察で卵子の紡錘体を観察することで、卵子の成熟度を判定し、更に卵子を選別してもよい。
　卵子の選別が終了すると、利用者は、図７に示す手順で***の選別を行う（ステップＳ４）。まず、利用者は、例えば、入力装置５０のボタン５３を押下して、顕微鏡システム１の設定をＭＣ２０×観察に切り替える。そして、ステージ１１１を動かしてドロップ３０２（***浮遊ドロップ）に観察位置を移動し、ＭＣ２０×観察で***にピントを合わせる（ステップＳ１１）。
　次に、利用者は、ＭＣ２０×観察で受精に適した***を選別する（ステップＳ１２）。従来、この工程では、胚培養士が、光学像で観察される***の形態と運動性に基づいて***の質を判断し、その判断に基づいて***を選別していた。しかしながら、ＭＣ２０×では、***の大きさに対して十分な視野が確保され、そのため、***の運動性を把握しやすいというメリットがある一方で、***の形態を正確に把握するには倍率が低すぎる。このため、ステップＳ１２で選別した***をより高い倍率で観察する必要があり、選別作業に時間がかかることと、手戻りが生じることが問題となっていた。
　このような課題を踏まえて、顕微鏡システム１は、ステップＳ１２において、像面に、***の形態を良好、不良、判別不能と分類し良好と判断された***を光学像中の対象***よりも大きなサイズで表示する。光学像中の選別対象よりも大きなサイズで投影されることで、従来、この工程においては難しかった利用者による***の形態の判断を補助できる。これにより、後工程における異なる判断による手戻りを抑制することができ、例えばステップＳ１４のＭＣ４０ｘ観察へ切り替えが省略できることや、***選別に要する時間を短縮できる。さらに、光学像と対象画像が同じ像面に投影されることで、光学像で主に***の運動性を確認しながら、対象画像によって注目している***（選別対象の***）の形態を正確に把握することができる。従って、運動性と形態の両方を確認して***を選別することができるため、後工程における異なる判断による手戻りを抑制することができる。
　具体的には、ステップＳ１２において、顕微鏡システム１が図８に示す選別支援処理を行うことで、光学像とともに対象画像が像面に投影される。選別支援処理では、まず、顕微鏡システム１は、試料の光学像を像面に投影する（ステップＳ２１）。ここでは、顕微鏡１００が、像面に、例えば図１１に示す光学像Ｏ１を形成する。なお、図１１に示す領域１４３ＲはステップＳ２２でイメージング装置１４３によって撮影される領域を示している。
　顕微鏡システム１は、ステップＳ２１と同時に、デジタル画像を取得する（ステップＳ２２）。ここでは、イメージング装置１４３は、試料からの光に基づいて、例えば図１２に示す試料のデジタル画像Ｄ１を取得し、取得したデジタル画像Ｄ１を処理装置２００へ出力する。
　その後、顕微鏡システム１は、デジタル画像に基づいて対象画像を生成する（ステップＳ２３）。ここでは、処理装置２００が図９に示す対象画像生成処理を行う。対象画像生成処理では、処理装置２００は、まず、デジタル画像Ｄ１に対して物体検出を行う（ステップＳ３１）。ここでは、画像解析部２１０が、例えば、デジタル画像Ｄ１を入力画像として学習済みモデルに入力することで物体検出を行い、図１３に示すように、***を選別候補として検出する。なお、図１３には、物体検出によって***の分類された物体（選別候補）の位置にボックスＢが付された様子が示されている。
　物体検出によって選別候補が検出されると、処理装置２００は、選別候補を評価する（ステップＳ３２）。ここでは、画像解析部２１０が選別候補の各々を評価する。具体的には、画像解析部２１０は、選別候補の形態を評価する。
　その後、処理装置２００は、ステップＳ３２で行われた評価に基づいて選別対象を決定する（ステップＳ３３）。ここでは、画像解析部２１０が評価に基づいて選別候補の中から最も高く評価された選別候補を選別対象として決定する。具体的には、例えば、図１３に示すように良好***の判定確率がもっとも高い中央の***を選別対象として決定する。
　選別対象が決まると、処理装置２００は、デジタル画像から選別対象の領域を切り出す（ステップＳ３４）。ここでは、画像生成部２２０が、例えば、図１４に示すように、デジタル画像Ｄ１から、選別対象の領域を切り出して、対象画像Ｔ１を生成する。対象画像Ｔ１のサイズは、ステップＳ３４において、像面に投影したときに光学像中の選別対象よりも大きく表示されるように調整されてもよい。
　ステップＳ２３で対象画像が生成されると、顕微鏡システム１は、光学像中の選別対象よりも大きなサイズで対象画像を像面に表示する（ステップＳ２４）。ここでは、処理装置２００が図１０に示す画像表示処理を行う。画像表示処理では、処理装置２００は、まず、像面に表示される対象画像Ｔ１の総合倍率を決定し（ステップＳ４１）、さらに対象画像Ｔ１のサイズを決定する（ステップＳ４２）。ステップＳ４１では、像面に形成される光学像の総合倍率が例えば２００倍の場合、画像解析部２１０が、像面に投影される対象画像Ｔ１の総合倍率を、２００倍を上回る倍率（例えば１０００倍）に決定する。また、ステップＳ４２では、像面に形成される光学像中の選別対象が１ｍｍ×１ｍｍの領域に投影される場合、画像解析部２１０が、対象画像Ｔ１のサイズを１ｍｍ×１ｍｍ以上のサイズに決定する。
　さらに、処理装置２００は、像面に表示される対象画像Ｔ１の位置を決定する（ステップＳ４３）。ここでは、処理装置２００は、例えば、光学像に含まれる選別対象の***の領域と対象画像が重ならないように、対象画像の位置を光学像に含まれる選別対象の***の領域を避けて決定する。なお、対象画像の位置は、視野の中心を基準に上側、下側、右側、左側など、予め指定された位置に配置されてもよい。
　最後に、処理装置２００は、ステップＳ４３で決定した位置に、ステップＳ４１で決定した総合倍率でステップＳ４２で決定したサイズの対象画像Ｔ１を表示する（ステップＳ４４）。ここでは、処理装置２００は、対象画像Ｔ１の各画素を、ステップＳ４１で決定した総合倍率とステップＳ４２で決定したサイズとステップＳ４３で決定した位置とに基づいて投影装置１５３の画素に割り当てる。その結果、投影装置１５３が、対象画像Ｔ１を、像面の光学像中の選別対象と重ならない位置に、光学像中の選別対象よりも大きなサイズで投影する。これにより、利用者は、例えば図１５に示すように、像面に表示された光学像Ｏ１と対象画像Ｔ１を同時に確認することができる。このため、***の形態と運動性の両方を確認して受精に適した***を高精度に選別することができる。また、ステップＳ１２において、図８に示す選別支援処理が繰り返し行われることで、視野内を移動する選別対象の***を追跡することができるため、対象画像で選別対象の***をじっくりと観察することができる。
　ステップＳ１２で***が選別されると、利用者は、ＲＣ２０×観察で***の尾部を傷つけて***を不動化する（ステップＳ１３）。ここでは、利用者は、***の尾部をピペットでシャーレ３１０の底面に擦り付けることで、***を不動化する。
　その後、利用者は、不動化した***の形態を更に詳細に観察し、***を更に選別してもよい（ステップＳ１４）。ここでは、利用者は、例えば、入力装置５０のボタン５４を押下して、顕微鏡システム１の設定をＭＣ４０×観察に切り替える。その後、利用者は、ＭＣ４０×観察でさらに***を選別してもよい。ここでも、顕微鏡システム１は、ステップＳ１２と同様に、図８に示す選別支援処理を行い、対象画像を光学像中の選別対象よりも大きなサイズで像面に投影することで、胚培養士の***選別作業を支援してもよい。
　***の選別が完了すると、その後、利用者は、選別された***をインジェクションピペットであるピペット４４中に取り込んで、観察位置をドロップ３０３（卵子操作用ドロップ）へ移動し（ステップＳ１５）、図７に示す***選別の一連の手順を終了する。
　***選別が完了すると、利用者は、***の注入準備のために、紡錘体の位置を確認する（ステップＳ５）。ここでは、利用者は、ドロップ３０３内に存在するステップＳ３で選ばれた卵子を観察し、その卵子の紡錘体の位置を確認する。具体的には、利用者は、例えば、入力装置５０のボタン５５を押下して、顕微鏡システム１の設定をＰＯ２０×観察に切り替える。その後、利用者は、ＰＯ２０×観察で可視化された卵子の紡錘体が１２時又は６時の方向に位置するように、ホールディングピペットであるピペット４３を操作することで紡錘体の向きを変える。これは、後述するステップＳ６において、３時又は９時の方向から卵子に突き立てられるピペットによって、紡錘体が傷つくことを避けるためである。
　最後に、利用者は、***を卵子に注入し（ステップＳ６）、ＩＣＳＩを終了する。ここでは、利用者は、例えば、入力装置５０のボタン５３を押下して、顕微鏡システム１の設定をＭＣ２０×観察に切り替える。その後、利用者は、ＭＣ２０×観察で、ステップＳ５で向きを調整した卵子をホールディングピペットであるピペット４３で固定し、インジェクションピペットであるピペット４４を突き刺す。その後、ピペット４４から卵子内部に良好***を注入する。
　図５に示すＩＣＳＩの一連の手順が終了すると、利用者は、***が注入された卵子をインキュベータに戻し、培養する。また、利用者は、入力装置６０及び入力装置７０を用いて処理装置２００を操作して、ＩＣＳＩで得られた情報をデータベースサーバ２０に保存してもよい。例えば、***が注入された卵子の画像、選別された***の画像、ＩＣＳＩの作業時間などに、***と卵子の患者情報（母体の臨床データ、***を含む***の検査結果など）、***と卵子の培養液のデータ（例えば、種類、濃度、ＰＨなど）を関連付けて、データベースサーバ２０に保存してもよい。
　以上のように、顕微鏡システム１では、ＩＣＳＩにおいて、選別対象の***の画像である対象画像が像面に光学像中の選別対象よりも対象画像が大きなサイズで投影される。***の大きさは６０μｍ程度であり、良好***を見分けるためには最低でも２０倍の対物レンズが用いられる。一般に倒立顕微鏡の視野数は２２程度であるので、実視野はΦ１ｍｍ程度である。この実視野Φ１ｍｍの領域内において、自由に動き回る６０μｍ程度の大きさの***を選別する作業は、非常に困難な作業である。一般に、良好***と推定される***は運動性が高いこと、及び、ＩＣＳＩ作業は短時間で行われる必要があることから、***選別作業では、比較的速く移動する***の形態を素早く観察して良好／不良を判断しなければならない。このような厳しい制約が課された作業環境であっても、顕微鏡システム１によれば、光学像で主に***の運動性を確認しながら、システムが形態的な観点から良好***の候補を判断してそれを光学像よりも高い総合倍率で像面に投影した画像により、***の形態を同時に確認することが可能となる。これにより、***の運動性と形態の両方に基づいて良好な***を適切かつ短時間で選別することができるため、受精成功率の向上を実現することができる。従って、顕微鏡システム１によれば、試料内の***の選別作業を効果的に支援することができる。
［第２の実施形態］
　図１６は、対象画像の生成方法の別の例を説明するための図である。図１７は、接眼レンズ１０１から見える画像の別の例を示した図である。以下、図１６及び図１７を参照しながら、本実施形態について説明する。なお、本実施形態に係る顕微鏡システム（以降、単に顕微鏡システムとも記す。）の構成は、顕微鏡システム１と同様である。
　本実施形態は、複数の対象画像が像面に表示される点が、第１の実施形態とは異なっている。その他の点は、第１の実施形態と同様である。具体的には、図９に示す対象画像生成処理のステップＳ３３において、処理装置２００は、ステップＳ３２で行われた評価に基づいて複数の選別対象を決定する。選別対象の数は、例えば２つなど、予め決定されていてもよい。また、選別対象の数は、ステップＳ３２の評価に基づいて決定されてもよく、処理装置２００は、例えば、ある基準を上回っていると評価された選別候補の全てを選別対象に決定してもよい。
　これにより、ステップＳ３４において、処理装置２００は、例えば、図１６に示すように、デジタル画像から複数の選別対象の領域を切り出して、複数の対象画像（対象画像Ｔ１、対象画像Ｔ２）を生成する。
　本実施形態に係る顕微鏡システムによっても、良好***が像面に光学像中の選別対象よりも大きなサイズで投影されるため、利用者による***の形態の判断を補助できることができる点、光学像と対象画像により***の運動性と形態の両方を同時に確認することができるため、***の運動性と形態の両方に基づいて良好な***を適切かつ短時間で選別することができる点は、第１の実施形態に係る顕微鏡システム１と同様である。また、本実施形態に係る顕微鏡システムでは、図１７に示すように、光学像Ｏ１に含まれる複数の***を選別対象として決定して、複数の対象画像（対象画像Ｔ１、対象画像Ｔ２）が光学像とともに表示される。このため、利用者による良否判断の基準を上回る良好***が早期に発見される可能性が高まるため、顕微鏡システム１よりも効率良く***を選別することができる。
［第３の実施形態］
　図１８は、選別支援処理の別の例を示すフローチャートである。図１９は、画像表示処理の別の例を示すフローチャートである。図２０は、補助画像の生成方法の一例を説明するための図である。図２１は、接眼レンズ１０１から見える画像の更に別の例を示した図である。以下、図１８から図２１を参照しながら、本実施形態について説明する。なお、本実施形態に係る顕微鏡システム（以降、単に顕微鏡システムとも記す。）の構成は、顕微鏡システム１と同様である。
　本実施形態は、図８に示す選別支援処理の代わりに、図１８に示す選別支援処理が行われる点が、第１の実施形態とは異なっている。その他の点は、第１の実施形態と同様である。
　図１８に示す選別支援処理では、顕微鏡システムは、試料の光学像を像面に投影し（ステップＳ５１）、デジタル画像を取得し（ステップＳ５２）、対象画像を生成する（ステップＳ５３）。なお、ステップＳ５１からステップＳ５３の処理は、図８のステップＳ２１からステップＳ２３の処理と同様である。
　その後、顕微鏡システムは、対象画像に関する補助画像を生成する（ステップＳ５４）。ここでは、処理装置２００が補助画像を生成する。補助画像は、選別対象の形態が良好・不良・判別不能のいずれかに近いかを表す情報や、選別対象の***頭部の大きさに関する情報を利用者に提供する画像である。
　ステップＳ５４では、処理装置２００は、例えば、図２０に示すように、まず、対象画像Ｔ１に基づいて選別対象を評価することで評価結果ＥＲを生成し、さらに、評価結果ＥＲに基づいて補助画像Ａ１を生成してもよい。なお、図２０では、補助画像Ａ１は、選別対象の形態に関する評価情報Ｅ１と、選別対象中の頭部の大きさを示すマーカーＭ１とを含んでいる。マーカーＭ１は、注目位置又は領域を示すマーカーの一例でもある。
　また、補助画像Ａ１は、***中の頭部の大きさを示すマーカーＭ１の代わりに又は加えて、***中の余剰細胞質の位置又は領域を示すマーカーを含んでもよい。即ち、補助画像Ａ１は、余剰細胞質の有無を示すマーカーを含んでもよい。また、補助画像Ａ１は、頭部の円形度、頸部の太さ、頭部と頸部位置の非対称性を示すマーカーを含んでもよい。つまり、選別対象の注目位置又は領域を示すマーカーを含んでもよい。なお、評価情報Ｅ１には、図２０に示すように、頭部の大きさを示す数値情報が含まれることが望ましい。また、補助画像Ａ１は、***が有する空間又はその他の欠陥部位の位置又は領域を示すマーカーを含んでもよい。
　なお、図２０では、対象画像Ｔ１に基づいて補助画像Ａ１を生成する例を示したが、補助画像Ａ１は、ステップＳ５３で対象画像Ｔ１を生成する過程で得られた情報（例えば、候補評価の結果）に基づいて生成されてもよい。
　対象画像と補助画像が生成されると、顕微鏡システムは、対象画像と補助画像を像面に表示する（ステップＳ５５）。ここでは、処理装置２００が図１９に示す画像表示処理を行うことで、図２１に示すように、像面に対象画像Ｔ１と補助画像Ａ１が光学像Ｏ１と共に表示される。
　画像表示処理では、処理装置２００は、まず、像面に配置される対象画像Ｔ１の総合倍率を決定し（ステップＳ６１）、次に、対象画像Ｔ１のサイズを決定し（ステップＳ６２）、さらに、像面に表示される対象画像Ｔ１の位置を決定する（ステップＳ６３）。なお、ステップＳ６１からステップＳ６３の処理は、図１０のステップＳ４１からステップＳ４３の処理と同様である。
　さらに、処理装置２００は、像面に配置される補助画像Ａ１の位置を決定する（ステップＳ６４）。ステップＳ６４では、処理装置２００は、補助画像Ａ１の位置を対象画像Ｔ１との関係で決定してもよい。処理装置２００は、たとえば、例えば、補助画像Ａ１中のマーカーＭ１が対象画像Ｔ１中の注目領域に重なるように、補助画像Ａ１と対象画像Ｔ１の位置関係を決定してもよい。即ち、処理装置２００は、決定された位置関係で補助画像Ａ１と対象画像Ｔ１を含む投影画像を生成する。
　最後に、処理装置２００は、ステップＳ６３で決定した位置に、ステップＳ６１で決定した総合倍率でステップＳ６２で決定したサイズの対象画像Ｔ１を、また、ステップＳ６４で決定した位置に補助画像Ａ１を、表示する（ステップＳ６５）。即ち、処理装置２００は、ステップＳ６４で生成された投影画像を像面に投影する。ここでは、処理装置２００は、投影画像の各画素を投影装置１５３の画素に割り当てる。即ち、対象画像Ｔ１の各画素を、ステップＳ６１で決定した総合倍率とステップＳ６２で決定したサイズとステップＳ６３で決定した位置とに基づいて投影装置１５３の画素に割り当て、さらに、補助画像Ａ１の各画素を、ステップＳ６４で決定した位置に基づいて投影装置１５３の画素に割り当てる。その結果、投影装置１５３が、対象画像Ｔ１を、像面の光学像Ｏ１中の選別対象と重ならない位置に光学像中の選別対象よりも大きなサイズで投影し、且つ、補助画像Ａ１を像面の適切な位置に投影する。これにより、利用者は、図２１に示すように、光学像Ｏ１と対象画像Ｔ１と補助画像Ａ１を同時に確認することができる。
　本実施形態に係る顕微鏡システムによっても、対象画像が像面に光学像中の選別対象よりも大きなサイズで投影されるため、利用者による***の形態の判断を補助できることができる点、光学像と対象画像により***の運動性と形態の両方を同時に確認することができるため、***の運動性と形態の両方に基づいて良好な***を適切かつ短時間で選別することができる点は、第１の実施形態に係る顕微鏡システム１と同様である。また、本実施形態に係る顕微鏡システムは、図２１に示すように、対象画像に関連する情報を提供する補助画像を像面に投影することで、利用者が行う***の良否判断をさらに支援することができる。特に、選別対象の注目位置又は領域を示すマーカーを光学像中の選別対象よりも大きなサイズを有する対象画像に重ねることで、光学像に重ねた場合には小さすぎて見づらいという問題を回避しながら、利用者に注目すべき部分を知らせることができる。従って、本実施形態に係る顕微鏡システムによれば、受精に適した***を高い精度で選別することが可能となるため、胚培養士間で生じる受精率の格差を抑えることができる。
　上述した実施形態は、発明の理解を容易にするために具体例を示したものであり、本発明はこれらの実施形態に限定されるものではない。上述の実施形態を変形した変形形態および上述した実施形態に代替する代替形態が包含され得る。つまり、各実施形態は、その趣旨および範囲を逸脱しない範囲で構成要素を変形することが可能である。また、１つ以上の実施形態に開示されている複数の構成要素を適宜組み合わせることにより、新たな実施形態を実施することができる。また、各実施形態に示される構成要素からいくつかの構成要素を削除してもよく、または実施形態に示される構成要素にいくつかの構成要素を追加してもよい。さらに、各実施形態に示す処理手順は、矛盾しない限り順序を入れ替えて行われてもよい。即ち、本発明の顕微鏡システム、投影ユニット、及び、選別支援方法は、特許請求の範囲の記載を逸脱しない範囲において、さまざまな変形、変更が可能である。
　上述した実施形態では、顕微鏡システム１を例示したが、顕微鏡システムの構成は、この例に限らない。例えば、図２２に示す顕微鏡システム２が用いられてもよい。顕微鏡システム２は、顕微鏡１００の代わりに顕微鏡４００を備える点が、顕微鏡システム１とは異なっている。顕微鏡４００は、顕微鏡本体４１０と鏡筒４２０の間に投影ユニット５００を備えている。
　投影ユニット５００は、顕微鏡用の投影ユニットであり、図１に示す投影ユニット１５０に相当する投影部（スプリッタ１５１とレンズ１５２と投影装置１５３）と、図１に示すイメージングユニット１４０に相当するイメージング部（スプリッタ１４１とイメージング装置１４３）と、画像処理部５１０を含んでいる。画像処理部５１０は、図２に示す画像解析部２１０と画像生成部２２０と記憶部２３０として機能する。
 投影ユニット５００及び顕微鏡システム２によっても、顕微鏡システム１と同様の効果を得ることができる。また、投影ユニット５００を用いることで既存の顕微鏡システムを拡張することで上述した効果を得ることができるため、既存の顕微鏡システムを有効活用することができる。
　上述した実施形態では、***を選別する場合を例に説明したが、選別対象は***に限らない。なお、選別対象は、運動性と形態の両方に基づいて選択されるものであることが望ましい。
　上述した実施形態では、投影装置１５３が像面に対象画像を投影する例を示したが、像面に対象画像を表示できればよく、投影装置１５３の代わりに像面に置かれた透過型の液晶デバイスが用いられてもよい。また、上述した実施形態では、対象画像が光学像中の選別対象よりも大きなサイズで像面に表示される例を示したが、対象画像は、光学像が形成される像面に、光学像中の選別対象と同等以上のサイズで表示されてもよい。
　また、上述した実施形態では、選別対象の各々に対して１つの対象画像を生成する例を示したが、選別対象の各々に対して２つ以上の対象画像を生成してもよい。例えば、***の全体の領域を切り出した対象画像と、***の頭部の領域のみを切り出した対象画像を生成し、これらを異なる総合倍率で像面に配置してもよい。これにより、***の特定部位をより高い倍率で観察しながら、***の全体も適切な倍率で観察することができる。
　なお、対象画像は、例えば、イメージング装置１４３で撮影した動画のフレームレートに基づいて、定期的に更新してもよく、更新頻度は設定に応じて変更可能であってもよい。即ち、対象画像は、動画として像面に投影されてもよく、静止画として投影されてもよい。静止画として対象画像を投影することで、利用者は***の形態をじっくりと観察することができる。また、***画として対象画像を投影することで、補助画像の作成が遅延したために補助画像が対象画像に対して所定位置からずれた位置に投影されるといった事態を回避することができる。一方で、動画として対象画像を投影することで、利用者は撮影タイミングに左右されることなく***の形態を詳細に観察することができる。これは換言すると、処理装置が選別対象を追跡することを意味している。また、動画として投影する場合も更新頻度を調整することで補助画像の作成の遅延によって生じる不都合を回避することができる。
　本明細書において、“Ａに基づいて”という表現は、“Ａのみに基づいて”を意味するものではなく、“少なくともＡに基づいて”を意味し、さらに、“少なくともＡに部分的に基づいて”をも意味している。即ち、“Ａに基づいて”はＡに加えてＢに基づいてもよく、Ａの一部に基づいてよい。
１、２　　　　　　　　　　　顕微鏡システム
１０　　　　　　　　　　　　顕微鏡コントローラ
２０　　　　　　　　　　　　データベースサーバ
３０　　　　　　　　　　　　表示装置
４０、５０、６０、７０　　　入力装置
４１、４２　　　　　　　　　ハンドル
４３、４４　　　　　　　　　ピペット
８０　　　　　　　　　　　　識別装置
１００　　　　　　　　　　　顕微鏡
１０１　　　　　　　　　　　接眼レンズ
１０２、１０２ａ～１０２ｃ　対物レンズ
１０３　　　　　　　　　　　結像レンズ
１０４　　　　　　　　　　　モジュレータ
１０５、１２５　　　　　　　ＤＩＣプリズム
１０６　　　　　　　　　　　アナライザ
１１０　　　　　　　　　　　顕微鏡本体
１１１　　　　　　　　　　　ステージ
１１２　　　　　　　　　　　レボルバ
１２０　　　　　　　　　　　透過照明系
１２１　　　　　　　　　　　光源
１２２　　　　　　　　　　　ユニバーサルコンデンサ
１２３　　　　　　　　　　　ポラライザ
１２４　　　　　　　　　　　ターレット
１２６　　　　　　　　　　　開口板
１２７　　　　　　　　　　　光学素子
１２７ａ　　　　　　　　　　スリット板
１２７ｂ　　　　　　　　　　偏光板
１２８　　　　　　　　　　　コンデンサレンズ
１３０　　　　　　　　　　　レーザアシステッドハッチングユニット
１３１、１４１、１５１　　　スプリッタ
１３３　　　　　　　　　　　スキャナ
１３５　　　　　　　　　　　レーザ
１４０　　　　　　　　　　　イメージングユニット
１４３　　　　　　　　　　　イメージング装置
１４３Ｒ　　　　　　　　　　撮影領域
１５０　　　　　　　　　　　投影ユニット
１５３　　　　　　　　　　　投影装置
１６０　　　　　　　　　　　中間変倍ユニット
１７０　　　　　　　　　　　接眼鏡筒
２００　　　　　　　　　　　処理装置
２０１　　　　　　　　　　　プロセッサ
２０２　　　　　　　　　　　記憶装置
２０３　　　　　　　　　　　入力インターフェース
２０４　　　　　　　　　　　出力インターフェース
２０５　　　　　　　　　　　通信制御装置
２０６　　　　　　　　　　　バス
２１０　　　　　　　　　　　画像解析部
２２０　　　　　　　　　　　画像生成部
２３０　　　　　　　　　　　記憶部
３００　　　　　　　　　　　試料
３１０　　　　　　　　　　　シャーレ
４００　　　　　　　　　　　顕微鏡
４１０　　　　　　　　　　　顕微鏡本体
４２０　　　　　　　　　　　鏡筒
５００　　　　　　　　　　　投影ユニット
５１０　　　　　　　　　　　画像処理部
Ａ１　　　　　　　　　　　　補助画像
Ｂ　　　　　　　　　　　　　ボックス
Ｄ１　　　　　　　　　　　　デジタル画像
ＥＲ　　　　　　　　　　　　評価結果
Ｅ１　　　　　　　　　　　　評価情報
Ｏ１　　　　　　　　　　　　光学像
Ｍ１　　　　　　　　　　　　マーカー
Ｔ１、Ｔ２　　　　　　　　　対象画像
 

Claims (9)

  1. 　選別対象を含む***試料の光学像を形成する顕微鏡と、
    　前記***試料のデジタル画像を取得するイメージング装置と、
    　前記デジタル画像中に対する***検出と***形態の評価に基づいて前記選別対象の画像である対象画像を生成する処理装置と、
    　前記対象画像を、前記光学像が形成される像面に、前記光学像中の選別対象よりも大きなサイズで表示する光学装置と、を備える
    ことを特徴とする顕微鏡システム。
  2. 　請求項１に記載の顕微鏡システムにおいて、
    　前記処理装置は、前記***検出で検出された選別候補を追跡する
    ことを特徴とする顕微鏡システム。
  3. 　請求項１又は請求項２に記載の顕微鏡システムにおいて、
    　前記処理装置は、前記***検出で検出された選別候補の中から、***の形態を良好、不良、判別不能と分類した分類結果に基づいて、前記選別対象を決定する
    ことを特徴とする顕微鏡システム。
  4. 　請求項１乃至請求項３のいずれか１項に記載の顕微鏡システムにおいて、
    　前記処理装置は、学習済みモデルを用いて前記***検出を行う
    ことを特徴とする顕微鏡システム。
  5. 　請求項３に記載の顕微鏡システムにおいて、
    　前記処理装置は、前記対象画像に関する補助画像を生成し、
    　前記光学装置は、前記対象画像とともに前記補助画像を前記像面に表示し、
    　前記補助画像は、前記選別対象の良好・不良・判別不能に分類した評価結果に関する評価情報を含む
    ことを特徴とする顕微鏡システム。
  6. 　請求項３に記載の顕微鏡システムにおいて、
    　前記処理装置は、前記対象画像に関する補助画像を生成し、
    　前記光学装置は、前記対象画像とともに前記補助画像を前記像面に表示し、
    　前記補助画像は、前記対象画像中の注目位置又は領域を示すマーカーを含む
    ことを特徴とする顕微鏡システム。
  7. 　請求項６に記載の顕微鏡システムにおいて、
    　前記補助画像は、前記対象画像中の***の頭部の大きさ、余剰細胞質の有無、頭部の円形度、頸部の太さ、頭部と頸部位置の非対称性を示すマーカーを含む
    ことを特徴とする顕微鏡システム。
  8. 　顕微鏡に装着される投影ユニットであって、
    　***試料のデジタル画像を取得するイメージング部と、
    　前記デジタル画像に対する***検出と***形態の評価に基づいて前記***試料に含まれる選別対象の画像である対象画像を生成する処理部と、
    　前記対象画像を、前記顕微鏡が形成する前記***試料の光学像が形成される像面に、前記光学像中の選別対象より大きなサイズで表示する投影部と、を備える
    ことを特徴とする投影ユニット。
  9. 　選別対象を含む***試料の光学像を形成し、
    　前記***試料のデジタル画像を取得し、
    　前記デジタル画像に対する***検出と***形態の評価に基づいて前記選別対象の画像である対象画像を生成し、
    　前記対象画像を、前記光学像が形成される像面に、前記光学像中の選別対象よりも大きなサイズで表示する
    ことを特徴とする選別支援方法。 
PCT/JP2021/048510 2021-12-27 2021-12-27 顕微鏡システム、投影ユニット、及び、選別支援方法 WO2023127001A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2023570498A JPWO2023127001A1 (ja) 2021-12-27 2021-12-27
PCT/JP2021/048510 WO2023127001A1 (ja) 2021-12-27 2021-12-27 顕微鏡システム、投影ユニット、及び、選別支援方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2021/048510 WO2023127001A1 (ja) 2021-12-27 2021-12-27 顕微鏡システム、投影ユニット、及び、選別支援方法

Publications (1)

Publication Number Publication Date
WO2023127001A1 true WO2023127001A1 (ja) 2023-07-06

Family

ID=86998306

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/048510 WO2023127001A1 (ja) 2021-12-27 2021-12-27 顕微鏡システム、投影ユニット、及び、選別支援方法

Country Status (2)

Country Link
JP (1) JPWO2023127001A1 (ja)
WO (1) WO2023127001A1 (ja)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0829694A (ja) * 1994-07-20 1996-02-02 Nikon Corp 画像処理装置付き顕微鏡
WO2005080944A1 (en) * 2004-02-18 2005-09-01 The University Court Of The University Of Glasgow Analysis of cell morphology and motility
WO2012150689A1 (ja) * 2011-05-02 2012-11-08 オリンパス株式会社 顕微鏡、及び、顕微鏡を用いた顕微授精方法
WO2020059522A1 (ja) * 2018-09-21 2020-03-26 公立大学法人横浜市立大学 生殖医療支援システム
WO2020066040A1 (ja) * 2018-09-28 2020-04-02 オリンパス株式会社 顕微鏡システム、投影ユニット、及び、画像投影方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0829694A (ja) * 1994-07-20 1996-02-02 Nikon Corp 画像処理装置付き顕微鏡
WO2005080944A1 (en) * 2004-02-18 2005-09-01 The University Court Of The University Of Glasgow Analysis of cell morphology and motility
WO2012150689A1 (ja) * 2011-05-02 2012-11-08 オリンパス株式会社 顕微鏡、及び、顕微鏡を用いた顕微授精方法
WO2020059522A1 (ja) * 2018-09-21 2020-03-26 公立大学法人横浜市立大学 生殖医療支援システム
WO2020066040A1 (ja) * 2018-09-28 2020-04-02 オリンパス株式会社 顕微鏡システム、投影ユニット、及び、画像投影方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
SATO, TAKUMI EL AL.: "A machine learning model created for the purpose of supporting sperm selection by embryologists in microinsemination", JOURNAL OF ASSISTED REPRODUCTION, vol. 66, no. 4, 19 October 2021 (2021-10-19), JP , pages 124 (244), XP009547336, ISSN: 1881-0098 *
SATO, TAKUMI ET AL.: "Feasibility study on selection support of good sperm by machine learning in Intracytoplasmic sperm injection", JOURNAL OF ASSISTED REPRODUCTION, vol. 64, no. 4, 9 October 2019 (2019-10-09), pages 272, XP009547337 *

Also Published As

Publication number Publication date
JPWO2023127001A1 (ja) 2023-07-06

Similar Documents

Publication Publication Date Title
JP7214753B2 (ja) 顕微鏡システム
WO2021200003A1 (ja) 顕微鏡システム、投影ユニット、及び、***選別支援方法
Louis et al. Review of computer vision application in in vitro fertilization: the application of deep learning-based computer vision technology in the world of IVF
US11869166B2 (en) Microscope system, projection unit, and image projection method
US10563177B2 (en) Evaluating a pluripotent stem cell based on a region of a phase distribution image having a phase amount less than a threshold phase amount of a mitochondrion in a somatic cell
US20210239961A1 (en) Method for generating an overview image using a large aperture objective
WO2019222839A1 (en) A method for automated non-invasive measurement of sperm motility and morphology and automated selection of a sperm with high dna integrity
US11948295B2 (en) Virtual staining systems and methods for observing one or more unstained cells
JP2013109119A (ja) 顕微鏡制御装置およびプログラム
WO2020059522A1 (ja) 生殖医療支援システム
WO2023127001A1 (ja) 顕微鏡システム、投影ユニット、及び、選別支援方法
EP3521750B1 (en) Captured image evaluation device, method, and program
Sidhu Automated Blastomere Segmentation for Visual Servo on Early-stage Embryo
JP2023096267A (ja) 顕微鏡システム、投影ユニット、及び、選別支援方法
Yao et al. Automatic three-dimensional imaging for blastomere identification in early-stage embryos based on brightfield microscopy
WO2023248958A1 (ja) 顕微鏡システム、投影ユニット、選別支援方法、及び、記録媒体
US20220091408A1 (en) Method, microscope, and computer program for determining a manipulation position in the sample-adjacent region
US10690902B2 (en) Image processing device and microscope system
US11906433B2 (en) System and method for three-dimensional imaging of unstained samples using bright field microscopy
JP2024059329A (ja) 顕微鏡システム
JP2000155266A (ja) 顕微鏡光学系
JP2014092640A (ja) 顕微鏡および制御方法
Wu et al. Three-Dimensional Super-Resolution Imaging of the Cytoskeleton in Hippocampal Neurons Using Selective Plane Illumination
Chang et al. Setup of micromanipulator for sperm selection and injection for IMSI: Configuring the microscope for intracytoplasmic morphology-selected sperm injection (IMSI)
Nolte et al. Digital Microscopy (ODMS)

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21969885

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2023570498

Country of ref document: JP