WO2023248958A1 - 顕微鏡システム、投影ユニット、選別支援方法、及び、記録媒体 - Google Patents

顕微鏡システム、投影ユニット、選別支援方法、及び、記録媒体 Download PDF

Info

Publication number
WO2023248958A1
WO2023248958A1 PCT/JP2023/022472 JP2023022472W WO2023248958A1 WO 2023248958 A1 WO2023248958 A1 WO 2023248958A1 JP 2023022472 W JP2023022472 W JP 2023022472W WO 2023248958 A1 WO2023248958 A1 WO 2023248958A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
sperm
grading
microscope system
microscope
Prior art date
Application number
PCT/JP2023/022472
Other languages
English (en)
French (fr)
Inventor
敏征 服部
拓人 山根
Original Assignee
株式会社エビデント
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社エビデント filed Critical 株式会社エビデント
Publication of WO2023248958A1 publication Critical patent/WO2023248958A1/ja

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/20—Surgical microscopes characterised by non-optical aspects
    • C—CHEMISTRY; METALLURGY
    • C12—BIOCHEMISTRY; BEER; SPIRITS; WINE; VINEGAR; MICROBIOLOGY; ENZYMOLOGY; MUTATION OR GENETIC ENGINEERING
    • C12M—APPARATUS FOR ENZYMOLOGY OR MICROBIOLOGY; APPARATUS FOR CULTURING MICROORGANISMS FOR PRODUCING BIOMASS, FOR GROWING CELLS OR FOR OBTAINING FERMENTATION OR METABOLIC PRODUCTS, i.e. BIOREACTORS OR FERMENTERS
    • C12M1/00—Apparatus for enzymology or microbiology
    • C12M1/34—Measuring or testing with condition measuring or sensing means, e.g. colony counters
    • C—CHEMISTRY; METALLURGY
    • C12—BIOCHEMISTRY; BEER; SPIRITS; WINE; VINEGAR; MICROBIOLOGY; ENZYMOLOGY; MUTATION OR GENETIC ENGINEERING
    • C12Q—MEASURING OR TESTING PROCESSES INVOLVING ENZYMES, NUCLEIC ACIDS OR MICROORGANISMS; COMPOSITIONS OR TEST PAPERS THEREFOR; PROCESSES OF PREPARING SUCH COMPOSITIONS; CONDITION-RESPONSIVE CONTROL IN MICROBIOLOGICAL OR ENZYMOLOGICAL PROCESSES
    • C12Q1/00—Measuring or testing processes involving enzymes, nucleic acids or microorganisms; Compositions therefor; Processes of preparing such compositions
    • C12Q1/02—Measuring or testing processes involving enzymes, nucleic acids or microorganisms; Compositions therefor; Processes of preparing such compositions involving viable microorganisms
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes

Definitions

  • the disclosure of this specification relates to a microscope system, a projection unit, a sorting support method, and a recording medium.
  • ART is a general term for techniques such as in vitro fertilization (IVF) and microinsemination, in which eggs and sperm extracted from humans are fertilized outside the body. It is distinguished from artificial insemination.
  • IVF in vitro fertilization
  • microinsemination in which eggs and sperm extracted from humans are fertilized outside the body. It is distinguished from artificial insemination.
  • Patent Document 1 describes a microscope suitable for intracytoplasmic sperm injection (ICSI) used in microinsemination, which is a type of ART.
  • ICSI is a method in which sperm is directly injected into an egg by inserting an injection pipette containing sperm into an egg fixed with a holding pipette.
  • an object of one aspect of the present invention is to provide a new technique that supports the sperm selection work performed by embryo culturists.
  • a microscope system includes a microscope that forms an image of a sample containing sperm, an imaging device that acquires an image of the sample, and information regarding grading of the sperm based on the image acquired by the imaging device. and a superimposition device that superimposes the auxiliary image on an image plane on which the microscope forms the image.
  • the image processing device extracts one or more parts of the sperm from the image using a segmentation model generated by deep learning, and measures feature quantities measured from the one or more extracted parts.
  • the sperm is graded based on the value and a pre-registered grading standard indicating a relationship between the feature amount and the grade.
  • a projection unit is a projection unit attached to a microscope, and includes an imaging section that acquires an image of a sample containing sperm, and a projection unit that is configured to perform grading of the sperm based on the image acquired by the imaging section.
  • the apparatus includes an image processing section that generates an auxiliary image containing information, and a superimposition section that superimposes the auxiliary image on an image plane on which the microscope forms the image.
  • the image processing unit extracts one or more parts of the sperm from the image using a segmentation model generated by deep learning, and measures feature quantities measured from the one or more extracted parts.
  • the sperm is graded based on the value and a pre-registered grading standard indicating a relationship between the feature amount and the grade.
  • a sorting support method includes forming an image of a sample containing sperm, acquiring an image of the sample, and an auxiliary image containing information regarding grading of the sperm based on the acquired image. and superimposing the auxiliary image on an image plane on which the image is formed.
  • Generating the auxiliary image includes extracting one or more portions of the sperm from the image using a segmentation model generated by deep learning, and measuring from the extracted one or more portions. grading the sperm based on the measured value of the feature amount and a pre-registered grading standard indicating a relationship between the feature amount and the grade.
  • the recording medium is a non-temporary recording medium that stores a program, and the program causes a computer to image a sample containing sperm by using a segmentation model generated by deep learning. extracting one or more parts of the spermatozoa, a measured value of a feature quantity measured from the one or more extracted parts, and a pre-registered grading standard indicating the relationship between the feature quantity and the grade; A process of grading the spermatozoa is performed based on.
  • FIG. 1 is a diagram illustrating the configuration of a microscope system 1.
  • FIG. 1 is a diagram illustrating the configuration of a microscope 100.
  • FIG. 5 is a diagram illustrating the configuration of an operation section of an input device 50.
  • FIG. 2 is a diagram illustrating a hardware configuration of a processing device 200.
  • FIG. It is a flow chart which shows an example of the procedure of ICSI by an embryo culturist.
  • 3 is a diagram illustrating the configuration of a drop formed as a sample 300 in a petri dish 310.
  • FIG. It is a flowchart which shows an example of the sperm selection procedure by an embryo culturist. It is a flowchart which shows an example of selection support processing.
  • 3 is a flowchart illustrating an example of auxiliary image generation processing.
  • FIG. 3 is a diagram showing an example of an optical image generated by the microscope 100.
  • FIG. 5 is a diagram showing an example of a captured image acquired by an imaging device 143.
  • FIG. 3 is a diagram showing an example of object detection results for a captured image.
  • FIG. 3 is a diagram showing an example of a portion extracted by segmentation of a captured image. It is a figure showing an example of grading standard T1.
  • FIG. 3 is a diagram showing an example of a GUI for display settings.
  • 5 is a diagram showing an example of an image seen through the eyepiece lens 101.
  • FIG. 7 is a diagram showing another example of an image seen through the eyepiece lens 101.
  • FIG. 7 is a diagram showing still another example of an image seen through the eyepiece lens 101.
  • FIG. 7 is a diagram showing still another example of an image seen through the eyepiece lens 101.
  • FIG. 7 is a diagram showing still another example of an image seen through the eyepiece lens 101.
  • FIG. 7 is a diagram showing still another example of an image seen through the eyepiece lens 101.
  • FIG. 1 is a diagram illustrating the configuration of a microscope system 2.
  • FIG. 1 is a diagram illustrating the configuration of a microscope system 1.
  • FIG. 2 is a diagram illustrating the configuration of the microscope 100.
  • FIG. 3 is a diagram illustrating the configuration of the operation section of the input device 50.
  • FIG. 4 is a diagram illustrating the configuration of the processing device 200.
  • the microscope system 1 is a system for observing a sample by looking through an eyepiece 101.
  • the microscope system 1 is an inverted microscope system equipped with a transmitted illumination system 120 and used for microinsemination, particularly sperm selection.
  • the microscope system 1 is used, for example, by an embryologist.
  • the sample to be observed is a sperm suspension containing sperm stored in a petri dish or the like.
  • the microscope system 1 includes at least a microscope 100, an imaging device 143, a projection device 153, and a processing device 200.
  • the microscope 100 forms an image (optical image) of a sample containing sperm to be sorted.
  • the imaging device 143 acquires an image (captured image) of the sample.
  • the processing device 200 is an example of an image processing device that generates an auxiliary image based on an image acquired by the imaging device 143.
  • the projection device 153 is an example of a superimposition device that superimposes an auxiliary image on the image plane on which the microscope 100 forms an optical image, and displays the auxiliary image on the image plane.
  • the auxiliary image is an image that includes information regarding sperm grading, and is generated by a combination of processing using AI and rule-based processing.
  • the selection target is an object whose acceptability is determined by the user, and is an object whose selection or non-selection is determined as a result of the acceptability determination.
  • "displaying an image” refers to forming an image (image) so that it is visible. In other words, "displaying an image” means forming an image (image) on a visible surface position).
  • the microscope system 1 includes, in addition to the above-mentioned microscope 100, imaging device 143, projection device 153, and processing device 200, a microscope controller 10, a display device 30, and a plurality of input devices. (input device 40, input device 50, input device 60, input device 70), and an identification device 80. Further, the microscope system 1 is connected to a database server 20 in which various data are stored. Note that in this example, the imaging device 143 and the projection device 153 are arranged within the microscope body 110 of the microscope 100.
  • the microscope 100 is an inverted microscope equipped with an eyepiece 101.
  • the microscope 100 includes a microscope body 110, a plurality of objective lenses 102, a stage 111, a transmitted illumination system 120, and an eyepiece tube 170 attached to the microscope body 110.
  • the microscope 100 includes modulation elements in each of the illumination optical path and the observation optical path for visualizing unstained samples such as sperm and eggs. Users such as embryo cultivators use the microscope 100 to examine samples using four microscopy methods: bright field (BF) observation, polarized light (PO) observation, differential interference interference (DIC) observation, and modulated contrast (MC) observation. can be observed.
  • BF bright field
  • PO polarized light
  • DIC differential interference interference
  • MC modulated contrast
  • RC relief contrast
  • a plurality of objective lenses 102 are attached to a revolver 112.
  • the plurality of objective lenses 102 include an objective lens 102a for BF observation, an objective lens 102b for PO observation and DIC observation, and an objective lens 102c for MC observation.
  • the objective lens 102c includes a modulator 104.
  • the modulator 104 includes three regions with different transmittances (for example, a region with a transmittance of about 100%, a region with a transmittance of about 5%, and a region with a transmittance of about 0%).
  • the plurality of objective lenses 102 may include a plurality of objective lenses with different magnifications for each microscopy method.
  • a 4x objective lens for BF observation a 10x, 20x, and 40x objective lens for MC observation, a 20x objective lens for PO observation, and a 60x objective lens for DIC observation are included. This will be explained using an example.
  • the revolver 112 is a switching device that switches the objective lens placed on the optical path among the plurality of objective lenses 102.
  • the revolver 112 switches the objective lens placed on the optical path depending on the microscopy method and observation magnification.
  • the objective lens placed on the optical path by the revolver 112 guides the transmitted light that has passed through the sample to the eyepiece 101 .
  • a sample placed in a container is placed on the stage 111.
  • the container is, for example, a petri dish, and the sample contains reproductive cells such as sperm and eggs.
  • the stage 111 moves in the optical axis direction of the objective lens 102 arranged on the optical path and in the direction orthogonal to the optical axis of the objective lens 102. Note that the stage 111 may be a manual stage or an electric stage.
  • the transmitted illumination system 120 illuminates the sample placed on the stage 111 from above the stage 111.
  • the transmitted illumination system 120 includes a light source 121 and a universal condenser 122, as shown in FIGS. 1 and 2.
  • the light source 121 may be, for example, an LED (Light Emitting Diode) light source or a lamp light source such as a halogen lamp light source.
  • the universal condenser 122 includes a polarizer 123 (first polarizing plate), a plurality of optical elements housed in a turret 124, and a condenser lens 128.
  • the polarizer 123 is used in MC observation, PO observation, and DIC observation.
  • the turret 124 houses a plurality of optical elements that are switched and used depending on the microscopy method.
  • DIC prism 125 is used for DIC observation.
  • the aperture plate 126 is used for BF observation and PO observation.
  • the optical element 127 is a combination of a slit plate 127a, which is a light-shielding plate in which a slit is formed, and a polarizing plate 127b (second polarizing plate) arranged so as to cover a part of the slit. used.
  • the eyepiece tube 170 includes an eyepiece lens 101.
  • the imaging lens 103 is arranged between the eyepiece lens 101 and the objective lens 102.
  • the imaging lens 103 forms an optical image of the sample on an image plane IP between the eyepiece lens 101 and the imaging lens 103 based on transmitted light.
  • an auxiliary image which will be described later, is also formed on the image plane IP based on light from the projection device 153.
  • the optical image and the auxiliary image are displayed on the image plane IP.
  • a user of the microscope system 1 uses the eyepiece lens 101 to observe the virtual image of the optical image and the auxiliary image formed on the image plane IP.
  • the microscope main body 110 includes a laser assisted hatching unit 130, an imaging unit 140, and a projection unit 150, as shown in FIGS. 1 and 2. Further, the microscope main body 110 includes an intermediate variable magnification unit 160, as shown in FIG. Furthermore, the microscope main body 110 includes a DIC prism 105 and an analyzer 106 that can be inserted into and removed from the optical path.
  • the laser assisted hatching unit 130 is a laser unit placed between the objective lens 102 and the imaging lens 103, as shown in FIG.
  • the laser assisted hatching unit 130 irradiates the sample with laser light by introducing the laser light from between the objective lens 102 and the imaging lens 103. More specifically, the laser assisted hatching unit 130 irradiates the zona pellucida surrounding an embryo grown from a fertilized egg with laser light, for example.
  • Laser assisted hatching unit 130 includes a splitter 131, a scanner 133, a lens 134, and a laser 135.
  • the splitter 131 is, for example, a dichroic mirror.
  • the scanner 133 is, for example, a galvano scanner, and adjusts the irradiation position of the laser beam in a direction perpendicular to the optical axis of the objective lens 102.
  • Lens 134 converts the laser beam into a parallel beam of light. Thereby, the laser beam is focused onto the sample by the objective lens 102.
  • the imaging unit 140 includes a splitter 141 and an imaging device 143 that acquires a captured image of the sample based on transmitted light.
  • Imaging unit 140 is arranged between imaging lens 103 and eyepiece 101.
  • the splitter 141 is, for example, a half mirror.
  • the imaging lens 103 forms an optical image of the sample on the light-receiving surface of an image sensor included in the imaging device 143.
  • the imaging device 143 is, for example, a digital camera that acquires a captured image, and the imaging device included in the imaging device 143 is, for example, a CCD (Charge Coupled Device) image sensor, a CMOS (Complementary Metal-Oxide-Semiconductor) image sensor, etc. It is.
  • the image sensor detects light from the sample and converts the detected light into an electrical signal through photoelectric conversion.
  • the imaging unit 140 outputs the captured image acquired by the imaging device 143 to the processing device 200.
  • the projection unit 150 is arranged between the imaging lens 103 and the eyepiece 101.
  • Projection unit 150 includes a splitter 151, a lens 152, and a projection device 153, as shown in FIG.
  • the splitter 151 is, for example, a half mirror.
  • the projection device 153 projects the auxiliary image generated by the processing device 200. More specifically, the lens 152 focuses the light from the projection device 153 on the image plane of the imaging lens 103, that is, the image plane IP where an optical image is formed, so that the projection device 153 focuses on the image plane IP. Project an auxiliary image.
  • the intermediate variable magnification unit 160 is arranged between the objective lens 102 and the imaging lens 103. As shown in FIG. 2, the intermediate variable magnification unit 160 includes a plurality of lenses (lens 161, lens 162, and lens 163), and by switching the lenses placed on the optical path among these lenses, images are formed on the image plane. Change the magnification of the optical image. By using the intermediate variable magnification unit 160, the magnification of the optical image can be changed without switching the objective lens 102 located near the sample.
  • the DIC prism 105 and analyzer 106 are arranged between the objective lens 102 and the imaging lens 103.
  • DIC prism 105 is used for DIC observation.
  • Analyzer 106 is used for PO observation and DIC observation.
  • a polarizer 123 and an optical element 127 are arranged on the illumination light path as a modulation element (hereinafter referred to as a first modulation element) that modulates the illumination light irradiated onto the sample.
  • a modulator 104 is arranged on the observation optical path as a modulation element (hereinafter referred to as a second modulation element) that modulates transmitted light.
  • a polarizer 123 is placed on the illumination optical path as a first modulation element, and an analyzer 106 is placed on the observation optical path as a second modulation element.
  • a polarizer 123 and a DIC prism 125 are placed on the illumination optical path as a first modulation element, and an analyzer 106 and a DIC prism 105 are placed on the observation optical path as a second modulation element. . Thereby, it is possible to visualize an unstained sample, and for example, sperm selection can be performed.
  • the microscope controller 10 is a device that controls the microscope 100.
  • the microscope controller 10 is connected to the processing device 200, the input device 50, and the microscope 100, and controls the microscope 100 according to commands from the processing device 200 or the input device 50.
  • the display device 30 is, for example, a liquid crystal display, a plasma display, an organic EL display, a CRT display, an LED matrix panel, or the like.
  • the input device 40 includes a handle 41 and a handle 42. By operating the handle 41 and the handle 42, the operation of a micromanipulator (not shown) that moves the pipette 43 and the pipette 44 is controlled. Pipette 43 and pipette 44 are used to manipulate samples in microinsemination work including sperm sorting. Pipette 43 is, for example, a holding pipette, and pipette 44 is, for example, an injection pipette.
  • the input device 50 is a hand switch device for changing settings regarding the microscopy method and observation magnification of the microscope 100. As shown in FIG. 3, the input device 50 has, for example, six buttons (buttons 51 to 56), and the user can quickly change the settings of the microscope 100 by simply pressing these buttons. Can be done.
  • the settings of the microscope 100 are switched to BF observation with a 4x observation magnification (hereinafter referred to as BF4 ⁇ observation).
  • the settings of the microscope 100 are switched to settings for MC observation with an observation magnification of 10x (hereinafter referred to as MC10x observation).
  • the settings of the microscope 100 are switched to settings for MC observation at a magnification of 20 times (hereinafter referred to as MC20x observation).
  • the settings of the microscope 100 are switched to settings for MC observation at a magnification of 40 times (hereinafter referred to as MC40x observation).
  • the settings of the microscope 100 are switched to settings for PO observation at a magnification of 20x (hereinafter referred to as PO20x observation).
  • PO20x observation a magnification of 20x
  • DIC60x observation an observation magnification of 60x
  • the input device 60 is a keyboard.
  • the input device 70 is a mouse.
  • the input device 60 and the input device 70 are each connected to the processing device 200.
  • the microscope system 1 may include other input devices (not shown) such as a touch panel, a voice input device, and a foot pedal.
  • the identification device 80 is a device that acquires identification information attached to a sample. Note that "attached to a sample” includes, for example, a case where identification information is attached to a container containing the sample.
  • the identification information is information that identifies the sample, and more specifically, for example, information that identifies the patient who provided the sample.
  • the identification device 80 may be, for example, a barcode reader, an RFID (registered trademark) reader, a QR code (registered trademark) reader, or the like.
  • the processing device 200 generates an auxiliary image based on the captured image acquired by the imaging device 143.
  • the generated auxiliary image is output to the projection device 153 of the microscope 100, either directly or via the microscope controller 10.
  • the processing device 200 is connected to the microscope 100, the microscope controller 10, the display device 30, the input device 60, the input device 70, and the identification device 80, as shown in FIG.
  • the processing device 200 is also connected to a database server 20.
  • the processing device 200 includes an image analysis section 210, an image generation section 220, and a storage section 230 as functional components related to the generation of auxiliary images.
  • the image analysis unit 210 performs segmentation and feature measurement on the captured image, and grades the sperm based on these results. Further, the image analysis unit 210 may perform object detection on the captured image in addition to segmentation and feature quantity measurement, and may grade the sperm based on these results.
  • the image analysis unit 210 detects sperm from the captured image.
  • the object detection algorithm is not particularly limited as long as it can detect the position of an object classified as a sperm.
  • an object detection model generated by deep learning such as SSD, YOLO, FasterR-CNN, etc., may be used.
  • the image analysis unit 210 extracts the sperm part from the captured image.
  • the segmentation algorithm is not particularly limited as long as one or more parts of each sperm can be extracted instead of extracting the entire sperm in one block.
  • a segmentation model generated by deep learning is used for segmentation.
  • the image analysis unit 210 measures feature quantities from one or more parts of the sperm extracted by segmentation. It is sufficient that the feature quantity can be measured, and the algorithm for measuring the feature quantity is not particularly limited. To measure the feature amount, for example, the measured value of the feature amount may be calculated by performing pre-programmed arithmetic processing using a rule-based model.
  • the image analysis unit 210 grades the sperm based on the measured values of the measured feature amounts and pre-registered grading criteria.
  • the grading standard is information indicating the relationship between the feature amount and the grade of the sperm, and may be information that uniquely determines the grade of the sperm from the measured feature amount.
  • the grading criteria are registered in the microscope system 1 by being stored in the storage unit 230 in advance.
  • the image generation unit 220 generates an auxiliary image including information regarding grading based on the information obtained by the above-described analysis process performed by the image analysis unit 210.
  • the auxiliary image generated by the image generation unit 220 is output to the projection device 153. Thereby, the projection device 153 projects the auxiliary image onto the image plane, and the auxiliary image is displayed superimposed on the optical image.
  • the storage unit 230 stores an AI model (AIM: for example, the above-mentioned object detection model, segmentation model, etc.), a rule-based model (RBM), and a grading standard (G standard) used in image analysis performed by the image analysis unit 210.
  • AI model for example, the above-mentioned object detection model, segmentation model, etc.
  • RBM rule-based model
  • G standard grading standard
  • the processing device 200 may be a general-purpose computer or a dedicated computer. Although the processing device 200 is not particularly limited to this configuration, it may have a physical configuration as shown in FIG. 4, for example. Specifically, the processing device 200 may include a processor 201, a storage device 202, an input interface (I/F) 203, an output interface (I/F) 204, and a communication device 205. They may be connected to each other by a bus 206.
  • the processor 201 may include hardware, and the hardware may include, for example, at least one of a circuit for processing digital signals and a circuit for processing analog signals.
  • Processor 201 may include one or more circuit devices (eg, ICs) or one or more circuit elements (eg, resistors, capacitors), eg, on a circuit board.
  • the processor 201 may be a CPU (central processing unit). Further, various types of processors including a GPU (Graphics processing unit) and a DSP (Digital Signal Processor) may be used as the processor 201.
  • the processor 201 may be a hardware circuit including an ASIC (Application Specific Integrated Circuit) or an FPGA (Field-Programmable Gate Array).
  • Processor 201 can include an amplifier circuit, a filter circuit, etc. for processing analog signals.
  • the processor 201 functions as the image analysis section 210 and image generation section 220 described above by executing a program stored in the storage device 202.
  • the storage device 202 may include memory and/or other storage devices.
  • the memory may be, for example, random access memory (RAM).
  • the memory may be a semiconductor memory such as SRAM (Static Random Access Memory) or DRAM (Dynamic Random Access Memory).
  • the storage device 202 may be, for example, a register, a magnetic storage device such as a hard disk drive, an optical storage device such as an optical disk drive, an internal or external hard disk drive, a solid state storage device, a CD-ROM, a DVD, or other optical or magnetic storage device. It may also include disk storage or other storage devices.
  • the storage device 202 stores the program executed by the processor 201, the various models described above, and the grading criteria in a rewritable memory, and functions as the storage unit 230 described above. Note that the storage device 202 is an example of a non-transitory computer-readable storage medium.
  • the input I/F 203 is connected to an input device operated by a user of the microscope system 1 (for example, an embryo culturist), receives an operation signal corresponding to an operation on the input device, and outputs it to the processor 201.
  • a user of the microscope system 1 for example, an embryo culturist
  • the output I/F 204 is connected to the display device 30.
  • the output I/F 204 may further be connected to an audio output device such as a speaker that outputs audio, a light emitting device such as a lamp that outputs light, a vibration device such as a vibrator that outputs vibration, etc. (not shown).
  • the communication device 205 is a device that exchanges data with the microscope 100 and other devices.
  • the communication device 205 may be a communication device that exchanges data by wire, or may be a communication device that exchanges data wirelessly.
  • the programs, various models, and grading standards stored in the storage device 202 may be acquired by the communication device 205 from another device via the Internet.
  • the microscope system 1 configured as described above, it is possible to support the sperm selection work performed by embryonic cultivators while solving the problems that would arise if the determination of the quality of sperm is left to AI. Specifically, it is as follows.
  • the grade of the sperm is determined based on the measured value of the feature quantity measured from the sperm part and the grading criteria registered in advance, the basis for determining the grade is clear. Therefore, by registering appropriate grading standards in advance, the embryo culturist can trust the sperm grading performed by the microscope system 1 and use it for final decision making.
  • the microscope system 1 can be used in various facilities with different standards, and the microscope system 1 can be introduced into each facility in a relatively short period of time.
  • segmentation models can be used in common regardless of facility. In other words, no learning work is required to construct a model that meets the standards of each facility. Therefore, without imposing an excessive burden on the facility when introducing the system, it is possible to perform high-accuracy and high-speed region extraction using artificial intelligence (segmentation model) to extract specific regions (parts) of sperm. This makes it possible to provide a system with a high level of balance between installation cost and performance.
  • artificial intelligence segmentation model
  • Microscope System 1 solves two problems at the same time: high introduction costs due to the need for learning according to the facility's own standards, and a black box regarding the basis of judgment, and enables embryo culturists to It is possible to appropriately support the sperm sorting work carried out by
  • the image analysis unit 210 described above measures at least the feature quantities of the head, midpiece, tail, and vacuole of the sperm extracted by using a segmentation model. This is because, in sperm selection, the quality of sperm is often evaluated using features that characterize these parts (head, midpiece/tail, and vacuole).
  • the measured features include the length of the head, the width of the head, the width of the middle piece and the tail, the length of the middle piece and the tail, and the length of the middle piece and tail relative to the head. It is desirable that at least one of the slope of vacuoles and the number of vacuoles be included. This is because these feature amounts are particularly often used in sperm selection. Thereby, in grading, it is possible to appropriately respond to various grading standards that differ from facility to facility using these feature amounts.
  • feature quantities be measured using a rule-based model. As a result, even if a new feature quantity is used as a grading standard, it can be handled simply by modifying the measurement program, and the impact on the field can be minimized.
  • the image analysis unit 210 extract at least the head, midpiece/tail, and vacuole of the sperm from the captured image using a segmentation model. This is because by distinguishing and extracting these portions using the segmentation model, the feature amounts of these portions can be easily measured using the rule-based model in feature amount measurement. Therefore, it is possible to enjoy the above-mentioned advantages obtained by using the rule-based model.
  • the image analysis unit 210 may use a segmentation model to extract one or more portions of sperm from the region in the captured image narrowed down by the object detection model.
  • a segmentation model By excluding regions other than sperm from the segmentation target region in advance using an object detection model, it is possible to prevent regions other than sperm from being mistakenly identified as sperm parts and extracted.
  • the image generation unit 220 described above generates an auxiliary image that includes at least one of grade information indicating the grade of sperm and measured values of feature quantities outside the numerical range that should be satisfied by sperm of the highest grade. That is, the information regarding grading included in the auxiliary image preferably includes at least one of the grade information and the measured value of the feature amount outside the numerical range to be satisfied, and it is desirable that at least one of the two be displayed on the image plane.
  • grade information on the image plane it is possible to directly understand the grade of sperm. Furthermore, by displaying the measured values of the feature amounts outside the numerical range, it is possible to understand whether there are feature amounts that do not match the conditions and to what extent they do not match the conditions. Therefore, a user who is aware of the grading standards can indirectly understand the grade. Furthermore, by displaying the measured values of feature quantities outside the numerical range, it is possible to understand the basis for judgment as well as the grade. In this way, by including the above-mentioned information in the auxiliary image, the user can understand the grade of sperm and the basis for its determination from the auxiliary image.
  • the image generation unit 220 it is more desirable for the image generation unit 220 to generate an auxiliary image that includes both grade information indicating the grade of sperm and measured values of feature amounts outside the numerical range that should be satisfied. However, these pieces of information may be switched and displayed as appropriate. Therefore, the image generation unit 220 only needs to generate an auxiliary image that includes at least one of the two.
  • the image generation unit 220 changes the configuration of information regarding grading according to the display settings. That is, the content and number of information included in the auxiliary image may be changed. As a result, in the microscope system 1, it is possible to change the information displayed on the image plane as an auxiliary image depending on the user or the sperm donor, thereby avoiding deterioration in the visibility of the optical image due to too much information. be able to.
  • the image generation unit 220 may generate an auxiliary image that includes grade information, and may generate an auxiliary image that includes grade information (for example, only the best grade G1, only grade G1 and grade G2, etc.). ) may also be used to generate an auxiliary image that includes only grade information. For example, by displaying only the grade information indicating grade G1, the embryo cultivator can easily identify the sperm that best matches the grading criteria. On the other hand, depending on the sperm donor, there may be almost no grade G1 sperm. In such a case, the display settings may be changed to display grade information corresponding to multiple grades.
  • grade information for example, only the best grade G1, only grade G1 and grade G2, etc.
  • the image generation unit 220 may generate an auxiliary image that includes a measured value of a feature amount (hereinafter also referred to as an abnormal value) outside the numerical value range that should be satisfied.
  • an abnormal value a measured value of a feature amount
  • the embryo cultivator can understand the basis for the judgment, and can perform sperm selection work with peace of mind.
  • the display of grade information may be turned off and only abnormal values may be displayed.
  • the storage unit 230 described above stores the grading criteria in a rewritable memory. Thereby, it is possible to update the grading standards according to the facility, and the grading standards registered in the microscope system 1 can be easily adjusted for each facility.
  • a dedicated GUI for updating the grading criteria may be provided, and the processing device 200 may update the registered grading criteria in accordance with grading settings made on the GUI. Note that the grading settings may be performed by directly rewriting the settings file.
  • the storage unit 230 may store a plurality of grading standards in a rewritable memory. Thereby, it is possible to select a grading standard that matches the standards of the institution for each facility, and it is possible to easily change the grading standard used for grading for each facility.
  • a dedicated GUI for selecting a grading standard may be provided, and the processing device 200 may determine a grading standard to be used for grading from a plurality of grading standards in accordance with grading settings made on the GUI. good. Note that the grading settings may be performed by directly rewriting the settings file.
  • the grading criteria stored in the storage unit 230 include information regarding one or more combinations of feature amounts and numerical ranges that should be satisfied by sperm of the highest grade in the measurement value of the feature amount.
  • FIG. 5 is a flowchart showing an example of an ICSI procedure performed by an embryonic cultivator.
  • FIG. 6 is a diagram illustrating the configuration of a drop formed as a sample 300 in a petri dish 310.
  • FIG. 7 is a flowchart showing an example of a sperm selection procedure by an embryologist.
  • FIG. 8 is a flowchart illustrating an example of the sorting support process.
  • FIG. 9 is a flowchart illustrating an example of auxiliary image generation processing.
  • FIG. 10 is a diagram showing an example of an optical image generated by the microscope 100.
  • FIG. 11 is a diagram showing an example of a captured image acquired by the imaging device 143.
  • FIG. 12 is a diagram showing an example of object detection results for a captured image.
  • FIG. 13 is a diagram showing an example of a portion extracted by segmentation of a captured image.
  • FIG. 14 is a diagram showing an example of the grading standard T1.
  • FIGS. 5 to 21 specific utilization of the sperm selection support method performed by the microscope system 1 in ICSI will be described.
  • the user prepares a sample (step S1).
  • a sample 300 containing a plurality of drops in a petri dish 310 and places it on the stage 111.
  • the drop 301 is a cleaning drop and is used to clean the pipette.
  • the drop 302 is a sperm suspension drop, for example, a sperm suspension dropped into a PVP solution.
  • the drop 303 is a drop for manipulating eggs, for example, an egg is placed in an m-HTF solution. Note that the m-HTF solution is a Hepps-containing HTF solution to which 10% serum was added. These drops are coated with mineral oil.
  • the user sets up the microscope system 1 (step S2).
  • the user for example, presses the button 51 of the input device 50 to switch the setting of the microscope system 1 to BF4 ⁇ observation.
  • the input device 40 is operated to adjust the positions of the pipettes 43 and 44, and the pipettes 43 and 44 are brought into focus.
  • the stage 111 is moved to wash the pipettes 43 and 44 with the drop 301 (washing drop).
  • the user checks the state of the egg (egg cell) in the drop 303 (egg manipulation drop) (step S3).
  • the user for example, presses the button 53 of the input device 50 to switch the setting of the microscope system 1 to MC20x observation. Observe the morphology of the eggs using MC20x observation and select the eggs. Further, for example, the setting of the microscope system 1 may be switched to PO20x observation by pressing the button 55 of the input device 50. By observing the spindle of the egg by PO20x observation, the degree of maturity of the egg may be determined, and the eggs may be further sorted.
  • step S4 the user presses the button 54 on the input device 50 to switch the settings of the microscope system 1 to MC40x observation, for example. Then, the stage 111 is moved to move the observation position to the drop 302 (sperm floating drop), and the sperm is focused on by MC40 ⁇ observation (step S11).
  • step S12 the user selects sperm suitable for fertilization by MC40x observation.
  • an embryologist would judge the quality of the sperm based on the morphology and motility of the sperm observed using optical images, and then select the sperm based on that judgment.
  • determining the quality of sperm depends largely on the experience of embryologists, and the problem has been the variation in skills among embryologists and the resulting disparity in fertilization rates.
  • standards for good and bad embryonics often differ depending on the facility to which the embryologist belongs, and when an embryologist moves from one facility to another, he or she is required to perform work in accordance with the standards of the new facility.
  • the microscope system 1 grades the sperm included in the captured image in step S12, and displays an auxiliary image containing information regarding the grading on the image plane.
  • This allows embryologists to judge the quality of sperm by referring to auxiliary images without relying solely on subjective judgment, thereby reducing disparities in fertilization rates among embryologists.
  • AI is used to measure features from the extracted sperm part, and the grading standards are rewritten by grading the sperm based on the measured features and pre-registered grading standards.
  • the microscope system 1 performs the sorting support process shown in FIG. 8, so that the auxiliary image is displayed on the image plane together with the optical image.
  • the microscope system 1 forms an optical image of the sample on the image plane (step S21).
  • the microscope 100 forms, for example, an optical image O1 shown in FIG. 10 on the image plane.
  • the region 143R shown in FIG. 10 indicates the region photographed by the imaging device 143 in step S22.
  • the microscope system 1 acquires a captured image (step S22).
  • the imaging device 143 acquires a captured image D1 of the sample shown in FIG. 11, for example, based on light from the sample, and outputs the acquired captured image D1 to the processing device 200.
  • the microscope system 1 After that, the microscope system 1 generates an auxiliary image based on the captured image (step S23).
  • the processing device 200 performs the auxiliary image generation process shown in FIG.
  • the processing device 200 first performs object detection on the captured image D1 (step S31).
  • the image analysis unit 210 detects the position of the object classified as sperm by inputting the captured image D1 to an object detection model obtained by deep learning.
  • FIG. 12 shows a state in which a box B is attached to the position of an object whose sperm has been classified by object detection.
  • the processing device 200 When the position of the sperm is detected by object detection, the processing device 200 performs segmentation on the captured image D1 (step S32).
  • the image analysis unit 210 extracts the head, middle segment/tail, and vacuole of the sperm by inputting the captured image D1 into a segmentation model obtained by deep learning. Note that FIG. 13 shows how the head H of the sperm, the middle segment/tail MT of the sperm, and the vacuole V are distinguished by segmentation.
  • the processing device 200 measures the feature amounts of the head, midpiece/tail, and vacuole extracted in step S32 (step S33).
  • the image analysis unit 210 measures the feature amount through predetermined calculation processing using a rule-based model.
  • the feature amount to be measured may be determined in advance regardless of the grading standard, or may be determined according to the grading standard used for grading in step S34.
  • the length and width of the head are measured as the feature quantities of the head, and the length and width of the middle piece and tail are measured as the feature quantities of the middle piece and tail.
  • the number of vacuoles is exemplified as a characteristic amount of vacuoles.
  • the processing device 200 reads out the grading criteria (step S34).
  • the image analysis unit 210 reads the grading criteria from the storage unit 230.
  • the grading standard is stored in the storage unit 230 in a table format, such as the grading standard T1 shown in FIG. Contains information regarding one or more combinations.
  • the conditions under which sperm are graded to a specific grade may be defined using the conditions under which sperm are graded to other grades (grade G1, grade G2, grade G4). good.
  • a plurality of different conditions for grading to a specific grade may be defined as long as they do not contradict each other.
  • the image analysis unit 210 selects a grading standard to be used for grading from the plurality of grading standards stored in the storage unit 230 according to the grading settings. may be determined. That is, in step S34, the image analysis unit 210 may determine a grading standard according to the grading settings, and read the determined grading standard from the storage unit 230. Grading settings may be performed, for example, by the embryologist directly selecting grading criteria, or by the embryologist logging into the microscope system 1 and setting user information (for example, the facility to which the user belongs). information).
  • the grading standard T1 shown in FIG. 14 is read out will be described as an example.
  • the processing device 200 grades the sperm (step S35).
  • the image analysis unit 210 grades the sperm based on the measured value of the feature amount measured in step S33 and the grading standard read out in step S34.
  • the processing device 200 generates an auxiliary image according to the display settings (step S36).
  • the image generation unit 220 first determines information regarding the grading of sperm to be included in the auxiliary image according to the display settings. That is, the configuration of information regarding grading is changed according to the display settings.
  • the display settings can be arbitrarily set by the embryo culturist on the GUI as shown in FIG. 15, for example.
  • region R1 it is possible to set grade information to be included in the auxiliary image.
  • the image generation unit 220 determines whether grade information is included in the information regarding grading and for which grade the grade information is included, depending on the settings of the region R1.
  • region R2 it is possible to set measurement value information to be included in the auxiliary image.
  • the image generation unit 220 determines whether to include measurement value information in the information regarding grading and which feature quantity measurement value to include, depending on the settings of the region R2.
  • the image generation unit 220 may decide to extract only abnormal values from the measured values and include them in the information regarding grading.
  • the image generation unit 220 generates an auxiliary image including information regarding the grading of the determined configuration and outputs it to the projection device 153.
  • the image generation unit 220 generates the auxiliary image so that information regarding sperm grading is displayed near the sperm region in the optical image and at a position that does not overlap with the sperm region.
  • the position of the information regarding grading may be determined based on the position of the sperm detected by object detection or the position of the part of the sperm extracted by segmentation.
  • the microscope system 1 superimposes the auxiliary image on the image plane (step S24).
  • the projection device 153 superimposes the auxiliary image on the image plane on which the optical image is formed. Thereby, the user can simultaneously check the optical image O1 displayed on the image plane and the auxiliary image, for example, as shown in FIGS. 16 to 21.
  • the embryo culturist can select sperm from among the noteworthy sperm narrowed down by the auxiliary images, focusing mainly on the motility of the sperm ascertained from the optical image O1.
  • FIG. 16 is an example of an image displayed on the image plane when only the checkbox C11 in the area R1 is selected in the display setting GUI shown in FIG. 15. It shows how the auxiliary image A1 overlaps the optical image O1.
  • the auxiliary image A1 includes only grade information indicating grade G1 sperm. With such display settings, the embryologist's attention can be focused on the highest grade sperm.
  • the example shown in FIG. 17 is an example of an image displayed on the image plane when check box C11 and check box C12 in area R1 are selected in the display setting GUI shown in FIG. 15. It shows how the auxiliary image A2 overlaps the optical image O1.
  • the auxiliary image A2 includes grade information indicating grade G1 sperm and grade information indicating grade G2 sperm. With such display settings, a plurality of spermatozoa can be displayed as selection candidates even when there are few spermatozoa of the highest grade.
  • the example shown in FIG. 18 is an example of an image displayed on the image plane when check box C21, check box C22, check box C23, and check box C25 in area R2 are selected in the display setting GUI shown in FIG. It is. It shows how the auxiliary image A3 overlaps the optical image O1.
  • Auxiliary image A3 shows the measured values of head length (HA), head width (HW), number of vacuoles (V), and midpiece/tail width (NW) for each sperm. It is included.
  • a measured value is an abnormal value (that is, a measured value outside the numerical range that should be met for sperm of the highest grade)
  • abnormal measured values are distinguished from other measured values. Displayed in different ways (for example, different colors, different font sizes, different fonts, addition of marks indicating abnormal values, etc.). With such display settings, the embryo cultivator can select sperm while recognizing the characteristic amounts of each sperm.
  • the example shown in FIG. 19 is an example of an image displayed on the image plane when only check box C26 in area R2 is selected in the display setting GUI shown in FIG. 15. It shows how the auxiliary image A4 overlaps the optical image O1.
  • the auxiliary image A4 includes only abnormal values among the measured values of the feature quantities of the sperm. With such display settings, only the abnormal values of each sperm are displayed, so that the highest grade sperm without abnormal values can be easily distinguished. Furthermore, the degree of abnormality can be recognized from abnormal values for sperm of grades other than the highest.
  • Auxiliary image A5 includes grade information indicating grade G1 sperm, grade information indicating grade G2 sperm, and for each sperm, head length (HA), head width (HW), and vacuole. number (V), and the measured values of the width (NW) of the middle piece and tail.
  • the example shown in FIG. 21 is displayed on the image plane when check box C11 and check box C12 in area R1 are selected and check box C26 in area R2 is selected in the display setting GUI shown in FIG. 15.
  • This is an example of an image. It shows how the auxiliary image A6 overlaps the optical image O1.
  • the auxiliary image A6 includes grade information indicating sperm of grade G1, grade information indicating sperm of grade G2, and an abnormal value among the measured values of the feature quantity of the sperm. With such display settings, information about the recommendation level (grade) of sperm and the degree of abnormality can be provided with a minimum amount of display.
  • display settings described above are just examples, and other display settings may be possible.
  • display of measured values of feature quantities other than the feature quantities shown in FIG. 15 may also be settable.
  • step S12 the user damages the tail of the sperm using RC40x observation to immobilize the sperm (step S13).
  • the user immobilizes the sperm by rubbing the tail of the sperm against the bottom of the Petri dish 310 with a pipette.
  • the user may observe the morphology of the immobilized sperm in more detail and further select the sperm (step S14).
  • the user may use, for example, the intermediate magnification unit 160 to change the magnification to higher than 40 times, and may further select the sperm by observing at a higher magnification than in step S12.
  • the microscope system 1 may support the embryonic cultivator's sperm selection work by performing the selection support process shown in FIG. 8 and displaying an auxiliary image on the image plane, similarly to step S12.
  • the user then takes the sorted sperm into the pipette 44, which is an injection pipette, and moves the observation position to the drop 303 (egg manipulation drop) (step S15), as shown in FIG. Complete the sequence of steps for sperm selection shown in .
  • the user confirms the position of the spindle in preparation for sperm injection (step S5).
  • the user observes the egg selected in step S3 that is present in the drop 303 and confirms the position of the spindle of the egg.
  • the user presses the button 55 of the input device 50, for example, to switch the setting of the microscope system 1 to PO20x observation.
  • the user changes the orientation of the oocyte spindle visualized by PO20x observation by operating the pipette 43, which is a holding pipette, so that it is positioned at the 12 o'clock or 6 o'clock direction. This is to prevent the spindle from being damaged by the pipette that is thrust into the egg from the 3 o'clock or 9 o'clock direction in step S6, which will be described later.
  • the user injects the sperm into the egg (step S6) and ends the ICSI.
  • the user for example, presses the button 53 of the input device 50 to switch the setting of the microscope system 1 to MC20x observation. Thereafter, under MC20x observation, the user fixes the oocyte whose orientation was adjusted in step S5 with a pipette 43, which is a holding pipette, and pierces it with a pipette 44, which is an injection pipette. Thereafter, good spermatozoa are injected into the egg from the pipette 44.
  • the user After completing the series of ICSI procedures shown in FIG. 5, the user returns the sperm-injected eggs to the incubator and culture them. Further, the user may operate the processing device 200 using the input device 60 and the input device 70 to save information obtained by ICSI in the database server 20. For example, images of eggs injected with sperm, images of sorted sperm, ICSI work hours, patient information on sperm and eggs (mother's clinical data, test results of semen containing sperm, etc.), sperm and eggs, etc. Culture solution data (for example, type, concentration, PH, etc.) may be associated and stored in the database server 20.
  • Culture solution data for example, type, concentration, PH, etc.
  • the microscope system 1 grades the sperm by segmenting the sperm and measuring the morphological features, and displays the obtained information on the image plane as an auxiliary image. This allows the embryo cultivator to easily and uniformly judge the quality of the sperm in terms of morphology. Therefore, in conjunction with the sperm motility determined from the optical image, embryo culturists can select good sperm from a sample, and this can reduce disparities in fertilization rates among embryo culturists. .
  • the microscope system 1 it is possible to effectively support the embryo cultivator's work of sorting sperm within a sample.
  • the microscope system 1 was illustrated, but the configuration of the microscope system is not limited to this example.
  • a microscope system 2 shown in FIG. 22 may be used.
  • the microscope system 2 differs from the microscope system 1 in that it includes a microscope 400 instead of the microscope 100.
  • the microscope 400 includes a projection unit 500 between a microscope main body 410 and a lens barrel 420.
  • the projection unit 500 is a projection unit for a microscope, and includes a superimposing section (splitter 151, lens 152, and projection device 153) corresponding to the projection unit 150 shown in FIG. 1, and an imaging section corresponding to the imaging unit 140 shown in FIG. (splitter 141 and imaging device 143), and an image processing section 510.
  • the image processing section 510 functions as the image analysis section 210, image generation section 220, and storage section 230 shown in FIG.
  • the projection unit 500 and the microscope system 2 can also provide the same effects as the microscope system 1. Further, by using the projection unit 500, the above-described effects can be obtained by expanding an existing microscope system, so that the existing microscope system can be effectively utilized.
  • the projection device 153 projects the auxiliary image onto the image plane, but it is sufficient if the auxiliary image can be displayed on the image plane, and instead of the projection device 153, a transmissive liquid crystal placed on the image plane may be used. A device may also be used.
  • the image generation unit 220 changes the configuration of information related to grading included in the auxiliary image according to the display settings.
  • the structure of the information may be changed. For example, if the length and width of the head, the number of vacuoles, and the width of the midpiece and tail are used in the grading criteria, an auxiliary image may be used to display the measured values of these features. may be generated.
  • the expression “based on A” does not mean “based only on A,” but “based at least on A,” and furthermore, “based at least in part on A.” It also means “te”. That is, “based on A” may be based on B in addition to A, or may be based on a part of A.
  • Microscope system 10 Microscope controller 20: Database server 30: Display device 40, 50, 60, 70: Input device 80: Identification device 100, 400: Microscope 101: Eyepiece 140: Imaging unit 143: Imaging device 150 : Projection unit 153 : Projection device 160 : Intermediate magnification unit 170 : Eyepiece tube 200 : Processing device 201 : Processor 202 : Storage device 210 : Image analysis section 220 : Image generation section 230 : Storage section 300 : Sample 500 : Projection unit 510: Image processing units A1 to A6: Auxiliary image D1: Captured image H: Head IP: Image plane MT: Tail O1: Optical image V: Vacuole

Landscapes

  • Chemical & Material Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Organic Chemistry (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Zoology (AREA)
  • Wood Science & Technology (AREA)
  • Analytical Chemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • Biotechnology (AREA)
  • Physics & Mathematics (AREA)
  • Microbiology (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Biochemistry (AREA)
  • Proteomics, Peptides & Aminoacids (AREA)
  • General Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Genetics & Genomics (AREA)
  • Immunology (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Pathology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Biophysics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Animal Behavior & Ethology (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Medicinal Chemistry (AREA)
  • Sustainable Development (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Microscoopes, Condenser (AREA)
  • Investigating Or Analysing Biological Materials (AREA)

Abstract

顕微鏡システム（１）は、***を含む試料の像を形成する顕微鏡（１００）と、試料の像を取得するイメージング装置（１４３）と、取得した像に基づいて***のグレーディングに関する情報を含む補助画像を生成する処理装置（２００）と、補助画像を顕微鏡（１００）が像を形成する像面に重畳する投影装置（１５３）を備える。処理装置（２００）は、深層学習によって生成されたセグメンテーションモデルを利用して、像から***の１つ以上の部分を抽出する。処理装置（２００）は、さらに、抽出した１つ以上の部分から計測された特徴量の計測値と、予め登録された、特徴量とグレードの関係を示すグレーディング基準と、に基づいて***をグレーディングする。

Description

顕微鏡システム、投影ユニット、選別支援方法、及び、記録媒体
　本明細書の開示は、顕微鏡システム、投影ユニット、選別支援方法、及び、記録媒体に関する。
　晩婚化・晩産化が進む現在、不妊治療を受ける患者の数は年々増加しており、生殖補助医療（ＡＲＴ：Ａｓｓｉｓｔｅｄ　Ｒｅｐｒｏｄｕｃｔｉｖｅ　Ｔｅｃｈｎｏｌｏｇｙ）の需要もますます高まっている。
　ＡＲＴは、体外受精（ＩＶＦ：Ｉｎ　ｖｉｔｒｏ　ｆｅｒｔｉｌｉｚａｔｉｏｎ）や顕微授精など、ヒトから取り出した卵子と***を体外で受精させる技術の総称であり、採取した***を子宮に注入し体内で卵子と受精させる一般的な人工授精とは区別される。
　ＡＲＴに関連する技術は、例えば、特許文献１に記載されている。特許文献１には、ＡＲＴの一種である顕微授精において用いられる卵細胞質内***注入法（ＩＣＳＩ：Ｉｎｔｒａｃｙｔｏｐｌａｓｍｉｃ　ｓｐｅｒｍ　ｉｎｊｅｃｔｉｏｎ）に好適な顕微鏡が記載されている。なお、ＩＣＳＩは、ホールディングピペットで固定した卵子に***が納められたインジェクションピペットを突き刺すことで卵子内に***を直接注入する方法である。
国際公開第２０１２／１５０６８９号
　ところで、ＩＣＳＩの成功率を高めるためには、***を選別して受精に適した***を卵子に注入することが重要である。しかしながら、選別作業により得られる***が良質か否かは、作業者である胚培養士の経験によるところが大きく、胚培養士間で受精率に格差が生じやすい。このため、人工知能（ＡＩ：Ａｒｔｉｆｉｃｉａｌ Ｉｎｔｅｌｌｉｇｅｎｃｅ）を用いて胚培養士が行う***の選別作業を支援することが検討されている。
　しかしながら、ＡＩに***の良否判断を委ねると、良否判断の根拠がブラックボックス化してしまう。このため、判断結果に対して安心感が得られず、胚培養士が最終的な意思決定を行いにくいといった課題がある。また、良好・不良の基準が胚培養士が所属する施設（例えば、大学病院やクリニックなど）毎に異なっているため、施設毎にその施設の基準を学習したＡＩの構築が必要となるといった課題もある。このような運用開始前に各施設に大きな負担を強いる仕組みの導入準備を日々の業務行いながら実施することは時間的に困難である。
　以上のような実情から、本発明の一側面に係る目的は、胚培養士が行う***の選別作業を支援する新たな技術を提供することである。
　本発明の一態様に係る顕微鏡システムは、***を含む試料の像を形成する顕微鏡と、前記試料の像を取得するイメージング装置と、前記イメージング装置で取得した像に基づいて前記***のグレーディングに関する情報を含む補助画像を生成する画像処理装置と、前記補助画像を、前記顕微鏡が前記像を形成する像面に重畳する重畳装置と、を備える。前記画像処理装置は、深層学習によって生成されたセグメンテーションモデルを利用して、前記像から前記***の１つ以上の部分を抽出し、抽出した前記１つ以上の部分から計測された特徴量の計測値と、予め登録された、前記特徴量とグレードの関係を示すグレーディング基準と、に基づいて前記***をグレーディングする。
　本発明の一態様に係る投影ユニットは、顕微鏡に装着される投影ユニットであって、***を含む試料の像を取得するイメージング部と、前記イメージング部で取得した像に基づいて前記***のグレーディングに関する情報を含む補助画像を生成する画像処理部と、前記補助画像を、前記顕微鏡が前記像を形成する像面に重畳する重畳部と、を備える。前記画像処理部は、深層学習によって生成されたセグメンテーションモデルを利用して、前記像から前記***の１つ以上の部分を抽出し、抽出した前記１つ以上の部分から計測された特徴量の計測値と、予め登録された、前記特徴量とグレードの関係を示すグレーディング基準と、に基づいて前記***をグレーディングする。
　本発明の一態様に係る選別支援方法は、***を含む試料の像を形成することと、前記試料の像を取得することと、取得した像に基づいて前記***のグレーディングに関する情報を含む補助画像を生成することと、前記補助画像を、前記像が形成される像面に重畳することと、を備える。前記補助画像を生成することは、深層学習によって生成されたセグメンテーションモデルを利用して、前記像から前記***の１つ以上の部分を抽出することと、抽出した前記１つ以上の部分から計測された特徴量の計測値と、予め登録された、前記特徴量とグレードの関係を示すグレーディング基準と、に基づいて前記***をグレーディングすることと、を含む。
　本発明の一態様に記録媒体は、プログラムを記録した非一時的な記録媒体であって、前記プログラムは、コンピュータに、深層学習によって生成されたセグメンテーションモデルを利用して、***を含む試料の像から前記***の１つ以上の部分を抽出し、抽出した前記１つ以上の部分から計測された特徴量の計測値と、予め登録された、前記特徴量とグレードの関係を示すグレーディング基準と、に基づいて前記***をグレーディングする処理を実行させる。
　上記の態様によれば、胚培養士が行う***の選別作業における試料の良否判断を支援することができる。
顕微鏡システム１の構成を例示した図である。 顕微鏡１００の構成を例示した図である。 入力装置５０の操作部の構成を例示した図である。 処理装置２００のハードウェア構成を例示した図である。 胚培養士によるＩＣＳＩの手順の一例を示すフローチャートである。 シャーレ３１０内に試料３００として形成されるドロップの構成を例示した図である。 胚培養士による***選別手順の一例を示すフローチャートである。 選別支援処理の一例を示すフローチャートである。 補助画像生成処理の一例を示すフローチャートである。 顕微鏡１００で生成される光学像の一例を示した図である。 イメージング装置１４３で取得される撮像画像の一例を示した図である。 撮像画像に対する物体検出結果の一例を示した図である。 撮像画像に対するセグメンテーションによって抽出される部分の一例を示した図である。 グレーディング基準Ｔ１の一例を示した図である。 表示設定用のＧＵＩの一例を示した図である。 接眼レンズ１０１から見える画像の一例を示した図である。 接眼レンズ１０１から見える画像の別の例を示した図である。 接眼レンズ１０１から見える画像の更に別の例を示した図である。 接眼レンズ１０１から見える画像の更に別の例を示した図である。 接眼レンズ１０１から見える画像の更に別の例を示した図である。 接眼レンズ１０１から見える画像の更に別の例を示した図である。 顕微鏡システム２の構成を例示した図である。
　図１は、顕微鏡システム１の構成を例示した図である。図２は、顕微鏡１００の構成を例示した図である。図３は、入力装置５０の操作部の構成を例示した図である。図４は、処理装置２００の構成を例示した図である。
　顕微鏡システム１は、接眼レンズ１０１を覗いて試料を観察するためのシステムである。具体的には、顕微鏡システム１は、顕微授精、特に、***選別に用いられる、透過照明系１２０を備えた倒立型の顕微鏡システムである。顕微鏡システム１は、例えば、胚培養士によって利用される。観察対象である試料は、***選別作業時であれば、シャーレなどに収容された***を含む***懸濁液などである。
　顕微鏡システム１は、少なくとも、顕微鏡１００と、イメージング装置１４３と、投影装置１５３と、処理装置２００と、を備えている。顕微鏡１００は、選別対象である***を含む試料の像（光学像）を形成する。イメージング装置１４３は、試料の像（撮像画像）を取得する。処理装置２００は、イメージング装置１４３で取得した像に基づいて補助画像を生成する画像処理装置の一例である。投影装置１５３は、補助画像を顕微鏡１００が光学像を形成する像面に重畳する重畳装置の一例であり、補助画像を像面に表示する。
　なお、補助画像とは、***のグレーディングに関する情報を含む画像であり、ＡＩを用いた処理とルールベースの処理との組み合わせで生成される。また、選別対象とは、利用者によって良否が判断される対象であり、良否判断の結果、選択又は非選択が決定される対象のことをいう。また、本明細書において、“像（画像）を表示する”とは、像（画像）を視認可能に形成することをいい、別の言い方では、像（画像）を形成し視認可能な面（位置）に配置することをいう。
　以下、図１から図４を参照しながら、顕微鏡システム１の構成の具体例について詳細に説明する。顕微鏡システム１は、図１に示すように、上述した、顕微鏡１００と、イメージング装置１４３と、投影装置１５３と、処理装置２００に加えて、顕微鏡コントローラ１０と、表示装置３０と、複数の入力装置（入力装置４０、入力装置５０、入力装置６０、入力装置７０）と、識別装置８０を備えている。また、顕微鏡システム１は、種々のデータが格納されているデータベースサーバ２０に接続されている。なお、この例では、イメージング装置１４３と投影装置１５３は、顕微鏡１００の顕微鏡本体１１０内に配置されている。
　顕微鏡１００は、接眼レンズ１０１を備えた倒立顕微鏡である。顕微鏡１００は、図１に示すように、顕微鏡本体１１０と、顕微鏡本体１１０に取り付けられた、複数の対物レンズ１０２、ステージ１１１、透過照明系１２０、及び接眼鏡筒１７０を備えている。また、顕微鏡１００は、後述するように、***や卵子などの無染色の試料を可視化するための変調素子を、照明光路と観察光路のそれぞれに備えている。胚培養士などの利用者は、顕微鏡１００を用いて、明視野（ＢＦ）観察、偏光（ＰＯ）観察、微分干渉（ＤＩＣ）観察、及び変調コントラスト（ＭＣ）観察の４つの顕微鏡法で、試料を観察することができる。なお、変調コントラスト観察は、レリーフコントラスト（ＲＣ）観察とも称される。
　複数の対物レンズ１０２は、レボルバ１１２に装着されている。複数の対物レンズ１０２には、図２に示すように、ＢＦ観察用の対物レンズ１０２ａ、ＰＯ観察及びＤＩＣ観察用の対物レンズ１０２ｂ、ＭＣ観察用の対物レンズ１０２ｃが含まれている。また、対物レンズ１０２ｃには、モジュレータ１０４が含まれている。モジュレータ１０４は、透過率の異なる３つ領域（例えば、透過率１００％程度の領域、５％程度の領域、０％程度の領域）を含んでいる。
　図２には、顕微鏡法に応じた３本の対物レンズが例示されているが、複数の対物レンズ１０２には、顕微鏡法毎に複数の倍率の異なる対物レンズが含まれてもよい。以降では、ＢＦ観察用の４倍対物レンズ、ＭＣ観察用の１０倍、２０倍、４０倍対物レンズ、ＰＯ観察用の２０倍対物レンズ、ＤＩＣ観察用の６０倍対物レンズが含まれている場合を例にして説明する。
　レボルバ１１２は、複数の対物レンズ１０２の間で光路上に配置する対物レンズを切り替える切替装置である。レボルバ１１２は、顕微鏡法及び観察倍率に応じて光路上に配置する対物レンズを切り替える。レボルバ１１２によって光路上に配置された対物レンズは、試料を透過した透過光を接眼レンズ１０１へ導く。
　ステージ１１１には、容器に入れられた試料が載置される。容器は、例えばシャーレであり、試料には、***や卵子などの生殖細胞が含まれている。ステージ１１１は、光路上に配置された対物レンズ１０２の光軸方向、及び、対物レンズ１０２の光軸と直交する方向に移動する。なお、ステージ１１１は、手動ステージであっても、電動ステージであってもよい。
　透過照明系１２０は、ステージ１１１に載置された試料を、ステージ１１１の上方から照明する。透過照明系１２０は、図１及び図２に示すように、光源１２１と、ユニバーサルコンデンサ１２２を含んでいる。光源１２１は、例えば、ＬＥＤ（Ｌｉｇｈｔ　Ｅｍｉｔｔｉｎｇ　Ｄｉｏｄｅ）光源であってもよく、ハロゲンランプ光源などのランプ光源であってもよい。
　ユニバーサルコンデンサ１２２には、図２に示すように、ポラライザ１２３（第１の偏光板）と、ターレット１２４に収容された複数の光学素子と、コンデンサレンズ１２８が含まれている。ポラライザ１２３は、ＭＣ観察、ＰＯ観察及びＤＩＣ観察で使用される。ターレット１２４には、顕微鏡法に応じて切り替えて使用される複数の光学素子が収容されている。ＤＩＣプリズム１２５は、ＤＩＣ観察で使用される。開口板１２６は、ＢＦ観察及びＰＯ観察で使用される。光学素子１２７は、スリットが形成された遮光板であるスリット板１２７ａと、スリットの一部を覆うように配置された偏光板１２７ｂ（第２の偏光板）と、の組み合わせであり、ＭＣ観察で使用される。
　接眼鏡筒１７０には、接眼レンズ１０１が含まれている。結像レンズ１０３は、接眼レンズ１０１と対物レンズ１０２の間に配置されている。結像レンズ１０３は、接眼レンズ１０１と結像レンズ１０３の間の像面ＩＰに、透過光に基づいて試料の光学像を形成する。また、像面ＩＰには、投影装置１５３からの光に基づいて後述する補助画像も形成される。これにより、像面ＩＰに光学像と補助画像が表示される。顕微鏡システム１の利用者は、像面ＩＰに形成されている光学像及び補助画像の虚像を、接眼レンズ１０１を用いて観察する。
　顕微鏡本体１１０は、図１及び図２に示すように、レーザアシステッドハッチングユニット１３０と、イメージングユニット１４０と、投影ユニット１５０を含んでいる。また、顕微鏡本体１１０は、図２に示すように、中間変倍ユニット１６０を含んでいる。さらに、顕微鏡本体１１０は、ＤＩＣプリズム１０５と、アナライザ１０６を、光路に対して挿脱可能に含んでいる。
　レーザアシステッドハッチングユニット１３０は、図２に示すように、対物レンズ１０２と結像レンズ１０３の間に配置されたレーザユニットである。レーザアシステッドハッチングユニット１３０は、対物レンズ１０２と結像レンズ１０３の間からレーザ光を導入することによって、試料にレーザ光を照射する。より具体的には、レーザアシステッドハッチングユニット１３０は、例えば、受精卵から成長した胚を取り囲む透明帯に、レーザ光を照射する。レーザアシステッドハッチングユニット１３０は、スプリッタ１３１と、スキャナ１３３と、レンズ１３４と、レーザ１３５を含んでいる。スプリッタ１３１は、例えば、ダイクロイックミラーである。スキャナ１３３は、例えば、ガルバノスキャナであり、レーザ光の照射位置を対物レンズ１０２の光軸と直交する方向に調整する。レンズ１３４は、レーザ光を平行光束に変換する。これにより、レーザ光は、対物レンズ１０２によって試料上に集光する。
　イメージングユニット１４０は、図２に示すように、スプリッタ１４１と、透過光に基づいて試料の撮像画像を取得するイメージング装置１４３と、を含んでいる。イメージングユニット１４０は、結像レンズ１０３と接眼レンズ１０１の間に配置されている。スプリッタ１４１は、例えば、ハーフミラーである。結像レンズ１０３は、試料の光学像をイメージング装置１４３に含まれる撮像素子の受光面に形成する。イメージング装置１４３は、例えば、撮像画像を取得するデジタルカメラであり、イメージング装置１４３に含まれる撮像素子は、例えば、ＣＣＤ（Ｃｈａｒｇｅ　Ｃｏｕｐｌｅｄ　Ｄｅｖｉｃｅ）イメージセンサ、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ　Ｍｅｔａｌ－Ｏｘｉｄｅ－Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）イメージセンサなどである。撮像素子は、試料からの光を検出し、検出した光を光電変換によって電気信号へ変換する。イメージングユニット１４０は、イメージング装置１４３で取得した撮像画像を処理装置２００へ出力する。
　投影ユニット１５０は、結像レンズ１０３と接眼レンズ１０１の間に配置されている。投影ユニット１５０は、図２に示すように、スプリッタ１５１と、レンズ１５２と、投影装置１５３を含んでいる。スプリッタ１５１は、例えば、ハーフミラーである。投影装置１５３は、処理装置２００が生成した補助画像を投影する。より詳細には、レンズ１５２が結像レンズ１０３の像面、即ち、光学像が形成される像面ＩＰに、投影装置１５３からの光を集光することによって、投影装置１５３が像面ＩＰに補助画像を投影する。
　中間変倍ユニット１６０は、対物レンズ１０２と結像レンズ１０３の間に配置されている。中間変倍ユニット１６０は、図２に示すように、複数のレンズ（レンズ１６１、レンズ１６２、レンズ１６３）を含み、これらの間で光路上に配置されるレンズを切り替えることで、像面に形成される光学像の倍率を変更する。中間変倍ユニット１６０を用いることで、試料の近くに位置する対物レンズ１０２を切り替えることなく光学像の倍率を変更することができる。
　ＤＩＣプリズム１０５とアナライザ１０６は、対物レンズ１０２と結像レンズ１０３の間に配置されている。ＤＩＣプリズム１０５は、ＤＩＣ観察で使用される。アナライザ１０６は、ＰＯ観察及びＤＩＣ観察で使用される。
　顕微鏡１００では、ＭＣ観察を行うときには、試料に照射される照明光を変調する変調素子（以降、第１の変調素子と記す。）として、照明光路上にポラライザ１２３と光学素子１２７が配置され、透過光を変調する変調素子（以降、第２の変調素子と記す。）として、観察光路上にモジュレータ１０４が配置される。また、ＰＯ観察を行うときには、第１の変調素子として、照明光路上にポラライザ１２３が配置され、第２の変調素子として、観察光路上にアナライザ１０６が配置される。また、ＤＩＣ観察を行うときには、第１の変調素子として、照明光路上にポラライザ１２３とＤＩＣプリズム１２５が配置され、第２の変調素子として、観察光路上にアナライザ１０６とＤＩＣプリズム１０５が配置される。これにより、無染色の試料を可視化することが可能であり、例えば、***の選別などを行うことができる。
　顕微鏡コントローラ１０は、顕微鏡１００を制御する装置である。顕微鏡コントローラ１０は、処理装置２００と入力装置５０と顕微鏡１００に接続されていて、処理装置２００又は入力装置５０からの命令に応じて顕微鏡１００を制御する。
　表示装置３０は、例えば、液晶ディスプレイ、プラズマディスプレイ、有機ＥＬディスプレイ、ＣＲＴディスプレイ、ＬＥＤマトリクスパネルなどの表示装置である。
　入力装置４０は、ハンドル４１とハンドル４２を含んでいる。ハンドル４１及びハンドル４２を操作することで、ピペット４３及びピペット４４を動かす図示しないマイクロマニュピレータの動作を制御する。ピペット４３及びピペット４４は、***選別を含む顕微授精の作業において試料を操作するために用いられる。ピペット４３は、例えば、ホールディングピペットであり、ピペット４４は、例えば、インジェクションピペットである。
　入力装置５０は、顕微鏡１００の顕微鏡法と観察倍率に関する設定を変更するためのハンドスイッチ装置である。入力装置５０は、図３に示すように、例えば、６つのボタン（ボタン５１～ボタン５６）を有していて、利用者はこれらのボタンを押下するだけで、顕微鏡１００の設定を素早く切り替えることができる。
　利用者がボタン５１を押下することで、顕微鏡１００の設定は、観察倍率４倍のＢＦ観察（以降、ＢＦ４×観察と記す。）の設定に切り替わる。利用者がボタン５２を押下することで、顕微鏡１００の設定は、観察倍率１０倍のＭＣ観察（以降、ＭＣ１０×観察と記す。）の設定に切り替わる。利用者がボタン５３を押下することで、顕微鏡１００の設定は、観察倍率２０倍のＭＣ観察（以降、ＭＣ２０×観察と記す。）の設定に切り替わる。利用者がボタン５４を押下することで、顕微鏡１００の設定は、観察倍率４０倍のＭＣ観察（以降、ＭＣ４０×観察と記す。）の設定に切り替わる。利用者がボタン５５を押下することで、顕微鏡１００の設定は、観察倍率２０倍のＰＯ観察（以降、ＰＯ２０×観察と記す。）の設定に切り替わる。利用者がボタン５６を押下することで、顕微鏡１００の設定は、観察倍率６０倍のＤＩＣ観察（以降、ＤＩＣ６０×観察と記す。）の設定に切り替わる。
　入力装置６０は、キーボードである。入力装置７０は、マウスである。入力装置６０及び入力装置７０は、それぞれ処理装置２００に接続されている。なお、顕微鏡システム１には、タッチパネル、音声入力装置、フットペダルなどの図示しないその他の入力装置が含まれてもよい。
　識別装置８０は、試料に付された識別情報を取得する装置である。なお、試料に付されたとは、例えば、識別情報が試料を収容する容器に貼付等されている場合を含む。識別情報は、試料を識別する情報であり、より具体的には、例えば、試料を提供した患者を特定する情報である。識別装置８０は、例えば、バーコードリーダ、ＲＦＩＤ（登録商標）リーダ、ＱＲコード（登録商標）リーダなどであってもよい。
　処理装置２００は、イメージング装置１４３で取得した撮像画像に基づいて補助画像を生成する。生成した補助画像は、顕微鏡１００の投影装置１５３へ、直接または顕微鏡コントローラ１０を経由して、出力される。なお、処理装置２００は、図１に示すように、顕微鏡１００、顕微鏡コントローラ１０、表示装置３０、入力装置６０、入力装置７０、及び、識別装置８０に接続されている。また、処理装置２００は、データベースサーバ２０にも接続されている。
　処理装置２００は、補助画像の生成に関連する機能的構成要素として、画像解析部２１０と、画像生成部２２０と、記憶部２３０と、を備えている。
　画像解析部２１０は、撮像画像に対して、セグメンテーションと、特徴量計測を行い、それらの結果から***をグレーディングする。また、画像解析部２１０は、撮像画像に対して、セグメンテーションと特徴量計測に加えて、物体検出を行ってもよく、それらの結果から***をグレーディングしてもよい。
　物体検出では、画像解析部２１０は、撮像画像から***を検出する。***に分類された物体の位置を検出することができればよく、物体検出のアルゴリズムは特に限定しない。物体検出には、例えば、ＳＳＤ、ＹＯＬＯ、ＦａｓｔｅｒＲ－ＣＮＮなど、深層学習により生成された物体検出モデルが用いられてもよい。
　セグメンテーションでは、画像解析部２１０は、撮像画像から***の部分を抽出する。***全体を一塊で抽出するのではなく、***毎に１つ以上の部分を抽出できればよく、セグメンテーションのアルゴリズムは特に限定しない。セグメンテーションには、深層学習により生成されたセグメンテーションモデルが用いられる。
　特徴量計測では、画像解析部２１０は、セグメンテーションで抽出された***の１つ以上の部分から特徴量を計測する。特徴量を計測できればよく、特徴量計測のアルゴリズムは特に限定しない。特徴量計測には、例えば、ルールベースモデルを用いて予めプログラムされた演算処理を行うことで特徴量の計測値を算出してもよい。
　グレーディングでは、画像解析部２１０は、計測された特徴量の計測値と、予め登録されたグレーディング基準（Grading criteria）と、に基づいて***をグレーディングする。グレーディング基準は、特徴量と***のグレードの関係を示す情報であり、計測された特徴量から***のグレードが一意に定まる情報であればよい。グレーディング基準は、予め記憶部２３０に記憶されることで、顕微鏡システム１に登録されている。
　画像生成部２２０は、画像解析部２１０が行う上述した解析処理で得られた情報に基づいて、グレーディングに関する情報を含む補助画像を生成する。画像生成部２２０で生成された補助画像は、投影装置１５３へ出力される。これにより、投影装置１５３が補助画像を像面に投影し、補助画像が光学像に重なって表示される。
　記憶部２３０は、画像解析部２１０が行う画像解析で用いられる、ＡＩモデル（ＡＩＭ：例えば、上述した物体検出モデル、セグメンテーションモデルなど）と、ルールベースモデル（ＲＢＭ）と、グレーディング基準（Ｇ基準）を記憶する。
　なお、処理装置２００は、汎用のコンピュータであっても、専用のコンピュータであってもよい。処理装置２００は、特にこの構成に限定されるものではないが、例えば、図４に示すような物理構成を有してもよい。具体的には、処理装置２００は、プロセッサ２０１と、記憶装置２０２と、入力インターフェース（Ｉ／Ｆ）２０３と、出力インターフェース（Ｉ／Ｆ）２０４と、通信装置２０５と、を備えてもよく、それらが互いにバス２０６によって接続されてもよい。
　プロセッサ２０１は、ハードウェアを含んでもよく、ハードウェアは例えば、デジタル信号を処理するための回路およびアナログ信号を処理するための回路のうちの少なくとも１つを含んでもよい。プロセッサ２０１は、例えば、回路基板上に、１つまたは複数の回路デバイス（例えば、ＩＣ）または１つまたは複数の回路素子（例えば、抵抗器、コンデンサ）を含むことができる。プロセッサ２０１は、ＣＰＵ（ｃｅｎｔｒａｌ　ｐｒｏｃｅｓｓｉｎｇ　ｕｎｉｔ）であってもよい。また、プロセッサ２０１には、ＧＰＵ（Ｇｒａｐｈｉｃｓ　ｐｒｏｃｅｓｓｉｎｇ　ｕｎｉｔ）及びＤＳＰ（Ｄｉｇｉｔａｌ　Ｓｉｇｎａｌ　Ｐｒｏｃｅｓｓｏｒ）を含む様々なタイプのプロセッサが使用されてもよい。プロセッサ２０１は、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ　Ｓｐｅｃｉｆｉｃ　Ｉｎｔｅｇｒａｔｅｄ　Ｃｉｒｃｕｉｔ）またはＦＰＧＡ（Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ　Ｇａｔｅ　Ａｒｒａｙ）を有するハードウェア回路であってもよい。プロセッサ２０１は、アナログ信号を処理するための増幅回路、フィルタ回路などを含むことができる。プロセッサ２０１は、記憶装置２０２に記憶されているプログラムを実行することで、上述した画像解析部２１０及び画像生成部２２０として機能する。
　記憶装置２０２は、メモリ及び／又はその他の記憶装置を含んでもよい。メモリは、例えば、ランダムアクセスメモリ（ＲＡＭ）であってもよい。メモリは、ＳＲＡＭ（Ｓｔａｔｉｃ　Ｒａｎｄａｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）やＤＲＡＭ（Ｄｙｎａｍｉｃ　Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）などの半導体メモリであってもよい。記憶装置２０２は、例えば、レジスタ、ハードディスク装置のような磁気記憶装置、光学ディスク装置のような光学記憶装置、内部または外部ハードディスクドライブ、ソリッドステート記憶装置、ＣＤ－ＲＯＭ、ＤＶＤ、他の光学または磁気ディスク記憶装置、または、他の記憶装置を含んでもよい。記憶装置２０２は、プロセッサ２０１によって実行されるプログラム、上述した各種モデル及びグレーディング基準を書き換え可能なメモリに記憶し、上述した記憶部２３０として機能する。なお、記憶装置２０２は、非一時的なコンピュータ可読記憶媒体の一例である。
　入力Ｉ／Ｆ２０３は、顕微鏡システム１の利用者（例えば、胚培養士）が操作する入力装置に接続され、入力装置に対する操作に応じた操作信号を受信し、プロセッサ２０１へ出力する。
　出力Ｉ／Ｆ２０４は、表示装置３０に接続される。出力Ｉ／Ｆ２０４は、さらに、図示しない、音声を出力するスピーカーなどの音声出力装置、光を出力するランプなどの発光装置、振動を出力するバイブレータなどの振動装置などに接続されてもよい。
　通信装置２０５は、顕微鏡１００やその他の装置とデータをやり取りする装置である。通信装置２０５は、有線でデータをやり取りする通信装置であってもよく、無線でデータをやり取りする通信装置であってもよい。記憶装置２０２に記憶されるプログラム、各種モデル、グレーディング基準は、通信装置２０５がインターネット経由で他の装置から取得したものであってもよい。
　以上のように構成された顕微鏡システム１では、***の良否判断をＡIに委ねた場合に生じる課題を解消しながら、胚培養士が行う***の選別作業を支援することができる。具体的には、以下のとおりである。
　***の部分から計測された特徴量の計測値と予め登録されたグレーディング基準に基づいて***のグレードが決定されるため、グレードの判定根拠が明確である。このため、適切なグレーディング基準が予め登録されることで、胚培養士は、顕微鏡システム１が行った***のグレーディングを信頼して最終的な意思決定に利用することができる。
　また、グレーディング基準を顕微鏡システム１に登録して利用することで、施設ごとに異なる良好・不良の基準に、グレーディング基準を書き換えるだけで対応することができる。このため、基準の異なる様々な施設で顕微鏡システム１を利用可能であり、また、各施設に比較的短期間で顕微鏡システム１を導入することができる。
　さらに、セグメンテーションモデルは、グレーディング基準とは異なり施設によらず共通して利用可能である。つまり、施設ごとの基準に合ったモデルを構築するための学習作業を必要としない。このため、システム導入時に施設へ過度な負担を強いることなく、***の特定領域（部分）の抽出に人工知能（セグメンテーションモデル）を利用して高精度且つ高速な領域抽出を行うことができる。これにより、導入コストと性能が高いレベルでバランスしたシステムを提供することが可能となる。
　このように、顕微鏡システム１によれば、施設独自の基準に合わせた学習の必要性に起因する高い導入コストと、判定根拠に関するブラックボックス化という、２つの課題を同時に解決して、胚培養士が行う***の選別作業を適切に支援することができる。
　なお、上述した画像解析部２１０は、セグメンテーションモデルを利用することによって抽出した少なくとも***の頭部、中片部及び尾部、空胞の特徴量を、計測することが望ましい。***の選別では、これらの部分（頭部、中片部・尾部、空胞）を特徴づける特徴量を用いて***の良し悪しがしばしば評価されるからである。
　より具体的には、計測される特徴量には、頭部の長さ、頭部の幅、中片部及び尾部の幅、中片部及び尾部の長さ、頭部に対する中片部及び尾部の傾き、空胞の数、のうちの少なくとも一つが含まれることが望ましい。これらの特徴量は、***の選別において特によく使用されるからである。これにより、グレーディングにおいて、これらの特徴量を用いた施設ごとに異なる様々なグレーディング基準に適切に対応することができる。
　特徴量の計測は、ルールベースモデルを利用して行われることがさらに望ましい。これにより、グレーディング基準に新たな特徴量が用いられた場合であっても、計測プログラムの修正だけで対応可能であり、現場への影響を最小限に抑えることができる。
　また、画像解析部２１０は、セグメンテーションモデルを用いて、撮像画像から、少なくとも、***の頭部、中片部・尾部、空胞を抽出することが望ましい。セグメンテーションモデルを用いてこれらの部分を区別して抽出することで、特徴量計測においてルールベースモデルを利用してこれらの部分の特徴量を容易に計測することができるからである。従って、ルールベースモデルを利用することで得られる上述したメリットを享受することができる。
　さらに、画像解析部２１０は、物体検出モデルにより絞り込まれた撮像画像内の領域から、セグメンテーションモデルを利用して***の１つ以上の部分を抽出してもよい。予め物体検出モデルを用いて***以外の領域をセグメンテーションの対象領域から除外することで、***以外の領域を***の部分として誤認して抽出することを防止することができる。
　上述した画像生成部２２０は、***のグレードを示すグレード情報と最上位グレードの***において満たすべき数値範囲外の特徴量の計測値の少なくとも一方を含む補助画像を生成することが望ましい。即ち、補助画像に含まれるグレーディングに関する情報は、グレード情報と満たすべき数値範囲外の特徴量の計測値の少なくとも一方を含むことが望ましく、少なくとも一方が像面に表示されることが望ましい。
　グレード情報が像面に表示されることで、***のグレードを直接的に把握することができる。また、数値範囲外の特徴量の計測値が表示されることで、条件に合致しない特徴量の有無やどの程度合致していないかを把握することができる。このため、グレーディング基準を認識している利用者であれば、間接的にグレードを把握することができる。また、数値範囲外の特徴量の計測値が表示されることで、グレードと共に判定根拠も把握することができる。このように、上述した情報を補助画像が含むことで、利用者は、補助画像から***のグレードやその判定根拠を把握することができる。
　なお、画像生成部２２０は、***のグレードを示すグレード情報と満たすべき数値範囲外の特徴量の計測値の両方を含む補助画像を生成することがより望ましい。ただし、これらの情報は適宜切り替えて表示されてもよい。このため、画像生成部２２０では、少なくとも一方を含む補助画像が生成されればよい。
　また、画像生成部２２０は、表示設定に応じて、グレーディングに関する情報の構成を変更することが望ましい。即ち、補助画像に含まれる情報の内容や数を変更してもよい。これにより、顕微鏡システム１では、利用者や***提供者に応じて、補助画像として像面に表示される情報を変更することが可能であり、情報過多による光学像の視認性の悪化を回避することができる。
　画像生成部２２０は、例えば、ある表示設定では、グレード情報を含む補助画像を生成してもよく、グレード情報のうち指定されたグレード（例えば、最も良いグレードＧ１だけ、グレードＧ１とグレードＧ２だけなど）を示すグレード情報のみを含む補助画像を生成してもよい。例えば、グレードＧ１を示すグレード情報のみが表示されることで、胚培養士はグレーディング基準に最も合致した***を容易に見分けることができる。一方で、***提供者によってはグレードＧ１の***がほとんど存在しないこともある。このような場合には、表示設定を変更して複数のグレードに対応するグレード情報を表示してもよい。
　画像生成部２２０は、別の表示設定では、満たすべき数値範囲外の特徴量の計測値（以降、異常値とも記す）を含む補助画像を生成してもよい。例えば、グレード情報とともに異常値が表示されることで、胚培養士が判定根拠を把握することができるため、安心して***の選別作業を行うことができる。また、視野内に表示する情報が多すぎると***自体を観察しづらくなる。このため、例えば、ベテランの胚培養士が作業する場合には、グレード情報の表示をオフにして異常値の表示のみを行ってもよい。
　上述した記憶部２３０は、グレーディング基準を書き換え可能なメモリに記憶することが望ましい。これにより、施設に合わせて、グレーディング基準を更新することが可能であり、顕微鏡システム１に登録されているグレーディング基準を施設ごとに容易に調整することができる。特に、グレーディング基準を更新するための専用のＧＵＩが提供されてもよく、処理装置２００は、ＧＵＩ上で行われるグレーディング設定に応じて、登録されているグレーディング基準を更新してもよい。なお、グレーディング設定は、設定ファイルを直接書き換えることで行われてもよい。
　また、記憶部２３０は、書き換え可能なメモリに複数のグレーディング基準を記憶してもよい。これにより、施設ごとに、当該機関の基準に合致するグレーディング基準を選択することが可能であり、施設ごとにグレーディングに使用するグレーディング基準を容易に変更することができる。特に、グレーディング基準を選択するための専用のＧＵＩが提供されてもよく、処理装置２００は、ＧＵＩ上で行われるグレーディング設定に応じて、複数のグレーディング基準からグレーディングに用いるグレーディング基準を決定してもよい。なお、グレーディング設定は、設定ファイルを直接書き換えることで行われてもよい。
　また、記憶部２３０に記憶されているグレーディング基準は、特徴量と特徴量の計測値が最上位グレードの***において満たすべき数値範囲との１つ以上の組み合わせに関する情報を含むことが望ましい。特に複数の組み合わせに関する情報を含むことが望ましく、つまり、複数の異なる特徴量を用いてグレードが決定されることが望ましい。これにより、単一の特徴量を用いてグレードを決定した場合よりも、***の良好・不良を高い精度に判定することができる。
　図５は、胚培養士によるＩＣＳＩの手順の一例を示すフローチャートである。図６は、シャーレ３１０内に試料３００として形成されるドロップの構成を例示した図である。図７は、胚培養士による***選別手順の一例を示すフローチャートである。図８は、選別支援処理の一例を示すフローチャートである。図９は、補助画像生成処理の一例を示すフローチャートである。図１０は、顕微鏡１００で生成される光学像の一例を示した図である。図１１は、イメージング装置１４３で取得される撮像画像の一例を示した図である。図１２は、撮像画像に対する物体検出結果の一例を示した図である。図１３は、撮像画像に対するセグメンテーションによって抽出される部分の一例を示した図である。図１４は、グレーディング基準Ｔ１の一例を示した図である。図１５は、表示設定用のＧＵＩの一例を示した図である。図１６から図２１は、接眼レンズ１０１から見える画像の例を示した図である。以下、図５から図２１を参照しながら、顕微鏡システム１が行う***の選別支援方法の、ＩＣＳＩにおける具体的な活用について説明する。
　まず、利用者は、試料を準備する（ステップＳ１）。ここでは、利用者は、例えば、図６に示すように、シャーレ３１０内に複数のドロップを含む試料３００を作成し、ステージ１１１上に配置する。
　ドロップ３０１は、洗浄用のドロップであり、ピペットの洗浄に使用される。ドロップ３０２は、***浮遊ドロップであり、例えば、ＰＶＰ溶液に***懸濁液を滴下したものである。ドロップ３０３は、卵子操作用ドロップであり、例えば、ｍ－ＨＴＦ溶液に卵子を入れたものである。なお、ｍ－ＨＴＦ溶液は、１０％血清を添加したＨｅｐｐｓ含有ＨＴＦ溶液である。これらのドロップは、ミネラルオイルで覆われている。
　次に、利用者は、顕微鏡システム１をセットアップする（ステップＳ２）。ここでは、利用者は、例えば、入力装置５０のボタン５１を押下して、顕微鏡システム１の設定をＢＦ４×観察に切り替える。その後、入力装置４０を操作してピペット４３及びピペット４４の位置を調整し、ピペット４３及びピペット４４にピントを合わせる。さらに、ステージ１１１を動かして、ピペット４３及びピペット４４をドロップ３０１（洗浄用ドロップ）で洗浄する。
　セットアップが完了すると、利用者は、ドロップ３０３（卵子操作用ドロップ）内の卵子(卵細胞)の状態を確認する（ステップＳ３）。ここでは、利用者は、例えば、入力装置５０のボタン５３を押下して、顕微鏡システム１の設定をＭＣ２０×観察に切り替える。ＭＣ２０×観察で卵子の形態を観察して、卵子を選別する。さらに、例えば、入力装置５０のボタン５５を押下して、顕微鏡システム１の設定をＰＯ２０×観察に切り替えてもよい。ＰＯ２０×観察で卵子の紡錘体を観察することで、卵子の成熟度を判定し、更に卵子を選別してもよい。
　卵子の選別が終了すると、利用者は、図７に示す手順で***の選別を行う（ステップＳ４）。まず、利用者は、例えば、入力装置５０のボタン５４を押下して、顕微鏡システム１の設定をＭＣ４０×観察に切り替える。そして、ステージ１１１を動かしてドロップ３０２（***浮遊ドロップ）に観察位置を移動し、ＭＣ４０×観察で***にピントを合わせる（ステップＳ１１）。
　次に、利用者は、ＭＣ４０×観察で受精に適した***を選別する（ステップＳ１２）。従来、この工程では、胚培養士が、光学像で観察される***の形態と運動性に基づいて***の質を判断し、その判断に基づいて***を選別していた。しかしながら、***の質の判別は胚培養士の経験によるところが多く、胚培養士毎の技能のバラつきと、その結果として生じる受精率の格差が課題となっていた。また、良好・不良の基準は胚培養士が所属する施設により異なることが多く、胚培養士が施設を異動すると異動先の施設の基準に従った作業が要求されることになる。
　このような課題を踏まえて、顕微鏡システム１は、ステップＳ１２において、撮像画像に含まれる***をグレーディングして、そのグレーディングに関する情報を含む補助画像を像面に表示する。これにより、胚培養士は主観的な判断のみに頼ることなく補助画像を参考して***の質を判断することが可能となるため、胚培養士間の受精率の格差を抑制することができる。また、補助画像の生成に当たって、ＡＩを用いて抽出した***の部分から特徴量を計測し、計測した特徴量と予め登録されたグレーディング基準とに基づいて***をグレーディングすることで、グレーディング基準を書き換えるだけで容易に施設毎の基準に適応することができる。さらに、予め登録されたグレーディング基準に従ってグレーディングが行われるため、判定根拠が明確であり、胚培養士が判定結果に対して納得しやすい。従って、胚培養士が***の選別へ補助画像を積極的に活用することが期待できるため、胚培養士によって行われる選別作業の質と量を同時に改善することができる。
　具体的には、ステップＳ１２において、顕微鏡システム１が図８に示す選別支援処理を行うことで、光学像とともに補助画像が像面に表示される。選別支援処理では、まず、顕微鏡システム１は、試料の光学像を像面に形成する（ステップＳ２１）。ここでは、顕微鏡１００が、像面に、例えば図１０に示す光学像Ｏ１を形成する。なお、図１０に示す領域１４３ＲはステップＳ２２でイメージング装置１４３によって撮影される領域を示している。
　顕微鏡システム１は、ステップＳ２１と同時に、撮像画像を取得する（ステップＳ２２）。ここでは、イメージング装置１４３は、試料からの光に基づいて、例えば図１１に示す試料の撮像画像Ｄ１を取得し、取得した撮像画像Ｄ１を処理装置２００へ出力する。
　その後、顕微鏡システム１は、撮像画像に基づいて補助画像を生成する（ステップＳ２３）。ここでは、処理装置２００が図９に示す補助画像生成処理を行う。補助画像生成処理では、処理装置２００は、まず、撮像画像Ｄ１に対して物体検出を行う（ステップＳ３１）。ここでは、画像解析部２１０が、深層学習により得られた物体検出モデルへ撮像画像Ｄ１を入力することで、***に分類された物体の位置を検出する。なお、図１２には、物体検出によって***の分類された物体の位置にボックスＢが付された様子が示されている。
　物体検出によって***の位置が検出されると、処理装置２００は、撮像画像Ｄ１に対してセグメンテーションを行う（ステップＳ３２）。ここでは、画像解析部２１０が、深層学習により得られたセグメンテーションモデルへ撮像画像Ｄ１を入力することで、***の頭部、中片部・尾部、空胞を抽出する。なお、図１３には、セグメンテーションによって***の頭部Ｈと、***の中片部・尾部ＭＴと、空胞Ｖとが区別された様子が示されている。
　その後、処理装置２００は、ステップＳ３２で抽出された頭部、中片部・尾部、空胞の特徴量を計測する（ステップＳ３３）。ここでは、画像解析部２１０が、ルールベースモデルを用いて予め決められた演算処理により特徴量を計測する。計測される特徴量は、グレーディング基準によらず予め決定されていてもよく、ステップＳ３４でグレーディングに用いられるグレーディング基準に応じて決定されてもよい。なお、図１３には、計測される頭部の特徴量として頭部の長さと幅が、計測される中片部・尾部の特徴量として中片部・尾部の長さと幅が、計測される空胞の特徴量として空胞の数が例示されている。
　特徴量が計測されると、処理装置２００は、グレーディング基準を読み出す（ステップＳ３４）。ここでは、画像解析部２１０は、記憶部２３０からグレーディング基準を読み出す。グレーディング基準は、例えば、図１４に示すグレーディング基準Ｔ１のように、表形式で記憶部２３０に格納されていて、特徴量と特徴量の計測値が最上位グレードの***において満たすべき数値範囲との１つ以上の組み合わせに関する情報が含まれる。なお、図１４に示すグレーディング基準Ｔ１では、最上位グレードであるグレードＧ１にグレーディングされる***が満たすべき数値範囲として、頭部の長さＨＡについての４．５＜ＨＡ＜５．５と、頭部の幅についての３＜ＨＷ＜４と、空胞の数ＶについてのＶ＝０と、中片部・尾部の幅ＮＷについてのＮＷ＜１．５が例示されている。単位は全てμｍである。
　図１４に示すように、***が特定のグレード（例えば、グレードＧ３）にグレーディングされる条件を、他のグレード（グレードＧ１、グレードＧ２、グレードＧ４）にグレーディングされる条件を用いて定義してもよい。また、図１４に示すように、互いに矛盾しない限り、特定のグレード（グレードＧ４）にグレーディングされる異なる複数の条件が定義されてもよい。
　なお、記憶部２３０に複数のグレーディング基準が記憶されている場合には、画像解析部２１０は、グレーディング設定に応じて、記憶部２３０に記憶されている複数のグレーディング基準からグレーディングに使用するグレーディング基準を決定してもよい。即ち、ステップＳ３４では、画像解析部２１０は、グレーディング設定に応じてグレーディング基準を決定し、決定したグレーディング基準を記憶部２３０から読み出してもよい。グレーディング設定は、例えば、胚培養士が直接的にグレーディング基準を選択することで行われてもよく、胚培養士が顕微鏡システム１にログインすることで利用者情報（例えば、利用者が所属する施設の情報）に基づいて自動的行われてもよい。以降では、図１４に示すグレーディング基準Ｔ１が読み出された場合を例にして説明する。
　グレーディング基準が読み出されると、処理装置２００は、***をグレーディングする（ステップＳ３５）。ここでは、画像解析部２１０は、ステップＳ３３で計測した特徴量の計測値と、ステップＳ３４で読み出したグレーディング基準とに基づいて、***をグレーディングする。
　***がグレーディングされると、処理装置２００は、表示設定に応じて補助画像を生成する（ステップＳ３６）。ここでは、画像生成部２２０は、まず、表示設定に応じて補助画像に含める***のグレーディングに関する情報を決定する。即ち、表示設定に応じて、グレーディングに関する情報の構成を変更する。
　表示設定は、例えば、図１５に示すようなＧＵＩ上で胚培養士が任意に設定可能である。領域Ｒ１では、補助画像に含めるグレード情報を設定することが可能である。画像生成部２２０は、領域Ｒ１の設定に応じて、グレーディングに関する情報にグレード情報を含めるか、また、どのグレードについてグレード情報を含めるかを決定する。領域Ｒ２では、補助画像に含める計測値情報を設定することが可能である。画像生成部２２０は、領域Ｒ２の設定に応じて、グレーディングに関する情報に計測値情報を含めるか、また、どの特徴量の計測値を含めるかを決定する。さらに、画像生成部２２０は、“異常値のみ”が選択された場合には、計測値から異常値のみを抽出してグレーディングに関する情報に含めることを決定してもよい。
　グレーディングに関する情報の構成が決定されると、画像生成部２２０は、決定した構成のグレーディングに関する情報を含む補助画像を生成し、投影装置１５３へ出力する。ここでは、画像生成部２２０は、***のグレーディングに関する情報が光学像中の***の領域付近で且つ***の領域に重ならない位置に表示されるように、補助画像を生成する。なお、グレーディングに関する情報の位置は、物体検出で検出された***の位置や、セグメンテーションで抽出された***の部分の位置に基づいて、決定してもよい。
　補助画像が生成されると、顕微鏡システム１は、補助画像を像面に重畳する（ステップＳ２４）。ここでは、投影装置１５３が、補助画像を光学像が形成された像面に重畳する。これにより、利用者は、例えば、図１６から図２１に示すように、像面に表示された光学像Ｏ１と補助画像を同時に確認することができる。
　補助画像が表示されることで、***の形態面についての良否を補助画像から容易に把握することができる。このため、胚培養士は、補助画像によって絞り込まれる注目すべき***の中から、光学像Ｏ１から把握される***の運動性に主に注目して、***を選別することができる。
　なお、図１６に示す例は、図１５に示す表示設定のＧＵＩにおいて、領域Ｒ１内のチェックボックスＣ１１のみを選択した場合に像面に表示される画像の一例である。光学像Ｏ１に補助画像Ａ１が重なった様子が示されている。補助画像Ａ１には、グレードＧ１の***を示すグレード情報のみが含まれている。このような表示設定では、胚培養士の注目を、最上位のグレードの***に集中させることができる。
　図１７に示す例は、図１５に示す表示設定のＧＵＩにおいて、領域Ｒ１内のチェックボックスＣ１１とチェックボックスＣ１２を選択した場合に像面に表示される画像の一例である。光学像Ｏ１に補助画像Ａ２が重なった様子が示されている。補助画像Ａ２には、グレードＧ１の***を示すグレード情報とグレードＧ２の***を示すグレード情報が含まれている。このような表示設定では、最上位のグレードの***が少ない場合であっても複数の***を選択候補として表示することができる。
　図１８に示す例は、図１５に示す表示設定のＧＵＩにおいて、領域Ｒ２内のチェックボックスＣ２１、チェックボックスＣ２２、チェックボックスＣ２３、チェックボックスＣ２５を選択した場合に像面に表示される画像の一例である。光学像Ｏ１に補助画像Ａ３が重なった様子が示されている。補助画像Ａ３には、***毎に、頭部の長さ（ＨＡ）と、頭部の幅（ＨＷ）と、空胞の数（Ｖ）、中片部・尾部の幅（ＮＷ）の計測値が含まれている。また、計測値が異常値（つまり、最上位のグレードの***において満たすべき数値範囲外の計測値）か否かが一目で把握できるように、異常値である計測値は他の計測値とは異なる態様（例えば、異なる色、異なる文字サイズ、異なるフォント、異常値を示すマークの付加など）で表示される。このような表示設定では、胚培養士は、各***の特徴量を認識しながら***を選別することができる。
　図１９に示す例は、図１５に示す表示設定のＧＵＩにおいて、領域Ｒ２内のチェックボックスＣ２６のみを選択した場合に像面に表示される画像の一例である。光学像Ｏ１に補助画像Ａ４が重なった様子が示されている。補助画像Ａ４には、***の特徴量の計測値のうちの異常値のみが含まれている。このような表示設定では、各***の異常値のみが表示されるため、異常値を有しない最上位のグレードの***を容易に見分けることができる。また、最上位以外のグレードの***についても異常値から異常の程度を認識することができる。
　図２０に示す例は、図１５に示す表示設定のＧＵＩにおいて、領域Ｒ１内のチェックボックスＣ１１とチェックボックスＣ１２を選択し、領域Ｒ２内のチェックボックスＣ２１、チェックボックスＣ２２、チェックボックスＣ２３、チェックボックスＣ２５を選択した場合に像面に表示される画像の一例である。光学像Ｏ１に補助画像Ａ５が重なった様子が示されている。補助画像Ａ５には、グレードＧ１の***を示すグレード情報及びグレードＧ２の***を示すグレード情報と、***毎に、頭部の長さ（ＨＡ）と、頭部の幅（ＨＷ）と、空胞の数（Ｖ）、中片部・尾部の幅（ＮＷ）の計測値と、が含まれている。このような表示設定では、***のグレードと計測値の両方を把握することができる。
　図２１に示す例は、図１５に示す表示設定のＧＵＩにおいて、領域Ｒ１内のチェックボックスＣ１１とチェックボックスＣ１２を選択し、領域Ｒ２内のチェックボックスＣ２６を選択した場合に像面に表示される画像の一例である。光学像Ｏ１に補助画像Ａ６が重なった様子が示されている。補助画像Ａ６には、グレードＧ１の***を示すグレード情報及びグレードＧ２の***を示すグレード情報と、***の特徴量の計測値のうちの異常値と、が含まれている。このような表示設定では、***の推奨度（グレード）と異常の程度についての情報を最小限の表示で提供することができる。
　なお、上述した表示設定は、あくまで例であり、その他の表示設定が可能であってもよい。例えば、グレードＧ１とグレードＧ２の他に、グレードＧ３とグレードＧ４の表示についても設定可能であってもよい。また、図１５に示す特徴量以外の特徴量の計測値の表示についても設定可能であってもよい。
　ステップＳ１２で***が選別されると、利用者は、ＲＣ４０×観察で***の尾部を傷つけて***を不動化する（ステップＳ１３）。ここでは、利用者は、***の尾部をピペットでシャーレ３１０の底面に擦り付けることで、***を不動化する。
　その後、利用者は、不動化した***の形態を更に詳細に観察し、***を更に選別してもよい（ステップＳ１４）。ここでは、利用者は、例えば、中間変倍ユニット１６０を用いて、４０倍よりも高い倍率に変更してもよく、ステップＳ１２よりも高い倍率で観察して、さらに***を選別してもよい。ここでも、顕微鏡システム１は、ステップＳ１２と同様に、図８に示す選別支援処理を行い、補助画像を像面に表示することで、胚培養士の***選別作業を支援してもよい。
　***の選別が完了すると、その後、利用者は、選別された***をインジェクションピペットであるピペット４４中に取り込んで、観察位置をドロップ３０３（卵子操作用ドロップ）へ移動し（ステップＳ１５）、図７に示す***選別の一連の手順を終了する。
　***選別が完了すると、利用者は、***の注入準備のために、紡錘体の位置を確認する（ステップＳ５）。ここでは、利用者は、ドロップ３０３内に存在するステップＳ３で選ばれた卵子を観察し、その卵子の紡錘体の位置を確認する。具体的には、利用者は、例えば、入力装置５０のボタン５５を押下して、顕微鏡システム１の設定をＰＯ２０×観察に切り替える。その後、利用者は、ＰＯ２０×観察で可視化された卵子の紡錘体が１２時又は６時の方向に位置するように、ホールディングピペットであるピペット４３を操作することで紡錘体の向きを変える。これは、後述するステップＳ６において、３時又は９時の方向から卵子に突き立てられるピペットによって、紡錘体が傷つくことを避けるためである。
　最後に、利用者は、***を卵子に注入し（ステップＳ６）、ＩＣＳＩを終了する。ここでは、利用者は、例えば、入力装置５０のボタン５３を押下して、顕微鏡システム１の設定をＭＣ２０×観察に切り替える。その後、利用者は、ＭＣ２０×観察で、ステップＳ５で向きを調整した卵子をホールディングピペットであるピペット４３で固定し、インジェクションピペットであるピペット４４を突き刺す。その後、ピペット４４から卵子内部に良好***を注入する。
　図５に示すＩＣＳＩの一連の手順が終了すると、利用者は、***が注入された卵子をインキュベータに戻し、培養する。また、利用者は、入力装置６０及び入力装置７０を用いて処理装置２００を操作して、ＩＣＳＩで得られた情報をデータベースサーバ２０に保存してもよい。例えば、***が注入された卵子の画像、選別された***の画像、ＩＣＳＩの作業時間などに、***と卵子の患者情報（母体の臨床データ、***を含む***の検査結果など）、***と卵子の培養液のデータ（例えば、種類、濃度、ＰＨなど）を関連付けて、データベースサーバ２０に保存してもよい。
　以上のように、顕微鏡システム１では、***をセグメントして形態的な特徴量を計測することで***をグレーディングし、得られた情報を補助画像として像面に表示する。これにより、***の形態面から見た質について胚培養士は容易に且つ均質に判断することができる。従って、胚培養士は、光学像から把握した***の運動性と合わせて、試料中から良好な***を選別することが可能であり、胚培養士間の受精率の格差を抑制することができる。
　また、施設毎に異なるグレーディング基準にもメモリに記憶された情報を書き換えるだけで容易に対応することができる。従って、各施設にシステムを最適化して高いレベルのサービスを提供することができる。さらに、施設毎に異なる基準で行われるグレーディングに必要な特徴量を、施設に拠らず同じ基準で計測する。より詳細には、特徴量を計測するための領域抽出に施設によらない共通のＡＩを用いることで、高い精度と高速な処理とを両立する。これにより、各施設へのシステムの導入コストを抑えながら高いレベルのサービスを提供することができる。
　従って、顕微鏡システム１によれば、胚培養士による試料内の***の選別作業を効果的に支援することができる。
　上述した実施形態は、発明の理解を容易にするために具体例を示したものであり、本発明はこれらの実施形態に限定されるものではない。上述の実施形態を変形した変形形態および上述した実施形態に代替する代替形態が包含され得る。つまり、各実施形態は、その趣旨および範囲を逸脱しない範囲で構成要素を変形することが可能である。また、１つ以上の実施形態に開示されている複数の構成要素を適宜組み合わせることにより、新たな実施形態を実施することができる。また、各実施形態に示される構成要素からいくつかの構成要素を削除してもよく、または実施形態に示される構成要素にいくつかの構成要素を追加してもよい。さらに、各実施形態に示す処理手順は、矛盾しない限り順序を入れ替えて行われてもよい。即ち、本発明の顕微鏡システム、投影ユニット、及び、選別支援方法は、特許請求の範囲の記載を逸脱しない範囲において、さまざまな変形、変更が可能である。
　上述した実施形態では、顕微鏡システム１を例示したが、顕微鏡システムの構成は、この例に限らない。例えば、図２２に示す顕微鏡システム２が用いられてもよい。顕微鏡システム２は、顕微鏡１００の代わりに顕微鏡４００を備える点が、顕微鏡システム１とは異なっている。顕微鏡４００は、顕微鏡本体４１０と鏡筒４２０の間に投影ユニット５００を備えている。
　投影ユニット５００は、顕微鏡用の投影ユニットであり、図１に示す投影ユニット１５０に相当する重畳部（スプリッタ１５１とレンズ１５２と投影装置１５３）と、図１に示すイメージングユニット１４０に相当するイメージング部（スプリッタ１４１とイメージング装置１４３）と、画像処理部５１０を含んでいる。画像処理部５１０は、図２に示す画像解析部２１０と画像生成部２２０と記憶部２３０として機能する。
 投影ユニット５００及び顕微鏡システム２によっても、顕微鏡システム１と同様の効果を得ることができる。また、投影ユニット５００を用いることで既存の顕微鏡システムを拡張することで上述した効果を得ることができるため、既存の顕微鏡システムを有効活用することができる。
　上述した実施形態では、投影装置１５３が像面に補助画像を投影する例を示したが、像面に補助画像を表示できればよく、投影装置１５３の代わりに像面に置かれた透過型の液晶デバイスが用いられてもよい。
　上述した実施形態では、画像生成部２２０は、表示設定に応じて、補助画像に含まれるグレーディングに関する情報の構成を変更する例を示したが、表示設定の代わりにグレーディング基準に応じて、グレーディングに関する情報の構成を変更してもよい。例えば、頭部の長さ及び幅と空胞の数と中片部・尾部の幅がグレーディング基準で用いれている場合には、これらの特徴量の計測値が表示されるように、補助画像が生成されてもよい。
　本明細書において、“Ａに基づいて”という表現は、“Ａのみに基づいて”を意味するものではなく、“少なくともＡに基づいて”を意味し、さらに、“少なくともＡに部分的に基づいて”をも意味している。即ち、“Ａに基づいて”はＡに加えてＢに基づいてもよく、Ａの一部に基づいてもよい。
１、２　　　　　　　　：顕微鏡システム
１０　　　　　　　　　：顕微鏡コントローラ
２０　　　　　　　　　：データベースサーバ
３０　　　　　　　　　：表示装置
４０、５０、６０、７０：入力装置
８０　　　　　　　　　：識別装置
１００、４００　　　　：顕微鏡
１０１　　　　　　　　：接眼レンズ
１４０　　　　　　　　：イメージングユニット
１４３　　　　　　　　：イメージング装置
１５０　　　　　　　　：投影ユニット
１５３　　　　　　　　：投影装置
１６０　　　　　　　　：中間変倍ユニット
１７０　　　　　　　　：接眼鏡筒
２００　　　　　　　　：処理装置
２０１　　　　　　　　：プロセッサ
２０２　　　　　　　　：記憶装置
２１０　　　　　　　　：画像解析部
２２０　　　　　　　　：画像生成部
２３０　　　　　　　　：記憶部
３００　　　　　　　　：試料
５００　　　　　　　　：投影ユニット
５１０　　　　　　　　：画像処理部
Ａ１～Ａ６　　　　　　：補助画像
Ｄ１　　　　　　　　　：撮像画像
Ｈ　　　　　　　　　　：頭部
ＩＰ　　　　　　　　　：像面
ＭＴ　　　　　　　　　：尾部
Ｏ１　　　　　　　　　：光学像
Ｖ　　　　　　　　　　：空胞

Claims (17)

  1. 　***を含む試料の像を形成する顕微鏡と、
    　前記試料の像を取得するイメージング装置と、
    　前記イメージング装置で取得した像に基づいて前記***のグレーディングに関する情報を含む補助画像を生成する画像処理装置と、
    　前記補助画像を、前記顕微鏡が前記像を形成する像面に重畳する重畳装置と、を備え、
    　前記画像処理装置は、
    　　深層学習によって生成されたセグメンテーションモデルを利用して、前記像から前記***の１つ以上の部分を抽出し、
    　　抽出した前記１つ以上の部分から計測された特徴量の計測値と、予め登録された、前記特徴量とグレードの関係を示すグレーディング基準と、に基づいて前記***をグレーディングする
    ことを特徴とする顕微鏡システム。
  2. 　請求項１に記載の顕微鏡システムにおいて、
    　前記グレーディング基準は、前記特徴量と前記特徴量の計測値が最上位グレードの***において満たすべき数値範囲との１つ以上の組み合わせに関する情報を含み、
    　前記補助画像に含まれる前記グレーディングに関する情報は、満たすべき数値範囲外の前記特徴量の計測値を含む
    ことを特徴とする顕微鏡システム。
  3. 　請求項２に記載の顕微鏡システムにおいて、
    　前記補助画像に含まれる前記グレーディングに関する情報は、前記***のグレードを示すグレード情報を含む
    ことを特徴とする顕微鏡システム。
  4. 　請求項１に記載の顕微鏡システムにおいて、
    　前記画像処理装置は、表示設定に応じて、前記グレーディングに関する情報の構成を変更する
    ことを特徴とする顕微鏡システム。
  5. 　請求項１に記載の顕微鏡システムにおいて、
    　前記画像処理装置は、前記グレーディング基準に応じて、前記グレーディングに関する情報の構成を変更する
    ことを特徴とする顕微鏡システム。
  6. 　請求項３に記載の顕微鏡システムにおいて、
    　前記グレード情報は、グレード毎に異なる態様を有する
    ことを特徴とする顕微鏡システム。
  7. 　請求項３に記載の顕微鏡システムにおいて、
    　前記グレード情報は、グレード毎に異なる色を有する
    ことを特徴とする顕微鏡システム。
  8. 　請求項１に記載の顕微鏡システムにおいて、
    　前記補助画像は、前記像面に表示されたときに前記像中の***と重ならない位置に前記グレーディングに関する情報を含む
    ことを特徴とする顕微鏡システム。
  9. 　請求項１に記載の顕微鏡システムにおいて、
    　前記画像処理装置は、前記セグメンテーションモデルを利用して前記像から、少なくとも、前記***の頭部、中片部及び尾部、空胞を抽出する
    ことを特徴とする顕微鏡システム。
  10. 　請求項９に記載の顕微鏡システムにおいて、
    　前記セグメンテーションモデルを利用して抽出した少なくとも前記頭部、前記中片部及び尾部、前記空胞の特徴量をルールベースモデルで計測し、
    　前記ルールベースモデルで計測された前記特徴量は、前記頭部の長さ、前記頭部の幅、前記中片部及び尾部の幅、前記中片部及び尾部の長さ、前記頭部に対する前記中片部及び尾部の傾き、前記空胞の数のうちの少なくとも一つを含む
    ことを特徴とする顕微鏡システム。
  11. 　請求項１に記載の顕微鏡システムにおいて、
    　前記画像処理装置は、
    　　深層学習によって生成された物体検出モデルを利用して前記像から前記***に分類される物体の位置を検出し、
    　　前記セグメンテーションモデルを利用して、前記物体検出モデルにより絞り込まれた前記像内の領域から前記***の１つ以上の部分を抽出する
    ことを特徴とする顕微鏡システム。
  12. 　請求項１に記載の顕微鏡システムにおいて、
    　前記画像処理装置は、
    　　前記グレーディング基準を記憶する書き換え可能なメモリを備え、
    　　グレーディング設定に応じて、前記グレーディング基準を更新する
    ことを特徴とする顕微鏡システム。
  13. 　請求項１に記載の顕微鏡システムにおいて、
    　前記画像処理装置は、
    　　複数のグレーディング基準を記憶する書き換え可能なメモリを備え、
    　　グレーディング設定に応じて、前記複数のグレーディング基準から前記***のグレーディングに用いる前記グレーディング基準を決定する
    ことを特徴とする顕微鏡システム。
  14. 　請求項１に記載の顕微鏡システムにおいて、
    　前記顕微鏡は、接眼レンズを備える倒立顕微鏡である　
    ことを特徴とする顕微鏡システム。
  15. 　顕微鏡に装着される投影ユニットであって、
    　***を含む試料の像を取得するイメージング部と、
    　前記イメージング部で取得した像に基づいて前記***のグレーディングに関する情報を含む補助画像を生成する画像処理部と、
    　前記補助画像を、前記顕微鏡が前記像を形成する像面に重畳する重畳部と、を備え、
    　前記画像処理部は、
    　　深層学習によって生成されたセグメンテーションモデルを利用して、前記像から前記***の１つ以上の部分を抽出し、
    　　抽出した前記１つ以上の部分から計測された特徴量の計測値と、予め登録された、前記特徴量とグレードの関係を示すグレーディング基準と、に基づいて前記***をグレーディングする
    ことを特徴とする投影ユニット。
  16. 　***を含む試料の像を形成することと、
    　前記試料の像を取得することと、
    　取得した像に基づいて前記***のグレーディングに関する情報を含む補助画像を生成することと、
    　前記補助画像を、前記像が形成される像面に重畳することと、を備え、
    　前記補助画像を生成することは、
    　　深層学習によって生成されたセグメンテーションモデルを利用して、前記像から前記***の１つ以上の部分を抽出することと、
    　　抽出した前記１つ以上の部分から計測された特徴量の計測値と、予め登録された、前記特徴量とグレードの関係を示すグレーディング基準と、に基づいて前記***をグレーディングすることと、を含む
    ことを特徴とする選別支援方法。
  17. 　プログラムを記録した非一時的な記録媒体であって、
    　前記プログラムは、コンピュータに、
    　　深層学習によって生成されたセグメンテーションモデルを利用して、***を含む試料の像から前記***の１つ以上の部分を抽出し、
    　　抽出した前記１つ以上の部分から計測された特徴量の計測値と、予め登録された、前記特徴量とグレードの関係を示すグレーディング基準と、に基づいて前記***をグレーディングする
    処理を実行させることを特徴とする記録媒体。
     
     
PCT/JP2023/022472 2022-06-24 2023-06-16 顕微鏡システム、投影ユニット、選別支援方法、及び、記録媒体 WO2023248958A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2022-101645 2022-06-24
JP2022101645 2022-06-24

Publications (1)

Publication Number Publication Date
WO2023248958A1 true WO2023248958A1 (ja) 2023-12-28

Family

ID=89379947

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2023/022472 WO2023248958A1 (ja) 2022-06-24 2023-06-16 顕微鏡システム、投影ユニット、選別支援方法、及び、記録媒体

Country Status (1)

Country Link
WO (1) WO2023248958A1 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021076586A (ja) * 2019-09-16 2021-05-20 アイラマトリックス プライベート リミテッド ***形成の自動評価のための方法およびシステム
WO2021200003A1 (ja) * 2020-03-31 2021-10-07 オリンパス株式会社 顕微鏡システム、投影ユニット、及び、***選別支援方法
JP2022052328A (ja) * 2020-09-23 2022-04-04 株式会社Ｓｃｒｅｅｎホールディングス 細胞シートの厚さ評価方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021076586A (ja) * 2019-09-16 2021-05-20 アイラマトリックス プライベート リミテッド ***形成の自動評価のための方法およびシステム
WO2021200003A1 (ja) * 2020-03-31 2021-10-07 オリンパス株式会社 顕微鏡システム、投影ユニット、及び、***選別支援方法
JP2022052328A (ja) * 2020-09-23 2022-04-04 株式会社Ｓｃｒｅｅｎホールディングス 細胞シートの厚さ評価方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
CHANG VIOLETA; HEUTTE LAURENT; PETITJEAN CAROLINE; HäRTEL STEFFEN; HITSCHFELD NANCY: "Automatic classification of human sperm head morphology", COMPUTERS IN BIOLOGY AND MEDICINE, NEW YORK, NY, US, vol. 84, 2 April 2017 (2017-04-02), US , pages 205 - 216, XP029996535, ISSN: 0010-4825, DOI: 10.1016/j.compbiomed.2017.03.029 *

Similar Documents

Publication Publication Date Title
JP7214753B2 (ja) 顕微鏡システム
Jonkman et al. Tutorial: guidance for quantitative confocal microscopy
Dickstein et al. Automatic dendritic spine quantification from confocal data with Neurolucida 360
WO2021200003A1 (ja) 顕微鏡システム、投影ユニット、及び、***選別支援方法
US8588504B2 (en) Technique for determining the state of a cell aggregation image processing program and image processing device using the technique, and method for producing a cell aggregation
JP6865507B2 (ja) 多能性幹細胞の無染色評価支援方法、プログラム、演算装置
US20210215923A1 (en) Microscope system
CN112714888B (zh) 显微镜***、投影单元以及图像投影方法
CN112714886B (zh) 显微镜***、投影单元以及图像投影方法
WO2011004568A1 (ja) 受精卵観察の画像処理方法、画像処理プログラム及び画像処理装置、並びに受精卵の製造方法
JP2013109119A (ja) 顕微鏡制御装置およびプログラム
WO2023248958A1 (ja) 顕微鏡システム、投影ユニット、選別支援方法、及び、記録媒体
Lee et al. A brief history of artificial intelligence embryo selection: from black-box to glass-box
JP2011004638A (ja) 受精卵観察の画像処理方法、画像処理プログラム及び画像処理装置
Larsen et al. Reporting reproducible imaging protocols
WO2023127001A1 (ja) 顕微鏡システム、投影ユニット、及び、選別支援方法
Iyer et al. Watching the embryo: Evolution of the microscope for the study of embryogenesis
Vladimirov et al. The Benchtop mesoSPIM: a next-generation open-source light-sheet microscope for large cleared samples
JP2023096267A (ja) 顕微鏡システム、投影ユニット、及び、選別支援方法
US11781987B2 (en) Fluorescence image analyzer and fluorescence image analyzing method
Olziersky et al. Mitotic live-cell imaging at different timescales
Chardès et al. Probing cell mechanics with bead-free optical tweezers in the drosophila embryo
US11906433B2 (en) System and method for three-dimensional imaging of unstained samples using bright field microscopy
WO2021181482A1 (ja) 顕微鏡画像撮像方法および顕微鏡画像撮像装置
Montero Llopis et al. High-Throughput Imaging of Bacillus subtilis

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 23827142

Country of ref document: EP

Kind code of ref document: A1