WO2021074960A1 - 画像処理方法、画像処理装置、及び画像処理プログラム - Google Patents

画像処理方法、画像処理装置、及び画像処理プログラム Download PDF

Info

Publication number
WO2021074960A1
WO2021074960A1 PCT/JP2019/040481 JP2019040481W WO2021074960A1 WO 2021074960 A1 WO2021074960 A1 WO 2021074960A1 JP 2019040481 W JP2019040481 W JP 2019040481W WO 2021074960 A1 WO2021074960 A1 WO 2021074960A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
image processing
oct
fundus
light
Prior art date
Application number
PCT/JP2019/040481
Other languages
English (en)
French (fr)
Inventor
真梨子 廣川
泰士 田邉
Original Assignee
株式会社ニコン
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社ニコン filed Critical 株式会社ニコン
Priority to PCT/JP2019/040481 priority Critical patent/WO2021074960A1/ja
Priority to JP2021552009A priority patent/JPWO2021074960A1/ja
Publication of WO2021074960A1 publication Critical patent/WO2021074960A1/ja

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/12Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for looking at the eye fundus, e.g. ophthalmoscopes

Definitions

  • the present invention relates to an image processing method, an image processing device, and an image processing program.
  • U.S. Pat. No. 7,857,449 discloses an ophthalmic apparatus that captures a tomographic image of the fundus. It is desired to acquire a tomographic image at a desired position of the fundus.
  • the image processing method of the first aspect of the technique of the present disclosure includes a step of detecting the vortex vein position from the fundus image and a step of setting a scanning area for acquiring a tomographic image including the vortex vein position.
  • the image processing apparatus of the second aspect of the technique of the present disclosure sets a scanning area for setting a vortex vein position detection unit that detects the vortex vein position from the fundus image and a scanning region for acquiring a tomographic image including the vortex vein position.
  • a unit and an image acquisition unit that scans the scanning region to acquire a tomographic image are provided.
  • the image processing program of the third aspect of the technique of the present disclosure sets a computer as a vortex vein position detecting unit for detecting the vortex vein position from the fundus image, and a scanning region for acquiring a tomographic image including the vortex vein position. It functions as a scanning area setting unit.
  • the ophthalmology system 100 includes an ophthalmology device 110, an axial length measuring device 120, a management server device (hereinafter referred to as “management server”) 140, and an image display device (hereinafter referred to as “image viewer””. ) 150 and.
  • the ophthalmic apparatus 110 acquires a fundus image.
  • the axial length measuring device 120 measures the axial length of the patient.
  • the management server 140 stores a plurality of fundus images, axial lengths, and tomographic images obtained by photographing the fundus of a plurality of patients by the ophthalmologic apparatus 110, corresponding to the IDs of the patients.
  • the image viewer 150 displays a fundus image acquired from the management server 140.
  • the image viewer 150 includes a display 156, a mouse 155M, and a keyboard 155K.
  • the ophthalmic apparatus 110, the axial length measuring instrument 120, the management server 140, and the image viewer 150 are connected to each other via the network 130.
  • the image viewer 150 is a client in a client-server system, and a plurality of image viewers 150 are connected via a network. Further, a plurality of servers 140 may be connected via a network in order to ensure system redundancy.
  • the ophthalmic apparatus 110 has an image processing function and an image viewing function of the image viewer 150
  • the ophthalmic apparatus 110 can acquire an image of the fundus of the eye, process an image, and view an image in a stand-alone state.
  • the server 140 is provided with the image viewing function of the image viewer 150, the ophthalmic apparatus 110 and the server 140 can be configured to acquire a fundus image, perform image processing, and view an image.
  • a diagnostic support device that performs image analysis using other ophthalmic devices (inspection devices such as visual field measurement and intraocular pressure measurement) and AI (Artificial Intelligence) is connected to the ophthalmic device 110, the server 140, and an image via the network 130. It may be connected to the viewer 150.
  • ophthalmic devices inspection devices such as visual field measurement and intraocular pressure measurement
  • AI Artificial Intelligence
  • the axial length measuring device 120 has two modes, a first mode and a second mode, for measuring the axial length, which is the length of the eye to be inspected 12 in the axial direction.
  • the first mode after guiding the light from a light source (not shown) to the eye 12 to be inspected, the interference light between the reflected light from the fundus and the reflected light from the cornea is received, and the interference signal indicating the received interference light is generated.
  • the axial length is measured based on this.
  • the second mode is a mode in which the axial length is measured using ultrasonic waves (not shown).
  • the axial length measuring device 120 transmits the axial length measured by the first mode or the second mode to the management server 140.
  • the axial length may be measured in the first mode and the second mode.
  • the average of the axial lengths measured in both modes is transmitted to the management server 140 as the axial length.
  • the axial length is stored as patient information in the management server 140 as one of the subject's data, and is also used for fundus image analysis.
  • SLO scanning laser ophthalmoscope
  • OCT optical coherence tomography
  • the horizontal direction is the "X direction” and the direction perpendicular to the horizontal plane is the "Y direction", connecting the center of the pupil of the anterior segment of the eye 12 to the center of the eyeball.
  • the direction is "Z direction”. Therefore, the X, Y, and Z directions are perpendicular to each other.
  • the ophthalmic device 110 includes a photographing device 14 and a control device 16.
  • the imaging device 14 includes an SLO unit 18 and an OCT unit 20 to acquire a fundus image of the fundus of the eye to be inspected 12.
  • the two-dimensional fundus image acquired by the SLO unit 18 is referred to as an SLO image.
  • a tomographic image of the retina, an frontal image (en-face image), or the like created based on the OCT data acquired by the OCT unit 20 is referred to as an OCT image.
  • the OCT image corresponds to the "tomographic image" of the technique of the present disclosure.
  • the control device 16 includes a computer having a CPU (Central Processing Unit) 16A, a RAM (Random Access Memory) 16B, a ROM (Read-Only memory) 16C, and an input / output (I / O) port 16D. ing.
  • CPU Central Processing Unit
  • RAM Random Access Memory
  • ROM Read-Only memory
  • I / O input / output
  • the control device 16 includes an input / display device 16E connected to the CPU 16A via the I / O port 16D.
  • the input / display device 16E has a graphic user interface for displaying an image of the eye 12 to be inspected and receiving various instructions from the user.
  • the graphic user interface includes a touch panel display.
  • control device 16 includes an image processing device 17 connected to the I / O port 16D.
  • the image processing device 17 generates an image of the eye to be inspected 12 based on the data obtained by the photographing device 14.
  • the control device 16 is connected to the network 130 via the communication interface 16F.
  • the control device 16 of the ophthalmic device 110 includes the input / display device 16E, but the technique of the present disclosure is not limited to this.
  • the control device 16 of the ophthalmic apparatus 110 may not include the input / display device 16E, but may include an input / display device that is physically independent of the ophthalmic apparatus 110.
  • the display device includes an image processing processor unit that operates under the control of the display control unit 204 of the CPU 16A of the control device 16.
  • the image processing processor unit may display an SLO image or the like based on the image signal output instructed by the display control unit 204.
  • the photographing device 14 operates under the control of the photographing control unit 202 of the control device 16.
  • the photographing apparatus 14 includes an SLO unit 18, a photographing optical system 19, and an OCT unit 20.
  • the photographing optical system 19 includes a first optical scanner 22, a second optical scanner 24, and a wide-angle optical system 30.
  • the fixation markers 92U and 92L composed of a light emitting device (for example, an LED) that is lit so as to direct the line of sight of the patient are provided at positions shifted up and down from the optical axis of the photographing optical system 19.
  • the first optical scanner 22 two-dimensionally scans the light emitted from the SLO unit 18 in the X direction and the Y direction.
  • the second optical scanner 24 two-dimensionally scans the light emitted from the OCT unit 20 in the X direction and the Y direction.
  • the first optical scanner 22 and the second optical scanner 24 may be any optical element capable of deflecting a luminous flux, and for example, a polygon mirror, a galvano mirror, or the like can be used. Moreover, it may be a combination thereof.
  • the wide-angle optical system 30 includes an objective optical system having a common optical system 28 (not shown in FIG. 2), and a compositing unit 26 that synthesizes light from the SLO unit 18 and light from the OCT unit 20.
  • the objective optical system of the common optical system 28 may be a catadioptric system using a concave mirror such as an elliptical mirror, a catadioptric system using a wide-angle lens or the like, or a catadioptric system combining a concave mirror or a lens. Good.
  • a wide-angle optical system using an elliptical mirror, a wide-angle lens, or the like it is possible to photograph the retina not only in the central part of the fundus but also in the peripheral part of the fundus.
  • the wide-angle optical system 30 enables observation in the fundus with a wide field of view (FOV: Field of View) 12A.
  • the FOV 12A indicates a range that can be photographed by the photographing device 14.
  • FOV12A can be expressed as a viewing angle.
  • the viewing angle can be defined by an internal irradiation angle and an external irradiation angle in the present embodiment.
  • the external irradiation angle is an irradiation angle in which the irradiation angle of the luminous flux emitted from the ophthalmic apparatus 110 to the eye 12 to be inspected is defined with reference to the pupil 27.
  • the internal irradiation angle is an irradiation angle in which the irradiation angle of the light flux irradiated to the fundus F is defined with reference to the center O of the eyeball.
  • the external irradiation angle and the internal irradiation angle have a corresponding relationship. For example, when the external irradiation angle is 120 degrees, the internal irradiation angle corresponds to about 160 degrees. In this embodiment, the internal irradiation angle is set to 200 degrees.
  • UWF-SLO fundus image obtained by taking a picture with an internal irradiation angle of 160 degrees or more
  • UWF is an abbreviation for UltraWide Field (ultra-wide-angle).
  • FOV viewing angle
  • the SLO system is realized by the control device 16, the SLO unit 18, and the photographing optical system 19 shown in FIG. Since the SLO system includes a wide-angle optical system 30, it enables fundus photography with a wide FOV12A.
  • the SLO unit 18 includes a B (blue light) light source 40, a G light (green light) light source 42, an R light (red light) light source 44, and an IR light (infrared light (for example, near infrared light)) light source. It includes 46 and optical systems 48, 50, 52, 54, 56 that reflect or transmit light from light sources 40, 42, 44, 46 and guide them into one optical path.
  • the optical systems 48 and 56 are mirrors, and the optical systems 50, 52 and 54 are beam splitters.
  • B light is reflected by the optical system 48, is transmitted through the optical system 50, is reflected by the optical system 54, G light is reflected by the optical systems 50 and 54, and R light is transmitted through the optical systems 52 and 54.
  • IR light is reflected by the optical systems 52 and 56 and guided to one optical path, respectively.
  • the SLO unit 18 is configured to be able to switch a combination of a light source that emits laser light having a different wavelength or a light source that emits light, such as a mode that emits R light and G light and a mode that emits infrared light.
  • a light source that emits laser light having a different wavelength or a light source that emits light such as a mode that emits R light and G light and a mode that emits infrared light.
  • the example shown in FIG. 2 includes three light sources, a G light source 42, an R light source 44, and an IR light source 46, but the technique of the present disclosure is not limited thereto.
  • the SLO unit 18 further includes a light source of B light (blue light) and a light source of white light, and has various modes such as a mode of emitting G light, R light, and B light, and a mode of emitting only white light. The mode may emit light.
  • the light incident on the photographing optical system 19 from the SLO unit 18 is scanned in the X direction and the Y direction by the first optical scanner 22.
  • the scanning light is applied to the fundus through the wide-angle optical system 30 and the pupil 27.
  • the reflected light reflected by the fundus is incident on the SLO unit 18 via the wide-angle optical system 30 and the first optical scanner 22.
  • the SLO unit 18 transmits G light among the light from the rear eye portion (fundus) of the eye 12 to be examined, the beam splitter 64 that reflects the B light and transmits other than the B light, and the light that has passed through the beam splitter 64.
  • a beam splitter 58 that reflects and transmits other than G light is provided.
  • the SLO unit 18 includes a beam splitter 60 that reflects R light and transmits other than R light among the light transmitted through the beam splitter 58.
  • the SLO unit 18 includes a beam splitter 62 that reflects IR light among the light transmitted through the beam splitter 60.
  • the SLO unit 18 detects the B light detection element 70 that detects the B light reflected by the beam splitter 64, the G light detection element 72 that detects the G light reflected by the beam splitter 58, and the R light reflected by the beam splitter 60. It includes an R light detection element 74 and an IR light detection element 76 that detects the IR light reflected by the beam splitter 62.
  • the light incident on the SLO unit 18 via the wide-angle optical system 30 and the first optical scanner 22 is reflected by the beam splitter 64 and is reflected by the B light detection element 70.
  • the beam splitter 64 In the case of G light, it is reflected by the beam splitter 58 and received by the G light detection element 72.
  • the incident light passes through the beam splitter 58, is reflected by the beam splitter 60, and is received by the R light detection element 74.
  • the incident light passes through the beam splitters 58 and 60, is reflected by the beam splitter 62, and is received by the IR photodetector 76.
  • the image processing device 17 operating under the control of the CPU 16A uses the signals detected by the B photodetector 70, the G photodetector 72, the R photodetector 74, and the IR photodetector 76 to produce a UWF-SLO image. Generate.
  • the UWF-SLO images include a UWF-SLO image (G color fundus image) 502GG obtained by photographing the fundus in G color and a UWF obtained by photographing the fundus in R color.
  • G color fundus image a UWF obtained by photographing the fundus in G color
  • R color fundus image a UWF obtained by photographing the fundus in R color.
  • SLO image R color fundus image
  • the UWF-SLO images include a UWF-SLO image (B color fundus image) 506BG obtained by photographing the fundus in B color and a UWF-SLO image (IR fundus image) obtained by photographing the fundus in IR.
  • IRG IRG.
  • control device 16 controls the light sources 40, 42, and 44 so as to emit light at the same time.
  • G color fundus image 502GG, R color fundus image 504RG, and B color fundus image 506BG whose positions correspond to each other can be obtained.
  • An RGB color fundus image can be obtained from the G color fundus image 502GG, the R color fundus image 504RG, and the B color fundus image 506BG.
  • the control device 16 controls the light sources 42 and 44 so as to emit light at the same time, and the fundus of the eye to be inspected 12 is simultaneously photographed by the G light and the R light, so that the G color fundus images 502 GG and R whose positions correspond to each other are taken.
  • a colored fundus image 504RG is obtained.
  • An RG color fundus image can be obtained from the G color fundus image 502GG and the R color fundus image 504RG.
  • the UWF-SLO image also includes a UWF-SLO image (moving image) 510 ICGG photographed by ICG fluorescence.
  • ICG indocyanine green
  • the UWF-SLO image (moving image) 510 ICGG is a moving image from the time when indocyanine green (ICG) is injected into a blood vessel and reaches the retina to the time after passing through the choroid.
  • Each image data of B color fundus image 506BG, G color fundus image 502GG, R color fundus image 504RG, IR fundus image 508IRG, RGB color fundus image, RG color fundus image, and UWF-SLO image 510ICGG has a communication IF (not shown). It is sent from the ophthalmologic apparatus 110 to the management server 140 via the ophthalmologic apparatus 110.
  • the OCT system is realized by the control device 16, the OCT unit 20, and the photographing optical system 19 shown in FIG. Since the OCT system includes the wide-angle optical system 30, it enables OCT imaging of the peripheral portion of the fundus in the same manner as the acquisition of the SLO fundus image described above. That is, the wide-angle optical system 30 in which the viewing angle (FOV) of the fundus is an ultra-wide angle enables OCT imaging of a region beyond the equator from the posterior pole of the fundus of the eye 12 to be inspected. OCT data of structures existing around the fundus such as vortex veins can be acquired, and tomographic images of vortex veins and 3D structures of vortex veins can be obtained by image processing of OCT data.
  • the OCT unit 20 includes a light source 20A, a sensor (detection element) 20B, a first optical coupler 20C, a reference optical system 20D, a collimating lens 20E, and a second optical coupler 20F.
  • the light emitted from the light source 20A is branched by the first optical coupler 20C.
  • One of the branched lights is made into parallel light by the collimated lens 20E as measurement light, and then incident on the photographing optical system 19.
  • the measurement light is scanned in the X and Y directions by the second optical scanner 24.
  • the scanning light is applied to the fundus through the wide-angle optical system 30 and the pupil 27.
  • the measurement light reflected by the fundus is incident on the OCT unit 20 via the wide-angle optical system 30 and the second optical scanner 24, and passes through the collimating lens 20E and the first optical coupler 20C to the second optical coupler 20F. Incident in.
  • the other light emitted from the light source 20A and branched by the first optical coupler 20C is incident on the reference optical system 20D as reference light, and is incident on the second optical coupler 20F via the reference optical system 20D. To do.
  • the image processing device 17 that operates under the control of the image processing unit 206 generates an OCT image such as a tomographic image or an en-face image based on the OCT data detected by the sensor 20B.
  • an OCT image obtained by photographing with an internal irradiation angle of 160 degrees or more, or an OCT image obtained by scanning the peripheral part of the fundus is referred to as a UWF-OCT image.
  • the image data of the UWF-OCT image is sent from the ophthalmic apparatus 110 to the management server 140 via a communication IF (not shown) and stored in the storage apparatus 254.
  • the light source 20A exemplifies a wavelength sweep type SS-OCT (Swept-Source OCT), but there are various types such as SD-OCT (Spectral-Domain OCT) and TD-OCT (Time-Domain OCT). OCT system of various types may be used.
  • the management server 140 includes a computer main body 252.
  • the computer body 252 has a CPU 262, a RAM 266, a ROM 264, and an input / output (I / O) port 268.
  • a storage device 254, a display 256, a mouse 255M, a keyboard 255K, and a communication interface (I / F) 258 are connected to the input / output (I / O) port 268.
  • the storage device 254 is composed of, for example, a non-volatile memory.
  • the input / output (I / O) port 268 is connected to the network 130 via the communication interface (I / F) 258. Therefore, the management server 140 can communicate with the ophthalmic apparatus 110, the axial length measuring device 120, and the image viewer 150.
  • the management server 140 stores each data received from the ophthalmic device 110 and the axial length measuring device 120 in the storage device 254.
  • the image processing program includes a display control function, an image processing function, and a processing function.
  • the CPU 262 executes an image processing program having each of these functions, the CPU 262 functions as a display control unit 204, an image processing unit 206, and a processing unit 208.
  • the image processing unit 206 corresponds to the "vortex vein position detection unit", “scanning area setting unit”, and "image acquisition unit” of the technique of the present disclosure.
  • the image processing unit 206 functions as the vortex vein position analysis unit 2060 for specifying the vortex vein position and the OCT acquisition position setting unit 2062 for specifying the position for acquiring the tomographic image by OCT. ..
  • FIG. 5 is a sequence diagram showing the cooperation of the doctor terminal, the image viewer 150, the SLO unit 18, the OCT unit 20, and the management server 140 in the present embodiment.
  • the doctor gives an instruction to photograph the vortex vein to the image viewer 150 via the doctor's terminal.
  • the operator who orally operates the image viewer 150 may be instructed to take a picture.
  • step S2 the image viewer 150 gives a shooting instruction to the SLO unit 18.
  • step S3 the SLO unit 18 shoots a UWF-SLO image
  • step S4 the shot UWF-SLO image is transmitted to the management server 140.
  • step S5 the management server 140 detects the position of the vortex vein from the UWF-SLO image as described later.
  • the management server 140 creates a display image described later, and in step S7, the management server 140 transmits the created display image to the image viewer 150.
  • step S8 the image viewer 150 displays the display image, which is the detection result of the vortex vein, on the display 156.
  • the display 156 corresponds to the "image display unit" of the technique of the present disclosure.
  • step S9 the doctor gives an instruction to take an OCT image to the image viewer 150 via the doctor's terminal.
  • the doctor's terminal is not used in step S1
  • the operator who orally operates the image viewer 150 may be instructed to take a picture.
  • step S10 the image viewer 150 gives a shooting instruction to the OCT unit 20.
  • step S11 the OCT unit 20 takes an OCT image, and in step S12, the taken OCT image is transmitted to the management server 140.
  • step S13 the management server 140 creates a display image described later, and in step S14, the management server 140 transmits the created display image to the image viewer 150.
  • step S15 the image viewer 150 displays the displayed image on the display 156.
  • FIG. 6 is a flowchart showing image processing in the image processing unit 206 of the management server 140.
  • the image processing unit 206 acquires a UWF-SLO image, which is a fundus image, from the SLO unit 18.
  • a choroidal blood vessel image is created.
  • the image processing unit 206 creates a choroidal blood vessel image (FIG. 14) from the acquired UWF-SLO image as follows.
  • the choroidal blood vessel image is an image in which the choroidal blood vessel obtained by image processing the UWF-SLO image is visualized.
  • the UWF-SLO images to be image-processed are, for example, an R-color fundus image 504RG and a G-color fundus image 502GG. Further, in order to reliably detect the vortex vein around the fundus, the upper UWF-SLO image taken with the inspected eye viewed upward using the fixation targets 92U and 92L and the inspected eye are viewed downward.
  • a choroidal blood vessel image may be generated from a montage UWF-SLO image obtained by synthesizing a downward-view UWF-SLO image taken in the state of being in the state.
  • the generation of montage images is disclosed in US Patent Application Publication No. 2012/0133888.
  • the structure of the eye is such that the vitreous body is covered with multiple layers having different structures.
  • the layers include the retina, choroid, and sclera from the innermost to the outermost side of the vitreous body. Since R light has a long wavelength, it passes through the retina and reaches the choroid. Therefore, the R-color fundus image 504RG includes information on blood vessels existing in the retina (retinal blood vessels) and information on blood vessels existing in the choroid (choroidal blood vessels). On the other hand, G light has a shorter wavelength than R light, so it reaches only the retina. Therefore, the G-color fundus image 502GG contains only information on blood vessels (retinal blood vessels) existing in the retina. Therefore, a choroidal blood vessel image (FIG. 14) can be obtained by extracting a retinal blood vessel from the G-color fundus image 502GG and removing the retinal blood vessel from the R-color fundus image 504RG. Specifically, the choroidal blood vessel image is generated as follows.
  • the image processing unit 206 emphasizes the retinal blood vessels by applying a top hat filter process to the G-color fundus image 502GG.
  • the image processing unit 206 binarizes the G-color fundus image 502GG subjected to the top hat filter processing and extracts the retinal blood vessels.
  • the image processing unit 206 removes the retinal blood vessels from the R color fundus image 504RG by an inpainting process or the like. That is, the retinal blood vessel structure of the R color fundus image 504RG is filled with the same value as the surrounding pixels using the position information of the retinal blood vessels extracted from the G color fundus image 502GG to generate a retinal blood vessel removal image.
  • the image processing unit 206 performs a process of removing the uneven brightness of the retinal blood vessel removal image. Specifically, the brightness unevenness of the retinal blood vessel removal image is removed by dividing the retinal blood vessel removal image by the low frequency component image obtained by applying a Gaussian filter or the like to the retinal blood vessel removal image. Then, the choroidal blood vessel image (simplified image diagram) shown in FIG. 14 is created by performing the binarization processing on the image in which the choroidal blood vessel is further emphasized by the line enhancement processing.
  • the choroidal blood vessels and the optic disc ONH are white pixels, and the other fundus regions are black pixels.
  • the created choroidal blood vessel image is stored in the storage device 254. A fluorescently photographed fundus image may be used to generate the choroidal blood vessel image.
  • step 304 the image processing unit 206 analyzes the choroidal blood vessel image and detects the vortex vein position. Details of the detection of the vortex vein position will be described later.
  • the acquisition position of the OCT image (OCT image acquisition area) is set.
  • the acquisition position of the OCT image is, for example, a predetermined range centered on the vortex vein detected in the analysis in step 304.
  • the image processing unit 206 uses a rectangular region of 6 ⁇ 6 mm centered on the vortex vein as an OCT image acquisition position.
  • a predetermined range centered on the macula or the optic nerve head may be set as the acquisition position of the OCT image.
  • a line line segment
  • scan range for obtaining OCT tomographic data may be set.
  • the scanning method is determined.
  • the OCT scanning method includes, for example, a B scan for obtaining a cross-sectional image perpendicular to the retinal surface and a C scan for obtaining volume data (volume data) of the retina.
  • the image processing unit 206 sets a scanning method such as a B scan (line scan) or a C scan (raster scan, circle scan, etc.) designated from the image viewer 150.
  • the OCT image obtained by scanning is stored in the storage device 254 or the like of the management server 140.
  • the OCT image may be stored in the storage device of the ophthalmology device 110 or the image viewer 150 in addition to the storage device 254 of the management server 140.
  • step 312 the choroidal blood vessel image and the OCT image are output to the image viewer 150 or the like in a state similar to the display image described later, and the process is completed.
  • the display image output to the image viewer 150 is displayed on the display 156 or the like.
  • the display image may be displayed on the display 256 or the like of the management server 140.
  • FIG. 7 is a flowchart of the vortex vein position detection process in step 304 of FIG.
  • the image processing unit 206 reads the choroidal blood vessel image generated in step 302 of FIG.
  • the image processing unit 206 detects the position of the vortex vein from the choroidal blood vessel image.
  • the choroidal vascular structure vascular network
  • the image processing unit 206 detects the position of the vortex vein from the choroidal blood vessel image.
  • the choroidal vascular structure vascular network
  • it is calculated based on the traveling direction of the choroidal blood vessel. Since the vortex vein is an outflow tract of blood flow, a plurality of choroidal blood vessels are connected to the vortex vein. That is, the coordinates of the position of the vortex vein can be obtained by searching the point where a plurality of blood vessels are connected from the choroidal blood vessel image from the blood vessel traveling direction.
  • the detected coordinates of the position of the vortex vein are stored in a storage device 254 or the like.
  • step 404 the image processing unit 206 reads the G color fundus image 502GG. If the G-color fundus image 502GG acquired by the ophthalmic apparatus 110 is stored in advance in the storage device 254 or the like of the management server 140, the image processing unit 206 reads the G-color fundus image 502GG from the storage device 254 or the like.
  • the image processing unit 206 detects the macula and the optic nerve head from the G-color fundus image 502GG. Specifically, since the macula is a dark region in the G-color fundus image 502GG, the image processing unit 206 sets the region of a predetermined number of pixels having the smallest pixel value in the G-color fundus image 502GG read in step 404 as the macula. Detect as. The central position of the region including the darkest pixel is calculated as the coordinates where the macula is located and stored in the storage device 254. Further, the image processing unit 206 detects the position of the optic nerve head from the G-color fundus image 502GG.
  • the image processing unit 206 detects and detects the position of the optic nerve head in the G color fundus image 502GG by pattern matching a predetermined image of the optic nerve head with respect to the G color fundus image 502GG.
  • the position is calculated as the coordinates where the optic nerve head is located and stored in the storage device 254.
  • step 408 the image processing unit 206 sets the coordinates of the position of the vortex vein detected in step 402, the coordinates of the macula detected in step 406, and the coordinates of the optic nerve head on the choroidal blood vessel image, and from the macula to the vortex vein. And the distance from the optic disc to the vortex vein.
  • the image processing unit 206 visualizes the position of the vortex vein.
  • the position of the vortex vein is visualized, for example, by showing the position of the vortex vein on the choroidal blood vessel image displayed on the display 156 of the image viewer 150 (see FIG. 8).
  • the display image 500 is displayed on the display 156 of the image viewer 150, and the display image is stored in the storage device 254 or the like of the management server 140 to end the process.
  • the processes shown in FIGS. 6 and 7 may be executed by the CPU included in the image viewer 150 or the image processing device 17 of the ophthalmic apparatus 110.
  • FIG. 8 is a schematic view showing a display image 600 to be displayed on the display 156 of the image viewer 150.
  • the display image 600 has an information display area 602 and an image display area 604.
  • the information display area 602 includes a patient ID display area 612, a patient name display area 614, an age display area 616, a right eye / left eye display area 618, an axial length display area 620, a visual acuity display area 622, and an imaging date / time display area. It has 624.
  • the display 156 of the image viewer 150 displays each information from the patient ID display area 612 to each display area of the imaging date / time display area 624 based on the received information.
  • the image display area 604 has a choroidal blood vessel image display area 650 and a display switching icon 660.
  • a choroidal blood vessel image is displayed in the choroidal blood vessel image display area 650.
  • FIG. 8 displays a choroidal blood vessel image generated from a montage image obtained by stitching together UWF-SLO images obtained by moving the line of sight of a patient up and down using the fixation markers 92U and 92L.
  • the display mode of the choroidal blood vessel image displayed in the choroidal blood vessel image display area 650 can be switched from the 2D mode to the 3D mode.
  • the choroidal blood vessel image in the 3D mode is displayed by clicking the display switching icon 660. If the display switching icon 660 is clicked when the 3D mode choroidal blood vessel image is displayed, the 2D mode choroidal blood vessel image is displayed.
  • the OCT image acquisition areas 672A, 672B, 672C, and 672D set in step 306 of FIG. 6 are superimposed on the choroidal blood vessel image displayed in the choroidal blood vessel image display area 650.
  • the positions of the OCT image acquisition areas 672A, 672B, 672C, and 672D can be arbitrarily changed by the position change tool 670.
  • the position change tool 670 can focus on the OCT image acquisition areas 672A, 672B, 672C, and 672D by clicking the left button of the mouse 155M, and can focus the mouse 155M while focusing on the OCT image acquisition areas 672A, 672B, 672C, and 672D.
  • the OCT image acquisition areas 672A, 672B, 672C, and 672D correspond to "scanning areas" for acquiring tomographic images of one vortex vein of the technique of the present disclosure.
  • the size of the OCT image acquisition areas 672A, 672B, 672C, and 672D can be changed by clicking the scan size button 634 on the right side of the image display area 604 with the mouse 155M. For example, when the scan size button 634 is clicked, a pull-down menu exemplifying the sizes of the selectable OCT image acquisition areas 672A, 672B, 672C, and 672D is displayed, and the OCT image acquisition areas 672A, 672B, and 672C are displayed from the displayed pull-down menu. , 672D size can be selected.
  • the size of the OCT image acquisition areas 672A, 672B, 672C, and 672D is 6 ⁇ 6 mm in FIG. 8, but can be expanded up to, for example, 12 ⁇ 12 mm.
  • the OCT image acquisition area can be arbitrarily added by clicking the shooting position addition button 640.
  • the added OCT image acquisition area can be moved to an arbitrary position by the above-mentioned position change tool 670.
  • the OCT image acquisition areas 672A, 672B, 672C, and 672D can be deleted by clicking the shooting position deletion button 642.
  • To delete the OCT image acquisition areas 672A, 672B, 672C, and 672D for example, press the shooting position deletion button 642 while focusing on any of the OCT image acquisition areas 672A, 672B, 672C, and 672D with the position change tool 670 described above. It is done by clicking.
  • the scan mode button 632 is a button for selecting a target for acquiring an OCT image.
  • the state of scanning the vortex vein (VV) in three dimensions (3D) is set, but by clicking the scan mode button 632, the state of scanning the macula in 3D and the optic nerve head in 3D can be obtained. You can choose.
  • the scan mode button 632 is clicked to switch to the state of scanning the macula in 3D, the OCT image acquisition area shows a predetermined range centered on the macula. Further, when the scan mode button 632 is clicked to switch to the state of scanning the optic disc in 3D, the OCT image acquisition area shows a predetermined range centered on the optic disc.
  • the added average number button 636 is a button for changing the number of choroidal blood vessel images used in the process of averaging the brightness values of each pixel of a plurality of existing choroidal blood vessel images.
  • FIG. 8 shows a state in which the brightness values of the pixels are averaged using 10 choroidal blood vessel images.
  • the photographing button 644 is a button for acquiring OCT images of the OCT image acquisition areas 672A, 672B, 672C, and 672D displayed on the choroidal blood vessel image.
  • an imaging command is transmitted to the ophthalmic apparatus 110 via the network 130, and the ophthalmic apparatus 110 acquires OCT images of the OCT image acquisition areas 672A, 672B, 672C, and 672D.
  • Remarks column 680 is an area for describing matters related to patients and the like.
  • an arbitrary character string can be input using the keyboard 155K or the like of the image viewer 150.
  • FIG. 9 is a flowchart showing acquisition of an OCT image by the ophthalmic apparatus 110.
  • the image processing device 17 moves the patient's line of sight up and down using the fixation markers 92U and 92L, and joins the UWF-SLO images acquired in the montage image (or choroidal blood vessel image) and FIG.
  • the position information of the vortex vein detected in step 402 and stored in the storage device 254 of the management server 140 is acquired.
  • the image processing device 17 determines the scanning method according to the input from the input / display device 16E.
  • the scanning method includes the above-mentioned B scan and C scan, and further, the area to be scanned can be selected.
  • FIG. 10 is a schematic view showing a case where a C scan is performed in the OCT image acquisition area 672A, 672B, 672C, and 672D, and a B scan is performed in the OCT image acquisition area 674.
  • FIG. 11 is a schematic view showing a case where a ring-shaped region 676 including the OCT image acquisition regions 672A, 672B, 672C, and 672D is C-scanned. By C-scanning the annular region 676, a wide region of the fundus can be scanned, and tomographic images of a plurality of vortex veins can be acquired.
  • step 704 the image processing device 17 executes scanning according to the click of the shooting button 644 shown in FIG. 8 or the input from the input / display device 16E.
  • the OCT image acquisition area 672A, 672B, 672C, 672DOCT image acquisition area or the annular area 676 including the 672A, 672B, 672C, 672D is scanned.
  • C scan data is acquired. Such a scan produces a 3D tomographic image.
  • step 706 the image processing device 17 determines whether or not the entire area such as the OCT image acquisition areas 672A, 672B, 672C, and 672D has been scanned. If the entire area was scanned in step 706, the procedure proceeds to step 708, and if the entire area is not scanned in step 706, the procedure proceeds to step 704 to continue the scan.
  • step 708 the image processing device 17 causes the input / display device 16E to display the acquired OCT image.
  • the image processing device 17 creates OCT data having a header and a data area in a format according to DICOM (Digital Imaging and Communications in Medicine).
  • DICOM Digital Imaging and Communications in Medicine
  • the creation of OCT data for example, even if a 3D polygon, an en-face image, an OCT pixel, a blood flow visualization image, or the like is generated from a tomographic image of the vortex vein to visualize the choroidal blood vessel connected to the vortex vein and the vortex vein. Good.
  • step 712 the image processing device 17 transmits the created OCT data to the management server 140 and ends the process.
  • FIG. 12 is a schematic view showing a display image 800 including an OCT image to be displayed on the display 156 of the image viewer 150.
  • the display image 800 has an information display area 802 and an image display area 804. Similar to the display image 600 shown in FIG. 8, the information display area 802 includes a patient ID display area 812, a patient name display area 814, an age display area 816, a right eye / left eye display area 818, and an axial length display area. It has 820, a visual acuity display area 822, and a shooting date / time display area 824.
  • the display 156 of the image viewer 150 displays each information from the patient ID display area 812 to each display area of the imaging date / time display area 824 based on the received information.
  • the information display area 802 is provided with a data selection button 830.
  • a pull-down menu or the like for selecting a related image to be displayed in the related image display area 850, which will be described later, is displayed.
  • a pseudo-color (RGB3 color) image, an RG color image, a blue monochromatic image, a green monochromatic image, a red monochromatic image, etc. of the fundus of the eye to be inspected 12 that have already been acquired are displayed.
  • FIG. 12 shows how the RG color image is displayed in the related image display area 850.
  • the image display area 804 has a related image display area 850, a display switching icon 860, a choroidal blood vessel image display area 870, a display switching icon 880, and an OCT image display area 890.
  • a choroidal blood vessel image is displayed in the same manner as in the choroidal blood vessel image display area 650 of FIG.
  • the display switching icon 880 By clicking the display switching icon 880, the display mode of the choroidal blood vessel image display area 870 can be switched from the 2D mode to the 3D mode in the same manner as in the choroidal blood vessel image display area 650 of FIG. In FIG.
  • the choroidal blood vessel image in the 3D mode is displayed by clicking the display switching icon 880. If the display switching icon 880 is clicked when the 3D mode choroidal blood vessel image is displayed, the 2D mode choroidal blood vessel image is displayed.
  • a display switching icon 860 is also provided in the related image display area 850.
  • the pseudo color (RGB3 color) image, RG color image, blue monochromatic image, green monochromatic image, red monochromatic image, etc. displayed in the related image display area 850 are displayed from 2D mode to 3D. You can switch between modes or from 3D mode to 2D mode.
  • a scan mode button 882 On the right side of the image display area 804, a scan mode button 882, a scan size button 884, and an average number of sheets to be added button 886 are provided as in the display image 600 of FIG. Since the functions of the scan mode button 882, the scan size button 884, and the added average number button 886 are the same as in FIG. 8, detailed description thereof will be omitted.
  • OCT images 892A, 892B, 892C, and 892D corresponding to each of the OCT image acquisition areas 872A, 872B, 872C, and 872D displayed overlaid on the choroidal blood vessel image of the choroidal blood vessel image display area 870 are provided. Is displayed.
  • the OCT images 892A, 892B, 892C, and 892D display, for example, the shape of the vortex vein visualized as a tomographic image by scanning the OCT image acquisition regions 872A, 872B, 872C, and 872D. No. 1 attached to the upper part of the OCT images 892A, 892B, 892C, 892D. 1, No. 2. No. 3, No.
  • the reference numeral 4 is No. 4 assigned to the OCT image acquisition regions 872A, 872B, 872C, and 872D. 1, No. 2. No. 3, No. Corresponds to each of the symbols of 4. Therefore, the display image 800 includes OCT image acquisition regions 872A, 872B, 872C, 872D and OCT images 892A, 892B, 892C, 892D showing the shape of the visualized vortex vein (or choroidal blood vessel connected to the vortex vein and the vortex vein). It can be displayed in association with each other.
  • An image showing the shape of the vortex vein is displayed in the OCT image display area 890 of the display image 800, but the present embodiment is not limited to this.
  • the OCT image of the macula is acquired, the cross-sectional image of the macula is displayed, and when the OCT image of the optic disc is acquired, the cross-sectional image of the optic disc is displayed in the OCT image display area 890.
  • a display switching button 894 is provided in the OCT image display area 890, and when the display switching button 894 is clicked, a pull-down menu for switching the display of the OCT images 892A, 892B, 892C, and 892D is displayed.
  • the display of the OCT images 892A, 892B, 892C, and 892D can be switched by selecting, for example, a 3D polygon, an en-face image, an OCT pixel, a blood flow visualization image, or the like from the displayed pull-down menu.
  • the display image 800 is provided with a remarks column 900 in the same manner as the display image 600 shown in FIG.
  • a remarks column 900 an arbitrary character string such as matters related to the patient or the like can be input by using the keyboard 155K or the like of the image viewer 150.
  • the present embodiment by setting the OCT image acquisition region based on the vortex vein position detected from the fundus image, it is possible to acquire a tomographic image of the vortex vein position other than the lesion candidate. ..
  • data processing is realized by a software configuration using a computer
  • data processing may be executed only by a hardware configuration such as FPGA (Field-Programmable Gate Array) or ASIC (Application Specific Integrated Circuit). Some of the data processing may be performed by the software configuration and the rest may be performed by the hardware configuration.
  • FPGA Field-Programmable Gate Array
  • ASIC Application Specific Integrated Circuit

Landscapes

  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Biophysics (AREA)
  • Ophthalmology & Optometry (AREA)
  • Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Physics & Mathematics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Eye Examination Apparatus (AREA)

Abstract

画像処理方法は、眼底画像から渦静脈位置を検出するステップと、前記渦静脈位置を含む断層画像を取得する走査領域 を設定するステップと、を含む。

Description

画像処理方法、画像処理装置、及び画像処理プログラム
 本発明は、画像処理方法、画像処理装置、及び画像処理プログラムに関する。
 米国特許第7857449号明細書には、眼底の断層像の撮像を行う眼科装置が開示されている。眼底の所望の位置における断層画像を取得することが望まれている。
 本開示の技術の第1の態様の画像処理方法は、眼底画像から渦静脈位置を検出するステップと、前記渦静脈位置を含む断層画像を取得する走査領域 を設定するステップと、を含む。
 本開示の技術の第2の態様の画像処理装置は、眼底画像から渦静脈位置を検出する渦静脈位置検出部と、前記渦静脈位置を含む断層画像を取得する走査領域を設定する走査領域設定部と、前記走査領域を走査して断層画像を取得する画像取得部と、を備える。
 本開示の技術の第3の態様の画像処理プログラムは、コンピュータを、眼底画像から渦静脈位置を検出する渦静脈位置検出部、及び前記渦静脈位置を含む断層画像を取得する走査領域を設定する走査領域設定部として機能させる。
眼科システム100のブロック図である。 眼科装置110の全体構成を示す概略構成図である。 管理サーバ140の電気系の構成のブロック図である。 管理サーバ140のCPU262の機能のブロック図である。 医師用端末、画像ビューワ150、SLOユニット18、OCTユニット20、管理サーバ140の連携を示したシーケンス図である。 管理サーバ140の画像処理部206での画像処理を示したフローチャートである。 図6のステップ304の渦静脈位置解析処理のフローチャートである。 画像ビューワ150のディスプレイ156に表示する表示画像600を示した概略図である。 眼科装置110でのOCT画像の取得を示したフローチャートである。 OCT画像取得領域672A、672B、672C、672DでCスキャンを行い、OCT画像取得領域674でBスキャンを行う場合を示した概略図である。 OCT画像取得領域672A、672B、672C、672Dを含む円環状の領域676をCスキャンする場合を示した概略図である。 画像ビューワ150のディスプレイ156に表示するOCT画像を含む表示画像800を示した概略図である。 眼科装置110により得られる各種のUWF-SLO画像を示す図である。 脈絡膜血管画像を示す図である。
 以下、図面を参照して本実施形態を詳細に説明する。
 図1を参照して、眼科システム100の構成を説明する。図1に示すように、眼科システム100は、眼科装置110と、眼軸長測定器120と、管理サーバ装置(以下、「管理サーバ」という)140と、画像表示装置(以下、「画像ビューワ」という)150と、を備えている。眼科装置110は、眼底画像を取得する。眼軸長測定器120は、患者の眼軸長を測定する。管理サーバ140は、眼科装置110によって複数の患者の眼底が撮影されることにより得られた複数の眼底画像、眼軸長、および断層画像を、患者のIDに対応して記憶する。画像ビューワ150は、管理サーバ140から取得した眼底画像を表示する。画像ビューワ150は、ディスプレイ156、マウス155M、およびキーボード155Kを備えている。
 眼科装置110、眼軸長測定器120、管理サーバ140、および画像ビューワ150は、ネットワーク130を介して、相互に接続されている。画像ビューワ150は、クライアントサーバシステムにおけるクライアントであり、ネットワークを介して複数台が接続される。また、サーバ140も、システムの冗長性を担保するために、ネットワークを介して複数台が接続されていてもよい。又は、眼科装置110が画像処理機能及び画像ビューワ150の画像閲覧機能を備えるのであれば、眼科装置110がスタンドアロン状態で、眼底画像の取得、画像処理及び画像閲覧が可能となる。また、サーバ140が画像ビューワ150の画像閲覧機能を備えるのであれば、眼科装置110とサーバ140との構成で、眼底画像の取得、画像処理及び画像閲覧が可能となる。
 なお、他の眼科機器(視野測定、眼圧測定などの検査機器)やAI(Artificial Intelligence)を用いた画像解析を行う診断支援装置がネットワーク130を介して、眼科装置110、サーバ140、及び画像ビューワ150に接続されていてもよい。
 眼軸長測定器120は、被検眼12の眼軸方向の長さである眼軸長を測定する第1のモードと第2のモードとの2つのモードを有する。第1のモードは、図示しない光源からの光を被検眼12に導光した後、眼底からの反射光と角膜からの反射光との干渉光を受光し、受光した干渉光を示す干渉信号に基づいて眼軸長を測定する。第2のモードは、図示しない超音波を用いて眼軸長を測定するモードである。
 眼軸長測定器120は、第1のモード又は第2のモードにより測定された眼軸長を管理サーバ140に送信する。第1のモードおよび第2のモードにより眼軸長を測定してもよく、この場合には、双方のモードで測定された眼軸長の平均を眼軸長として管理サーバ140に送信する。眼軸長は被検者のデータの一つとして管理サーバ140に患者情報として保存されるとともに、眼底画像解析にも利用される。
 次に、図2を参照して、眼科装置110の構成を説明する。
 説明の便宜上、走査型レーザ検眼鏡(Scanning Laser Ophthalmoscope)を「SLO」と称する。また、光干渉断層計(Optical Coherence Tomography)を「OCT」と称する。
 なお、眼科装置110が水平面に設置された場合の水平方向を「X方向」、水平面に対する垂直方向を「Y方向」とし、被検眼12の前眼部の瞳孔の中心と眼球の中心とを結ぶ方向を「Z方向」とする。従って、X方向、Y方向、およびZ方向は互いに垂直である。
 眼科装置110は、撮影装置14および制御装置16を含む。撮影装置14は、SLOユニット18およびOCTユニット20を備えており、被検眼12の眼底の眼底画像を取得する。以下、SLOユニット18により取得された二次元眼底画像をSLO画像と称する。また、OCTユニット20により取得されたOCTデータに基づいて作成された網膜の断層画像や正面画像(en-face画像)などをOCT画像と称する。OCT画像は、本開示の技術の「断層画像」に相当する。
 制御装置16は、CPU(Central Processing Unit(中央処理装置))16A、RAM(Random Access Memory)16B、ROM(Read-Only memory)16C、および入出力(I/O)ポート16Dを有するコンピュータを備えている。
 制御装置16は、I/Oポート16Dを介してCPU16Aに接続された入力/表示装置16Eを備えている。入力/表示装置16Eは、被検眼12の画像を表示したり、ユーザから各種指示を受け付けたりするグラフィックユーザインターフェースを有する。グラフィックユーザインターフェースとしては、タッチパネル・ディスプレイが挙げられる。
 また、制御装置16は、I/Oポート16Dに接続された画像処理装置17を備えている。画像処理装置17は、撮影装置14によって得られたデータに基づき被検眼12の画像を生成する。なお、制御装置16は、通信インターフェース16Fを介してネットワーク130に接続される。
 上記のように、図2では、眼科装置110の制御装置16が入力/表示装置16Eを備えているが、本開示の技術はこれに限定されない。例えば、眼科装置110の制御装置16は入力/表示装置16Eを備えず、眼科装置110とは物理的に独立した別個の入力/表示装置を備えるようにしてもよい。この場合、当該表示装置は、制御装置16のCPU16Aの表示制御部204の制御下で動作する画像処理プロセッサユニットを備える。画像処理プロセッサユニットが、表示制御部204が出力指示した画像信号に基づいて、SLO画像等を表示するようにしてもよい。
 撮影装置14は、制御装置16の撮影制御部202の制御下で作動する。撮影装置14は、SLOユニット18、撮影光学系19、およびOCTユニット20を含む。撮影光学系19は、第1光学スキャナ22、第2光学スキャナ24、および広角光学系30を含む。また、撮影光学系19の光軸から上下にずれた位置に、患者の視線を向かせるように点灯される発光装置(例えば、LED)により構成される固視標92U、92Lを備えている。
 第1光学スキャナ22は、SLOユニット18から射出された光をX方向、およびY方向に2次元走査する。第2光学スキャナ24は、OCTユニット20から射出された光をX方向、およびY方向に2次元走査する。第1光学スキャナ22および第2光学スキャナ24は、光束を偏向できる光学素子であればよく、例えば、ポリゴンミラーや、ガルバノミラー等を用いることができる。また、それらの組み合わせであってもよい。
 広角光学系30は、共通光学系28を有する対物光学系(図2では不図示)、およびSLOユニット18からの光とOCTユニット20からの光を合成する合成部26を含む。
 なお、共通光学系28の対物光学系は、楕円鏡などの凹面ミラーを用いた反射光学系や、広角レンズなどを用いた屈折光学系、あるいは、凹面ミラーやレンズを組み合わせた反射屈折光学系でもよい。楕円鏡や広角レンズなどを用いた広角光学系を用いることにより、眼底中心部だけでなく眼底周辺部の網膜を撮影することが可能となる。
 楕円鏡を含むシステムを用いる場合には、国際公開WO2016/103484あるいは国際公開WO2016/103489に記載された楕円鏡を用いたシステムを用いる構成でもよい。国際公開WO2016/103484の開示および国際公開WO2016/103489の開示の各々は、その全体が参照により本明細書に取り込まれる。
 広角光学系30によって、眼底において広い視野(FOV:Field of View)12Aでの観察が実現される。FOV12Aは、撮影装置14によって撮影可能な範囲を示している。FOV12Aは、視野角として表現され得る。視野角は、本実施形態において、内部照射角と外部照射角とで規定され得る。外部照射角とは、眼科装置110から被検眼12へ照射される光束の照射角を、瞳孔27を基準として規定した照射角である。また、内部照射角とは、眼底Fへ照射される光束の照射角を、眼球中心Oを基準として規定した照射角である。外部照射角と内部照射角とは、対応関係にある。例えば、外部照射角が120度の場合、内部照射角は約160度に相当する。本実施形態では、内部照射角は200度としている。
 ここで、内部照射角で160度以上の撮影画角で撮影されて得られたSLO眼底画像をUWF-SLO眼底画像と称する。なお、UWFとは、UltraWide Field(超広角)の略称を指す。眼底の視野角(FOV)を超広角な角度とした広角光学系30により、被検眼12の眼底の後極部から赤道部を超える領域を撮影することができ、渦静脈などの眼底周辺部に存在する構造物を撮影できる。
 SLOシステムは、図2に示す制御装置16、SLOユニット18、および撮影光学系19によって実現される。SLOシステムは、広角光学系30を備えるため、広いFOV12Aでの眼底撮影を可能とする。
 SLOユニット18は、B(青色光)の光源40、G光(緑色光)の光源42、R光(赤色光)の光源44、およびIR光(赤外線(例えば、近赤外光))の光源46と、光源40、42、44、46からの光を、反射又は透過して1つの光路に導く光学系48、50、52、54、56とを備えている。光学系48、56は、ミラーであり、光学系50、52、54は、ビームスプリッタ―である。B光は、光学系48で反射し、光学系50を透過し、光学系54で反射し、G光は、光学系50、54で反射し、R光は、光学系52、54を透過し、IR光は、光学系52、56で反射して、それぞれ1つの光路に導かれる。
 SLOユニット18は、R光およびG光を発するモードと、赤外線を発するモードなど、波長の異なるレーザ光を発する光源あるいは発光させる光源の組合せを切り替え可能に構成されている。図2に示す例では、G光の光源42、R光の光源44、およびIR光の光源46の3つの光源を備えるが、本開示の技術は、これに限定されない。例えば、SLOユニット18は、更に、B光(青色光)の光源や白色光の光源を更に備え、G光、R光、およびB光を発するモードや、白色光のみを発するモード等の種々のモードで光を発するようにしてもよい。
 SLOユニット18から撮影光学系19に入射された光は、第1光学スキャナ22によってX方向およびY方向に走査される。走査光は広角光学系30および瞳孔27を経由して、眼底に照射される。眼底により反射された反射光は、広角光学系30および第1光学スキャナ22を経由してSLOユニット18へ入射される。
 SLOユニット18は、被検眼12の後眼部(眼底)からの光の内、B光を反射し且つB光以外を透過するビームスプリッタ64、ビームスプリッタ64を透過した光の内、G光を反射し且つG光以外を透過するビームスプリッタ58を備えている。SLOユニット18は、ビームスプリッタ58を透過した光の内、R光を反射し且つR光以外を透過するビームスプリッタ60を備えている。SLOユニット18は、ビームスプリッタ60を透過した光の内、IR光を反射するビームスプリッタ62を備えている。SLOユニット18は、ビームスプリッタ64により反射したB光を検出するB光検出素子70、ビームスプリッタ58により反射したG光を検出するG光検出素子72、ビームスプリッタ60により反射したR光を検出するR光検出素子74、およびビームスプリッタ62により反射したIR光を検出するIR光検出素子76を備えている。
 広角光学系30および第1光学スキャナ22を経由してSLOユニット18へ入射された光(眼底により反射された反射光)は、B光の場合、ビームスプリッタ64で反射してB光検出素子70により受光され、G光の場合、ビームスプリッタ58で反射してG光検出素子72により受光される。上記入射された光は、R光の場合、ビームスプリッタ58を透過し、ビームスプリッタ60で反射してR光検出素子74により受光される。上記入射された光は、IR光の場合、ビームスプリッタ58、60を透過し、ビームスプリッタ62で反射してIR光検出素子76により受光される。CPU16Aの制御下で動作する画像処理装置17は、B光検出素子70、G光検出素子72、R光検出素子74、およびIR光検出素子76で検出された信号を用いてUWF-SLO画像を生成する。
 UWF-SLO画像には、図13に示すように、眼底がG色で撮影されて得られたUWF-SLO画像(G色眼底画像)502GGと、眼底がR色で撮影されて得られたUWF-SLO画像(R色眼底画像)504RGとがある。UWF-SLO画像には、眼底がB色で撮影されて得られたUWF-SLO画像(B色眼底画像)506BGと、眼底がIRで撮影されて得られたUWF-SLO画像(IR眼底画像)508IRGとがある。
 また、制御装置16が、同時に発光するように光源40、42、44を制御する。B光、G光およびR光で同時に被検眼12の眼底が撮影されることにより、各位置が互いに対応するG色眼底画像502GG、R色眼底画像504RG、およびB色眼底画像506BGが得られる。G色眼底画像502GG、R色眼底画像504RG、およびB色眼底画像506BGからRGBカラー眼底画像が得られる。制御装置16が、同時に発光するように光源42、44を制御し、G光およびR光で同時に被検眼12の眼底が撮影されることにより、各位置が互いに対応するG色眼底画像502GGおよびR色眼底画像504RGが得られる。G色眼底画像502GGおよびR色眼底画像504RGからRGカラー眼底画像が得られる。
 UWF-SLO画像には、ICG蛍光撮影されたUWF-SLO画像(動画)510ICGGもある。インドシアニン・グリーン(ICG)が血管に注入されると、眼底に到達し、最初は網膜に到達し、次に、脈絡膜に到達し、脈絡膜を通過する。UWF-SLO画像(動画)510ICGGは、インドシアニン・グリーン(ICG)が血管に注入され網膜に到達した時から、脈絡膜を通過した後までの動画像である。
 B色眼底画像506BG、G色眼底画像502GG、R色眼底画像504RG、IR眼底画像508IRG、RGBカラー眼底画像、RGカラー眼底画像、およびUWF-SLO画像510ICGGの各画像データは、図示しない通信IFを介して眼科装置110から管理サーバ140へ送付される。
 OCTシステムは、図2に示す制御装置16、OCTユニット20、および撮影光学系19によって実現される。OCTシステムは、広角光学系30を備えるため、上述したSLO眼底画像の撮影と同様に、眼底周辺部のOCT撮影を可能とする。つまり、眼底の視野角(FOV)を超広角な角度とした広角光学系30により、被検眼12の眼底の後極部から赤道部を超える領域のOCT撮影を行うことができる。渦静脈などの眼底周辺部に存在する構造物のOCTデータを取得でき、渦静脈の断層像や、OCTデータを画像処理することにより渦静脈の3D構造を得ることができる。
OCTユニット20は、光源20A、センサ(検出素子)20B、第1の光カプラ20C、参照光学系20D、コリメートレンズ20E、および第2の光カプラ20Fを含む。
 光源20Aから射出された光は、第1の光カプラ20Cで分岐される。分岐された一方の光は、測定光として、コリメートレンズ20Eで平行光にされた後、撮影光学系19に入射される。測定光は、第2光学スキャナ24によってX方向およびY方向に走査される。走査光は広角光学系30および瞳孔27を経由して、眼底に照射される。眼底により反射された測定光は、広角光学系30および第2光学スキャナ24を経由してOCTユニット20へ入射され、コリメートレンズ20Eおよび第1の光カプラ20Cを介して、第2の光カプラ20Fに入射する。
 光源20Aから射出され、第1の光カプラ20Cで分岐された他方の光は、参照光として、参照光学系20Dへ入射され、参照光学系20Dを経由して、第2の光カプラ20Fに入射する。
 第2の光カプラ20Fに入射されたこれらの光、即ち、眼底で反射された測定光と、参照光とは、第2の光カプラ20Fで干渉されて干渉光を生成する。干渉光はセンサ20Bで受光される。画像処理部206の制御下で動作する画像処理装置17は、センサ20Bで検出されたOCTデータに基づいて断層画像やen-face画像などのOCT画像を生成する。
 ここで、内部照射角で160度以上の撮影画角で撮影されて得られたOCT画像、あるいは、眼底周辺部を走査して得られたOCT画像をUWF-OCT画像と称する。
 UWF-OCT画像の画像データは、図示しない通信IFを介して眼科装置110から管理サーバ140へ送付され、記憶装置254に記憶される。
 なお、本実施形態では、光源20Aが波長掃引タイプのSS-OCT(Swept-Source OCT)を例示するが、SD-OCT(Spectral-Domain OCT)、TD-OCT(Time-Domain OCT)など、様々な方式のOCTシステムであってもよい。
 次に、図3を参照して、管理サーバ140の電気系の構成を説明する。図3に示すように、管理サーバ140は、コンピュータ本体252を備えている。コンピュータ本体252は、CPU262、RAM266、ROM264、入出力(I/O)ポート268を有する。入出力(I/O)ポート268には、記憶装置254、ディスプレイ256、マウス255M、キーボード255K、および通信インターフェース(I/F)258が接続されている。記憶装置254は、例えば、不揮発メモリで構成される。入出力(I/O)ポート268は、通信インターフェース(I/F)258を介して、ネットワーク130に接続されている。従って、管理サーバ140は、眼科装置110、眼軸長測定器120、および画像ビューワ150と通信することができる。
 管理サーバ140は、眼科装置110および眼軸長測定器120から受信した各データを、記憶装置254に記憶する。
 管理サーバ140のCPU262が画像処理プログラムを実行することで実現される各種機能について説明する。図4に示すように、画像処理プログラムは、表示制御機能、画像処理機能、および処理機能を備えている。CPU262がこの各機能を有する画像処理プログラムを実行することで、CPU262は、表示制御部204、画像処理部206、および処理部208として機能する。画像処理部206は、本開示の技術の「渦静脈位置検出部」、「走査領域設定部」及び「画像取得部」に相当する。
 また、画像処理プログラムを実行することで、画像処理部206は、渦静脈位置を特定する渦静脈位置解析部2060、OCTにより断層画像を取得する位置を特定するOCT取得位置設定部2062として機能する。
 図5は、本実施形態における医師用端末、画像ビューワ150、SLOユニット18、OCTユニット20、管理サーバ140の連携を示したシーケンス図である。ステップS1では医師が医師用端末を介して画像ビューワ150に対し渦静脈の撮影指示をする。ステップS1で医師用端末を用いない場合は、口頭で画像ビューワ150を操作するオペレータに撮影指示をしてもよい。
 ステップS2では画像ビューワ150からSLOユニット18に撮影指示を行う。ステップS3ではSLOユニット18はUWF-SLO画像の撮影を行い、ステップS4では撮影したUWF-SLO画像を管理サーバ140に送信する。
 ステップS5では管理サーバ140は後述するようにUWF-SLO画像から渦静脈の位置を検出する。ステップS6では管理サーバ140は後述する表示画像を作成し、ステップS7では管理サーバ140は作成した表示画像を画像ビューワ150に送信する。
 ステップS8では画像ビューワ150は、渦静脈の検出結果である表示画像をディスプレイ156に表示する。ディスプレイ156は、本開示の技術の「画像表示部」に相当する。
 ステップS9では医師が医師用端末を介して画像ビューワ150に対しOCT画像の撮影指示をする。ステップS1で医師用端末を用いない場合は、口頭で画像ビューワ150を操作するオペレータに撮影指示をしてもよい。
 ステップS10では画像ビューワ150からOCTユニット20に撮影指示を行う。ステップS11ではOCTユニット20はOCT画像の撮影を行い、ステップS12では撮影したOCT画像を管理サーバ140に送信する。
 ステップS13では管理サーバ140は後述する表示画像を作成し、ステップS14では管理サーバ140は作成した表示画像を画像ビューワ150に送信する。
 ステップS15では画像ビューワ150は、表示画像をディスプレイ156に表示する。
 図6は、管理サーバ140の画像処理部206での画像処理を示したフローチャートである。ステップ300では画像処理部206はSLOユニット18から眼底画像であるUWF-SLO画像を取得する。
 ステップ302では脈絡膜血管画像を作成する。画像処理部206は、取得したUWF-SLO画像から、次のように、脈絡膜血管画像(図14)を作成する。脈絡膜血管画像とはUWF-SLO画像を画像処理することにより得られた脈絡膜血管が可視化された画像である。画像処理するUWF-SLO画像は、例えば、R色眼底画像504RGとG色眼底画像502GGとである。また、眼底周辺部の渦静脈を確実に検出するために、固視標92U、92Lを用いて被検眼を上方視させた状態で撮影された上側UWF-SLO画像と、被検眼を下方視させた状態で撮影された下方視UWF-SLO画像とを合成して得られたモンタージュUWF-SLO画像から脈絡膜血管画像を生成してもよい。モンタージュ画像の生成については米国特許出願公開第2012/0133888号明細書に開示されている。
 まず、脈絡膜血管画像を生成するために必要なR色眼底画像504RGとG色眼底画像502GGとに含まれる情報を説明する。
 眼の構造は、硝子体を、構造が異なる複数の層が覆うようになっている。複数の層には、硝子体側の最も内側から外側に、網膜、脈絡膜、強膜が含まれる。R光は波長が長いため、網膜を通過して脈絡膜まで到達する。よって、R色眼底画像504RGには、網膜に存在する血管(網膜血管)の情報と脈絡膜に存在する血管(脈絡膜血管)の情報とが含まれる。これに対し、G光はR光より波長が短いため、網膜までしか到達しない。よって、G色眼底画像502GGには、網膜に存在する血管(網膜血管)の情報のみが含まれる。よって、G色眼底画像502GGから網膜血管を抽出し、R色眼底画像504RGから網膜血管を除去することにより脈絡膜血管画像(図14)を得ることができる。具体的に、脈絡膜血管画像は以下のようにして生成される。
 画像処理部206は、G色眼底画像502GGにトップハットフィルタ処理を施すことにより網膜血管を強調する。次に、画像処理部206は、トップハットフィルタ処理を施したG色眼底画像502GGを二値化して網膜血管を抽出する。そして、画像処理部206は、インペインティング処理等により、R色眼底画像504RGから、網膜血管を除去する。つまり、G色眼底画像502GGから抽出された網膜血管の位置情報を用いてR色眼底画像504RGの網膜血管構造を周囲の画素と同じ値に塗りつぶす処理を行って、網膜血管除去画像を生成する。画像処理部206は、網膜血管除去画像の輝度ムラを除去する処理を行う。具体的には、網膜血管除去画像を、網膜血管除去画像にガウシアンフィルタ等を適用して得た低周波成分画像で除算することにより、網膜血管除去画像の輝度ムラを除去する。そして、線強調処理により脈絡膜血管をさらに強調した画像に二値化処理を行うことにより、図14に示す脈絡膜血管画像(簡略化したイメージ図)が作成される。脈絡膜血管と視神経乳頭ONHが白画素で、それ以外の眼底領域が黒画素となっている。作成された脈絡膜血管画像は記憶装置254に記憶される。
 なお、脈絡膜血管画像の生成は、蛍光撮影された眼底画像を用いてもよい。
 ステップ304では、画像処理部206は、脈絡膜血管画像を解析し渦静脈位置を検出する。渦静脈位置の検出の詳細は後述する。
 ステップ306では、OCT画像の取得位置(OCT画像取得領域)を設定する。OCT画像の取得位置は、例えば、ステップ304での解析で検出した渦静脈を中心とした所定範囲である。本実施形態では、画像処理部206は、渦静脈を中心とした6×6mmの矩形領域をOCT画像の取得位置とする。渦静脈以外に、黄斑又は視神経乳頭を中心とした所定範囲をOCT画像の取得位置にしてもよい。また、OCTボリュームデータを得るための矩形領域や円形領域を所定範囲として設定するだけでなく、OCT断層データを得るためにライン(線分)をスキャン範囲として設定するようにしてもよい。
 ステップ308では、スキャン方法を決定する。OCTのスキャン方法には、例えば、網膜面に対して垂直の断面像を得るBスキャンと、網膜の体積データ(ボリュームデータ)を得るCスキャンとがある。画像処理部206は、画像ビューワ150から指定されたBスキャン(ラインスキャン)又はCスキャン(ラスタースキャンやサークルスキャンなど)などのスキャン方法を設定する。
 ステップ310では、スキャンによって得たOCT画像を管理サーバ140の記憶装置254等に保存する。OCT画像は管理サーバ140の記憶装置254以外に、眼科装置110又は画像ビューワ150の記憶装置等に保存してもよい。
 ステップ312では、脈絡膜血管画像及びOCT画像を、後述する表示画像のような状態で画像ビューワ150等に出力して処理を終了する。画像ビューワ150に出力した表示画像は、ディスプレイ156等に表示される。表示画像は管理サーバ140のディスプレイ256等に表示してもよい。
 図7は、図6のステップ304の渦静脈位置の検出処理のフローチャートである。ステップ400では、画像処理部206は、図6のステップ302で生成した脈絡膜血管画像を読み込む。
 ステップ402では、画像処理部206は、脈絡膜血管画像から渦静脈の位置を検出する。渦静脈の位置は、脈絡膜血管画像から脈絡膜血管構造(血管ネットワーク)を抽出する。そして、脈絡膜血管の走行方向に基づいて算出される。渦静脈は血流の流出路であることから、複数の脈絡膜血管が渦静脈につながっている。つまり、脈絡膜血管画像から複数の血管の連結している点を、血管走行方向から探索することにより、渦静脈の位置の座標を求めることができる。検出した渦静脈の位置の座標は、記憶装置254等に記憶される。
 ステップ404では、画像処理部206は、G色眼底画像502GGを読み込む。眼科装置110で取得したG色眼底画像502GGを、管理サーバ140の記憶装置254等に予め記憶したのであれば、画像処理部206は、記憶装置254等からG色眼底画像502GGを読み込む。
 ステップ406では、画像処理部206は、G色眼底画像502GGから黄斑と視神経乳頭を検出する。具体的には、画像処理部206は、黄斑はG色眼底画像502GGにおいて暗い領域であるので、ステップ404で読み込んだG色眼底画像502GGにおいて画素値が最も小さい所定数の画素の領域を、黄斑として検出する。最も暗い画素を含む領域の中心位置を黄斑が位置する座標として算出し、記憶装置254に記憶する。また、画像処理部206は、G色眼底画像502GGから視神経乳頭の位置を検出する。具体的には、画像処理部206は、G色眼底画像502GGに対して、予め定まる視神経乳頭の画像のパターンマッチングをすることにより、G色眼底画像502GGにおいて視神経乳頭の位置を検出し、検出した位置を視神経乳頭が位置する座標として算出し、記憶装置254に記憶する。
 ステップ408では、画像処理部206は、ステップ402で検出した渦静脈の位置の座標、並びにステップ406で検出した黄斑の座標及び視神経乳頭の座標を脈絡膜血管画像上に設定し、黄斑から渦静脈までの距離と、視神経乳頭から渦静脈までの距離とを算出する。
 ステップ410では、画像処理部206は、渦静脈の位置を可視化する。渦静脈の位置は、例えば、画像ビューワ150のディスプレイ156に表示する脈絡膜血管画像上に渦静脈の位置を示すことにより可視化する(図8を参照)。表示画像500は画像ビューワ150のディスプレイ156に表示すると共に、表示画像を管理サーバ140の記憶装置254等に記憶して処理を終了する。なお、図6、図7に示した処理は、画像ビューワ150が備えるCPU又は眼科装置110の画像処理装置17で実行してもよい。
 図8は、画像ビューワ150のディスプレイ156に表示する表示画像600を示した概略図である。
 表示画像600は、図8に示すように、情報表示領域602と、画像表示領域604とを有する。情報表示領域602には、患者ID表示領域612、患者名表示領域614、年齢表示領域616、右眼/左眼表示領域618、眼軸長表示領域620、視力表示領域622、及び撮影日時表示領域624を有する。画像ビューワ150のディスプレイ156は、受信した情報に基づいて、患者ID表示領域612から撮影日時表示領域624の各表示領域に各々の情報を表示する。
 画像表示領域604は、脈絡膜血管画像表示領域650と表示切替アイコン660とを有する。脈絡膜血管画像表示領域650には脈絡膜血管画像が表示される。図8には、固視標92U、92Lを用いて患者の視線を上下に移動させて取得したUWF-SLO画像をつなぎ合わせたモンタージュ画像から生成された脈絡膜血管画像が表示されている。
 図8の表示切替アイコン660をマウス155Mでクリックすると、例えば、脈絡膜血管画像表示領域650に表示される脈絡膜血管画像の表示モードを2Dモードから3Dモードに切り替えることができる。図8では、脈絡膜血管画像表示領域650には2Dモードの脈絡膜血管画像が表示されているので、表示切替アイコン660をクリックすると、3Dモードの脈絡膜血管画像が表示される。また、3Dモードの脈絡膜血管画像が表示されている場合に表示切替アイコン660をクリックすると、2Dモードの脈絡膜血管画像が表示される。
 脈絡膜血管画像表示領域650に表示された脈絡膜血管画像には、図6のステップ306で設定されたOCT画像取得領域672A、672B、672C、672Dが重ねて表示される。OCT画像取得領域672A、672B、672C、672Dは、位置変更ツール670により、位置を任意に変更することができる。位置変更ツール670は、例えば、マウス155Mの左ボタンのクリックによりOCT画像取得領域672A、672B、672C、672Dにフォーカスでき、OCT画像取得領域672A、672B、672C、672Dをフォーカスした状態でマウス155Mをドラッグすることにより、OCT画像取得領域672A、672B、672C、672Dの位置を変更できる。OCT画像取得領域672A、672B、672C、672Dは、本開示の技術の一つの渦静脈の断層画像を取得するための「走査領域」に相当する。
 OCT画像取得領域672A、672B、672C、672Dの大きさは、画像表示領域604の右側にあるスキャンサイズボタン634をマウス155Mでクリックすることで変更できる。例えばスキャンサイズボタン634をクリックすると、選択可能なOCT画像取得領域672A、672B、672C、672Dの大きさを例示したプルダウンメニューが表示され、表示されたプルダウンメニューからOCT画像取得領域672A、672B、672C、672Dの大きさを選択できる。OCT画像取得領域672A、672B、672C、672Dの大きさは、図8では6×6mmだが、例えば、最大で12×12mmまで拡大可能である。
 OCT画像取得領域は、撮影位置追加ボタン640をクリックすることにより任意に追加できる。追加したOCT画像取得領域は、前述の位置変更ツール670により任意の位置に移動させることが可能である。
 また、OCT画像取得領域672A、672B、672C、672Dは、撮影位置削除ボタン642をクリックすることにより削除できる。OCT画像取得領域672A、672B、672C、672Dの削除は、例えば、前述の位置変更ツール670でOCT画像取得領域672A、672B、672C、672Dのいずれかをフォーカスした状態で、撮影位置削除ボタン642をクリックすることにより行われる。
 画像表示領域604の右側には、スキャンモードボタン632と加算平均枚数ボタン636とが設けられている。スキャンモードボタン632は、OCT画像を取得する対象を選択するためのボタンである。図8では渦静脈(VV)を立体的(3D)にスキャンする状態が設定されているが、スキャンモードボタン632をクリックすることにより、黄斑を3Dで、視神経乳頭を3Dで各々スキャンする状態を選択できる。スキャンモードボタン632をクリックして黄斑を3Dでスキャンする状態に切り替えると、OCT画像取得領域は、黄斑を中心とした所定範囲を示す。また、スキャンモードボタン632をクリックして視神経乳頭を3Dでスキャンする状態に切り替えると、OCT画像取得領域は、視神経乳頭を中心とした所定範囲を示す。
 加算平均枚数ボタン636は、複数存在する脈絡膜血管画像の各々の画素の輝度値を平均化する処理に用いる脈絡膜血管画像の枚数を変更するためのボタンである。図8では10枚の脈絡膜血管画像を用いて画素の輝度値を平均化する状態を示している。
 撮影ボタン644は、脈絡膜血管画像上に表示されたOCT画像取得領域672A、672B、672C、672DのOCT画像を取得するためのボタンである。撮影ボタン644をクリックすると、撮影の指令がネットワーク130を介して眼科装置110に送信され、眼科装置110はOCT画像取得領域672A、672B、672C、672DのOCT画像を取得する。
 備考欄680は、患者等に関する事項を記載するための領域である。備考欄680には、画像ビューワ150のキーボード155K等を用いて、任意の文字列を入力できる。
 図9は、眼科装置110でのOCT画像の取得を示したフローチャートである。ステップ700では、画像処理装置17は、固視標92U、92Lを用いて患者の視線を上下に移動させて取得したUWF-SLO画像をつなぎ合わせたモンタージュ画像(又は脈絡膜血管画像)及び図7のステップ402で検出し、管理サーバ140の記憶装置254に記憶された渦静脈の位置情報を取得する。
 ステップ702では、画像処理装置17は、入力/表示装置16Eからの入力に従ってスキャン方法を決定する。スキャン方法には、前述のBスキャン及びCスキャンの別があり、さらには、スキャンするエリアを選択することができる。図10は、OCT画像取得領域672A、672B、672C、672DでCスキャンを行い、OCT画像取得領域674でBスキャンを行う場合を示した概略図である。図11は、OCT画像取得領域672A、672B、672C、672Dを含む円環状の領域676をCスキャンする場合を示した概略図である。円環状の領域676をCスキャンすることにより、眼底の幅広い領域をスキャンすることができ、複数の渦静脈の断層画像を取得することが可能となる。
 ステップ704では、画像処理装置17は、図8に示した撮影ボタン644のクリック、又は入力/表示装置16Eからの入力に従ってスキャンを実行する。スキャンに際しては、第2光学スキャナ24の駆動信号を生成した後、OCT画像取得領域672A、672B、672C、672DOCT画像取得領域又は672A、672B、672C、672Dを含む円環状の領域676をスキャンして、例えば、Cスキャンデータを取得する。かかるスキャンにより、3D断層画像が生成される。
 ステップ706では、画像処理装置17は、OCT画像取得領域672A、672B、672C、672D等の全領域をスキャンしたか否かを判定する。ステップ706で全領域をスキャンした場合は、手順をステップ708に移行し、ステップ706で全領域をスキャンしていない場合は、手順をステップ704に移行して、スキャンを継続する。
 ステップ708では、画像処理装置17は、取得したOCT画像を入力/表示装置16Eに表示させる。
 ステップ710では、画像処理装置17は、DICOM(Digital Imaging and COmmunications in Medicine)に従った形式のヘッダとデータ領域とを有するOCTデータを作成する。OCTデータの作成においては、例えば、渦静脈の断層画像から3Dポリゴン、en-face画像、OCTピクセル又は血流可視化画像等を生成して、渦静脈と渦静脈につながる脈絡膜血管を可視化してもよい。
 ステップ712では、画像処理装置17は、作成したOCTデータを管理サーバ140に送信して処理を終了する。
 図12は、画像ビューワ150のディスプレイ156に表示するOCT画像を含む表示画像800を示した概略図である。
 表示画像800は、図12に示したように、情報表示領域802と、画像表示領域804とを有する。情報表示領域802には、図8に示した表示画像600と同様に、患者ID表示領域812、患者名表示領域814、年齢表示領域816、右眼/左眼表示領域818、眼軸長表示領域820、視力表示領域822、及び撮影日時表示領域824を有する。画像ビューワ150のディスプレイ156は、受信した情報に基づいて、患者ID表示領域812から撮影日時表示領域824の各表示領域に各々の情報を表示する。
 情報表示領域802には、データ選択ボタン830が設けられている。データ選択ボタン830がオンされると、後述する関連画像表示領域850に表示する関連画像を選択するためのプルダウンメニュー等が表示される。表示されるプルダウンメニュー等には、既に取得されている被検眼12の眼底の疑似カラー(RGB3色)画像、RGカラー画像、青単色画像、緑単色画像、及び赤単色画像等が表示される。図12は、関連画像表示領域850に、RGカラー画像が表示されている様子が示されている。
 画像表示領域804は、関連画像表示領域850と表示切替アイコン860と脈絡膜血管画像表示領域870と表示切替アイコン880とOCT画像表示領域890とを有する。脈絡膜血管画像表示領域870には、図8の脈絡膜血管画像表示領域650と同様に脈絡膜血管画像が表示される。表示切替アイコン880をクリックすると、図8の脈絡膜血管画像表示領域650と同様に、脈絡膜血管画像表示領域870の表示モードを2Dモードから3Dモードに切り替えることができる。図12では、脈絡膜血管画像表示領域870には2Dモードの脈絡膜血管画像が表示されているので、表示切替アイコン880をクリックすると、3Dモードの脈絡膜血管画像が表示される。また、3Dモードの脈絡膜血管画像が表示されている場合に表示切替アイコン880をクリックすると、2Dモードの脈絡膜血管画像が表示される。
 関連画像表示領域850にも表示切替アイコン860が設けられている。表示切替アイコン860をクリックすると、関連画像表示領域850に表示されている疑似カラー(RGB3色)画像、RGカラー画像、青単色画像、緑単色画像、及び赤単色画像等の表示を2Dモードから3Dモードへ、又は3Dモードから2Dモードへ、各々切り替えることができる。
 画像表示領域804の右側には、図8の表示画像600と同様に、スキャンモードボタン882、スキャンサイズボタン884及び加算平均枚数ボタン886が設けられている。スキャンモードボタン882、スキャンサイズボタン884及び加算平均枚数ボタン886の各々の機能は、図8の場合と同様なので、詳細な説明は省略する。
 OCT画像表示領域890には、脈絡膜血管画像表示領域870の脈絡膜血管画像に重ねて表示されたOCT画像取得領域872A、872B、872C、872Dの各々に対応するOCT画像892A、892B、892C、892Dが表示される。OCT画像892A、892B、892C、892Dは、例えば、OCT画像取得領域872A、872B、872C、872Dをスキャンすることによって断層画像として可視化された渦静脈の形状が表示される。OCT画像892A、892B、892C、892Dの上部に付されたNo.1、No.2、No.3、No.4の符号は、OCT画像取得領域872A、872B、872C、872Dに付されたNo.1、No.2、No.3、No.4の符号の各々に対応する。従って、表示画像800は、OCT画像取得領域872A、872B、872C、872Dと可視化した渦静脈(又は渦静脈と渦静脈につながる脈絡膜血管)の形状を示すOCT画像892A、892B、892C、892Dとを対応付けて表示することができる。
 表示画像800のOCT画像表示領域890には、渦静脈の形状を示す画像が表示されているが、本実施形態はこれに限定されない。黄斑のOCT画像を取得した場合は、黄斑の断面画像が、視神経乳頭のOCT画像を取得した場合は、視神経乳頭の断面画像が、OCT画像表示領域890に各々表示される。
 OCT画像表示領域890には表示切替ボタン894が設けられており、表示切替ボタン894をクリックするとOCT画像892A、892B、892C、892Dの表示を切り替えるためのプルダウンメニューが表示される。表示されたプルダウンメニューから、例えば、3Dポリゴン、en-face画像、OCTピクセル又は血流可視化画像等を選択することにより、OCT画像892A、892B、892C、892Dの表示を切り替えることができる。
 表示画像800には、図8に示した表示画像600と同様に備考欄900が設けられている。備考欄900には、画像ビューワ150のキーボード155K等を用いて、患者等に関する事項等の任意の文字列を入力できる。
 以上説明したように、本実施形態によれば、眼底画像から検出した渦静脈位置に基づいてOCT画像取得領域を設定することにより、病変候補以外に渦静脈位置の断層画像を取得することができる。
 上記実施形態で説明したデータ処理はあくまでも一例である。従って、主旨を逸脱しない範囲内において不要なステップを削除したり、新たなステップを追加したり、処理順序を入れ替えたりしてもよいことは言うまでもない。
 また、上記実施形態では、コンピュータを利用したソフトウェア構成によりデータ処理が実現される場合を例示したが、本開示の技術はこれに限定されるものではない。例えば、コンピュータを利用したソフトウェア構成に代えて、FPGA(Field-Programmable Gate Array)又はASIC(Application Specific Integrated Circuit)等のハードウェア構成のみによって、データ処理が実行されるようにしてもよい。データ処理のうちの一部の処理がソフトウェア構成により実行され、残りの処理がハードウェア構成によって実行されるようにしてもよい。

Claims (15)

  1.  眼底画像から渦静脈位置を検出するステップと、
     前記渦静脈位置を含む断層画像を取得する走査領域 を設定するステップと、
     を含む画像処理方法。
  2.  前記眼底画像は、脈絡膜血管画像である請求項1に記載の画像処理方法。
  3.  前記走査領域は第1形状及び前記第1形状よりも広い第2形状のいずれかを呈する請求項1又は請求項2に記載の画像処理方法。
  4.  前記第1形状を呈する走査領域は、一つの渦静脈の断層画像を取得するための走査領域である請求項3に記載の画像処理方法。
  5.  前記第1形状は、矩形形状である請求項3又は請求項4に記載の画像処理方法。
  6.  前記第2形状を呈する走査領域は、複数の渦静脈の断層画像を取得するための走査領域である請求項3に記載の画像処理方法。
  7.  前記第2形状は円環形状である請求項3又は請求項6に記載の画像処理方法。
  8.  前記走査領域に基づいて被検眼を走査するステップをさらに含む請求項1から請求項7のいずれか1項に記載の画像処理方法。
  9.  前記走査によって得られたOCTデータに基づいて断層画像データを生成する請求項8に記載の画像処理方法。
  10.  前記断層画像データは3D断層画像のデータである請求項9に記載の画像処理方法。
  11.  前記3D断層画像から渦静脈の形状を可視化するステップをさらに含む請求項10に記載の画像処理方法。
  12.  前記走査領域と前記可視化した渦静脈の形状とを対応付けて表示するステップをさらに含む請求項11に記載の画像処理方法。
  13.  眼底画像から渦静脈位置を検出する渦静脈位置検出部と、
     前記渦静脈位置を含む断層画像を取得する走査領域を設定する走査領域設定部と、
     前記走査領域を走査して断層画像を取得する画像取得部と、
     を備えた画像処理装置。
  14.  前記断層画像及び前記眼底画像に前記渦静脈位置を重畳した画像を表示する画像表示部をさらに備えた請求項13に記載の画像処理装置。
  15.  コンピュータを、眼底画像から渦静脈位置を検出する渦静脈位置検出部、及び前記渦静脈位置を含む断層画像を取得する走査領域を設定する走査領域設定部として機能させる画像処理プログラム。
PCT/JP2019/040481 2019-10-15 2019-10-15 画像処理方法、画像処理装置、及び画像処理プログラム WO2021074960A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
PCT/JP2019/040481 WO2021074960A1 (ja) 2019-10-15 2019-10-15 画像処理方法、画像処理装置、及び画像処理プログラム
JP2021552009A JPWO2021074960A1 (ja) 2019-10-15 2019-10-15

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2019/040481 WO2021074960A1 (ja) 2019-10-15 2019-10-15 画像処理方法、画像処理装置、及び画像処理プログラム

Publications (1)

Publication Number Publication Date
WO2021074960A1 true WO2021074960A1 (ja) 2021-04-22

Family

ID=75538688

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/040481 WO2021074960A1 (ja) 2019-10-15 2019-10-15 画像処理方法、画像処理装置、及び画像処理プログラム

Country Status (2)

Country Link
JP (1) JPWO2021074960A1 (ja)
WO (1) WO2021074960A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7334922B1 (ja) * 2023-04-20 2023-08-29 株式会社中京メディカル 画像処理装置、画像処理方法及びプログラム
WO2023199848A1 (ja) * 2022-04-13 2023-10-19 株式会社ニコン 画像処理方法、画像処理装置、及びプログラム

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018117693A (ja) * 2017-01-23 2018-08-02 株式会社トプコン 眼科装置
JP2019118421A (ja) * 2017-12-28 2019-07-22 株式会社トプコン 眼科撮影装置、その制御方法、プログラム、及び記録媒体
WO2019181981A1 (ja) * 2018-03-20 2019-09-26 株式会社ニコン 画像処理方法、プログラム、眼科装置、及び脈絡膜血管画像生成方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018117693A (ja) * 2017-01-23 2018-08-02 株式会社トプコン 眼科装置
JP2019118421A (ja) * 2017-12-28 2019-07-22 株式会社トプコン 眼科撮影装置、その制御方法、プログラム、及び記録媒体
WO2019181981A1 (ja) * 2018-03-20 2019-09-26 株式会社ニコン 画像処理方法、プログラム、眼科装置、及び脈絡膜血管画像生成方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
OHNO-MATSUI KYOKO, AKIBA MASAHIRO, ISHIBASHI TATSURO, MORIYAMA MUKA: "Observations of Vascular Structures within and Posterior to Sclere in Eyes with Pathologic Myopia by Swept-Source Optical Coherence Tomography", INVESTIGATIVE OPHTHALMOLOGY & VISUAL SCIENCE, vol. 53, no. 11, 2012, pages 7290 - 7298, XP055819085 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023199848A1 (ja) * 2022-04-13 2023-10-19 株式会社ニコン 画像処理方法、画像処理装置、及びプログラム
JP7334922B1 (ja) * 2023-04-20 2023-08-29 株式会社中京メディカル 画像処理装置、画像処理方法及びプログラム

Also Published As

Publication number Publication date
JPWO2021074960A1 (ja) 2021-04-22

Similar Documents

Publication Publication Date Title
US11941788B2 (en) Image processing method, program, opthalmic device, and choroidal blood vessel image generation method
JP2023009530A (ja) 画像処理方法、画像処理装置、及びプログラム
WO2019203311A1 (ja) 画像処理方法、プログラム、及び画像処理装置
WO2021075062A1 (ja) 画像処理方法、画像処理装置、及びプログラム
WO2021074960A1 (ja) 画像処理方法、画像処理装置、及び画像処理プログラム
JP2024041773A (ja) 画像処理装置、眼科装置、画像処理方法、及び画像処理プログラム
JP7347641B2 (ja) 画像処理方法、プログラム、画像処理装置、及び眼科システム
WO2020240867A1 (ja) 画像処理方法、画像処理装置、及び画像処理プログラム
JP2020058627A (ja) 画像処理方法、画像処理装置、画像処理プログラム、及び血管径算出装置
JP7419946B2 (ja) 画像処理方法、画像処理装置、及び画像処理プログラム
WO2021075026A1 (ja) 画像処理方法、画像処理装置、及び画像処理プログラム
WO2021038847A1 (ja) 画像処理方法、画像処理装置、およびプログラム
WO2022181729A1 (ja) 画像処理方法、画像処理装置、及び画像処理プログラム
WO2021210281A1 (ja) 画像処理方法、画像処理装置、及び画像処理プログラム
WO2021111840A1 (ja) 画像処理方法、画像処理装置、及びプログラム
WO2022177028A1 (ja) 画像処理方法、画像処理装置、及びプログラム
WO2023282339A1 (ja) 画像処理方法、画像処理プログラム、画像処理装置及び眼科装置
JP7264177B2 (ja) 画像処理方法、画像表示方法、画像処理装置、画像表示装置、画像処理プログラム、及び画像表示プログラム
JP7416083B2 (ja) 画像処理方法、画像処理装置、およびプログラム
US11954872B2 (en) Image processing method, program, and image processing device
WO2023199847A1 (ja) 画像処理方法、画像処理装置、及びプログラム
JP2019058493A (ja) レーザ治療装置、眼科情報処理装置、及び眼科システム
WO2021074961A1 (ja) 画像処理方法、画像処理装置、およびプログラム
US20230000337A1 (en) Image processing method, image processing device, and program
WO2020240629A1 (ja) データ作成方法、データ作成装置、及びデータ作成プログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19949345

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2021552009

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19949345

Country of ref document: EP

Kind code of ref document: A1