WO2024096084A1 - 医療支援装置、内視鏡、医療支援方法、及びプログラム - Google Patents
医療支援装置、内視鏡、医療支援方法、及びプログラム Download PDFInfo
- Publication number
- WO2024096084A1 WO2024096084A1 PCT/JP2023/039521 JP2023039521W WO2024096084A1 WO 2024096084 A1 WO2024096084 A1 WO 2024096084A1 JP 2023039521 W JP2023039521 W JP 2023039521W WO 2024096084 A1 WO2024096084 A1 WO 2024096084A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- image
- information
- duodenum
- captured image
- medical support
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims description 43
- 210000001198 duodenum Anatomy 0.000 claims abstract description 74
- 230000000968 intestinal effect Effects 0.000 claims abstract description 24
- 238000003384 imaging method Methods 0.000 claims abstract description 20
- 210000002445 nipple Anatomy 0.000 claims description 61
- 210000000013 bile duct Anatomy 0.000 claims description 52
- 210000000277 pancreatic duct Anatomy 0.000 claims description 51
- 230000002183 duodenal effect Effects 0.000 claims description 41
- 230000008569 process Effects 0.000 claims description 25
- 238000003780 insertion Methods 0.000 claims description 23
- 230000037431 insertion Effects 0.000 claims description 23
- 239000003550 marker Substances 0.000 claims description 4
- 238000012545 processing Methods 0.000 description 99
- 238000005516 engineering process Methods 0.000 description 62
- 239000002131 composite material Substances 0.000 description 59
- 238000005259 measurement Methods 0.000 description 22
- 238000010276 construction Methods 0.000 description 19
- 238000010586 diagram Methods 0.000 description 18
- 230000015572 biosynthetic process Effects 0.000 description 15
- 238000003786 synthesis reaction Methods 0.000 description 15
- 238000005286 illumination Methods 0.000 description 13
- 238000013528 artificial neural network Methods 0.000 description 12
- 238000001514 detection method Methods 0.000 description 12
- 230000006870 function Effects 0.000 description 11
- 238000007459 endoscopic retrograde cholangiopancreatography Methods 0.000 description 10
- 238000010801 machine learning Methods 0.000 description 6
- 230000007246 mechanism Effects 0.000 description 5
- 210000001187 pylorus Anatomy 0.000 description 5
- 238000002366 time-of-flight method Methods 0.000 description 5
- 102100036848 C-C motif chemokine 20 Human genes 0.000 description 4
- 102100029860 Suppressor of tumorigenicity 20 protein Human genes 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 238000012549 training Methods 0.000 description 4
- 238000004891 communication Methods 0.000 description 3
- 238000002595 magnetic resonance imaging Methods 0.000 description 3
- 230000004044 response Effects 0.000 description 3
- 230000009471 action Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 210000003238 esophagus Anatomy 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 239000013307 optical fiber Substances 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 210000002784 stomach Anatomy 0.000 description 2
- 230000002194 synthesizing effect Effects 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 1
- 239000008280 blood Substances 0.000 description 1
- 210000004369 blood Anatomy 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000002591 computed tomography Methods 0.000 description 1
- 239000002872 contrast media Substances 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000005401 electroluminescence Methods 0.000 description 1
- 239000012530 fluid Substances 0.000 description 1
- 210000000232 gallbladder Anatomy 0.000 description 1
- 230000002439 hemostatic effect Effects 0.000 description 1
- 230000001678 irradiating effect Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 238000012634 optical imaging Methods 0.000 description 1
- 210000000496 pancreas Anatomy 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000002604 ultrasonography Methods 0.000 description 1
- 210000001835 viscera Anatomy 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
- A61B1/045—Control thereof
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/273—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor for the upper alimentary canal, e.g. oesophagoscopes, gastroscopes
Definitions
- the technology disclosed herein relates to a medical support device, an endoscope, a medical support method, and a program.
- JP 2022-105685 A discloses an endoscope processor that includes an endoscopic image acquisition unit, a virtual endoscopic image acquisition unit, a virtual endoscopic image reconstruction unit, and a diagnostic support information output unit.
- the endoscopic image acquisition unit acquires an endoscopic image of the patient from the endoscope.
- the virtual endoscopic image acquisition unit acquires a virtual endoscopic image reconstructed based on a three-dimensional medical image of the patient captured in advance.
- the virtual endoscopic image reconstruction unit reconstructs a corrected virtual endoscopic image that most closely matches the endoscopic image based on the degree of match between the virtual endoscopic image acquired by the virtual endoscopic image acquisition unit and the endoscopic image acquired by the endoscopic image acquisition unit.
- the diagnostic support information output unit corresponds each pixel of the endoscopic image acquired by the endoscopic image acquisition unit to a distance image obtained from the corrected virtual endoscopic image reconstructed by the virtual endoscopic image reconstruction unit, and outputs diagnostic support information based on feature parameters corrected accordingly.
- One embodiment of the technology disclosed herein provides a medical support device, endoscope, medical support method, and program that enable a user observing an image to visually recognize the running direction of the tube leading to the duodenum through the image.
- a first aspect of the technology disclosed herein is a medical support device that includes a processor, and the processor acquires first reference site information capable of identifying a reference site contained in the duodenum in three dimensions based on an image obtained by imaging the intestinal wall of the duodenum with an endoscope, acquires second reference site information related to the reference site and directional information related to the running direction of the tube leading to the duodenum from the volume data, generates a running direction image in which the running direction is visualized to match the captured image based on the directional information adjusted by aligning the first reference site information with the second reference site information, displays the captured image on a screen, and displays the running direction image within the captured image.
- a second aspect of the technology disclosed herein is a medical support device according to the first aspect, in which the first reference part information is a first image area in which the reference part is represented as a three-dimensional image, the second reference part information is a second image area in which the reference part is represented as a three-dimensional image, and the processor generates a travel direction image based on the direction information adjusted by aligning the first image area with the second image area.
- a third aspect of the technology disclosed herein is a medical support device according to the first or second aspect, in which the processor generates a duodenal image in which the duodenum is represented as a three-dimensional image based on the captured image, and obtains first reference site information from the duodenal image.
- the fourth aspect of the technology disclosed herein is the medical support device according to the third aspect, in which the duodenum image is a three-dimensional image generated based on multiple distance images.
- a fifth aspect of the technology disclosed herein is a medical support device according to the fourth aspect, in which the processor generates a duodenal image based on the updated captured image each time the captured image is updated in units of a specified number of frames, generates a running direction image based on the direction information each time a duodenal image is generated, displays the updated captured image on the screen, and displays the generated running direction image within the captured image each time a running direction image is generated.
- a sixth aspect of the technology disclosed herein is a medical support device according to any one of the first to fifth aspects, in which the direction information is a three-dimensional direction image in which the running direction is expressed in a three-dimensional image, and the running direction image is an image based on a two-dimensional image obtained by projecting the three-dimensional direction image onto a captured image.
- a seventh aspect of the technology disclosed herein is a medical support device according to any one of the first to sixth aspects, in which the captured image includes a nipple image showing the duodenal papilla, and the travel direction image is displayed in association with the nipple image.
- An eighth aspect of the technology disclosed herein is a medical support device according to the seventh aspect, in which the tube leads to an opening in the duodenal papilla, and the travel direction image is an image showing a first direction along the tube with the opening as a base point.
- a ninth aspect of the technology disclosed herein is the medical support device of the eighth aspect, in which the first direction corresponds to the insertion direction of a medical instrument to be inserted into a tube.
- a tenth aspect of the technology disclosed herein is a medical support device according to any one of the first to ninth aspects, in which the reference site is a duodenal papilla, a medical marker, and/or a fold.
- An eleventh aspect of the technology disclosed herein is a medical support device according to any one of the first to tenth aspects, in which the processor adjusts the scale of the directional information based on the distance from the endoscope to the intestinal wall and the volume data.
- a twelfth aspect of the technology disclosed herein is a medical support device according to any one of the first to tenth aspects, in which the duct is a bile duct and/or a pancreatic duct.
- a thirteenth aspect of the technology disclosed herein is a medical support device according to any one of the first to twelfth aspects, in which the driving direction image displayed in the captured image is updated in real time.
- a fourteenth aspect of the technology disclosed herein is an endoscope comprising a medical support device according to any one of the first to thirteenth aspects and an endoscope scope.
- a fifteenth aspect of the technology disclosed herein is a medical support method that includes: acquiring first reference site information capable of identifying a reference site contained in the duodenum in three dimensions based on an image obtained by imaging the intestinal wall of the duodenum with an endoscope; acquiring second reference site information related to the reference site and directional information related to the running direction of a tube leading to the duodenum from the volume data; generating a running direction image in which the running direction is visualized to match the captured image based on the directional information adjusted by aligning the first reference site information with the second reference site information; displaying the captured image on a screen; and displaying the running direction image within the captured image.
- a sixteenth aspect of the technology disclosed herein is a program for causing a computer to execute processes including: acquiring first reference site information capable of identifying a reference site contained in the duodenum in three dimensions based on an image obtained by imaging the intestinal wall of the duodenum with an endoscope; acquiring second reference site information related to the reference site and directional information related to the running direction of the tube leading to the duodenum from the volume data; generating a running direction image in which the running direction is visualized to match the captured image based on the directional information adjusted by aligning the first reference site information with the second reference site information; displaying the captured image on a screen; and displaying the running direction image within the captured image.
- FIG. 1 is a conceptual diagram showing an example of an embodiment in which the duodenoscope system is used.
- 1 is a conceptual diagram showing an example of the overall configuration of a duodenoscope system.
- 2 is a block diagram showing an example of a hardware configuration of an electrical system of the duodenoscope system.
- FIG. FIG. 1 is a conceptual diagram showing an example of an embodiment of the duodenum, bile duct, and pancreatic duct.
- 2 is a block diagram showing an example of the main functions of a processor included in the endoscope and an example of information stored in an NVM.
- FIG. FIG. 11 is a conceptual diagram illustrating an example of a process performed by a first acquisition unit.
- FIG. 11 is a conceptual diagram illustrating an example of processing content of a second acquisition unit.
- FIG. 11 is a conceptual diagram showing an example of a first processing content of an adjustment unit.
- FIG. 11 is a conceptual diagram showing an example of a second processing content of the adjustment unit.
- FIG. 13 is a conceptual diagram showing an example of processing content of a synthesis unit.
- FIG. 13 is a conceptual diagram illustrating an example of a first process content of a third acquisition unit.
- FIG. 13 is a conceptual diagram illustrating an example of a second process content of a third acquisition unit.
- FIG. 4 is a conceptual diagram showing an example of a first process content of a control unit.
- FIG. 11 is a conceptual diagram showing an example of a second process content of the control unit.
- FIG. 13 is a flowchart showing an example of the flow of a medical support process. This is a continuation of the flowchart shown in Figure 15A.
- FIG. 13 is a conceptual diagram showing a modified example of the processing content of the first acquisition unit.
- FIG. 13 is a conceptual diagram showing a modified example of the processing content of the third acquisition unit.
- 1 is a conceptual diagram showing an example of a mode in which information is output from an image processing device or a control device to a server and/or a printer via a network.
- CPU is an abbreviation for "Central Processing Unit”.
- GPU is an abbreviation for "Graphics Processing Unit”.
- RAM is an abbreviation for "Random Access Memory”.
- NVM is an abbreviation for "Non-volatile memory”.
- EEPROM is an abbreviation for "Electrically Erasable Programmable Read-Only Memory”.
- ASIC is an abbreviation for "Application Specific Integrated Circuit”.
- PLD is an abbreviation for "Programmable Logic Device”.
- FPGA is an abbreviation for "Field-Programmable Gate Array”.
- SoC is an abbreviation for "System-on-a-chip”.
- SSD is an abbreviation for "Solid State Drive”.
- USB is an abbreviation for "Universal Serial Bus”.
- HDD is an abbreviation for "Hard Disk Drive”.
- EL is an abbreviation for "Electro-Luminescence”.
- CMOS is an abbreviation for "Complementary Metal Oxide Semiconductor”.
- CCD is an abbreviation for "Charge Coupled Device”.
- AI is an abbreviation for "Artificial Intelligence”.
- BLI is an abbreviation for "Blue Light Imaging”.
- LCI is an abbreviation for "Linked Color Imaging”.
- I/F is an abbreviation for "Interface”.
- FIFO is an abbreviation for "First In First Out”.
- TOF is an abbreviation for "Time Of Flight”.
- RNN-SLAM is an abbreviation for "Reccurent Neural Network - Simultaneous Localization and Mapping”.
- VAE is an abbreviation for "Variational Autoencoder.”
- GAN is an abbreviation for "Generative Adversarial Networks.”
- CT is an abbreviation for “Computed Tomography.”
- MRI is an abbreviation for “Magnetic Resonance Imaging.”
- 3D is an abbreviation for "Three Dimensions.”
- a duodenoscope system 10 includes a duodenoscope 12 and a display device 13.
- the duodenoscope 12 is used by a doctor 14 in an endoscopic examination.
- the duodenoscope 12 is an example of an "endoscope" according to the technology of the present disclosure.
- the duodenoscope 12 is communicatively connected to a communication device (not shown), and information obtained by the duodenoscope 12 is transmitted to the communication device.
- the communication device receives the information transmitted from the duodenoscope 12 and executes processing using the received information (e.g., processing to record the information in an electronic medical record, etc.).
- the duodenoscope 12 is equipped with a duodenoscope body 18 (in other words, an endoscope scope).
- the duodenoscope 12 is a device for performing medical treatment on an observation object 21 (e.g., the duodenum) contained within the body of a subject 20 (e.g., a patient) using the duodenoscope body 18.
- the observation object 21 is an object observed by a doctor 14.
- the duodenoscope body 18 is inserted into the body of the subject 20.
- the duodenoscope 12 causes the duodenoscope body 18 inserted into the body of the subject 20 to capture an image of an observation target 21 inside the body of the subject 20, and performs various medical procedures on the observation target 21 as necessary.
- the duodenoscope 12 captures images of the inside of the subject's body 20, and outputs images showing the state of the inside of the body.
- the duodenoscope 12 is an endoscope with an optical imaging function that captures images of reflected light obtained by irradiating light inside the body and reflecting it off the object of observation 21.
- the duodenoscope 12 is equipped with a control device 22, a light source device 24, and an image processing device 25.
- the control device 22, the light source device 24, and the image processing device 25 are mounted on a wagon 34.
- the wagon 34 has multiple stands arranged vertically, with the image processing device 25, the control device 22, and the light source device 24 mounted from the lower stand to the upper stand.
- a display device 13 is mounted on the top stand of the wagon 34.
- the control device 22 controls the entire duodenoscope 12. Under the control of the control device 22, the image processing device 25 performs various image processing on the image obtained by capturing an image of the observation target 21 by the duodenoscope body 18.
- the display device 13 displays various information including images. Examples of the display device 13 include a liquid crystal display and an EL display. Also, a tablet terminal with a display may be used in place of the display device 13 or together with the display device 13.
- the display device 13 displays multiple screens side by side.
- screens 36A to 36C are shown as an example of multiple screens.
- the screen 36A displays an image 40 captured by the duodenoscope 12.
- the image 40 shows an observation target 21.
- the image 40 is an image obtained by capturing an image of the observation target 21 by the duodenoscope main body 18 inside the body of the subject 20.
- An example of the observation target 21 is the intestinal wall of the duodenum.
- an intestinal wall image is given below as an example of the captured image 40.
- the intestinal wall image refers to an image obtained by capturing an image of the intestinal wall of the duodenum as the observation target 21.
- the duodenum is merely one example, and any area that can be captured by the duodenoscope 12 may be used. Examples of areas that can be captured by the duodenoscope 12 include the esophagus and stomach.
- the captured image 40 is an example of an "image" according to the technology disclosed herein.
- Screen 36A displays a moving image composed of multiple frames of captured images 40 arranged in chronological order.
- screen 36A displays multiple frames of captured images 40 arranged in chronological order at a default frame rate (e.g., several tens of frames per second).
- Screen 36A is an example of a "screen" according to the technology disclosed herein.
- Screen 36A is the main screen, while screens 36B and 36C are sub-screens, and screens 36B and 36C display various information to assist the doctor 14 in performing procedures using the duodenoscope 12.
- the duodenoscope body 18 includes an operating section 42 and an insertion section 44.
- the insertion section 44 is partially curved by operating the operating section 42.
- the insertion section 44 is inserted while curving in accordance with the shape of the observation target 21 (e.g., the shape of the duodenum) in accordance with the operation of the operating section 42 by the doctor 14.
- the tip 46 of the insertion section 44 is provided with a camera 48, a distance measurement sensor 49, an illumination device 50, a treatment opening 51, and an erection mechanism 52.
- the camera 48 and the illumination device 50 are provided on the side of the tip 46.
- the duodenoscope 12 is configured as a side-viewing scope, making it easy to observe the intestinal wall of the duodenum.
- Camera 48 is a device that captures images 40 as medical images by capturing images of the inside of the subject's body 20.
- One example of camera 48 is a CMOS camera. However, this is merely one example, and other types of cameras such as a CCD camera may also be used.
- Camera 48 is an example of an "endoscopic scope" according to the technology of the present disclosure.
- the distance measurement sensor 49 is an optical distance measurement sensor.
- the distance measurement sensor 49 performs distance measurement (i.e., distance measurement) in synchronization with the timing of image capture by the camera 48.
- One example of the distance measurement sensor 49 is a device including a TOF camera.
- the TOF camera is a camera that measures three-dimensional information using a TOF method. Note that, although the camera 48 and the distance measurement sensor 49 are separate here, the camera 48 may also be equipped with a TOF camera function, in which case the camera 48 can obtain depth information at the same time as the captured image 40.
- the illumination device 50 has an illumination window 50A.
- the illumination device 50 irradiates light through the illumination window 50A.
- Types of light irradiated from the illumination device 50 include, for example, visible light (e.g., white light) and non-visible light (e.g., near-infrared light).
- the illumination device 50 also irradiates special light through the illumination window 50A. Examples of the special light include light for BLI and/or light for LCI.
- the camera 48 captures images of the inside of the subject 20 by optical techniques while light is irradiated inside the subject 20 by the illumination device 50.
- the treatment opening 51 is used as a treatment tool ejection port for ejecting the treatment tool 54 from the tip 46, as a suction port for sucking blood and internal waste, and as a delivery port for delivering fluids.
- the treatment tool 54 protrudes from the treatment opening 51 in accordance with the operation of the doctor 14.
- the treatment tool 54 is inserted into the insertion section 44 from the treatment tool insertion port 58.
- the treatment tool 54 passes through the insertion section 44 via the treatment tool insertion port 58 and protrudes from the treatment opening 51 into the body of the subject 20.
- a cannula 54A protrudes from the treatment opening 51 as the treatment tool 54.
- the cannula 54A is merely one example of the treatment tool 54, and other examples of the treatment tool 54 include a catheter, a guidewire, a papillotomy knife, and a snare.
- the treatment tool 54 is an example of a "medical instrument" according to the technology of the present disclosure.
- the standing mechanism 52 changes the protruding direction of the treatment tool 54 protruding from the treatment opening 51.
- the standing mechanism 52 is equipped with a guide 52A, and the guide 52A rises in the protruding direction of the treatment tool 54, thereby changing the protruding direction of the treatment tool 54 along the guide 52A. This makes it easier to protrude the treatment tool 54 toward the intestinal wall.
- the standing mechanism 52 changes the protruding direction of the treatment tool 54 to a direction perpendicular to the traveling direction of the tip 46.
- the standing mechanism 52 is operated by the doctor 14 via the operating unit 42. This allows the degree of change in the protruding direction of the treatment tool 54 to be adjusted.
- the duodenoscope main body 18 is connected to the control device 22 and the light source device 24 via a universal cord 60.
- a reception device 62 is connected to the control device 22.
- An image processing device 25 is also connected to the control device 22.
- a display device 13 is also connected to the image processing device 25.
- the control device 22 is connected to the display device 13 via the image processing device 25.
- the image processing device 25 is exemplified here as an external device for expanding the functions performed by the control device 22, an example is given in which the control device 22 and the display device 13 are indirectly connected via the image processing device 25, but this is merely one example.
- the display device 13 may be directly connected to the control device 22.
- the function of the image processing device 25 may be included in the control device 22, or the control device 22 may be equipped with a function to cause a server (not shown) to execute the same processing as that executed by the image processing device 25 (for example, the medical support processing described below) and receive and use the results of the processing by the server.
- the reception device 62 receives instructions from a user (e.g., doctor 14) and outputs the received instructions as an electrical signal to the control device 22.
- Examples of the reception device 62 include a keyboard, a mouse, a touch panel, a foot switch, and a microphone.
- the control device 22 controls the light source device 24, exchanges various signals with the camera 48, and exchanges various signals with the image processing device 25.
- the light source device 24 emits light under the control of the control device 22, and supplies the light to the illumination device 50.
- the illumination device 50 has a built-in light guide, and the light supplied from the light source device 24 passes through the light guide and is irradiated from the illumination window 50A.
- the control device 22 causes the camera 48 to capture an image, obtains the captured image 40 (see FIG. 1) from the camera 48, and outputs it to a predetermined output destination (e.g., the image processing device 25).
- the image processing device 25 performs various image processing on the captured image 40 input from the control device 22.
- the image processing device 25 outputs the captured image 40 that has been subjected to various image processing to a predetermined output destination (e.g., the display device 13).
- the captured image 40 output from the control device 22 is output to the display device 13 via the image processing device 25, but this is merely one example.
- the control device 22 and the display device 13 may be connected, and the captured image 40 that has been subjected to image processing by the image processing device 25 may be displayed on the display device 13 via the control device 22.
- the control device 22 includes a computer 64, a bus 66, and an external I/F 68.
- the computer 64 includes a processor 70, a RAM 72, and an NVM 74.
- the processor 70, the RAM 72, the NVM 74, and the external I/F 68 are connected to the bus 66.
- the processor 70 has a CPU and a GPU, and controls the entire control device 22.
- the GPU operates under the control of the CPU, and is responsible for executing various graphic processing operations and performing calculations using neural networks.
- the processor 70 may be one or more CPUs that have integrated GPU functionality, or one or more CPUs that do not have integrated GPU functionality.
- RAM 72 is a memory in which information is temporarily stored, and is used as a work memory by processor 70.
- NVM 74 is a non-volatile storage device that stores various programs and various parameters, etc.
- One example of NVM 74 is a flash memory (e.g., EEPROM and/or SSD). Note that flash memory is merely one example, and may be other non-volatile storage devices such as HDDs, or may be a combination of two or more types of non-volatile storage devices.
- the external I/F 68 is responsible for transmitting various types of information between the processor 70 and one or more devices (hereinafter also referred to as "first external devices") that exist outside the control device 22.
- first external devices One example of the external I/F 68 is a USB interface.
- the camera 48 is connected to the external I/F 68 as one of the first external devices, and the external I/F 68 is responsible for transmitting various types of information between the camera 48 and the processor 70.
- the processor 70 controls the camera 48 via the external I/F 68.
- the processor 70 also acquires, via the external I/F 68, the captured image 40 (see FIG. 1) obtained by the camera 48 capturing an image of the inside of the subject 20.
- the external I/F 68 is connected to the distance measurement sensor 49 as one of the first external devices, and the external I/F 68 is responsible for the exchange of various information between the distance measurement sensor 49 and the processor 70.
- the processor 70 controls the distance measurement sensor 49 and obtains the results of the distance measurement performed by the distance measurement sensor 49 (e.g., the distance or three-dimensional information measured by the distance measurement sensor 49).
- the light source device 24 is connected to the external I/F 68 as one of the first external devices, and the external I/F 68 is responsible for the exchange of various information between the light source device 24 and the processor 70.
- the light source device 24 supplies light to the lighting device 50 under the control of the processor 70.
- the lighting device 50 irradiates the light supplied from the light source device 24.
- the external I/F 68 is connected to the reception device 62 as one of the first external devices, and the processor 70 acquires instructions accepted by the reception device 62 via the external I/F 68 and executes processing according to the acquired instructions.
- the image processing device 25 includes a computer 76 and an external I/F 78.
- the computer 76 includes a processor 80, a RAM 82, and an NVM 84.
- the processor 80, the RAM 82, the NVM 84, and the external I/F 78 are connected to a bus 86.
- the image processing device 25 is an example of a "medical support device” according to the technology of the present disclosure
- the computer 76 is an example of a "computer” according to the technology of the present disclosure
- the processor 80 is an example of a "processor" according to the technology of the present disclosure.
- computer 76 i.e., processor 80, RAM 82, and NVM 84
- processor 80 the hardware configuration of computer 76
- RAM 82 the hardware configuration of computer 64
- NVM 84 the hardware configuration of computer 76
- the external I/F 78 is responsible for transmitting various types of information between the processor 80 and one or more devices (hereinafter also referred to as "second external devices") that exist outside the image processing device 25.
- second external devices One example of the external I/F 78 is a USB interface.
- the control device 22 is connected to the external I/F 78 as one of the second external devices.
- the external I/F 68 of the control device 22 is connected to the external I/F 78.
- the external I/F 78 is responsible for the exchange of various information between the processor 80 of the image processing device 25 and the processor 70 of the control device 22.
- the processor 80 acquires the captured image 40 (see FIG. 1) from the processor 70 of the control device 22 via the external I/Fs 68 and 78, and performs various image processing on the acquired captured image 40.
- the display device 13 is connected to the external I/F 78 as one of the second external devices.
- the processor 80 controls the display device 13 via the external I/F 78 to cause the display device 13 to display various information (e.g., the captured image 40 that has been subjected to various image processing).
- a procedure called ERCP (endoscopic retrograde cholangiopancreatography) examination is known as one of the procedures for the duodenum using a duodenoscope 12.
- ERCP endoscopic retrograde cholangiopancreatography
- the duodenoscope 12 is first inserted into the duodenum 88 via the esophagus and stomach.
- the insertion state of the duodenoscope 12 may be confirmed using an X-ray image obtained by X-ray imaging.
- the tip 46 of the duodenoscope 12 reaches the vicinity of the duodenal papilla 90 (hereinafter also simply referred to as the "papilla 90") present in the intestinal wall of the duodenum 88.
- papilla 90 duodenal papilla 90
- a cannula 54A which is a type of treatment tool 54, is inserted into the papilla 90 from the duodenum 88 side.
- the papilla 90 is a part that protrudes from the intestinal wall of the duodenum 88.
- the papilla 90 has an elevation 90A, which is the tip of the papilla 90, at which there are the ends of one or more ducts 92 that lead to internal organs (e.g., the gallbladder and pancreas), i.e., openings 90A1 that lead to the ducts 92.
- the ducts 92 lead to the openings 90A1 that exist in the papilla elevation 90A.
- Examples of one or more ducts 92 include a bile duct 92A and a pancreatic duct 92B.
- the opening 90A1 may exist separately for each of the bile duct 92A and the pancreatic duct 92B, or may exist in common for the bile duct 92A and the pancreatic duct 92B.
- the bile duct 92A is an example of a "bile duct" according to the technology of the present disclosure
- the pancreatic duct 92B is an example of a "pancreatic duct” according to the technology of the present disclosure.
- duct 92 when there is no need to distinguish between the bile duct 92A and the pancreatic duct 92B, they will be referred to as "duct 92".
- X-ray imaging is performed with a contrast agent injected into tube 92 through opening 90A1.
- doctor 14 When inserting cannula 54A into tube 92, doctor 14 must accurately grasp the running direction 94 of tube 92.
- running direction 94 near opening 90A1 is almost the same as the insertion direction of cannula 54A into opening 90A1, it is very important for doctor 14 to visually grasp running direction 94 near opening 90A1.
- Examples of the running direction 94 of the duct 92 include the running direction 94A of the bile duct 92A and the running direction 94B of the pancreatic duct 92B.
- the running direction 94A When inserting the cannula 54A into the bile duct 92A, it is effective for the doctor 14 to visually understand the running direction 94A, and when inserting the cannula 54A into the pancreatic duct 92B, it is effective for the doctor 14 to visually understand the running direction 94B.
- medical support processing is performed by the processor 80 of the image processing device 25, as shown in FIG. 5.
- a medical support program 96 is stored in the NVM 84.
- the medical support program 96 is an example of a "program" according to the technology of the present disclosure.
- the processor 80 performs medical support processing by reading the medical support program 96 from the NVM 84 and executing the read medical support program 96 on the RAM 82.
- the medical support processing is realized by the processor 80 operating as a first acquisition unit 80A, a second acquisition unit 80B, a third acquisition unit 80C, an adjustment unit 80D, a synthesis unit 80E, and a control unit 80F in accordance with the medical support program 96 executed by the processor 80 on the RAM 82.
- the NVM 84 stores a 3D construction model 98, a nipple detection model 100, a type prediction model 102, and a support information table 104.
- the 3D construction model 98 is used by the first acquisition unit 80A
- the nipple detection model 100 is used by the adjustment unit 80D
- the type prediction model 102 and the support information table 104 are used by the control unit 80F.
- the first acquisition unit 80A acquires a first duodenal image 108 based on a time-series image group 106.
- the acquisition of the first duodenal image 108 is realized, for example, by generating the first duodenal image 108 using a 3D construction model 98.
- the first acquisition unit 80A acquires the captured image 40 generated by the camera 48 capturing images in accordance with an imaging frame rate (e.g., several tens of frames per second) from the camera 48 in one-frame units.
- an imaging frame rate e.g., several tens of frames per second
- One-frame units are an example of a "specified frame number unit" according to the technology of the present disclosure. Note that, although one-frame units are exemplified here, this is merely an example, and the specified frame number unit may be two or more frames.
- the first acquisition unit 80A holds a time-series image group 106.
- the time-series image group 106 is a plurality of frames of captured images 40 arranged in a time series in which the subject of observation 21 appears.
- the time-series image group 106 includes, for example, a certain number of frames (for example, a number of frames determined in advance within a range of several tens to several hundreds of frames) of captured images 40.
- one or more frames of the captured images 40 of the certain number of frames include a nipple 90.
- one or more frames of the captured images 40 include a nipple image 110 showing the nipple 90.
- the first acquisition unit 80A updates the time-series image group 106 in a FIFO manner each time it acquires a captured image 40 from the camera 48.
- time-series image group 106 is stored and updated by the first acquisition unit 80A, but this is merely one example.
- the time-series image group 106 may be stored and updated in a memory connected to the processor 80, such as the RAM 82.
- the 3D construction model 98 is a generative model using a neural network, and generates the first duodenal image 108, which is a three-dimensional image, based on the time-series image group 106.
- the 3D construction model 98 is a trained model obtained by performing machine learning on a neural network (e.g., a recurrent neural network) using multiple images corresponding to the time-series image group 106 as training data.
- An example of the 3D construction model 98 is RNN-SLAM. Note that RNN-SLAM is merely one example, and the 3D construction model 98 may be an autoencoder such as VAE or GAN, and may be any trained generative network capable of generating the first duodenal image 108.
- the first acquisition unit 80A inputs the time series image group 106 to the 3D construction model 98.
- the 3D construction model 98 generates and outputs a first duodenum image 108 based on the time series image group 106.
- the first acquisition unit 80A acquires the first duodenum image 108 output from the 3D construction model 98.
- the first duodenal image 108 includes a first papilla region 108A.
- the first papilla region 108A is information that allows the papilla 90 included in the duodenum 88 to be identified in three dimensions.
- an image region in which the papilla 90 is represented as a three-dimensional image is shown as an example of the first papilla region 108A.
- the first duodenal image 108 is generated each time the captured image 40 is acquired frame by frame by the first acquisition unit 80A and the time-series image group 106 is updated.
- the nipple 90 is an example of a "reference site” and a “duodenal papilla” according to the technology disclosed herein.
- the first nipple region 108A is an example of a "first reference site information” and a "first image region” according to the technology disclosed herein.
- the NVM 84 stores volume data 112.
- the volume data 112 is an image obtained by stacking a plurality of two-dimensional slice images 114 obtained by imaging the subject 20 using a modality and dividing them into voxels V.
- a modality is a CT device.
- the CT device is merely one example, and other examples of modalities include an MRI device or an ultrasound diagnostic device.
- the position of each of all voxels V that define the three-dimensional image is specified by three-dimensional coordinates.
- the second acquisition unit 80B acquires information about the observation target area from the volume data 112.
- an observation target area image 116 which is a three-dimensional image showing the observation target area, is shown as information about the observation target area. That is, the second acquisition unit 80B acquires the observation target area image 116 from the volume data 112 as information about the observation target area.
- the observation target area is the duodenum 88 including the papilla 90 and the duct 92 (see FIG. 4).
- the observation target area i.e., the observation target area image 116 acquired from the volume data 112 by the second acquisition unit 80B) is selected, for example, according to an instruction received by the reception device 62.
- the observation target area image 116 acquired from the volume data 112 by the second acquisition unit 80B includes a second duodenal image 118 and a duct image 120.
- the second duodenal image 118 is a three-dimensional image showing the duodenum 88.
- the second duodenal image 118 includes a second papilla region 118A.
- the second papilla region 118A is an image region in which the papilla 90 is represented as a three-dimensional image.
- the duct image 120 is an image region in which the duct 92 is represented as a three-dimensional image.
- the duct image 120 includes a bile duct image 120A and a pancreatic duct image 120B.
- the bile duct image 120A is an image region in which the bile duct 92A is represented as a three-dimensional image
- the pancreatic duct image 120B is an image region in which the pancreatic duct 92B is represented as a three-dimensional image.
- the second nipple region 118A is an example of the "second reference part information" and "second image region" according to the technology disclosed herein.
- the adjustment unit 80D performs object detection processing on the captured image 40 using a nipple detection model 100 to detect a nipple image 110 in the captured image 40.
- the nipple detection model 100 is a trained model for object detection using an AI method, and is optimized by performing machine learning using first teacher data on a neural network.
- the first teacher data is a plurality of data (i.e., data for a plurality of frames) in which the first example data and the first correct answer data are associated with each other.
- the first example data is an image corresponding to the captured image 40.
- the first correct answer data is correct answer data (i.e., annotation) for the first example data.
- An example of the first correct answer data is an annotation that can identify the image area in which the nipple 90 appears.
- the adjustment unit 80D acquires the captured image 40 from the camera 48, and inputs the acquired captured image 40 to the nipple detection model 100.
- the nipple detection model 100 detects the nipple image 110 from the input captured image 40, and outputs specific information 122 (e.g., multiple coordinates indicating the position of the nipple image 110 within the captured image 40) that can identify the detected nipple image 110.
- the adjustment unit 80D acquires the specific information 122 output from the nipple detection model 100.
- the adjustment unit 80D acquires the distance 125 measured by the distance measurement sensor 49 in synchronization with the image capture by the camera 48 to obtain the captured image 40 input to the nipple detection model 100.
- the distance 125 refers to, for example, the distance from a reference position (here, as an example, the position of the imaging plane of the camera 48 where the image capture was performed to obtain the captured image 40 input to the nipple detection model 100) to the intestinal wall 88A including the papilla 90 in the duodenum 88.
- the pylorus is given as an example of the reference position.
- the distance measurement sensor 49 measures multiple distances 125 from the reference position to multiple points in the intestinal wall 88A.
- the adjustment unit 80D calculates a first reference distance 126, which is the distance to the nipple 90 indicated by the nipple image 110 identified by the identification information 122. For example, if there are multiple measurement points within the nipple 90 indicated by the nipple image 110 identified by the identification information 122, the average value of the multiple distances 125 for the multiple measurement points is calculated as the first reference distance 126. Note that, although the average value of the multiple distances 125 for the multiple measurement points within the nipple 90 is exemplified here, it may also be a statistical value such as the median, mode, or maximum value of the multiple distances 125 for the multiple measurement points within the nipple 90.
- the adjustment unit 80D uses the second duodenal image 118 included in the observation target area image 116 acquired by the second acquisition unit 80B to measure the distance from the reference position (here, as an example, the pylorus) to the papilla 90 indicated by the second papilla region 118A as the second reference distance 128.
- the reference position here, as an example, the pylorus
- the adjustment unit 80D calculates the dissimilarity 129 between the first reference distance 126 and the second reference distance 128.
- the dissimilarity 129 is the ratio of the second reference distance 128 to the first reference distance 126, or the absolute value of the difference between the first reference distance 126 and the second reference distance 128.
- the adjustment unit 80D adjusts the scale of the observation target area image 116 acquired by the second acquisition unit 80B with reference to the dissimilarity 129. For example, the adjustment unit 80D adjusts the scale of the observation target area image 116 by using the dissimilarity 129 itself as a magnification, or adjusts the scale of the observation target area image 116 with a magnification calculated based on the dissimilarity 129.
- a magnification calculated based on the dissimilarity 129 is a magnification derived from an arithmetic equation in which the dissimilarity 129 is an independent variable and the magnification is a dependent variable.
- the synthesis unit 80E generates a synthetic image 123 based on the first duodenum image 108 acquired by the first acquisition unit 80A and the observation target area image 116 whose scale has been adjusted by the adjustment unit 80D.
- the synthesis unit 80E first adjusts the duct image 120 by aligning the first nipple region 108A included in the first duodenum image 108 acquired by the first acquisition unit 80A with the second nipple region 118A included in the observation target area image 116 whose scale has been adjusted by the adjustment unit 80D.
- the synthesis unit 80E aligns the observation target area image 116 and the first duodenum image 108 based on the first nipple region 108A and the second nipple region 118A. That is, the observation target area image 116 is aligned with the first duodenum image 108 so that the first papilla region 108A and the second papilla region 118A coincide with each other.
- the observation target area image 116 is aligned with the first duodenum image 108, which is achieved, for example, by aligning multiple feature points that are common between the first papilla region 108A and the second papilla region 118A.
- the synthesis unit 80E With the observation area image 116 aligned with the first duodenum image 108 in this manner, the synthesis unit 80E generates a synthesis image 123 by synthesizing the tube image 120 with the first duodenum image 108. That is, the synthesis unit 80E synthesizes the tube image 120 with the first duodenum image 108 by adding the tube image 120 to a position corresponding to the second papilla region 118A in the first papilla region 108A (i.e., a position corresponding to the position of the tube image 120 connected to the second papilla region 118A).
- the third acquisition unit 80C acquires a three-dimensional running direction image 124 as information related to the running direction 94 of the tube 92 leading to the duodenum 88 (see FIG. 4) based on a composite image 123 generated by the synthesis unit 80E.
- the three-dimensional running direction image 124 is an image in which the running direction 94 of the tube 92 is expressed in a three-dimensional image.
- the three-dimensional running direction image 124 is an example of "directional information" and "three-dimensional direction image” related to the technology disclosed herein.
- the third acquisition unit 80C performs thinning processing on the tube image 120 synthesized with the first duodenum image 108 to generate a three-dimensional running direction image 124 (e.g., a curve indicating the running direction 94) indicating the running direction 94 of the tube 92 indicated by the tube image 120.
- the running direction 94 of the tube 92 can also be said to be the axial direction of the tube image 120.
- the three-dimensional running direction image 124 includes a three-dimensional bile duct direction image 124A and a three-dimensional pancreatic duct direction image 124B.
- the three-dimensional bile duct direction image 124A shows the running direction 94A (see FIG. 4) of the bile duct 92A, and is obtained by thinning the bile duct image 120A.
- the three-dimensional pancreatic duct direction image 124B shows the running direction 94B (see FIG. 4) of the pancreatic duct 92B, and is obtained by thinning the pancreatic duct image 120B.
- the third acquisition unit 80C acquires the captured image 40 including the nipple image 110 from the camera 48.
- the third acquisition unit 80C identifies the three-dimensional region 108B corresponding to the captured image 40 acquired from the camera 48 from within the composite image 123.
- the captured image 40 acquired from the camera 48 by the third acquisition unit 80C corresponds to a two-dimensional image in which the three-dimensional region 108B is projected onto a plane.
- the third acquisition unit 80C sets the captured image 40 as a projection plane at a position directly opposite the three-dimensional region 108B in the composite image 123.
- the third acquisition unit 80C generates a composite captured image 130 by rendering the three-dimensional travel direction image 124 onto the captured image 40 set within the composite image 123.
- the composite captured image 130 is an image including the captured image 40 and the two-dimensional travel direction image 132 (e.g., an image in which the two-dimensional travel direction image 132 is superimposed on the captured image 40).
- the two-dimensional travel direction image 132 is an image in which the three-dimensional travel direction image 124 is rendered onto the captured image 40 (i.e., an image in which the three-dimensional travel direction image 124 is projected onto the captured image 40).
- the two-dimensional travel direction image 132 includes a two-dimensional bile duct direction image 132A and a two-dimensional pancreatic duct direction image 132B.
- the two-dimensional bile duct direction image 132A is an image in which the three-dimensional bile duct direction image 124A is rendered onto the captured image 40.
- the two-dimensional pancreatic duct direction image 132B is an image in which the three-dimensional pancreatic duct direction image 124B is rendered onto the captured image 40.
- the third acquisition unit 80C acquires a simplified driving direction image 136 that is a simplification of the two-dimensional driving direction image 132 in the composite captured image 130.
- the simplified driving direction image 136 is an example of a "driving direction image" according to the technology of the present disclosure.
- the third acquisition unit 80C first extracts a tangent 134 from the two-dimensional travel direction image 132.
- the tangent 134 is a tangent to the end of the two-dimensional travel direction image 132 on the nipple image 110 side (i.e., the position where the opening 90A1 (see FIG. 4) is shown).
- the tangent 134 is classified into a bile duct tangent 134A and a pancreatic duct tangent 134B.
- the bile duct tangent 134A is a tangent to the end of the two-dimensional bile duct direction image 132A on the nipple image 110 side (i.e., the position where the opening 90A1 leading to the bile duct 92A (see FIG. 4) is shown).
- the pancreatic duct tangent 134B is a tangent to the end of the two-dimensional pancreatic duct direction image 132B on the nipple image 110 side (i.e., the position where the opening 90A1 leading to the pancreatic duct 92B (see FIG. 4) is shown).
- the third acquisition unit 80C generates a simplified traveling direction image 136 by imaging the traveling direction 94 of the tube 92 in accordance with the composite captured image 130 based on the two-dimensional traveling direction image 132.
- the third acquisition unit 80C generates the simplified traveling direction image 136 by imaging the tangent 134.
- the simplified traveling direction image 136 is an image showing an arrow formed along the tangent 134, starting from the end of the tangent 134 on the nipple image 110 side (i.e., the position where the opening 90A1 leading to the tube 92 (see FIG. 4) is shown).
- the direction indicated by the arrow shown in the simplified traveling direction image 136 corresponds to the traveling direction 94 of the tube 92 at the position of the opening 90A1.
- the starting point of the arrow indicated by the simplified travel direction image 136 is an example of a "base point” according to the technology of the present disclosure
- the travel direction 94 of the tube 92 is an example of a "first direction” and a “direction corresponding to the insertion direction” according to the technology of the present disclosure
- the simplified travel direction image 136 is an example of an "image indicating the first direction” according to the technology of the present disclosure.
- the simplified running direction image 136 includes a simplified bile duct direction image 136A and a simplified pancreatic duct direction image 136B.
- the simplified bile duct direction image 136A is an image showing an arrow formed along the bile duct tangent 134A, starting from the end of the bile duct tangent 134A on the papilla image 110 side (i.e., the position where the opening 90A1 leading to the bile duct 92A (see FIG. 4) is shown).
- the direction indicated by the arrow shown in the simplified bile duct direction image 136A corresponds to the running direction 94A (see FIG.
- the insertion direction of the cannula 54A or the like into the bile duct 92A is an example of the "insertion direction of a medical instrument to be inserted into a duct" according to the technology disclosed herein.
- the simplified pancreatic duct direction image 136B is an image showing an arrow formed along the pancreatic duct tangent 134B, starting from the end of the pancreatic duct tangent 134B on the papilla image 110 side (i.e., the position where the opening 90A1 leading to the pancreatic duct 92B (see FIG. 4) is shown).
- the direction indicated by the arrow shown in the simplified pancreatic duct direction image 136B corresponds to the running direction 94B (see FIG. 4) of the pancreatic duct 92B at the position of the opening 90A1, and is referred to by the doctor 14 as the insertion direction of the cannula 54A etc. into the pancreatic duct 92B.
- the insertion direction of the cannula 54A etc. into the pancreatic duct 92B is an example of the "insertion direction of a medical instrument to be inserted into a duct" according to the technology of the present disclosure.
- the simplified bile duct direction image 136A and the simplified pancreatic duct direction image 136B are generated in a manner that allows them to be distinguished from each other.
- the third acquisition unit 80C generates the simplified bile duct direction image 136A and the simplified pancreatic duct direction image 136B in a manner that allows them to be distinguished from each other by changing the color, density, brightness, and/or pattern, etc., of the simplified bile duct direction image 136A and the simplified pancreatic duct direction image 136B.
- control unit 80F performs image recognition processing using the type prediction model 102 on the composite captured image 130 acquired by the third acquisition unit 80C, thereby predicting the type of nipple 90 appearing in the composite captured image 130.
- the control unit 80F then acquires type information 138 indicating the predicted type (e.g., the name of the type of nipple 90).
- the type prediction model 102 is obtained by optimizing the neural network by performing machine learning on the neural network using the second training data.
- the second training data is a plurality of data (i.e., a plurality of frames of data) in which the second example data and the second correct answer data are associated with each other.
- the second example data is, for example, an image obtained by imaging a site that may be the subject of an ERCP examination (e.g., the inner wall of the duodenum) and adding an image corresponding to the simplified traveling direction image 136 (e.g., an image corresponding to the composite captured image 130 to which the simplified traveling direction image 136 has been added).
- the second correct answer data is correct answer data (i.e., an annotation) corresponding to the second example data.
- An example of the second correct answer data is an annotation indicating the type of the papilla 90.
- example data included in the second teacher data an image obtained by imaging a part that may be the subject of an ERCP test and adding an image equivalent to the simplified travel direction image 136 to the image obtained, but this is merely one example.
- the example data included in the second teacher data may be the image itself obtained by imaging a part that may be the subject of an ERCP test (i.e., an image equivalent to the captured image 40 without the simplified travel direction image 136 added).
- each type prediction model 102 is created by performing machine learning specialized for the ERCP examination technique (e.g., the position of the duodenoscope 12 relative to the papilla 90, etc.), and the type prediction model 102 corresponding to the currently performed ERCP examination technique is selected and used by the control unit 80F.
- the ERCP examination technique e.g., the position of the duodenoscope 12 relative to the papilla 90, etc.
- the control unit 80F inputs the composite captured image 130 acquired by the third acquisition unit 80C to the type prediction model 102.
- the type prediction model 102 predicts the type of nipple 90 shown in the input composite captured image 130, and outputs type information 138 indicating the predicted type.
- the control unit 80F acquires the type information 138 output from the type prediction model 102.
- the control unit 80F derives support information 140 corresponding to the type information 138 acquired from the type prediction model 102 from the support information table 104.
- the support information table 104 is a table in which papilla type information 104A, junction type information 104B, and schema 104C, which correspond to each other, are associated.
- the papilla type information 104A is information that can identify the type of papilla 90 (e.g., the name of the type of papilla 90).
- the junction type information 104B is information that is determined for each type of papilla 90 and can identify the junction type in which the bile duct and pancreatic duct join.
- the schema 104C is a schematic diagram that shows the manner in which the bile duct and pancreatic duct join.
- the support information 140 includes nipple type information 104A, merging format information 104B, and schema 104C that correspond to type information 138 acquired from the type prediction model 102 by the control unit 80F.
- the control unit 80F displays the composite captured image 130 acquired by the third acquisition unit 80C on the screen 36A, displays the support information 140 on the screen 36B, and displays the composite image 123 generated by the compositing unit 80E on the screen 36C.
- the composite captured image 130 displayed on the screen 36A is updated in real time. In this case, for example, each time the captured image 40 is acquired by the first acquisition unit 80A and the time-series image group 106 is updated, the composite captured image 123 is updated, and each time the composite image 123 is updated, the composite captured image 130 including the two-dimensional driving direction image 132 is updated, and accordingly, the simplified driving direction image 136 is also updated.
- the composite captured image 130 displayed on the screen 36A may be updated each time the captured image 40 is acquired in units of one frame by the first acquisition unit 80A, or each time the captured image 40 is acquired in units of multiple frames by the first acquisition unit 80A.
- FIGS. 15A and 15B show an example of the flow of medical support processing performed by the processor 80.
- the flow of medical support processing shown in FIGS. 15A and 15B is an example of a "medical support method" according to the technology of the present disclosure.
- step ST10 the first acquisition unit 80A determines whether or not one frame of the observation target 21 has been captured by the camera 48. If one frame of the observation target 21 has not been captured by the camera 48 in step ST10, the determination is negative and the determination in step ST10 is made again. If one frame of the observation target 21 has been captured by the camera 48 in step ST10, the determination is positive and the medical support process proceeds to step ST12.
- step ST12 the first acquisition unit 80A acquires one frame of the captured image 40 obtained by capturing an image of the observation target 21 by the camera 48 (see FIG. 6). After the processing of step ST12 is executed, the medical support processing proceeds to step ST14.
- step ST14 the first acquisition unit 80A determines whether or not a certain number of frames of captured images 40 are held. If a certain number of frames of captured images 40 are not held in step ST14, the determination is negative and the medical support process proceeds to step ST10. If a certain number of frames of captured images 40 are held in step ST14, the determination is positive and the medical support process proceeds to step ST16.
- step ST16 the first acquisition unit 80A updates the time-series image group 106 by adding the captured image 40 acquired in step ST12 to the time-series image group 106 in a FIFO manner (see FIG. 6). After the processing of step ST16 is executed, the medical support processing proceeds to step ST18.
- step ST18 the first acquisition unit 80A acquires a first duodenal image 108 by inputting a time-series image group 106 to the 3D construction model 98.
- step ST20 the medical support processing proceeds to step ST20.
- step ST20 the second acquisition unit 80B acquires the observation target area image 116 from the volume data 112 (see FIG. 7). After the processing of step ST20 is executed, the medical support processing proceeds to step ST22.
- step ST22 the adjustment unit 80D acquires a first reference distance 126 (see FIG. 8) based on the captured image 40 used to acquire the first duodenum image 108 and the distance measurement result by the distance measurement sensor 49, and acquires a second reference distance 128 (see FIG. 8) using the second duodenum image 118 included in the observation target area image 116 acquired by the second acquisition unit.
- the medical support processing proceeds to step ST24.
- step ST24 the adjustment unit 80D adjusts the scale of the observation target area image 116 acquired in step ST20 based on the degree of difference 129 between the first reference distance 126 and the second reference distance 128 acquired in step ST22 (see FIG. 9).
- step ST24 the medical support processing proceeds to step ST26.
- step ST26 the synthesis unit 80E adjusts the ductal image 120 by aligning the first papilla region 108A included in the first duodenal image 108 acquired in step ST18 with the second papilla region 118A included in the observation target area image 116 whose scale has been adjusted in step ST24.
- the synthesis unit 80E generates a synthetic image 123 by synthesizing the ductal image 120 with the first duodenal image 108 (see FIG. 10).
- step ST28 a thinning process is performed on the tube image 120 to generate a three-dimensional running direction image 124 indicating the running direction 94 of the tube 92 shown in the tube image 120 (see FIG. 11).
- step ST28 the medical support process proceeds to step ST30 shown in FIG. 15B.
- step ST30 shown in FIG. 15B the third acquisition unit 80C acquires the captured image 40 including the nipple image 110 from the camera 48 (see FIG. 11). The third acquisition unit 80C then identifies the three-dimensional region 108B corresponding to the captured image 40 acquired from the camera 48 from within the composite image 123 (see FIG. 11). After the processing of step ST30 is executed, the medical support processing proceeds to step ST32.
- step ST32 the third acquisition unit 80C sets the captured image 40 as a projection plane in a position directly opposite the three-dimensional area 108B in the composite image 123. Then, the third acquisition unit 80C renders the three-dimensional driving direction image 124 on the captured image 40 set in the composite image 123.
- the composite captured image 130 is generated by performing the above-mentioned operations (see FIG. 11). After the processing of step ST32 is executed, the medical support processing proceeds to step ST34.
- step ST34 the third acquisition unit 80C extracts a tangent line 134 from the two-dimensional driving direction image 132 included in the composite captured image 130 (see FIG. 12). After the processing of step ST34 is executed, the medical support processing proceeds to step ST36.
- step ST36 the third acquisition unit 80C generates a simplified driving direction image 136 along the tangent line 134 based on the tangent line 134 (see FIG. 12).
- step ST38 the medical support processing proceeds to step ST38.
- step ST38 the control unit 80F derives support information 140 based on the composite captured image 130 (see FIG. 13). After the processing of step ST38 is executed, the medical support processing proceeds to step ST40.
- step ST40 the control unit 80F displays the composite captured image 130 generated in step ST32 on screen 36A, displays the support information 140 derived in step ST38 on screen 36B, and displays the composite image 123 generated in step ST26 on screen 36C.
- step ST40 the medical support processing proceeds to step ST42.
- step ST42 the control unit 80F determines whether or not a condition for terminating the medical support process has been satisfied.
- a condition for terminating the medical support process is that an instruction to terminate the medical support process has been given to the duodenoscope system 10 (for example, that an instruction to terminate the medical support process has been accepted by the acceptance device 62).
- step ST42 If the conditions for terminating the medical support process are not met in step ST42, the determination is negative, and the medical support process proceeds to step ST10 shown in FIG. 15A. If the conditions for terminating the medical support process are met in step ST42, the determination is positive, and the medical support process ends.
- the first duodenal image 108 is generated based on the captured image 40, and the first papilla region 108A is acquired from the first duodenal image 108.
- the second papilla region 118A and the three-dimensional traveling direction image 124 are acquired from the volume data 112.
- the three-dimensional traveling direction image 124 adjusted by aligning the first papilla region 108A and the second papilla region 118A is imaged in accordance with the captured image 40.
- This generates a simplified traveling direction image 136 (see FIG. 12).
- the composite captured image 130 is then displayed on the screen 36A.
- the simplified traveling direction image 136 is displayed within the composite captured image 130 (FIG. 14).
- the direction indicated by the arrow shown in the simplified traveling direction image 136 corresponds to the traveling direction 94 of the tube 92 at the position of the opening 90A1. Therefore, the doctor 14 observing the composite image 130 can visually recognize the running direction 94 of the tube 92 leading to the duodenum 88 through the composite image 130.
- the duct 92 includes a bile duct 92A and a pancreatic duct 92B. Therefore, the doctor 14 observing the composite image 130 can visually recognize the running direction 94A of the bile duct 92A leading to the duodenum 88 and the running direction 94B of the pancreatic duct 92B leading to the duodenum 88 through the composite image 130.
- the position of the three-dimensional traveling direction image 124 is adjusted by aligning the first nipple region 108A with the second nipple region 118A.
- Both the first nipple region 108A and the second nipple region 118A are image regions that show the nipple 90. Therefore, the first nipple region 108A and the second nipple region 118A can be easily aligned, and as a result, the position of the three-dimensional traveling direction image 124 can be easily adjusted.
- a simplified traveling direction image 136 is generated based on the adjusted three-dimensional traveling direction image 124 by aligning the first papilla region 108A and the second papilla region 118A.
- the first papilla region 108A is an image region obtained from the first duodenum image 108 generated based on the captured image 40
- the second papilla region 118A is an image region obtained from the observation target area image 116 acquired from the volume data 112. Therefore, the first papilla region 108A and the second papilla region 118A used to generate the simplified traveling direction image 136 can be easily obtained. As a result, the simplified traveling direction image 136 can be easily generated.
- each time the captured image 40 is updated frame by frame a first duodenal image 108 is generated based on the updated captured image 40.
- a simplified traveling direction image 136 is generated based on the three-dimensional traveling direction image 124.
- a composite captured image 130 based on the updated captured image 40 is displayed on the screen 36A, and each time a simplified traveling direction image 136 is generated, the generated simplified traveling direction image 136 is displayed within the composite captured image 130 (see FIG. 14). Therefore, each time the captured image 40 is updated, the doctor 14 observing the composite captured image 130 generated based on the captured image 40 can visually recognize the traveling direction 94 of the tube 92 leading to the duodenum 88 through the composite captured image 130.
- the simplified travel direction image 136 displayed within the composite image 130 is updated in real time. Therefore, the doctor 14 observing the composite image 130 can visually recognize the current travel direction 94 of the tube 92 according to the composite image 130 displayed on the screen 36A through the composite image 130.
- an image in which the three-dimensional travel direction image 124 is rendered on the captured image 40 set as a projection plane at a position directly opposite the three-dimensional area 108B in the composite image 123 is used as a simplified travel direction image 136. Therefore, the travel direction 94 of the tube 92 can be displayed as a two-dimensional image in the captured image 40.
- a simplified travel direction image 136 is displayed on the screen 36A along the tangent line 134.
- the tangent line 134 is a tangent line to the tube 92 at the opening 90A1 of the papilla 90, and is associated with the nipple image 110 showing the papilla 90, so the simplified travel direction image 136 is displayed on the screen 36A in a state associated with the nipple image 110. Therefore, the doctor 14 observing the composite captured image 130 can visually recognize the relationship (e.g., positional relationship) between the travel direction 94 of the tube 92 and the papilla 90.
- an image showing the running direction 94 along the tube 92 starting from the opening 90A1 of the papilla 90 is displayed as a simplified running direction image 136 in the composite captured image 130. Therefore, the doctor 14 observing the composite captured image 130 can visually recognize the running direction 94 along the tube 92 starting from the opening 90A1 of the papilla 90. In addition, since the running direction 94 along the tube 92 starting from the opening 90A1 of the papilla 90 corresponds to the insertion direction of the cannula 54A, etc., it is possible to support the doctor 14 observing the composite captured image 130 in smoothly inserting the cannula 54A, etc. into the tube 92.
- the scale of the three-dimensional travel direction image 124 is adjusted based on the distance 125 measured by the distance sensor 49 and the observation target area image 116 acquired from the volume data 112. Therefore, a two-dimensional travel direction image 132 can be generated based on the highly accurate three-dimensional travel direction image 124.
- the simplified driving direction image 136 which is illustrated as an example of a "driving direction image" according to the technology of the present disclosure, is displayed on the screen 36A is given, but this is merely one example.
- the simplified driving direction image 136 or together with the simplified driving direction image 136, the whole or part of the two-dimensional driving direction image 132 (for example, a part of the image continuing from the opening 90A1 to the back side of the pipe 92) may be displayed on the screen 36A.
- the synthesis unit 80E adjusts the position of the tube image 120 by comparing and aligning the observation target area image 116 and the first duodenal image 108, but the technology of the present disclosure is not limited to this.
- the synthesis unit 80E may adjust the position of the tube image 120 by aligning the observation target area image 116 and the first duodenal image 108 using three-dimensional coordinates that define the pixels of the observation target area image 116 and three-dimensional coordinates that define the pixels of the first duodenal image 108.
- the observation target area image 116 and the first duodenal image 108 may be aligned based on the distance from the reference position (e.g., the position of the pylorus) to the multiple characteristic points of the papilla 90 (i.e., the multiple distances 125 measured by the distance measuring sensor 49), the three-dimensional coordinates of the multiple characteristic points in the first duodenal image 108, and the three-dimensional coordinates of the multiple characteristic points in the observation target area image 116.
- the reference position e.g., the position of the pylorus
- the multiple characteristic points of the papilla 90 i.e., the multiple distances 125 measured by the distance measuring sensor 49
- the three-dimensional coordinates of the multiple characteristic points in the first duodenal image 108 i.e., the multiple distances 125 measured by the distance measuring sensor 49
- the three-dimensional coordinates of the multiple characteristic points in the first duodenal image 108 i.e., the multiple distances 125 measured by the
- the three-dimensional coordinates of multiple feature points in the first duodenum image 108 are an example of "first reference site information" according to the technology of the present disclosure
- the three-dimensional coordinates of multiple feature points in the observation target site image 116 are an example of "second reference site information" according to the technology of the present disclosure.
- the synthesis unit 80E aligns the first duodenum image 108 with the observation target area image 116 using the first papilla region 108A and the second papilla region 118A indicating the papilla 90, but the technology of the present disclosure is not limited to this.
- the synthesis unit 80E may align the first duodenum image 108 with the observation target area image 116 using information (e.g., three-dimensional coordinates or a three-dimensional image) that can identify a medical marker (e.g., a hemostatic clip, etc.) contained in the duodenum 88 in three dimensions and/or information (e.g., three-dimensional coordinates or a three-dimensional image) that can identify the folds of the duodenum 88 in three dimensions.
- information e.g., three-dimensional coordinates or a three-dimensional image
- first reference site information information that can identify the nipple 90 in three dimensions, information that can identify a medical marker in three dimensions, and/or information that can identify a fold in three dimensions have been exemplified, but information that can identify the reference site used for alignment in three dimensions may be determined according to instructions given by the doctor 20 observing the captured image 40 displayed on the screen 36A (e.g., instructions accepted by the reception device 62).
- the tip position of the treatment tool 54 i.e., the position in contact with the opening 01A1
- the tip position of the treatment tool 54 is detected by performing image recognition processing using an AI or non-AI method according to instructions given by the doctor 20 (e.g., instructions accepted by the reception device 62), and the information that can identify the detected tip position in three dimensions may be used as information that can identify the nipple 90 in three dimensions.
- the second reference distance 128 is given as an example of the "distance from the endoscope to the intestinal wall" according to the technology of the present disclosure, and an example in which the distance from the pylorus to the papilla 90 is measured using the second duodenal image 118 as the second reference distance 128 is given, but this is merely one example.
- the second reference distance 128 may be measured using position information (i.e., information indicating the current position of the camera 48) and attitude information (i.e., information indicating the attitude of the camera 48) obtained using an optical fiber sensor provided inside the duodenoscope body 18 (e.g., the insertion section 44 and the tip section 46) along the longitudinal direction.
- the second reference distance 128 may be measured using a conventionally known electromagnetic navigation method, not limited to such an optical fiber method.
- the second reference distance 128 is given as an example of the "distance from the endoscope to the intestinal wall" according to the technology of the present disclosure, and the distance from the pylorus to the papilla 90 is given as an example of the second reference distance 128, but this is merely one example.
- Other examples of the distance from the camera 48 to the intestinal wall 88A include the distance from the tip of the tip portion 16 to the intestinal wall 88A, or the distance from the imaging position of the camera 48 (i.e., the current position of the camera 48) to the intestinal wall 88A.
- the first acquisition unit 80A may generate the first duodenum image 108 based on a plurality of distance images 146.
- the first acquisition unit 80A acquires the plurality of distance images 146 using a distance image generation model 144.
- the acquisition of the plurality of distance images 146 is realized, for example, by generating the plurality of distance images 146 using a 3D construction model 98.
- the distance image generation model 144 is a generation model using a neural network, and generates multiple distance images 146 based on the time-series image group 106 and the first reference distance 126.
- the distance image generation model 144 is a trained model obtained by performing machine learning on a neural network using multiple images corresponding to the time-series image group 106 and a distance corresponding to the first reference distance 126 as training data.
- An example of the distance image generation model 144 is an autoencoder such as VAE or GAN.
- the first acquisition unit 80A inputs the time-series image group 106 and the first reference distance 126 to the distance image generation model 144. As a result, the distance image generation model 144 generates and outputs a plurality of distance images 146 based on the time-series image group 106 and the first reference distance 126. The first acquisition unit 80A acquires the plurality of distance images 146 output from the distance image generation model 144.
- the first acquisition unit 80A generates the first duodenum image 108 using the 3D construction model 148.
- the 3D construction model 148 is a generation model using a neural network, and generates the first duodenum image 108 based on the multiple distance images 146.
- the 3D construction model 148 differs from the 3D construction model 98 shown in FIG. 6 in that it is a trained model obtained by performing machine learning on a neural network using multiple distance images corresponding to the multiple distance images 146 as teacher data, instead of multiple images corresponding to the time-series image group 106.
- the first acquisition unit 80A inputs the multiple distance images 146 to the 3D construction model 148.
- the 3D construction model 148 generates and outputs the first duodenal image 108 based on the multiple distance images 146.
- the first acquisition unit 80A acquires the first duodenal image 108 output from the 3D construction model 148.
- the first duodenal image 108 acquired by the first acquisition unit 80A is used in the same manner as in the above embodiment, thereby obtaining the same effect as in the above embodiment.
- the third acquisition unit 80C forms the simplified travel direction image 136 along the tangent line 134 starting from the end of the tangent line 134 on the nipple image 110 side (i.e., the position where the opening 90A1 leading to the tube 92 (see FIG. 4) is shown), but the technology disclosed herein is not limited to this.
- the third acquisition unit 80C may form the simplified travel direction image 136 along an extension of the tangent line 134.
- the simplified travel direction image 136 is arranged so that the tip of the arrow indicated by the simplified travel direction image 136 is located at the end of the tangent 134 on the nipple image 110 side (i.e., the position where the opening 90A1 leading to the duct 92 (see FIG. 4) is shown).
- the simplified bile duct direction image 136A is formed along the extension of the bile duct tangent 134A so that the arrow indicated by the simplified bile duct direction image 136A points to the end of the bile duct tangent 134A on the nipple image 110 side (i.e., the position where the opening 90A1 leading to the bile duct 92A (see FIG. 4) is shown).
- the simplified pancreatic duct direction image 136B is formed along the extension of the pancreatic duct tangent 134B so that the arrow indicated by the simplified pancreatic duct direction image 136B points to the end of the pancreatic duct tangent 134B on the nipple image 110 side (i.e., the position where the opening 90A1 leading to the pancreatic duct 92B (see FIG. 4) is shown).
- the position indicated by the arrow shown in the simplified bile duct direction image 136A corresponds to the position where the opening 90A1 of the bile duct 92A is located, so the doctor 14 observing the composite image 130 can visually grasp the position of the opening 90A1 of the bile duct 92A and the insertion direction of the cannula 54, etc., into the opening 90A1 of the bile duct 92A.
- the position indicated by the arrow shown in the pancreatic duct bile duct direction image 136B corresponds to the position where the opening 90A1 of the pancreatic duct 92B is located, so the doctor 14 observing the composite image 130 can visually grasp the position of the opening 90A1 of the pancreatic duct 92B and the insertion direction of the cannula 54, etc., into the opening 90A1 of the pancreatic duct 92B.
- an example of the composite image 123, the composite captured image 130, and the support information 140 are displayed on the display device 13, but the technology of the present disclosure is not limited to this.
- a server 152 e.g., a server that manages electronic medical records
- the composite image 123, the composite captured image 130, and/or the support information 140 may be output from the image processing device 25 or the control device 22 to the server 152 and stored in the server 152.
- the composite image 123, the composite captured image 130, and/or the support information 140 may be stored in the electronic medical record.
- the composite image 123, the composite captured image 130, and/or the support information 140 may be output from the image processing device 25 or the control device 22 to the printer 154, and the printer 154 may print the composite image 123, the composite captured image 130, and the support information 140 on a recording medium (e.g., paper, etc.).
- a recording medium e.g., paper, etc.
- the nipple image 110 is detected by executing AI processing (i.e., processing using the nipple detection model 100), but the technology disclosed herein is not limited to this, and the nipple image 110 may be detected by executing non-AI processing (e.g., template matching, etc.). The same can be said about processing using the type prediction model 102 shown in FIG. 13.
- AI processing i.e., processing using the nipple detection model 100
- non-AI processing e.g., template matching, etc.
- the medical support program 96 may be stored in a computer-readable non-transitory storage medium such as an SSD or USB memory.
- the non-transitory storage medium may be a stationary non-transitory storage medium or a portable non-transitory storage medium.
- the medical support program 96 stored in the non-transitory storage medium is installed in the computer 76 of the duodenoscope 12.
- the processor 70 executes the medical support process in accordance with the medical support program 96.
- the medical support program 96 may also be stored in a storage device such as another computer or server connected to the duodenoscope 12 via a network, and the medical support program 96 may be downloaded and installed in the computer 76 in response to a request from the duodenoscope 12.
- processors listed below can be used as hardware resources for executing medical support processing.
- An example of a processor is a CPU, which is a general-purpose processor that functions as a hardware resource for executing medical support processing by executing software, i.e., a program.
- Another example of a processor is a dedicated electrical circuit, which is a processor with a circuit configuration designed specifically for executing specific processing, such as an FPGA, PLD, or ASIC. All of these processors have built-in or connected memory, and all of these processors execute medical support processing by using the memory.
- the hardware resource that executes the medical support processing may be composed of one of these various processors, or may be composed of a combination of two or more processors of the same or different types (for example, a combination of multiple FPGAs, or a combination of a CPU and an FPGA). Also, the hardware resource that executes the medical support processing may be a single processor.
- a configuration using a single processor first, there is a configuration in which one processor is configured using a combination of one or more CPUs and software, and this processor functions as a hardware resource that executes medical support processing. Secondly, there is a configuration in which a processor is used that realizes the functions of the entire system, including multiple hardware resources that execute medical support processing, on a single IC chip, as typified by SoCs. In this way, medical support processing is realized using one or more of the various processors listed above as hardware resources.
- the hardware structure of these various processors can be an electric circuit that combines circuit elements such as semiconductor elements.
- the above medical support process is merely one example. It goes without saying that unnecessary steps can be deleted, new steps can be added, and the processing order can be changed without departing from the spirit of the invention.
- a and/or B is synonymous with “at least one of A and B.”
- a and/or B means that it may be just A, or just B, or a combination of A and B.
- the same concept as “A and/or B” is also applied when three or more things are expressed by linking them with “and/or.”
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Surgery (AREA)
- Biomedical Technology (AREA)
- Medical Informatics (AREA)
- Optics & Photonics (AREA)
- Pathology (AREA)
- Radiology & Medical Imaging (AREA)
- Biophysics (AREA)
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Heart & Thoracic Surgery (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Molecular Biology (AREA)
- Animal Behavior & Ethology (AREA)
- General Health & Medical Sciences (AREA)
- Public Health (AREA)
- Veterinary Medicine (AREA)
- Gastroenterology & Hepatology (AREA)
- Endoscopes (AREA)
Abstract
医療支援装置は、プロセッサを備える。プロセッサは、内視鏡スコープによって十二指腸の腸壁が撮像されることで得られた撮像画像に基づいて、十二指腸に含まれる基準部位を3次元で特定可能な第1基準部位情報を取得し、ボリュームデータから、基準部位に関する2基準部位情報と、十二指腸に通じる管の走行方向に関する方向情報とを取得し、第1基準部位情報と第2基準部位情報とを整合させることにより調整された方向情報に基づいて、走行方向を撮像画像に合わせて画像化した3次元走行方向画像を生成し、撮像画像を画面に表示し、撮像画像内に前記3次元走行方向画像を表示する。
Description
本開示の技術は、医療支援装置、内視鏡、医療支援方法、及びプログラムに関する。
特開2022-105685号公報には、内視鏡画像取得部、仮想内視鏡画像取得部、仮想内視鏡画像再構成部、及び診断サポート情報出力部を備える内視鏡用プロセッサが開示されている。
特開2022-105685号公報に記載の内視鏡用プロセッサにおいて、内視鏡画像取得部は、内視鏡から患者の内視鏡画像を取得する。仮想内視鏡画像取得部は、患者を予め撮影した3次元医用画像に基づいて再構成された仮想内視鏡画像を取得する。仮想内視鏡画像再構成部は、仮想内視鏡画像取得部が取得した仮想内視鏡画像と、内視鏡画像取得部が取得した内視鏡画像との一致度に基づき、内視鏡画像に最も一致する補正後の仮想内視鏡画像を再構成する。診断サポート情報出力部は、内視鏡画像取得部が取得した内視鏡画像を、仮想内視鏡画像再構成部が再構成した補正後の仮想内視鏡画像により得られる距離画像に内視鏡画像の各画素を対応させて、これに応じて補正した特徴パラメータに基づいた診断サポート情報を出力する。
本開示の技術に係る一つの実施形態は、撮像画像を観察しているユーザに対して、十二指腸に通じる管の走行方向を、撮像画像を通して視覚的に認識させることができる医療支援装置、内視鏡、医療支援方法、及びプログラムを提供する。
本開示の技術に係る第1の態様は、プロセッサを備え、プロセッサが、内視鏡スコープによって十二指腸の腸壁が撮像されることで得られた撮像画像に基づいて、十二指腸に含まれる基準部位を3次元で特定可能な第1基準部位情報を取得し、ボリュームデータから、基準部位に関する第2基準部位情報と、十二指腸に通じる管の走行方向に関する方向情報とを取得し、第1基準部位情報と第2基準部位情報とを整合させることにより調整された方向情報に基づいて、走行方向を撮像画像に合わせて画像化した走行方向画像を生成し、撮像画像を画面に表示し、撮像画像内に走行方向画像を表示する、医療支援装置である。
本開示の技術に係る第2の態様は、第1基準部位情報が、基準部位が3次元画像として表現された第1画像領域であり、第2基準部位情報が、基準部位が3次元画像として表現された第2画像領域であり、プロセッサが、第1画像領域と第2画像領域とを位置合わせすることにより調整された方向情報に基づいて走行方向画像を生成する、第1の態様に係る医療支援装置である。
本開示の技術に係る第3の態様は、プロセッサが、撮像画像に基づいて、十二指腸が3次元画像として表現された十二指腸画像を生成し、十二指腸画像から第1基準部位情報を取得する、第1の態様又は第2の態様に係る医療支援装置である。
本開示の技術に係る第4の態様は、十二指腸画像が、複数の距離画像に基づいて生成された3次元画像である、第3の態様に係る医療支援装置である。
本開示の技術に係る第5の態様は、指定されたフレーム数単位で撮像画像が更新される毎に、プロセッサが、更新された撮像画像に基づいて十二指腸画像を生成し、十二指腸画像を生成する毎に方向情報に基づいて走行方向画像を生成し、更新された撮像画像を画面に表示し、走行方向画像を生成する毎に、生成した走行方向画像を撮像画像内に表示する、第4の態様に係る医療支援装置である。
本開示の技術に係る第6の態様は、方向情報が、走行方向が3次元画像で表現された3次元方向画像あり、走行方向画像が、3次元方向画像が撮像画像に投影されることによって得られた2次元画像に基づく画像である、第1の態様から第5の態様の何れか1つの態様に係る医療支援装置である。
本開示の技術に係る第7の態様は、撮像画像が、十二指腸乳頭を示す乳頭画像を含み、走行方向画像が、乳頭画像に関連付けられた状態で表示される、第1の態様から第6の態様の何れか1つの態様に係る医療支援装置である。
本開示の技術に係る第8の態様は、管が、十二指腸乳頭内の開口に通じており、走行方向画像が、開口を基点として管に沿った第1方向を示す画像である、第7の態様に係る医療支援装置である。
本開示の技術に係る第9の態様は、第1方向が、管に挿入する医療器具の挿入方向に相当する方向である、第8の態様に係る医療支援装置である。
本開示の技術に係る第10の態様は、基準部位が、十二指腸乳頭、医用マーカ、及び/又は襞である、第1の態様から第9の態様の何れか1つの態様に係る医療支援装置である。
本開示の技術に係る第11の態様は、プロセッサが、内視鏡スコープから腸壁までの距離とボリュームデータとに基づいて方向情報のスケールを調整する、第1の態様から第10の態様の何れか1つの態様に係る医療支援装置である。
本開示の技術に係る第12の態様は、管が、胆管及び/又は膵管である、第1の態様から第10の態様の何れか1つの態様に係る医療支援装置である。
本開示の技術に係る第13の態様は、撮像画像内に表示される走行方向画像はリアルタイムで更新される、第1の態様から第12の態様の何れか1つの態様に係る医療支援装置である。
本開示の技術に係る第14の態様は、第1の態様から第13の態様の何れか1つの態様に係る医療支援装置と、内視鏡スコープと、を備える、内視鏡である。
本開示の技術に係る第15の態様は、内視鏡スコープによって十二指腸の腸壁が撮像されることで得られた撮像画像に基づいて、十二指腸に含まれる基準部位を3次元で特定可能な第1基準部位情報を取得すること、ボリュームデータから、基準部位に関する第2基準部位情報と、十二指腸に通じる管の走行方向に関する方向情報とを取得すること、第1基準部位情報と第2基準部位情報とを整合させることにより調整された方向情報に基づいて、走行方向を撮像画像に合わせて画像化した走行方向画像を生成すること、撮像画像を画面に表示すること、及び、撮像画像内に走行方向画像を表示することを含む、医療支援方法である。
本開示の技術に係る第16の態様は、コンピュータに、内視鏡スコープによって十二指腸の腸壁が撮像されることで得られた撮像画像に基づいて、十二指腸に含まれる基準部位を3次元で特定可能な第1基準部位情報を取得すること、ボリュームデータから、基準部位に関する第2基準部位情報と、十二指腸に通じる管の走行方向に関する方向情報とを取得すること、第1基準部位情報と第2基準部位情報とを整合させることにより調整された方向情報に基づいて、走行方向を撮像画像に合わせて画像化した走行方向画像を生成すること、撮像画像を画面に表示すること、及び、撮像画像内に走行方向画像を表示することを含む処理を実行させるためのプログラムである。
以下、添付図面に従って本開示の技術に係る医療支援装置、内視鏡、医療支援方法、及びプログラムの実施形態の一例について説明する。
先ず、以下の説明で使用される文言について説明する。
CPUとは、“Central Processing Unit”の略称を指す。GPUとは、“Graphics Processing Unit”の略称を指す。RAMとは、“Random Access Memory”の略称を指す。NVMとは、“Non-volatile memory”の略称を指す。EEPROMとは、“Electrically Erasable Programmable Read-Only Memory”の略称を指す。ASICとは、“Application Specific Integrated Circuit”の略称を指す。PLDとは、“Programmable Logic Device”の略称を指す。FPGAとは、“Field-Programmable Gate Array”の略称を指す。SoCとは、“System-on-a-chip”の略称を指す。SSDとは、“Solid State Drive”の略称を指す。USBとは、“Universal Serial Bus”の略称を指す。HDDとは、“Hard Disk Drive”の略称を指す。ELとは、“Electro-Luminescence”の略称を指す。CMOSとは、“Complementary Metal Oxide Semiconductor”の略称を指す。CCDとは、“Charge Coupled Device”の略称を指す。AIとは、“Artificial Intelligence”の略称を指す。BLIとは、“Blue Light Imaging”の略称を指す。LCIとは、“Linked Color Imaging”の略称を指す。I/Fとは、“Interface”の略称を指す。FIFOとは、“First In First Out”の略称を指す。TOFとは、“Time Of Flight”の略称を指す。RNN-SLAMとは、“Reccurent Neural Network - Simultaneous Localization and Mapping”の略称を指す。VAEとは、“Variational Autoencoder”の略称を指す。GANとは、“Generative Adversarial Networks”の略称を指す。CTとは、“Computed Tomography”の略称を指す。MRIとは、“Magnetic Resonance Imaging”の略称を指す。3Dとは、“Three Dimensions”の略称を指す。
一例として図1に示すように、十二指腸鏡システム10は、十二指腸鏡12及び表示装置13を備えている。十二指腸鏡12は、内視鏡検査において医師14によって用いられる。十二指腸鏡12は、本開示の技術に係る「内視鏡」の一例である。
十二指腸鏡12は、通信装置(図示省略)と通信可能に接続されており、十二指腸鏡12によって得られた情報は、通信装置に送信される。通信装置は、十二指腸鏡12から送信された情報を受信し、受信した情報を用いた処理(例えば、電子カルテ等に記録する処理)を実行する。
十二指腸鏡12は、十二指腸鏡本体18(換言すると、内視鏡スコープ)を備えている。十二指腸鏡12は、十二指腸鏡本体18を用いて被検体20(例えば、患者)の体内に含まれる観察対象21(例えば、十二指腸)に対する診療を行うための装置である。観察対象21は、医師14によって観察される対象である。
十二指腸鏡本体18は、被検体20の体内に挿入される。十二指腸鏡12は、被検体20の体内に挿入された十二指腸鏡本体18に対して、被検体20の体内の観察対象21を撮像させ、かつ、必要に応じて観察対象21に対して医療的な各種処置を行う。
十二指腸鏡12は、被検体20の体内を撮像することで体内の態様を示す画像を取得して出力する。本実施形態において、十二指腸鏡12は、体内で光を照射することにより観察対象21で反射されて得られた反射光を撮像する光学式撮像機能を有する内視鏡である。
十二指腸鏡12は、制御装置22、光源装置24、及び画像処理装置25を備えている。制御装置22、光源装置24、及び画像処理装置25は、ワゴン34に設置されている。ワゴン34には、上下方向に沿って複数の台が設けられており、下段側の台から上段側の台にかけて、画像処理装置25、制御装置22、及び光源装置24が設置されている。また、ワゴン34の最上段の台には、表示装置13が設置されている。
制御装置22は、十二指腸鏡12の全体を制御する。画像処理装置25は、制御装置22の制御下で、十二指腸鏡本体18によって観察対象21が撮像されることで得られた画像に対して各種の画像処理を行う。
表示装置13は、画像を含めた各種情報を表示する。表示装置13の一例としては、液晶ディスプレイ又はELディスプレイ等が挙げられる。また、表示装置13に代えて、又は、表示装置13と共に、ディスプレイ付きのタブレット端末を用いてもよい。
表示装置13には、複数の画面が並べて表示される。図1に示す例では、複数の画面の一例として、画面36A~36Cが示されている。
画面36Aには、十二指腸鏡12によって得られた撮像画像40が表示される。撮像画像40には、観察対象21が写っている。撮像画像40は、被検体20の体内で十二指腸鏡本体18によって観察対象21が撮像されることによって得られた画像である。観察対象21としては、十二指腸の腸壁が挙げられる。以下では、説明の便宜上、撮像画像40の一例として腸壁画像を例示に挙げて説明する。腸壁画像とは、観察対象21として十二指腸の腸壁が撮像されることで得られた画像を指す。なお、十二指腸は、あくまでも一例に過ぎず、十二指腸鏡12によって撮像可能な領域であればよい。十二指腸鏡12によって撮像可能な領域としては、例えば、食道、又は胃等が挙げられる。撮像画像40は、本開示の技術に係る「撮像画像」の一例である。
画面36Aには、時系列に沿った複数フレームの撮像画像40を含んで構成される動画像が表示される。つまり、画面36Aには、時系列に沿った複数フレームの撮像画像40が既定のフレームレート(例えば、数十フレーム/秒)で表示される。画面36Aは、本開示の技術に係る「画面」の一例である。
画面36Aがメイン画面であるのに対し、画面36B及び画面36Cはサブ画面であり、画面36B及び画面36Cには、医師14による十二指腸鏡12を用いた手技を支援する各種情報が表示される。
一例として図2に示すように、十二指腸鏡本体18は、操作部42及び挿入部44を備えている。挿入部44は、操作部42が操作されることにより部分的に湾曲する。挿入部44は、医師14による操作部42の操作に従って、観察対象21の形状(例えば、十二指腸の形状)に応じて湾曲しながら挿入される。
挿入部44の先端部46には、カメラ48、測距センサ49、照明装置50、処置用開口51、及び起立機構52が設けられている。カメラ48及び照明装置50は、先端部46の側面に設けられている。すなわち、十二指腸鏡12は、側視鏡として構成されており、十二指腸の腸壁を観察しやすくしている。
カメラ48は、被検体20の体内を撮像することにより医用画像として撮像画像40を取得する装置である。カメラ48の一例としては、CMOSカメラが挙げられる。但し、これは、あくまでも一例に過ぎず、CCDカメラ等の他種のカメラであってもよい。カメラ48は、本開示の技術に係る「内視鏡スコープ」の一例である。
測距センサ49は、光学式の測距センサである。例えば、測距センサ49は、カメラ48による撮像タイミングと同期して測距(すなわち、距離の計測)を行う。測距センサ49の一例としては、TOFカメラを含む装置が挙げられる。TOFカメラは、TOF方式で3次元情報を計測するカメラである。なお、ここでは、カメラ48と測距センサ49とを別体としているが、カメラ48にTOFカメラの機能が搭載されていてもよく、この場合、カメラ48は、撮像画像40と同時に深度情報も得ることが可能となる。
照明装置50は、照明窓50Aを有する。照明装置50は、照明窓50Aを介して光を照射する。照明装置50から照射される光の種類としては、例えば、可視光(例えば、白色光等)及び非可視光(例えば、近赤外光等)が挙げられる。また、照明装置50は、照明窓50Aを介して特殊光を照射する。特殊光としては、例えば、BLI用の光及び/又はLCI用の光が挙げられる。カメラ48は、被検体20の体内で照明装置50によって光が照射された状態で、被検体20の体内を光学的手法で撮像する。
処置用開口51は、処置具54を先端部46から突出させる処置具突出口、血液及び体内汚物等を吸引する吸引口、並びに流体を送出する送出口として用いられる。
処置用開口51からは、医師14の操作に従って、処置具54が突出する。処置具54は、処置具挿入口58から挿入部44内に挿入される。処置具54は、処置具挿入口58を介して挿入部44内を通過して処置用開口51から被検体20の体内に突出する。図2に示す例では、処置具54として、カニューレ54Aが処置用開口51から突出している。カニューレ54Aは、処置具54の一例に過ぎず、処置具54の他の例としては、カテーテル、ガイドワイヤ、パピロトミーナイフ、又はスネア等が挙げられる。処置具54は、本開示の技術に係る「医療器具」の一例である。
起立機構52は、処置用開口51から突出した処置具54の突出方向を変化させる。起立機構52は、ガイド52Aを備えており、ガイド52Aが処置具54の突出方向に対して起き上がることで、処置具54の突出方向がガイド52Aに沿って変化する。これにより、処置具54を腸壁に向かって突出させることが容易となる。図2に示す例では、起立機構52によって、処置具54の突出方向が、先端部46の進行方向に対して直交する方向に変化している。起立機構52は、医師14によって操作部42を介して操作される。これにより、処置具54の突出方向の変化の度合いが調整される。
十二指腸鏡本体18は、ユニバーサルコード60を介して制御装置22及び光源装置24に接続されている。制御装置22には、受付装置62が接続されている。また、制御装置22には、画像処理装置25が接続されている。また、画像処理装置25には、表示装置13が接続されている。すなわち、制御装置22は、画像処理装置25を介して表示装置13に接続されている。
なお、ここでは、制御装置22で行われる機能を拡張させるための外付け装置という位置付けで画像処理装置25を例示しているため、制御装置22と表示装置13とが画像処理装置25を介して間接的に接続されている形態例を挙げているが、これは、あくまでも一例に過ぎない。例えば、表示装置13は、制御装置22に直接接続されていてもよい。この場合、例えば、画像処理装置25の機能が制御装置22に搭載されているか、或いは、画像処理装置25によって実行される処理(例えば、後述する医療支援処理)と同じ処理をサーバ(図示省略)に対して実行させ、サーバによる処理結果を受信して使用する機能が制御装置22に搭載されていればよい。
受付装置62は、ユーザ(例えば、医師14)からの指示を受け付け、受け付けた指示を電気信号として制御装置22に出力する。受付装置62の一例として、キーボード、マウス、タッチパネル、フットスイッチ、及びマイクロフォン等が挙げられる。
制御装置22は、光源装置24を制御したり、カメラ48との間で各種信号の授受を行ったり、画像処理装置25との間で各種信号の授受を行ったりする。
光源装置24は、制御装置22の制御下で発光し、光を照明装置50に供給する。照明装置50には、ライトガイドが内蔵されており、光源装置24から供給された光はライトガイドを経由して照明窓50Aから照射される。制御装置22は、カメラ48に対して撮像を行わせ、カメラ48から撮像画像40(図1参照)を取得して既定の出力先(例えば、画像処理装置25)に出力する。
画像処理装置25は、制御装置22から入力された撮像画像40に対して各種の画像処理を行う。画像処理装置25は、各種の画像処理を施した撮像画像40を既定の出力先(例えば、表示装置13)へ出力する。
なお、ここでは、制御装置22から出力された撮像画像40が、画像処理装置25を介して、表示装置13へ出力される形態例を挙げて説明したが、これはあくまでも一例に過ぎない。制御装置22と表示装置13とが接続されており、画像処理装置25で画像処理が施された撮像画像40が、制御装置22を介して表示装置13に表示される態様であってもよい。
一例として図3に示すように、制御装置22は、コンピュータ64、バス66、及び外部I/F68を備えている。コンピュータ64は、プロセッサ70、RAM72、及びNVM74を備えている。プロセッサ70、RAM72、NVM74、及び外部I/F68は、バス66に接続されている。
例えば、プロセッサ70は、CPU及びGPUを有しており、制御装置22の全体を制御する。GPUは、CPUの制御下で動作し、グラフィック系の各種処理の実行及びニューラルネットワークを用いた演算等を担う。なお、プロセッサ70は、GPU機能を統合した1つ以上のCPUであってもよいし、GPU機能を統合していない1つ以上のCPUであってもよい。
RAM72は、一時的に情報が格納されるメモリであり、プロセッサ70によってワークメモリとして用いられる。NVM74は、各種プログラム及び各種パラメータ等を記憶する不揮発性の記憶装置である。NVM74の一例としては、フラッシュメモリ(例えば、EEPROM及び/又はSSD)が挙げられる。なお、フラッシュメモリは、あくまでも一例に過ぎず、HDD等の他の不揮発性の記憶装置であってもよいし、2種類以上の不揮発性の記憶装置の組み合わせであってもよい。
外部I/F68は、制御装置22の外部に存在する1つ以上の装置(以下、「第1外部装置」とも称する)とプロセッサ70との間の各種情報の授受を司る。外部I/F68の一例としては、USBインタフェースが挙げられる。
外部I/F68には、第1外部装置の1つとしてカメラ48が接続されており、外部I/F68は、カメラ48とプロセッサ70との間の各種情報の授受を司る。プロセッサ70は、外部I/F68を介してカメラ48を制御する。また、プロセッサ70は、カメラ48によって被検体20の体内が撮像されることで得られた撮像画像40(図1参照)を外部I/F68を介して取得する。
外部I/F68には、第1外部装置の1つとして測距センサ49が接続されており、外部I/F68は、測距センサ49とプロセッサ70との間の各種情報の授受を司る。プロセッサ70は、測距センサ49を制御し、かつ、測距センサ49によって行われた測距の結果(例えば、測距センサ49によって計測された距離又は3次元情報)を取得する。
外部I/F68には、第1外部装置の1つとして光源装置24が接続されており、外部I/F68は、光源装置24とプロセッサ70との間の各種情報の授受を司る。光源装置24は、プロセッサ70の制御下で、照明装置50に光を供給する。照明装置50は、光源装置24から供給された光を照射する。
外部I/F68には、第1外部装置の1つとして受付装置62が接続されており、プロセッサ70は、受付装置62によって受け付けられた指示を、外部I/F68を介して取得し、取得した指示に応じた処理を実行する。
画像処理装置25は、コンピュータ76及び外部I/F78を備えている。コンピュータ76は、プロセッサ80、RAM82、及びNVM84を備えている。プロセッサ80、RAM82、NVM84、及び外部I/F78は、バス86に接続されている。ここで、画像処理装置25は、本開示の技術に係る「医療支援装置」の一例であり、コンピュータ76は、本開示の技術に係る「コンピュータ」の一例であり、プロセッサ80は、本開示の技術に係る「プロセッサ」の一例である。
なお、コンピュータ76のハードウェア構成(すなわち、プロセッサ80、RAM82、及びNVM84)は、コンピュータ64のハードウェア構成と基本的に同じなので、ここでは、コンピュータ76のハードウェア構成に関する説明は省略する。
外部I/F78は、画像処理装置25の外部に存在する1つ以上の装置(以下、「第2外部装置」とも称する)とプロセッサ80との間の各種情報の授受を司る。外部I/F78の一例としては、USBインタフェースが挙げられる。
外部I/F78には、第2外部装置の1つとして制御装置22が接続されている。図3に示す例では、外部I/F78に、制御装置22の外部I/F68が接続されている。外部I/F78は、画像処理装置25のプロセッサ80と制御装置22のプロセッサ70との間の各種情報の授受を司る。例えば、プロセッサ80は、制御装置22のプロセッサ70から外部I/F68及び78を介して撮像画像40(図1参照)を取得し、取得した撮像画像40に対して各種の画像処理を行う。
外部I/F78には、第2外部装置の1つとして表示装置13が接続されている。プロセッサ80は、外部I/F78を介して表示装置13を制御することにより、表示装置13に対して各種情報(例えば、各種の画像処理が行われた撮像画像40等)を表示させる。
ところで、十二指腸鏡12を用いた十二指腸に対する処置の1つとして、ERCP(内視鏡的逆行性胆管膵管造影)検査と呼ばれる処置が知られている。一例として図4に示すように、ERCP検査においては、例えば、先ず、十二指腸鏡12が、食道、及び胃を介して、十二指腸88まで挿入される。この場合、十二指腸鏡12の挿入状態は、X線撮像によって得られたX線画像を用いて確認されてもよい。そして、十二指腸鏡12の先端部46が、十二指腸88の腸壁に存在する十二指腸乳頭90(以下、単に「乳頭90」とも称する)の付近へ到達する。
ERCP検査では、例えば、十二指腸88側から乳頭90に処置具54の一種であるカニューレ54Aを挿入する。ここで、乳頭90は、十二指腸88の腸壁から***した部位である。乳頭90の先端部である乳頭***90Aには、内臓(例えば、胆嚢及び膵臓)に通じる1つ以上の管92の端部、すなわち、管92に通じる開口90A1が存在している。換言すると、管92は、乳頭***90Aに存在する開口90A1に通じている。
1つ以上の管92の一例としては、胆管92A及び膵管92Bが挙げられる。開口90A1は、胆管92A及び膵管92Bのそれぞれに対して個別に存在している場合もあれば、胆管92A及び膵管92Bに対して共通に存在している場合もある。胆管92Aは、本開示の技術に係る「胆管」の一例であり、膵管92Bは、本開示の技術に係る「膵管」の一例である。以下では、説明の便宜上、胆管92Aと膵管92Bとを区別して説明する必要がない場合、「管92」と称する。
ERCP検査では、開口90A1を介して造影剤を管92に注入した状態でX線撮像が行われる。ここで、医師14は、管92にカニューレ54Aを挿入する場合、管92の走行方向94を正確に把握する必要がある。特に、開口90A1付近の走行方向94は、開口90A1に対するカニューレ54Aの挿入方向とほぼ一致するので、医師14に対して、開口90A1付近の走行方向94を視覚的に把握させることは非常に重要である。
管92の走行方向94の一例としては、胆管92Aの走行方向94Aと膵管92Bの走行方向94Bとが挙げられる。胆管92Aに対してカニューレ54Aを挿入する場合は、医師14に対して走行方向94Aを視覚的に把握させることが有効であり、膵管92Bに対してカニューレ54Aを挿入する場合は、医師14に対して走行方向94Bを視覚的に把握させることが有効である。ここでは、カニューレ54Aが開口90A1に挿入される例を挙げているが、処置具54としてカテーテル又はガイドワイヤが管92に挿入される場合であっても、処置具54としてパピロトミーナイフを開口90A1に接触させる場合であっても、医師14に対して走行方向94を視覚的に把握させることは非常に有効である。
そこで、このような事情に鑑み、本実施形態では、一例として図5に示すように、画像処理装置25のプロセッサ80によって医療支援処理が行われる。
NVM84には、医療支援プログラム96が格納されている。医療支援プログラム96は、本開示の技術に係る「プログラム」の一例である。プロセッサ80は、NVM84から医療支援プログラム96を読み出し、読み出した医療支援プログラム96をRAM82上で実行することにより医療支援処理を行う。医療支援処理は、プロセッサ80がRAM82上で実行する医療支援プログラム96に従って、第1取得部80A、第2取得部80B、第3取得部80C、調整部80D、合成部80E、及び制御部80Fとして動作することによって実現される。
NVM84には、3D構築モデル98、乳頭検出モデル100、種類予測モデル102、及び支援情報テーブル104が格納されている。詳しくは後述するが、3D構築モデル98は、第1取得部80Aによって用いられ、乳頭検出モデル100は、調整部80Dによって用いられ、種類予測モデル102及び支援情報テーブル104は、制御部80Fによって用いられる。
一例として図6に示すように、第1取得部80Aは、時系列画像群106に基づいて第1十二指腸画像108を取得する。第1十二指腸画像108の取得は、例えば、3D構築モデル98によって第1十二指腸画像108が生成されることによって実現される。
第1十二指腸画像108の生成を実現するために、先ず、第1取得部80Aは、カメラ48によって撮像フレームレート(例えば、数十フレーム/秒)に従って撮像されることで生成された撮像画像40をカメラ48から1フレーム単位で取得する。1フレーム単位は、本開示の技術に係る「指定されたフレーム数単位」の一例である。なお、ここでは、1フレーム単位を例示しているが、これは、あくまでも一例に過ぎず、2フレーム以上の指定されたフレーム数単位であってもよい。
第1取得部80Aは、時系列画像群106を保持する。時系列画像群106は、観察対象21が写っている時系列に沿った複数フレームの撮像画像40である。時系列画像群106には、例えば、一定フレーム数(例えば、数十~数百フレームの範囲内で事前に定められたフレーム数)の撮像画像40が含まれている。また、一定フレーム数の撮像画像40のうちの1フレーム以上の撮像画像40には、乳頭90が写っている。すなわち、1フレーム以上の撮像画像40には、乳頭90を示す乳頭画像110が含まれている。
第1取得部80Aは、カメラ48から撮像画像40を取得する毎に、FIFO方式で時系列画像群106を更新する。
ここでは、第1取得部80Aによって時系列画像群106が保持されて更新される形態例を挙げているが、これは、あくまでも一例に過ぎない。例えば、時系列画像群106は、RAM82等のように、プロセッサ80に接続されているメモリに保持されて更新されるようにしてもよい。
3D構築モデル98は、ニューラルネットワークを用いた生成モデルであり、時系列画像群106に基づいて、3次元画像である第1十二指腸画像108を生成する。3D構築モデル98は、時系列画像群106に相当する複数の画像を教師データとして用いた機械学習をニューラルネットワーク(例えば、リカレントニューラルネットワーク)に対して行うことで得られた学習済みモデルである。3D構築モデル98の一例としては、RNN-SLAMが挙げられる。なお、RNN-SLAMは、あくまでも一例に過ぎず、3D構築モデル98は、VAE又はGAN等のオートエンコーダであってもよく、第1十二指腸画像108を生成可能な学習済みの生成ネットワークであればよい。
第1取得部80Aは、時系列画像群106を3D構築モデル98に入力する。これに応じて、3D構築モデル98は、時系列画像群106に基づいて第1十二指腸画像108を生成して出力する。第1取得部80Aは、3D構築モデル98から出力された第1十二指腸画像108を取得する。
第1十二指腸画像108には、第1乳頭領域108Aが含まれている。第1乳頭領域108Aは、十二指腸88に含まれる乳頭90を3次元で特定可能な情報である。図6に示す例では、第1乳頭領域108Aの一例として、乳頭90が3次元画像として表現された画像領域が示されている。第1十二指腸画像108は、第1取得部80Aによって1フレーム単位で撮像画像40が取得されて時系列画像群106が更新される毎に生成される。
本実施形態において、乳頭90は、本開示の技術に係る「基準部位」及び「十二指腸乳頭」の一例である。第1乳頭領域108Aは、本開示の技術に係る「第1基準部位情報」及び「第1画像領域」の一例である。
一例として図7に示すように、NVM84には、ボリュームデータ112が格納されている。ボリュームデータ112は、モダリティによって被検体20が撮像されることで得られた複数の2次元スライス画像114が積み重ねられてボクセルVに分割されることで得られた画像である。モダリティの一例としては、CT装置が挙げられる。CT装置は、一例に過ぎず、モダリティの他の例としては、MRI装置又は超音波診断装置等が挙げられる。3次元画像を規定している全てのボクセルVの各々の位置は3次元座標で特定される。
第2取得部80Bは、ボリュームデータ112から、観察対象部位に関する情報を取得する。図7に示す例では、観察対象部位に関する情報として、観察対象部位を示す3次元画像である観察対象部位画像116が示されている。すなわち、第2取得部80Bは、ボリュームデータ112から、観察対象部位に関する情報として観察対象部位画像116を取得する。
観察対象部位は、乳頭90を含む十二指腸88と管92である(図4参照)。観察対象部位(すなわち、第2取得部80Bによってボリュームデータ112から取得される観察対象部位画像116)は、例えば、受付装置62によって受け付けられた指示に従って選択される。
第2取得部80Bによってボリュームデータ112から取得された観察対象部位画像116には、第2十二指腸画像118及び管画像120が含まれている。第2十二指腸画像118は、十二指腸88を示す3次元画像である。第2十二指腸画像118には、第2乳頭領域118Aが含まれている。第2乳頭領域118Aは、乳頭90が3次元画像として表現された画像領域である。管画像120は、管92が3次元画像として表現された画像領域である。管画像120は、胆管画像120Aと膵管画像120Bとを含む。胆管画像120Aは、胆管92Aが3次元画像として表現された画像領域であり、膵管画像120Bは、膵管92Bが3次元画像として表現された画像領域である。本実施形態において、第2乳頭領域118Aは、本開示の技術に係る「第2基準部位情報」及び「第2画像領域」の一例である。
一例として図8に示すように、調整部80Dは、撮像画像40に対して、乳頭検出モデル100を用いた物体検出処理を行うことにより、撮像画像40内の乳頭画像110を検出する。乳頭検出モデル100は、AI方式による物体検出用の学習済みモデルであり、ニューラルネットワークに対して第1教師データを用いた機械学習が行われることによって最適化されている。第1教師データは、第1例題データと第1正解データとが対応付けられた複数のデータ(すなわち、複数フレーム分のデータ)である。第1例題データは、撮像画像40に相当する画像である。第1正解データは、第1例題データに対する正解データ(すなわち、アノテーション)である。第1正解データの一例としては、乳頭90が写っている画像領域を特定可能なアノテーションが挙げられる。
調整部80Dは、カメラ48から撮像画像40を取得し、取得した撮像画像40を乳頭検出モデル100に入力する。これにより、乳頭検出モデル100は、入力された撮像画像40から乳頭画像110を検出し、検出した乳頭画像110を特定可能な特定情報122(例えば、撮像画像40内での乳頭画像110の位置を示す複数の座標等)を出力する。調整部80Dは、乳頭検出モデル100から出力された特定情報122を取得する。
調整部80Dは、乳頭検出モデル100に入力された撮像画像40を得るために行われたカメラ48による撮像と同期して測距センサ49によって計測された距離125を取得する。距離125は、例えば、基準位置(ここでは、一例として、乳頭検出モデル100に入力された撮像画像40を得るために撮像が行われたカメラ48の撮像面の位置)から、十二指腸88内の乳頭90を含む腸壁88Aまでの距離を指す。図8に示す例では、基準位置の一例として、幽門が挙げられている。測距センサ49は、基準位置から腸壁88A内の複数の箇所までの複数の距離125を計測する。
調整部80Dは、特定情報122により特定される乳頭画像110により示される乳頭90までの距離である第1基準距離126を算出する。例えば、特定情報122により特定される乳頭画像110により示される乳頭90内に複数の計測箇所が存在する場合、複数の計測箇所についての複数の距離125の平均値が第1基準距離126として算出される。なお、ここでは、乳頭90内の複数の計測箇所についての複数の距離125の平均値を例示したが、乳頭90内の複数の計測箇所についての複数の距離125の中央値、最頻値、又は最大値等の統計値であってもよい。
調整部80Dは、第2取得部80Bによって取得された観察対象部位画像116に含まれる第2十二指腸画像118を用いて、基準位置(ここでは、一例として、幽門)から、第2乳頭領域118Aにより示される乳頭90までの距離を第2基準距離128として計測する。
一例として図9に示すように、調整部80Dは、第1基準距離126と第2基準距離128との相違度129を算出する。相違度129の一例としては、第1基準距離126に対する第2基準距離128の割合、又は、第1基準距離126と第2基準距離128との差分の絶対値等が挙げられる。
調整部80Dは、第2取得部80Bによって取得された観察対象部位画像116のスケールを、相違度129を参照して調整する。例えば、調整部80Dは、相違度129そのものを倍率として用いることで、観察対象部位画像116のスケールを調整したり、相違度129に基づいて算出された倍率で、観察対象部位画像116のスケールを調整したりする。相違度129に基づいて算出された倍率の一例としては、相違度129を独立変数とし、倍率を従属変数とした演算式から導出された倍率が挙げられる。
一例として図10に示すように、合成部80Eは、第1取得部80Aによって取得された第1十二指腸画像108と、調整部80Dによってスケールが調整された観察対象部位画像116とに基づいて合成画像123を生成する。合成画像123を生成するために、先ず、合成部80Eは、第1取得部80Aによって取得された第1十二指腸画像108に含まれる第1乳頭領域108Aと調整部80Dによってスケールが調整された観察対象部位画像116に含まれる第2乳頭領域118Aとを整合させることにより管画像120を調整する。例えば、合成部80Eは、第1乳頭領域108Aと第2乳頭領域118Aとを基準にして観察対象部位画像116と第1十二指腸画像108との位置合わせを行う。すなわち、第1乳頭領域108Aと第2乳頭領域118Aとを一致させるように観察対象部位画像116を第1十二指腸画像108に対して位置合わせする。ここでは、第1十二指腸画像108に対して観察対象部位画像116の位置合わせが行われるが、これは、例えば、第1乳頭領域108Aと第2乳頭領域118Aとの間で共通する複数の特徴点を位置合わせすることにより実現される。
このようにして観察対象部位画像116が第1十二指腸画像108に対して位置合わせされた状態で、合成部80Eは、管画像120を第1十二指腸画像108に合成することにより合成画像123を生成する。すなわち、合成部80Eは、第1乳頭領域108A内の第2乳頭領域118Aと対応する位置(すなわち、第2乳頭領域118Aに繋がっている管画像120の位置に対応する位置)に管画像120を付与することで、管画像120を第1十二指腸画像108に合成する。
一例として図11に示すように、第3取得部80Cは、合成部80Eによって生成された合成画像123に基づいて、十二指腸88(図4参照)に通じる管92の走行方向94に関する情報として3次元走行方向画像124を取得する。3次元走行方向画像124は、管92の走行方向94が3次元画像で表現された画像である。3次元走行方向画像124は、本開示の技術に係る「方向情報」及び「3次元方向画像」の一例である。
第3取得部80Cは、第1十二指腸画像108に合成された管画像120に対して細線化処理を行うことにより、管画像120より示される管92の走行方向94を示す3次元走行方向画像124(例えば、走行方向94を示す曲線)を生成する。管92の走行方向94は、管画像120の軸心方向とも言える。
3次元走行方向画像124は、3次元胆管方向画像124Aと3次元膵管方向画像124Bとを含む。3次元胆管方向画像124Aは、胆管92Aの走行方向94A(図4参照)を示しており、胆管画像120Aが細線化されることによって得られる。3次元膵管方向画像124Bは、膵管92Bの走行方向94B(図4参照)を示しており、膵管画像120Bが細線化されることによって得られる。
第3取得部80Cは、乳頭画像110を含む撮像画像40をカメラ48から取得する。第3取得部80Cは、カメラ48から取得した撮像画像40に対応する3次元領域108Bを合成画像123内から特定する。第3取得部80Cによってカメラ48から取得された撮像画像40は、3次元領域108Bが平面に投影された2次元画像に対応している。第3取得部80Cは、合成画像123内において3次元領域108Bと正対する位置に投影面として撮像画像40を設定する。第3取得部80Cは、合成画像123内に設定した撮像画像40に3次元走行方向画像124をレンダリングすることにより合成撮像画像130を生成する。
合成撮像画像130は、撮像画像40と2次元走行方向画像132とを含む画像(例えば、撮像画像40に2次元走行方向画像132が重畳された画像)である。2次元走行方向画像132は、3次元走行方向画像124が撮像画像40にレンダリングされた画像(すなわち、3次元走行方向画像124が撮像画像40に投影された画像)である。2次元走行方向画像132は、2次元胆管方向画像132Aと2次元膵管方向画像132Bとを含む。2次元胆管方向画像132Aは、3次元胆管方向画像124Aが撮像画像40にレンダリングされた画像である。2次元膵管方向画像132Bは、3次元膵管方向画像124Bが撮像画像40にレンダリングされた画像である。
一例として図12に示すように、第3取得部80Cは、合成撮像画像130内の2次元走行方向画像132を簡易化した簡易走行方向画像136を取得する。簡易走行方向画像136は、本開示の技術に係る「走行方向画像」の一例である。
簡易走行方向画像136を生成するために、先ず、第3取得部80Cは、2次元走行方向画像132から接線134を抽出する。接線134は、2次元走行方向画像132のうちの乳頭画像110側の端(すなわち、開口90A1(図4参照)が写っている位置)に対する接線である。接線134は、胆管接線134Aと膵管接線134Bとに類別される。胆管接線134Aは、2次元胆管方向画像132Aのうちの乳頭画像110側の端(すなわち、胆管92A(図4参照)に通じる開口90A1が写っている位置)に対する接線である。膵管接線134Bは、2次元膵管方向画像132Bのうちの乳頭画像110側の端(すなわち、膵管92B(図4参照)に通じる開口90A1が写っている位置)に対する接線である。
第3取得部80Cは、2次元走行方向画像132に基づいて、管92の走行方向94を合成撮像画像130に合わせて画像化することにより簡易走行方向画像136を生成する。例えば、第3取得部80Cは、接線134を画像化することにより簡易走行方向画像136を生成する。簡易走行方向画像136は、接線134のうちの乳頭画像110側の端(すなわち、管92(図4参照)に通じる開口90A1が写っている位置)を始点として接線134上に沿って形成された矢印を示す画像である。簡易走行方向画像136により示される矢印が指し示す方向は、開口90A1の位置での管92の走行方向94に相当する。
本実施形態において、簡易走行方向画像136により示される矢印の始点は、本開示の技術に係る「基点」の一例であり、管92の走行方向94は、本開示の技術に係る「第1方向」及び「挿入方向に相当する方向」の一例であり、簡易走行方向画像136は、本開示の技術に係る「第1方向を示す画像」の一例である。
簡易走行方向画像136は、簡易胆管方向画像136Aと簡易膵管方向画像136Bとを含む。簡易胆管方向画像136Aは、胆管接線134Aのうちの乳頭画像110側の端(すなわち、胆管92A(図4参照)に通じる開口90A1が写っている位置)を始点として胆管接線134A上に沿って形成された矢印を示す画像である。簡易胆管方向画像136Aにより示される矢印が指し示す方向は、開口90A1の位置での胆管92Aの走行方向94A(図4参照)に相当しており、胆管92Aに対するカニューレ54A等の挿入方向として医師14によって参照される。胆管92Aに対するカニューレ54A等の挿入方向は、本開示の技術に係る「管に挿入する医療器具の挿入方向」の一例である。
簡易膵管方向画像136Bは、膵管接線134Bのうちの乳頭画像110側の端(すなわち、膵管92B(図4参照)に通じる開口90A1が写っている位置)を始点として膵管接線134B上に沿って形成された矢印を示す画像である。簡易膵管方向画像136Bにより示される矢印が指し示す方向は、開口90A1の位置での膵管92Bの走行方向94B(図4参照)に相当しており、膵管92Bに対するカニューレ54A等の挿入方向として医師14によって参照される。膵管92Bに対するカニューレ54A等の挿入方向は、本開示の技術に係る「管に挿入する医療器具の挿入方向」の一例である。
簡易胆管方向画像136A及び簡易膵管方向画像136Bは、互いに区別可能な態様で生成される。例えば、第3取得部80Cは、簡易胆管方向画像136A及び簡易膵管方向画像136Bの互いの色、濃度、輝度、及び/又は模様等を変えることにより簡易胆管方向画像136Aと簡易膵管方向画像136Bとを区別可能な態様で生成する。
一例として図13に示すように、制御部80Fは、第3取得部80Cによって取得された合成撮像画像130に対して種類予測モデル102を用いた画像認識処理を行うことで、合成撮像画像130に写っている乳頭90の種類を予測する。そして、制御部80Fは、予測した種類を示す種類情報138(例えば、乳頭90の種類の名称)を取得する。
種類予測モデル102は、ニューラルネットワークに対して第2教師データを用いた機械学習が行われることによってニューラルネットワークが最適化されることで得られる。第2教師データは、第2例題データと第2正解データとが対応付けられた複数のデータ(すなわち、複数フレーム分のデータ)である。第2例題データは、例えば、ERCP検査の対象となり得る部位(例えば、十二指腸の内壁)が撮像されることによって得られた画像に対して簡易走行方向画像136に相当する画像が付与されることによって得られた画像(例えば、簡易走行方向画像136が付与された合成撮像画像130に相当する画像)である。第2正解データは、第2例題データに対応する正解データ(すなわち、アノテーション)である。第2正解データの一例としては、乳頭90の種類を示すアノテーションが挙げられる。
なお、ここでは、第2教師データに含まれる例題データとして、ERCP検査の対象となり得る部位が撮像されることによって得られた画像に対して簡易走行方向画像136に相当する画像が付与されることによって得られた画像を挙げたが、これは、あくまでも一例に過ぎない。例えば、第2教師データに含まれる例題データは、ERCP検査の対象となり得る部位が撮像されることによって得られた画像そのもの(すなわち、簡易走行方向画像136が付与されていない撮像画像40に相当する画像)であってもよい。
また、ここでは、1つの種類予測モデル102のみが制御部80Fによって用いられる形態例を挙げているが、これは、あくまでも一例に過ぎない。例えば、複数の種類予測モデル102から選択された種類予測モデル102が制御部80Fによって用いられるようにしてもよい。この場合、各種類予測モデル102は、ERCP検査の手技(例えば、十二指腸鏡12の乳頭90に対する位置等)別に特化した機械学習が行われることによって作成され、現在行われているERCP検査の手技に対応する種類予測モデル102が選択されて制御部80Fによって用いられるようにすればよい。
制御部80Fは、第3取得部80Cによって取得された合成撮像画像130を種類予測モデル102に入力する。これにより、種類予測モデル102は、入力された合成撮像画像130に写っている乳頭90の種類を予測し、予測した種類を示す種類情報138を出力する。制御部80Fは、種類予測モデル102から出力された種類情報138を取得する。
制御部80Fは、種類予測モデル102から取得した種類情報138に対応する支援情報140を支援情報テーブル104から導出する。支援情報テーブル104は、互いに対応関係にある乳頭種類情報104Aと合流形式情報104Bとシェーマ104Cとが対応付けられたテーブルである。乳頭種類情報104Aは、乳頭90の種類を特定可能な情報(例えば、乳頭90の種類の名称)である。合流形式情報104Bは、乳頭90の種類毎に定められており、胆管と膵管とが合流する合流形式を特定可能な情報である。シェーマ104Cは、胆管と膵管とが合流する態様を模式的に示した模式図である。
支援情報140は、制御部80Fによって種類予測モデル102から取得された種類情報138に対応する乳頭種類情報104Aと合流形式情報104Bとシェーマ104Cとを含む情報である。
一例として図14に示すように、制御部80Fは、第3取得部80Cによって取得された合成撮像画像130を画面36Aに表示し、支援情報140を画面36Bに表示し、かつ、合成部80Eによって生成された合成画像123を画面36Cに表示する。画面36Aに表示される合成撮像画像130は、リアルタイムで更新される。この場合、例えば、第1取得部80Aによって撮像画像40が取得されて時系列画像群106が更新される毎に合成画像123が更新され、合成画像123が更新される毎に、2次元走行方向画像132を含む合成撮像画像130が更新され、これに伴って、簡易走行方向画像136も更新される。
画面36Aに表示される合成撮像画像130の更新は、第1取得部80Aによって撮像画像40が1フレーム単位で取得される毎に行われるようにしてもよいし、第1取得部80Aによって撮像画像40が複数フレーム単位で取得される毎に行われるようにしてもよい。
次に、十二指腸鏡システム10の本開示の技術に係る部分についての作用を図15A及び図15Bを参照しながら説明する。
図15A及び図15Bには、プロセッサ80によって行われる医療支援処理の流れの一例が示されている。図15A及び図15Bに示す医療支援処理の流れは、本開示の技術に係る「医療支援方法」の一例である。
図15Aに示す医療支援処理では、先ず、ステップST10で、第1取得部80Aは、カメラ48によって観察対象21に対する1フレーム分の撮像が行われたか否かを判定する。ステップST10において、カメラ48によって観察対象21に対する1フレーム分の撮像が行われていない場合は、判定が否定されて、ステップST10の判定が再び行われる。ステップST10において、カメラ48によって観察対象21に対する1フレーム分の撮像が行われた場合は、判定が肯定されて、医療支援処理はステップST12へ移行する。
ステップST12で、第1取得部80Aは、カメラ48によって観察対象21が撮像されることによって得られた1フレーム分の撮像画像40を取得する(図6参照)。ステップST12の処理が実行された後、医療支援処理はステップST14へ移行する。
ステップST14で、第1取得部80Aは、一定フレーム数の撮像画像40を保持しているか否かを判定する。ステップST14において、一定フレーム数の撮像画像40を保持していない場合は、判定が否定されて、医療支援処理はステップST10へ移行する。ステップST14において、一定フレーム数の撮像画像40を保持している場合は、判定が肯定されて、医療支援処理はステップST16へ移行する。
ステップST16で、第1取得部80Aは、ステップST12で取得した撮像画像40をFIFO方式で時系列画像群106に加えることにより時系列画像群106を更新する(図6参照)。ステップST16の処理が実行された後、医療支援処理はステップST18へ移行する。
ステップST18で、第1取得部80Aは、3D構築モデル98に対して時系列画像群106を入力することにより第1十二指腸画像108を取得する。ステップST18の処理が実行された後、医療支援処理はステップST20へ移行する。
ステップST20で、第2取得部80Bは、ボリュームデータ112から観察対象部位画像116を取得する(図7参照)。ステップST20の処理が実行された後、医療支援処理はステップST22へ移行する。
ステップST22で、調整部80Dは、第1十二指腸画像108を取得するために用いられた撮像画像40と測距センサ49による測距結果とに基づいて第1基準距離126(図8参照)を取得し、かつ、第2取得部によって取得された観察対象部位画像116に含まれる第2十二指腸画像118を用いて第2基準距離128(図8参照)を取得する。ステップST22の処理が実行された後、医療支援処理はステップST24へ移行する。
ステップST24で、調整部80Dは、ステップST22で取得した第1基準距離126と第2基準距離128との相違度129に基づいて、ステップST20で取得された観察対象部位画像116のスケールを調整する(図9参照)。ステップST24の処理が実行された後、医療支援処理はステップST26へ移行する。
ステップST26で、合成部80Eは、ステップST18で取得された第1十二指腸画像108に含まれる第1乳頭領域108AとステップST24でスケールが調整された観察対象部位画像116に含まれる第2乳頭領域118Aとを整合させることにより管画像120を調整する。合成部80Eは、管画像120を第1十二指腸画像108に合成することにより合成画像123を生成する(図10参照)。ステップST26の処理が実行された後、医療支援処理はステップST28へ移行する。
ステップST28で、管画像120に対して細線化処理を行うことにより、管画像120より示される管92の走行方向94を示す3次元走行方向画像124を生成する(図11参照)。ステップST28の処理が実行された後、医療支援処理は、図15Bに示すステップST30へ移行する。
図15Bに示すステップST30で、第3取得部80Cは、乳頭画像110を含む撮像画像40をカメラ48から取得する(図11参照)。そして、第3取得部80Cは、カメラ48から取得した撮像画像40に対応する3次元領域108Bを合成画像123内から特定する(図11参照)。ステップST30の処理が実行された後、医療支援処理はステップST32へ移行する。
ステップST32で、第3取得部80Cは、合成画像123内において3次元領域108Bと正対する位置に投影面として撮像画像40を設定する。そして、第3取得部80Cは、合成画像123内に設定した撮像画像40に3次元走行方向画像124をレンダリン
グすることにより合成撮像画像130を生成する(図11参照)。ステップST32の処理が実行された後、医療支援処理はステップST34へ移行する。
ステップST34で、第3取得部80Cは、合成撮像画像130に含まれる2次元走行方向画像132から接線134を抽出する(図12参照)。ステップST34の処理が実行された後、医療支援処理はステップST36へ移行する。
ステップST36で、第3取得部80Cは、接線134に基づいて、接線134上に沿った簡易走行方向画像136を生成する(図12参照)。ステップST36の処理が実行された後、医療支援処理はステップST38へ移行する。
ステップST38で、制御部80Fは、合成撮像画像130に基づいて支援情報140を導出する(図13参照)。ステップST38の処理が実行された後、医療支援処理はステップST40へ移行する。
ステップST40で、制御部80Fは、ステップST32で生成された合成撮像画像130を画面36Aに表示し、ステップST38で導出した支援情報140を画面36Bに表示し、かつ、ステップST26で生成された合成画像123を画面36Cに表示する。ステップST40の処理が実行された後、医療支援処理はステップST42へ移行する。
ステップST42で、制御部80Fは、医療支援処理を終了する条件を満足したか否かを判定する。医療支援処理を終了する条件の一例としては、十二指腸鏡システム10に対して、医療支援処理を終了させる指示が与えられたという条件(例えば、医療支援処理を終了させる指示が受付装置62によって受け付けられたという条件)が挙げられる。
ステップST42において、医療支援処理を終了する条件を満足していない場合は、判定が否定されて、医療支援処理は、図15Aに示すステップST10へ移行する。ステップST42において、医療支援処理を終了する条件を満足した場合は、判定が肯定されて、医療支援処理が終了する。
以上説明したように、十二指腸鏡システム10では、撮像画像40に基づいて第1十二指腸画像108が生成され、第1十二指腸画像108から第1乳頭領域108Aが取得される。また、ボリュームデータ112から第2乳頭領域118Aと3次元走行方向画像124とが取得される。また、第1乳頭領域108Aと第2乳頭領域118Aとを整合させることにより調整された3次元走行方向画像124が撮像画像40に合わせて画像化される。これにより、簡易走行方向画像136が生成される(図12参照)。そして、合成撮像画像130が画面36Aに表示される。合成撮像画像130内には簡易走行方向画像136が表示される(図14)。簡易走行方向画像136により示される矢印が指し示す方向は、開口90A1の位置での管92の走行方向94に相当する。従って、合成撮像画像130を観察している医師14に対して、十二指腸88に通じる管92の走行方向94を、合成撮像画像130を通して視覚的に認識させることができる。
また、十二指腸鏡システム10では、管92に、胆管92Aと膵管92Bとが含まれている。従って、合成撮像画像130を観察している医師14に対して、十二指腸88に通じる胆管92Aの走行方向94Aと十二指腸88に通じる膵管92Bの走行方向94Bとを、合成撮像画像130を通して視覚的に認識させることができる。
また、十二指腸鏡システム10では、第1乳頭領域108Aと第2乳頭領域118Aとの位置合わせが行われることにより3次元走行方向画像124の位置が調整される。第1乳頭領域108A及び第2乳頭領域118Aは共に乳頭90を示す画像領域である。従って、第1乳頭領域108Aと第2乳頭領域118Aとの位置合わせを容易に行うことができ、この結果、3次元走行方向画像124の位置を容易に調整することができる。
また、十二指腸鏡システム10では、第1乳頭領域108Aと第2乳頭領域118Aとの位置合わせが行われることにより調整された3次元走行方向画像124に基づいて簡易走行方向画像136が生成される。第1乳頭領域108Aは、撮像画像40に基づいて生成された第1十二指腸画像108から得られる画像領域であり、第2乳頭領域118Aは、ボリュームデータ112から取得された観察対象部位画像116から得られる画像領域である。従って、簡易走行方向画像136の生成に用いられる第1乳頭領域108A及び第2乳頭領域118Aを容易に得ることができる。この結果、簡易走行方向画像136を容易に生成することができる。
また、十二指腸鏡システム10では、1フレーム単位で撮像画像40が更新される毎に、更新された撮像画像40に基づいて第1十二指腸画像108が生成される。また、第1十二指腸画像108が生成される毎に、3次元走行方向画像124に基づいて簡易走行方向画像136が生成される。そして、更新された撮像画像40に基づく合成撮像画像130が画面36Aに表示され、簡易走行方向画像136が生成される毎に、生成された簡易走行方向画像136が合成撮像画像130内に表示される(図14参照)。従って、撮像画像40が更新される毎に、撮像画像40に基づいて生成された合成撮像画像130を観察している医師14に対して、十二指腸88に通じる管92の走行方向94を、合成撮像画像130を通して視覚的に認識させることができる。
また、十二指腸鏡システム10では、合成撮像画像130内に表示される簡易走行方向画像136がリアルタイムで更新される。従って、合成撮像画像130を観察している医師14に対して、画面36Aに表示されている合成撮像画像130に応じた現状の管92の走行方向94を、合成撮像画像130を通して視覚的に認識させることができる。
また、十二指腸鏡システム10では、合成画像123内において3次元領域108Bと正対する位置に投影面として設定された撮像画像40に3次元走行方向画像124がレンダリングされた画像が簡易走行方向画像136として用いられる。従って、撮像画像40内に管92の走行方向94を2次元画像として表示することができる。
また、十二指腸鏡システム10では、画面36Aに、接線134上に沿って簡易走行方向画像136が表示される。接線134は、乳頭90の開口90A1での管92に対する接線であり、乳頭90を示す乳頭画像110に関連付けられているため、簡易走行方向画像136は、乳頭画像110に関連付けられた状態で画面36Aに表示される。従って、合成撮像画像130を観察している医師14に対して、管92の走行方向94と乳頭90との関連性(例えば、位置関係)を視覚的に認識させることができる。
また、十二指腸鏡システム10では、乳頭90の開口90A1を始点とした管92に沿った走行方向94を示す画像が簡易走行方向画像136として合成撮像画像130内に表示される。従って、合成撮像画像130を観察している医師14に対して、乳頭90の開口90A1を始点とした管92に沿った走行方向94を視覚的に認識させることができる。また、乳頭90の開口90A1を始点とした管92に沿った走行方向94は、カニューレ54A等の挿入方向に相当する方向であるので、合成撮像画像130を観察している医師14による管92に対するカニューレ54A等のスムーズな挿入を支援することができる。
また、十二指腸鏡システム10では、測距センサ49によって計測された距離125とボリュームデータ112から取得された観察対象部位画像116とに基づいて3次元走行方向画像124のスケールが調整される。従って、高精度な3次元走行方向画像124に基づいて2次元走行方向画像132を生成することができる。
なお、上記実施形態では、本開示の技術に係る「走行方向画像」の一例として例示した簡易走行方向画像136が画面36Aに表示される形態例を挙げたが、これは、あくまでも一例に過ぎない。例えば、簡易走行方向画像136に代えて、又は、簡易走行方向画像136と共に、2次元走行方向画像132の全体又は一部(例えば、開口90A1から管92の奥側へと続く一部の画像)が画面36Aに表示されるようにしてもよい。
上記実施形態では、合成部80Eが、観察対象部位画像116と第1十二指腸画像108とを比較して位置合わせを行うことにより管画像120の位置を調整する形態例を挙げて説明したが、本開示の技術はこれに限定されない。例えば、合成部80Eは、観察対象部位画像116の画素を規定している3次元座標と第1十二指腸画像108の画素を規定している3次元座標とを用いて、観察対象部位画像116と第1十二指腸画像108との位置合わせを行うことにより管画像120の位置を調整するようにしてもよい。この場合、例えば、基準位置(例えば、幽門の位置)から乳頭90の複数の特徴点までの距離(すなわち、測距センサ49によって計測された複数の距離125)と、第1十二指腸画像108内での複数の特徴点の3次元座標と、観察対象部位画像116内での複数の特徴点の3次元座標とに基づいて観察対象部位画像116と第1十二指腸画像108との位置合わせが行われるようにすればよい。なお、第1十二指腸画像108内での複数の特徴点の3次元座標は、本開示の技術に係る「第1基準部位情報」の一例であり、観察対象部位画像116内での複数の特徴点の3次元座標は、本開示の技術に係る「第2基準部位情報」の一例である。
上記実施形態では、合成部80Eが、乳頭90を示す第1乳頭領域108A及び第2乳頭領域118Aを利用して第1十二指腸画像108と観察対象部位画像116との位置合わせを行う形態例を挙げて説明したが、本開示の技術はこれに限定されない。例えば、合成部80Eは、十二指腸88に含まれる医用マーカ(例えば、止血用クリップ等)を3次元で特定可能な情報(例えば、3次元座標又は3次元画像)及び/又は十二指腸88の襞を3次元で特定可能な情報(例えば、3次元座標又は3次元画像)を利用して第1十二指腸画像108と観察対象部位画像116との位置合わせを行うようにしてもよい。この場合も、上記実施形態と同様の効果が得られる。
また、ここでは、本開示の技術に係る「第1基準部位情報」の一例として、乳頭90を3次元で特定可能な情報、医用マーカを3次元で特定可能な情報、及び/又は襞を3次元で特定可能な情報を例示したが、画面36Aに表示されている撮像画像40を観察している医師20から与えられた指示(例えば、受付装置62によって受け付けられた指示)に従って、位置合わせに用いられる基準部位を3次元で特定可能な情報が決められるようにしてもよい。また、処置具54が開口90A1に到達した場合に医師20から与えられた指示(例えば、受付装置62によって受け付けられた指示)に従って処理具54の先端位置(すなわち、開口01A1と接触している位置)がAI方式又は非AI方式の画像認識処理が行われることによって検出され、検出された先端位置を3次元で特定可能な情報が、乳頭90を3次元で特定可能な情報として用いられてもよい。
上記実施形態では、本開示の技術に係る「内視鏡スコープから腸壁までの距離」の一例として第2基準距離128を挙げ、第2基準距離128として幽門から乳頭90までの距離が第2十二指腸画像118を用いて計測される形態例を挙げたが、これは、あくまでも一例に過ぎない。例えば、十二指腸内視鏡本体18の内部(例えば、挿入部44及び先端部46)に長手方向に沿って設けられた光ファイバセンサを用いて得られる位置情報(内すなわち、カメラ48の現在位置を示す情報)及び姿勢情報(すなわち、カメラ48の姿勢を示す情報)を利用して、第2基準距離128が計測されるようにしてもよい。また、このような光ファイバ方式に限らず、従来既知の電磁ナビゲーション方式を利用して第2基準距離128が計測されるようにしてもよい。
上記実施形態では、本開示の技術に係る「内視鏡スコープから腸壁までの距離」の一例として第2基準距離128を挙げ、第2基準距離128の一例として幽門から乳頭90までの距離を挙げたが、これは、あくまでも一例に過ぎない。カメラ48から腸壁88Aまでの距離の他の例としては、先端部16の先端から腸壁88Aまでの距離、又は、カメラ48の撮像位置(すなわち、カメラ48の現在位置)から腸壁88Aまでの距離が挙げられる。
上記実施形態では、時系列画像群106に基づいて第1十二指腸画像108が生成される形態例(図6参照)を挙げたが、これは、あくまでも一例に過ぎない。例えば、図16に示すように、第1取得部80Aが、複数の距離画像146に基づいて第1十二指腸画像108を生成するようにしてもよい。この場合、例えば、第1取得部80Aは、距離画像生成モデル144を用いて複数の距離画像146を取得する。複数の距離画像146の取得は、例えば、3D構築モデル98によって複数の距離画像146が生成されることによって実現される。
距離画像生成モデル144は、ニューラルネットワークを用いた生成モデルであり、時系列画像群106と第1基準距離126とに基づいて、複数の距離画像146を生成する。距離画像生成モデル144は、時系列画像群106に相当する複数の画像と第1基準距離126に相当する距離とを教師データとして用いた機械学習をニューラルネットワークに対して行うことで得られた学習済みモデルである。距離画像生成モデル144の一例としては、VAE又はGAN等のオートエンコーダが挙げられる。
第1取得部80Aは、時系列画像群106と第1基準距離126とを距離画像生成モデル144に入力する。これにより、距離画像生成モデル144は、時系列画像群106と第1基準距離126とに基づいて複数の距離画像146を生成して出力する。第1取得部80Aは、距離画像生成モデル144から出力された複数の距離画像146を取得する。
第1取得部80Aは、3D構築モデル148を用いて第1十二指腸画像108を生成する。3D構築モデル148は、ニューラルネットワークを用いた生成モデルであり、複数の距離画像146に基づいて第1十二指腸画像108を生成する。3D構築モデル148は、図6に示す3D構築モデル98に比べ、教師データとして、時系列画像群106に相当する複数の画像に代えて、複数の距離画像146に相当する複数の距離画像を用いた機械学習をニューラルネットワークに対して行うことで得られた学習済みモデルであるという点が異なる。
第1取得部80Aは、複数の距離画像146を3D構築モデル148に入力する。これに応じて、3D構築モデル148は、複数の距離画像146に基づいて第1十二指腸画像108を生成して出力する。第1取得部80Aは、3D構築モデル148から出力された第1十二指腸画像108を取得する。十二指腸鏡システム10では、第1取得部80Aによって取得された第1十二指腸画像108が上記実施形態と同様の要領で用いられ、これにより、上記実施形態と同様の効果が得られる。
上記実施形態では、第3取得部80Cは、簡易走行方向画像136を、接線134のうちの乳頭画像110側の端(すなわち、管92(図4参照)に通じる開口90A1が写っている位置)を始点として接線134上に沿って形成する形態例を挙げたが、本開示の技術はこれに限定されない。例えば、図17に示すように、第3取得部80Cは、接線134の延長線上に沿って簡易走行方向画像136を形成するようにしてもよい。
図17に示す例では、簡易走行方向画像136により示される矢印の先端が接線134のうちの乳頭画像110側の端(すなわち、管92(図4参照)に通じる開口90A1が写っている位置)に位置するように簡易走行方向画像136が配置されている。具体的には、簡易胆管方向画像136Aにより示される矢印が胆管接線134Aのうちの乳頭画像110側の端(すなわち、胆管92A(図4参照)に通じる開口90A1が写っている位置)を指し示すように胆管接線134Aの延長線に沿って簡易胆管方向画像136Aが形成されている。また、簡易膵管方向画像136Bにより示される矢印が膵管接線134Bのうちの乳頭画像110側の端(すなわち、膵管92B(図4参照)に通じる開口90A1が写っている位置)を指し示すように膵管接線134Bの延長線に沿って簡易膵管方向画像136Bが形成されている。
このように、簡易胆管方向画像136Aにより示される矢印が指し示す位置(すなわち、簡易胆管方向画像136Aにより示される矢印の先端の位置)は胆管92Aの開口90A1が存在する位置に相当する位置であるので、合成撮像画像130を観察している医師14に対して、胆管92Aの開口90A1の位置、及び、胆管92Aの開口90A1に対するカニューレ54等の挿入方向を視覚的に把握させることができる。また、膵管胆管方向画像136Bにより示される矢印が指し示す位置(すなわち、簡易膵管方向画像136Bにより示される矢印の先端の位置)は膵管92Bの開口90A1が存在する位置に相当する位置であるので、合成撮像画像130を観察している医師14に対して、膵管92Bの開口90A1の位置、及び、膵管92Bの開口90A1に対するカニューレ54等の挿入方向を視覚的に把握させることができる。
上記実施形態では、合成画像123、合成撮像画像130、及び支援情報140が表示装置13に表示される形態例を挙げて説明したが、本開示の技術はこれに限定されない。例えば、図18に示すように、画像処理装置25又は制御装置22がネットワーク150を介してサーバ152(例えば、電子カルテを管理するサーバ)に接続されている場合、画像処理装置25又は制御装置22からサーバ152に合成画像123、合成撮像画像130、及び/又は支援情報140が出力され、サーバ152に保存されるようにしてもよい。また、電子カルテに、合成画像123、合成撮像画像130、及び/又は支援情報140が保存されてもよい。
また、ネットワーク150にプリンタ154が接続されている場合、画像処理装置25又は制御装置22からプリンタ154に合成画像123、合成撮像画像130、及び/又は支援情報140が出力され、プリンタ154によって合成画像123、合成撮像画像130、及び支援情報140が記録媒体(例えば、用紙等)に印刷されるようにしてもよい。
上記実施形態では、AI方式の処理(すなわち、乳頭検出モデル100を用いた処理)が実行されることによって乳頭画像110が検出される形態例を挙げて説明したが、本開示の技術はこれに限定されず、非AI方式の処理(例えば、テンプレートマッチング等)が実行されることによって乳頭画像110が検出されるようにしてもよい。なお、図13に示す種類予測モデル102を用いた処理についても同様のことが言える。
上記実施形態では、十二指腸鏡12に含まれるコンピュータ76のプロセッサ70によって医療支援処理が行われる形態例を挙げて説明したが、本開示の技術はこれに限定されず、医療支援処理を行う装置は、十二指腸鏡12の外部に設けられていてもよい。十二指腸鏡12の外部に設けられる装置としては、例えば、十二指腸鏡12と通信可能に接続されている少なくとも1台のサーバ及び/又は少なくとも1台のパーソナル・コンピュータ等が挙げられる。また、医療支援処理は、複数の装置によって分散して行われるようにしてもよい。
上記実施形態では、NVM74に医療支援プログラム96が記憶されている形態例を挙げて説明したが、本開示の技術はこれに限定されない。例えば、医療支援プログラム96がSSD又はUSBメモリなどのコンピュータ読取可能な非一時的格納媒体に格納されていてもよい。非一時的格納媒体は、据置型の非一時的格納媒体であってもよいし、可搬型の非一時的格納媒体であってもよい。非一時的格納媒体に格納されている医療支援プログラム96は、十二指腸鏡12のコンピュータ76にインストールされる。プロセッサ70は、医療支援プログラム96に従って医療支援処理を実行する。
また、ネットワークを介して十二指腸鏡12に接続される他のコンピュータ又はサーバ等の記憶装置に医療支援プログラム96を記憶させておき、十二指腸鏡12の要求に応じて医療支援プログラム96がダウンロードされ、コンピュータ76にインストールされるようにしてもよい。
なお、十二指腸鏡12に接続される他のコンピュータ又はサーバ装置等の記憶装置、又はNVM74に医療支援プログラム96の全てを記憶させておく必要はなく、医療支援プログラム96の一部を記憶させておいてもよい。
医療支援処理を実行するハードウェア資源としては、次に示す各種のプロセッサを用いることができる。プロセッサとしては、例えば、ソフトウェア、すなわち、プログラムを実行することで、医療支援処理を実行するハードウェア資源として機能する汎用的なプロセッサであるCPUが挙げられる。また、プロセッサとしては、例えば、FPGA、PLD、又はASICなどの特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路が挙げられる。何れのプロセッサにもメモリが内蔵又は接続されており、何れのプロセッサもメモリを使用することで医療支援処理を実行する。
医療支援処理を実行するハードウェア資源は、これらの各種のプロセッサのうちの1つで構成されてもよいし、同種又は異種の2つ以上のプロセッサの組み合わせ(例えば、複数のFPGAの組み合わせ、又はCPUとFPGAとの組み合わせ)で構成されてもよい。また、医療支援処理を実行するハードウェア資源は1つのプロセッサであってもよい。
1つのプロセッサで構成する例としては、第1に、1つ以上のCPUとソフトウェアの組み合わせで1つのプロセッサを構成し、このプロセッサが、医療支援処理を実行するハードウェア資源として機能する形態がある。第2に、SoCなどに代表されるように、医療支援処理を実行する複数のハードウェア資源を含むシステム全体の機能を1つのICチップで実現するプロセッサを使用する形態がある。このように、医療支援処理は、ハードウェア資源として、上記各種のプロセッサの1つ以上を用いて実現される。
更に、これらの各種のプロセッサのハードウェア的な構造としては、より具体的には、半導体素子などの回路素子を組み合わせた電気回路を用いることができる。また、上記の医療支援処理はあくまでも一例である。従って、主旨を逸脱しない範囲内において不要なステップを削除したり、新たなステップを追加したり、処理順序を入れ替えたりしてもよいことは言うまでもない。
以上に示した記載内容及び図示内容は、本開示の技術に係る部分についての詳細な説明であり、本開示の技術の一例に過ぎない。例えば、上記の構成、機能、作用、及び効果に関する説明は、本開示の技術に係る部分の構成、機能、作用、及び効果の一例に関する説明である。よって、本開示の技術の主旨を逸脱しない範囲内において、以上に示した記載内容及び図示内容に対して、不要な部分を削除したり、新たな要素を追加したり、置き換
えたりしてもよいことは言うまでもない。また、錯綜を回避し、本開示の技術に係る部分の理解を容易にするために、以上に示した記載内容及び図示内容では、本開示の技術の実施を可能にする上で特に説明を要しない技術常識等に関する説明は省略されている。
本明細書において、「A及び/又はB」は、「A及びBのうちの少なくとも1つ」と同義である。つまり、「A及び/又はB」は、Aだけであってもよいし、Bだけであってもよいし、A及びBの組み合わせであってもよい、という意味である。また、本明細書において、3つ以上の事柄を「及び/又は」で結び付けて表現する場合も、「A及び/又はB」と同様の考え方が適用される。
本明細書に記載された全ての文献、特許出願及び技術規格は、個々の文献、特許出願及び技術規格が参照により取り込まれることが具体的かつ個々に記された場合と同程度に、本明細書中に参照により取り込まれる。
Claims (16)
- プロセッサを備え、
前記プロセッサは、
内視鏡スコープによって十二指腸の腸壁が撮像されることで得られた撮像画像に基づいて、十二指腸に含まれる基準部位を3次元で特定可能な第1基準部位情報を取得し、
ボリュームデータから、前記基準部位に関する第2基準部位情報と、前記十二指腸に通じる管の走行方向に関する方向情報とを取得し、
前記第1基準部位情報と前記第2基準部位情報とを整合させることにより調整された前記方向情報に基づいて、前記走行方向を前記撮像画像に合わせて画像化した走行方向画像を生成し、
前記撮像画像を画面に表示し、
前記撮像画像内に前記走行方向画像を表示する
医療支援装置。 - 前記第1基準部位情報は、前記基準部位が3次元画像として表現された第1画像領域であり、
前記第2基準部位情報は、前記基準部位が3次元画像として表現された第2画像領域であり、
前記プロセッサは、前記第1画像領域と前記第2画像領域とを位置合わせすることにより調整された前記方向情報に基づいて前記走行方向画像を生成する
請求項1に記載の医療支援装置。 - 前記プロセッサは、
前記撮像画像に基づいて、前記十二指腸が3次元画像として表現された十二指腸画像を生成し、
前記十二指腸画像から前記第1基準部位情報を取得する
請求項1に記載の医療支援装置。 - 前記十二指腸画像は、複数の距離画像に基づいて生成された3次元画像である
請求項3に記載の医療支援装置。 - 指定されたフレーム数単位で前記撮像画像が更新される毎に、
前記プロセッサは、
更新された前記撮像画像に基づいて前記十二指腸画像を生成し、
前記十二指腸画像を生成する毎に前記方向情報に基づいて前記走行方向画像を生成し、
更新された前記撮像画像を前記画面に表示し、
前記走行方向画像を生成する毎に、生成した前記走行方向画像を前記撮像画像内に表示する
請求項4に記載の医療支援装置。 - 前記方向情報は、前記走行方向が3次元画像で表現された3次元方向画像あり、
前記走行方向画像は、前記3次元方向画像が前記撮像画像に投影されることによって得られた2次元画像に基づく画像である
請求項1に記載の医療支援装置。 - 前記撮像画像は、十二指腸乳頭を示す乳頭画像を含み、
前記走行方向画像は、前記乳頭画像に関連付けられた状態で表示される
請求項1に記載の医療支援装置。 - 前記管は、前記十二指腸乳頭内の開口に通じており、
前記走行方向画像は、前記開口を基点として前記管に沿った第1方向を示す画像である
請求項7に記載の医療支援装置。 - 前記第1方向は、前記管に挿入する医療器具の挿入方向に相当する方向である
請求項8に記載の医療支援装置。 - 前記基準部位は、十二指腸乳頭、医用マーカ、及び/又は襞である
請求項1に記載の医療支援装置。 - 前記プロセッサは、前記内視鏡スコープから前記腸壁までの距離と前記ボリュームデータとに基づいて前記方向情報のスケールを調整する
請求項1に記載の医療支援装置。 - 前記管は、胆管及び/又は膵管である
請求項1に記載の医療支援装置。 - 前記撮像画像内に表示される前記走行方向画像はリアルタイムで更新される
請求項1に記載の医療支援装置。 - 請求項1から請求項13の何れか一項に記載の医療支援装置と、
前記内視鏡スコープと、を備える
内視鏡。 - 内視鏡スコープによって十二指腸の腸壁が撮像されることで得られた撮像画像に基づいて、十二指腸に含まれる基準部位を3次元で特定可能な第1基準部位情報を取得すること、
ボリュームデータから、前記基準部位に関する第2基準部位情報と、前記十二指腸に通じる管の走行方向に関する方向情報とを取得すること、
前記第1基準部位情報と前記第2基準部位情報とを整合させることにより調整された前記方向情報に基づいて、前記走行方向を前記撮像画像に合わせて画像化した走行方向画像を生成すること、
前記撮像画像を画面に表示すること、及び、
前記撮像画像内に前記走行方向画像を表示することを含む
医療支援方法。 - コンピュータに、
内視鏡スコープによって十二指腸の腸壁が撮像されることで得られた撮像画像に基づいて、十二指腸に含まれる基準部位を3次元で特定可能な第1基準部位情報を取得すること、
ボリュームデータから、前記基準部位に関する第2基準部位情報と、前記十二指腸に通じる管の走行方向に関する方向情報とを取得すること、
前記第1基準部位情報と前記第2基準部位情報とを整合させることにより調整された前記方向情報に基づいて、前記走行方向を前記撮像画像に合わせて画像化した走行方向画像を生成すること、
前記撮像画像を画面に表示すること、及び、
前記撮像画像内に前記走行方向画像を表示することを含む処理を実行させるためのプログラム。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2022-177609 | 2022-11-04 | ||
JP2022177609 | 2022-11-04 |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2024096084A1 true WO2024096084A1 (ja) | 2024-05-10 |
Family
ID=90930740
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2023/039521 WO2024096084A1 (ja) | 2022-11-04 | 2023-11-01 | 医療支援装置、内視鏡、医療支援方法、及びプログラム |
Country Status (1)
Country | Link |
---|---|
WO (1) | WO2024096084A1 (ja) |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003038419A (ja) * | 2001-07-31 | 2003-02-12 | Olympus Optical Co Ltd | 内視鏡 |
JP2004343155A (ja) * | 2003-05-12 | 2004-12-02 | Olympus Corp | 映像信号処理装置 |
WO2007129493A1 (ja) * | 2006-05-02 | 2007-11-15 | National University Corporation Nagoya University | 医療画像観察支援装置 |
JP2012245057A (ja) * | 2011-05-25 | 2012-12-13 | Fujifilm Corp | 診断支援装置、診断支援方法、病変部検出装置、及び病変部検出方法 |
US20140303491A1 (en) * | 2013-04-04 | 2014-10-09 | Children's National Medical Center | Device and method for generating composite images for endoscopic surgery of moving and deformable anatomy |
CN112700551A (zh) * | 2020-12-31 | 2021-04-23 | 青岛海信医疗设备股份有限公司 | 虚拟胆道镜介入手术规划方法、装置、设备及存储介质 |
CN114176775A (zh) * | 2022-02-16 | 2022-03-15 | 武汉大学 | Ercp选择性胆管插管的校验方法、装置、设备及介质 |
-
2023
- 2023-11-01 WO PCT/JP2023/039521 patent/WO2024096084A1/ja unknown
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003038419A (ja) * | 2001-07-31 | 2003-02-12 | Olympus Optical Co Ltd | 内視鏡 |
JP2004343155A (ja) * | 2003-05-12 | 2004-12-02 | Olympus Corp | 映像信号処理装置 |
WO2007129493A1 (ja) * | 2006-05-02 | 2007-11-15 | National University Corporation Nagoya University | 医療画像観察支援装置 |
JP2012245057A (ja) * | 2011-05-25 | 2012-12-13 | Fujifilm Corp | 診断支援装置、診断支援方法、病変部検出装置、及び病変部検出方法 |
US20140303491A1 (en) * | 2013-04-04 | 2014-10-09 | Children's National Medical Center | Device and method for generating composite images for endoscopic surgery of moving and deformable anatomy |
CN112700551A (zh) * | 2020-12-31 | 2021-04-23 | 青岛海信医疗设备股份有限公司 | 虚拟胆道镜介入手术规划方法、装置、设备及存储介质 |
CN114176775A (zh) * | 2022-02-16 | 2022-03-15 | 武汉大学 | Ercp选择性胆管插管的校验方法、装置、设备及介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US8611988B2 (en) | Projection image generation apparatus and method, and computer readable recording medium on which is recorded program for the same | |
JP5676058B1 (ja) | 内視鏡システム及び内視鏡システムの作動方法 | |
EP3164075B1 (en) | Unified coordinate system for multiple ct scans of patient lungs | |
US20080063136A1 (en) | Medical image diagnosis apparatus, and x-ray ct apparatus, and image processor | |
JP6254053B2 (ja) | 内視鏡画像診断支援装置、システムおよびプログラム、並びに内視鏡画像診断支援装置の作動方法 | |
JP2010279539A (ja) | 診断支援装置および方法並びにプログラム。 | |
US20110187707A1 (en) | System and method for virtually augmented endoscopy | |
JP2011502681A (ja) | 定量3dceus分析のためのシステム及び方法 | |
WO2012014438A1 (ja) | 内視鏡観察を支援する装置および方法、並びに、プログラム | |
US10939800B2 (en) | Examination support device, examination support method, and examination support program | |
US20220409030A1 (en) | Processing device, endoscope system, and method for processing captured image | |
US10970875B2 (en) | Examination support device, examination support method, and examination support program | |
JP2014064721A (ja) | 仮想内視鏡画像生成装置および方法並びにプログラム | |
JP2024028512A (ja) | プログラム、情報処理方法及び内視鏡システム | |
KR20160064442A (ko) | 의료영상처리장치 및 이를 이용한 의료영상정합방법 | |
JP2008018016A (ja) | 医用画像処理装置及び医用画像処理方法 | |
WO2024096084A1 (ja) | 医療支援装置、内視鏡、医療支援方法、及びプログラム | |
US11003946B2 (en) | Examination support device, examination support method, and examination support program | |
CN113891683A (zh) | 用于辅助宫颈超声检查的***、设备和方法 | |
US10049480B2 (en) | Image alignment device, method, and program | |
WO2024095673A1 (ja) | 医療支援装置、内視鏡、医療支援方法、及びプログラム | |
WO2024095674A1 (ja) | 医療支援装置、内視鏡、医療支援方法、及びプログラム | |
CN111292248A (zh) | 超声融合成像方法及超声融合导航*** | |
WO2024042895A1 (ja) | 画像処理装置、内視鏡、画像処理方法、及びプログラム | |
WO2023275974A1 (ja) | 画像処理装置、画像処理方法及び記憶媒体 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 23885838 Country of ref document: EP Kind code of ref document: A1 |