WO2022176874A1 - 医療画像処理装置、医療画像処理方法及びプログラム - Google Patents

医療画像処理装置、医療画像処理方法及びプログラム Download PDF

Info

Publication number
WO2022176874A1
WO2022176874A1 PCT/JP2022/006046 JP2022006046W WO2022176874A1 WO 2022176874 A1 WO2022176874 A1 WO 2022176874A1 JP 2022006046 W JP2022006046 W JP 2022006046W WO 2022176874 A1 WO2022176874 A1 WO 2022176874A1
Authority
WO
WIPO (PCT)
Prior art keywords
distance
medical image
distance information
region
resection
Prior art date
Application number
PCT/JP2022/006046
Other languages
English (en)
French (fr)
Inventor
朗子 流石
玲奈 加茂田
Original Assignee
富士フイルム株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 富士フイルム株式会社 filed Critical 富士フイルム株式会社
Priority to EP22756192.5A priority Critical patent/EP4295762A1/en
Priority to JP2023500869A priority patent/JPWO2022176874A1/ja
Publication of WO2022176874A1 publication Critical patent/WO2022176874A1/ja
Priority to US18/452,568 priority patent/US20230394672A1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/12—Edge-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/08—Volume rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/70—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for mining of medical data, e.g. analysing previous cases of other patients
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0033—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room
    • A61B5/0037—Performing a preliminary scan, e.g. a prescan for identifying a region of interest
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/05—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves 
    • A61B5/055—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves  involving electronic [EMR] or nuclear [NMR] magnetic resonance, e.g. magnetic resonance imaging
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/42—Detecting, measuring or recording for evaluating the gastrointestinal, the endocrine or the exocrine systems
    • A61B5/4222—Evaluating particular parts, e.g. particular organs
    • A61B5/4255—Intestines, colon or appendix
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/50—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/04—Indexing scheme for image data processing or generation, in general involving 3D image data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10088—Magnetic resonance imaging [MRI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30028—Colon; Small intestine
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/41—Medical
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/004—Annotating, labelling

Definitions

  • the present disclosure relates to a medical image processing device, a medical image processing method, and a program.
  • Rectal cancer originates from the lumen of the intestinal tract and invades tissues outside the intestinal tract as it progresses.
  • total mesrectectomy is performed to remove the entire mesrectum, the fatty tissue surrounding the rectum.
  • Total mesorectal excision is expressed as TME using the abbreviation for total mesorectal excision, which is an English notation.
  • Non-Patent Document 1 states that in function-preserving rectal cancer surgery, the detachment layer is selected according to the progression of cancer to maintain curability. The document also states that nerve damage increases or decreases due to the level of the delaminated layer.
  • Patent Document 1 describes an endoscopic image diagnosis support device that superimposes and displays the distance distribution from the bronchial wall to the region of interest outside the bronchus in a volume rendering image.
  • the device described in the document uses three-dimensional images to generate a first projection image and a second projection image in which a region of interest is projected onto the bronchus inner wall. The first projection image and the second projection image are highlighted according to the projection distance.
  • Patent Document 2 describes a blood flow visualization device that automatically analyzes vascular lesions using a computer.
  • the device described in the document obtains a medical image, determines a vascular lesion using a vascular shape constructed from the medical image, and calculates geometric features of the vascular lesion.
  • Patent Document 3 describes a medical image processing device that measures the thickness of a fat region existing around a coronary artery.
  • the apparatus described in the same document measures the distribution and thickness of fat regions formed around coronary arteries based on volume data, and generates two-dimensional fat thickness distribution data.
  • Patent Document 4 describes an image display technique used for surgical planning of breast cancer resection surgery.
  • the image processing device described in the document is a device that generates a VR image or the like using reconstructed data, specifies the tumor range, calculates the distance on the body surface from the reference point to the tumor range, Display on the VR image.
  • Patent Document 5 describes a medical image processing apparatus that divides an organ of a subject into a plurality of sections, corrects the edges and boundaries of the sections, and uses the division results to calculate the resection target area of the organ.
  • Patent Documents 1 to 5 a display for evaluating the three-dimensional distance between the separation surface for separating the tissue to be excised and the tissue to be excised and the three-dimensional distance between the tissue to be preserved.
  • the present invention has been made in view of such circumstances, and is a medical image processing apparatus and a medical image processing method capable of supporting determination of a separation plane based on a three-dimensional distance between a tissue to be excised and a tissue to be preserved. and to provide programs.
  • a medical image processing apparatus is a medical image processing apparatus that includes a processor and a storage device that stores a program to be executed using the processor, wherein the processor executes instructions of the program, A three-dimensional medical image is acquired, a separation plane is set when separating the first region specified in the medical image, and the nearest neighbor distance between an arbitrary position on the surface of the first region and the separation plane is the first When measuring the distance and measuring the second distance, which is the closest distance between an arbitrary position on the surface of the second region specified in the medical image and the separation plane, and displaying the medical image on the display device, the first A medical image processing apparatus for displaying at least one of first distance information representing a distance and second distance information representing a second distance.
  • At least one of the three-dimensional distance between the first region and the separation plane and the three-dimensional distance between the second region and the separation plane can be grasped at a glance, and the separation plane can be determined. can help.
  • the first region can specify the region containing the tissue to be separated.
  • a second region may identify a region containing tissue to be preserved.
  • a third area existing between the first area and the second area can be applied to the area where the separation plane is specified.
  • the processor when causing the display device to display a cross-sectional image corresponding to an arbitrary cross-section in the medical image, moves the outer edge region on the side of the first region of the separation plane to the second region. Display one-distance information.
  • obstruction of the visibility of the separation surface can be suppressed. Also, the side to which the first distance is applied with respect to the separation plane can be grasped at a glance.
  • the edge region may be a region in contact with the separation surface or may be a region out of contact with the separation surface.
  • the processor when causing the display device to display a cross-sectional image corresponding to an arbitrary cross-section in the medical image, moves the outer edge region on the side of the second region of the separation plane to the second region. Display two-distance information.
  • obstruction of the visibility of the separation surface can be suppressed. Also, the side to which the second distance is applied with respect to the separation plane can be grasped at a glance.
  • the processor applies a color map representing distance using colors to display the first distance information and the second distance information.
  • the first distance and the second distance can be grasped at a glance based on the information represented by the colors of the color map.
  • color maps include a mode in which differences in color are applied to represent differences in distance, and a mode in which differences in density are applied to represent differences in distance.
  • the processor causes the display device to display a volume rendering image corresponding to the medical image, and displays at least one of the first distance information and the second distance information superimposed on the volume rendering image.
  • At least one of the three-dimensional distance between the first region and the separation plane and the three-dimensional distance between the second region and the separation plane can be grasped at a glance, thereby supporting determination of the separation plane. can.
  • the processor changes the display aspect of the first distance information and the display aspect of the second distance information according to the user's viewpoint in the volume rendering image.
  • the first distance and the second distance seen from the user's viewpoint can be grasped at a glance.
  • the processor superimposes the first distance information on the first area in the volume rendering image when the first area exists on the user's viewpoint side of the separation plane.
  • the first distance information can be displayed at a position visible from the user's viewpoint for the first area visible from the user's viewpoint.
  • the processor superimposes and displays the second distance information on the separation plane when the second region exists on the side of the separation plane opposite to the user's viewpoint in the volume rendering image.
  • the second distance information can be displayed at a position visible from the user's viewpoint for the second area invisible from the user's viewpoint.
  • the processor superimposes and displays the first distance information on the separation plane when the first region exists on the side of the separation plane opposite to the user's viewpoint in the volume rendering image.
  • the first distance information can be displayed at a position visible from the user's viewpoint for the first area invisible from the user's viewpoint.
  • the processor superimposes the second distance information on the second area in the volume rendering image when the second area exists on the user's viewpoint side of the separation plane.
  • the second distance information can be displayed at a position visible from the user's viewpoint for the second area visible from the user's viewpoint.
  • a computer acquires a three-dimensional medical image, sets a separation plane for separating a first region specified in the medical image, measuring a first distance that is the nearest distance between the position and the separation plane, measuring a second distance that is the nearest distance between the arbitrary position on the surface of the second region identified in the medical image and the separation plane, A medical image processing method for displaying at least one of first distance information representing a first distance and second distance information representing a second distance when displaying a medical image on a display device.
  • the program according to the present disclosure provides a computer with a function of acquiring a three-dimensional medical image, a function of setting a separation plane when separating the first region specified in the medical image, an arbitrary position on the surface of the first region A function of measuring a first distance that is the nearest distance between the separation plane and the separation plane, and a function of measuring a second distance that is the nearest distance between an arbitrary position on the surface of the second region specified in the medical image and the separation plane and a program for realizing a function of displaying at least one of first distance information representing a first distance and second distance information representing a second distance when displaying a medical image on a display device.
  • At least one of the three-dimensional distance between the first region and the separation surface and the three-dimensional distance between the second region and the separation surface can be grasped at a glance, and the determination of the separation surface can be supported.
  • FIG. 1 is a diagram showing an example of measuring CRM from an MRI image of a rectal cancer patient.
  • FIG. 2 illustrates a stereotaxic anterior resection.
  • FIG. 3 is an image diagram showing the orientation of FIG.
  • FIG. 4 is a diagram showing a cut surface.
  • FIG. 5 is a schematic diagram showing an arbitrary section of an MRI image.
  • FIG. 6 is an image diagram showing the orientation of FIG.
  • FIG. 7 is a schematic diagram showing a first example of resection lines.
  • FIG. 8 is a schematic diagram showing a second example of resection lines.
  • FIG. 9 is a schematic diagram showing a third example of resection lines.
  • FIG. 10 is a functional block diagram of the medical image processing apparatus according to the embodiment.
  • FIG. 10 is a functional block diagram of the medical image processing apparatus according to the embodiment.
  • FIG. 11 is a block diagram showing a configuration example of the medical image processing apparatus according to the embodiment.
  • FIG. 12 is a flow chart showing the procedure of the medical image processing method according to the embodiment.
  • FIG. 13 is an image diagram showing an example of displaying three-dimensional distance information superimposed on a two-dimensional cross section.
  • FIG. 14 is an image diagram showing another example of displaying three-dimensional distance information superimposed on a two-dimensional cross section.
  • FIG. 15 is a schematic diagram showing an example of a display screen for first distance measurement in the distance measurement process.
  • FIG. 16 is a schematic diagram showing an example of a display screen for second distance measurement in the distance measurement process.
  • FIG. 17 is a schematic diagram showing a display example of the first color map.
  • FIG. 18 is a schematic diagram showing a display example of the second color map.
  • FIG. 19 is a schematic diagram showing a display example of a color map according to the modification.
  • FIG. 20 is a schematic diagram showing a display example of three-dimensional distance information in a volume rendering image.
  • FIG. 21 is a schematic diagram of FIG. 20 viewed from the side of the tissue to be preserved.
  • FIG. 22 is a schematic diagram of FIG. 20 viewed from the side of the tissue to be excised.
  • FIG. 23 is a schematic diagram showing a display example of three-dimensional distance information applied to each tissue shown in FIG.
  • FIG. 24 is a block diagram showing a configuration example of a medical information system including the medical image processing apparatus according to the embodiment.
  • FIG. 1 is a diagram showing an example of measuring CRM from an MRI image of a rectal cancer patient.
  • cancer TU, muscularis propria MP, and mesorectum ME are distinguished by different filling patterns.
  • MRI image actually acquired is a three-dimensional image.
  • MRI is an abbreviation for Magnetic Resonance Imaging.
  • 3D slice images are continuously captured to obtain 3D data showing the 3D morphology of the object.
  • 3D image can include the concept of a collection of 2D slice images and a 2D sequence taken in succession.
  • image may also include the meaning of image data.
  • CT is an abbreviation for Computed Tomography.
  • the arrowed line shown in FIG. 1 represents the closest part where the distance from the cancer TU to the mesorectal ME is the closest.
  • the closest distance which is the distance of the closest part, is one of the important parameters when determining the degree of cancer progression.
  • a CRM is positive if the closest distance is 1 millimeter or less.
  • FIG. 2 illustrates a stereotaxic anterior resection.
  • FIG. 3 is an image diagram showing the orientation of FIG.
  • FIG. 2 is a view looking inside the pelvis from the side of the head.
  • arrow lines are used to illustrate the positions on the belly side in FIG.
  • Fig. 2 shows a state in which the cancer is resected by applying stereotaxic anterior resection in which the fat 2 around the rectum 1 where the cancer occurs is peeled off and the entire cancer is resected.
  • stereotaxic anterior resection in which the fat 2 around the rectum 1 where the cancer occurs is peeled off and the entire cancer is resected.
  • FIG. 4 is a diagram showing a resection surface.
  • the cancer is resected at the resection plane 4 . If the resection surface 4 is too much inside the rectum 1, the cancer will be exposed. On the other hand, if the cut surface 4 is too far outside the rectum 1, the nerve 3 may be damaged.
  • FIG. 5 is a schematic diagram showing an arbitrary cross section of an MRI image.
  • the figure shows a state in which a cancer 5 developed in the rectum 1 crosses the boundary 6 between the rectum 1 and the fat 2 and reaches the fat 2 .
  • FIG. 6 is an image diagram showing the orientation of FIG. A region 7 shown in FIG. 6 represents the position of the rectum 1 etc. shown in FIG.
  • the rectum 1, fat 2, and cancer 5 shown in FIG. 5 respectively correspond to the muscularis strict MP, mesorectum ME, and cancer TU shown in FIG.
  • FIG. 7 is a schematic diagram showing a first example of resection lines.
  • a resection line 4A shown in the figure is set when the cancer 5 is resected together with the fat 2 around the rectum 1 where the cancer 5 has developed. That is, the resection line 4A coincides with the outline of the fat 2.
  • FIG. 7 is a schematic diagram showing a first example of resection lines.
  • a resection line 4A shown in the figure is set when the cancer 5 is resected together with the fat 2 around the rectum 1 where the cancer 5 has developed. That is, the resection line 4A coincides with the outline of the fat 2.
  • FIG. 7 is a schematic diagram showing a first example of resection lines.
  • a resection line 4A in the cross-sectional image shown in FIG. 7 corresponds to the resection plane 4 shown in FIG. The same applies to the resection line 4B shown in FIG. 8 and the resection line 4C shown in FIG.
  • FIG. 8 is a schematic diagram showing a second example of resection lines.
  • a resection line 4B shown in the figure is set when the cancer 5 is resected while avoiding the nerve 3 and leaving a part of the fat 2 . That is, a portion of the resection line 4B coincides with the contour of the fat 2 and a portion of the resection line 4B is inside the fat 2.
  • FIG. 9 is a schematic diagram showing a third example of resection lines.
  • the resection line 4C shown in the figure is set when the cancer 5 is resected while avoiding the nerve 3 and leaving a part of the fat 2.
  • the margin from 3 and the margin from cancer 5 are well taken.
  • a resection plane 4 that provides a sufficient margin from the tissue to be preserved and a resection plane 4 that provides a sufficient margin from the tissue to be resected can be planned before surgery. Note that if it is found in advance that a sufficient margin cannot be obtained, it is possible to give up the preservation of the tissue to be preserved and select the surgical method of excising the nerve 3 and the blood vessel.
  • FIG. 10 is a functional block diagram of the medical image processing apparatus according to the embodiment.
  • the medical image processing apparatus 20 shown in the figure is implemented using computer hardware and software.
  • Software is synonymous with program.
  • the term medical image used in the embodiments described below is synonymous with the term medical image.
  • the medical image processing apparatus 20 includes an image acquisition section 222, a lesion area extraction section 224, a lesion area input reception section 226, a resection plane extraction section 228, a resection plane input reception section 230, a distance measurement section 232, and a display image generation section 234. .
  • An input device 214 and a display device 216 are also connected to the medical image processing apparatus 20 .
  • the image acquisition unit 222 acquires medical images to be processed from an image storage server or the like.
  • an MRI image captured using an MRI apparatus is exemplified as a medical image to be processed.
  • a medical image to be processed is not limited to an MRI image, and may be an image captured by another modality such as a CT apparatus.
  • image diagnosis of cancer occurring in the gastrointestinal tract such as the large intestine is assumed.
  • a three-dimensional image in which an area including a region is photographed as one image can be mentioned.
  • the target image is preferably isotropic voxel high-resolution three-dimensional data.
  • the lesion area extraction unit 224 performs lesion area extraction processing to automatically extract the lesion area included in the medical image by applying image recognition from the medical image acquired via the image acquisition unit 222 .
  • the lesion area in this embodiment is a cancer area.
  • machine learning represented by deep learning is applied, and image segmentation is performed on the input medical image using a trained model that has learned the task of image segmentation. and extracting a lesion area.
  • a convolutional neural network is an example of a learning model that performs image segmentation.
  • a convolutional neural network may be referred to as a CNN using the abbreviation for the English notation Convolution Neural Network.
  • the lesion area extraction unit 224 may be configured to perform segmentation for classifying each of a plurality of areas around the lesion area, not limited to segmentation for classifying the lesion area and other areas.
  • the lesion area extraction unit 224 receives an input of a three-dimensional image, classifies each area such as a cancer area as a lesion area and other peripheral organs as a preservation area, and attaches a mask pattern to each area. Extraction of the lesion area and extraction of the preservation area may be performed using a learned model that has been trained to output an image of the segmentation result obtained.
  • a lesion area input reception unit 226 receives input of information on a lesion area automatically extracted using the lesion area extraction unit 224 .
  • the lesion area input reception unit 226 also receives input of information on the lesion area specified by the user using the input device 214 .
  • a doctor who is a user can use the input device 214 to freely specify a region different from the lesion region automatically extracted by the lesion region extraction unit 224 .
  • the doctor can use the input device 214 to specify a cancer-recognized area or a cancer-suspected area among the areas that were not extracted as cancer in the automatic extraction.
  • the lesion area described in the embodiment is an example of the first area specified in the medical image.
  • the preserved region described in the embodiment is an example of the second region specified in the medical image.
  • the resection plane extraction unit 228 performs processing for extracting a candidate for the resection plane 4, which serves as a reference for resecting the lesion area from the medical image, based on the lesion area information obtained through the lesion area input reception unit 226. . Since the spread of cancer changes depending on the degree of cancer progression, candidates for the appropriate resection plane 4 are automatically extracted according to the degree of cancer progression.
  • a candidate for the cut surface 4 may be a curved surface of arbitrary shape.
  • the resection plane input reception unit 230 receives input of information on candidates for the resection plane 4 automatically extracted using the resection plane extraction unit 228 .
  • the resection plane input reception unit 230 also receives input of information on the resection plane specified by the user using the input device 214 .
  • a doctor who is a user, can use the input device 214 to specify a resection plane 4 that is different from the candidates for the resection plane 4 automatically extracted using the resection plane extraction unit 228 .
  • the resection plane 4 different from the automatically extracted candidate for the resection plane 4 may be a plane in which a part of the automatically extracted candidate for the resection plane 4 is corrected.
  • the resection plane 4 is determined based on the information input via the resection plane input reception unit 230 .
  • the resection surface 4 may be an arbitrary curved surface.
  • the doctor when examining the resection plane before surgery, can specify not only an anatomically existing boundary plane, but also a virtual plane within a layer as a candidate for the resection plane 4.
  • the resection plane 4 described in the embodiment is an example of a separation plane used when separating the first region specified in the medical image.
  • the distance measurement unit 232 measures the three-dimensional distance from the cancer 5 to the resection surface 4 and the three-dimensional distance from the tissue to be preserved to the resection surface.
  • the tissue to be preserved is the tissue located on the side of the resection surface 4 opposite to the cancer 5 .
  • An example of the tissue to be preserved is the nerve 3 shown in FIG.
  • the entire lesion area including the automatically extracted lesion area and the lesion area specified by the user is grouped, regarded as one lesion area as a whole, and the distance between the lesion area and the resection plane 4 is measured. Aspects are also possible. Preferably, it is configured such that these measurement modes can be selected.
  • the following methods can be applied as distance measurement methods. For each of the points on the outline of the lesion area to be measured, calculate the distance to the closest point on the resection plane 4, and select the two points with the smallest distance among the calculated distances. The distance between is obtained as the nearest neighbor distance between the resection plane 4 and the lesion area.
  • the distance between the resection plane 4 and the preservation area is measured, and the closest distance between the resection plane 4 and the preservation area is obtained.
  • the plurality of points on the contour of the lesion area described in the embodiment are an example of arbitrary positions on the surface of the first area.
  • a plurality of points on the contour of the preservation area described in the embodiment is an example of arbitrary positions on the surface of the second area.
  • the display image generation unit 234 generates a display image to be displayed on the display device 216.
  • the display image generator 234 generates a two-dimensional image for display from the three-dimensional image. Examples of two-dimensional images for display include cross-sectional images and volume rendering images.
  • the display image generation unit 234 generates at least one cross-sectional image among an axial cross-sectional image, a coronal cross-sectional image, and a sagittal cross-sectional image.
  • the display image generator 234 may generate all three types of cross-sectional images described above.
  • the display image generation unit 234 generates an image representing the resection plane 4 determined using the resection plane extraction unit 228 .
  • An image representing the cut surface 4 is superimposed on the cross-sectional image or the like.
  • An example of an image representing the resection plane 4 superimposed on the cross-sectional image is a resection line 4C shown in FIG.
  • the display image generation unit 234 generates first distance information representing the distance between the resection plane 4 and the lesion area measured using the distance measurement unit 232 . In addition, the display image generation unit 234 generates second distance information representing the distance between the resection plane 4 and the preservation region measured using the distance measurement unit 232 .
  • the display image generation unit 234 can apply graphic elements such as color maps and color bars as the first distance information and the second distance information.
  • the first distance information and the second distance information generated using the display image generation unit 234 are superimposed on the cross-sectional image.
  • FIG. 11 is a block diagram showing a configuration example of the medical image processing apparatus according to the embodiment.
  • the medical imaging apparatus 20 comprises a processor 202 , a non-transitory tangible computer readable medium 204 , a communication interface 206 and an input/output interface 208 .
  • the form of the medical image processing apparatus 20 may be a server, a personal computer, a workstation, or a tablet terminal.
  • the processor 202 includes a CPU (Central Processing Unit). Processor 202 may include a GPU (Graphics Processing Unit). Processor 202 is coupled to computer-readable media 204 , communication interface 206 , and input/output interface 208 via bus 210 . Input device 214 and display device 216 are connected to bus 210 via input/output interface 208 .
  • CPU Central Processing Unit
  • GPU Graphics Processing Unit
  • the input device 214 can be a keyboard, mouse, multi-touch panel, other pointing devices, voice input devices, and the like. Input device 214 may apply any combination of devices.
  • a liquid crystal display, an organic EL display, a projector, or the like can be applied to the display device 216 .
  • Display device 216 may apply any combination of devices.
  • EL in the organic EL display is an abbreviation for Electro-Luminescence.
  • the computer-readable medium 204 includes a memory as a main memory and a storage as an auxiliary memory.
  • the computer-readable medium 204 can apply a semiconductor memory, a hard disk device, a solid state drive device, and the like. Computer readable medium 204 may apply any combination of devices.
  • the hard disk device can be called HDD, which is an abbreviation for Hard Disk Drive in English.
  • a solid state drive device may be referred to as SSD, which is an abbreviation for the English notation Solid State Drive.
  • the medical image processing apparatus 20 is connected to a communication line via a communication interface 206, and is communicably connected to devices such as the DICOM server 40 and viewer terminal 46 that are connected to the intra-medical institution network. Illustration of communication lines is omitted. DICOM is an abbreviation for Digital Imaging and Communication in Medicine.
  • the computer-readable medium 204 stores a plurality of programs including a medical image processing program 220 and a display control program 260.
  • the computer-readable medium 204 stores various data, various parameters, and the like.
  • the processor 202 executes commands of the medical image processing program 220, and performs an image acquisition section 222, a lesion area extraction section 224, a lesion area input reception section 226, a resection plane extraction section 228, a resection plane input reception section 230, and a distance measurement section 232. and functions as a display image generation unit 234 .
  • the display control program 260 generates display signals necessary for display output to the display device 216 and controls the display of the display device 216 .
  • FIG. 12 is a flow chart showing the procedure of the medical image processing method according to the embodiment.
  • the processor 202 acquires a medical image to be processed from the DICOM server 40 or the like.
  • the processor 202 automatically extracts a lesion area as tissue to be excised from the input medical image. Also, in the lesion area extraction step S14, the processor 202 extracts a preservation area as a tissue to be preserved from the input medical image.
  • the membrane surrounding the organ with the lesion is excised together with the fat.
  • the lesion area extraction step S14 a fat area and a membrane surrounding the fat area for which a resection plane can be set are extracted.
  • the organ may be an organ other than the organ including the lesion area, or may be an area other than the lesion area in the organ including the lesion area.
  • the processor 202 can segment the medical image using the trained model and extract the lesion area and the preservation area.
  • the processor 202 may determine the automatically extracted lesion area and sparing area as distance measurement targets.
  • the processor 202 automatically extracts candidates for the resection plane 4 based on the identified lesion area.
  • the processor 202 may extract the membrane surrounding the fat region as a candidate for the resection plane 4 .
  • the processor 202 may determine the automatically extracted candidate resection plane 4 as the resection plane 4 if no user input representing a modification of the candidate resection plane 4 is obtained.
  • the processor 202 can extract candidates for the resection plane 4 in consideration of margins specified in advance by the user. For example, if a margin of 2 millimeters is specified, the circumference of the mesorectum is extracted as a candidate for the resection surface 4 in areas with a CRM of 2 millimeters or more, and the area with a CRM of less than 2 millimeters exceeds the mesorectum, A plane 2 millimeters from the circumference of the cancer can be extracted as a candidate for the resection plane 4 .
  • the processor 202 measures the first distance, which is the closest distance between the resection plane 4 and the lesion area. Also, in the distance measurement step S18, the processor 202 measures a second distance, which is the closest distance between the resection surface 4 and the preservation area.
  • the processor 202 In the display image generation step S20, the processor 202 generates a display image in which the first distance information representing the first distance and the second distance information representing the second distance are superimposed on an arbitrary cross-sectional image.
  • the processor 202 causes the display device 216 to display the generated display image. This allows the user to grasp at a glance the distance between the resection plane 4 and the lesion area and the distance between the resection plane 4 and the preservation area in the cross-sectional image.
  • the display image generation step S20 can generate a display image representing the processing results in the lesion area extraction step S14 and the resection plane determination step S16.
  • the display step S22 can cause the display device 216 to display a display image representing the processing results in the lesion area extraction step S14 and the resection plane determination step S16.
  • the processor 202 receives input of various instructions from the user.
  • the user can perform various inputs such as specification of the lesion area and specification of the resection plane 4 from the input device 214 .
  • the processor 202 determines whether or not there is an input specifying a lesion area and an input specifying a preservation area from the input device 214. If the user performs an operation of specifying a suspected lesion in the medical image, and there is input of information specifying a lesion area and information specifying a preservation area, the determination is YES. In the case of YES determination, the processor 202 proceeds to the lesion area extraction step S14, and determines the designated lesion area and preservation area as targets for distance measurement.
  • the processor 202 determines that there is no input specifying a lesion area in the lesion area specification input determination step S26, the determination is NO. In the case of NO determination, the processor 202 proceeds to the resection plane specifying step S28.
  • the processor 202 determines whether or not there is an input specifying the resection plane 4 from the input device 214.
  • the determination is YES.
  • the processor 202 proceeds to the resection plane determination step S16, and determines the designated resection plane 4 as a reference for distance measurement.
  • the processor 202 determines in the resection plane specifying step S28 that there is no input of information specifying the resection plane 4, the determination is NO. In the case of NO determination, the processor 202 proceeds to the end determination step S30.
  • a mode in which the edit is invalidated can be applied.
  • An error message may be displayed on the display device 216 if the edit is invalidated.
  • the processor 202 determines whether or not to terminate the display of the medical images.
  • the termination condition of the display may be input of an end instruction by the user, or may be an end instruction based on the program. If the termination condition is not satisfied and the determination result of the termination determination step S30 is NO, the processor 202 proceeds to the display step S22 and continues the display.
  • the termination determination step S30 if the termination condition is satisfied, such as the user performing an operation to close the display window, the determination is YES. If the determination is YES, processor 202 terminates the display and terminates the flowchart of FIG.
  • processing functions of the medical image processing apparatus 20 can also be realized by sharing the processing using a plurality of computers.
  • FIG. 13 is an image diagram showing an example of displaying three-dimensional distance information superimposed on a two-dimensional cross section.
  • the figure shows a two-dimensional cross-sectional image of an arbitrary axial cross-section.
  • the resection line 301 is adjusted based on the designation of the doctor who is the user in the region where the cancer 5 is close to the nerve 3 .
  • a first color map 302 showing the distribution of the nearest neighbor distances between the resection line 301 and the cancer 5 is displayed in the outer edge region of the resection line 301 on the cancer 5 side.
  • a second color map 304 showing the distribution of the nearest neighbor distances between the resection line 301 and the nerve 3 is displayed in the edge area on the nerve 3 side of the resection line 301 .
  • a marginal region outside the resection line 301 may apply to a region in contact with the resection line 301 .
  • a border area outside the ablation line 301 may apply an area that is not in contact with the ablation line 301 .
  • the distance from the resection line 301 to the first color map 302 is preferably less than or equal to the width of the resection line 301 or less than or equal to the width of the first color map 302 .
  • the distance from the resection line 301 to the second color map 304 is preferably less than or equal to the distance of the resection line 301 or less than or equal to the width of the second color map 304 .
  • the first color map 302 shows the distribution of the closest distance between the resection line 301 and the cancer 5 for each position on the resection line 301 .
  • the resection line 301 shown in FIG. 13 has a narrower line width as the distance between the resection line 301 and the cancer 5 is shorter, and a wider line width as the distance between the resection line 301 and the cancer 5 is longer.
  • FIG. 13 shows the first color map 302 having a uniform line width. The same is true for the second color map 304 as well.
  • the first color map 302 an arbitrary color is added to the region where the nearest neighbor distance between the resection line 301 and the cancer 5 is equal to or less than a specified threshold.
  • the first color map 302 can be adapted to display the numerical value of the nearest neighbor distance between the resection line 301 and the cancer 5 when user input such as mouse over and click is acquired.
  • the first color map 302 shown in FIG. 13 does not express colors.
  • the colors of the first color map 302 and the second color map 304 may be different to distinguish between the first color map 302 and the second color map 304 .
  • FIG. 13 shows a cross-sectional image 300 in which a first color map 302 and a second color map 304 are displayed for a partial area of the resection line 301.
  • FIG. A first color map 302 and a second color map 304 may be shown in multiple regions of the ablation line 301 .
  • the first color map 302 may be hidden for areas where the nearest neighbor distance between the resection line 301 and the cancer 5 exceeds a prescribed distance.
  • the second color map 304 may be hidden for regions where the nearest neighbor distance between the resection line 301 and the nerve 3 exceeds a prescribed distance.
  • At least one of the first color map 302 and the second color map 304 can be displayed for the area of the resection line 301 determined according to the designation of the doctor who is the user.
  • FIG. 14 is an image diagram showing another example of superimposing and displaying three-dimensional distance information on a two-dimensional cross section.
  • a first color map 312 and a second color map 314 are displayed for the entire area of the resection line 301 in the cross-sectional image 310 shown in FIG.
  • a configuration similar to that of the first color map 302 shown in FIG. 13 can be applied to the first color map 312 shown in FIG.
  • the second color map 314 shown in FIG. 14 can apply the same configuration as the second color map 304 shown in FIG.
  • the display device 216 shown in FIG. 10 displays cross-sectional images representing the results of the processing performed in each step shown in FIG.
  • the display device 216 displays the segmentation results of the lesion area and the preserved area. For example, the display device 216 displays the cross-sectional image shown in FIG. 5 as the processing result of the lesion area extraction step S14.
  • the display device 216 displays the resection line 4A shown in FIG. 7, the resection line 4B shown in FIG. 8, the resection line 4C shown in FIG. It is superimposed and displayed as a candidate. Display device 216 may display ablation line 4C shown in FIG. 9 as the determined ablation line.
  • FIG. 15 is a schematic diagram showing an example of the display screen for the first distance measurement in the distance measurement process.
  • a display window 320 shown in the figure is an example of a display mode in the distance measurement step S18.
  • the display window 320 can also be applied when displaying the processing results in the lesion area extraction step S14 and the resection plane determination step S16.
  • the display window 320 shown in FIG. 15 includes a main display area 322, a first sub-display area 324A, a second sub-display area 324B and a third sub-display area 324C.
  • a main display area 322 is located in the center of the display window 320 .
  • the first sub-display area 324A, the second sub-display area 324B and the third sub-display area 324C are arranged on the left side of the main display area 322 in the figure.
  • the first sub-display area 324A, the second sub-display area 324B and the third sub-display area 324C are arranged side by side in the vertical direction in the figure.
  • an axial cross-sectional image is displayed in the main display area 322, and an arrow line 332 indicating the distance between the resection line 301 and the cancer 5 at an arbitrary position on the resection line 301 is superimposed on the axial cross-sectional image. be done.
  • a numerical value may be displayed instead of the arrow line 332 .
  • FIG. 15 illustrates the cross-sectional image 310 shown in FIG. 14 as an axial cross-sectional image. The same applies to the axial cross-sectional images in each of FIGS. 16 to 19.
  • FIG. 15 illustrates the cross-sectional image 310 shown in FIG. 14 as an axial cross-sectional image. The same applies to the axial cross-sectional images in each of FIGS. 16 to 19.
  • FIG. 15 illustrates the cross-sectional image 310 shown in FIG. 14 as an axial cross-sectional image. The same applies to the axial cross-sectional images in each of FIGS. 16 to 19.
  • FIG. 15 illustrates the cross-sectional image 310 shown in FIG. 14 as an axial cross-sectional image. The same applies to the axial cross-sectional images in each of FIGS. 16 to 19.
  • FIG. 15 illustrates the cross-sectional image 310 shown in FIG. 14 as an axial cross-sectional image. The same applies to the axial cross-sectional images in each of FIGS. 16 to 19.
  • FIG. 16 is a schematic diagram showing an example of the second distance measurement display screen in the distance measurement process.
  • FIG. 16 shows an example in which an arrow line 334 indicating the distance between the resection line 301 and the nerve 3 is displayed.
  • Arrow line 332 shown in FIG. 15 and arrow line 334 shown in FIG. 16 may be displayed on the same display screen.
  • the arrow lines 332 shown in FIG. 15 and the arrow lines 334 shown in FIG. 16 may be displayed for all distance measurement positions, or may be displayed for some distance measurement positions such as representative measurement positions.
  • FIG. 17 is a schematic diagram showing a display example of the first color map.
  • This figure shows the first color map 312 shown in FIG.
  • the first color map 312 shown in FIG. 17 uses both display of nearest neighbor distance using line width and display of nearest neighbor distance using color. That is, the first color map 312 has a darker density as the nearest neighbor distance between the resection line 301 and the cancer 5 becomes relatively shorter. As the nearest neighbor distance between the line 301 and the cancer 5 becomes relatively longer, the density becomes thinner.
  • first color region 312A in first color map 312 has a higher density than second color region 312B and third color region 312C, and first color region 312A has second color region 312B and third color region 312B.
  • the resection line 301 and the cancer 5 are closer than the region 312C.
  • the first color map 312 shown in FIG. 17 represents stepwise changes in the nearest neighbor distance between the resection line 301 and the cancer 5, but continuously shows changes in the nearest neighbor distance between the resection line 301 and the cancer 5.
  • a first color map may be applied that represents the
  • the first color map 312 shown in FIG. 17 applies density to represent the difference in nearest neighbor distance between the resection line 301 and the cancer 5, but applies color, saturation of the same color, and brightness of the same color. , a density may be applied to represent the difference in nearest neighbor distance between the resection line 301 and the cancer 5 .
  • FIG. 18 is a schematic diagram showing a display example of the second color map. This figure shows the second color map 314 shown in FIG.
  • the second colormap 314 is configured similarly to the first colormap 312 shown in FIG. A detailed description of the second color map 314 is omitted here.
  • FIG. 19 is a schematic diagram showing a display example of a color map according to a modification.
  • FIG. 19 shows an example in which a first color map 312 and a second color map 314 are displayed superimposed on the cross-sectional image 310 .
  • Either the first color map 312 or the second color map 314 may be selectively displayed superimposed on the cross-sectional image 310 .
  • a mode of displaying only the first color map 312, a mode of displaying only the second color map 314, and a mode of displaying both the first color map 312 and the second color map 314 are selectively switched according to user input. good too.
  • FIGS. 15 to 19 illustrate the mode of displaying the first color map 312 and the second color map 314 shown in FIG. 14.
  • the first color map 302 and the second color map 304 shown in FIG. may
  • the display image generation unit 234 shown in FIG. 10 may generate a volume rendering image from a group of multiple cross-sectional images.
  • the display image generator 234 can generate a plurality of volume rendering images from different viewpoints of the user.
  • Display image generator 234 may generate a color map corresponding to the volume rendering image.
  • FIG. 20 is a schematic diagram showing a display example of three-dimensional distance information in a volume rendering image.
  • FIG. 20 shows a volume rendering image 400 in which a resection surface 402, a tumor 404 that is a tissue to be resected, and a blood vessel 410 that is a tissue to be preserved are viewed from above.
  • An arrow line 420 indicates the direction of the viewpoint when viewing the cut surface 402 from the blood vessel 410 side.
  • An arrow line 422 indicates the direction of the viewpoint when viewing the resection plane 402 from the side of the tumor 404 .
  • a first color map 406A is superimposed on the tumor 404 at a position facing the resection plane 402 .
  • a first color map 406A represents information on the closest distance between the resection plane 402 and the tumor 404 .
  • a first color map 406 A is applied to the volume rendered image as viewed from the tumor 404 side of the resection plane 402 .
  • FIG. 21 is a schematic diagram of FIG. 20 viewed from the side of the tissue to be preserved.
  • the first color map 406B is displayed on the surface of the cut surface 402 on the blood vessel 410 side.
  • the position of the first color map 406B on the resection plane 402 corresponds to the position of the tumor 404 when the tumor 404 is projected onto the resection plane 402.
  • the position of the tumor 404 may apply the position of the centroid of the tumor 404 .
  • the shape of first color map 406B corresponds to the shape of tumor 404 when tumor 404 is projected onto resection plane 402 .
  • a first color map 406B is on the side of the resection plane 402 opposite the blood vessel 410 side and indicates the closest distance between the resection plane 402 and the tumor 404 that is not visible in the volume rendering image 424 .
  • a first color map 406B is applied with a color distinguishable from the cut surface 402 and the blood vessel 410 .
  • the density according to the closest distance between the tumor 404 and the resection surface 402 is applied to the first color map 406B. For example, if the nearest neighbor distance between tumor 404 and resection plane 402 is relatively short, the density of first color map 406B is relatively dark.
  • the volume rendering image 424 may be superimposed with a second color map representing the closest distance between the resection plane 402 and the blood vessel 410 .
  • illustration of the second color map is omitted.
  • FIG. 22 is a schematic diagram of FIG. 20 viewed from the tissue to be excised.
  • the second color map 412B is superimposed on the tumor 404 side of the resection plane 402 and displayed.
  • a second color map 412B is on the side of the resection plane 402 opposite to the tumor 404 side and indicates the closest distance between the resection plane 402 and the blood vessel 410 that is not visible in the volume rendering image 430 .
  • a first color map 406B is applied with a color distinguishable from the resection plane 402 and the tumor 404 .
  • the volume rendering image 430 may be superimposed with a first color map representing the closest distance between the resection plane 402 and the tumor 404 .
  • illustration of the first color map is omitted.
  • the position of the second color map 412B on the resection plane 402, the shape of the second color map 412B, and the display mode of the closest distance between the resection plane 402 and the blood vessel 410 are the same as the first color map 406B shown in FIG.
  • FIG. 23 is a schematic diagram showing a display example of three-dimensional distance information applied to each tissue shown in FIG.
  • a first color map 406A representing the nearest neighbor distance between the resection plane 402 and the tumor 404
  • a second color map 412A representing the nearest neighbor distance between the resection plane 402 and the blood vessel 410 are superimposed. be done.
  • the first color map 406A is the tissue on the tumor 404 side of the resection plane 402, and is displayed in the tissue between the resection plane 402 and the tumor 404.
  • the second color map 412A is the tissue on the blood vessel 410 side of the resection plane 402 and is displayed on the tissue between the resection plane 402 and the blood vessel 410.
  • the volume rendering image seen from the viewpoint of the tissue to be preserved is on the opposite side of the resection plane, and if the tissue to be resected is not visible, the first color map is displayed on the resection plane.
  • a second color map is displayed on the tissue between the resection plane and the tissue to be preserved.
  • the volume rendered image from the point of view of the tissue to be resected is on the opposite side of the resection plane, and if the tissue to be preserved is not visible, a second color map is applied to the resection plane. display. Also, a first color map is displayed on the tissue between the resection plane and the tissue to be preserved.
  • FIG. 24 is a block diagram showing a configuration example of a medical information system including the medical image processing apparatus according to the embodiment.
  • a medical information system 100 is a computer network built in a medical institution such as a hospital.
  • the medical information system 100 includes a modality 30 that captures medical images, a DICOM server 40, a medical image processing device 20, an electronic chart system 44, and a viewer terminal 46.
  • the components of medical information system 100 are connected via communication line 48 .
  • Communication line 48 may be a local communication line within a medical institution. Also, part of the communication line 48 may be a wide area communication line.
  • Examples of the modality 30 include a CT device 31, an MRI device 32, an ultrasonic diagnostic device 33, a PET device 34, an X-ray diagnostic device 35, an X-ray fluoroscopic diagnostic device 36, an endoscope device 37, and the like.
  • the types of modalities 30 connected to the communication line 48 can be combined in various ways for each medical institution.
  • PET is an abbreviation for Positron Emission Tomography.
  • the DICOM server 40 is a server that operates according to the DICOM specifications.
  • the DICOM server 40 is a computer that stores and manages various data including images captured using the modality 30, and has a large-capacity external storage device and a database management program.
  • the DICOM server 40 communicates with other devices via the communication line 48 to send and receive various data including image data.
  • the DICOM server 40 receives image data generated using the modality 30 and various other data via a communication line 48, and stores and manages them in a recording medium such as a large-capacity external storage device.
  • the storage format of the image data and the communication between each device via the communication line 48 are based on the DICOM protocol.
  • the medical image processing apparatus 20 can acquire data from the DICOM server 40 or the like via the communication line 48.
  • the medical image processing apparatus 20 can also send the processing results to the DICOM server 40 and the viewer terminal 46 .
  • the processing functions of the medical image processing apparatus 20 may be installed in the DICOM server 40 or the viewer terminal 46 .
  • Various data stored in the database of the DICOM server 40 and various information including the processing results generated by the medical image processing apparatus 20 can be displayed on the viewer terminal 46.
  • the viewer terminal 46 is a terminal for viewing images called a PACS viewer or DICOM viewer.
  • a plurality of viewer terminals 46 can be connected to the communication line 48 .
  • the form of the viewer terminal 46 is not particularly limited, and may be a personal computer, a workstation, a tablet terminal, or the like.
  • the input device of the viewer terminal 46 may be configured such that designation of the lesion area, designation of the measurement reference plane, and the like can be performed.
  • a program that causes a computer to realize the processing functions of the medical image processing apparatus 20 is stored in a computer-readable medium that is a tangible non-temporary information storage medium such as an optical disk, magnetic disk, semiconductor memory, etc., and the program is provided through the information storage medium. It is possible to
  • the various processors include a CPU that is a general-purpose processor that executes programs and functions as various processing units, a GPU that is a processor specialized for image processing, and a processor whose circuit configuration can be changed after manufacturing, such as an FPGA. It includes a dedicated electric circuit, which is a processor having a circuit configuration specially designed to execute a specific process such as a certain programmable logic device, ASIC, and the like.
  • FPGA is an abbreviation for Field Programmable Gate Array.
  • ASIC is an abbreviation for Application Specific Integrated Circuit.
  • a programmable logic device may be referred to as a PLD using the abbreviation for Programmable Logic Device, which is an English notation.
  • a single processing unit may be composed of one of these various processors, or may be composed of two or more processors of the same type or different types.
  • one processing unit may be configured by a plurality of FPGAs, a combination of CPU and FPGA, or a combination of CPU and GPU.
  • a plurality of processing units may be configured by a single processor.
  • a single processor is configured by combining one or more CPUs and software. There is a form in which a processor functions as multiple processing units.
  • SoC System On Chip
  • IC is an abbreviation for Integrated Circuit.
  • the hardware structure of these various processors is, more specifically, an electric circuit that combines circuit elements such as semiconductor elements.
  • An electric circuit can be called using the English notation, circuitry.
  • the medical image processing apparatus 20 according to the embodiment has the following effects.
  • a resection plane is specified between the tissue to be resected and the tissue to be preserved, and the nearest neighbor distance between the resection plane and the tissue to be resected and the resection plane and the preservation A nearest neighbor distance to the tissue of interest is measured. Based on the measurement results, the first distance information representing the information of the nearest neighbor distance between the resection plane and the tissue to be resected and the second distance information representing the information of the nearest neighbor distance between the resection plane and the tissue to be preserved are obtained in a two-dimensional cross section. It is superimposed on the image. This may assist in determining the resection plane when resecting tissue to be resected.
  • the first distance information displayed on the cross-sectional image is on the side of the tissue to be resected of the resection plane and is displayed on the edge region outside the resection plane.
  • the second distance information displayed on the cross-sectional image is on the side of the tissue to be preserved of the resection plane and is displayed on the edge region outside the resection plane.
  • the first distance information displayed on the volume rendered image is displayed on the side of the tissue to be preserved of the resection plane. Thereby, the first distance information corresponding to the resection target tissue hidden in the resection plane can be visually recognized.
  • the second distance information displayed on the volume rendering image is displayed on the side of the tissue to be resected of the resection plane. Thereby, the second distance information corresponding to the tissue to be preserved hidden in the resection plane can be visually recognized.
  • a color map is applied to the first distance information and the second distance information. Thereby, a user who has seen the first distance information and the second distance information can grasp the content of the first distance information at a glance.

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Primary Health Care (AREA)
  • Epidemiology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Graphics (AREA)
  • Data Mining & Analysis (AREA)
  • Quality & Reliability (AREA)
  • Computing Systems (AREA)
  • Geometry (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Databases & Information Systems (AREA)
  • Pathology (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

切除対象の組織と温存対象の組織との間の三次元距離に基づく分離面の決定を支援し得る医療画像処理装置、医療画像処理方法及びプログラムを提供する。プロセッサはプログラムの命令を実行して、三次元の医療画像を取得し、医療画像において特定される第一領域を分離する際の分離面を設定し、第一領域の表面における任意の位置と分離面との最隣接距離である第一距離を計測し、医療画像において特定される第二領域の表面における任意の位置と分離面との最隣接距離である第二距離を計測し、医療画像をディスプレイ装置へ表示させる際に、第一距離を表す第一距離情報及び第二距離を表す第二距離情報の少なくともいずれかを表示させる。

Description

医療画像処理装置、医療画像処理方法及びプログラム
　本開示は、医療画像処理装置、医療画像処理方法及びプログラムに関する。
　直腸がんは、腸管の内腔から発生し、進行するにつれて腸管の外側の組織へ浸潤する。外科手術が必要な高度進行のがんは、直腸の周囲を取り巻く脂肪組織である直腸間膜ごと切除する直腸間膜全切除が実施される。なお、直腸間膜全切除は、英語表記であるtotal mesorectal excisionの省略語を用いてＴＭＥと表される。
　直腸間膜全切除が実施される手術では、がんの周囲に十分なマージンを持って切除されること及び神経及び血管等の直腸間膜の周辺の重要な組織を温存することの両立が求められている。
　十分なマージンを持った切除が求められる背景として、がんと直腸の周囲の剥離面との距離であるＣＲＭ（Circumferential resection merging）が１ミリメートル以下の場合に、局所的な再発の強力な予測因子とされることが挙げられる。
　一方、周辺の組織の温存が求められる背景として、直腸間膜の周囲に細い血管及び自律神経等が走行していることが挙げられる。自律神経等が傷付けられる場合、排尿障害及び性機能障害等がもたらされるおそれがある。
　非特許文献１は、機能温存直腸がん手術において、がんの進行に応じた剥離層を選択し、根治性を保持する旨が記載される。また、同文献は、剥離層のレベルに起因して、神経損傷が増減する旨が記載される。
　特許文献１は、ボリュームレンダリング画像において、気管支壁から気管支の外側にある関心領域までの距離分布を重畳表示させる内視鏡画像診断支援装置が記載される。同文献に記載の装置は、三次元画像を用いて、気管支内壁へ関心領域を投影した第１の投影像及び第２の投影像を生成する。第１の投影像及び第２の投影像は、投影距離に応じて強調表示される。
　特許文献２は、コンピュータを用いて血管病変を自動分析する血流可視化装置が記載される。同文献に記載の装置は、医用画像を取得し、医用画像から構築した血管形状を用いて血管病変部を決定し、血管病変部の幾何学的特徴を算出する。
　特許文献３は、冠状動脈の周囲に存在する脂肪領域の厚みを計測する医用画像処理装置が記載される。同文献に記載の装置は、ボリュームデータに基づき冠状動脈の周囲に形成される脂肪領域の分布及び脂肪領域の厚みを計測し、二次元の脂肪厚分布データを生成する。
　特許文献４は、乳がんの切除手術の手術計画に使用される画像の表示技術が記載される。同文献に記載の画像処理装置は、再構成されたデータを用いてＶＲ画像等を生成する装置であり、腫瘍範囲を特定し、基準点から腫瘍範囲までの体表面上における距離を計算し、ＶＲ画像上に表示させる。
　特許文献５は、被検体の臓器を複数の区域に分割し、区域の端部及び境界が補正され、分割結果を用いて、臓器における切除対象領域を算出する医用画像処理装置が記載される。
特開２０１６－０３９８７４号公報 国際公開第２０１７／０４７８２０号 特開２０１１－２１８０３７号公報 特開２００９－０２２３６９号公報 特開２０２０－１２０８２８号公報
絹笠祐介、゛外科医から見た直腸周囲の筋膜解剖と機能温存直腸癌手術のための剥離層″［online］、２０１２年９月８日、臨床検査解剖研究会、「２０２１年１月２５日検索］、インターネット（http://www.jrsca.jp/contents/records/contents/PDF/13-PDF/p08.pdf）
　しかしながら、がん等の病変の周囲に十分なマージンを持った病変の切除及び病変の周辺の重要組織の温存の両立が可能な剥離面を手術前に検討するには、切除対象の組織と温存対象の組織との間の三次元距離及び剥離面と切除対象の組織と間の三次元距離を知ることが求められる。
　切除対象の組織と温存対象の組織との間の三次元距離等を知る際に、三次元距離の計測対象の組織及び剥離予定断面等が、医療画像において正しい位置に選択されているかを判断する必要がある。かかる判断は、三次元医療画像の二次元断面画像における評価が必要とされる。すなわち、剥離面を検討する際に、二次元断面画像において、三次元距離の計測対象の間の空間距離をわかり易く表示することが求められる。
　特許文献１から特許文献５には、切除対象の組織を剥離する剥離面と、切除対象の組織との間の三次元距離及び温存対象の組織との間の三次元距離を評価する際の表示に関する記載はなく、かかる課題を解決する手段は記載されていない。
　本発明はこのような事情に鑑みてなされたもので、切除対象の組織と温存対象の組織との間の三次元距離に基づく分離面の決定を支援し得る医療画像処理装置、医療画像処理方法及びプログラムを提供することを目的とする。
　本開示に係る医療画像処理装置は、プロセッサと、プロセッサを用いて実行されるプログラムが記憶される記憶装置と、を備える医療画像処理装置であって、プロセッサは、プログラムの命令を実行して、三次元の医療画像を取得し、医療画像において特定される第一領域を分離する際の分離面を設定し、第一領域の表面における任意の位置と分離面との最隣接距離である第一距離を計測し、医療画像において特定される第二領域の表面における任意の位置と分離面との最隣接距離である第二距離を計測し、医療画像をディスプレイ装置へ表示させる際に、第一距離を表す第一距離情報及び第二距離を表す第二距離情報の少なくともいずれかを表示させる医療画像処理装置である。
　本開示に係る医療画像処理装置によれば、第一領域と分離面との三次元距離及び第二領域と分離面との三次元距離の少なくともいずれかを一目で把握でき、分離面の決定を支援し得る。
　第一領域は、分離対象の組織を含む領域を特定し得る。第二領域は、温存対象の組織を含む領域を特定し得る。
　分離面が指定される領域は、第一領域と第二領域との間に存在する第三領域を適用し得る。
　他の態様に係る医療画像処理装置は、プロセッサは、医療画像における任意の断面に対応する断面画像をディスプレイ装置へ表示させる際に、分離面の第一領域の側における外側の縁領域へ、第一距離情報を表示させる。
　かかる態様によれば、分離面の視認性を妨げることが抑制され得る。また、分離面に対して、第一距離が適用される側を一目で把握し得る。
　縁領域は、分離面と接触する領域であってもよいし、分離面と非接触の領域であってもよい。
　他の態様に係る医療画像処理装置は、プロセッサは、医療画像における任意の断面に対応する断面画像をディスプレイ装置へ表示させる際に、分離面の第二領域の側における外側の縁領域へ、第二距離情報を表示させる。
　かかる態様によれば、分離面の視認性を妨げることが抑制され得る。また、分離面に対して、第二距離が適用される側を一目で把握し得る。
　他の態様に係る医療画像処理装置は、プロセッサは、色を用いて距離を表すカラーマップを適用して、第一距離情報及び第二距離情報を表示させる。
　かかる態様によれば、カラーマップの色が表す情報に基づき、第一距離及び第二距離を一目で把握し得る。
　カラーマップの例として、色彩の違いを適用して距離の違いを表す態様及び濃度の違いを適用して距離の違いを表す態様が挙げられる。
　他の態様に係る医療画像処理装置は、プロセッサは、医療画像に対応するボリュームレンダリング画像をディスプレイ装置へ表示させ、第一距離情報及び第二距離情報の少なくともいずれかを、ボリュームレンダリング画像へ重畳表示させる。
　かかる態様によれば、ボリュームレンダリング画像において、第一領域と分離面との三次元距離及び第二領域と分離面との三次元距離の少なくともいずれかを一目で把握でき、分離面の決定を支援し得る。
　他の態様に係る医療画像処理装置は、プロセッサは、ボリュームレンダリング画像におけるユーザの視点に応じて、第一距離情報の表示態様及び第二距離情報の表示態様を変更する。
　かかる態様によれば、ユーザの視点から見た第一距離及び第二距離を一目で把握し得る。
　他の態様に係る医療画像処理装置は、プロセッサは、ボリュームレンダリング画像において、第一領域が分離面のユーザの視点の側に存在する場合に、第一距離情報を第一領域へ重畳表示させる。
　かかる態様によれば、ユーザの視点から見える第一領域について、ユーザの視点から見える位置に第一距離情報を表示し得る。
　他の態様に係る医療画像処理装置は、プロセッサは、ボリュームレンダリング画像において、第二領域が分離面のユーザの視点の反対の側に存在する場合に、分離面へ第二距離情報を重畳表示させる。
　かかる態様によれば、ユーザの視点から見えない第二領域について、ユーザの視点から見える位置に第二距離情報を表示し得る。
　他の態様に係る医療画像処理装置は、プロセッサは、ボリュームレンダリング画像において、第一領域が分離面のユーザの視点の反対の側に存在する場合に、分離面へ第一距離情報を重畳表示させる。
　かかる態様によれば、ユーザの視点から見えない第一領域について、ユーザの視点から見える位置に第一距離情報を表示し得る。
　他の態様に係る医療画像処理装置は、プロセッサは、ボリュームレンダリング画像において、第二領域が分離面のユーザの視点の側に存在する場合に、第二距離情報を第二領域へ重畳表示させる。
　かかる態様によれば、ユーザの視点から見える第二領域について、ユーザの視点から見える位置に第二距離情報を表示し得る。
　本開示に係る医療画像処理方法は、コンピュータが、三次元の医療画像を取得し、医療画像において特定される第一領域を分離する際の分離面を設定し、第一領域の表面における任意の位置と分離面との最隣接距離である第一距離を計測し、医療画像において特定される第二領域の表面における任意の位置と分離面との最隣接距離である第二距離を計測し、医療画像をディスプレイ装置へ表示させる際に、第一距離を表す第一距離情報及び第二距離を表す第二距離情報の少なくともいずれかを表示させる医療画像処理方法である。
　本開示に係る医療画像処理方法によれば、本開示に係る医療画像処理装置と同様の作用効果を得ることが可能である。他の態様に係る医療画像処理装置の構成要件は、他の態様に係る医療画像処理方法の構成要件へ適用し得る。
　本開示に係るプログラムは、コンピュータに、三次元の医療画像を取得する機能、医療画像において特定される第一領域を分離する際の分離面を設定する機能、第一領域の表面における任意の位置と分離面との最隣接距離である第一距離を計測する機能、医療画像において特定される第二領域の表面における任意の位置と分離面との最隣接距離である第二距離を計測する機能、及び医療画像をディスプレイ装置へ表示させる際に、第一距離を表す第一距離情報及び第二距離を表す第二距離情報の少なくともいずれかを表示させる機能を実現させるプログラムである。
　本開示に係るプログラムによれば、本開示に係る医療画像処理装置と同様の作用効果を得ることが可能である。他の態様に係る医療画像処理装置の構成要件は、他の態様に係るプログラムの構成要件へ適用し得る。
　本発明によれば、第一領域と分離面との三次元距離及び第二領域と分離面との三次元距離の少なくともいずれかを一目で把握でき、分離面の決定を支援し得る。
図１は直腸がんの患者を撮影したＭＲＩ画像からＣＲＭを計測した例を示す図である。 図２は定位前方切除術を示す図である。 図３は図２の向きを示すイメージ図である。 図４は切除面を示す図である。 図５はＭＲＩ画像の任意の断面を示す模式図である。 図６は図５の向きを示すイメージ図である。 図７は切除ラインの第一例を示す模式図である。 図８は切除ラインの第二例を示す模式図である。 図９は切除ラインの第三例を示す模式図である。 図１０は実施形態に係る医療画像処理装置の機能ブロック図である。 図１１は実施形態に係る医療画像処理装置の構成例を示すブロック図である。 図１２は実施形態に係る医療画像処理方法の手順を示すフローチャートである。 図１３は三次元距離情報を二次元断面へ重畳表示させる一例を示すイメージ図である。 図１４は三次元距離情報を二次元断面へ重畳表示させる他の例を示すイメージ図である。 図１５は距離計測工程における第一距離計測の表示画面の例を示す模式図である。 図１６は距離計測工程における第二距離計測の表示画面の例を示す模式図である。 図１７は第一カラーマップの表示例を示す模式図である。 図１８は第二カラーマップの表示例を示す模式図である。 図１９は変形例に係るカラーマップの表示例を示す模式図である。 図２０はボリュームレンダリング画像における三次元距離情報の表示例を示す模式図である。 図２１は図２０を温存対象の組織の側から見た模式図である。 図２２は図２０を切除対象の組織の側から見た模式図である。 図２３は図２０に示す各組織に適用される三次元距離情報の表示例を示す模式図である。 図２４は実施形態に係る医療画像処理装置を含む医療情報システムの構成例を示すブロック図である。
　以下、添付図面に従って本発明の好ましい実施形態について詳説する。本明細書では、同一の構成要素には同一の参照符号を付して、重複する説明は適宜省略する。
　［直腸がんにおける距離計測の例］
　図１は直腸がんの患者を撮影したＭＲＩ画像からＣＲＭを計測した例を示す図である。図１では、がんＴＵ、固有筋層ＭＰ及び直腸間膜ＭＥは、それぞれに異なる塗りつぶしパターンを付して区別をする。図１には二次元画像を示すが、実際に取得されるＭＲＩ画像は三次元画像である。なお、ＭＲＩはMagnetic Resonance Imagingの省略語である。
　ＭＲＩ装置及びＣＴ装置などのモダリティでは、二次元スライス画像を連続的に撮影し、対象物の三次元形態を示す三次元データが得られる。なお、三次元画像という用語は、連続的に撮影された二次元スライス画像の集合体及び二次元シーケンスの概念を含み得る。また、画像という用語は、画像データの意味を含み得る。ＣＴはComputed Tomographyの省略語である。
　図１に示す矢印線は、がんＴＵから直腸間膜ＭＥまでの距離が最も近接している最近接部を表す。がんの進行度が判断される際に、最近接部の距離である最近接距離が重要なパラメータの一つである。最近接距離が１ミリメートル以下の場合に、ＣＲＭ陽性とされる。
　［定位前方切除術の説明］
　図２は定位前方切除術を示す図である。図３は図２の向きを示すイメージ図である。図２は頭の側から骨盤の中をのぞいた図である。図３には矢印線を用いて、図２におけるお腹の側の位置を図示する。
　図２には、がんが発生した直腸１の周りの脂肪２を剥がして、がんを丸ごと切除する定位前方切除術を適用して、がんが切除される状態を示す。がんを切除する際は、神経３を傷付けずに、がんを完全に切除することが重要である。
　図４は切除面を示す図である。がんが切除される際は、切除面４においてがんが切除される。切除面４が直腸１の内側になり過ぎるとがんが露出してしまう。一方、切除面４が直腸１の外側になり過ぎると、神経３を傷付けるおそれがある。
　図５はＭＲＩ画像の任意の断面を示す模式図である。同図には、直腸１に発生したがん５が直腸１と脂肪２との境界６を超えて、脂肪２へ到達している状態を示す。図６は図５の向きを示すイメージ図である。図６に示す領域７は、図５に示す直腸１等の位置を表す。なお、図５に示す直腸１、脂肪２及びがん５のそれぞれは、図１に示す固有筋層ＭＰ、直腸間膜ＭＥ及びがんＴＵに対応する。
　図７は切除ラインの第一例を示す模式図である。同図に示す切除ライン４Ａは、がん５が発生した直腸１の周りの脂肪２ごと、がん５が切除される場合に設定される。すなわち、切除ライン４Ａは脂肪２の輪郭と一致する。
　切除ライン４Ａが設定される場合、がん５が切除される際に神経３を傷付けてしまうおそれがある。なお、図７に示す断面画像における切除ライン４Ａは、図４に示す切除面４に対応する。図８に示す切除ライン４Ｂ及び図９に示す切除ライン４Ｃも同様である。
　図８は切除ラインの第二例を示す模式図である。同図に示す切除ライン４Ｂは、神経３を避け、脂肪２の一部を残してがん５が切除される場合に設定される。すなわち、切除ライン４Ｂの一部は脂肪２の輪郭と一致し、かつ、切除ライン４Ｂの一部は脂肪２の内部に入る。切除ライン４Ｂが設定される場合は、がん５を完全に取り切れないおそれがある。
　図９は切除ラインの第三例を示す模式図である。同図に示す切除ライン４Ｃは、神経３を避け、脂肪２の一部を残してがん５が切除される場合に設定される。すなわち、図８に示す切除ライン４Ｂと同様に、切除ライン４Ｃの一部は脂肪２の輪郭と一致し、かつ、切除ライン４Ｃの一部は脂肪２の内部に入る一方、切除ライン４Ｃは神経３からのマージン及びがん５からのマージンが十分に取られている。
　以下に説明する医療画像処理装置は、図４に示す切除面４が設定される際に、切除対象の組織であるがん５と神経３及び血管等の温存対象の組織との三次元の距離が計測され、計測結果を二次元断面画像へ表示させ、切除面４の決定を支援する。
　ＭＲＩ画像等の医療画像から、温存対象の組織と、図２に示す切除面４との三次元距離を把握し、かつ、図９に示すがん５等の切除対象の組織と、切除面４との三次元距離を把握する。
　これにより、温存対象の組織から十分なマージンが得られる切除面４であり、かつ、切除対象の組織から十分なマージンが得られる切除面４を手術前に計画し得る。なお、十分なマージンが得られないことが事前に判明する場合、温存対象の組織の温存を諦めて、神経３及び血管等を切除する術式を選択し得る。
　［医療画像処理装置の構成例］
　図１０は実施形態に係る医療画像処理装置の機能ブロック図である。同図に示す医療画像処理装置２０は、コンピュータのハードウェアとソフトウェアとを用いて実現される。ソフトウェアはプログラムと同義である。以下に示す実施形態に用いられる医療画像という用語は、医用画像という用語と同義である。
　医療画像処理装置２０は、画像取得部２２２、病変領域抽出部２２４、病変領域入力受付部２２６、切除面抽出部２２８、切除面入力受付部２３０、距離計測部２３２及び表示画像生成部２３４を備える。また、医療画像処理装置２０は、入力装置２１４及びディスプレイ装置２１６が接続される。
　画像取得部２２２は、画像保存サーバ等から処理対象の医療画像を取り込む。本実施形態では、処理対象の医療画像としてＭＲＩ装置を用いて撮影されたＭＲＩ画像を例示する。処理対象の医療画像はＭＲＩ画像に限らず、ＣＴ装置などの他のモダリティにより撮影された画像であってもよい。
　本実施形態においては、大腸等の消化管に発生するがんの画像診断を想定しており、画像取得部２２２を介して取得される医療画像の例として、がんとその周囲の組織とを含む領域が一画像として撮影された三次元画像が挙げられる。また、医療画像処理装置２０は、ミリメートルの単位で三次元的に距離の計測を行うことから、対象とする画像は等方性ボクセルの高分解能三次元データであることが好ましい。
　病変領域抽出部２２４は、画像取得部２２２を介して取得された医療画像から、画像認識を適用して医療画像に含まれる病変領域を自動的に抽出する病変領域抽出処理を行う。本実施形態における病変領域は、がんの領域である。病変領域抽出部２２４の処理の例として、深層学習に代表される機械学習を適用し、画像セグメンテーションのタスクを学習させた学習済みのモデルを用いて、入力された医療画像に対して画像セグメンテーションを行い、病変領域を抽出する処理が挙げられる。
　画像セグメンテーションを行う学習モデルの例として、畳み込みニューラルネットワークが挙げられる。畳み込みニューラルネットワークは、英語表記であるConvolution Neural Networkの省略語を用いてＣＮＮと称され得る。
　病変領域抽出部２２４は、病変領域と他の領域とを分類するセグメンテーションに限らず、病変領域の周囲における複数の領域のそれぞれを分類するセグメンテーションを行う構成であってもよい。例えば、病変領域抽出部２２４は、三次元画像の入力を受けて、病変領域であるがんの領域及び温存領域である他の周辺臓器等のそれぞれの領域を分類し、領域別にマスクパターンを付したセグメンテーション結果の画像を出力する学習がされた学習済みモデルを用いて、病変領域の抽出及び温存領域の抽出を行ってもよい。
　病変領域入力受付部２２６は、病変領域抽出部２２４を用いて自動抽出された病変領域の情報の入力を受け付ける。また、病変領域入力受付部２２６は、ユーザが入力装置２１４を用いて指定した病変領域の情報の入力を受け付ける。ユーザである医師は、入力装置２１４を用いて、病変領域抽出部２２４において自動抽出された病変領域とは異なる領域を自由に指定することができる。例えば、医師は、入力装置２１４を用いて、自動抽出において、がんとして抽出されなかった領域のうち、がんと認められる領域又はがんの疑いのある領域を指定することができる。
　なお、実施形態に記載の病変領域は、医療画像において特定される第一領域の一例である。実施形態に記載の温存領域は、医療画像において特定される第二領域の一例である。
　切除面抽出部２２８は、病変領域入力受付部２２６を介して得られた病変領域の情報に基づき、医療画像から病変領域を切除する際の基準となる切除面４の候補を抽出する処理を行う。がんの進行度によって、がんの広がり具合が変わるため、進行度に応じて適切な切除面４の候補が自動で抽出される。なお、切除面４の候補は任意形状の曲面であってよい。
　切除面入力受付部２３０は、切除面抽出部２２８を用いて自動抽出された切除面４の候補の情報の入力を受け付ける。また、切除面入力受付部２３０は、入力装置２１４を用いてユーザが指定した切除面の情報の入力を受け付ける。ユーザである医師は、入力装置２１４を用いて、切除面抽出部２２８を用いて自動抽出された切除面４の候補とは異なる切除面４を指定することができる。
　自動抽出された切除面４の候補とは異なる切除面４は、自動抽出された切除面４の候補の一部が修正された面であってもよい。切除面入力受付部２３０を介して入力された情報に基づき、切除面４が決定される。なお、切除面４の候補と同様に、切除面４は任意形状の曲面であってよい。
　例えば、医師は、手術前に切除面を検討する際に、解剖学的な実在する境界面等に限らず、層内の仮想的な面などを切除面４の候補として指定することができる。なお、実施形態に記載の切除面４は、医療画像において特定される第一領域を分離する際の分離面の一例である。
　距離計測部２３２は、がん５から切除面４までの三次元的な距離及び温存対象の組織から切除面までの三次元的な距離の計測を行う。温存対象の組織は、切除面４のがん５と反対の側に位置する組織である。温存対象の組織の例として、図９に示す神経３が挙げられる。
　ユーザから病変領域の指定の入力を受けた場合は、指定された領域から切除面４までの距離が計測される態様が可能である。また、自動抽出された病変領域と、ユーザが指定した病変領域とを含めた病変領域の全体をグループ化して、全体として一つの病変領域とみなし、病変領域と切除面４との距離を計測する態様も可能である。好ましくは、これらの計測モードを選択できるように構成される。
　距離の計測方法として、以下の方法を適用し得る。計測の対象となる病変領域の輪郭上の複数の点のそれぞれについて、最も近い位置にある切除面４における点までの距離を算出し、算出された複数の距離のうちで最小距離となる２点間の距離を、切除面４と病変領域との最隣接距離として取得する。
　切除面４と病変領域との距離の計測と同様に、切除面４と温存領域との距離の計測が実施され、切除面４と温存領域との最隣接距離が取得される。なお、実施形態に記載の病変領域の輪郭上の複数の点は、第一領域の表面における任意の位置の一例である。実施形態に記載の温存領域の輪郭上の複数の点は、第二領域の表面における任意の位置の一例である。
　表示画像生成部２３４は、ディスプレイ装置２１６へ表示させる表示画像を生成する。表示画像生成部２３４は、三次元画像から表示用の二次元画像を生成する。表示用の二次元画像の例として断面画像及びボリュームレンダリング画像が挙げられる。
　表示画像生成部２３４は、アキシャル断面画像、コロナル断面画像及びサジタル断面画像のうち少なくとも一つの断面画像を生成する。表示画像生成部２３４は、上記した三種の全ての断面画像を生成してもよい。
　表示画像生成部２３４は、切除面抽出部２２８を用いて決定される切除面４を表す画像を生成する。切除面４を表す画像は断面画像等へ重畳表示される。断面画像へ重畳表示される切除面４を表す画像の例として、図９に示す切除ライン４Ｃが挙げられる。
　表示画像生成部２３４は、距離計測部２３２を用いて計測された切除面４と病変領域との距離を表す第一距離情報を生成する。また、表示画像生成部２３４は、距離計測部２３２を用いて計測された切除面４と温存領域との距離を表す第二距離情報を生成する。
　表示画像生成部２３４は、第一距離情報及び第二距離情報として、カラーマップ及びカラーバー等の図形要素を適用し得る。表示画像生成部２３４を用いて生成された第一距離情報及び第二距離情報は、断面画像へ重畳表示される。
　図１１は実施形態に係る医療画像処理装置の構成例を示すブロック図である。医療画像処理装置２０は、プロセッサ２０２、非一時的な有体物であるコンピュータ可読媒体２０４、通信インターフェース２０６及び入出力インターフェース２０８を備える。
　医療画像処理装置２０の形態は、サーバであってもよいし、パーソナルコンピュータであってもよく、ワークステーションであってもよく、また、タブレット端末などであってもよい。
　プロセッサ２０２はＣＰＵ（Central Processing Unit）を含む。プロセッサ２０２はＧＰＵ（Graphics Processing Unit）を含んでもよい。プロセッサ２０２は、バス２１０を介してコンピュータ可読媒体２０４、通信インターフェース２０６及び入出力インターフェース２０８と接続される。入力装置２１４及びディスプレイ装置２１６は入出力インターフェース２０８を介してバス２１０に接続される。
　入力装置２１４は、キーボード、マウス、マルチタッチパネル、その他のポインティングデバイス及び音声入力装置等を適用し得る。入力装置２１４は、複数のデバイスの任意の組み合わせを適用し得る。
　ディスプレイ装置２１６は、液晶ディスプレイ、有機ＥＬディスプレイ及びプロジェクタ等を適用し得る。ディスプレイ装置２１６は、複数のデバイスの任意の組み合わせを適用し得る。なお、有機ＥＬディスプレイのＥＬは、Electro-Luminescenceの省略語である。
　コンピュータ可読媒体２０４は、主記憶装置であるメモリ及び補助記憶装置であるストレージを含む。コンピュータ可読媒体２０４は、半導体メモリ、ハードディスク装置及びソリッドステートドライブ装置等を適用し得る。コンピュータ可読媒体２０４は、複数のデバイスの任意の組み合わせを適用し得る。
　なお、ハードディスク装置は、英語表記のHard Disk Driveの省略語であるＨＤＤと称され得る。ソリッドステートドライブ装置は、英語表記のSolid State Driveの省略語であるＳＳＤと称され得る。
　医療画像処理装置２０は、通信インターフェース２０６を介して通信回線へ接続され、医療機関内ネットワークと接続されるＤＩＣＯＭサーバ４０及びビューワ端末４６などの機器と通信可能に接続される。なお、通信回線の図示を省略する。ＤＩＣＯＭは、Digital Imaging and Communication in Medicineの省略語である。
　コンピュータ可読媒体２０４は、医療画像処理プログラム２２０及び表示制御プログラム２６０を含む複数のプログラムが記憶される。コンピュータ可読媒体２０４は、各種のデータ及び各種のパラメータ等が記憶される。
　プロセッサ２０２は、医療画像処理プログラム２２０の命令を実行し、画像取得部２２２、病変領域抽出部２２４、病変領域入力受付部２２６、切除面抽出部２２８、切除面入力受付部２３０、距離計測部２３２及び表示画像生成部２３４として機能する。
　表示制御プログラム２６０は、ディスプレイ装置２１６への表示出力に必要な表示用信号を生成し、ディスプレイ装置２１６の表示制御を行う。
　［医療画像処理方法の手順］
　図１２は実施形態に係る医療画像処理方法の手順を示すフローチャートである。画像取得工程Ｓ１２において、プロセッサ２０２は、ＤＩＣＯＭサーバ４０等から処理対象の医療画像を取得する。
　病変領域抽出工程Ｓ１４において、プロセッサ２０２は、入力された医療画像から切除対象の組織として病変領域を自動的に抽出する。また、病変領域抽出工程Ｓ１４において、プロセッサ２０２は、入力された医療画像から温存対象の組織として温存領域を抽出する。
　一般に、病変が切除される際に、病変が存在する臓器の周囲の脂肪を包む膜ごと切除がされる。病変領域抽出工程Ｓ１４では、切除面が設定され得る脂肪領域及び脂肪領域を包む膜が抽出される。
　温存領域の例として、血管、神経、骨盤、骨、筋肉、がん、リンパ節、尿管及び臓器が挙げられる。臓器は、病変領域を含む臓器の他の臓器であってもよいし、病変領域を含む臓器における病変領域以外の領域であってもよい。
　プロセッサ２０２は、学習済みモデルを用いて医療画像のセグメンテーションを行い、病変領域及び温存領域を抽出し得る。プロセッサ２０２は、自動抽出された病変領域及び温存領域を、距離の計測対象として決定し得る。
　切除面決定工程Ｓ１６において、プロセッサ２０２は、特定された病変領域に基づき、切除面４の候補を自動的に抽出する。プロセッサ２０２は、脂肪領域を包む膜を切除面４の候補として抽出し得る。プロセッサ２０２は、切除面４の候補の修正を表すユーザ入力を取得しない場合に、自動抽出された切除面４の候補を切除面４として決定し得る。
　切除面４の候補を自動抽出する際に、プロセッサ２０２は予めユーザが指定したマージンを考慮した切除面４の候補を抽出し得る。例えば、マージンとして２ミリメートルが指定された場合、ＣＲＭが２ミリメートル以上の領域は直腸間膜の外周を切除面４の候補として抽出し、ＣＲＭが２ミリメートル未満の領域は直腸間膜を超えて、がんの外周から２ミリメートルの面を切除面４の候補として抽出し得る。
　距離計測工程Ｓ１８において、プロセッサ２０２は、切除面４と病変領域との間の最隣接距離である第一距離を計測する。また、距離計測工程Ｓ１８において、プロセッサ２０２は、切除面４と温存領域との間の最隣接距離である第二距離を計測する。
　表示画像生成工程Ｓ２０において、プロセッサ２０２は、第一距離を表す第一距離情報及び第二距離を表す第二距離情報を任意の断面画像へ重畳表示させる表示画像を生成する。
　表示工程Ｓ２２において、プロセッサ２０２は、生成された表示画像をディスプレイ装置２１６へ表示させる。これにより、断面画像における切除面４と病変領域との距離及び切除面４と温存領域との距離を、ユーザは一目で把握し得る。
　表示画像生成工程Ｓ２０は、病変領域抽出工程Ｓ１４及び切除面決定工程Ｓ１６における処理結果を表す表示画像を生成し得る。表示工程Ｓ２２は、病変領域抽出工程Ｓ１４及び切除面決定工程Ｓ１６における処理結果を表す表示画像をディスプレイ装置２１６へ表示させ得る。
　ユーザ入力受付工程Ｓ２４において、プロセッサ２０２は、ユーザからの各種の指示の入力を受け付ける。ユーザは、入力装置２１４から病変領域の指定及び切除面４の指定などの各種の入力を行うことができる。
　病変領域指定入力判定工程Ｓ２６において、プロセッサ２０２は、入力装置２１４から病変領域を指定する入力及び温存領域を指定する入力の有無を判定する。ユーザが医療画像中で病変の疑いがある箇所を指定する操作等を行い、病変領域を指定する情報の入力及び温存領域を指定する情報の入力があった場合はＹＥＳ判定となる。ＹＥＳ判定の場合、プロセッサ２０２は病変領域抽出工程Ｓ１４へ移行し、指定された病変領域及び温存領域を距離計測の対象として決定する。
　一方、病変領域指定入力判定工程Ｓ２６において、プロセッサ２０２が病変領域を指定する入力がないと判定する場合はＮＯ判定となる。ＮＯ判定の場合、プロセッサ２０２は切除面指定工程Ｓ２８へ移行する。
　切除面指定工程Ｓ２８において、プロセッサ２０２は、入力装置２１４から切除面４を指定する入力の有無を判定する。ユーザが切除面４を指定する操作を行い、切除面４を指定する情報の入力があった場合はＹＥＳ判定となる。ＹＥＳ判定の場合、プロセッサ２０２は切除面決定工程Ｓ１６に移行し、指定された切除面４を距離計測の基準として決定する。
　一方、切除面指定工程Ｓ２８において、プロセッサ２０２が切除面４を指定する情報の入力がないと判定する場合はＮＯ判定となる。ＮＯ判定の場合、プロセッサ２０２は終了判定工程Ｓ３０へ移行する。
　ユーザ入力に基づき切除面４を編集する際に、切除面４と病変領域との最近接距離について、十分なマージンを持たない編集を受け付けない編集制限を実施する態様が好ましい。
　例えば、切除面４と病変領域との最近接距離が、予めユーザが指定した距離未満となる編集が指示された場合、編集が無効とされる態様を適用し得る。編集が無効とされる場合、ディスプレイ装置２１６へエラーメッセージを表示させてもよい。
　終了判定工程Ｓ３０において、プロセッサ２０２は、医療画像の表示を終了させるか否かを判定する。表示の終了条件は、ユーザによる終了指示の入力であってもよいし、プログラムに基づく終了指令であってもよい。終了条件を満たさず、終了判定工程Ｓ３０の判定結果がＮＯ判定の場合、プロセッサ２０２は表示工程Ｓ２２に移行して表示を継続する。
　一方、終了判定工程Ｓ３０において、ユーザが表示ウインドウを閉じる操作を行うなど、終了条件を満たした場合はＹＥＳ判定となる。ＹＥＳ判定の場合、プロセッサ２０２は表示を終了させて、図１２のフローチャートを終了する。
　なお、医療画像処理装置２０の処理機能は、複数のコンピュータを用いて処理を分担して実現することも可能である。
　［第一距離情報及び第二距離情報の表示例］
　図１３は三次元距離情報を二次元断面へ重畳表示させる一例を示すイメージ図である。同図には、任意のアキシャル断面における二次元断面画像を示す。同図に示す断面画像３００は、がん５が神経３と近接している領域において、ユーザである医師の指定に基づき切除ライン３０１が調整されている。
　切除ライン３０１におけるがん５の側の外側の縁領域には、切除ライン３０１とがん５との最隣接距離の分布を示す第一カラーマップ３０２が表示される。また、切除ライン３０１における神経３の側の外側の縁領域には、切除ライン３０１と神経３との最隣接距離の分布を示す第二カラーマップ３０４が表示される。
　切除ライン３０１の外側の縁領域は、切除ライン３０１と接触する領域を適用し得る。切除ライン３０１の外側の縁領域は、切除ライン３０１と非接触の領域を適用してもよい。
　切除ライン３０１から第一カラーマップ３０２までの距離は、切除ライン３０１の幅以下の距離又は第一カラーマップ３０２の幅以下の距離が好ましい。同様に、切除ライン３０１から第二カラーマップ３０４での距離は、切除ライン３０１の以下の距離又は第二カラーマップ３０４の幅以下の距離が好ましい。
　第一カラーマップ３０２は、切除ライン３０１における位置ごとの、切除ライン３０１とがん５との最隣接距離の分布を示す。図１３に示す切除ライン３０１は、切除ライン３０１とがん５との最隣接距離が短いほど線幅が細く、切除ライン３０１とがん５との最隣接距離が長いほど線幅が広い。なお、図示の都合上、図１３には均一の線幅を有する第一カラーマップ３０２を図示する。第二カラーマップ３０４についても同様である。
　第一カラーマップ３０２は、切除ライン３０１とがん５との最隣接距離が規定の閾値以下となる領域に任意の色が付される。第一カラーマップ３０２は、マウスオーバー及びクリック等のユーザ入力が取得される場合に、切除ライン３０１とがん５との最隣接距離の数値を表示させる態様を適用し得る。なお、図示の都合上、図１３に示す第一カラーマップ３０２は色が表現されていない。
　第二カラーマップ３０４についても同様である。第一カラーマップ３０２と第二カラーマップ３０４との色を異ならせて、第一カラーマップ３０２と第二カラーマップ３０４とを区別し得る。
　図１３には、切除ライン３０１の一部の領域について、第一カラーマップ３０２及び第二カラーマップ３０４が表示される断面画像３００を示す。第一カラーマップ３０２及び第二カラーマップ３０４は、切除ライン３０１の複数の領域に示されてもよい。
　すなわち、第一カラーマップ３０２は、切除ライン３０１とがん５との間の最隣接距離が規定の距離を超える領域について非表示とされてもよい。同様に、第二カラーマップ３０４は、切除ライン３０１と神経３との間の最隣接距離が規定の距離を超える領域について非表示とされてもよい。
　例えば、ユーザである医師の指定に応じて決定された切除ライン３０１の領域について、第一カラーマップ３０２及び第二カラーマップ３０４の少なくともいずれかが表示され得る。
　図１４は三次元距離情報を二次元断面へ重畳表示させる他の例を示すイメージ図である。同図に示す断面画像３１０は、切除ライン３０１の全領域に対して、第一カラーマップ３１２及び第二カラーマップ３１４が表示される。
　図１４に示す第一カラーマップ３１２は、図１３に示す第一カラーマップ３０２と同様の構成を適用し得る。同様に、図１４に示す第二カラーマップ３１４は、図１３に示す第二カラーマップ３０４と同様の構成を適用し得る。
　［ユーザインターフェースの具体例］
　次に、ユーザインターフェースの具体例について説明する。図１０に示すディスプレイ装置２１６は、図１２に示す各工程において実施される処理の結果を表す断面画像が表示される。
　病変領域抽出工程Ｓ１４において、ディスプレイ装置２１６は病変領域及び温存領域のセグメンテーションの結果を表示させる。例えば、ディスプレイ装置２１６は病変領域抽出工程Ｓ１４の処理結果として、図５に示す断面画像が表示される。
　切除面決定工程Ｓ１６において、ディスプレイ装置２１６は図５に示す断面画像に対して、図７に示す切除ライン４Ａ、図８に示す切除ライン４Ｂ及び図９に示す切除ライン４Ｃ等が、切除ラインの候補として重畳表示される。ディスプレイ装置２１６は、決定された切除ラインとして図９に示す切除ライン４Ｃを表示し得る。
　図１５は距離計測工程における第一距離計測の表示画面の例を示す模式図である。同図に示す表示ウインドウ３２０は、距離計測工程Ｓ１８における表示態様の例である。表示ウインドウ３２０は、病変領域抽出工程Ｓ１４及び切除面決定工程Ｓ１６における処理結果を表示させる際にも適用し得る。
　図１５に示す表示ウインドウ３２０は、メイン表示エリア３２２、第一サブ表示エリア３２４Ａ、第二サブ表示エリア３２４Ｂ及び第三サブ表示エリア３２４Ｃが含まれる。メイン表示エリア３２２は、表示ウインドウ３２０の中央に配置される。
　第一サブ表示エリア３２４Ａ、第二サブ表示エリア３２４Ｂ及び第三サブ表示エリア３２４Ｃは、同図におけるメイン表示エリア３２２の左側に配置される。第一サブ表示エリア３２４Ａ、第二サブ表示エリア３２４Ｂ及び第三サブ表示エリア３２４Ｃは、同図における上下方向に並べて配置される。
　図１５には、メイン表示エリア３２２へアキシャル断面画像が表示され、かつ、切除ライン３０１の任意の位置における切除ライン３０１とがん５との距離を示す矢印線３３２が、アキシャル断面画像へ重畳表示される。矢印線３３２に代わり、数値が表示されてもよい。
　図１５にはアキシャル断面画像として、図１４に示す断面画像３１０を図示する。図１６から図１９までの各図におけるアキシャル断面画像も同様である。
　図１６は距離計測工程における第二距離計測の表示画面の例を示す模式図である。図１６には、切除ライン３０１と神経３との距離を示す矢印線３３４が表示される例を示す。図１５に示す矢印線３３２及び図１６に示す矢印線３３４を同じ表示画面へ表示させてもよい。
　図１５に示す矢印線３３２及び図１６に示す矢印線３３４は、全ての距離計測位置について表示させてもよいし、代表的な測定位置などの一部の距離計測位置について表示させてもよい。
　図１７は第一カラーマップの表示例を示す模式図である。同図には、図１４に示す第一カラーマップ３１２を示す。図１７に示す第一カラーマップ３１２は、線幅を用いた最隣接距離の表示と色を用いた最隣接距離の表示とを併用する。すなわち、第一カラーマップ３１２は、切除ライン３０１とがん５との最隣接距離に応じて、切除ライン３０１とがん５との最隣接距離が相対的に短くなると濃度が濃くなる一方、切除ライン３０１とがん５との最隣接距離が相対的に長くなると濃度が薄くなる。
　例えば、第一カラーマップ３１２における第一カラー領域３１２Ａは、第二カラー領域３１２Ｂ及び第三カラー領域３１２Ｃと比較して濃度が濃く、第一カラー領域３１２Ａは、第二カラー領域３１２Ｂ及び第三カラー領域３１２Ｃと比較して、切除ライン３０１とがん５とが近接している。
　図１７に示す第一カラーマップ３１２は、切除ライン３０１とがん５との最隣接距離の変化を段階的に表すが、切除ライン３０１とがん５との最隣接距離の変化を連続的に表す第一カラーマップを適用してもよい。
　図１７に示す第一カラーマップ３１２は、濃度を適用して切除ライン３０１とがん５との最隣接距離の違いを表しているが、色彩、同一色の彩度、同一色の明度を適用して、濃度を適用して切除ライン３０１とがん５との最隣接距離の違いを表してもよい。図１８に示す第二カラーマップ３１４についても同様である。
　図１８は第二カラーマップの表示例を示す模式図である。同図には、図１４に示す第二カラーマップ３１４を示す。第二カラーマップ３１４は、図１７に示す第一カラーマップ３１２と同様に構成される。ここでは、第二カラーマップ３１４の詳細な説明を省略する。
　図１９は変形例に係るカラーマップの表示例を示す模式図である。図１９には、断面画像３１０に対して、第一カラーマップ３１２及び第二カラーマップ３１４を重畳表示させる例を示す。
　第一カラーマップ３１２又は第二カラーマップ３１４のいずれかを選択的に断面画像３１０へ重畳表示させてもよい。第一カラーマップ３１２のみを表示させる態様、第二カラーマップ３１４のみを表示させる態様及び第一カラーマップ３１２及び第二カラーマップ３１４の両者を表示させる態様をユーザ入力に応じて選択的に切り替えてもよい。
　図１５から図１９には、図１４に示す第一カラーマップ３１２及び第二カラーマップ３１４を表示させる態様を例示したが、図１３に示す第一カラーマップ３０２及び第二カラーマップ３０４を表示させてもよい。
　［ボリュームレンダリング画像への適用例］
　図１３に示す断面画像３００等と同様に、ボリュームレンダリング画像においても、図１３等に示す第一カラーマップ３０２に対応する第一距離情報及び第二カラーマップ３０４に対応する第二距離情報の重畳表示が可能である。
　図１０に示す表示画像生成部２３４は、複数の断面画像の一群から、ボリュームレンダリング画像を生成してもよい。表示画像生成部２３４は、ユーザの視点を変えた複数のボリュームレンダリング画像を生成し得る。表示画像生成部２３４は、ボリュームレンダリング画像に対応するカラーマップを生成し得る。
　図２０はボリュームレンダリング画像における三次元距離情報の表示例を示す模式図である。図２０にはボリュームレンダリング画像４００を、切除面４０２、切除対象の組織である腫瘍４０４及び温存対象の組織である血管４１０を上面から見た図を示す。
　なお、矢印線４２０は、切除面４０２を血管４１０の側から見る際の視点の方向を示す。また、矢印線４２２は、切除面４０２を腫瘍４０４の側から見る際の視点の方向を示す。
　腫瘍４０４は、切除面４０２と対向する位置に第一カラーマップ４０６Ａが重畳表示される。第一カラーマップ４０６Ａは、切除面４０２と腫瘍４０４との最隣接距離の情報を表す。第一カラーマップ４０６Ａは、切除面４０２の腫瘍４０４の側から見た場合のボリュームレンダリング画像に適用される。
　図２１は図２０を温存対象の組織の側から見た模式図である。図２１に示すボリュームレンダリング画像４２４は、切除面４０２の血管４１０の側の面に第一カラーマップ４０６Ｂが表示される。
　切除面４０２における第一カラーマップ４０６Ｂの位置は、腫瘍４０４を切除面４０２へ投影した際の腫瘍４０４の位置に対応する。腫瘍４０４の位置は腫瘍４０４の重心の位置を適用し得る。第一カラーマップ４０６Ｂの形状は、腫瘍４０４を切除面４０２へ投影した際の腫瘍４０４の形状に対応する。
　第一カラーマップ４０６Ｂは、切除面４０２の血管４１０の側と反対の側にあり、ボリュームレンダリング画像４２４において視認されない腫瘍４０４と切除面４０２との最隣接距離を示す。第一カラーマップ４０６Ｂは、切除面４０２及び血管４１０と区別し得る色が適用される。
　第一カラーマップ４０６Ｂは、腫瘍４０４と切除面４０２との最隣接距離に応じた濃度が適用される。例えば、腫瘍４０４と切除面４０２との最隣接距離が相対的に短くなる場合、第一カラーマップ４０６Ｂの濃度は相対的に濃くされる。
　ボリュームレンダリング画像４２４は、切除面４０２と血管４１０との最隣接距離を表す第二カラーマップを重畳表示させてもよい。図２１では、第二カラーマップの図示を省略する。
　図２２は図２０を切除対象の組織の側から見た模式図である。図２２に示すボリュームレンダリング画像４３０は、切除面４０２の腫瘍４０４の側の面に第二カラーマップ４１２Ｂが重畳表示される。
　第二カラーマップ４１２Ｂは、切除面４０２の腫瘍４０４の側と反対の側にあり、ボリュームレンダリング画像４３０において視認されない血管４１０と切除面４０２との最隣接距離を示す。第一カラーマップ４０６Ｂは、切除面４０２及び腫瘍４０４と区別し得る色が適用される。
　ボリュームレンダリング画像４３０は、切除面４０２と腫瘍４０４との最隣接距離を表す第一カラーマップを重畳表示させてもよい。図２２では、第一カラーマップの図示を省略する。
　切除面４０２における第二カラーマップ４１２Ｂの位置、第二カラーマップ４１２Ｂの形状及び切除面４０２と血管４１０との最隣接距離の表示態様は、図２１に示す第一カラーマップ４０６Ｂと同様である。
　図２３は図２０に示す各組織に適用される三次元距離情報の表示例を示す模式図である。図２３に示すボリュームレンダリング画像４４０は、切除面４０２と腫瘍４０４との最隣接距離を表す第一カラーマップ４０６Ａ及び切除面４０２と血管４１０との最隣接距離を表す第二カラーマップ４１２Ａが重畳表示される。
　第一カラーマップ４０６Ａは、切除面４０２の腫瘍４０４の側の組織であり、切除面４０２と腫瘍４０４との間の組織に表示される。第二カラーマップ４１２Ａは、切除面４０２の血管４１０の側の組織であり、切除面４０２と血管４１０との間の組織に表示される。
　すなわち、温存対象の組織の側の視点から見たボリュームレンダリング画像は、切除対象の組織が切除面の反対の側にあり、切除対象の組織が見えない場合、切除面へ第一カラーマップを表示させる。また、切除面と温存対象の組織との間の組織へ第二カラーマップを表示させる。
　同様に、切除対象の組織の側の視点から見たボリュームレンダリング画像は、温存対象の組織が切除面の反対の側にあり、温存対象の組織が見えない場合、切除面へ第二カラーマップを表示させる。また、切除面と温存対象の組織との間の組織へ第一カラーマップを表示させる。
　［医療情報システムへの適用例］
　図２４は実施形態に係る医療画像処理装置を含む医療情報システムの構成例を示すブロック図である。医療情報システム１００は、病院などの医療機関に構築されるコンピュータネットワークである。
　医療情報システム１００は、医療画像を撮影するモダリティ３０、ＤＩＣＯＭサーバ４０、医療画像処理装置２０、電子カルテシステム４４及びビューワ端末４６とを備える。医療情報システム１００の構成要素は、通信回線４８を介して接続される。通信回線４８は、医療機関内の構内通信回線であってよい。また通信回線４８の一部は、広域通信回線であってもよい。
　モダリティ３０の例として、ＣＴ装置３１、ＭＲＩ装置３２、超音波診断装置３３、ＰＥＴ装置３４、Ｘ線診断装置３５、Ｘ線透視診断装置３６及び内視鏡装置３７等が挙げられる。通信回線４８に接続されるモダリティ３０の種類は、医療機関ごとに様々な組み合わせがあり得る。なお、ＰＥＴはPositron Emission Tomographyの省略語である。
　ＤＩＣＯＭサーバ４０は、ＤＩＣＯＭの仕様にて動作するサーバである。ＤＩＣＯＭサーバ４０は、モダリティ３０を用いて撮影された画像を含む各種データを保存し、管理するコンピュータであり、大容量外部記憶装置及びデータベース管理用プログラムを備えている。
　ＤＩＣＯＭサーバ４０は、通信回線４８を介して他の装置と通信を行い、画像データを含む各種データを送受信する。ＤＩＣＯＭサーバ４０は、モダリティ３０を用いて生成された画像データその他の含む各種データを通信回線４８経由で受信し、大容量外部記憶装置等の記録媒体に保存して管理する。なお、画像データの格納形式及び通信回線４８経由での各装置間の通信は、ＤＩＣＯＭのプロトコルに基づいている。
　医療画像処理装置２０は、通信回線４８を介してＤＩＣＯＭサーバ４０等からデータを取得することができる。また、医療画像処理装置２０は、処理結果をＤＩＣＯＭサーバ４０及びビューワ端末４６に送ることができる。医療画像処理装置２０は、医療画像処理装置２０の処理機能は、ＤＩＣＯＭサーバ４０に搭載されてもよいし、ビューワ端末４６に搭載されてもよい。
　ＤＩＣＯＭサーバ４０のデータベースに保存された各種データ、並びに医療画像処理装置２０により生成された処理結果を含む様々な情報は、ビューワ端末４６に表示させることができる。
　ビューワ端末４６は、ＰＡＣＳビューワ、あるいはＤＩＣＯＭビューワと呼ばれる画像閲覧用の端末である。通信回線４８には複数のビューワ端末４６が接続され得る。ビューワ端末４６の形態は特に限定されず、パーソナルコンピュータであってもよいし、ワークステーションであってもよく、また、タブレット端末などであってもよい。ビューワ端末４６の入力装置から病変領域の指定及び計測基準面の指定などを行うことができるように構成されてよい。
　［コンピュータを動作させるプログラムへの適用例］
　医療画像処理装置２０における処理機能のコンピュータに実現させるプログラムを、光ディスク、磁気ディスク及び半導体メモリその他の有体物たる非一時的な情報記憶媒体であるコンピュータ可読媒体に記憶し、情報記憶媒体を通じてプログラムを提供することが可能である。
　また、有体物たる非一時的なコンピュータ可読媒体にプログラムを記憶させて提供する態様に代えて、インターネットなどの電気通信回線を利用してプログラム信号をダウンロードサービスとして提供することも可能である。
　［各処理部のハードウェア構成について］
　医療画像処理装置２０における画像取得部２２２、病変領域抽出部２２４、病変領域入力受付部２２６、切除面抽出部２２８、切除面入力受付部２３０、距離計測部２３２及び表示画像生成部２３４などの各種の処理を実行する処理部のハードウェア的な構造は、例えば、次に示すような各種のプロセッサ（processor）である。なお、処理部はprocessing unitと称される態様が含まれ得る。プロセッサは英語表示であるprocessorと称される場合があり得る。
　各種のプロセッサには、プログラムを実行して各種の処理部として機能する汎用的なプロセッサであるＣＰＵ、画像処理に特化したプロセッサであるＧＰＵ、ＦＰＧＡなどの製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス、ＡＳＩＣなどの特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路などが含まれる。
　なお、ＦＰＧＡはField Programmable Gate Arrayの省略語である。ＡＳＩＣはApplication Specific Integrated Circuitの省略語である。プログラマブルロジックデバイスは、英語表記であるProgrammable Logic Deviceの省略語を用いてＰＬＤと称され得る。
　一つの処理部は、これら各種のプロセッサのうちの一つで構成されていてもよいし、同種または異種の２つ以上のプロセッサで構成されてもよい。例えば、一つの処理部は、複数のＦＰＧＡ、あるいは、ＣＰＵとＦＰＧＡの組み合わせ、またはＣＰＵとＧＰＵの組み合わせによって構成されてもよい。また、複数の処理部を一つのプロセッサで構成してもよい。複数の処理部を一つのプロセッサで構成する例としては、第一に、クライアントやサーバなどのコンピュータに代表されるように、一つ以上のＣＰＵとソフトウェアの組み合わせで一つのプロセッサを構成し、このプロセッサが複数の処理部として機能する形態がある。第二に、システムオンチップなどに代表されるように、複数の処理部を含むシステム全体の機能を一つのＩＣチップで実現するプロセッサを使用する形態がある。このように、各種の処理部は、ハードウェア的な構造として、上記各種のプロセッサを一つ以上用いて構成される。
　なお、システムオンチップは英語表記であるSystem On Chipの省略語を用いてＳｏＣと称され得る。ＩＣはIntegrated Circuitの省略語である。
　さらに、これらの各種のプロセッサのハードウェア的な構造は、より具体的には、半導体素子などの回路素子を組み合わせた電気回路である。なお、電気回路は英語表記であるcircuitryを用いて称され得る。
　［実施形態に係る医療画像処理装置の作用効果］
　実施形態に係る医療画像処理装置２０は、以下の作用効果が得られる。
　〔１〕
　病変領域等の切除対象の組織を切除する際に、切除対象の組織と温存対象の組織との間に切除面が指定され、切除面と切除対象の組織との最隣接距離及び切除面と温存対象の組織との最隣接距離が計測される。計測結果に基づき、切除面と切除対象の組織との最隣接距離の情報を表す第一距離情報及び切除面と温存対象の組織との最隣接距離の情報を表す第二距離情報が二次元断面画像へ重畳表示される。これにより、切除対象の組織を切除する際の切除面の決定を支援し得る。
　〔２〕
　断面画像へ表示される第一距離情報は、切除面の切除対象の組織の側であり、切除面の外側の縁領域へ表示される。これにより、切除面の視認性の低下が抑制され、かつ、第一距離情報の視認性及び第一距離が適用される側を一目で把握し得る。
　〔３〕
　断面画像へ表示される第二距離情報は、切除面の温存対象の組織の側であり、切除面の外側の縁領域へ表示される。これにより、切除面の視認性の低下が抑制され、かつ、第二距離情報の視認性及び第一距離が適用される側を一目で把握し得る。
　〔４〕
　ボリュームレンダリング画像へ表示される第一距離情報は、切除面の温存対象の組織の側に表示される。これにより、切除面に隠れる切除対象の組織に対応する第一距離情報を視認し得る。
　〔５〕
　ボリュームレンダリング画像へ表示される第二距離情報は、切除面の切除対象の組織の側に表示される。これにより、切除面に隠れる温存対象の組織に対応する第二距離情報を視認し得る。
　〔６〕
　第一距離情報及び第二距離情報は、カラーマップが適用される。これにより、第一距離情報及び第二距離情報を見たユーザは、一目で第一距離情報の内容を把握し得る。
　以上説明した本発明の実施形態は、本発明の趣旨を逸脱しない範囲で、適宜構成要件を変更、追加、削除することが可能である。本発明は以上説明した実施形態に限定されるものではなく、本発明の技術的思想内で当該分野の通常の知識を有する者により、多くの変形が可能である。また、実施形態、変形例及び応用例は適宜組み合わせて実施してもよい。
１　直腸
２　脂肪
３　神経
４　切除面
４Ａ　切除ライン
４Ｂ　切除ライン
４Ｃ　切除ライン
５　がん
６　境界
７　領域
２０　医療画像処理装置
３０　モダリティ
３１　ＣＴ装置
３２　ＭＲＩ装置
３３　超音波診断装置
３４　ＰＥＴ装置
３５　Ｘ線診断装置
３６　Ｘ線透視診断装置
３７　内視鏡装置
４０　ＤＩＣＯＭサーバ
４４　電子カルテシステム
４６　ビューワ端末
４８　通信回線
１００　医療情報システム
２０２　プロセッサ
２０４　コンピュータ可読媒体
２０６　通信インターフェース
２０８　入出力インターフェース
２１０　バス
２１４　入力装置
２１６　ディスプレイ装置
２２０　医療画像処理プログラム
２２２　画像取得部
２２４　病変領域抽出部
２２６　病変領域入力受付部
２２８　切除面抽出部
２３０　切除面入力受付部
２３２　距離計測部
２３４　表示画像生成部
２６０　表示制御プログラム
３００　断面画像
３０２　第一カラーマップ
３０４　第二カラーマップ
３１０　断面画像
３１２　第一カラーマップ
３１２Ａ　第一カラー領域
３１２Ｂ　第二カラー領域
３１２Ｃ　第三カラー領域
３１４　第二カラーマップ
３２０　表示ウインドウ
３２２　メイン表示エリア
３２４Ａ　第一サブ表示エリア
３２４Ｂ　第二サブ表示エリア
３２４Ｃ　第三サブ表示エリア
３３２　矢印線
３３４　矢印線
４０２　切除面
４０４　腫瘍
４０６Ａ　第一カラーマップ
４０６Ｂ　第一カラーマップ
４１０　血管
４１２Ａ　第二カラーマップ
４１２Ｂ　第二カラーマップ
４２０　矢印線
４２２　矢印線
４２４　ボリュームレンダリング画像
４３０　ボリュームレンダリング画像
４４０　ボリュームレンダリング画像
ＭＥ　直腸間膜
ＭＰ　固有筋層
ＴＵ　がん
Ｓ１２～Ｓ３０　医療画像処理方法の各ステップ

Claims (13)

  1. 　プロセッサと、
    　前記プロセッサを用いて実行されるプログラムが記憶される記憶装置と、を備える医療画像処理装置であって、
    　前記プロセッサは、前記プログラムの命令を実行して、
    　三次元の医療画像を取得し、
    　前記医療画像において特定される第一領域を分離する際の分離面を設定し、
    　前記第一領域の表面における任意の位置と前記分離面との最隣接距離である第一距離を計測し、
    　前記医療画像において特定される第二領域の表面における任意の位置と前記分離面との最隣接距離である第二距離を計測し、
    　前記医療画像をディスプレイ装置へ表示させる際に、前記第一距離を表す第一距離情報及び前記第二距離を表す第二距離情報の少なくともいずれかを表示させる医療画像処理装置。
  2. 　前記プロセッサは、
    　前記医療画像における任意の断面に対応する断面画像を前記ディスプレイ装置へ表示させる際に、前記分離面の前記第一領域の側における外側の縁領域へ、前記第一距離情報を表示させる請求項１に記載の医療画像処理装置。
  3. 　前記プロセッサは、
    　前記医療画像における任意の断面に対応する断面画像を前記ディスプレイ装置へ表示させる際に、前記分離面の前記第二領域の側における外側の縁領域へ、前記第二距離情報を表示させる請求項１又は２に記載の医療画像処理装置。
  4. 　前記プロセッサは、
    　色を用いて距離を表すカラーマップを適用して、前記第一距離情報及び前記第二距離情報を表示させる請求項１から３のいずれか一項に記載の医療画像処理装置。
  5. 　前記プロセッサは、
    　前記医療画像に対応するボリュームレンダリング画像を前記ディスプレイ装置へ表示させ、
    　前記第一距離情報及び前記第二距離情報の少なくともいずれかを、前記ボリュームレンダリング画像へ重畳表示させる請求項１に記載の医療画像処理装置。
  6. 　前記プロセッサは、
    　前記ボリュームレンダリング画像におけるユーザの視点に応じて、前記第一距離情報の表示態様及び前記第二距離情報の表示態様を変更する請求項５に記載の医療画像処理装置。
  7. 　前記プロセッサは、
    　前記ボリュームレンダリング画像において、前記第一領域が前記分離面の前記ユーザの視点の側に存在する場合に、前記第一距離情報を前記第一領域へ重畳表示させる請求項６に記載の医療画像処理装置。
  8. 　前記プロセッサは、
    　前記ボリュームレンダリング画像において、前記第二領域が前記分離面の前記ユーザの視点の反対の側に存在する場合に、前記分離面へ前記第二距離情報を重畳表示させる請求項６又は７に記載の医療画像処理装置。
  9. 　前記プロセッサは、
    　前記ボリュームレンダリング画像において、前記第一領域が前記分離面の前記ユーザの視点の反対の側に存在する場合に、前記分離面へ前記第一距離情報を重畳表示させる請求項６に記載の医療画像処理装置。
  10. 　前記プロセッサは、
    　前記ボリュームレンダリング画像において、前記第二領域が前記分離面の前記ユーザの視点の側に存在する場合に、前記第二距離情報を前記第二領域へ重畳表示させる請求項６又は９に記載の医療画像処理装置。
  11. 　コンピュータが、
    　三次元の医療画像を取得し、
    　前記医療画像において特定される第一領域を分離する際の分離面を設定し、
    　前記第一領域の表面における任意の位置と前記分離面との最隣接距離である第一距離を計測し、
    　前記医療画像において特定される第二領域の表面における任意の位置と前記分離面との最隣接距離である第二距離を計測し、
    　前記医療画像をディスプレイ装置へ表示させる際に、前記第一距離を表す第一距離情報及び前記第二距離を表す第二距離情報の少なくともいずれかを表示させる医療画像処理方法。
  12. 　コンピュータに、
    　三次元の医療画像を取得する機能、
    　前記医療画像において特定される第一領域を分離する際の分離面を設定する機能、
    　前記第一領域の表面における任意の位置と前記分離面との最隣接距離である第一距離を計測する機能、
    　前記医療画像において特定される第二領域の表面における任意の位置と前記分離面との最隣接距離である第二距離を計測する機能、及び
    　前記医療画像をディスプレイ装置へ表示させる際に、前記第一距離を表す第一距離情報及び前記第二距離を表す第二距離情報の少なくともいずれかを表示させる機能を実現させるプログラム。
  13. 　非一時的かつコンピュータ読取可能な記録媒体であって、請求項１２に記載のプログラムが記録された記録媒体。
PCT/JP2022/006046 2021-02-22 2022-02-16 医療画像処理装置、医療画像処理方法及びプログラム WO2022176874A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
EP22756192.5A EP4295762A1 (en) 2021-02-22 2022-02-16 Medical image processing device, medical image processing method, and program
JP2023500869A JPWO2022176874A1 (ja) 2021-02-22 2022-02-16
US18/452,568 US20230394672A1 (en) 2021-02-22 2023-08-21 Medical image processing apparatus, medical image processing method, and program

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2021026334 2021-02-22
JP2021-026334 2021-02-22

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US18/452,568 Continuation US20230394672A1 (en) 2021-02-22 2023-08-21 Medical image processing apparatus, medical image processing method, and program

Publications (1)

Publication Number Publication Date
WO2022176874A1 true WO2022176874A1 (ja) 2022-08-25

Family

ID=82931776

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/006046 WO2022176874A1 (ja) 2021-02-22 2022-02-16 医療画像処理装置、医療画像処理方法及びプログラム

Country Status (4)

Country Link
US (1) US20230394672A1 (ja)
EP (1) EP4295762A1 (ja)
JP (1) JPWO2022176874A1 (ja)
WO (1) WO2022176874A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024122027A1 (ja) * 2022-12-08 2024-06-13 国立研究開発法人国立がん研究センター 画像処理装置、手術支援システム、画像処理方法及びプログラム

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10309281A (ja) * 1997-05-13 1998-11-24 Olympus Optical Co Ltd 蛍光診断装置
JP2009022369A (ja) 2007-07-17 2009-02-05 Toshiba Corp 医用画像撮影装置、医用画像処理装置および医用画像処理プログラム
JP2011218037A (ja) 2010-04-13 2011-11-04 Toshiba Corp 医用画像処理装置及び脂肪領域計測用制御プログラム
JP2012165910A (ja) * 2011-02-15 2012-09-06 Fujifilm Corp 手術支援装置、手術支援方法および手術支援プログラム
JP2016039874A (ja) 2014-08-13 2016-03-24 富士フイルム株式会社 内視鏡画像診断支援装置、システム、方法およびプログラム
WO2017047820A1 (ja) 2015-09-18 2017-03-23 イービーエム株式会社 病変血流特徴量可視化装置、その方法、及びそのコンピュータソフトウェアプログラム
US20180055575A1 (en) * 2016-09-01 2018-03-01 Covidien Lp Systems and methods for providing proximity awareness to pleural boundaries, vascular structures, and other critical intra-thoracic structures during electromagnetic navigation bronchoscopy
JP2020074926A (ja) * 2018-11-07 2020-05-21 ソニー株式会社 医療用観察システム、信号処理装置及び医療用観察方法
JP2020120828A (ja) 2019-01-29 2020-08-13 ザイオソフト株式会社 医用画像処理装置、医用画像処理方法、及び医用画像処理プログラム

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10309281A (ja) * 1997-05-13 1998-11-24 Olympus Optical Co Ltd 蛍光診断装置
JP2009022369A (ja) 2007-07-17 2009-02-05 Toshiba Corp 医用画像撮影装置、医用画像処理装置および医用画像処理プログラム
JP2011218037A (ja) 2010-04-13 2011-11-04 Toshiba Corp 医用画像処理装置及び脂肪領域計測用制御プログラム
JP2012165910A (ja) * 2011-02-15 2012-09-06 Fujifilm Corp 手術支援装置、手術支援方法および手術支援プログラム
JP2016039874A (ja) 2014-08-13 2016-03-24 富士フイルム株式会社 内視鏡画像診断支援装置、システム、方法およびプログラム
WO2017047820A1 (ja) 2015-09-18 2017-03-23 イービーエム株式会社 病変血流特徴量可視化装置、その方法、及びそのコンピュータソフトウェアプログラム
US20180055575A1 (en) * 2016-09-01 2018-03-01 Covidien Lp Systems and methods for providing proximity awareness to pleural boundaries, vascular structures, and other critical intra-thoracic structures during electromagnetic navigation bronchoscopy
JP2020074926A (ja) * 2018-11-07 2020-05-21 ソニー株式会社 医療用観察システム、信号処理装置及び医療用観察方法
JP2020120828A (ja) 2019-01-29 2020-08-13 ザイオソフト株式会社 医用画像処理装置、医用画像処理方法、及び医用画像処理プログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
YUSUKE KINUGASA: "A dissection layer for the operation of the perirectal fascia and function-preserving rectal cancer as viewed from surgeons", JAPANESE RESEARCH SOCIETY OF CLINICAL ANATOMY, 8 September 2012 (2012-09-08)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024122027A1 (ja) * 2022-12-08 2024-06-13 国立研究開発法人国立がん研究センター 画像処理装置、手術支援システム、画像処理方法及びプログラム

Also Published As

Publication number Publication date
JPWO2022176874A1 (ja) 2022-08-25
US20230394672A1 (en) 2023-12-07
EP4295762A1 (en) 2023-12-27

Similar Documents

Publication Publication Date Title
Fang et al. Consensus recommendations of three-dimensional visualization for diagnosis and management of liver diseases
US10083515B2 (en) Method and system for segmenting medical imaging data according to a skeletal atlas
WO2015161728A1 (zh) 三维模型的构建方法及装置、图像监控方法及装置
US20120249546A1 (en) Methods and systems for visualization and analysis of sublobar regions of the lung
JP4688361B2 (ja) 臓器の特定領域抽出表示装置及びその表示方法
US9443161B2 (en) Methods and systems for performing segmentation and registration of images using neutrosophic similarity scores
US10524823B2 (en) Surgery assistance apparatus, method and program
US20130257910A1 (en) Apparatus and method for lesion diagnosis
US20200242776A1 (en) Medical image processing apparatus, medical image processing method, and system
US9649167B2 (en) Pattern and surgery support set, apparatus, method and program
KR20220026534A (ko) 딥러닝 기반의 조직 절제 계획 방법
JP7164345B2 (ja) 医用画像処理装置、医用画像処理方法、及び医用画像処理プログラム
US20230394672A1 (en) Medical image processing apparatus, medical image processing method, and program
JP4193201B2 (ja) 臓器の切除領域抽出表示装置
US9123163B2 (en) Medical image display apparatus, method and program
JP2007014483A (ja) 医用診断装置及び診断支援装置
JP6066197B2 (ja) 手術支援装置、方法およびプログラム
WO2022176873A1 (ja) 医療画像処理装置、医療画像処理方法およびプログラム
JP2019165923A (ja) 診断支援システム及び診断支援方法
JP5992853B2 (ja) 手術支援装置、方法およびプログラム
Paolucci et al. Ultrasound based planning and navigation for non-anatomical liver resections–an Ex-Vivo study
US11941808B2 (en) Medical image processing device, medical image processing method, and storage medium
US11657547B2 (en) Endoscopic surgery support apparatus, endoscopic surgery support method, and endoscopic surgery support system
Sun et al. Digital kidney for planning in laparoscopic partial nephrectomy
WO2022270150A1 (ja) 画像処理装置、方法およびプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22756192

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2023500869

Country of ref document: JP

WWE Wipo information: entry into national phase

Ref document number: 2022756192

Country of ref document: EP

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2022756192

Country of ref document: EP

Effective date: 20230922