WO2020166247A1 - 病変領域分割装置、医用画像診断システム、病変領域分割方法及びプログラムが格納された非一時的なコンピュータ可読媒体 - Google Patents
病変領域分割装置、医用画像診断システム、病変領域分割方法及びプログラムが格納された非一時的なコンピュータ可読媒体 Download PDFInfo
- Publication number
- WO2020166247A1 WO2020166247A1 PCT/JP2020/000712 JP2020000712W WO2020166247A1 WO 2020166247 A1 WO2020166247 A1 WO 2020166247A1 JP 2020000712 W JP2020000712 W JP 2020000712W WO 2020166247 A1 WO2020166247 A1 WO 2020166247A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- image
- division number
- ratio
- lesion area
- magnification
- Prior art date
Links
- 230000003902 lesion Effects 0.000 title claims abstract description 294
- 238000000034 method Methods 0.000 title claims description 43
- 238000004364 calculation method Methods 0.000 claims abstract description 97
- 230000011218 segmentation Effects 0.000 claims 1
- 238000003745 diagnosis Methods 0.000 abstract description 23
- 230000006866 deterioration Effects 0.000 abstract description 11
- 238000012545 processing Methods 0.000 description 27
- 238000010586 diagram Methods 0.000 description 17
- 230000006870 function Effects 0.000 description 14
- 238000004891 communication Methods 0.000 description 8
- 239000000284 extract Substances 0.000 description 7
- 230000008569 process Effects 0.000 description 6
- 230000009471 action Effects 0.000 description 4
- 230000001575 pathological effect Effects 0.000 description 4
- 230000000052 comparative effect Effects 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 239000011159 matrix material Substances 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 238000002591 computed tomography Methods 0.000 description 2
- 238000002405 diagnostic procedure Methods 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 238000002595 magnetic resonance imaging Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 206010028980 Neoplasm Diseases 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 201000011510 cancer Diseases 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 239000000470 constituent Substances 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000009545 invasion Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000036210 malignancy Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4007—Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00002—Operational features of endoscopes
- A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
- A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
- A61B1/000094—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope extracting biological structures
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/44—Detecting, measuring or recording for evaluating the integumentary system, e.g. skin, hair or nails
- A61B5/441—Skin evaluation, e.g. for skin disorder diagnosis
- A61B5/444—Evaluating skin marks, e.g. mole, nevi, tumour, scar
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4084—Scaling of whole images or parts thereof, e.g. expanding or contracting in the transform domain, e.g. fast Fourier transform [FFT] domain scaling
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/387—Composing, repositioning or otherwise geometrically modifying originals
- H04N1/3872—Repositioning or masking
- H04N1/3873—Repositioning or masking defined only by a limited number of coordinate points or parameters, e.g. corners, centre; for trimming
- H04N1/3875—Repositioning or masking defined only by a limited number of coordinate points or parameters, e.g. corners, centre; for trimming combined with enlarging or reducing
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00002—Operational features of endoscopes
- A61B1/00043—Operational features of endoscopes provided with output arrangements
- A61B1/00045—Display arrangement
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20021—Dividing image into blocks, subimages or windows
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30096—Tumor; Lesion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
Definitions
- the present invention relates to a lesion area dividing device, a medical image diagnostic system, a lesion area dividing method, and a non-transitory computer-readable medium storing a program.
- Patent Document 1 discloses an endoscopic image diagnosis support system for identifying a pathological type in an identification target region in an endoscopic image.
- the endoscopic image diagnosis support system according to Patent Document 1 performs feature amount matching between the image of the identification target region and each subdivided region of the identification target region and the learning image group to perform identification in the identification target region and each subdivided region. Compute the identification probabilities for each pathological type.
- Patent Document 2 discloses an endoscope apparatus that freely sets a region to be enlarged in a normal observation image according to an observation situation.
- the endoscope apparatus according to Patent Literature 2 sets the enlargement display area by defining one of the vertical and horizontal enlargement ratios of the input regulation area defined by the input operation of the operator as the enlargement ratio of the entire enlarged display area.
- Patent Document 3 discloses an image file system capable of filing high-quality image information.
- the image file system according to Patent Document 3 divides an input signal into a plurality of image signals and transmits the plurality of image signals to an image recording/reproducing apparatus, and combines the divided image signals into the original image signals.
- the scan window is hierarchically subdivided to identify the pathological type of the affected area having a complicated shape that is not rectangular. Therefore, the accuracy of lesion diagnosis may deteriorate depending on the size and shape of the subdivided scan window. Furthermore, it is difficult to suppress the deterioration of the accuracy of lesion diagnosis even by using the techniques according to Patent Documents 2 and 3.
- the object of the present disclosure is made to solve such a problem, and it is possible to suppress the deterioration of the accuracy of lesion diagnosis without depending on the shape of the lesion area of the medical image.
- An object is to provide an apparatus, a medical image diagnostic system, a lesion area dividing method, and a program.
- a lesion area dividing device includes a rectangle creating unit that creates a rectangle circumscribing a lesion area of a medical image, an image aspect ratio of an input image input to a device for identifying a lesion, and a vertical direction of the rectangle.
- the number of divisions for calculating a division number ratio which is the ratio of the number of divisions in the vertical direction to the number of divisions in the horizontal direction when dividing the lesion area, based on the rectangular aspect ratio, which is the ratio of the length to the length in the horizontal direction.
- a ratio calculation means for calculating a vertical and horizontal resizing magnification of a rectangular image surrounded by the rectangle and including the lesion area according to the division number ratio, and the rectangular image with the resizing magnification.
- a dividing means for dividing the resized rectangular image into one or more images so that the size of each image after division corresponds to the size of the input image.
- the medical image diagnostic system includes a lesion area dividing device that divides a lesion area of a medical image, and a lesion identifying device that identifies a lesion using the divided lesion area, and the lesion area
- the dividing device is a rectangle creating unit that creates a rectangle circumscribing the lesion area, an image aspect ratio of an input image input to the lesion identifying device, and a ratio of the length in the vertical direction to the length in the horizontal direction of the rectangle.
- the division number ratio calculating means for calculating a division number ratio, which is a ratio of the vertical division number to the horizontal division number when dividing the lesion area, and the division number ratio.
- the magnification calculation means for calculating the vertical and horizontal resizing magnification of the rectangular image surrounded by the rectangle and containing the lesion area
- the resizing means for resizing the rectangular image at the resizing magnification, after division And a dividing unit that divides the resized rectangular image into one or more images so that the size of each image corresponds to the size of the input image.
- the images are used to identify lesions.
- the lesion area dividing method creates a rectangle circumscribing a lesion area of a medical image, and an image aspect ratio of an input image input to a device for identifying a lesion, and a vertical length of the rectangle. Based on the rectangular aspect ratio, which is the ratio to the length in the horizontal direction, a division number ratio, which is the ratio of the division number in the vertical direction to the division number in the horizontal direction when dividing the lesion area, is calculated, and the division number is calculated.
- the ratio calculate the vertical and horizontal resize magnification of the rectangular image surrounded by the rectangle and containing the lesion area, resize the rectangular image at the resize magnification, the size of each image after division
- the resized rectangular image is divided into one or more images corresponding to the size of the input image.
- a program according to the present disclosure includes a step of creating a rectangle circumscribing a lesion area of a medical image, an image aspect ratio of an input image input to a device for identifying a lesion, a vertical length and a horizontal length of the rectangle.
- a division number ratio which is a ratio of a division number in the vertical direction to a division number in the horizontal direction when dividing the lesion area based on a rectangular aspect ratio which is a ratio with a length in the direction;
- a step of calculating the resize magnification in each of the vertical direction and the horizontal direction of the rectangular image surrounded by the rectangle and containing the lesion area a step of resizing the rectangular image with the resize magnification, and Splitting the resized rectangular image into one or more images such that the size of each image corresponds to the size of the input image.
- a lesion area dividing device capable of suppressing deterioration in accuracy of lesion diagnosis regardless of the shape of a lesion area of a medical image are provided. it can.
- FIG. 1 is a diagram showing an outline of a lesion area dividing device according to an embodiment of the present disclosure.
- 1 is a block diagram showing a configuration of a medical image diagnostic system according to a first embodiment.
- 3 is a flowchart showing a medical image diagnostic method executed by the medical image diagnostic system according to the first embodiment.
- FIG. 5 is a diagram for explaining processing of a division number ratio calculation unit according to the first exemplary embodiment.
- FIG. 6 is a diagram for explaining processing by the image resizing unit according to the first exemplary embodiment.
- FIG. 6 is a diagram for explaining processing by the image resizing unit according to the first exemplary embodiment. It is a figure for demonstrating the effect
- FIG. 1 is a block diagram schematically showing a hardware configuration example of a calculation processing device applicable to the medical image diagnostic system according to the first embodiment.
- FIG. 1 is a diagram showing an outline of a lesion area dividing device 1 according to an embodiment of the present disclosure.
- the lesion area dividing device 1 has a function as a computer, for example.
- the lesion area dividing device 1 includes a rectangle creating unit 2, a division number ratio calculating unit 3, a magnification calculating unit 4, a resizing unit 5, and a dividing unit 6.
- the rectangle creating unit 2 has a function as a rectangle creating unit.
- the division number ratio calculation unit 3 has a function as division number ratio calculation means.
- the magnification calculator 4 has a function as a magnification calculator.
- the resizing unit 5 has a function as resizing means.
- the dividing unit 6 has a function as a dividing unit.
- the rectangle creation unit 2 creates a rectangle circumscribing the lesion area of the medical image.
- the division number ratio calculation unit 3 performs division based on the image aspect ratio of the input image input to the apparatus for identifying a lesion and the rectangular aspect ratio that is the ratio of the length in the vertical direction of the rectangle to the length in the horizontal direction. Calculate the number ratio.
- the division number ratio is the ratio of the number of divisions in the vertical direction to the number of divisions in the horizontal direction when dividing the lesion area.
- the magnification calculation unit 4 calculates the resizing magnification in each of the vertical direction and the horizontal direction of the rectangular image surrounded by the rectangle and including the lesion area according to the division number ratio.
- the resizing unit 5 resizes the rectangular image at the resizing magnification (changes the size of the rectangular image).
- the dividing unit 6 divides the resized rectangular image into one or more images so that the size of each divided image corresponds to the size of the input image.
- the size of the image (input image) input to the device used for diagnosis is often constant. Therefore, the medical image can be divided and enlarged or reduced according to the size of the input image. In this case, if the medical image is subdivided too much, the subdivided image needs to be greatly enlarged according to the size of the input image. As a result, the accuracy of diagnosis may deteriorate.
- the shape of the lesion area of the medical image is various and may be vertically long or horizontally long. In this case, if the vertically long lesion area is greatly enlarged in the horizontal direction so as to match the aspect ratio of the input image, the shape of the lesion area is significantly changed. As a result, the accuracy of diagnosis may deteriorate.
- the lesion area dividing device 1 determines the image aspect ratio of the input image input to the apparatus for identifying a lesion and the rectangular aspect ratio of the rectangular image of the lesion area as described above. It is configured to divide the rectangular image in consideration. This makes it possible to divide the rectangular image so as to correspond to the size of the input image while minimizing the change in the rectangular aspect ratio. Therefore, the lesion area dividing device 1 according to the present embodiment can suppress deterioration in accuracy of lesion diagnosis without depending on the shape of the lesion area in the medical image.
- the accuracy of lesion diagnosis does not depend on the shape of the lesion area of the medical image. Can be suppressed. Further, even if the lesion area dividing method executed by the lesion area dividing apparatus 1 is used, it is possible to suppress deterioration in accuracy of lesion diagnosis regardless of the shape of the lesion area of the medical image. Further, even if a program capable of executing the lesion area dividing method is used, it is possible to suppress deterioration in accuracy of lesion diagnosis without depending on the shape of the lesion area of the medical image.
- FIG. 2 is a block diagram showing the configuration of the medical image diagnostic system 100 according to the first embodiment.
- FIG. 3 is a flowchart showing a medical image diagnostic method executed by the medical image diagnostic system 100 according to the first embodiment.
- the medical image diagnostic system 100 includes a lesion area dividing device 10, a lesion identifying device 20, and a display device 30.
- the lesion area dividing device 10 is a computer.
- the lesion area dividing device 10 is configured by hardware such as an arithmetic processing device, a random access memory, a hard disk drive, a motherboard, a power supply, and a USB (Universal Serial Bus) terminal.
- USB Universal Serial Bus
- the arithmetic processing unit includes, for example, a CPU (Central Processing Unit), an FPGA (Field Programmable Gate Array), a GPU (Graphics Processing Unit), and the like.
- the lesion identification device 20 is a computer configured of the same hardware as the lesion area dividing device 10.
- the display device 30 is a display including hardware such as a monitor, a speaker, and an interface.
- the monitor is composed of, for example, a CRT (Cathode Ray Tube) or an LCD (Liquid crystal Display).
- the interface includes, for example, an HDMI (High-Definition Multimedia Interface) (registered trademark) terminal, a DVI (Digital Visual Interface) terminal, an HDMI cable, and a DVI cable.
- the lesion area dividing device 10 includes a lesion area specifying unit 11, a circumscribing rectangle creating unit 12, a division number ratio calculating unit 13, a resizing magnification calculating unit 14, an image resizing unit 15, and a lesion image dividing unit 16.
- the circumscribing rectangle creation unit 12 corresponds to the rectangle creation unit 2 in FIG.
- the division number ratio calculation unit 13 corresponds to the division number ratio calculation unit 3 in FIG.
- the resizing magnification calculator 14 corresponds to the magnification calculator 4 of FIG.
- the image resizing unit 15 corresponds to the resizing unit 5 in FIG.
- the lesion image dividing unit 16 corresponds to the dividing unit 6 in FIG.
- the lesion area specifying unit 11 has a function as a lesion area specifying unit.
- the lesion area specifying unit 11 specifies a lesion area in a medical image such as an endoscopic image.
- the circumscribing rectangle creating unit 12 has a function as a circumscribing rectangle creating unit.
- the circumscribing rectangle creation unit 12 creates a rectangle circumscribing the lesion from the information on the lesion area of the medical image.
- the division number ratio calculation unit 13 has a function as division number ratio calculation means. The division number ratio calculation unit 13 calculates the vertical division number and the horizontal division number of the rectangle from the input image size of the lesion identification device 20 and the size of the rectangle circumscribing the lesion, and the vertical division number of the image.
- the input image size is the size of the image input to the lesion identification apparatus 20.
- the image input to the lesion identification device 20 is referred to as an input image.
- the resizing magnification calculation unit 14 has a function as a resizing magnification calculation means.
- the resizing magnification calculation unit 14 refers to the division number ratio, and calculates a magnification (resizing magnification) for resizing a rectangular area (rectangular image) surrounded by a rectangle circumscribing the lesion.
- the image resizing unit 15 has a function as an image resizing unit.
- the image resizing unit 15 resizes the rectangular image based on the resizing magnification (changes the size of the rectangular image).
- the lesion image dividing unit 16 has a function as a lesion image dividing unit.
- the lesion image dividing unit 16 divides the resized rectangular image into input image sizes.
- the medical image diagnostic system 100 receives a medical image, identifies a lesion on the image, and visualizes the result on the display device 30.
- the medical image is described as an endoscopic image, but the medical image is not limited to the endoscopic image.
- the medical image may be an X-ray image, a CT (Computed Tomography) image, or an MRI (Magnetic Resonance Imaging) image.
- the lesion area dividing device 10 receives a medical image, extracts a lesion area on the image, crops (extracts) a rectangular area circumscribing the lesion area, and extracts the cropped rectangular area (rectangular image) from the lesion identification device.
- the image is resized and divided according to the input image size of 20.
- the lesion identification device 20 receives as an input image an image around the lesion area formed into a fixed size (input image size), identifies the pathological type, depth of invasion, malignancy, etc. of the lesion on the image, and identifies the lesion. Output the resulting data string.
- the display device 30 receives the data string of the identification result, and presents the identification result to the user by characters, a still image, a moving image, a sound, or the like.
- the lesion area specifying unit 11 receives the medical image, extracts the lesion area on the medical image, and outputs a data string of position information of the extracted lesion area.
- the circumscribing rectangle creation unit 12 receives a data string of position information of a lesion area on an image, and outputs a data string of position information of a rectangle circumscribing the lesion area.
- the division number ratio calculation unit 13 receives a data string of position information of a rectangle circumscribing the lesion area, calculates a vertical-horizontal length ratio of the rectangle circumscribing the lesion area (rectangular aspect ratio), and calculates a numerical value of the rectangular aspect ratio. Output the data.
- the resizing magnification calculator 14 receives a medical image, a data string of rectangular position information circumscribing a lesion area on the image, and numerical data of a rectangular aspect ratio, and crops the medical image with a rectangle circumscribing the lesion area ( Extract. Then, the resizing magnification calculation unit 14 determines the resizing magnification using the input image size of the lesion identification device 20 and the numerical value of the rectangular aspect ratio.
- the image resizing unit 15 resizes the rectangular image obtained by cropping according to the determined resizing magnification.
- the lesion image dividing unit 16 receives the rectangular image output from the image resizing unit 15, and divides the input image according to the input image size of the lesion identification device 20.
- the lesion area specifying unit 11 extracts a lesion area from the medical image (step A1). Specifically, the lesion area specifying unit 11 scans all the pixels of the input medical image and calculates a score indicating the lesion-likeness of each pixel. This score is represented by, for example, a value of 0 to 1, and the larger the value, the higher the likelihood of lesion. Then, the lesion area identification unit 11 identifies pixels whose scores are equal to or greater than a specific threshold as pixels in which the lesion is imaged.
- the lesion area specifying unit 11 creates an output data matrix having the same size as the image size, and “1” is set at the position corresponding to the pixel in which the lesion was imaged, and “0” is set in the pixel not imaged. Enter. After that, the lesion area specifying unit 11 outputs the data matrix containing the information on the lesion area to the circumscribing rectangle creating unit 12, and outputs the medical image to the image resizing unit 15. It should be noted that the process of identifying the pixel in which the lesion was imaged can be performed using, for example, machine learning.
- the circumscribing rectangle creating unit 12 creates a rectangle circumscribing the lesion (step A2). Specifically, the circumscribing rectangle creation unit 12 scans a data matrix including information on a lesion area, and calculates a minimum value and a maximum value for each of the X coordinate and the Y coordinate of the pixel in which the lesion was imaged. Then, the circumscribing rectangle creating unit 12 outputs the data string indicating the calculation result to the division number ratio calculating unit 13 and the image resizing unit 15.
- the division number ratio calculation unit 13 calculates the division number ratio before resizing the rectangular image (step A3). Specifically, in order to prevent the rectangular aspect ratio from being significantly changed even after the rectangular image is resized, the division number ratio calculation unit 13 sets the vertical length of the rectangular image including the lesion area as a reference value of the division number ratio before resizing. A ratio (division number ratio) between the number of divisions in the direction and the number of divisions in the horizontal direction is calculated. As a specific algorithm, the division number ratio calculation unit 13 calculates the horizontal length l x of a rectangle (rectangular image) circumscribing the lesion area from the difference between the maximum value and the minimum value of the X coordinate of the lesion area. To do.
- the division number ratio calculation unit 13 calculates the vertical length l y of the rectangle (rectangular image) circumscribing the lesion area from the difference between the maximum value and the minimum value of the Y coordinate of the lesion area.
- the X direction corresponds to the horizontal direction of the rectangular image (lesion area)
- the Y direction corresponds to the vertical direction of the rectangular image (lesion area).
- the division number ratio calculation unit 13 uses the input image size to divide the number of divisions in the X direction and the number of divisions in the Y direction when the lesion area is divided by the input image size of the lesion identification device 20 before resizing. Calculate the ratio R original .
- the input image size the size of the X-direction is represented by w in the size of Y-direction is represented by h in.
- R original is calculated using Equation 1 shown below.
- R original represents the ratio of the number of divisions in the vertical direction to the number of divisions in the horizontal direction of the rectangular image before resizing.
- Dividing ratio calculator 13 after calculating the resized previous R original rectangular image, and outputs the values of R original to the image resizing unit 15.
- the division number ratio calculation unit 13 calculates the division number ratio based on the image aspect ratio and the rectangular aspect ratio.
- FIG. 4 is a diagram for explaining the processing of the division number ratio calculation unit 13 according to the first embodiment.
- FIG. 4 illustrates an input image I3 input to the lesion identification apparatus 20 and a rectangular image I4.
- the rectangular image I4 includes a rectangular image I41 including the lesion P1 and a rectangular image I42 including the lesion P2.
- each rectangle R in shown by a broken line is a rectangle formed with the aspect ratio (image aspect ratio) of the input image I3.
- the rectangular image I41 including the lesion P1 includes three rectangles R in (75 ⁇ 150 pixels) having an image aspect ratio and a surplus portion Re1 (25 ⁇ 150 pixels).
- the rectangular image I42 including the lesion P2 includes one rectangle R in (75 ⁇ 150 pixels) having an image aspect ratio and a surplus portion Re2 (75 ⁇ 25 pixels).
- the resizing magnification calculator 14 calculates the resizing magnification based on the rectangular aspect ratio of the rectangular image and the input image size (step A4). Specifically, the resizing magnification calculation unit 14 uses the minimum and maximum values of the X-coordinate and the Y-coordinate of the pixel in which the lesion is imaged to calculate the rectangular image of the lesion in the medical image. Crop (extract). The resizing magnification calculator calculates the post-resizing division number ratio R adjusted using the division number ratio R original before the resizing of the rectangular area and the upper limit value d max of the division number. Here, R adjusted represents the ratio of the number of vertical divisions to the number of horizontal divisions of the resized rectangular image.
- the upper limit value d max is the upper limit value of the number of divisions in the vertical direction and the horizontal direction, and can be set in advance by the user. As a result, as will be described later, the variation of the aspect ratio (rectangular aspect ratio) of the cropped rectangular image is not increased as much as possible, and the number of divisions in the vertical and horizontal directions does not exceed the upper limit value d max . Thus, the number of divisions after resizing is obtained.
- the calculation method of R adjusted is one of the following three methods depending on the magnitude of the value of R original . That is, the resizing magnification calculation unit 14 uses a different calculation method depending on the size of the division number ratio R original with respect to the predetermined threshold values Th1 (first threshold value) and Th2 (second threshold value), and then the resized rectangle.
- the division ratio of the image is calculated.
- the method of calculating R adjusted differs depending on whether R original ⁇ Th1, Th1 ⁇ R original ⁇ Th2, and Th2 ⁇ R original .
- the thresholds Th1 and Th2 are set using the upper limit value d max . Also, Th1 ⁇ 1 and Th2>1. As a result, the resize magnification calculation unit 14 sets the division number ratio of the resized rectangular image so that the vertical division number and the horizontal division number of the resized rectangular image do not exceed the upper limit value d max of the division number. To calculate.
- R adjusted is calculated using Equation 3 below, with the horizontal division number of the resized rectangular image as the upper limit value d max .
- d is the number of divisions in the short side direction (longitudinal direction), and is a natural number that satisfies Equation 4 below.
- Equation 4 Equation 4 below.
- d becomes a natural number closest to d max R original .
- d max R original ⁇ 1/2. That is, when the rectangular image is extremely long in the horizontal direction, R original is small, and thus d max may be large.
- d that satisfies Expression 4 is smaller than d max .
- R adjusted is calculated using Equation 6 below with the same number of divisions in the vertical direction and the number of divisions in the horizontal direction of the resized rectangular image.
- R adjusted is calculated using Equation 8 below, with the number of vertical divisions of the resized rectangular image as the upper limit value d max .
- the number of divisions d in the short side direction is a natural number that satisfies Expression 9 below.
- d becomes a natural number closest to d max /R original .
- d max /R original >1/2. That is, when the rectangular image is extremely long, R original is large, and thus d max may be large. Further, from Expression 7, d that satisfies Expression 9 is smaller than d max .
- the resizing magnification calculation unit 14 searches for a fraction closest to the reference value of the rectangular aspect ratio of the rectangular image before resizing so that the variation amount of the rectangular aspect ratio of the rectangular image including the lesion area is as small as possible, Find the scaling factor for resizing the rectangular image.
- the calculation method of R Xresize and R Yresize depends on the magnitude of the value of R adjusted , and is one of the following three methods.
- the resizing magnification calculation unit 14 calculates the resizing magnification of the rectangular image by a different calculation method depending on the size of the division number ratio with respect to the predetermined threshold values (Th1, Th2).
- resizing scale factor calculation unit 14 uses the equation 10 shown below to calculate the X-direction resizing ratio R Xresize and Y directions of resize factor R Yresize.
- d is a natural number that satisfies Equation 4 above.
- resizing scale factor calculation unit 14 uses the equation 11 shown below to calculate the X-direction resizing ratio R Xresize and Y directions of resize factor R Yresize.
- Equation 12 d is a natural number that satisfies Equation 12 below.
- resizing scale factor calculation unit 14 uses the equation 13 shown below to calculate the X-direction resizing ratio R Xresize and Y directions of resize factor R Yresize.
- d is a natural number that satisfies Equation 9 above.
- the image resizing unit 15 resizes the rectangular image with the resizing magnification calculated in the process of A4 (step A5). Specifically, the image resizing unit 15, the cropped rectangle image, R Xresize times in the X direction, and R Yresize times in the Y direction. In other words, the size of the resized rectangular image in the X direction is l x ⁇ R Xresize , and the size in the Y direction is l y ⁇ R Yresize .
- the image resizing unit 15 outputs the resized rectangular image to the lesion image dividing unit 16.
- FIG. 5 and 6 are diagrams for explaining the processing by the image resizing unit 15 according to the first embodiment.
- FIG. 5 is a diagram illustrating a state in which the rectangular image I41 including the lesion P1 illustrated in FIG. 4 is resized.
- FIG. 6 is a diagram illustrating a state in which the rectangular image I42 including the lesion P2 illustrated in FIG. 4 is resized.
- a rectangular image I41 having a size of 250 ⁇ 150 pixels is resized into a rectangular image I41′ having a size of 300 ⁇ 200 pixels.
- the rectangular image I41′ includes three rectangles R in ′ (100 ⁇ 200 pixels) having the size of the input image I3, and does not include a surplus portion.
- the rectangular image I41 before resizing included the surplus portion Re1, but the rectangular image I41′ after resizing does not include a surplus portion other than the rectangle R in ′ of the image aspect ratio.
- the rectangular image I42 having a size of 75 ⁇ 175 pixels is resized into a rectangular image I42′ having a size of 100 ⁇ 200 pixels.
- the rectangular image I42′ includes one rectangle R in ′ (100 ⁇ 200 pixels) having the size of the input image I3 and does not include a surplus portion.
- the rectangular image I42 before resizing included the surplus portion Re2, but the rectangular image I42′ after resizing does not include a surplus portion other than the rectangle R in ′ of the image aspect ratio.
- the lesion image dividing unit 16 divides the resized rectangular image into input image sizes (step A6). Specifically, the lesion image dividing unit 16, the resized rectangular image, the size of each rectangular image after the division the input image size is divided i.e., to h in ⁇ w in. In the example shown in FIG. 5, the resized rectangular image is divided into three images. In the example shown in FIG. 6, the resized rectangular image is divided into one image (in this case, substantially no division is performed). Then, the lesion image dividing unit 16 outputs the obtained data group of the image group to the lesion identification device 20.
- the lesion identification device 20 identifies the lesion of each of the divided rectangular images and calculates a score (step A7). Specifically, the lesion identifying apparatus 20 selects one type of lesion (for example, the lesion A) out of several types of lesions to be identified for each rectangular image divided into h in ⁇ win in size. A score indicating the degree of likelihood of being calculated is calculated as a number from 0 to 1. At this time, the score when there is no lesion likeness is 0, and the score approaches 1 as the lesion likeness increases. Note that, for example, by using machine learning or the like, it is possible to calculate the score of a lesion likeness of the input rectangular image.
- the lesion identifying apparatus 20 selects one type of lesion (for example, the lesion A) out of several types of lesions to be identified for each rectangular image divided into h in ⁇ win in size.
- a score indicating the degree of likelihood of being calculated is calculated as a number from 0 to 1. At this time, the score when there is no lesion likeness
- the lesion identification device 20 integrates the scores of the rectangular images after division and outputs the diagnosis result to the display device 30 (step A8). Specifically, the lesion identification apparatus 20 integrates the lesion-like scores attached to the respective rectangular images, and calculates the score of the entire target medical image. As a method of integration, for example, an arithmetic mean or a method of adopting a maximum value may be used. Further, the lesion identification apparatus 20 compares the integrated score of the entire target medical image with a threshold value that is predetermined by the user to be 0 or more and 1 or less, and outputs a diagnosis result according to the comparison result. For example, when the integrated score is equal to or higher than the threshold value, the diagnosis result indicating that the lesion of the target medical image is highly likely to be the identified lesion (for example, lesion A) is output.
- a threshold value that is predetermined by the user to be 0 or more and 1 or less
- the display device 30 displays the diagnosis result (step A9).
- the user can confirm the diagnosis result of the lesion on the medical image.
- FIGS. 7 to 9 are diagrams for explaining the operation of the medical image diagnostic system 100 according to the present embodiment.
- FIG. 7 is a diagram illustrating the input image I1 and the medical image I2.
- FIG. 8 is a diagram showing an example in which a medical image is processed by the method according to the comparative example according to Patent Document 1.
- FIG. 9 is a diagram showing an example of processing a medical image by the method according to the first embodiment.
- a lesion Pa having a complicated shape is photographed in the medical image I2 illustrated in FIG.
- a region (indicated by an arrow A) that is extremely subdivided occurs as illustrated in FIG.
- this region needs to be greatly enlarged to the size of the input image I1.
- the resolution of the lesion Pa becomes coarse, and the lesion identification device may not be able to accurately identify the lesion Pa.
- the accuracy of diagnosis may deteriorate.
- the resize magnification is calculated so that the number of divisions in the vertical direction and the number of divisions in the horizontal direction are adjusted according to the input image size. That is, the lesion area dividing device 10 according to the first exemplary embodiment calculates the division number ratio based on the image aspect ratio and the rectangular aspect ratio, and according to the division number ratio, the rectangular image in the vertical direction and the horizontal direction, respectively. Is configured to calculate the resizing magnification of. Then, the lesion area dividing device 10 according to the first exemplary embodiment resizes the rectangular image at this resize magnification so that the resized rectangular image corresponds to the size of each divided image and the size of the input image. It is configured to split. As a result, the size of each image after division can be made to correspond to the size of the input image while suppressing an extremely large change in the rectangular aspect ratio of the rectangular image from before resize to after resize of the rectangular image.
- the shape of the lesion area on the medical image varies, and it may be vertically or horizontally long. In this case, if the vertically long lesion area is greatly enlarged in the horizontal direction so as to match the aspect ratio of the input image, the shape of the lesion area is significantly changed. Therefore, the accuracy of diagnosis may deteriorate.
- the method according to the first embodiment is configured as described above, it is possible to suppress deterioration in the accuracy of identifying the lesion Pa by the lesion identification device. Therefore, it is possible to suppress deterioration of diagnostic accuracy.
- the lesion area dividing device 10 calculates the resizing magnification of the rectangular image by a different calculation method depending on the size of the division number ratio (Equation 1) with respect to the predetermined threshold values (Th1, Th2). Is configured to calculate. As a result, the processing is divided depending on whether the longitudinal direction of the lesion area is the vertical direction or the horizontal direction, so that the lesion area having any rectangular aspect ratio can be appropriately processed.
- the lesion area dividing apparatus 10 uses a different calculation method depending on the size of the division number ratio (Equation 1) with respect to a predetermined threshold value (Th1, Th2) to calculate a rectangular image after resizing.
- the division number ratio (Equation 3, Equation 6, Equation 8) is calculated.
- the lesion area dividing device 10 according to the first exemplary embodiment is configured to calculate the resizing magnification of the rectangular image so that the division number ratio after resizing is obtained when the rectangular image is divided.
- the rectangular image is resized such that the ratio of the number of divisions after resizing is close to the ratio of the number of divisions before the resizing. Therefore, it is possible to prevent the rectangular aspect ratio from changing extremely greatly before resize and after resize.
- the lesion area dividing device 10 is configured so that the number of divisions in the vertical direction and the number of divisions in the horizontal direction of the resized rectangular image do not exceed the upper limit value d max of the predetermined number of divisions. It is configured to calculate the division number ratio after resizing. This makes it possible to prevent the rectangular image from being divided too finely.
- the resize magnification calculation unit 14 determines the number of horizontal divisions of the resized rectangular image when the division number ratio calculated by the division number ratio calculation unit 13 is smaller than the threshold Th1.
- the upper limit value d max Then, the resize magnification calculation unit 14 according to the first embodiment calculates the horizontal resize magnification of the resized rectangular image according to the upper limit value. This makes it possible to appropriately calculate the resizing magnification even if the lesion area is horizontally long. Therefore, it is not necessary to classify in advance whether the shape of the lesion area is vertically long or horizontally long.
- the resize magnification calculation unit 14 determines the number of divisions in the vertical direction of the resized rectangular image when the division number ratio calculated by the division number ratio calculation unit 13 is equal to or greater than the threshold Th2.
- the upper limit value d max Then, the resize magnification calculation unit 14 according to the first embodiment calculates the vertical resize magnification of the resized rectangular image according to the upper limit value. This makes it possible to appropriately calculate the resizing magnification even if the lesion area is vertically long. Therefore, it is not necessary to classify in advance whether the shape of the lesion area is vertically long or horizontally long.
- the resizing magnification calculation unit 14 sets the horizontal direction of the resized rectangular image.
- the number of divisions and the number of divisions in the vertical direction are the same. This makes it possible to appropriately calculate the resizing magnification even when the shape of the lesion area is substantially isotropic in the vertical and horizontal directions. Therefore, it is not necessary to classify in advance whether the shape of the lesion area is vertically long or horizontally long.
- FIG. 10 is a block diagram schematically showing a hardware configuration example of the calculation processing device 50 applicable to the medical image diagnostic system 100 according to the first embodiment.
- the calculation processing device 50 can realize the lesion area dividing device 10, the lesion identifying device 20, and the display device 30 illustrated in FIG. 2.
- the calculation processing device 50 has a CPU 51, a volatile storage device 52, a disk 53, a non-volatile recording medium 54, and a communication IF 57 (IF: Interface). Therefore, it can be said that each device or the medical image diagnostic system 100 has the CPU 51, the volatile storage device 52, the disk 53, the non-volatile recording medium 54, and the communication IF 57.
- the calculation processing device 50 may be connectable to the input device 55 and the output device 56.
- the calculation processing device 50 may include an input device 55 and an output device 56. Further, the calculation processing device 50 can transmit/receive information to/from other calculation processing devices and communication devices via the communication IF 57.
- the non-volatile recording medium 54 is a computer-readable medium such as a compact disc or a digital versatile disc. Further, the non-volatile recording medium 54 may be a USB memory, a solid state drive, or the like. The non-volatile recording medium 54 retains such a program even when power is not supplied and makes it portable.
- the nonvolatile recording medium 54 is not limited to the above-mentioned medium. Further, instead of the non-volatile recording medium 54, such a program may be supplied via the communication IF 57 and the communication network.
- the volatile storage device 52 is computer-readable and can temporarily store data.
- the volatile storage device 52 is a memory such as a DRAM (Dynamic Random Access Memory) and an SRAM (Static Random Access Memory).
- the CPU 51 copies the software program (computer program: hereinafter simply referred to as “program”) stored in the disk 53 to the volatile storage device 52 when executing, and executes the arithmetic processing.
- the CPU 51 reads the data required for executing the program from the volatile storage device 52. When the display is necessary, the CPU 51 displays the output result on the output device 56. When the program is input from the outside, the CPU 51 acquires the program from the input device 55.
- the CPU 51 interprets and executes a program (FIG. 3, etc.) corresponding to the function (processing) of each component shown in FIG. 1 or FIG.
- the CPU 51 executes the processing described in the above embodiment.
- the functions of the respective constituent elements shown in FIG. 1 or FIG. 2 described above can be realized by the CPU 51 executing a program stored in the disk 53 or the volatile storage device 52.
- the processing shown in FIG. 3 can be realized by the CPU 51 executing a program stored in the disk 53 or the volatile storage device 52.
- the present embodiment can be achieved by such a program. Furthermore, it can be understood that the present embodiment can also be realized by a computer-readable non-volatile recording medium in which such a program is recorded.
- the present invention is not limited to the above-mentioned embodiments, but can be modified as appropriate without departing from the spirit of the present invention.
- the order of each process (step) can be changed as appropriate.
- one or more of the plurality of processes (steps) may be omitted.
- the processes of A7 to A9 may be omitted. That is, the present embodiment can be realized only by the lesion area dividing method (A1 to A6 in FIG. 3) executed by the lesion area dividing apparatus 10.
- Non-transitory computer-readable media include various types of tangible storage media. Examples of non-transitory computer-readable media are magnetic recording media (eg flexible disks, magnetic tapes, hard disk drives), magneto-optical recording media (eg magneto-optical disks), CD-ROMs (Read Only Memory), CD-Rs, It includes a CD-R/W and a semiconductor memory (for example, mask ROM, PROM (Programmable ROM), EPROM (Erasable PROM), flash ROM, RAM (Random Access Memory)).
- the program may be supplied to the computer by various types of transitory computer readable media. Examples of transitory computer-readable media include electrical signals, optical signals, and electromagnetic waves.
- the transitory computer-readable medium can supply the program to the computer via a wired communication path such as an electric wire and an optical fiber, or a wireless communication path.
- Rectangle creating means for creating a rectangle circumscribing the lesion area of the medical image
- An image aspect ratio of an input image input to a device for identifying a lesion and a rectangular aspect ratio that is a ratio of the length in the vertical direction and the length in the horizontal direction of the rectangle, when dividing the lesion area
- a division number ratio calculating means for calculating a division number ratio which is a ratio of the division number in the vertical direction to the division number in the horizontal direction
- Magnification calculating means for calculating the resize magnification in each of the vertical direction and the horizontal direction of the rectangular image surrounded by the rectangle and including the lesion area according to the division number ratio
- Resizing means for resizing the rectangular image at the resizing magnification
- a lesion area dividing device comprising: a dividing unit that divides the resized rectangular image into one or more images so that the size of each
- (Appendix 2) The lesion area dividing device according to appendix 1, wherein the magnification calculating means calculates the resizing magnification of the rectangular image by a different calculation method depending on the size of the division number ratio with respect to a predetermined threshold value.
- the magnification calculation means calculates the division number ratio of the resized rectangular image by a different calculation method depending on the size of the division number ratio with respect to a predetermined threshold, and when the division is performed by the division means.
- the lesion area dividing device according to appendix 2 wherein the resize magnification of the rectangular image is calculated so as to obtain a division number ratio after the resizing.
- the magnification calculation means The magnification calculation means, the division number ratio after the resize, so that the division number in the vertical direction and the division number in the horizontal direction of the rectangular image after the resize do not exceed the upper limit value of the predetermined division number.
- the lesion area dividing device according to supplementary note 3. (Appendix 5) When the division number ratio calculated by the division number ratio calculation means is smaller than a first threshold value smaller than 1 which is predetermined according to the upper limit value, the magnification calculation means determines that the resized rectangle The lesion area dividing device according to appendix 4, wherein the horizontal division size of the rectangular image after resizing is calculated according to the upper limit, with the number of horizontal divisions of the image as the upper limit.
- the magnification calculating unit is configured to resize the rectangle.
- the lesion area dividing device according to note 4 wherein the vertical division size of the rectangular image after resizing is calculated according to the upper limit, with the number of vertical divisions of the image being the upper limit.
- the division number ratio calculated by the division number ratio calculating means is equal to or greater than a first threshold value smaller than 1 predetermined according to the upper limit value and larger than 1 predetermined according to the upper limit value.
- the lesion area dividing device according to attachment 4, wherein the magnification calculation unit sets the horizontal division number and the vertical division number of the resized rectangular image to be the same when the size is smaller than the second threshold value.
- Appendix 8 A lesion area dividing device for dividing a lesion area of a medical image, A lesion identification device for identifying a lesion using the divided lesion region, The lesion area dividing device, Rectangle creating means for creating a rectangle circumscribing the lesion area, Based on the image aspect ratio of the input image input to the lesion identification device and the rectangular aspect ratio that is the ratio of the length in the vertical direction to the length in the horizontal direction, the horizontal when dividing the lesion area.
- a division number ratio calculating means for calculating a division number ratio which is a ratio of the division number in the vertical direction to the division number in the direction;
- Magnification calculating means for calculating the resize magnification in each of the vertical direction and the horizontal direction of the rectangular image surrounded by the rectangle and including the lesion area according to the division number ratio,
- Resizing means for resizing the rectangular image at the resizing magnification,
- Splitting means for splitting the resized rectangular image into one or more images so that the size of each image after splitting corresponds to the size of the input image,
- the lesion identifying apparatus identifies a lesion using each of the divided images.
- the magnification calculation means The magnification calculation means, the division number ratio after the resize, so that the division number in the vertical direction and the division number in the horizontal direction of the rectangular image after the resize do not exceed the upper limit value of the predetermined division number.
- the magnification calculation means determines that the resized rectangle
- the magnification calculating unit is configured to resize the rectangle.
- the division number ratio calculated by the division number ratio calculating means is equal to or greater than a first threshold value smaller than 1 predetermined according to the upper limit value and larger than 1 predetermined according to the upper limit value.
- the medical image diagnostic system wherein when the size is smaller than the second threshold value, the magnification calculation unit sets the number of horizontal divisions and the number of vertical divisions of the resized rectangular image to each other.
- Appendix 15 Create a rectangle circumscribing the lesion area of the medical image, An image aspect ratio of an input image input to a device for identifying a lesion, and a rectangular aspect ratio that is a ratio of the length in the vertical direction and the length in the horizontal direction of the rectangle, when dividing the lesion area Calculate the number of divisions, which is the ratio of the number of divisions in the vertical direction to the number of divisions in the horizontal direction, According to the division number ratio, calculate the resize magnification in each of the vertical direction and the horizontal direction of the rectangular image surrounded by the rectangle and including the lesion area, Resize the rectangular image with the resize magnification, A lesion area dividing method for dividing the resized rectangular image into one or more images so that the size of each divided image corresponds
- Appendix 22 Creating a rectangle circumscribing the lesion area of the medical image, An image aspect ratio of an input image input to a device for identifying a lesion, and a rectangular aspect ratio that is a ratio of the length in the vertical direction and the length in the horizontal direction of the rectangle, when dividing the lesion area Calculating a division number ratio which is a ratio of the division number in the vertical direction to the division number in the horizontal direction, Calculating a resizing magnification in each of a vertical direction and a horizontal direction of a rectangular image surrounded by the rectangle and including the lesion area according to the division number ratio; Resizing the rectangular image at the resizing magnification, A step of dividing the resized rectangular image into one or more images so that the size of each image after the division corresponds to the size of the input image;
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Medical Informatics (AREA)
- Physics & Mathematics (AREA)
- Public Health (AREA)
- Biomedical Technology (AREA)
- General Health & Medical Sciences (AREA)
- Pathology (AREA)
- Surgery (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Animal Behavior & Ethology (AREA)
- Molecular Biology (AREA)
- Radiology & Medical Imaging (AREA)
- Biophysics (AREA)
- Veterinary Medicine (AREA)
- Heart & Thoracic Surgery (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Signal Processing (AREA)
- Databases & Information Systems (AREA)
- Primary Health Care (AREA)
- Epidemiology (AREA)
- Data Mining & Analysis (AREA)
- Optics & Photonics (AREA)
- Dermatology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Quality & Reliability (AREA)
- Multimedia (AREA)
- Apparatus For Radiation Diagnosis (AREA)
- Image Analysis (AREA)
- Measuring And Recording Apparatus For Diagnosis (AREA)
- Magnetic Resonance Imaging Apparatus (AREA)
- Endoscopes (AREA)
- Image Processing (AREA)
Abstract
医用画像の病変領域の形状によらないで、病変の診断の精度の劣化を抑制することが可能な病変領域分割装置を提供する。矩形作成部(2)は、医用画像の病変領域に外接する矩形を作成する。分割数比算出部(3)は、病変を識別する装置に入力される入力画像の画像アスペクト比と、矩形の縦方向の長さと横方向の長さとの比である矩形アスペクト比とに基づいて、分割数比を算出する。倍率算出部(4)は、分割数比に応じて、矩形で囲まれ病変領域を含む矩形画像の縦方向及び横方向それぞれのリサイズ倍率を算出する。リサイズ部(5)は、リサイズ倍率で矩形画像をリサイズする。分割部(6)は、分割後の各画像のサイズが入力画像のサイズと対応するように、リサイズされた矩形画像を1つ以上の画像に分割する。
Description
本発明は、病変領域分割装置、医用画像診断システム、病変領域分割方法及びプログラムが格納された非一時的なコンピュータ可読媒体に関する。
医用画像を用いた病変の診断が行われている。この技術に関連し、特許文献1は、内視鏡画像中の識別対象領域における病理タイプを識別する内視鏡画像診断支援システムを開示している。特許文献1にかかる内視鏡画像診断支援システムは、識別対象領域および識別対象領域の各細分化領域の画像と学習用画像群との特徴量マッチングを行って識別対象領域および各細分化領域における各病理タイプの識別確率を計算する。
また、特許文献2は、観察状況に応じて、通常観察画像の中で拡大したい領域を自由に設定する内視鏡装置を開示する。特許文献2にかかる内視鏡装置は、オペレータの入力操作によって規定される入力規定領域の縦横一方の拡大率を拡大表示領域全体の拡大率として定め、拡大表示領域を設定する。また、特許文献3は、高画質の画像情報をファイルすることが可能な画像ファイルシステムを開示する。特許文献3にかかる画像ファイルシステムは、入力信号を複数の画像信号に分割して画像記録再生装置に伝送し、分割画像信号を元の画像信号となるように合成する。
特許文献1の技術では、スキャンウィンドウを階層的に細分化することで、矩形ではない複雑な形状の患部の病理タイプの識別を行っている。したがって、細分化されたスキャンウィンドウの大きさ及び形状によっては、病変の診断の精度が劣化するおそれがある。さらに、特許文献2及び特許文献3にかかる技術を用いても、病変の診断の精度の劣化を抑制することは困難である。
本開示の目的は、このような課題を解決するためになされたものであり、医用画像の病変領域の形状によらないで、病変の診断の精度の劣化を抑制することが可能な病変領域分割装置、医用画像診断システム、病変領域分割方法及びプログラムを提供することにある。
本開示にかかる病変領域分割装置は、医用画像の病変領域に外接する矩形を作成する矩形作成手段と、病変を識別する装置に入力される入力画像の画像アスペクト比と、前記矩形の縦方向の長さと横方向の長さとの比である矩形アスペクト比とに基づいて、前記病変領域を分割するときの横方向の分割数に対する縦方向の分割数の比である分割数比を算出する分割数比算出手段と、前記分割数比に応じて、前記矩形で囲まれ前記病変領域を含む矩形画像の縦方向及び横方向それぞれのリサイズ倍率を算出する倍率算出手段と、前記リサイズ倍率で前記矩形画像をリサイズするリサイズ手段と、分割後の各画像のサイズが前記入力画像のサイズと対応するように、リサイズされた前記矩形画像を1つ以上の画像に分割する分割手段とを有する。
また、本開示にかかる医用画像診断システムは、医用画像の病変領域を分割する病変領域分割装置と、前記分割された病変領域を用いて病変を識別する病変識別装置とを有し、前記病変領域分割装置は、前記病変領域に外接する矩形を作成する矩形作成手段と、前記病変識別装置に入力される入力画像の画像アスペクト比と、前記矩形の縦方向の長さと横方向の長さとの比である矩形アスペクト比とに基づいて、前記病変領域を分割するときの横方向の分割数に対する縦方向の分割数の比である分割数比を算出する分割数比算出手段と、前記分割数比に応じて、前記矩形で囲まれ前記病変領域を含む矩形画像の縦方向及び横方向それぞれのリサイズ倍率を算出する倍率算出手段と、前記リサイズ倍率で前記矩形画像をリサイズするリサイズ手段と、分割後の各画像のサイズが前記入力画像のサイズと対応するように、リサイズされた前記矩形画像を1つ以上の画像に分割する分割手段とを有し、前記病変識別装置は、前記分割された各画像を用いて、病変を識別する。
また、本開示にかかる病変領域分割方法は、医用画像の病変領域に外接する矩形を作成し、病変を識別する装置に入力される入力画像の画像アスペクト比と、前記矩形の縦方向の長さと横方向の長さとの比である矩形アスペクト比とに基づいて、前記病変領域を分割するときの横方向の分割数に対する縦方向の分割数の比である分割数比を算出し、前記分割数比に応じて、前記矩形で囲まれ前記病変領域を含む矩形画像の縦方向及び横方向それぞれのリサイズ倍率を算出し、前記リサイズ倍率で前記矩形画像をリサイズし、分割後の各画像のサイズが前記入力画像のサイズと対応するように、リサイズされた前記矩形画像を1つ以上の画像に分割する。
また、本開示にかかるプログラムは、医用画像の病変領域に外接する矩形を作成するステップと、病変を識別する装置に入力される入力画像の画像アスペクト比と、前記矩形の縦方向の長さと横方向の長さとの比である矩形アスペクト比とに基づいて、前記病変領域を分割するときの横方向の分割数に対する縦方向の分割数の比である分割数比を算出するステップと、前記分割数比に応じて、前記矩形で囲まれ前記病変領域を含む矩形画像の縦方向及び横方向それぞれのリサイズ倍率を算出するステップと、前記リサイズ倍率で前記矩形画像をリサイズするステップと、分割後の各画像のサイズが前記入力画像のサイズと対応するように、リサイズされた前記矩形画像を1つ以上の画像に分割するステップとをコンピュータに実行させる。
本開示によれば、医用画像の病変領域の形状によらないで、病変の診断の精度の劣化を抑制することが可能な病変領域分割装置、医用画像診断システム、病変領域分割方法及びプログラムを提供できる。
(本開示にかかる実施の形態の概要)
本開示の実施形態の説明に先立って、本開示にかかる実施の形態の概要について説明する。図1は、本開示の実施の形態にかかる病変領域分割装置1の概要を示す図である。病変領域分割装置1は、例えばコンピュータとしての機能を有する。
本開示の実施形態の説明に先立って、本開示にかかる実施の形態の概要について説明する。図1は、本開示の実施の形態にかかる病変領域分割装置1の概要を示す図である。病変領域分割装置1は、例えばコンピュータとしての機能を有する。
病変領域分割装置1は、矩形作成部2と、分割数比算出部3と、倍率算出部4と、リサイズ部5と、分割部6とを有する。矩形作成部2は、矩形作成手段としての機能を有する。分割数比算出部3は、分割数比算出手段としての機能を有する。倍率算出部4は、倍率算出手段としての機能を有する。リサイズ部5は、リサイズ手段としての機能を有する。分割部6は、分割手段としての機能を有する。
矩形作成部2は、医用画像の病変領域に外接する矩形を作成する。分割数比算出部3は、病変を識別する装置に入力される入力画像の画像アスペクト比と、矩形の縦方向の長さと横方向の長さとの比である矩形アスペクト比とに基づいて、分割数比を算出する。ここで、分割数比とは、病変領域を分割するときの横方向の分割数に対する縦方向の分割数の比である。倍率算出部4は、分割数比に応じて、矩形で囲まれ病変領域を含む矩形画像の縦方向及び横方向それぞれのリサイズ倍率を算出する。リサイズ部5は、リサイズ倍率で矩形画像をリサイズ(矩形画像のサイズを変更)する。分割部6は、分割後の各画像のサイズが入力画像のサイズと対応するように、リサイズされた矩形画像を1つ以上の画像に分割する。
医用画像を用いた病変の診断では、診断に用いる装置に入力される画像(入力画像)のサイズは一定であることが多い。したがって、この入力画像のサイズに合わせて、医用画像は、分割され、拡大又は縮小され得る。この場合、医用画像をあまりに細分化しすぎると、その細分化された画像を入力画像のサイズに合わせて大きく拡大する必要がある。これにより、診断の精度が劣化するおそれがある。また、医用画像の病変領域の形状は様々であり、縦長であったり、横長であったりする。この場合、入力画像のアスペクト比に合うように例えば縦長の病変領域を横方向に大きく拡大すると、病変領域の形状が大きく変わってしまう。これにより、診断の精度が劣化するおそれがある。
これに対し、本実施の形態にかかる病変領域分割装置1は、上記のように、病変を識別する装置に入力される入力画像の画像アスペクト比と、病変領域の矩形画像の矩形アスペクト比とを考慮して、矩形画像を分割するように構成されている。これにより、矩形アスペクト比の変化を最小限にしつつ、入力画像のサイズと対応するように、矩形画像を分割することが可能となる。したがって、本実施の形態にかかる病変領域分割装置1は、医用画像の病変領域の形状によらないで、病変の診断の精度の劣化を抑制することができる。
なお、病変領域分割装置1と、病変を識別するように構成された病変識別装置とを有する医用画像診断システムを用いても、医用画像の病変領域の形状によらないで、病変の診断の精度の劣化を抑制することが可能となる。また、病変領域分割装置1によって実行される病変領域分割方法を用いても、医用画像の病変領域の形状によらないで、病変の診断の精度の劣化を抑制することが可能となる。また、病変領域分割方法を実行可能なプログラムを用いても、医用画像の病変領域の形状によらないで、病変の診断の精度の劣化を抑制することが可能となる。
(実施の形態1)
以下、実施形態について、図面を参照しながら説明する。説明の明確化のため、以下の記載及び図面は、適宜、省略、及び簡略化がなされている。また、各図面において、同一の要素には同一の符号が付されており、必要に応じて重複説明は省略されている。
以下、実施形態について、図面を参照しながら説明する。説明の明確化のため、以下の記載及び図面は、適宜、省略、及び簡略化がなされている。また、各図面において、同一の要素には同一の符号が付されており、必要に応じて重複説明は省略されている。
図2は、実施の形態1に係る医用画像診断システム100の構成を示すブロック図である。また、図3は、実施の形態1にかかる医用画像診断システム100によって実行される医用画像診断方法を示すフローチャートである。医用画像診断システム100は、病変領域分割装置10、病変識別装置20、及び表示装置30を有する。病変領域分割装置10は、コンピュータである。病変領域分割装置10は、演算処理装置、ランダムアクセスメモリ、ハードディクスドライブ、マザーボード、電源、USB(Universal Serial Bus)端子などのハードウェアで構成される。演算処理装置は、例えば、CPU(Central Processing Unit)、FPGA(Field Programmable Gate Array)、GPU(Graphics Processing Unit)等によって構成される。病変識別装置20は、病変領域分割装置10と同様のハードウェアで構成されるコンピュータである。表示装置30は、モニタ、スピーカ及びインタフェースなどのハードウェアで構成されるディスプレイである。モニタは、例えば、CRT(Cathode Ray Tube)又はLCD(Liquid crystal Display)で構成される。インタフェースは、例えば、HDMI(High-Definition Multimedia Interface)(登録商標)端子、DVI(Digital Visual Interface)端子、HDMIケーブル、DVIケーブルで構成される。
病変領域分割装置10は、病変領域特定部11、外接矩形作成部12、分割数比算出部13、リサイズ倍率算出部14、画像リサイズ部15、及び病変画像分割部16を有する。外接矩形作成部12は、図1の矩形作成部2に対応する。分割数比算出部13は、図1の分割数比算出部3に対応する。リサイズ倍率算出部14は、図1の倍率算出部4に対応する。画像リサイズ部15は、図1のリサイズ部5に対応する。病変画像分割部16は、図1の分割部6に対応する。
病変領域特定部11は、病変領域特定手段としての機能を有する。病変領域特定部11は、内視鏡画像等の医用画像における病変領域を特定する。外接矩形作成部12は、外接矩形作成手段としての機能を有する。外接矩形作成部12は、医用画像の病変領域の情報から病変に外接する矩形を作成する。分割数比算出部13は、分割数比算出手段としての機能を有する。分割数比算出部13は、病変識別装置20の入力画像サイズと病変に外接する矩形のサイズとから矩形の縦方向の分割数及び横方向の分割数を算出し、画像の縦方向の分割数と横方向の分割数との比である分割数比を算出する。ここで、入力画像サイズとは、病変識別装置20に入力される画像のサイズのことである。そして、病変識別装置20に入力される画像を、入力画像と称する。
リサイズ倍率算出部14は、リサイズ倍率算出手段としての機能を有する。リサイズ倍率算出部14は、分割数比を参照して、病変に外接する矩形で囲まれた矩形領域(矩形画像)をリサイズする倍率(リサイズ倍率)を算出する。画像リサイズ部15は、画像リサイズ手段としての機能を有する。画像リサイズ部15は、リサイズ倍率を元に矩形画像をリサイズ(矩形画像のサイズを変更)する。病変画像分割部16は、病変画像分割手段としての機能を有する。病変画像分割部16は、リサイズされた矩形画像を入力画像サイズに分割する。
医用画像診断システム100は、医用画像を受信し、画像上の病変の識別を行い、結果を表示装置30に可視化する。ここで、本実施の形態では、医用画像が内視鏡画像であるとして説明するが、医用画像は、内視鏡画像に限定されない。例えば、医用画像は、レントゲン画像であってもよいし、CT(Computed Tomography)画像であってもよいし、MRI(Magnetic Resonance Imaging)画像であってもよい。
病変領域分割装置10は、医用画像を受信し、画像上の病変領域を抽出し、病変領域に外接する矩形領域をクロップ(抽出)し、クロップされた矩形領域(矩形画像)を、病変識別装置20の入力画像サイズに合わせてリサイズし分割する。病変識別装置20は、一定サイズ(入力画像サイズ)に成形された病変領域周辺の画像を入力画像として受信し、画像上の病変の病理タイプ、深達度、悪性度等の識別を行い、識別結果のデータ列を出力する。表示装置30は、識別結果のデータ列を受信し、識別結果を、文字、静止画、動画、音などによって、ユーザに提示する。
病変領域特定部11は、医用画像を受信し、医用画像上の病変領域を抽出し、抽出された病変領域の位置情報のデータ列を出力する。外接矩形作成部12は、画像上の病変領域の位置情報のデータ列を受け付け、病変領域に外接する矩形の位置情報のデータ列を出力する。分割数比算出部13は、病変領域に外接する矩形の位置情報のデータ列を受け付け、病変領域に外接する矩形の縦横の長さの比(矩形アスペクト比)を算出し、矩形アスペクト比の数値データを出力する。リサイズ倍率算出部14は、医用画像と、画像上の病変領域に外接する矩形の位置情報のデータ列と、矩形アスペクト比の数値データとを受け付け、医用画像を病変領域に外接する矩形でクロップ(抽出)する。そして、リサイズ倍率算出部14は、病変識別装置20の入力画像サイズと矩形アスペクト比の数値とを用いてリサイズ倍率を決定する。画像リサイズ部15は、決定されたリサイズ倍率によって、クロップされて得られた矩形画像をリサイズする。病変画像分割部16は、画像リサイズ部15より出力された矩形画像を受け付け、病変識別装置20の入力画像サイズにて入力画像を分割する。
[動作の説明]
次に、図3のフローチャートを参照して本実施の形態の全体の動作について詳細に説明する。まず、病変領域特定部11は、医用画像から、病変領域を抽出する(ステップA1)。具体的には、病変領域特定部11は、入力された医用画像の全ピクセルをスキャンし、各ピクセルの病変らしさを示すスコアを算出する。このスコアは、例えば0から1の値で表され、値が大きい程、病変らしさが高いことを示す。そして、病変領域特定部11は、スコアが特定の閾値以上のピクセルを、病変が撮像されているピクセルとして特定する。そして、病変領域特定部11は、画像サイズと同じサイズの出力データ行列を作成し、病変が撮像されていたピクセルに対応する位置には「1」、撮像されていなかったピクセルには「0」を入力する。その後、病変領域特定部11は、病変領域の情報が入ったデータ行列を、外接矩形作成部12に出力し、医用画像を画像リサイズ部15に出力する。なお、病変が撮像されたピクセルを特定するプロセスは、例えば、機械学習などを用いて実行され得る。
次に、図3のフローチャートを参照して本実施の形態の全体の動作について詳細に説明する。まず、病変領域特定部11は、医用画像から、病変領域を抽出する(ステップA1)。具体的には、病変領域特定部11は、入力された医用画像の全ピクセルをスキャンし、各ピクセルの病変らしさを示すスコアを算出する。このスコアは、例えば0から1の値で表され、値が大きい程、病変らしさが高いことを示す。そして、病変領域特定部11は、スコアが特定の閾値以上のピクセルを、病変が撮像されているピクセルとして特定する。そして、病変領域特定部11は、画像サイズと同じサイズの出力データ行列を作成し、病変が撮像されていたピクセルに対応する位置には「1」、撮像されていなかったピクセルには「0」を入力する。その後、病変領域特定部11は、病変領域の情報が入ったデータ行列を、外接矩形作成部12に出力し、医用画像を画像リサイズ部15に出力する。なお、病変が撮像されたピクセルを特定するプロセスは、例えば、機械学習などを用いて実行され得る。
次に、外接矩形作成部12は、病変に外接する矩形を作成する(ステップA2)。具体的には、外接矩形作成部12は、病変領域の情報が入ったデータ行列をスキャンし、病変が撮像されていたピクセルのX座標及びY座標それぞれについて、最小値及び最大値を算出する。そして、外接矩形作成部12は、算出結果を示すデータ列を、分割数比算出部13及び画像リサイズ部15に出力する。
分割数比算出部13は、矩形画像のリサイズ前の分割数比を算出する(ステップA3)。具体的には、分割数比算出部13は、矩形画像のリサイズ後も矩形アスペクト比が大きく変更されないようにするために、リサイズ前の分割数比の参照値として病変領域を含む矩形画像の縦方向の分割数と横方向の分割数との比(分割数比)を算出する。具体的なアルゴリズムとしては、分割数比算出部13は、病変領域のX座標の最大値及び最小値の差から、病変領域に外接する矩形(矩形画像)の横方向の長さlxを算出する。同様に、分割数比算出部13は、病変領域のY座標の最大値及び最小値の差から、病変領域に外接する矩形(矩形画像)の縦方向の長さlyを算出する。なお、X方向は矩形画像(病変領域)の横方向に対応し、Y方向は矩形画像(病変領域)の縦方向に対応する。
さらに、分割数比算出部13は、入力画像サイズを用いて、リサイズ前に病変識別装置20の入力画像サイズで病変領域を分割した場合の、X方向の分割数とY方向の分割数との比Roriginalを算出する。ここで、入力画像サイズにおいて、X方向のサイズがwinで表され、Y方向のサイズがhinで表される。
Roriginalは、以下に示す式1を用いて求められる。なお、Roriginalは、リサイズ前の矩形画像の、横方向の分割数に対する縦方向の分割数の比を表す。分割数比算出部13は、矩形画像のリサイズ前のRoriginalを求めた後、Roriginalの値を画像リサイズ部15へ出力する。
なお、リサイズ前の矩形アスペクト比がly/lxであり、画像アスペクト比がhin/winであるから、Roriginalは、画像アスペクト比に対する矩形アスペクト比の比と言える。したがって、分割数比算出部13は、画像アスペクト比と矩形アスペクト比とに基づいて、分割数比を算出する。
図4は、実施の形態1にかかる分割数比算出部13の処理を説明するための図である。図4は、病変識別装置20に入力される入力画像I3と、矩形画像I4とを例示する。矩形画像I4は、病変P1を含む矩形画像I41と、病変P2を含む矩形画像I42とを含む。入力画像I3の入力画像サイズは、100×200ピクセル(hin=100、win=200)である。また、矩形画像I41のサイズは250×150ピクセル(ly=250、lx=150)であり、矩形画像I42のサイズは75×175ピクセル(ly=75、lx=175)である。
なお、図4に示した矩形画像I4において、破線で示された各矩形Rinは、入力画像I3のアスペクト比(画像アスペクト比)で形成された矩形である。この場合、病変P1を含む矩形画像I41は、画像アスペクト比の矩形Rin(75×150ピクセル)を3個と、余剰部分Re1(25×150ピクセル)とを含む。また、病変P2を含む矩形画像I42は、画像アスペクト比の矩形Rin(75×150ピクセル)を1個と、余剰部分Re2(75×25ピクセル)とを含む。このように、リサイズ前では、画像アスペクト比の矩形で矩形画像を分割しようとすると、余剰部分が発生してしまう。
矩形画像I41を受け付けた場合、分割数比算出部13は、式1を用いて、Roriginal=10/3と計算する。したがって、リサイズ前の矩形画像I41の、横方向の分割数に対する縦方向の分割数の比は、10/3である。これは、後述するA5の処理のようにリサイズしないで矩形画像I41を入力画像のアスペクト比(画像アスペクト比)に合わせようとすると、矩形画像I41を横方向に3分割、縦方向に10分割することになることを意味する。
また、矩形画像I42を受け付けた場合、分割数比算出部13は、式1を用いて、Roriginal=6/7と計算する。したがって、リサイズ前の矩形画像I42の、横方向の分割数に対する縦方向の分割数の比は、6/7である。これは、後述するA5の処理のようにリサイズしないで矩形画像I42を画像アスペクト比に合わせようとすると、矩形画像I42を横方向に7分割、縦方向に6分割することになることを意味する。
リサイズ倍率算出部14は、矩形画像の矩形アスペクト比、及び、入力画像サイズにより、リサイズ倍率を算出する(ステップA4)。具体的には、リサイズ倍率算出部14は、病変が撮像されているピクセルのX座標及びY座標それぞれの最小値及び最大値の値を用いて、医用画像の病変が撮像されている矩形画像をクロップ(抽出)する。リサイズ倍率算出部は、矩形領域のリサイズ前の分割数比Roriginalと、分割数の上限値dmaxとを用いて、リサイズ後の分割数比Radjustedを計算する。ここで、Radjustedは、リサイズ後の矩形画像の、横方向の分割数に対する縦方向の分割数の比を表す。また、上限値dmaxは、縦方向及び横方向の分割数の上限値であり、予めユーザによって定められ得る。これにより、後述するように、クロップされて得られた矩形画像のアスペクト比(矩形アスペクト比)の変動をできるだけ大きくせず、かつ、縦方向及び横方向の分割数が上限値dmaxを超えないような、リサイズ後の分割数が得られる。
ここで、Radjustedの算出方法は、Roriginalの値の大きさによって、以下の3通りのいずれかとなる。つまり、リサイズ倍率算出部14は、予め定められた閾値Th1(第1の閾値)及びTh2(第2の閾値)に対する分割数比Roriginalの大きさに応じて異なる算出方法で、リサイズ後の矩形画像の分割数比を算出する。つまり、Roriginal<Th1の場合と、Th1≦Roriginal<Th2の場合と、Th2≦Roriginalの場合とで、Radjustedの算出方法が異なる。これらは、それぞれ、リサイズ前の矩形画像について、「横方向の分割数が縦方向の分割数より十分大きい場合」、「縦方向の分割数と横方向の分割数とがほぼ同数である場合」及び「縦方向の分割数が横方向の分割数より十分大きい場合」に対応する。
なお、閾値Th1,Th2は、上限値dmaxを用いて設定される。また、Th1<1であり、Th2>1である。これにより、リサイズ倍率算出部14は、リサイズ後の矩形画像の縦方向の分割数及び横方向の分割数が分割数の上限値dmaxを超えないように、リサイズ後の矩形画像の分割数比を算出する。
<横方向の分割数が縦方向の分割数より十分大きい場合>
Roriginalが以下に示す式2を満たす場合、リサイズ前の矩形画像の横方向の分割数が縦方向の分割数より十分大きいと言える。ここで、式2の右辺が、閾値Th1に対応する。
Roriginalが以下に示す式2を満たす場合、リサイズ前の矩形画像の横方向の分割数が縦方向の分割数より十分大きいと言える。ここで、式2の右辺が、閾値Th1に対応する。
ここで、dは、短辺方向(縦方向)の分割数であり、以下に示す式4を満たす自然数である。これにより、dは、dmaxRoriginalに最も近い自然数となる。ここで、dmaxRoriginal≧1/2とする。つまり、矩形画像が極端に横長である場合は、Roriginalが小さくなるので、dmaxを大きくしてもよい。また、式2より、式4を満たすdは、dmaxよりも小さくなる。
<縦方向の分割数と横方向の分割数がほぼ同数である場合>
Roriginalが以下に示す式5を満たす場合、リサイズ前の矩形画像の縦方向の分割数と横方向の分割数とがほぼ同数であると言える。ここで、式5の最右辺が、閾値Th2に対応する。
Roriginalが以下に示す式5を満たす場合、リサイズ前の矩形画像の縦方向の分割数と横方向の分割数とがほぼ同数であると言える。ここで、式5の最右辺が、閾値Th2に対応する。
ここで、短辺方向(横方向)の分割数dは、以下に示す式9を満たす自然数である。これにより、dは、dmax/Roriginalに最も近い自然数となる。ここで、dmax/Roriginal>1/2とする。つまり、矩形画像が極端に縦長である場合は、Roriginalが大きくなるので、dmaxを大きくしてもよい。また、式7より、式9を満たすdは、dmaxよりも小さくなる。
図4を用いて例示した矩形画像I4について、具体例を説明する。ここで、dmax=3とする。この場合、病変P1を含む矩形画像I41については、Roriginal=10/3なので、上記式7を満たす。したがって、リサイズ後の矩形画像I41については、縦方向の分割数は上限値dmax=3となり、横方向の分割数は、上記式9よりd=1となる。これを上記式8に代入すると、リサイズ後の矩形画像I41の分割数比Radjusted=3が導出される。
また、病変P2を含む矩形画像I42については、Roriginal=6/7なので、上記式5を満たす。したがって、リサイズ後の矩形画像I42の分割数比は、Radjusted=1となる。このように、病変が縦長であるか、横長であるか、又はほぼ等方的であるかによって処理が分かれているため、いかなるアスペクト比をもつ病変領域(矩形画像)でも、適切に処理することができる。
さらに、リサイズ倍率算出部14は、病変領域を含む矩形画像の矩形アスペクト比の変動量ができるだけ小さくなるように、リサイズ前の矩形画像の矩形アスペクト比の参照値に最も近い分数を探索して、矩形画像をリサイズするための倍率を求める。具体的には、リサイズ倍率算出部14は、Radjusted、dmax、lx及びlyを用いて、矩形画像のX方向のリサイズ倍率RXresize及びY方向のリサイズ倍率RYresizeを算出する。ここで、RXresize及びRYresizeの算出方法は、Radjustedの値の大きさに依存し、以下の3通りのいずれかとなる。ここで、これらの3つの算出方法は、以下に示すように、リサイズ前の矩形画像について、「Roriginal<Th1の場合」、「Th1≦Roriginal<Th2の場合」、及び「Th2≦Roriginalの場合」に対応する。つまり、リサイズ倍率算出部14は、予め定められた閾値(Th1,Th2)に対する分割数比の大きさに応じて異なる算出方法で、矩形画像のリサイズ倍率を算出する。
<Radjusted<1の場合>
この場合は、上記の「横方向の分割数が縦方向の分割数より十分大きい場合」に対応するので、Radjustedは、上記の式3で表される。したがって、リサイズ倍率算出部14は、以下に示す式10を用いて、X方向のリサイズ倍率RXresize及びY方向のリサイズ倍率RYresizeを算出する。ここで、dは、上記の式4を満たす自然数である。
この場合は、上記の「横方向の分割数が縦方向の分割数より十分大きい場合」に対応するので、Radjustedは、上記の式3で表される。したがって、リサイズ倍率算出部14は、以下に示す式10を用いて、X方向のリサイズ倍率RXresize及びY方向のリサイズ倍率RYresizeを算出する。ここで、dは、上記の式4を満たす自然数である。
<Radjusted=1の場合>
この場合は、上記の「縦方向の分割数と横方向の分割数がほぼ同数である場合」に対応するので、Radjustedは、上記の式6で表される。したがって、リサイズ倍率算出部14は、以下に示す式11を用いて、X方向のリサイズ倍率RXresize及びY方向のリサイズ倍率RYresizeを算出する。
この場合は、上記の「縦方向の分割数と横方向の分割数がほぼ同数である場合」に対応するので、Radjustedは、上記の式6で表される。したがって、リサイズ倍率算出部14は、以下に示す式11を用いて、X方向のリサイズ倍率RXresize及びY方向のリサイズ倍率RYresizeを算出する。
<Radjusted>1の場合>
この場合は、上記の「縦方向の分割数が横方向の分割数より十分大きい場合」に対応するので、Radjustedは、上記の式8で表される。したがって、リサイズ倍率算出部14は、以下に示す式13を用いて、X方向のリサイズ倍率RXresize及びY方向のリサイズ倍率RYresizeを算出する。ここで、dは、上記の式9を満たす自然数である。
この場合は、上記の「縦方向の分割数が横方向の分割数より十分大きい場合」に対応するので、Radjustedは、上記の式8で表される。したがって、リサイズ倍率算出部14は、以下に示す式13を用いて、X方向のリサイズ倍率RXresize及びY方向のリサイズ倍率RYresizeを算出する。ここで、dは、上記の式9を満たす自然数である。
図4を用いて上述した矩形画像I4の具体例で、病変P1を含む矩形画像I41については、Radjusted=3である。したがって、式13を用いて、矩形画像I41のX方向のリサイズ倍率及びY方向のリサイズ倍率は、それぞれ、RXresize=4/3及びRYresize=6/5と導出される。
また、病変P2を含む矩形画像I42については、Radjusted=1である。したがって、式11及び式12を用いて、矩形画像I42のX方向のリサイズ倍率及びY方向のリサイズ倍率は、それぞれ、RXresize=8/7、RYresize=4/3と導出される。
画像リサイズ部15は、A4の処理で算出されたリサイズ倍率で、矩形画像をリサイズする(ステップA5)。具体的には、画像リサイズ部15は、クロップされた矩形画像を、X方向にRXresize倍、Y方向にRYresize倍する。つまり、リサイズ後の矩形画像のX方向のサイズはlx×RXresize、Y方向のサイズはly×RYresizeとなる。画像リサイズ部15は、リサイズ後の矩形画像を病変画像分割部16に出力する。
図5及び図6は、実施の形態1にかかる画像リサイズ部15による処理を説明するための図である。図5は、図4に例示した病変P1を含む矩形画像I41がリサイズされる状態を例示する図である。図6は、図4に例示した病変P2を含む矩形画像I42がリサイズされる状態を例示する図である。
図5に例示するように、サイズ250×150ピクセルの矩形画像I41は、サイズ300×200ピクセルの矩形画像I41’へとリサイズされる。これにより、矩形画像I41’には入力画像I3のサイズの矩形Rin’(100×200ピクセル)が3個含まれ、余剰部分は含まれない。言い換えると、リサイズ前の矩形画像I41には、余剰部分Re1が含まれていたが、リサイズ後の矩形画像I41’には、画像アスペクト比の矩形Rin’以外の余剰部分は含まれない。
また、図6に例示するように、サイズ75×175ピクセルの矩形画像I42は、サイズ100×200ピクセルの矩形画像I42’へとリサイズされる。これにより、矩形画像I42’には、入力画像I3のサイズの矩形Rin’(100×200ピクセル)が1個含まれ、余剰部分は含まれない。言い換えると、リサイズ前の矩形画像I42には、余剰部分Re2が含まれていたが、リサイズ後の矩形画像I42’には、画像アスペクト比の矩形Rin’以外の余剰部分は含まれない。
病変画像分割部16は、リサイズされた矩形画像を入力画像サイズで分割する(ステップA6)。具体的には、病変画像分割部16は、リサイズされた矩形画像を、分割後の各矩形画像のサイズが入力画像サイズ、つまりhin×winとなるように分割する。図5に示した例では、リサイズ後の矩形画像は、3個の画像に分割される。また、図6に示した例では、リサイズ後の矩形画像は、1個の画像に分割される(この場合、実質的には分割はなされない)。そして、病変画像分割部16は、得られた画像群のデータ列を、病変識別装置20へ出力する。
病変識別装置20は、分割された各矩形画像の病変を識別し、スコアを算出する(ステップA7)。具体的には、病変識別装置20は、hin×winのサイズに分割された各矩形画像に対し、識別対象である数種類の病変のうち、ある1種の(例えば病変Aの)病変であろうと推測される程度を示すスコアを、0から1までの数字として算出する。このとき、この病変らしさが全くない場合のスコアは0であり、病変らしさが高くなるにしたがって、スコアは、1に近づく。なお、例えば、機械学習等を用いることにより、入力された矩形画像のある病変らしさのスコアを算出することが可能である。
病変識別装置20は、分割後の各矩形画像のスコアを統合し、診断結果を表示装置30に出力する(ステップA8)。具体的には、病変識別装置20は、各矩形画像に付された病変らしさのスコアを統合し、対象となる医用画像全体のスコアを計算する。統合の方法としては、例えば相加平均、又は最大値を採用する等の手法を用いてもよい。さらに、病変識別装置20は、対象となる医用画像全体の統合されたスコアを、ユーザが予め定めた0以上1以下の閾値と比較し、比較結果に応じた診断結果を出力する。例えば、統合されたスコアが閾値以上である場合に、その対象となる医用画像の病変は、その識別された病変(例えば病変A)である可能性が高い旨の診断結果が出力される。
そして、表示装置30は、診断結果を表示する(ステップA9)。これにより、ユーザは、医用画像の病変の診断結果を確認することができる。
[作用]
次に、図7~図9を用いて、本実施の形態にかかる医用画像診断システム100の作用について説明する。図7~図9は、本実施の形態にかかる医用画像診断システム100の作用を説明するための図である。図7は、入力画像I1及び医用画像I2を例示する図である。図8は、特許文献1にかかる比較例にかかる方法で医用画像を処理した場合の例を示す図である。図9は、実施の形態1にかかる方法で医用画像を処理した場合の例を示す図である。
次に、図7~図9を用いて、本実施の形態にかかる医用画像診断システム100の作用について説明する。図7~図9は、本実施の形態にかかる医用画像診断システム100の作用を説明するための図である。図7は、入力画像I1及び医用画像I2を例示する図である。図8は、特許文献1にかかる比較例にかかる方法で医用画像を処理した場合の例を示す図である。図9は、実施の形態1にかかる方法で医用画像を処理した場合の例を示す図である。
図7に例示する医用画像I2には、複雑な形状を有する病変Paが撮影されている。比較例にかかる方法で、この医用画像I2を、病変識別装置に入力するために分割すると、図8に例示するように、極めて細分化される領域(矢印Aで示す)が生じてしまう。この場合、細分化された領域を病変識別装置に入力するときに、この領域を入力画像I1のサイズに大きく拡大する必要がある。これにより、病変Paの解像度が粗くなり、病変識別装置が精度よく病変Paの識別を行うことができないおそれがある。これにより、診断の精度が劣化するおそれがある。
一方、実施の形態1にかかる方法で、この医用画像I2を、病変識別装置に入力するために分割すると、図9に例示するように、病変Paに外接する矩形Reで囲まれた矩形画像において、入力画像I1のサイズに対応したサイズの領域に等分され得る。図9に示した例では、医用画像I2は、入力画像I1のサイズに、5×5=25個の領域に等分される。したがって、実施の形態1にかかる方法により、図8に例示した比較例のように極めて細分化される領域が生じることを、抑制することができる。これにより、実施の形態1にかかる方法は、病変識別装置による病変Paの識別の精度の劣化を抑制することができる。したがって、診断の精度の劣化を抑制することが可能となる。
さらに、上述したように、実施の形態1にかかる方法では、入力画像サイズに合わせて縦方向の分割数と横方向の分割数とを調節するように、リサイズ倍率を算出する。つまり、実施の形態1にかかる病変領域分割装置10は、画像アスペクト比と矩形アスペクト比とに基づいて分割数比を算出し、この分割数比に応じて、矩形画像の縦方向及び横方向それぞれのリサイズ倍率を算出するように構成されている。そして、実施の形態1にかかる病変領域分割装置10は、このリサイズ倍率で矩形画像をリサイズして、リサイズ後の矩形画像を、分割後の各画像のサイズが入力画像のサイズと対応するように分割するように構成されている。これにより、矩形画像の矩形アスペクト比が、矩形画像のリサイズ前からリサイズ後にかけて極端に大きく変化することを抑制しつつ、分割後の各画像のサイズを入力画像のサイズに対応させることができる。
医用画像の病変領域の形状は様々であり、縦長であったり、横長であったりする。この場合、入力画像のアスペクト比に合うように例えば縦長の病変領域を横方向に大きく拡大すると、病変領域の形状が大きく変わってしまう。したがって、診断の精度が劣化するおそれがある。これに対し、実施の形態1にかかる方法は、上記のように構成されているので、病変識別装置による病変Paの識別の精度の劣化を抑制することができる。したがって、診断の精度の劣化を抑制することが可能となる。
また、実施の形態1にかかる病変領域分割装置10は、予め定められた閾値(Th1,Th2)に対する分割数比(式1)の大きさに応じて異なる算出方法で、矩形画像のリサイズ倍率を算出するように構成されている。これにより、病変領域の長手方向が縦方向か横方向かのいずれかに応じて処理が分かれるので、いかなる矩形アスペクト比を持つ病変領域でも、適切に処理することができる。
また、実施の形態1にかかる病変領域分割装置10は、予め定められた閾値(Th1,Th2)に対する分割数比(式1)の大きさに応じて異なる算出方法で、リサイズ後の矩形画像の分割数比(式3,式6,式8)を算出する。そして、実施の形態1にかかる病変領域分割装置10は、矩形画像を分割する際にリサイズ後の分割数比となるように、矩形画像のリサイズ倍率を算出するように構成されている。これにより、矩形画像のリサイズ後の分割数比がリサイズ前の分割数比に近くなるようにリサイズされる。したがって、矩形アスペクト比が、リサイズ前からリサイズ後にかけて極端に大きく変化することを抑制できる。
また、実施の形態1にかかる病変領域分割装置10は、リサイズ後の矩形画像の縦方向の分割数及び横方向の分割数が予め定められた分割数の上限値dmaxを超えないように、リサイズ後の分割数比を算出するように構成されている。これにより、矩形画像が過度に細かく分割されてしまうことを抑制することができる。
また、実施の形態1にかかるリサイズ倍率算出部14は、分割数比算出部13によって算出された分割数比が、閾値Th1よりも小さい場合に、リサイズ後の矩形画像の横方向の分割数を上限値dmaxとする。そして、実施の形態1にかかるリサイズ倍率算出部14は、リサイズ後の矩形画像の横方向のリサイズ倍率を、上限値に応じて算出する。これにより、病変領域が横長であっても、適切にリサイズ倍率を算出することが可能となる。したがって、事前に病変領域の形状が縦長であるか横長であるかを分類しておく必要がない。
また、実施の形態1にかかるリサイズ倍率算出部14は、分割数比算出部13によって算出された分割数比が、閾値Th2以上である場合に、リサイズ後の矩形画像の縦方向の分割数を上限値dmaxとする。そして、実施の形態1にかかるリサイズ倍率算出部14は、リサイズ後の矩形画像の縦方向のリサイズ倍率を、上限値に応じて算出する。これにより、病変領域が縦長であっても、適切にリサイズ倍率を算出することが可能となる。したがって、事前に病変領域の形状が縦長であるか横長であるかを分類しておく必要がない。
また、実施の形態1にかかるリサイズ倍率算出部14は、分割数比算出部13によって算出された分割数比が閾値Th1以上であり閾値Th2より小さい場合に、リサイズ後の矩形画像の横方向の分割数と縦方向の分割数とを互いに同じとする。これにより、病変領域の形状が縦方向及び横方向に概ね等方的である場合であっても、適切にリサイズ倍率を算出することが可能となる。したがって、事前に病変領域の形状が縦長であるか横長であるかを分類しておく必要がない。
(ハードウェア構成)
図10は、実施の形態1にかかる医用画像診断システム100に適用可能な計算処理装置50のハードウェア構成例を概略的に示すブロック図である。計算処理装置50は、図2に示した病変領域分割装置10、病変識別装置20、及び表示装置30を実現可能である。
図10は、実施の形態1にかかる医用画像診断システム100に適用可能な計算処理装置50のハードウェア構成例を概略的に示すブロック図である。計算処理装置50は、図2に示した病変領域分割装置10、病変識別装置20、及び表示装置30を実現可能である。
計算処理装置50は、CPU51、揮発性記憶装置52、ディスク53、不揮発性記録媒体54、及び、通信IF57(IF:Interface)を有する。したがって、各装置又は医用画像診断システム100は、CPU51、揮発性記憶装置52、ディスク53、不揮発性記録媒体54、及び、通信IF57を有しているといえる。計算処理装置50は、入力装置55及び出力装置56に接続可能であってもよい。計算処理装置50は、入力装置55及び出力装置56を備えていてもよい。また、計算処理装置50は、通信IF57を介して、他の計算処理装置、及び、通信装置と情報を送受信することができる。
不揮発性記録媒体54は、コンピュータが読み取り可能な、たとえば、コンパクトディスク、又はデジタルバーサタイルディスクである。また、不揮発性記録媒体54は、USBメモリ、又はソリッドステートドライブ等であってもよい。不揮発性記録媒体54は、電源を供給しなくても係るプログラムを保持し、持ち運びを可能にする。なお、不揮発性記録媒体54は、上述した媒体に限定されない。また、不揮発性記録媒体54の代わりに、通信IF57及び通信ネットワークを介して、係るプログラムが供給されてもよい。
揮発性記憶装置52は、コンピュータが読み取り可能であって、一時的にデータを記憶することができる。揮発性記憶装置52は、DRAM(Dynamic Random Access Memory)、SRAM(Static Random Access Memory)等のメモリ等である。
すなわち、CPU51は、ディスク53に格納されているソフトウェア・プログラム(コンピュータ・プログラム:以下、単に「プログラム」と称する)を、実行する際に揮発性記憶装置52にコピーし、演算処理を実行する。CPU51は、プログラムの実行に必要なデータを揮発性記憶装置52から読み取る。表示が必要な場合、CPU51は、出力装置56に出力結果を表示する。外部からプログラムを入力する場合、CPU51は、入力装置55からプログラムを取得する。CPU51は、上述した図1または図2に示される各構成要素の機能(処理)に対応するプログラム(図3等)を解釈し実行する。CPU51は、上述した実施の形態において説明した処理を実行する。言い換えると、上述した図1または図2に示される各構成要素の機能は、ディスク53又は揮発性記憶装置52に格納されたプログラムを、CPU51が実行することによって実現され得る。さらに、図3に示した処理は、ディスク53又は揮発性記憶装置52に格納されたプログラムを、CPU51が実行することによって実現され得る。
すなわち、本実施の形態は、このようなプログラムによっても成し得ると捉えることができる。さらに、このようなプログラムが記録されたコンピュータが読み取り可能な不揮発性の記録媒体によっても、本実施の形態は成し得ると捉えることができる。
(変形例)
なお、本発明は上記実施の形態に限られたものではなく、趣旨を逸脱しない範囲で適宜変更することが可能である。例えば、上述したフローチャートにおいて、各処理(ステップ)の順序は、適宜、変更可能である。また、複数ある処理(ステップ)のうちの1つ以上は、省略されてもよい。例えば、図3のフローチャートにおいて、A7~A9の処理はなくてもよい。つまり、本実施の形態は、病変領域分割装置10で実行される病変領域分割方法(図3のA1~A6)のみで、実現可能である。
なお、本発明は上記実施の形態に限られたものではなく、趣旨を逸脱しない範囲で適宜変更することが可能である。例えば、上述したフローチャートにおいて、各処理(ステップ)の順序は、適宜、変更可能である。また、複数ある処理(ステップ)のうちの1つ以上は、省略されてもよい。例えば、図3のフローチャートにおいて、A7~A9の処理はなくてもよい。つまり、本実施の形態は、病変領域分割装置10で実行される病変領域分割方法(図3のA1~A6)のみで、実現可能である。
また、上述したように、プログラムは、様々なタイプの非一時的なコンピュータ可読媒体(non-transitory computer readable medium)を用いて格納され、コンピュータに供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体(tangible storage medium)を含む。非一時的なコンピュータ可読媒体の例は、磁気記録媒体(例えばフレキシブルディスク、磁気テープ、ハードディスクドライブ)、光磁気記録媒体(例えば光磁気ディスク)、CD-ROM(Read Only Memory)、CD-R、CD-R/W、半導体メモリ(例えば、マスクROM、PROM(Programmable ROM)、EPROM(Erasable PROM)、フラッシュROM、RAM(Random Access Memory))を含む。また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体(transitory computer readable medium)によってコンピュータに供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路を介して、プログラムをコンピュータに供給できる。
上記の実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。
(付記1)
医用画像の病変領域に外接する矩形を作成する矩形作成手段と、
病変を識別する装置に入力される入力画像の画像アスペクト比と、前記矩形の縦方向の長さと横方向の長さとの比である矩形アスペクト比とに基づいて、前記病変領域を分割するときの横方向の分割数に対する縦方向の分割数の比である分割数比を算出する分割数比算出手段と、
前記分割数比に応じて、前記矩形で囲まれ前記病変領域を含む矩形画像の縦方向及び横方向それぞれのリサイズ倍率を算出する倍率算出手段と、
前記リサイズ倍率で前記矩形画像をリサイズするリサイズ手段と、
分割後の各画像のサイズが前記入力画像のサイズと対応するように、リサイズされた前記矩形画像を1つ以上の画像に分割する分割手段と
を有する病変領域分割装置。
(付記2)
前記倍率算出手段は、予め定められた閾値に対する前記分割数比の大きさに応じて異なる算出方法で、前記矩形画像のリサイズ倍率を算出する
付記1に記載の病変領域分割装置。
(付記3)
前記倍率算出手段は、予め定められた閾値に対する前記分割数比の大きさに応じて異なる算出方法で、リサイズ後の前記矩形画像の前記分割数比を算出し、前記分割手段によって分割する際に前記リサイズ後の分割数比となるように、前記矩形画像のリサイズ倍率を算出する
付記2に記載の病変領域分割装置。
(付記4)
前記倍率算出手段は、前記リサイズ後の前記矩形画像の前記縦方向の分割数及び前記横方向の分割数が予め定められた分割数の上限値を超えないように、前記リサイズ後の分割数比を算出する
付記3に記載の病変領域分割装置。
(付記5)
前記分割数比算出手段によって算出された前記分割数比が、前記上限値に応じて予め定められた1より小さな第1の閾値よりも小さい場合に、前記倍率算出手段は、リサイズ後の前記矩形画像の横方向の分割数を前記上限値とし、リサイズ後の前記矩形画像の横方向のリサイズ倍率を、前記上限値に応じて算出する
付記4に記載の病変領域分割装置。
(付記6)
前記分割数比算出手段によって算出された前記分割数比が、前記上限値に応じて予め定められた1より大きな第2の閾値以上である場合に、前記倍率算出手段は、リサイズ後の前記矩形画像の縦方向の分割数を前記上限値とし、リサイズ後の前記矩形画像の縦方向のリサイズ倍率を、前記上限値に応じて算出する
付記4に記載の病変領域分割装置。
(付記7)
前記分割数比算出手段によって算出された前記分割数比が、前記上限値に応じて予め定められた1より小さな第1の閾値以上であり、前記上限値に応じて予め定められた1より大きな第2の閾値よりも小さい場合に、前記倍率算出手段は、リサイズ後の前記矩形画像の横方向の分割数と縦方向の分割数とを互いに同じとする
付記4に記載の病変領域分割装置。
(付記8)
医用画像の病変領域を分割する病変領域分割装置と、
前記分割された病変領域を用いて病変を識別する病変識別装置と
を有し、
前記病変領域分割装置は、
前記病変領域に外接する矩形を作成する矩形作成手段と、
前記病変識別装置に入力される入力画像の画像アスペクト比と、前記矩形の縦方向の長さと横方向の長さとの比である矩形アスペクト比とに基づいて、前記病変領域を分割するときの横方向の分割数に対する縦方向の分割数の比である分割数比を算出する分割数比算出手段と、
前記分割数比に応じて、前記矩形で囲まれ前記病変領域を含む矩形画像の縦方向及び横方向それぞれのリサイズ倍率を算出する倍率算出手段と、
前記リサイズ倍率で前記矩形画像をリサイズするリサイズ手段と、
分割後の各画像のサイズが前記入力画像のサイズと対応するように、リサイズされた前記矩形画像を1つ以上の画像に分割する分割手段と
を有し、
前記病変識別装置は、前記分割された各画像を用いて、病変を識別する
医用画像診断システム。
(付記9)
前記倍率算出手段は、予め定められた閾値に対する前記分割数比の大きさに応じて異なる算出方法で、前記矩形画像のリサイズ倍率を算出する
付記8に記載の医用画像診断システム。
(付記10)
前記倍率算出手段は、予め定められた閾値に対する前記分割数比の大きさに応じて異なる算出方法で、リサイズ後の前記矩形画像の前記分割数比を算出し、前記分割手段によって分割する際に前記リサイズ後の分割数比となるように、前記矩形画像のリサイズ倍率を算出する
付記9に記載の医用画像診断システム。
(付記11)
前記倍率算出手段は、前記リサイズ後の前記矩形画像の前記縦方向の分割数及び前記横方向の分割数が予め定められた分割数の上限値を超えないように、前記リサイズ後の分割数比を算出する
付記10に記載の医用画像診断システム。
(付記12)
前記分割数比算出手段によって算出された前記分割数比が、前記上限値に応じて予め定められた1より小さな第1の閾値よりも小さい場合に、前記倍率算出手段は、リサイズ後の前記矩形画像の横方向の分割数を前記上限値とし、リサイズ後の前記矩形画像の横方向のリサイズ倍率を、前記上限値に応じて算出する
付記11に記載の医用画像診断システム。
(付記13)
前記分割数比算出手段によって算出された前記分割数比が、前記上限値に応じて予め定められた1より大きな第2の閾値以上である場合に、前記倍率算出手段は、リサイズ後の前記矩形画像の縦方向の分割数を前記上限値とし、リサイズ後の前記矩形画像の縦方向のリサイズ倍率を、前記上限値に応じて算出する
付記11に記載の医用画像診断システム。
(付記14)
前記分割数比算出手段によって算出された前記分割数比が、前記上限値に応じて予め定められた1より小さな第1の閾値以上であり、前記上限値に応じて予め定められた1より大きな第2の閾値よりも小さい場合に、前記倍率算出手段は、リサイズ後の前記矩形画像の横方向の分割数と縦方向の分割数とを互いに同じとする
付記11に記載の医用画像診断システム。
(付記15)
医用画像の病変領域に外接する矩形を作成し、
病変を識別する装置に入力される入力画像の画像アスペクト比と、前記矩形の縦方向の長さと横方向の長さとの比である矩形アスペクト比とに基づいて、前記病変領域を分割するときの横方向の分割数に対する縦方向の分割数の比である分割数比を算出し、
前記分割数比に応じて、前記矩形で囲まれ前記病変領域を含む矩形画像の縦方向及び横方向それぞれのリサイズ倍率を算出し、
前記リサイズ倍率で前記矩形画像をリサイズし、
分割後の各画像のサイズが前記入力画像のサイズと対応するように、リサイズされた前記矩形画像を1つ以上の画像に分割する
病変領域分割方法。
(付記16)
予め定められた閾値に対する前記分割数比の大きさに応じて異なる算出方法で、前記矩形画像のリサイズ倍率を算出する
付記15に記載の病変領域分割方法。
(付記17)
予め定められた閾値に対する前記分割数比の大きさに応じて異なる算出方法で、リサイズ後の前記矩形画像の前記分割数比を算出し、分割する際に前記リサイズ後の分割数比となるように、前記矩形画像のリサイズ倍率を算出する
付記16に記載の病変領域分割方法。
(付記18)
前記リサイズ後の前記矩形画像の前記縦方向の分割数及び前記横方向の分割数が予め定められた分割数の上限値を超えないように、前記リサイズ後の分割数比を算出する
付記17に記載の病変領域分割方法。
(付記19)
算出された前記分割数比が、前記上限値に応じて予め定められた1より小さな第1の閾値よりも小さい場合に、リサイズ後の前記矩形画像の横方向の分割数を前記上限値とし、リサイズ後の前記矩形画像の横方向のリサイズ倍率を、前記上限値に応じて算出する
付記18に記載の病変領域分割方法。
(付記20)
算出された前記分割数比が、前記上限値に応じて予め定められた1より大きな第2の閾値以上である場合に、リサイズ後の前記矩形画像の縦方向の分割数を前記上限値とし、リサイズ後の前記矩形画像の縦方向のリサイズ倍率を、前記上限値に応じて算出する
付記18に記載の病変領域分割方法。
(付記21)
算出された前記分割数比が、前記上限値に応じて予め定められた1より小さな第1の閾値以上であり、前記上限値に応じて予め定められた1より大きな第2の閾値よりも小さい場合に、リサイズ後の前記矩形画像の横方向の分割数と縦方向の分割数とを互いに同じとする
付記18に記載の病変領域分割方法。
(付記22)
医用画像の病変領域に外接する矩形を作成するステップと、
病変を識別する装置に入力される入力画像の画像アスペクト比と、前記矩形の縦方向の長さと横方向の長さとの比である矩形アスペクト比とに基づいて、前記病変領域を分割するときの横方向の分割数に対する縦方向の分割数の比である分割数比を算出するステップと、
前記分割数比に応じて、前記矩形で囲まれ前記病変領域を含む矩形画像の縦方向及び横方向それぞれのリサイズ倍率を算出するステップと、
前記リサイズ倍率で前記矩形画像をリサイズするステップと、
分割後の各画像のサイズが前記入力画像のサイズと対応するように、リサイズされた前記矩形画像を1つ以上の画像に分割するステップと
をコンピュータに実行させるプログラムが格納された非一時的なコンピュータ可読媒体。
(付記1)
医用画像の病変領域に外接する矩形を作成する矩形作成手段と、
病変を識別する装置に入力される入力画像の画像アスペクト比と、前記矩形の縦方向の長さと横方向の長さとの比である矩形アスペクト比とに基づいて、前記病変領域を分割するときの横方向の分割数に対する縦方向の分割数の比である分割数比を算出する分割数比算出手段と、
前記分割数比に応じて、前記矩形で囲まれ前記病変領域を含む矩形画像の縦方向及び横方向それぞれのリサイズ倍率を算出する倍率算出手段と、
前記リサイズ倍率で前記矩形画像をリサイズするリサイズ手段と、
分割後の各画像のサイズが前記入力画像のサイズと対応するように、リサイズされた前記矩形画像を1つ以上の画像に分割する分割手段と
を有する病変領域分割装置。
(付記2)
前記倍率算出手段は、予め定められた閾値に対する前記分割数比の大きさに応じて異なる算出方法で、前記矩形画像のリサイズ倍率を算出する
付記1に記載の病変領域分割装置。
(付記3)
前記倍率算出手段は、予め定められた閾値に対する前記分割数比の大きさに応じて異なる算出方法で、リサイズ後の前記矩形画像の前記分割数比を算出し、前記分割手段によって分割する際に前記リサイズ後の分割数比となるように、前記矩形画像のリサイズ倍率を算出する
付記2に記載の病変領域分割装置。
(付記4)
前記倍率算出手段は、前記リサイズ後の前記矩形画像の前記縦方向の分割数及び前記横方向の分割数が予め定められた分割数の上限値を超えないように、前記リサイズ後の分割数比を算出する
付記3に記載の病変領域分割装置。
(付記5)
前記分割数比算出手段によって算出された前記分割数比が、前記上限値に応じて予め定められた1より小さな第1の閾値よりも小さい場合に、前記倍率算出手段は、リサイズ後の前記矩形画像の横方向の分割数を前記上限値とし、リサイズ後の前記矩形画像の横方向のリサイズ倍率を、前記上限値に応じて算出する
付記4に記載の病変領域分割装置。
(付記6)
前記分割数比算出手段によって算出された前記分割数比が、前記上限値に応じて予め定められた1より大きな第2の閾値以上である場合に、前記倍率算出手段は、リサイズ後の前記矩形画像の縦方向の分割数を前記上限値とし、リサイズ後の前記矩形画像の縦方向のリサイズ倍率を、前記上限値に応じて算出する
付記4に記載の病変領域分割装置。
(付記7)
前記分割数比算出手段によって算出された前記分割数比が、前記上限値に応じて予め定められた1より小さな第1の閾値以上であり、前記上限値に応じて予め定められた1より大きな第2の閾値よりも小さい場合に、前記倍率算出手段は、リサイズ後の前記矩形画像の横方向の分割数と縦方向の分割数とを互いに同じとする
付記4に記載の病変領域分割装置。
(付記8)
医用画像の病変領域を分割する病変領域分割装置と、
前記分割された病変領域を用いて病変を識別する病変識別装置と
を有し、
前記病変領域分割装置は、
前記病変領域に外接する矩形を作成する矩形作成手段と、
前記病変識別装置に入力される入力画像の画像アスペクト比と、前記矩形の縦方向の長さと横方向の長さとの比である矩形アスペクト比とに基づいて、前記病変領域を分割するときの横方向の分割数に対する縦方向の分割数の比である分割数比を算出する分割数比算出手段と、
前記分割数比に応じて、前記矩形で囲まれ前記病変領域を含む矩形画像の縦方向及び横方向それぞれのリサイズ倍率を算出する倍率算出手段と、
前記リサイズ倍率で前記矩形画像をリサイズするリサイズ手段と、
分割後の各画像のサイズが前記入力画像のサイズと対応するように、リサイズされた前記矩形画像を1つ以上の画像に分割する分割手段と
を有し、
前記病変識別装置は、前記分割された各画像を用いて、病変を識別する
医用画像診断システム。
(付記9)
前記倍率算出手段は、予め定められた閾値に対する前記分割数比の大きさに応じて異なる算出方法で、前記矩形画像のリサイズ倍率を算出する
付記8に記載の医用画像診断システム。
(付記10)
前記倍率算出手段は、予め定められた閾値に対する前記分割数比の大きさに応じて異なる算出方法で、リサイズ後の前記矩形画像の前記分割数比を算出し、前記分割手段によって分割する際に前記リサイズ後の分割数比となるように、前記矩形画像のリサイズ倍率を算出する
付記9に記載の医用画像診断システム。
(付記11)
前記倍率算出手段は、前記リサイズ後の前記矩形画像の前記縦方向の分割数及び前記横方向の分割数が予め定められた分割数の上限値を超えないように、前記リサイズ後の分割数比を算出する
付記10に記載の医用画像診断システム。
(付記12)
前記分割数比算出手段によって算出された前記分割数比が、前記上限値に応じて予め定められた1より小さな第1の閾値よりも小さい場合に、前記倍率算出手段は、リサイズ後の前記矩形画像の横方向の分割数を前記上限値とし、リサイズ後の前記矩形画像の横方向のリサイズ倍率を、前記上限値に応じて算出する
付記11に記載の医用画像診断システム。
(付記13)
前記分割数比算出手段によって算出された前記分割数比が、前記上限値に応じて予め定められた1より大きな第2の閾値以上である場合に、前記倍率算出手段は、リサイズ後の前記矩形画像の縦方向の分割数を前記上限値とし、リサイズ後の前記矩形画像の縦方向のリサイズ倍率を、前記上限値に応じて算出する
付記11に記載の医用画像診断システム。
(付記14)
前記分割数比算出手段によって算出された前記分割数比が、前記上限値に応じて予め定められた1より小さな第1の閾値以上であり、前記上限値に応じて予め定められた1より大きな第2の閾値よりも小さい場合に、前記倍率算出手段は、リサイズ後の前記矩形画像の横方向の分割数と縦方向の分割数とを互いに同じとする
付記11に記載の医用画像診断システム。
(付記15)
医用画像の病変領域に外接する矩形を作成し、
病変を識別する装置に入力される入力画像の画像アスペクト比と、前記矩形の縦方向の長さと横方向の長さとの比である矩形アスペクト比とに基づいて、前記病変領域を分割するときの横方向の分割数に対する縦方向の分割数の比である分割数比を算出し、
前記分割数比に応じて、前記矩形で囲まれ前記病変領域を含む矩形画像の縦方向及び横方向それぞれのリサイズ倍率を算出し、
前記リサイズ倍率で前記矩形画像をリサイズし、
分割後の各画像のサイズが前記入力画像のサイズと対応するように、リサイズされた前記矩形画像を1つ以上の画像に分割する
病変領域分割方法。
(付記16)
予め定められた閾値に対する前記分割数比の大きさに応じて異なる算出方法で、前記矩形画像のリサイズ倍率を算出する
付記15に記載の病変領域分割方法。
(付記17)
予め定められた閾値に対する前記分割数比の大きさに応じて異なる算出方法で、リサイズ後の前記矩形画像の前記分割数比を算出し、分割する際に前記リサイズ後の分割数比となるように、前記矩形画像のリサイズ倍率を算出する
付記16に記載の病変領域分割方法。
(付記18)
前記リサイズ後の前記矩形画像の前記縦方向の分割数及び前記横方向の分割数が予め定められた分割数の上限値を超えないように、前記リサイズ後の分割数比を算出する
付記17に記載の病変領域分割方法。
(付記19)
算出された前記分割数比が、前記上限値に応じて予め定められた1より小さな第1の閾値よりも小さい場合に、リサイズ後の前記矩形画像の横方向の分割数を前記上限値とし、リサイズ後の前記矩形画像の横方向のリサイズ倍率を、前記上限値に応じて算出する
付記18に記載の病変領域分割方法。
(付記20)
算出された前記分割数比が、前記上限値に応じて予め定められた1より大きな第2の閾値以上である場合に、リサイズ後の前記矩形画像の縦方向の分割数を前記上限値とし、リサイズ後の前記矩形画像の縦方向のリサイズ倍率を、前記上限値に応じて算出する
付記18に記載の病変領域分割方法。
(付記21)
算出された前記分割数比が、前記上限値に応じて予め定められた1より小さな第1の閾値以上であり、前記上限値に応じて予め定められた1より大きな第2の閾値よりも小さい場合に、リサイズ後の前記矩形画像の横方向の分割数と縦方向の分割数とを互いに同じとする
付記18に記載の病変領域分割方法。
(付記22)
医用画像の病変領域に外接する矩形を作成するステップと、
病変を識別する装置に入力される入力画像の画像アスペクト比と、前記矩形の縦方向の長さと横方向の長さとの比である矩形アスペクト比とに基づいて、前記病変領域を分割するときの横方向の分割数に対する縦方向の分割数の比である分割数比を算出するステップと、
前記分割数比に応じて、前記矩形で囲まれ前記病変領域を含む矩形画像の縦方向及び横方向それぞれのリサイズ倍率を算出するステップと、
前記リサイズ倍率で前記矩形画像をリサイズするステップと、
分割後の各画像のサイズが前記入力画像のサイズと対応するように、リサイズされた前記矩形画像を1つ以上の画像に分割するステップと
をコンピュータに実行させるプログラムが格納された非一時的なコンピュータ可読媒体。
以上、実施の形態を参照して本願発明を説明したが、本願発明は上記によって限定されるものではない。本願発明の構成や詳細には、発明のスコープ内で当業者が理解し得る様々な変更をすることができる。
この出願は、2019年2月14日に出願された日本出願特願2019-024745を基礎とする優先権を主張し、その開示の全てをここに取り込む。
1 病変領域分割装置
2 矩形作成部
3 分割数比算出部
4 倍率算出部
5 リサイズ部
6 分割部
10 病変領域分割装置
11 病変領域特定部
12 外接矩形作成部
13 分割数比算出部
14 リサイズ倍率算出部
15 画像リサイズ部
16 病変画像分割部
20 病変識別装置
30 表示装置
50 計算処理装置
100 医用画像診断システム
2 矩形作成部
3 分割数比算出部
4 倍率算出部
5 リサイズ部
6 分割部
10 病変領域分割装置
11 病変領域特定部
12 外接矩形作成部
13 分割数比算出部
14 リサイズ倍率算出部
15 画像リサイズ部
16 病変画像分割部
20 病変識別装置
30 表示装置
50 計算処理装置
100 医用画像診断システム
Claims (22)
- 医用画像の病変領域に外接する矩形を作成する矩形作成手段と、
病変を識別する装置に入力される入力画像の画像アスペクト比と、前記矩形の縦方向の長さと横方向の長さとの比である矩形アスペクト比とに基づいて、前記病変領域を分割するときの横方向の分割数に対する縦方向の分割数の比である分割数比を算出する分割数比算出手段と、
前記分割数比に応じて、前記矩形で囲まれ前記病変領域を含む矩形画像の縦方向及び横方向それぞれのリサイズ倍率を算出する倍率算出手段と、
前記リサイズ倍率で前記矩形画像をリサイズするリサイズ手段と、
分割後の各画像のサイズが前記入力画像のサイズと対応するように、リサイズされた前記矩形画像を1つ以上の画像に分割する分割手段と
を有する病変領域分割装置。 - 前記倍率算出手段は、予め定められた閾値に対する前記分割数比の大きさに応じて異なる算出方法で、前記矩形画像のリサイズ倍率を算出する
請求項1に記載の病変領域分割装置。 - 前記倍率算出手段は、予め定められた閾値に対する前記分割数比の大きさに応じて異なる算出方法で、リサイズ後の前記矩形画像の前記分割数比を算出し、前記分割手段によって分割する際に前記リサイズ後の分割数比となるように、前記矩形画像のリサイズ倍率を算出する
請求項2に記載の病変領域分割装置。 - 前記倍率算出手段は、前記リサイズ後の前記矩形画像の前記縦方向の分割数及び前記横方向の分割数が予め定められた分割数の上限値を超えないように、前記リサイズ後の分割数比を算出する
請求項3に記載の病変領域分割装置。 - 前記分割数比算出手段によって算出された前記分割数比が、前記上限値に応じて予め定められた1より小さな第1の閾値よりも小さい場合に、前記倍率算出手段は、リサイズ後の前記矩形画像の横方向の分割数を前記上限値とし、リサイズ後の前記矩形画像の横方向のリサイズ倍率を、前記上限値に応じて算出する
請求項4に記載の病変領域分割装置。 - 前記分割数比算出手段によって算出された前記分割数比が、前記上限値に応じて予め定められた1より大きな第2の閾値以上である場合に、前記倍率算出手段は、リサイズ後の前記矩形画像の縦方向の分割数を前記上限値とし、リサイズ後の前記矩形画像の縦方向のリサイズ倍率を、前記上限値に応じて算出する
請求項4に記載の病変領域分割装置。 - 前記分割数比算出手段によって算出された前記分割数比が、前記上限値に応じて予め定められた1より小さな第1の閾値以上であり、前記上限値に応じて予め定められた1より大きな第2の閾値よりも小さい場合に、前記倍率算出手段は、リサイズ後の前記矩形画像の横方向の分割数と縦方向の分割数とを互いに同じとする
請求項4に記載の病変領域分割装置。 - 医用画像の病変領域を分割する病変領域分割装置と、
前記分割された病変領域を用いて病変を識別する病変識別装置と
を有し、
前記病変領域分割装置は、
前記病変領域に外接する矩形を作成する矩形作成手段と、
前記病変識別装置に入力される入力画像の画像アスペクト比と、前記矩形の縦方向の長さと横方向の長さとの比である矩形アスペクト比とに基づいて、前記病変領域を分割するときの横方向の分割数に対する縦方向の分割数の比である分割数比を算出する分割数比算出手段と、
前記分割数比に応じて、前記矩形で囲まれ前記病変領域を含む矩形画像の縦方向及び横方向それぞれのリサイズ倍率を算出する倍率算出手段と、
前記リサイズ倍率で前記矩形画像をリサイズするリサイズ手段と、
分割後の各画像のサイズが前記入力画像のサイズと対応するように、リサイズされた前記矩形画像を1つ以上の画像に分割する分割手段と
を有し、
前記病変識別装置は、前記分割された各画像を用いて、病変を識別する
医用画像診断システム。 - 前記倍率算出手段は、予め定められた閾値に対する前記分割数比の大きさに応じて異なる算出方法で、前記矩形画像のリサイズ倍率を算出する
請求項8に記載の医用画像診断システム。 - 前記倍率算出手段は、予め定められた閾値に対する前記分割数比の大きさに応じて異なる算出方法で、リサイズ後の前記矩形画像の前記分割数比を算出し、前記分割手段によって分割する際に前記リサイズ後の分割数比となるように、前記矩形画像のリサイズ倍率を算出する
請求項9に記載の医用画像診断システム。 - 前記倍率算出手段は、前記リサイズ後の前記矩形画像の前記縦方向の分割数及び前記横方向の分割数が予め定められた分割数の上限値を超えないように、前記リサイズ後の分割数比を算出する
請求項10に記載の医用画像診断システム。 - 前記分割数比算出手段によって算出された前記分割数比が、前記上限値に応じて予め定められた1より小さな第1の閾値よりも小さい場合に、前記倍率算出手段は、リサイズ後の前記矩形画像の横方向の分割数を前記上限値とし、リサイズ後の前記矩形画像の横方向のリサイズ倍率を、前記上限値に応じて算出する
請求項11に記載の医用画像診断システム。 - 前記分割数比算出手段によって算出された前記分割数比が、前記上限値に応じて予め定められた1より大きな第2の閾値以上である場合に、前記倍率算出手段は、リサイズ後の前記矩形画像の縦方向の分割数を前記上限値とし、リサイズ後の前記矩形画像の縦方向のリサイズ倍率を、前記上限値に応じて算出する
請求項11に記載の医用画像診断システム。 - 前記分割数比算出手段によって算出された前記分割数比が、前記上限値に応じて予め定められた1より小さな第1の閾値以上であり、前記上限値に応じて予め定められた1より大きな第2の閾値よりも小さい場合に、前記倍率算出手段は、リサイズ後の前記矩形画像の横方向の分割数と縦方向の分割数とを互いに同じとする
請求項11に記載の医用画像診断システム。 - 医用画像の病変領域に外接する矩形を作成し、
病変を識別する装置に入力される入力画像の画像アスペクト比と、前記矩形の縦方向の長さと横方向の長さとの比である矩形アスペクト比とに基づいて、前記病変領域を分割するときの横方向の分割数に対する縦方向の分割数の比である分割数比を算出し、
前記分割数比に応じて、前記矩形で囲まれ前記病変領域を含む矩形画像の縦方向及び横方向それぞれのリサイズ倍率を算出し、
前記リサイズ倍率で前記矩形画像をリサイズし、
分割後の各画像のサイズが前記入力画像のサイズと対応するように、リサイズされた前記矩形画像を1つ以上の画像に分割する
病変領域分割方法。 - 予め定められた閾値に対する前記分割数比の大きさに応じて異なる算出方法で、前記矩形画像のリサイズ倍率を算出する
請求項15に記載の病変領域分割方法。 - 予め定められた閾値に対する前記分割数比の大きさに応じて異なる算出方法で、リサイズ後の前記矩形画像の前記分割数比を算出し、分割する際に前記リサイズ後の分割数比となるように、前記矩形画像のリサイズ倍率を算出する
請求項16に記載の病変領域分割方法。 - 前記リサイズ後の前記矩形画像の前記縦方向の分割数及び前記横方向の分割数が予め定められた分割数の上限値を超えないように、前記リサイズ後の分割数比を算出する
請求項17に記載の病変領域分割方法。 - 算出された前記分割数比が、前記上限値に応じて予め定められた1より小さな第1の閾値よりも小さい場合に、リサイズ後の前記矩形画像の横方向の分割数を前記上限値とし、リサイズ後の前記矩形画像の横方向のリサイズ倍率を、前記上限値に応じて算出する
請求項18に記載の病変領域分割方法。 - 算出された前記分割数比が、前記上限値に応じて予め定められた1より大きな第2の閾値以上である場合に、リサイズ後の前記矩形画像の縦方向の分割数を前記上限値とし、リサイズ後の前記矩形画像の縦方向のリサイズ倍率を、前記上限値に応じて算出する
請求項18に記載の病変領域分割方法。 - 算出された前記分割数比が、前記上限値に応じて予め定められた1より小さな第1の閾値以上であり、前記上限値に応じて予め定められた1より大きな第2の閾値よりも小さい場合に、リサイズ後の前記矩形画像の横方向の分割数と縦方向の分割数とを互いに同じとする
請求項18に記載の病変領域分割方法。 - 医用画像の病変領域に外接する矩形を作成するステップと、
病変を識別する装置に入力される入力画像の画像アスペクト比と、前記矩形の縦方向の長さと横方向の長さとの比である矩形アスペクト比とに基づいて、前記病変領域を分割するときの横方向の分割数に対する縦方向の分割数の比である分割数比を算出するステップと、
前記分割数比に応じて、前記矩形で囲まれ前記病変領域を含む矩形画像の縦方向及び横方向それぞれのリサイズ倍率を算出するステップと、
前記リサイズ倍率で前記矩形画像をリサイズするステップと、
分割後の各画像のサイズが前記入力画像のサイズと対応するように、リサイズされた前記矩形画像を1つ以上の画像に分割するステップと
をコンピュータに実行させるプログラムが格納された非一時的なコンピュータ可読媒体。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
EP20755534.3A EP3925514B1 (en) | 2019-02-14 | 2020-01-10 | Lesion area dividing device, medical image diagnostic system, lesion area dividing method, and non-transitory computer readable medium that stores program |
JP2020572125A JP7124895B2 (ja) | 2019-02-14 | 2020-01-10 | 病変領域分割装置、医用画像診断システム、病変領域分割方法及びプログラム |
US17/430,062 US12020397B2 (en) | 2019-02-14 | 2020-01-10 | Lesion area dividing device, medical image diagnostic system, lesion area dividing method, and non-transitory computer-readable medium storing program |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019024745 | 2019-02-14 | ||
JP2019-024745 | 2019-02-14 |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2020166247A1 true WO2020166247A1 (ja) | 2020-08-20 |
Family
ID=72045538
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2020/000712 WO2020166247A1 (ja) | 2019-02-14 | 2020-01-10 | 病変領域分割装置、医用画像診断システム、病変領域分割方法及びプログラムが格納された非一時的なコンピュータ可読媒体 |
Country Status (4)
Country | Link |
---|---|
US (1) | US12020397B2 (ja) |
EP (1) | EP3925514B1 (ja) |
JP (1) | JP7124895B2 (ja) |
WO (1) | WO2020166247A1 (ja) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2022191058A1 (ja) * | 2021-03-09 | 2022-09-15 | 富士フイルム株式会社 | 内視鏡画像処理装置、方法及びプログラム |
WO2022270582A1 (ja) * | 2021-06-24 | 2022-12-29 | 株式会社Aiメディカルサービス | 検査支援装置、検査支援方法および検査支援プログラム |
WO2024018581A1 (ja) * | 2022-07-21 | 2024-01-25 | 日本電気株式会社 | 画像処理装置、画像処理方法及び記憶媒体 |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114757952A (zh) * | 2022-06-15 | 2022-07-15 | 深圳瀚维智能医疗科技有限公司 | 超声图像处理方法、装置、设备及存储介质 |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH04195260A (ja) | 1990-11-22 | 1992-07-15 | Olympus Optical Co Ltd | 画像ファイルシステム |
JP2001223934A (ja) * | 2000-02-09 | 2001-08-17 | Nikon Corp | 画像入力装置 |
JP2006094467A (ja) * | 2004-08-23 | 2006-04-06 | Canon Inc | 画像処理装置及び方法及びプログラム及び記憶媒体 |
JP2012090785A (ja) | 2010-10-27 | 2012-05-17 | Hoya Corp | 電子内視鏡装置 |
US20130294197A1 (en) * | 2012-05-06 | 2013-11-07 | Schlumberger Technology Corporation | Automatic extraction and characterization of fault and fracture populations |
JP2015146970A (ja) | 2014-02-07 | 2015-08-20 | 国立大学法人広島大学 | 内視鏡画像診断支援システム |
JP2016049454A (ja) * | 2014-08-28 | 2016-04-11 | キヤノン株式会社 | 3d医用画像中の対象物を分割するための3d対象物の変換 |
JP2019024745A (ja) | 2017-07-27 | 2019-02-21 | シャープ株式会社 | 洗濯機 |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4014495B2 (ja) * | 2002-11-29 | 2007-11-28 | 松下電器産業株式会社 | 映像表示装置 |
JP4240023B2 (ja) * | 2005-08-31 | 2009-03-18 | ソニー株式会社 | 撮像装置、撮像方法および撮像プログラム、ならびに、画像処理装置、画像処理方法および画像処理プログラム |
JP6155177B2 (ja) * | 2013-11-29 | 2017-06-28 | 富士フイルムRiファーマ株式会社 | 画像診断支援装置に画像処理を実行させるためのコンピュータプログラム、装置及び方法 |
WO2017216922A1 (ja) * | 2016-06-16 | 2017-12-21 | オリンパス株式会社 | 画像処理装置及び画像処理方法 |
-
2020
- 2020-01-10 EP EP20755534.3A patent/EP3925514B1/en active Active
- 2020-01-10 US US17/430,062 patent/US12020397B2/en active Active
- 2020-01-10 WO PCT/JP2020/000712 patent/WO2020166247A1/ja unknown
- 2020-01-10 JP JP2020572125A patent/JP7124895B2/ja active Active
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH04195260A (ja) | 1990-11-22 | 1992-07-15 | Olympus Optical Co Ltd | 画像ファイルシステム |
JP2001223934A (ja) * | 2000-02-09 | 2001-08-17 | Nikon Corp | 画像入力装置 |
JP2006094467A (ja) * | 2004-08-23 | 2006-04-06 | Canon Inc | 画像処理装置及び方法及びプログラム及び記憶媒体 |
JP2012090785A (ja) | 2010-10-27 | 2012-05-17 | Hoya Corp | 電子内視鏡装置 |
US20130294197A1 (en) * | 2012-05-06 | 2013-11-07 | Schlumberger Technology Corporation | Automatic extraction and characterization of fault and fracture populations |
JP2015146970A (ja) | 2014-02-07 | 2015-08-20 | 国立大学法人広島大学 | 内視鏡画像診断支援システム |
JP2016049454A (ja) * | 2014-08-28 | 2016-04-11 | キヤノン株式会社 | 3d医用画像中の対象物を分割するための3d対象物の変換 |
JP2019024745A (ja) | 2017-07-27 | 2019-02-21 | シャープ株式会社 | 洗濯機 |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2022191058A1 (ja) * | 2021-03-09 | 2022-09-15 | 富士フイルム株式会社 | 内視鏡画像処理装置、方法及びプログラム |
WO2022270582A1 (ja) * | 2021-06-24 | 2022-12-29 | 株式会社Aiメディカルサービス | 検査支援装置、検査支援方法および検査支援プログラム |
WO2024018581A1 (ja) * | 2022-07-21 | 2024-01-25 | 日本電気株式会社 | 画像処理装置、画像処理方法及び記憶媒体 |
Also Published As
Publication number | Publication date |
---|---|
JP7124895B2 (ja) | 2022-08-24 |
US12020397B2 (en) | 2024-06-25 |
US20220133214A1 (en) | 2022-05-05 |
EP3925514B1 (en) | 2024-06-19 |
EP3925514A4 (en) | 2022-04-06 |
JPWO2020166247A1 (ja) | 2021-12-09 |
EP3925514A1 (en) | 2021-12-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
WO2020166247A1 (ja) | 病変領域分割装置、医用画像診断システム、病変領域分割方法及びプログラムが格納された非一時的なコンピュータ可読媒体 | |
US11657509B2 (en) | Method for precisely and automatically positioning reference line for integrated images | |
WO2021047267A1 (zh) | 图像处理方法及装置、电子设备、存储介质和计算机程序 | |
US10062161B2 (en) | Endoscopic image diagnosis support system for computing average values of identification probabilities of pathological types | |
US20150193943A1 (en) | Image processing apparatus, method and program | |
JP4897293B2 (ja) | 医用画像表示装置 | |
WO2020259453A1 (zh) | 3d图像的分类方法、装置、设备及存储介质 | |
US9256799B2 (en) | Marking system for computer-aided detection of breast abnormalities | |
US11676273B2 (en) | Methods and systems for displaying image | |
CN111553923A (zh) | 一种图像处理方法、电子设备及计算机可读存储介质 | |
US11406340B2 (en) | Method for converting tone of chest X-ray image, storage medium, image tone conversion apparatus, server apparatus, and conversion method | |
WO2015080029A1 (en) | Medical image display apparatus and control method therefor | |
US20230058896A1 (en) | Image Processing Device, Image Processing System, Image Processing Method, and Image Processing Program | |
CN111210898A (zh) | 一种对dicom数据进行处理的方法和装置 | |
EP3096291A1 (en) | Method and device for bounding an object in a video | |
WO2019065784A1 (ja) | 画像処理装置、画像処理方法、及びコンピュータ読み取り可能な記録媒体 | |
JP4665847B2 (ja) | ***画像処理方法、装置及びプログラム | |
CN113962958A (zh) | 一种征象检测方法及装置 | |
JP5784408B2 (ja) | 医用画像処理装置及び医用画像処理方法 | |
WO2021149169A1 (ja) | 施術支援装置、施術支援方法、及びコンピュータ読み取り可能な記録媒体 | |
WO2020166528A1 (ja) | 施術支援装置、施術支援方法、及びコンピュータ読み取り可能な記録媒体 | |
JP3927979B2 (ja) | 画像処理装置及び方法 | |
EP4233684A1 (en) | Program, information processing method, and information processing device | |
US20160139758A1 (en) | Display control apparatus, display control method, and program | |
US20120281892A1 (en) | Method and apparatus for processing image of medical monitor |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 20755534 Country of ref document: EP Kind code of ref document: A1 |
|
ENP | Entry into the national phase |
Ref document number: 2020572125 Country of ref document: JP Kind code of ref document: A |
|
NENP | Non-entry into the national phase |
Ref country code: DE |
|
ENP | Entry into the national phase |
Ref document number: 2020755534 Country of ref document: EP Effective date: 20210914 |