WO2020070834A1 - 学習済みモデルの製造方法、輝度調整方法および画像処理装置 - Google Patents

学習済みモデルの製造方法、輝度調整方法および画像処理装置

Info

Publication number
WO2020070834A1
WO2020070834A1 PCT/JP2018/037075 JP2018037075W WO2020070834A1 WO 2020070834 A1 WO2020070834 A1 WO 2020070834A1 JP 2018037075 W JP2018037075 W JP 2018037075W WO 2020070834 A1 WO2020070834 A1 WO 2020070834A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
brightness
loss function
contrast
brightness adjustment
Prior art date
Application number
PCT/JP2018/037075
Other languages
English (en)
French (fr)
Inventor
▲高▼橋 渉
雄介 田川
Original Assignee
株式会社島津製作所
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社島津製作所 filed Critical 株式会社島津製作所
Priority to US17/282,229 priority Critical patent/US20210350513A1/en
Priority to PCT/JP2018/037075 priority patent/WO2020070834A1/ja
Priority to CN201880098416.8A priority patent/CN112804943B/zh
Priority to JP2020551014A priority patent/JP7081680B2/ja
Publication of WO2020070834A1 publication Critical patent/WO2020070834A1/ja

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/90Dynamic range modification of images or parts thereof
    • G06T5/92Dynamic range modification of images or parts thereof based on global image properties
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/52Devices using data or image processing specially adapted for radiation diagnosis
    • A61B6/5211Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/52Devices using data or image processing specially adapted for radiation diagnosis
    • A61B6/5258Devices using data or image processing specially adapted for radiation diagnosis involving detection or reduction of artifacts or noise
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00Machine learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/50Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/60Image enhancement or restoration using machine learning, e.g. neural networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/90Dynamic range modification of images or parts thereof
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10116X-ray image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]

Definitions

  • the present invention relates to a method for adjusting the brightness of a radiation image.
  • Japanese Patent Application Laid-Open No. 2015-181543 discloses that a main subject region is extracted from an input image obtained by photographing a subject, a representative value representing a luminance value of the region is obtained, and contrast near the representative value is emphasized or suppressed. Disclosed is a method of calculating a gradation conversion coefficient and using the calculated gradation conversion coefficient to convert the luminance value (pixel value) of each pixel of the input image according to a predetermined algorithm, thereby adjusting the luminance of the input image. Have been.
  • Pixel value saturation means that pixel information is lost due to a signal at a level exceeding the upper limit or lower limit of the pixel value.Pixels exceeding the upper limit are so-called “whiteout”, and pixels below the lower limit are so-called “whiteout”. It is called "black crush.” Since the saturation of the pixel value is more likely to occur as the contrast is increased by the brightness adjustment, the brightness adjustment is performed under the condition that the saturation of the pixel value does not occur in the area related to the diagnosis of the subject or the like under the condition that the saturation of the pixel value does not occur. It is preferable to increase as much as possible.
  • the output brightness adjustment parameters are optimal values (conditions under which pixel values do not saturate in a region related to diagnosis of a subject or the like). Therefore, the contrast varies in a direction in which the contrast is increased and in a direction in which the contrast is decreased. For this reason, in a trained model that has been machine-learned so as to output an optimal value, if the output luminance adjustment parameter varies in a direction to increase the contrast with respect to the optimal value, overexposure or underexposure (pixel value saturation) occurs. ) May occur.
  • the present invention has been made to solve the above-described problem, and one object of the present invention relates to diagnosis of a subject or the like in an image in brightness adjustment using a model learned by machine learning.
  • An object of the present invention is to provide a method of manufacturing a learned model, a brightness adjustment method, and an image processing device capable of suppressing the occurrence of overexposure or underexposure in an area.
  • a method for manufacturing a trained model according to a first aspect of the present invention includes a trained model by machine learning that receives a radiation image including a subject as input and outputs a brightness adjustment parameter of the radiation image.
  • the loss function is obtained by adjusting the brightness of the teacher data based on the brightness adjustment parameter. Compared to the case where the contrast of a predetermined area of the image becomes smaller, If the contrast of the region is increased, and is configured to bias the learning in a direction to reduce the contrast by outputting a relatively large value.
  • the value of the loss function becomes relatively large. Since the output is performed, it is possible to obtain a learned model in which the output of the luminance adjustment parameter is suppressed so that the contrast becomes larger than the optimum value and the contrast is increased.
  • the predicted distribution of the brightness adjustment parameter to be output to the radiation image is adjusted to the optimum value (contrast as much as possible under the condition that the saturation of the pixel value does not occur in a predetermined area related to diagnosis of the subject or the like) Can be biased in the direction of decreasing the contrast with respect to the value of increasing the contrast.
  • the loss function may be such that, when overexposure or overexposure occurs due to saturation of a pixel value in a predetermined area of the image after luminance adjustment, saturation of the pixel value occurs in the predetermined area.
  • a configuration may be adopted in which a value that is relatively larger than when no occurrence occurs is output. According to this structure, when overexposure or underexposure occurs in a predetermined area, the value of the loss function is biased to be large, so that the occurrence of overexposure or underexposure in the predetermined area is biased.
  • a trained learned model can be obtained.
  • the loss function is such that the contrast of the luminance-adjusted image with respect to the teacher data is larger than the case where the contrast of the luminance-adjusted image is smaller with respect to the teacher data.
  • a weight function with a large weight may be included.
  • the loss function may be a function based on an error between a teacher parameter included in the teacher data and a luminance adjustment parameter for an input image included in the teacher data.
  • the error is considered to vary symmetrically in a direction in which the contrast becomes smaller and a direction in which the contrast becomes larger than the optimum value. Therefore, when learning is performed using the unbiased loss function, half of the predicted distribution of the brightness adjustment parameter output from the trained model varies in the direction of increasing the contrast with respect to the optimum value, and the overexposure or overexposure (pixel loss) occurs. Value saturation).
  • the loss function is based on the error between the teacher parameter and the brightness adjustment parameter, the error is suppressed from being symmetrically evaluated with respect to the optimum value, and the contrast is increased with respect to the optimum value.
  • the value of the loss function can be relatively increased, so that the occurrence of saturation of the pixel value in the predetermined region can be effectively suppressed.
  • the loss function may include a pixel value of a teacher image included in the teacher data and a brightness-adjusted image obtained by adjusting the input image included in the teacher data based on the brightness adjustment parameter.
  • the function may be based on a comparison with the pixel value of the image.
  • the teacher image is a luminance-adjusted image whose luminance has been adjusted based on a luminance adjustment parameter considered to be an optimal value.
  • the learning Since the evaluation is underestimated, the learning is likely to be biased in the direction of increasing the contrast.
  • the output brightness adjustment parameter varies in the direction of increasing the contrast with respect to the optimum value, and overexposure or underexposure (saturation of pixel values) occurs. there is a possibility. Therefore, according to the above configuration, even if the loss function is based on the comparison of pixel values, the value of the loss function is relatively increased when the contrast is increased with respect to the optimum value, and the loss function is caused by pixel saturation. Since it is possible to suppress the error from being underestimated, it is possible to effectively suppress the occurrence of saturation of the pixel value in the predetermined area.
  • the loss function is a function based on a comparison between the pixel value of the teacher image and the pixel value of the image after the brightness adjustment
  • the loss function is determined when a saturation of the pixel value occurs in a predetermined region in the image. It may be configured such that a value larger than the case where saturation of the pixel value occurs in an area other than the above is output.
  • a predetermined area in which the subject in the image is reflected and a background area other than the predetermined area have different diagnostic importance. Therefore, when the saturation of the pixel value occurs in the predetermined region, the value of the loss function is relatively increased, and the value of the loss function is relatively reduced in the region other than the predetermined region, so that the saturation of the pixel value in the predetermined region is achieved. Can be suppressed while learning is affected by an error in an area other than the predetermined area having a low degree of importance.
  • the magnitude of the bias may be set for each position in the input image based on the position information of the predetermined area included in the teacher data and the bias information of the loss function.
  • the predetermined region and the region other than the predetermined region are distinguished based on the position information of the predetermined region, and the loss between the predetermined region and the region other than the predetermined region is determined based on the loss function bias information. Since the magnitude relation of the function bias can be specified, the magnitude of the bias of the loss function can be easily changed according to the region in the image.
  • the predetermined area may include at least a part of an area where a subject is captured.
  • the brightness adjustment parameter defines a window level that defines a median of a pixel value range to be converted into a brightness-adjusted image in a radiographic image, and a size of the pixel value range. Window width.
  • the magnitude of the contrast of the pixel value in the predetermined area can be adjusted by the value of the window width. Therefore, the contrast can be easily evaluated by the loss function as compared with the case where many parameters affect the contrast.
  • a brightness adjustment method is a brightness adjustment method using machine learning that receives a radiation image in which a subject is reflected as input and outputs brightness adjustment parameters of the radiation image, and acquires the radiation image.
  • the learned model is created by learning that optimizes a loss function related to a brightness adjustment parameter, and the loss function is smaller than the case where the contrast of a predetermined area of the brightness-adjusted image becomes smaller with respect to the teacher data of machine learning. When the contrast of a predetermined area of the image after the brightness adjustment with respect to the teacher data becomes large, And is configured to bias the learning in a direction to reduce the contrast by outputting the value.
  • the loss function outputs a relatively large value.
  • the predicted distribution of the brightness adjustment parameter to be output to the radiation image can be biased toward the direction of decreasing the contrast with respect to the optimum value. For this reason, even if the learned model has been trained to output the optimal value, the output of the luminance adjustment parameter so as to provide a large contrast exceeding the optimal value is suppressed.
  • the brightness adjustment method further comprising a step of obtaining information on a shooting part or a shooting purpose of the subject, and, in the step of obtaining a brightness adjustment parameter, a plurality of pieces of information based on the information about the shooting part or the shooting purpose.
  • a learned model used for luminance adjustment may be selected from the learned models.
  • the imaging part means individual parts to be imaged, such as the head, abdomen, waist, and limbs of the subject.
  • the imaging purpose is a diagnosis content or an application of the image that is desired to be grasped by the photographed image, and is, for example, whether a chest image, a heart, a lung, or a bone is to be grasped.
  • the target to be rendered differs depending on the imaging region and the imaging purpose, and therefore the optimal value of the brightness adjustment parameter may greatly differ. Therefore, a plurality of learned models that are separately learned according to the imaging region or the imaging purpose are prepared, and the learned model is selected based on the information regarding the imaging region or the imaging purpose. It is possible to perform optimal brightness adjustment according to the situation.
  • An image processing apparatus includes an image acquisition unit that acquires a radiation image, and a machine-learned model that receives a radiation image in which a subject is input and outputs luminance adjustment parameters of the radiation image.
  • a storage unit for storing, a parameter acquisition unit for acquiring a luminance adjustment parameter for the radiation image using the learned model, and an adjustment process for adjusting the luminance of the radiation image based on the luminance adjustment parameter to acquire an image after luminance adjustment
  • a learned model is created by learning that optimizes a loss function related to a brightness adjustment parameter, and the loss function has a small contrast in a predetermined area of a brightness-adjusted image with respect to machine learning teacher data. When the contrast of the predetermined area of the image after the brightness adjustment with respect to the teacher data becomes larger than And is configured to bias the learning in a direction to reduce the contrast by outputting a large value.
  • the image processing device in the same manner as in the brightness adjustment method according to the second aspect, in the brightness adjustment using the learned model by machine learning, the area related to the diagnosis of the subject or the like in the image. The occurrence of overexposure or underexposure in a (predetermined area) can be suppressed.
  • the present invention it is possible to suppress the occurrence of overexposure or underexposure in an area related to diagnosis of a subject or the like in an image in brightness adjustment using a model learned by machine learning as described above. .
  • FIG. 5 is a diagram for explaining a luminance adjustment method and a method of manufacturing a learned model according to the first embodiment. It is a figure showing an example of a radiation image. It is a figure for explaining a learned model.
  • FIG. 4 is a diagram for explaining the details of brightness adjustment. It is a figure which shows the 1st example (A) of gradation conversion, and the 2nd example (B).
  • FIG. 4A is a diagram showing a plurality of window widths
  • FIGS. 4B to 4D are diagrams for explaining gradation conversion at each window width. It is a figure showing change (A) of a loss coefficient and prediction distribution (B) of a brightness adjustment parameter in a 1st embodiment.
  • FIG. 1 is a diagram for describing an imaging system including an image processing device according to a first embodiment.
  • FIG. 2 is a block diagram illustrating a configuration of the image processing apparatus.
  • FIG. 4 is a flowchart for explaining a brightness adjustment method by the image processing apparatus.
  • FIG. 7 is a flowchart of a brightness adjustment parameter acquisition process (subroutine).
  • FIG. 3 is a diagram for explaining information regarding a region to be imaged or an imaging purpose.
  • FIG. 3 is a diagram illustrating a learning data processing unit that performs machine learning. It is a flowchart for demonstrating the manufacturing method of the learned model by 1st Embodiment. It is a figure for explaining image modification processing to an input image of teacher data.
  • the brightness adjustment method according to the first embodiment shown in FIG. 1 is a brightness adjustment method using machine learning that receives a radiation image 1 in which a subject is reflected and outputs a brightness adjustment parameter 2 of the radiation image 1.
  • the radiation image 1 is a medical image used for diagnosis of a patient by a doctor or the like, and is, for example, an X-ray image as shown in FIG. Specifically, the radiation image 1 is a still image obtained by imaging a diagnosis site (affected part) of a subject by so-called simple X-ray imaging.
  • the radiation image 1 is, for example, a monochromatic digital image in which shading (light and dark) of each pixel is expressed by pixel values divided by a predetermined number of gradations.
  • FIG. 2 shows an example of a radiographic image 1 obtained by imaging the vicinity of the femur in the lumbar region of the subject.
  • the brightness of the radiographic image 1 is adjusted in order to be able to more accurately grasp the state of the affected part that is to be diagnosed. Brightness adjustment is also called gradation conversion.
  • the brightness adjustment method uses a step S1 of acquiring a radiation image 1 and a brightness adjustment parameter for the radiation image 1 using a learned model 10 by machine learning. 2 and Step S3 of adjusting the brightness of the radiation image 1 based on the brightness adjustment parameter 2 to obtain the brightness-adjusted image 3.
  • step S1 a radiation image 1 in which a subject is captured is acquired by the imaging unit 210 configured by, for example, an X-ray imaging device.
  • the radiation image 1 previously stored in the image server 250 that stores the image may be acquired from the image server 250.
  • step S2 when the radiation image 1 to be subjected to luminance adjustment is input, the learned model 10 outputs a luminance adjustment parameter 2 for the input image.
  • the learned model 10 is machine-learned so as to output an optimal brightness adjustment parameter 2 for diagnosis with respect to the input image (radiation image 1).
  • the machine learning method is not particularly limited as long as it is a method suitable for processing for outputting the brightness adjustment parameter 2 for the input image.
  • the trained model 10 has a former stage composed of a convolutional neural network CNN and a latter stage composed of a fully connected layer FC.
  • a trained model 10 has a function of image recognition for recognizing a predetermined region important for diagnosis from the radiation image 1 by the convolutional neural network CNN of the preceding stage, and the output of the preceding stage by the fully connected layer FC at the subsequent stage.
  • a brightness adjustment parameter 2 To a brightness adjustment parameter 2.
  • machine learning using a large number of teacher data 20 is performed in order to create a learned model 10 that performs a process of outputting the brightness adjustment parameter 2.
  • a state during learning by machine learning at the manufacturing stage of the learned model 10 is referred to as a learning model 11.
  • the machine model that has been subjected to machine learning for the learning model 11 is the learned model 10.
  • the teacher data 20 used for machine learning includes an input image 21 and a teacher parameter 22.
  • the input image 21 is a radiation image (see FIG. 2) prepared in advance for learning, and is an original image before luminance adjustment is performed.
  • the teacher parameter 22 is correct data created as an optimal value of the brightness adjustment parameter output for the input image 21.
  • the optimal value of the brightness adjustment parameter in the medical radiation image can be defined as a value that maximizes the contrast of the predetermined area PA under the condition that the saturation of the pixel value does not occur in the predetermined area PA related to the diagnosis.
  • the teacher parameter 22 is an optimum value derived by, for example, performing a parameter adjustment operation by the teacher data creator on each input image 21.
  • the input model 21 is input and the luminance adjustment parameter 2 is output, and the learning model 11 is trained to convert the input image 21 into the teacher parameter 22.
  • a loss function for evaluating a difference between an output result (luminance adjustment parameter 2) of the learning model 11 during learning and the teacher data 20 (teacher parameter 22) is defined.
  • the machine learning is for optimizing (learning) the internal parameters of the learning model 11 so as to output an output result that minimizes a difference from the teacher data 20 by an optimization operation for reducing the loss function.
  • the learned model 10 is manufactured by optimizing (learning) the learning model 11 a sufficient number of times to converge the learning by using a sufficient number of teacher data 20 to converge the learning. You. As described above, the learned model 10 is created by learning for optimizing the loss function relating to the brightness adjustment parameter 2.
  • the loss function A of the first embodiment is more suitable for the teacher data 20 than the case where the contrast of the predetermined area PA (see FIG. 2) of the brightness-adjusted image 3 is smaller than the teacher data 20 for the machine learning.
  • the contrast of the predetermined area PA of the brightness-adjusted image 3 increases, a relatively large value is output to bias the learning in the direction of decreasing the contrast.
  • the predetermined area PA is an area related to diagnosis of a subject or the like in an image in a medical radiation image.
  • the predetermined area PA includes at least a part of the area where the subject is captured.
  • the predetermined area PA does not need to be the entire area in which the subject is reflected, and may be set to only a part of the area in which the subject is reflected.
  • the region of interest related to the diagnosis is a part of the subject that is considered to have a disease. Therefore, the predetermined area PA may be a partial area including the area of interest among the areas where the subject is captured.
  • step S3 a brightness adjustment process based on the brightness adjustment parameter 2 is performed. As a result, a luminance-adjusted image 3 in which the luminance of the input radiation image 1 is adjusted is obtained.
  • the brightness-adjusted image 3 is output to, for example, a display device and used for diagnosis by a doctor or the like.
  • the brightness adjustment parameter 2 output by the learned model 10 will be described.
  • the content of the brightness adjustment (gradation conversion) process is not particularly limited, and the brightness adjustment parameter 2 is not particularly limited as long as it is in accordance with the brightness adjustment process of the image.
  • a description will be given of luminance adjustment by window processing for converting a part of the gradation range of an input image into a gradation range for display.
  • FIG. 4 is a conceptual diagram of a histogram HG of pixel values (gradations) of the radiation image 1 and output gradations after luminance adjustment.
  • the horizontal axis of the histogram HG is a pixel value in the input image, and the vertical axis of the histogram HG is the number (frequency) of pixels having the pixel value.
  • a part of the gradation range specified by the luminance adjustment parameter 2 is extracted from the input image, and is converted to match the output gradation range after the luminance adjustment.
  • the contrast of the predetermined area PA can be adjusted by specifying the pixel value range of the image portion forming the predetermined area PA (see FIG. 2) related to the diagnosis using the luminance adjustment parameter 2.
  • a part of the gradation range in the original radiation image 1 can be extracted and converted into a gradation range that can be output by the display device.
  • the number of tones of a medical radiation image is generally larger than the number of tones that a display device can display.
  • a medical radiation image is image data having pixel values of 4096 tones (12 bits) from 0 to 4095.
  • a general display device performs display with 256 gradations (8 bits) of 0 to 255.
  • window processing for converting an input image having 4096 tones into a tone range of 256 tones will be described.
  • the brightness adjustment parameter 2 includes a window level WL that defines the median of the pixel value range to be converted into the brightness-adjusted image 3 in the radiation image 1 and a window width WW that defines the size of the pixel value range.
  • brightness adjustment is performed by assigning a gradation range of the window width WW centering on the window level WL to the output gradation (0 to 255).
  • pixels having pixel values (0 to VL) equal to or less than the lower limit value VL of the window width WW in the radiation image 1 are converted to the lowest gradation (0 gradation) in the image 3 after luminance adjustment.
  • pixels having pixel values (VH to 4095) equal to or larger than the upper limit value VH of the window width WW are converted to the maximum gradation (255 gradations) in the image 3 after luminance adjustment.
  • the image 3 after the brightness adjustment is an image expressed by the number of gradations according to the output gradation.
  • the gradation range of the window width WW may be larger or smaller than the output gradation range (256 gradations).
  • FIG. 5 shows an example of a conversion characteristic (density conversion curve) when converting the gradation range of the window width WW into the output gradation (0 to 255).
  • the gradation range of the window width WW may be converted into an output gradation by a linear expression (linear conversion characteristic) as shown in FIG. 5A, or as shown in FIG.
  • the gray scale range of the window width WW may be converted to an output gray scale using a non-linear conversion characteristic such as a quadratic expression or a logarithmic function.
  • the luminance adjustment parameter 2 may include an additional parameter that determines the conversion characteristic (shape of the density conversion curve).
  • an image portion of the predetermined area PA is constituted by pixels included in a hatched area of the histogram HG.
  • the gradation range WWb of the predetermined area PA is a part of the output gradation range (0 to 255) in the image 3 after luminance adjustment. Is expressed in the range
  • the predetermined area PA is expressed in a range narrower than 256 gradations.
  • the gradation range WWb of the predetermined area PA is the entire range of the output gradation range (0 to 255) in the brightness-adjusted image 3. Is expressed. Therefore, the contrast is increased as compared with the case where the window width WW is set by WWa.
  • the gradation range WWb of the predetermined area PA is wider than the window width WWc.
  • the pixel values of the image 3 after luminance adjustment are It is saturated and expressed as 0 gradation or 255 gradation.
  • the pixels belonging to the inside of the window width WWc within the predetermined area PA are expressed in the entire output gradation range (0 to 255) in the image 3 after the brightness adjustment, so that the contrast is increased.
  • the window width WW As described above, in the brightness adjustment parameter 2, as the window width WW is reduced, the contrast of the predetermined area PA in the brightness-adjusted image 3 is increased. In other words, the smaller the window width WW, the higher the contrast resolution in the brightness-adjusted image 3 because the density (brightness and darkness) of the pixels included in the predetermined area PA can be expressed with a larger number of gradations. On the other hand, if the window width WW is too small, saturation of pixel values such as overexposure and underexposure occurs in a predetermined area PA of the image 3 after luminance adjustment. As the window width WW increases, the contrast of the predetermined area PA in the brightness-adjusted image 3 decreases. As the window width WW is increased, the density (brightness and darkness) of the pixels included in the predetermined area PA is expressed with a smaller number of gradations in the brightness-adjusted image 3, so that the contrast resolution decreases.
  • the loss function will be described.
  • the teacher data 20 (teacher parameter 22) used for the machine learning provides the optimum value (correct answer) of the brightness adjustment parameter 2, so that the gradation range WWb (see FIG. 6) is minimized.
  • the learned model 10 is configured to output the value of the window width WW corresponding to the gradation range WWb as the brightness adjustment parameter 2 for the input radiation image 1 by optimization using the loss function.
  • the window width WW as the brightness adjustment parameter 2 varies in a direction larger than the optimum value (WWb)
  • the contrast becomes smaller than the optimum value, and the brightness is reduced in a direction in which the saturation of the pixel value hardly occurs in the predetermined area PA. Adjustments will be made.
  • the window width WW as the brightness adjustment parameter 2 varies in a direction smaller than the optimum value (WWb)
  • the contrast becomes larger than the optimum value, and the pixel value such as overexposure or underexposure in the predetermined area PA. Brightness adjustment is performed in a direction in which saturation easily occurs.
  • the loss function A is smaller in the teacher data 20 than in the case where the contrast of the predetermined area PA of the brightness-adjusted image 3 is smaller than the machine learning teacher data 20.
  • the contrast of the predetermined area PA of the brightness-adjusted image 3 with respect to 20 increases, a relatively large value is output to bias the learning in the direction of decreasing the contrast.
  • the loss function A When the brightness adjustment parameter 2 output from the learning model 11 during learning has an error in the direction of decreasing the contrast with respect to the teacher data 20 which is the optimum value, the loss function A When the brightness adjustment parameter 2 output from the learning model 11 during learning has an error in the direction of increasing the contrast with respect to the teacher data 20 which is the optimum value, the error is relatively reduced. This is a function designed to be greatly evaluated. In machine learning, the learning model 11 is optimized so as to reduce the loss function A. As a result, the output value of the loss function A increases with respect to an error in the direction of increasing the contrast. Learning is biased in the direction of suppression.
  • the brightness adjustment parameter 2 output from the learning model 11 during learning outputs a window width WW smaller than the teacher parameter 22 which is the optimum value (WWb), and the pixel value is saturated (whiteout) in the predetermined area PA.
  • the loss function A is estimated relatively large.
  • the loss function A indicates that the saturation of the pixel value in the predetermined area PA of the brightness-adjusted image 3 causes the overexposure or blackout in the predetermined area PA. It is configured to output a value that is relatively larger than when no occurrence occurs.
  • the loss function A is a function based on the error between the teacher parameter 22 included in the teacher data 20 and the luminance adjustment parameter 2 for the input image 21 included in the teacher data 20.
  • the loss function A is weighted more when the contrast of the image 3 after the brightness adjustment is higher than the teacher data 20 compared to when the contrast of the image 3 after the brightness adjustment is lower than the teacher data 20. Weight function.
  • the loss function A is a weighted mean square error represented by the following equation (1).
  • WL and WW are a window level and a window width (brightness adjustment parameter 2) output by the learning model 11 learning on the input image 21, respectively.
  • WL 0 and WW 0 are a window level and a window width (teacher parameter 22) included in the teacher data 20.
  • WW 0 is a value corresponding to the optimum value (WWb) illustrated in FIG.
  • f (r) is a weight function.
  • w is a weight value (w> 1).
  • the weighting function f (r) is calculated when the error (WW ⁇ WW 0 ) between the output result of the learning model 11 and the teacher data 20 is negative (when the window width WW is smaller than the optimal value and the contrast is large).
  • the error is estimated relatively large considering the value of the weight w.
  • the weighting function f (r) is obtained when the error (WW-WW 0 ) between the output result of the learning model 11 and the teacher data 20 is positive (when the window width WW is larger than the optimum value and the contrast is small).
  • the error value is output as it is.
  • the weight w is not particularly limited, but is 10, for example. In this case, loss function A, as compared with the case where the error (WW-WW 0) is positive, 10-fold error great value when the error (WW-WW 0) is negative.
  • the loss function A has a relatively large value when the contrast of the predetermined area PA of the luminance-adjusted image 3 with respect to the teacher data 20 becomes large (when the error (WW ⁇ WW 0 ) becomes negative). Is output, the learning is biased in the direction of reducing the contrast.
  • FIG. 7A is a graph showing a change in the output value (vertical axis) of the loss function A with respect to the window width WW (horizontal axis)
  • FIG. 13 is a graph showing a predicted distribution PD of a window width WW output from the learned model 10 that has been learned.
  • the prediction distribution PD indicates the frequency (probability) at which the learned model 10 outputs the value of each window width WW on the horizontal axis.
  • a broken line shows a case using a loss function RMSE based on a simple mean square error without weighting.
  • the loss function RMSE of the comparative example is represented by the following equation (2).
  • the loss function RMSE according to the comparative example is symmetric with respect to the direction of the error (the size of the window width WW). Therefore, predictive distribution CD of an output result of the optimized learned model using the loss function RMSE is considered to be a symmetrical distribution with respect to the optimum value WW 0.
  • the window width WW outputted is shifted to the small side to the optimum value WW 0
  • saturation pixel value is generated in a predetermined region PA.
  • the pixel value falls in the predetermined area PA in approximately half of the output window widths WW due to the symmetry of the predicted distribution CD of the output result. May be saturated.
  • the loss function A shown by the solid line in FIG. 7 has a minimum value at the optimum value (WW 0 ), and the weighting factor w in the direction where the window width WW is smaller than the optimum value (teacher data 20). It is asymmetrically biased because it is estimated to be large by the amount.
  • predictive distribution PD of an output result of the learned model 10 which is optimized using the loss function A of the first embodiment differs from the optimum value WW 0, to reduce the direction (window width WW to increase the contrast Direction), the distribution is biased in the direction of decreasing the contrast (the direction of increasing the window width WW).
  • window width WW is to be output, increase the contrast exceeds the optimum value WW 0 (The direction in which the window width WW is reduced) is suppressed, and the possibility that the pixel value is saturated in the predetermined area PA is suppressed.
  • the image processing apparatus 100 is configured to perform a luminance adjustment process on a radiation image 1 in which a subject is reflected, using a learned model 10 by machine learning that outputs a luminance adjustment parameter 2 of the radiation image 1. I have. That is, the image processing apparatus 100 is configured as an apparatus that executes the brightness adjustment method of the first embodiment described above.
  • the image processing apparatus 100 is configured as a part of an imaging system 200 that captures a radiation image 1 of a subject.
  • the imaging system 200 includes an imaging unit 210, a control unit 220, the image processing device 100, an operation unit 230, and a display unit 240.
  • the operation unit 230 is a keyboard, a mouse, and other input devices.
  • the display unit 240 is configured by an image display device such as a liquid crystal display device.
  • the imaging unit 210 includes a top plate 211, an X-ray irradiation unit 212, and an X-ray detection unit 213.
  • the top board 211 is configured to support the subject SB (person).
  • the X-ray irradiator 212 is configured to irradiate the subject SB with X-rays.
  • the X-ray detecting unit 213 is configured by, for example, an FPD (Flat Panel Detector), and configured to detect X-rays emitted from the X-ray irradiating unit 212 and transmitted through the subject SB.
  • the imaging unit 210 acquires an X-ray image (see FIG. 2) in which the region of interest of the subject is captured as the radiation image 1.
  • the control unit 220 is a computer configured to control the imaging operation of the imaging unit 210.
  • the control unit 220 controls a moving mechanism (not shown) that moves the top plate 211, the X-ray irradiation unit 212, and the X-ray detection unit 213, controls X-ray irradiation by the X-ray irradiation unit 212, and sets various types of control such as setting of imaging conditions. I do.
  • the image processing apparatus 100 is connected to the imaging unit 210, the operation unit 230, and the display unit 240, respectively.
  • the image processing apparatus 100 acquires an X-ray detection signal from the X-ray detection unit 213 of the imaging unit 210, and acquires the radiation image 1 based on the acquired detection signal.
  • the image processing apparatus 100 adjusts the brightness of the radiation image 1 (see FIG. 1), and obtains an image 3 after the brightness adjustment (see FIG. 1).
  • the image processing apparatus 100 includes a processor 110 such as a CPU (Central Processing Unit), a GPU (Graphics Processing Unit), a specially designed FPGA (field-programmable gate array), a ROM, a RAM, a volatile memory, and the like. And a storage unit 120 such as a non-volatile or non-volatile storage device (HDD, solid state drive (SDD)).
  • the image processing apparatus 100 can be configured by a computer (a personal computer, a workstation, a supercomputer, or the like) in which predetermined software (program) is installed in a storage unit, or a computer system including a plurality of computers.
  • the image processing apparatus 100 includes an image acquisition unit 111, a parameter acquisition unit 112, and an adjustment processing unit 113.
  • the image acquisition unit 111, the parameter acquisition unit 112, and the adjustment processing unit 113 are configured as, for example, functional blocks of the processor 110. That is, the processor 110 included in the computer executes the program 121 stored in the storage unit 120 to function as the image acquisition unit 111, the parameter acquisition unit 112, and the adjustment processing unit 113.
  • the image acquisition unit 111 is configured to acquire the radiation image 1.
  • the image acquisition unit 111 generates the radiation image 1 based on, for example, a detection signal acquired from the X-ray detection unit 213.
  • the image acquisition unit 111 reads the radiation image 1 stored in the storage unit 120 from the storage unit 120, or receives the radiation image 1 from an external image server 250 via a network, and thereby obtains the radiation image 1. Can be obtained.
  • the image acquisition unit 111 outputs the acquired radiation image 1 to the parameter acquisition unit 112 and the adjustment processing unit 113, respectively.
  • the parameter acquiring unit 112 is configured to acquire the brightness adjustment parameter 2 for the radiation image 1 using the learned model 10 stored in the storage unit 120. That is, the parameter acquiring unit 112 acquires the luminance adjustment parameter 2 including the window level WL and the window width WW by inputting the radiation image 1 acquired from the image acquiring unit 111 to the learned model 10. The parameter acquisition unit 112 outputs the acquired brightness adjustment parameter 2 to the adjustment processing unit 113.
  • the adjustment processing unit 113 is configured to adjust the luminance of the radiation image 1 based on the luminance adjustment parameter 2 to obtain the image 3 after the luminance adjustment.
  • the adjustment processing unit 113 performs window processing based on the brightness adjustment parameter 2 (window level WL, window width WW) acquired from the parameter acquisition unit 112, and acquires a brightness-adjusted image 3.
  • the adjustment processing unit 113 outputs the acquired brightness-adjusted image 3 to the display unit 240, and stores the image 3 in the storage unit 120. Further, the adjustment processing unit 113 receives an input operation from the operator via the operation unit 230.
  • the adjustment processing unit 113 can accept direct input of the brightness adjustment parameter 2 by the operator via the operation unit 230. When receiving the input of the brightness adjustment parameter 2, the adjustment processing unit 113 performs the brightness adjustment based on the input brightness adjustment parameter 2.
  • the storage unit 120 stores the learned model 10 by machine learning that receives the radiation image 1 in which the subject is reflected and outputs the brightness adjustment parameter 2 of the radiation image 1. That is, as illustrated in FIG. 1, the storage unit 120 stores the learned model 10 created in advance by learning for optimizing the loss function A regarding the luminance adjustment parameter 2.
  • the storage unit 120 also stores a program 121 executed by the processor 110 and the radiation image 1.
  • the storage unit 120 stores the acquired image 3 after the brightness adjustment.
  • the image acquisition unit 111, the parameter acquisition unit 112, and the adjustment processing unit 113 of the image processing apparatus 100 are constructed by hardware.
  • the brightness adjustment processing shown in FIGS. 10 to 12 is for performing the brightness adjustment method of the first embodiment by the image processing apparatus 100.
  • step S11 of FIG. 10 imaging is performed by the imaging unit 210, so that the image obtaining unit 111 obtains the radiation image 1.
  • step S12 the parameter acquisition unit 112 performs a process of acquiring the brightness adjustment parameter 2 of the radiation image 1 by using the learned model 10 stored in the storage unit 120.
  • the process of acquiring the brightness adjustment parameter 2 includes steps S21 to S23 in FIG.
  • the brightness adjustment method according to the first embodiment includes a step S21 for acquiring information 5 on the imaging region or the imaging purpose of the subject.
  • the parameter acquisition unit 112 receives information input via the operation unit 230, thereby acquiring the information 5 on the imaging region or the imaging purpose of the subject.
  • the information of the imaging part is information indicating which part has been imaged, such as the front of the chest, the side, the front of the abdomen (lumbar part), and the limb bone (for example, the front, side, and hands of the knee joint).
  • the information for imaging purpose is information such as diagnosis of a fracture or diagnosis of a specific disease. For example, when examining the state of lung tissue or heart tissue (such as the presence or absence of a tumor, bronchial or blood vessel running) in a radiographic image of the front of the chest, and when examining the bones such as the femur in the radiographic image 1 of the lumbar region as shown in FIG.
  • the optimum value of the brightness adjustment parameter 2 is different from the case of examining the state (fracture, dislocation, bone deformation, etc.).
  • the storage unit 120 stores in advance a plurality of learned models 10 corresponding to the information 5 on these imaging parts or imaging purposes.
  • Each of the learned models 10 has been learned so as to output an optimal brightness adjustment parameter 2 for the radiation image 1 according to the imaging region and the imaging purpose.
  • the brightness adjustment parameter 2 for the image of the front of the chest is learned using the teacher data 20 for performing the optimum brightness adjustment for checking the state of the lung tissue and the heart tissue. doing.
  • the storage unit 120 stores each of the learned models 10 in association with the information 5 on the imaging site or the imaging purpose.
  • the parameter acquisition unit 112 selects a learned model 10 to be used for luminance adjustment from the plurality of learned models 10 based on the information 5 on the imaging region or the imaging purpose. Thereby, the parameter acquisition unit 112 acquires the learned model 10 according to the imaging region or the imaging purpose.
  • step S23 the parameter acquisition unit 112 acquires the brightness adjustment parameter 2 of the radiation image 1 from the selected learned model 10.
  • the completed model 10 is selected.
  • the luminance adjustment parameter 2 of the radiation image 1 is acquired by the selected learned model 10.
  • step S13 the adjustment processing unit 113 adjusts the luminance of the radiation image 1 based on the acquired luminance adjustment parameter 2. Thereby, the adjustment processing unit 113 acquires the image 3 after the brightness adjustment.
  • step S ⁇ b> 14 the adjustment processing unit 113 stores the acquired brightness-adjusted image 3 in the storage unit 120 and outputs the image 3 to the display unit 240.
  • the brightness adjustment method of the first embodiment by the image processing device 100 is performed.
  • manufacturing of the learned model 10 can be performed by a learning data processing unit 50 provided separately from the image processing apparatus 100.
  • the learning data processing unit 50 is configured by a computer (a personal computer, a workstation, a supercomputer, or the like) in which predetermined software (program) is installed in the storage unit, or a computer system including a plurality of computers.
  • the method of manufacturing the learned model 10 is a method of manufacturing a learned model by machine learning in which a radiation image 1 in which a subject is reflected is input and a brightness adjustment parameter 2 of the radiation image 1 is output.
  • the learning data processing unit 50 stores the teacher data 20 including the input image 21 and the teacher parameter 22, the loss function A, and the learning learning model 11 in the storage unit, and manufactures the learned model 10 by machine learning.
  • the learning data processing unit 50 stores a learning data set of a plurality of teacher data 20 necessary for converging the machine learning.
  • step S31 the learning data processing unit 50 acquires the teacher data 20 for learning from the learning data set.
  • step S32 the learning data processing unit 50 receives the input image 21 included in the teacher data 20 as an input, and acquires the brightness adjustment parameter 2 of the input image 21 by the learning model 11.
  • step S33 the learning data processing unit 50 acquires the value of the loss function A for the brightness adjustment parameter 2 using the brightness adjustment parameter 2 based on the learning model 11.
  • the learning data processing unit 50 includes a teacher parameter 22 (window level WL 0 , window width WW 0 ) included in the teacher data 20 and a brightness adjustment parameter 2 (window level WL, window width WW), and the output value of the loss function A is obtained by the above equation (1).
  • step S34 the learning data processing unit 50 optimizes the learning model 11 so that the value of the loss function A becomes smaller.
  • the learning data processing unit 50 learns internal parameters of the learning model 11 for outputting the brightness adjustment parameter 2 (window level WL, window width WW) that minimizes the output value of the loss function A.
  • step S31 to S34 machine learning is performed on one piece of teacher data 20.
  • step S35 the learning data processing unit 50 determines whether or not the next (unlearned) teacher data 20 is present in the learning data set. It acquires the teacher data 20 and performs machine learning. In step S35, when all the learning of the teacher data 20 included in the learning data set is completed (when there is no next teacher data 20), the process proceeds to step S36.
  • step S36 the learning data processing unit 50 determines whether learning of the teacher data 20 included in the learning data set has been performed a predetermined number of times. If the number of times of learning has not reached the predetermined number, the learning data processing unit 50 repeats the processing of steps S31 to S35 until the number of times of learning reaches the predetermined number. When the number of times of learning reaches a predetermined number, machine learning is completed, and a learned model 10 is created. In step S37, the learning data processing unit 50 stores the created learned model 10 in the storage unit, and ends the processing.
  • the method of manufacturing the learned model 10 is performed.
  • the manufactured learned model 10 is transmitted to the image processing apparatus 100 via a network, for example, and stored in the storage unit 120.
  • a learning data set is prepared for each imaging region and the imaging purpose, and the learning data set for each imaging region and the imaging purpose is prepared.
  • Steps S31 to S37 in FIG. 14 are executed using the data set.
  • a plurality of learned models 10 learned to output the optimal brightness adjustment parameter 2 for the radiation image 1 according to the imaging region and the imaging purpose are manufactured.
  • the learning data set may include a plurality of input images 21 created by performing various image modification processes on one input image 21. For example, as shown in FIG. 15, the input image 21 is rotated (A), inverted (B), deformed (C) such as affine transformation, changed in luminance and / or contrast (D), enlarged or reduced (not shown), etc. Is performed by randomly changing parameters.
  • a teacher parameter 22 is set for each input image 21 and is included in the learning data set as individual teacher data 20. As a result, many different input images 21 can be acquired from one input image 21, and the number of data for converging the learning can be easily increased.
  • the method of manufacturing the learned model 10 may be performed by the image processing device 100 in FIG.
  • the storage unit 120 of the image processing device 100 stores a learning data set of the teacher data 20, and the processor 110 of the image processing device 100 includes the learning unit 114 as a functional block.
  • Each process of steps S31 to S37 shown in FIG. 14 is performed by the learning unit 114.
  • the learning unit 114 may create new teacher data 20 using the radiation image 1 acquired from the imaging unit 210 as the input image 21 and perform additional learning of the learned model 10. For example, for the radiation image 1 whose brightness has been adjusted using the brightness adjustment parameter 2 output by the parameter acquisition unit 112, the operator inputs (manually resets) the brightness adjustment parameter via the operation unit 230.
  • teacher data 20 may be created in which the radiation image 1 is used as the input image 21 and the input luminance adjustment parameter is used as the teacher parameter 22.
  • the result of the automatic brightness adjustment by the image processing apparatus 100 has deviated from the optimum value, it is considered that the optimum brightness adjustment parameter was manually set by the operator. Therefore, by performing additional learning of the learned model 10 using the teacher data 20 in which the manually input parameter is used as the teacher parameter 22, it is possible to further optimize the brightness adjustment processing.
  • the additional learning of the learned model 10 may be performed in the learning data processing unit 50 connected to the image processing apparatus 100 via a network.
  • the image processing apparatus 100 can transmit the teacher data 20 created from the radiation image 1 to the learning data processing unit 50, and perform additional learning of the learned model 10 in the learning data processing unit 50.
  • the brightness adjustment method, and the image processing apparatus 100 in the method for manufacturing the learned model 10, the brightness adjustment method, and the image processing apparatus 100 according to the first embodiment, as described above, when the contrast of the predetermined area PA of the brightness-adjusted image 3 with respect to the teacher data 20 increases.
  • the loss function A outputs a relatively large value.
  • the trained model 10 was machine learning by the loss function A, the predicted distribution PD luminance adjustment parameter 2 to be output to the radiographic image 1 biases in a direction to decrease the contrast for optimum WW 0 be able to.
  • the learned model 10 is trained to output the optimum value WW 0, since it is inhibited to output the luminance adjustment parameter 2 so that a large contrast exceeds the optimum value WW 0
  • the occurrence of overexposure or underexposure (saturation of pixel values) in the predetermined area PA of the image 3 after luminance adjustment can be suppressed.
  • the predicted distribution PD luminance adjustment parameter 2 the biases in a direction to decrease the contrast for optimum WW 0, for example, a teacher parameter 22 in the teacher data 20, reducing the contrast for optimum WW 0 It is also conceivable to bias the direction.
  • the error is biased with the teacher parameter 22 being the optimum value WW 0 , so that the minimum value of the loss function A remains the optimum value WW 0 and the peak of the prediction distribution PD is can be learned so that as much as possible match to WW 0.
  • the loss function A is calculated based on the pixel value in the predetermined area PA when the whiteout or blackout occurs due to the saturation of the pixel value in the predetermined area PA of the image 3 after luminance adjustment. Is configured to output a relatively larger value than when no saturation occurs. As a result, when overexposure or underexposure occurs in the predetermined area PA, the value of the loss function A increases. Therefore, the learning is biased so as to suppress the occurrence of overexposure or underexposure in the predetermined area PA.
  • the trained model 10 can be obtained.
  • the loss function A of the luminance adjusted image 3 for the teacher data 20 is smaller than the case where the contrast of the luminance adjusted image 3 is smaller for the teacher data 20.
  • a weight function f (r) with a large weight is included.
  • the value of the loss function A can be easily biased by the weight function.
  • the loss function A is a function based on the error between the teacher parameter 22 included in the teacher data 20 and the luminance adjustment parameter 2 for the input image 21 included in the teacher data 20. is there.
  • loss function A based on the error between the teacher parameters 22 and the luminance adjustment parameter 2 to prevent the error is symmetrically evaluated against the optimum values WW 0, with respect to the optimal value WW 0
  • the value of the loss function A can be relatively increased, so that the occurrence of saturation of the pixel value in the predetermined area PA can be effectively suppressed.
  • the predetermined area PA includes at least a part of the area where the subject is captured. This makes it possible to reliably suppress the occurrence of overexposure or underexposure in the area where the subject is captured using the luminance adjustment parameter 2 output by the learned model 10.
  • the brightness adjustment parameter 2 includes the window level WL that defines the median of the pixel value range to be converted into the brightness-adjusted image 3 in the radiation image 1 and the size of the pixel value range. And a window width WW that defines the length.
  • the magnitude of the contrast of the pixel value of the predetermined area PA can be adjusted according to the value of the window width WW. Therefore, the contrast can be easily evaluated by the loss function A as compared with the case where many parameters affect the contrast.
  • the method further includes a step of acquiring information 5 relating to a photographing site or a photographing purpose of a subject. Based on this, a learned model 10 used for luminance adjustment is selected from the plurality of learned models 10. In this manner, a plurality of learned models 10 that are separately learned according to the imaging region or the imaging purpose are prepared, and the learned model 10 is selected based on the information 5 regarding the imaging region or the imaging purpose. Alternatively, it is possible to perform optimal brightness adjustment according to the purpose of photographing.
  • the loss function A is a function based on an error between the teacher parameter 22 and the brightness adjustment parameter 2, and is a function based on a comparison between the teacher data 20 and the brightness-adjusted image 3. Will be described.
  • the same components as those in the first embodiment are denoted by the same reference numerals and description thereof is omitted.
  • the learned model 10 is created by learning for optimizing the loss function B relating to the brightness adjustment parameter 2.
  • the loss function B is a comparison between the pixel value of the teacher image 23 included in the teacher data 20 and the pixel value of the luminance-adjusted image 3 obtained by adjusting the luminance of the input image 21 included in the teacher data 20 based on the luminance adjustment parameter 2. Is a function based on
  • the input image 21 included in the teacher data 20 is used as an input, and based on the luminance adjustment parameter 2 output by the learning model 11 during the learning, the image after the luminance adjustment is performed. 3 is obtained.
  • a teacher image 23 whose luminance has been adjusted based on the input image 21 and the teacher parameter 22 included in the teacher data 20 is obtained.
  • the luminance-adjusted image 3 and the teacher image 23 are images obtained by performing luminance adjustment on the same input image 21 included in the teacher data 20.
  • the teacher image 23 is a correct image for machine learning in which the brightness is adjusted based on the optimum value of the brightness adjustment parameter.
  • the loss function B is configured as a function based on a comparison between the pixel value of the teacher image 23 and the pixel value of the image 3 after luminance adjustment at the same pixel of both images.
  • the difference between the output result of the learning model 11 and the teacher data 20 is evaluated based on the image obtained as a result of the brightness adjustment actually performed using the brightness adjustment parameter 2.
  • the loss function B is a function based on the difference between the pixel values of the corresponding pixels between the luminance-adjusted image 3 and the teacher image 23. More specifically, as shown in the following equation (3), it is a mean square error obtained by integrating the difference between the pixel value of the corresponding pixel between the luminance-adjusted image 3 and the teacher image 23 with a weight.
  • x and y are the coordinates of the image (the image 3 after luminance adjustment and the teacher image 23), respectively.
  • k (x, y) is a weight at each coordinate (x, y).
  • I (x, y) is a pixel value at the coordinates (x, y) of the image 3 after luminance adjustment
  • I 0 (x, y) is a pixel value at the coordinates (x, y) of the teacher image 23.
  • . f (r) is a weight function.
  • w is a weight value (w> 1).
  • a weight function with a large weight is included.
  • the loss function B estimates the error relatively large by multiplying the error (I ⁇ I 0 ) by the weight w.
  • the learning is biased in the direction of reducing the contrast by outputting a relatively large value.
  • the window width WW is larger than the optimum value WW 0 (when the contrast is small), it is considered that no pixel in which the pixel value I is saturated in the predetermined area PA occurs.
  • Function B estimates the error relatively small.
  • the loss function B may include a weight k (x, y) set for each pixel (position coordinates) in the image. Therefore, in the second embodiment, a different weight k can be set for each region in an image.
  • a weight k can be set for each region in an image.
  • FIG. 17 when the saturation of the pixel value occurs in the predetermined area PA in the image due to the weight k, as shown in FIG.
  • the configuration is such that a value larger than that when the value saturation occurs is output.
  • the value of the loss function B is relatively small.
  • the learning is strongly performed in the direction of suppressing the contrast and suppressing the occurrence of the saturation of the pixel value.
  • a region PB other than the predetermined region PA when the contrast of the luminance-adjusted image 3 with respect to the teacher data 20 (teacher image 23) increases (when the pixel value is saturated), the value of the loss function B Is relatively small and learning is performed so as not to suppress the contrast more than necessary.
  • the teacher data 20 of the second embodiment includes the position information 24a of the predetermined area PA and the loss function B as shown in FIG. And the bias information 24b.
  • the position information 24a is information of position coordinates in an image.
  • the bias information 24b is a set value of the weight k.
  • the teacher data 20 includes the weight map 24 including the position information 24a and the bias information 24b in the input image 21.
  • the weight map 24 includes a region to which the common weight k is applied in the input image 21 as the position information 24a.
  • the weight map 24 includes, as the bias information 24b, the value of the weight k to be applied to the area partitioned as the position information 24a in the input image 21.
  • the position information 24a can be set so as to partition the input image 21 into an area 61 in which the subject SB is reflected and a background area 62, as shown in FIG. 17B, for example.
  • the bias information 24b includes different weights k for the region 61 in which the subject SB is captured and the background region 62 according to the position information 24a.
  • the area where the subject SB is reflected is the predetermined area PA.
  • the weight k of the area 61 in which the subject SB is reflected is set to be higher than the weight of the background area 62.
  • the position information 24a can be set so as to further divide the inside of the area 61 in which the subject SB is captured, as shown in FIG. 17C, for example. That is, in the region 61 where the subject SB is captured, it is possible to distinguish between a region of high importance related to diagnosis and a region of relatively low importance. In addition, depending on morphological conditions such as the anatomical structure of the subject, the easiness of saturation of the pixel value may differ for each part of the subject. In that case, the position information 24a can be set by dividing the inside of the area 61 where the subject SB is captured into a plurality of partial areas, and the bias information 24b (weight k) can be set for each of the partial areas. In the example of FIG.
  • the same or different weight is assigned to each of the partial regions of the femoral neck 61a, the greater trochanter 61b, the diaphysis 61c, and the ward triangle 61d in accordance with the anatomical structure of the lumbar region of the subject.
  • An example of setting k will be described.
  • the weight k (x, y) set for the region to which the pixel p belongs is obtained for the pixel p (x, y) at an arbitrary position coordinate of the input image 21 by the weight map 24.
  • the magnitude of the bias of the loss function B is set for each position in the input image 21 based on the position information 24a of the predetermined area PA included in the teacher data 20 and the bias information 24b of the loss function B. .
  • the loss function B is designed to output a larger value when the pixel value is saturated in the predetermined area PA in the image than when the pixel value is saturated in an area other than the predetermined area PA. It is configured.
  • FIG. 18 is a graph showing a change in the output value of the loss function B with respect to the window width WW, and a predicted distribution PD of the window width WW output by the trained model 10 optimized using the loss function B.
  • the loss function RMSE of the comparative example is represented by the following equation (4).
  • the loss function RMSE optimized predicted distribution CD of an output result of the learned model using the whiteout or blackout against the optimum value WW 0 (the pixel value This is considered to be an asymmetric distribution that is biased in a direction in which saturation occurs (a direction in which the window width WW is reduced).
  • the loss function RMSE optimized predicted distribution CD of an output result of the learned model using the whiteout or blackout against the optimum value WW 0 (the pixel value This is considered to be an asymmetric distribution that is biased in a direction in which saturation occurs (a direction in which the window width WW is reduced).
  • window width WW is to be output, increase the contrast exceeds the optimum value WW 0 (The direction in which the window width WW is reduced) is suppressed, and the possibility that the pixel value is saturated in the predetermined area PA is suppressed.
  • the manufacturing method, the brightness adjustment method, and the image processing device 100 of the learned model 10 are the same except that the loss function B is different from that of the first embodiment, and thus the description is omitted.
  • overexposure or underexposure occurs in an area (predetermined area PA) related to diagnosis of a subject or the like in an image. Can be suppressed from occurring.
  • the loss function B calculates the pixel value of the teacher image 23 included in the teacher data 20 and the input image 21 included in the teacher data 20 based on the luminance adjustment parameter 2. This is a function based on comparison with the pixel value of the adjusted image 3 after brightness adjustment.
  • the loss function B is based on the comparison between the teacher image 23 and the brightness-adjusted image 3 and the pixel value, the value of the loss function B is relatively increased when the contrast is higher than the optimum value, Since it is possible to suppress the error from being underestimated due to the pixel saturation, it is possible to effectively suppress the occurrence of the saturation of the pixel value in the predetermined area PA.
  • the loss function B is obtained when the saturation of the pixel value occurs in a region other than the predetermined region PA when the saturation of the pixel value occurs in the predetermined region PA in the image. It is configured to output a value larger than. Accordingly, it is possible to suppress the occurrence of saturation of the pixel value in the predetermined area PA and to suppress the learning from being affected by an error in an area PB other than the predetermined area PA having low importance.
  • the loss function B is calculated for each position in the input image 21 based on the position information 24a of the predetermined area PA included in the teacher data 20 and the bias information 24b of the loss function B. Is set to the magnitude of the bias.
  • the predetermined area PA and the area PB other than the predetermined area PA are distinguished based on the position information 24a of the predetermined area PA, and the predetermined area PA and the areas other than the predetermined area PA are determined based on the bias information 24b of the loss function B. Since the magnitude relation of the deviation of the loss function B with the region PB can be specified, the magnitude (weight k) of the deviation of the loss function B can be easily changed according to the region in the image.
  • the loss function A and the loss function B based on the mean square error are shown as examples of the loss function, but the present invention is not limited to this.
  • the loss function may be configured by a function other than the mean square error.
  • a function such as PSNR (peak signal-to-noise ratio) or SSIM (structural SIMIrity) may be used as the loss function B of the second embodiment.
  • PSNR peak signal-to-noise ratio
  • SSIM structural SIMIrity
  • SSIM can evaluate the similarity between images, but it is an index for evaluating structural elements unrelated to luminance adjustment such as image displacement, and therefore, is simply a pixel value (luminance) between images.
  • the mean square error that evaluates only the error is more suitable as a loss function used for a learning model for luminance adjustment.
  • the predetermined area PA includes at least a part of the area where the subject is captured, but the present invention is not limited to this.
  • the predetermined area PA may be set according to the use of the radiation image 1, and may be an area other than the area where the subject is captured.
  • the output value of the loss function is biased by including the weight function f (r) in the loss function, but the present invention is not limited to this.
  • different loss functions are applied to the case where the contrast of the predetermined area PA is larger than the teacher data 20 and the case where the contrast of the predetermined area PA is smaller than the teacher data 20.
  • the output value may be biased.
  • the weight k is different between the predetermined area PA and the area other than the predetermined area PA using the weight map 24, but the present invention is not limited to this. .
  • the weight k may not be included in the loss function B.
  • the teacher data 20 does not need to include the weight map 24.
  • the teacher image 23 is obtained based on the teacher parameter 22 included in the teacher data 20, but the present invention is not limited to this.
  • the teacher data 20 may include the teacher image 23.
  • the teacher data 20 does not necessarily need to include the teacher parameter 22.
  • the learned model 10 used for luminance adjustment is selected from among the plurality of learned models 10.
  • the present invention is not limited to this. In the present invention, it is not necessary to acquire the information 5 on the imaging part or the imaging purpose. That is, the learned model 10 need not be selected.
  • the acquisition of the information 5 on the imaging part or the imaging purpose is not limited to the method using the operation unit 230, and the information 5 on the imaging part or the imaging purpose may be acquired by, for example, image recognition of the input radiation image 1. .
  • the brightness adjustment parameter 2 may include an upper limit value VH and a lower limit value VL of the window width.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Surgery (AREA)
  • Veterinary Medicine (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Optics & Photonics (AREA)
  • Pathology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Heart & Thoracic Surgery (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Animal Behavior & Ethology (AREA)
  • Public Health (AREA)
  • Computational Linguistics (AREA)
  • Image Processing (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Image Analysis (AREA)

Abstract

この学習済みモデル(10)の製造方法は、損失関数(A)の値が小さくなるように学習モデル(11)を最適化するステップを備える。損失関数(A)は、教師データ(20)に対して、輝度調整した輝度調整後画像(3)の所定領域(PA)のコントラストが小さくなる場合よりも、教師データに対して輝度調整後画像の所定領域のコントラストが大きくなる場合に、相対的に大きい値を出力するように構成されている。

Description

学習済みモデルの製造方法、輝度調整方法および画像処理装置
 本発明は、放射線画像の輝度調整方法に関する。
 従来、被写体を撮影した医用放射線画像に対して、診断に適した輝度およびコントラストとなるように輝度調整を行うことが知られている。このような放射線画像の輝度調整は、たとえば、特開2015-181543号公報に開示されている。
 上記特開2015-181543号公報には、被写体を撮影した入力画像から主要被写体領域を抽出し、その領域の輝度値を代表する代表値を取得し、代表値の近傍のコントラストを強調または抑制する階調変換係数を算出し、算出した階調変換係数を用いて、所定のアルゴリズムに従って入力画像の各画素の輝度値(画素値)を変換することにより、入力画像の輝度調整を行うことが開示されている。
特開2015-181543号公報
 放射線画像の輝度調整では、画像中の被写体などの診断に関わる領域においてコントラストを高くして視認性を向上させる一方で、その領域において画素値の飽和が生じないようにすることが望まれる。画素値の飽和とは、画素値の上限または下限を超えるレベルの信号によって画素の情報が失われることであり、上限値を超えた画素はいわゆる「白飛び」、下限値を下回る画素はいわゆる「黒つぶれ」と呼ばれる。輝度調整によってコントラストを大きくするほど画素値の飽和が発生しやすくなることから、輝度調整は、被写体などの診断に関わる領域において画素値の飽和が発生しない条件下で、診断に関わる領域のコントラストを極力大きくすることが好ましい。
 上記特開2015-181543号公報に開示された技術では、一定のアルゴリズムに従って輝度調整を行うため、領域の抽出ミスの発生や、画素値の分布が通常とは大きく異なる人工関節などの例外ケースに対処することが困難であり、被写体などの診断に関わる領域に白飛びや黒つぶれが発生することがある。そこで、近年、機械学習による学習済みモデルを用いて、輝度調整パラメータを入力画像から直接出力することが試みられている。機械学習が有効に機能すれば、被写体などの診断に関わる領域に白飛びや黒つぶれの発生を抑制しつつ極力コントラストを大きくでき、かつ、人工関節などの例外ケースにも対処可能となることが期待される。
 しかし、機械学習では、多数の学習用データを用いて統計的な学習が行われるため、出力される輝度調整パラメータは最適値(被写体などの診断に関わる領域において画素値の飽和が発生しない条件下で、極力コントラストを大きくする値)に対して、コントラストを大きくする方向と、コントラストを小さくする方向とにそれぞればらつく。このため、最適値を出力するように機械学習させた学習済みモデルでは、出力される輝度調整パラメータが最適値に対してコントラストを大きくする方向にばらつくと、白飛びまたは黒つぶれ(画素値の飽和)が発生する可能性があるという問題点がある。
 この発明は、上記のような課題を解決するためになされたものであり、この発明の1つの目的は、機械学習による学習済みモデルを用いた輝度調整において、画像中の被写体などの診断に関わる領域で白飛びまたは黒つぶれが発生することを抑制することが可能な学習済みモデルの製造方法、輝度調整方法および画像処理装置を提供することである。
 上記目的を達成するために、この発明の第1の局面における学習済みモデルの製造方法は、被写体の写り込んだ放射線画像を入力とし、放射線画像の輝度調整パラメータを出力する機械学習による学習済みモデルの製造方法であって、教師データに含まれる入力画像を入力として、学習モデルにより入力画像の輝度調整パラメータを出力するステップと、学習モデルによる輝度調整パラメータを用いて、輝度調整パラメータに関する損失関数の値を取得するステップと、損失関数の値が小さくなるように学習モデルを最適化するステップと、を備え、損失関数は、教師データに対して、輝度調整パラメータに基づいて輝度調整した輝度調整後画像の所定領域のコントラストが小さくなる場合よりも、教師データに対して輝度調整後画像の所定領域のコントラストが大きくなる場合に、相対的に大きい値を出力することによりコントラストを小さくする方向へ学習を偏らせるように構成されている。
 この発明の第1の局面における学習済みモデルの製造方法では、上記の構成によって、教師データに対して輝度調整後画像の所定領域のコントラストが大きくなる場合に、損失関数が相対的に大きい値を出力するので、最適値を超えて大きなコントラストとなるように輝度調整パラメータを出力することが抑制された学習済みモデルを得ることができる。つまり、製造された学習済みモデルでは、放射線画像に対して出力する輝度調整パラメータの予測分布を、最適値(被写体などの診断に関わる所定領域において画素値の飽和が発生しない条件下で、極力コントラストを大きくする値)に対してコントラストを小さくする方向に偏らせることができる。これにより、所定領域のコントラストを大きくしすぎることによって輝度調整後画像の所定領域に白飛びまたは黒つぶれ(画素値の飽和)が発生することを抑制できる。以上により、機械学習による学習済みモデルを用いた輝度調整において、画像中の被写体などの診断に関わる領域(所定領域)で白飛びまたは黒つぶれが発生することを抑制することができる。
 上記第1の局面における学習済みモデルの製造方法において、損失関数は、輝度調整後画像の所定領域において画素値の飽和により白飛びまたは黒つぶれが発生する場合に、所定領域において画素値の飽和が発生しない場合よりも相対的に大きい値が出力されるように構成されていてもよい。このように構成すれば、所定領域において白飛びまたは黒つぶれが発生する場合に、損失関数の値が大きくなるように偏るので、所定領域における白飛びまたは黒つぶれの発生を抑制するように偏って学習された学習済みモデルを得ることができる。
 上記第1の局面における学習済みモデルの製造方法において、損失関数は、教師データに対して輝度調整後画像のコントラストが小さくなる場合よりも、教師データに対して輝度調整後画像のコントラストが大きくなる場合に、大きい重み付けがされた重み関数を含んでもよい。このように構成すれば、コントラストに応じて出力値を偏らせるために複数の損失関数を準備する必要がなく、重み関数によって、損失関数の値を容易に偏らせることができる。
 上記第1の局面における学習済みモデルの製造方法において、損失関数は、教師データに含まれる教師パラメータと、教師データに含まれる入力画像に対する輝度調整パラメータとの誤差に基づく関数であってもよい。輝度調整パラメータの誤差に基づく損失関数を用いた機械学習では、誤差は最適値に対してコントラストが小さくなる方向とコントラストが大きくなる方向とに、対称的にばらつくと考えられる。そのため、偏りのない損失関数によって学習した場合、学習済みモデルから出力される輝度調整パラメータの予測分布のうち半分は、最適値に対してコントラストを大きくする方向にばらついて白飛びまたは黒つぶれ(画素値の飽和)が発生する可能性がある。上記構成によれば、教師パラメータと輝度調整パラメータとの誤差に基づく損失関数であっても、誤差が最適値に対して対称的に評価されることを抑制し、最適値に対してコントラストが大きくなる場合に損失関数の値を相対的に大きくすることができるので、効果的に、所定領域での画素値の飽和の発生を抑制することができる。
 上記第1の局面における学習済みモデルの製造方法において、損失関数は、教師データに含まれる教師画像の画素値と、教師データに含まれる入力画像を輝度調整パラメータに基づいて輝度調整した輝度調整後画像の画素値との比較に基づく関数であってもよい。ここで、教師画像は、最適値と考えられる輝度調整パラメータに基づいて輝度調整された輝度調整後画像である。画素値の比較に基づく損失関数を用いた機械学習では、輝度調整後画像において白飛びまたは黒つぶれ(画素値の飽和)が発生していると、その領域の画素値が飽和している分だけ過小評価されることになるため、コントラストを大きくする方向に偏って学習されやすい。その結果、偏りのない損失関数によって学習した学習済みモデルでは、出力される輝度調整パラメータが最適値に対してコントラストを大きくする方向にばらついて白飛びまたは黒つぶれ(画素値の飽和)が発生する可能性がある。そこで、上記構成によれば、画素値の比較に基づく損失関数であっても、最適値に対してコントラストが大きくなる場合に損失関数の値を相対的に大きくし、画素の飽和に起因して誤差が過小評価されることを抑制できるので、効果的に、所定領域での画素値の飽和の発生を抑制することができる。
 上記損失関数が教師画像の画素値と輝度調整後画像の画素値との比較に基づく関数である場合に、損失関数は、画像中の所定領域において画素値の飽和が発生する場合に、所定領域以外の領域において画素値の飽和が発生する場合よりも大きい値が出力されるように構成されていてもよい。ここで、たとえば画像中の被写体が写り込む所定領域と、所定領域以外の背景の領域とでは、診断上の重要度が異なる。そのため、所定領域において画素値の飽和が発生する場合に損失関数の値を相対的に大きくし、所定領域以外では損失関数の値を相対的に小さくすることによって、所定領域での画素値の飽和の発生を抑制しつつ、重要度の低い所定領域以外の領域における誤差によって学習が影響を受けることを抑制することができる。
 この場合、損失関数は、教師データに含まれる所定領域の位置情報と損失関数の偏り情報とに基づいて、入力画像における位置毎に偏りの大きさが設定されていてもよい。このように構成すれば、所定領域の位置情報に基づいて、所定領域と所定領域以外の領域とを区別し、損失関数の偏り情報に基づいて、所定領域と所定領域以外の領域とでの損失関数の偏りの大小関係を特定することができるので、容易に、画像中の領域に応じて損失関数の偏りの大きさを異ならせる事ができる。
 上記第1の局面における学習済みモデルの製造方法において、所定領域は、被写体が写り込む領域の少なくとも一部を含んでもよい。このように構成すれば、画像中において、診断に関わる被写体が写り込む領域におけるコントラストを小さくする方向へ学習を偏らせた学習済みモデルが得られるので、学習済みモデルにより出力される輝度調整パラメータを用いて、より確実に、被写体が写り込む領域で白飛びまたは黒つぶれが発生することを抑制することができる。
 上記第1の局面における学習済みモデルの製造方法において、輝度調整パラメータは、放射線画像において輝度調整後画像に変換する画素値範囲の中央値を規定するウィンドウレベルと、画素値範囲の大きさを規定するウィンドウ幅と、を含んでもよい。このようなウィンドウレベルとウィンドウ幅による輝度調整では、ウィンドウ幅の値によって、所定領域の画素値のコントラストの大小を調整することができる。そのため、多数のパラメータがコントラストに影響する場合と比べて、損失関数によるコントラストの評価を容易に行うことができる。
 この発明の第2の局面における輝度調整方法は、被写体の写り込んだ放射線画像を入力とし、放射線画像の輝度調整パラメータを出力する機械学習を用いた輝度調整方法であって、放射線画像を取得するステップと、機械学習による学習済みモデルを用いて、放射線画像に対する輝度調整パラメータを取得するステップと、輝度調整パラメータに基づいて、放射線画像を輝度調整して輝度調整後画像を取得するステップと、を備え、学習済みモデルは、輝度調整パラメータに関する損失関数の最適化を行う学習により作成され、損失関数は、機械学習の教師データに対して輝度調整後画像の所定領域のコントラストが小さくなる場合よりも、教師データに対して輝度調整後画像の所定領域のコントラストが大きくなる場合に、相対的に大きい値を出力することによりコントラストを小さくする方向へ学習を偏らせるように構成されている。
 この発明の第2の局面における輝度調整方法では、上記の構成によって、教師データに対して輝度調整後画像の所定領域のコントラストが大きくなる場合に、損失関数が相対的に大きい値を出力する。その結果、その損失関数によって機械学習した学習済みモデルでは、放射線画像に対して出力する輝度調整パラメータの予測分布を、最適値に対してコントラストを小さくする方向に偏らせることができる。このため、最適値を出力するように学習させた学習済みモデルであっても、最適値を超えて大きなコントラストとなるように輝度調整パラメータを出力することが抑制されるので、出力された輝度調整パラメータを用いて輝度調整を行っても、所定領域のコントラストを大きくしすぎることによって輝度調整後画像の所定領域に白飛びまたは黒つぶれ(画素値の飽和)が発生することを抑制できる。以上により、機械学習による学習済みモデルを用いた輝度調整において、画像中の被写体などの診断に関わる領域(所定領域)で白飛びまたは黒つぶれが発生することを抑制することができる。
 上記第2の局面における輝度調整方法において、被写体の撮影部位または撮影目的に関する情報を取得するステップをさらに備え、輝度調整パラメータを取得するステップにおいて、撮影部位または撮影目的に関する情報に基づいて、複数の学習済みモデルのうちから輝度調整に用いる学習済みモデルを選択してもよい。なお、撮影部位とは、被写体の頭部、腹部、腰部、四肢などの撮影の対象となる個々の部位を意味する。撮影目的とは、撮影された画像により把握したい診断内容または画像の用途であり、たとえば胸部画像であっても、心臓、肺、骨部のいずれの病変を把握するかといったものである。ここで、医用放射線画像では、撮影部位や撮影目的に応じて、描出すべき対象が異なるため、輝度調整パラメータの最適値も大きく異なる可能性がある。そこで、撮影部位または撮影目的に応じて別個に学習させた複数の学習済みモデルを用意し、撮影部位または撮影目的に関する情報に基づいて学習済みモデルの選択を行うことによって、撮影部位または撮影目的に応じた最適な輝度調整を行うことができる。
 この発明の第3の局面における画像処理装置は、放射線画像を取得する画像取得部と、被写体の写り込んだ放射線画像を入力とし、放射線画像の輝度調整パラメータを出力する機械学習による学習済みモデルを記憶する記憶部と、学習済みモデルを用いて、放射線画像に対する輝度調整パラメータを取得するパラメータ取得部と、輝度調整パラメータに基づいて、放射線画像を輝度調整して輝度調整後画像を取得する調整処理部と、を備え、学習済みモデルは、輝度調整パラメータに関する損失関数の最適化を行う学習により作成され、損失関数は、機械学習の教師データに対して輝度調整後画像の所定領域のコントラストが小さくなる場合よりも、教師データに対して輝度調整後画像の所定領域のコントラストが大きくなる場合に、相対的に大きい値を出力することによりコントラストを小さくする方向へ学習を偏らせるように構成されている。
 第3の局面における画像処理装置では、上記の構成によって、第2の局面による輝度調整方法と同様に、機械学習による学習済みモデルを用いた輝度調整において、画像中の被写体などの診断に関わる領域(所定領域)で白飛びまたは黒つぶれが発生することを抑制することができる。
 本発明によれば、上記のように、機械学習による学習済みモデルを用いた輝度調整において、画像中の被写体などの診断に関わる領域で白飛びまたは黒つぶれが発生することを抑制することができる。
第1実施形態による輝度調整方法および学習済みモデルの製造方法を説明するための図である。 放射線画像の一例を示した図である。 学習済みモデルを説明するための図である。 輝度調整の内容を説明するための図である。 階調変換の第1の例(A)および第2の例(B)を示す図である。 複数のウィンドウ幅を示した図(A)および各ウィンドウ幅での階調変換を説明するための図(B)~(D)である。 第1実施形態における損失係数の変化(A)および輝度調整パラメータの予測分布(B)を示した図である。 第1実施形態による画像処理装置を備えた撮像システムを説明するための図である。 画像処理装置の構成を説明するためのブロック図である。 画像処理装置による輝度調整方法を説明するためのフロー図である。 輝度調整パラメータの取得処理(サブルーチン)のフロー図である。 撮影部位または撮影目的に関する情報を説明するための図である。 機械学習を行う学習データ処理部を示した図である。 第1実施形態による学習済みモデルの製造方法を説明するためのフロー図である。 教師データの入力画像に対する画像改変処理を説明するための図である。 第2実施形態の損失関数および教師データを示した図である。 入力画像(A)と、入力画像に対する重みマップの例(B)および(C)を示した図である。 第2実施形態における損失係数の変化(A)および輝度調整パラメータの予測分布(B)を示した図である。
 以下、本発明を具体化した実施形態を図面に基づいて説明する。
 図1~図15を参照して、第1実施形態による学習済みモデルの製造方法、輝度調整方法および画像処理装置について説明する。
 (輝度調整方法および学習済みモデルの製造方法の概要)
 図1に示す第1実施形態による輝度調整方法は、被写体の写り込んだ放射線画像1を入力とし、放射線画像1の輝度調整パラメータ2を出力する機械学習を用いた輝度調整方法である。
 放射線画像1は、医師等による患者の診断等に用いられる医用画像であり、たとえば図2に示すようなX線画像である。具体的には、放射線画像1は、いわゆる単純X線撮影により被写体の診断部位(患部)を撮影した静止画像である。放射線画像1は、たとえば所定の階調数で区分された画素値により画素毎の濃淡(明暗)が表現された単色のデジタル画像である。図2では、被検体の腰部の大腿骨周辺を撮像した放射線画像1の例を示している。放射線画像1による診断では、診断の目的となる患部の状態をより正確に把握できるようにするために、放射線画像1の輝度調整が行われる。輝度調整は、階調変換ともいう。
 具体的には、図1に示すように、第1実施形態の輝度調整方法は、放射線画像1を取得するステップS1と、機械学習による学習済みモデル10を用いて、放射線画像1に対する輝度調整パラメータ2を取得するステップS2と、輝度調整パラメータ2に基づいて、放射線画像1を輝度調整して輝度調整後画像3を取得するステップS3と、を備える。
 ステップS1において、たとえばX線撮影装置などにより構成される撮像部210により、被写体の写り込む放射線画像1が取得される。ステップS1では、画像を記憶する画像サーバ250に予め記憶された放射線画像1が、画像サーバ250から取得されてもよい。
 ステップS2において、学習済みモデル10は、輝度調整の対象となる放射線画像1が入力されると、入力された画像に対する輝度調整パラメータ2を出力する。学習済みモデル10は、入力された画像(放射線画像1)に対して、診断に最適な輝度調整パラメータ2を出力するように機械学習されている。機械学習法としては、入力された画像に対する輝度調整パラメータ2を出力する処理に適した手法であれば、特に限定されない。
 一例として、第1実施形態では、学習済みモデル10は、図3に示すように、畳み込みニューラルネットワークCNNからなる前段と、全結合層FCからなる後段とを有する。このような学習済みモデル10は、前段の畳み込みニューラルネットワークCNNにより放射線画像1中から診断のために重要な所定領域を認識する画像認識の機能を有し、後段の全結合層FCにより前段の出力を輝度調整パラメータ2に変換する機能を有すると考えられる。畳み込みニューラルネットワークCNNの高精度な画像認識機能を学習済みモデル10が備えることにより、診断のために重要な領域での白飛びや黒つぶれなどの画素値の飽和を効果的に抑制することが期待される。また、畳み込みニューラルネットワークCNNの多層化(深層化)により、個々の放射線画像1の個体差や人工関節などの例外的なケースにも対応可能となることが期待される。
 図1に示すように、輝度調整パラメータ2を出力する処理を行う学習済みモデル10を作成するためには、多数の教師データ20を用いた機械学習が行われる。本明細書では、学習済みモデル10の製造段階の、機械学習による学習中の状態を、学習モデル11とする。学習モデル11に対する機械学習が行われたものが、学習済みモデル10である。
 第1実施形態において、機械学習に用いる教師データ20は、入力画像21と教師パラメータ22とを含む。入力画像21は、学習用に予め準備された放射線画像(図2参照)であって、輝度調整が行われる前の元画像である。教師パラメータ22は、入力画像21に対して出力される輝度調整パラメータの最適値として作成される正解データである。
 医用放射線画像では、関心領域の視認性を向上させるため、画像中の被写体などの診断に関わる所定領域PA(図2参照)において、極力大きなコントラストが得られることが望まれる。一方、医用放射線画像では、画像中の被写体などの診断に関わる所定領域PAにおいて、いわゆる白飛びや黒つぶれなどの画素値の飽和が発生しないことが望まれる。一方、医用放射線画像では、画像中の被写体など所定領域PA以外の、背景や診断に関係のない領域PB(図2参照)については、コントラストの低下や画素値の飽和の発生は許容される。そのため、医用放射線画像における輝度調整パラメータの最適値とは、診断に関わる所定領域PAにおいて画素値の飽和が発生しない条件下で、所定領域PAのコントラストを極力大きくする値であると定義できる。教師パラメータ22は、個々の入力画像21に対して、たとえば教師データ作成者がパラメータ調整を行う作業によって導き出された最適値である。
 学習済みモデルを製造する際、入力画像21を入力とし、輝度調整パラメータ2を出力として、入力画像21から教師パラメータ22への変換処理を学習モデル11に学習させる。機械学習では、学習中の学習モデル11の出力結果(輝度調整パラメータ2)と、教師データ20(教師パラメータ22)との差異を評価する損失関数が定義される。機械学習は、損失関数を小さくする最適化演算により、教師データ20との差異を最小化する出力結果を出力するように学習モデル11の内部パラメータを最適化(学習)させるものである。学習を収束させるのに十分な数の教師データ20を用いて、学習を収束させるのに十分な回数に亘って学習モデル11の最適化(学習)を行うことにより、学習済みモデル10が製造される。このように、学習済みモデル10は、輝度調整パラメータ2に関する損失関数の最適化を行う学習により作成されたものである。
 ここで、第1実施形態の損失関数Aは、機械学習の教師データ20に対して輝度調整後画像3の所定領域PA(図2参照)のコントラストが小さくなる場合よりも、教師データ20に対して輝度調整後画像3の所定領域PAのコントラストが大きくなる場合に、相対的に大きい値を出力することによりコントラストを小さくする方向へ学習を偏らせるように構成されている。
 所定領域PA(図2参照)は、上記の通り、医用放射線画像において画像中の被写体などの診断に関わる領域である。所定領域PAは、被写体が写り込む領域の少なくとも一部を含む。所定領域PAは、被写体が写り込む領域の全部である必要はなく、被写体が写り込む領域の一部のみに設定されうる。診断に関わる関心領域は、被写体のうち疾患が存在すると考えられる一部の領域である。そのため、所定領域PAは、被写体が写り込む領域のうち関心領域を含む一部の領域であり得る。
 ステップS3において、輝度調整パラメータ2に基づく輝度調整の処理が行われる。この結果、入力された放射線画像1の輝度が調整された輝度調整後画像3が取得される。輝度調整後画像3は、たとえば表示装置に出力され、医師等による診断に用いられる。
 〈輝度調整パラメータ〉
 次に、学習済みモデル10が出力する輝度調整パラメータ2について説明する。第1実施形態において、輝度調整(階調変換)処理の内容は特に限定されず、輝度調整パラメータ2は、画像の輝度調整処理に応じたものであれば特に限定されない。第1実施形態では、一例として、入力画像の階調範囲のうち一部の範囲を表示用の階調範囲に変換するウィンドウ処理による輝度調整を説明する。
 図4は、放射線画像1の画素値(階調)のヒストグラムHGと、輝度調整後の出力階調との概念図である。ヒストグラムHGの横軸は、入力画像における画素値であり、ヒストグラムHGの縦軸は、その画素値を有する画素数(頻度)である。
 ウィンドウ処理では、入力された画像のうち、輝度調整パラメータ2によって特定された一部の階調範囲を抽出して、輝度調整後の出力階調範囲に合わせるように変換する。これにより、ウィンドウ処理では、診断に関わる所定領域PA(図2参照)を構成する画像部分が有する画素値範囲を輝度調整パラメータ2によって特定することによって、所定領域PAのコントラストを調節することができる。また、ウィンドウ処理では、元の放射線画像1における階調範囲の一部を抽出して、表示装置の出力可能な階調範囲に変換することが可能である。図4に示すように、医用放射線画像の階調数は、一般に、表示装置が表示可能な階調数よりも大きい。たとえば医用放射線画像は0~4095の4096階調(12bit)の画素値を有する画像データである。一方、一般的な表示装置は0~255の256階調(8bit)で表示を行う。以下では、4096階調の入力画像に対して、256階調の階調範囲に変換するウィンドウ処理の例を説明する。
 輝度調整パラメータ2は、放射線画像1において輝度調整後画像3に変換する画素値範囲の中央値を規定するウィンドウレベルWLと、画素値範囲の大きさを規定するウィンドウ幅WWと、を含む。輝度調整処理では、ウィンドウレベルWLを中心としたウィンドウ幅WWの階調範囲を、出力階調(0~255)に割り当てることにより、輝度調整が行われる。このとき、放射線画像1において、ウィンドウ幅WWの下限値VL以下の画素値(0~VL)を有する画素は、輝度調整後画像3において最低階調(0階調)に変換される。放射線画像1において、ウィンドウ幅WWの上限値VH以上の画素値(VH~4095)を有する画素は、輝度調整後画像3において最大階調(255階調)に変換される。これにより、輝度調整後画像3は、出力階調に応じた階調数で表現される画像となる。ウィンドウ幅WWの階調範囲は、出力階調の範囲(256階調)よりも大きくてもよいし、小さくてもよい。
 図5は、ウィンドウ幅WWの階調範囲を、出力階調(0~255)に変換する場合の変換特性(濃度変換曲線)の例を示している。輝度調整では、図5(A)のように、ウィンドウ幅WWの階調範囲を一次式(線形の変換特性)で出力階調に変換してもよいし、図5(B)のように、ウィンドウ幅WWの階調範囲を二次式、対数関数などの非線形の変換特性で出力階調に変換してもよい。図5(B)のようなケースでは、輝度調整パラメータ2が変換特性(濃度変換曲線の形状)を決定する追加のパラメータを含んでもよい。
 図6(A)に示すように、たとえばヒストグラムHGのうちハッチングを付した範囲に含まれる画素によって、所定領域PAの画像部分が構成されていると仮定する。このとき、ウィンドウ幅WWが、所定領域PA(ハッチング部)の階調範囲よりも大きいWWa、所定領域PAの階調範囲と一致するWWb、所定領域PAの階調範囲よりも小さいWWcの3パターンで設定される場合を考える。
 ウィンドウ幅WWがWWaで設定される場合、図6(B)に示すように、所定領域PAの階調範囲WWbは、輝度調整後画像3において出力階調範囲(0~255)のうち一部の範囲で表現される。所定領域PAは、256階調よりも狭い範囲で表現される。
 ウィンドウ幅WWがWWbで設定される場合、図6(C)に示すように、所定領域PAの階調範囲WWbは、輝度調整後画像3において出力階調範囲(0~255)の全範囲で表現される。そのため、ウィンドウ幅WWがWWaで設定される場合と比べてコントラストが増大する。
 ウィンドウ幅WWがWWcで設定される場合、図6(D)に示すように、所定領域PAの階調範囲WWbは、ウィンドウ幅WWcよりも広くなるので、所定領域PAを構成する画素のうち、ウィンドウ幅WWcの外側の画素値(ウィンドウ幅WWcの上限値VH以上の画素値、および、ウィンドウ幅WWcの下限値VL以下の画素値)を有する画素については、輝度調整後画像3では画素値が飽和して0階調または255階調として表現される。所定領域PAの内でウィンドウ幅WWcの内側に属する画素については、輝度調整後画像3において出力階調範囲(0~255)の全範囲で表現されるため、コントラストが増大する。
 このように、輝度調整パラメータ2では、ウィンドウ幅WWを小さくするほど、輝度調整後画像3での所定領域PAのコントラストが大きくなる。言い換えると、ウィンドウ幅WWを小さくするほど、輝度調整後画像3では所定領域PAに含まれる画素の濃淡(明暗)を、より多くの階調数で表現できるため、コントラスト分解能が高くなる。一方、ウィンドウ幅WWを小さくし過ぎると、輝度調整後画像3の所定領域PAに白飛びや黒つぶれなどの画素値の飽和が発生する。ウィンドウ幅WWを大きくするほど、輝度調整後画像3での所定領域PAのコントラストが小さくなる。ウィンドウ幅WWを大きくするほど、輝度調整後画像3では所定領域PAに含まれる画素の濃淡(明暗)が、より少ない階調数で表現されるため、コントラスト分解能が低くなる。
 〈損失関数〉
 次に、損失関数について説明する。図1に示したように、機械学習に用いる教師データ20(教師パラメータ22)は、輝度調整パラメータ2の最適値(正解)を提供するものであるため、極力、階調範囲WWb(図6参照)をウィンドウ幅WWとするように設計される。学習済みモデル10は、損失関数を用いた最適化によって、入力された放射線画像1に対して、階調範囲WWbに相当するウィンドウ幅WWの値を、輝度調整パラメータ2として出力するように構成される。そのため、輝度調整パラメータ2としてのウィンドウ幅WWが最適値(WWb)よりも大きい方向にばらつく場合、最適値と比較してコントラストが小さくなり、所定領域PAにおいて画素値の飽和は発生にくい方向に輝度調整が行われることになる。一方、輝度調整パラメータ2としてのウィンドウ幅WWが最適値(WWb)よりも小さい方向にばらつく場合、最適値と比較してコントラストが大きくなり、所定領域PAにおいて白飛びや黒つぶれなどの画素値の飽和が発生しやすい方向に輝度調整が行われることになる。
 そこで、図1に示したように、第1実施形態では、損失関数Aは、機械学習の教師データ20に対して輝度調整後画像3の所定領域PAのコントラストが小さくなる場合よりも、教師データ20に対して輝度調整後画像3の所定領域PAのコントラストが大きくなる場合に、相対的に大きい値を出力することによりコントラストを小さくする方向へ学習を偏らせるように構成されている。
 すなわち、損失関数Aは、学習中の学習モデル11から出力された輝度調整パラメータ2が、最適値である教師データ20に対してコントラストを小さくする方向に誤差を有している場合、誤差を相対的に小さく評価し、学習中の学習モデル11から出力された輝度調整パラメータ2が、最適値である教師データ20に対してコントラストを大きくする方向に誤差を有している場合、誤差を相対的に大きく評価するように設計された関数である。機械学習では、損失関数Aを小さくするように学習モデル11を最適化するため、コントラストを大きくする方向の誤差に対して損失関数Aの出力値が大きくなる結果、学習モデル11は、よりコントラストを抑制する方向に学習が偏る。
 したがって、仮に学習中の学習モデル11から出力された輝度調整パラメータ2が、最適値(WWb)である教師パラメータ22よりも小さいウィンドウ幅WWを出力し、所定領域PAに画素値の飽和(白飛びまたは黒つぶれ)が生じた場合、損失関数Aは相対的に大きく見積もられることになる。このように、第1実施形態では、損失関数Aは、輝度調整後画像3の所定領域PAにおいて画素値の飽和により白飛びまたは黒つぶれが発生する場合に、所定領域PAにおいて画素値の飽和が発生しない場合よりも相対的に大きい値が出力されるように構成されている。
 損失関数Aの具体例を示す。第1実施形態では、損失関数Aは、教師データ20に含まれる教師パラメータ22と、教師データ20に含まれる入力画像21に対する輝度調整パラメータ2との誤差に基づく関数である。
 また、損失関数Aは、教師データ20に対して輝度調整後画像3のコントラストが小さくなる場合よりも、教師データ20に対して輝度調整後画像3のコントラストが大きくなる場合に、大きい重み付けがされた重み関数を含む。
 たとえば、損失関数Aは、下式(1)に示す重み付き平均二乗誤差である。
Figure JPOXMLDOC01-appb-M000001
 上式(1)において、WL、WWは、それぞれ、入力画像21に対して学習中の学習モデル11が出力するウィンドウレベルおよびウィンドウ幅(輝度調整パラメータ2)である。WL、WWは、教師データ20に含まれるウィンドウレベルおよびウィンドウ幅(教師パラメータ22)である。WWは、図6で例示した最適値(WWb)に相当する値である。f(r)が、重み関数である。wは、重みの値(w>1)である。
 重み関数f(r)は、学習モデル11の出力結果と教師データ20との誤差(WW-WW)が負となる場合(ウィンドウ幅WWが最適値よりも小さく、コントラストが大きい場合)に、重みwの値が加味されて誤差を相対的に大きく見積もる。重み関数f(r)は、学習モデル11の出力結果と教師データ20との誤差(WW-WW)が正となる場合(ウィンドウ幅WWが最適値よりも大きく、コントラストが小さい場合)には、重みwを加味することなく、誤差の値をそのまま出力する。重みwは、特に限定されないが、たとえば10である。この場合、損失関数Aは、誤差(WW-WW)が正となる場合と比べて、誤差(WW-WW)が負となる場合に誤差を10倍大きく評価する。
 これにより、損失関数Aは、教師データ20に対して輝度調整後画像3の所定領域PAのコントラストが大きくなる場合(誤差(WW-WW)が負となる場合)に、相対的に大きい値を出力することによりコントラストを小さくする方向へ学習を偏らせる。
 次に、図7を参照して、第1実施形態の損失関数Aによる学習の偏りが、学習済みモデル10の出力する輝度調整パラメータ2に与える影響を説明する。図7(A)は、ウィンドウ幅WW(横軸)に対する、損失関数Aの出力値(縦軸)の変化を示したグラフであり、図7(B)は、損失関数Aを用いて最適化された学習済みモデル10が出力するウィンドウ幅WWの予測分布PDを示したグラフである。予測分布PDは、横軸の各ウィンドウ幅WWの値を学習済みモデル10が出力する頻度(確率)を示す。
 比較例として、重み付けを含まない単純な平均二乗誤差による損失関数RMSEを用いたケースを破線で示す。比較例の損失関数RMSEは、下式(2)で表される。
Figure JPOXMLDOC01-appb-M000002
 上式(2)および図7(A)から分かるように、比較例による損失関数RMSEは、誤差の方向(ウィンドウ幅WWの大小)に対して対称的である。そのため、損失関数RMSEを用いて最適化された学習済みモデルの出力結果の予測分布CDは、最適値WWに対して対称的な分布となると考えられる。上記の通り、出力されるウィンドウ幅WWが最適値WWに対し小さい側にずれた場合、所定領域PAに画素値の飽和が発生すると考えられる。比較例による損失関数RMSEを用いて最適化された学習済みモデルでは、出力結果の予測分布CDの対称性から、出力されるウィンドウ幅WWのうち、およそ半数のケースで、所定領域PAに画素値の飽和が発生する可能性がある。
 これに対して、図7において実線で示した損失関数Aは、最適値(WW)で極小値を取りながら、ウィンドウ幅WWが最適値(教師データ20)よりも小さい方向において重み係数wの分だけ大きく見積もられるため、非対称的に偏っている。
 そのため、第1実施形態の損失関数Aを用いて最適化された学習済みモデル10の出力結果の予測分布PDは、最適値WWに対して、コントラストを大きくする方向(ウィンドウ幅WWを小さくする方向)よりも、コントラストを小さくする方向(ウィンドウ幅WWを大きくする方向)に偏った分布となる。
 この結果、予測分布PDから分かるように、第1実施形態の損失関数Aを用いて最適化された学習済みモデル10では、出力されるウィンドウ幅WWが、最適値WWを超えてコントラストを大きくする方向(ウィンドウ幅WWを小さくする方向)へばらつくことが抑制され、所定領域PAに画素値の飽和が発生する可能性が抑制される。
 (画像処理装置)
 次に、図8および図9を参照して、第1実施形態の画像処理装置100について説明する。画像処理装置100は、被写体の写り込んだ放射線画像1に対して、放射線画像1の輝度調整パラメータ2を出力する機械学習による学習済みモデル10を用いて、輝度調整処理を行うように構成されている。すなわち、画像処理装置100は、上記した第1実施形態の輝度調整方法を実行する装置として構成されている。
 図8の例では、画像処理装置100は、被写体の放射線画像1を撮像する撮像システム200の一部として構成されている。撮像システム200は、撮像部210と、制御部220と、画像処理装置100、操作部230と、表示部240とを備える。操作部230は、キーボード、マウスその他の入力装置である。表示部240は、液晶表示装置などの画像表示装置により構成されている。
 撮像部210は、天板211と、X線照射部212と、X線検出部213とを含んでいる。天板211は、被写体SB(人)を支持するように構成されている。X線照射部212は、被写体SBに向けてX線を照射するように構成されている。X線検出部213は、たとえばFPD(Flat Panel Detector)により構成され、X線照射部212から照射され、被写体SBを透過したX線を検出するように構成されている。撮像部210により、被写体の関心領域が写り込んだX線画像(図2参照)が、放射線画像1として取得される。
 制御部220は、撮像部210の撮像動作を制御するように構成されたコンピュータである。制御部220は、天板211、X線照射部212およびX線検出部213を移動させる図示しない移動機構の制御、X線照射部212によるX線照射の制御、撮影条件の設定などの各種制御を行う。
 また、画像処理装置100は、撮像部210、操作部230および表示部240とそれぞれ接続されている。画像処理装置100は、撮像部210のX線検出部213から、X線の検出信号を取得し、取得した検出信号に基づいて放射線画像1を取得する。画像処理装置100は、放射線画像1(図1参照)の輝度調整を行い、輝度調整後画像3(図1参照)を取得する。
 図9に示すように、画像処理装置100は、CPU(Central Processing Unit)、GPU(Graphics Processing Unit)、専用設計されたFPGA(field-programmable gate array)などのプロセッサ110と、ROM、RAM、揮発性または不揮発性記憶装置(HDD、SDD(solid state drive))などの記憶部120と、を備えたコンピュータにより構成されている。画像処理装置100は、所定のソフトウェア(プログラム)が記憶部にインストールされたコンピュータ(パーソナルコンピュータやワークステーション、スーパーコンピュータなど)または複数台のコンピュータからなるコンピュータシステムによって構成されうる。
 第1実施形態では、画像処理装置100は、画像取得部111と、パラメータ取得部112と、調整処理部113と、を備える。画像取得部111と、パラメータ取得部112と、調整処理部113とは、たとえば、プロセッサ110の機能ブロックとして構築されている。すなわち、コンピュータが備えるプロセッサ110が、記憶部120に記憶されたプログラム121を実行することにより、画像取得部111、パラメータ取得部112、調整処理部113として機能する。
 画像取得部111は、放射線画像1を取得するように構成されている。画像取得部111は、たとえば、X線検出部213から取得した検出信号に基づいて、放射線画像1を生成する。画像取得部111は、記憶部120に記憶された放射線画像1を記憶部120から読み出すことにより、または、外部の画像サーバ250からネットワークを介して放射線画像1を受信することにより、放射線画像1を取得しうる。画像取得部111は、取得した放射線画像1を、パラメータ取得部112および調整処理部113へそれぞれ出力する。
 パラメータ取得部112は、記憶部120に記憶された学習済みモデル10を用いて、放射線画像1に対する輝度調整パラメータ2を取得するように構成されている。すなわち、パラメータ取得部112は、画像取得部111から取得した放射線画像1を学習済みモデル10に入力することにより、ウィンドウレベルWLおよびウィンドウ幅WWを含む輝度調整パラメータ2を取得する。パラメータ取得部112は、取得した輝度調整パラメータ2を、調整処理部113へ出力する。
 調整処理部113は、輝度調整パラメータ2に基づいて、放射線画像1を輝度調整して輝度調整後画像3を取得するように構成されている。調整処理部113は、パラメータ取得部112から取得した輝度調整パラメータ2(ウィンドウレベルWL、ウィンドウ幅WW)に基づいてウィンドウ処理を行い、輝度調整後画像3を取得する。調整処理部113は、取得した輝度調整後画像3を表示部240に出力し、記憶部120に記憶させる。また、調整処理部113は、操作部230を介して操作者からの入力操作を受け付ける。調整処理部113は、操作部230を介して、操作者による輝度調整パラメータ2の直接入力を受け付けることができる。輝度調整パラメータ2の入力を受け付けた場合、調整処理部113は、入力された輝度調整パラメータ2に基づいて、輝度調整を行う。
 記憶部120は、被写体の写り込んだ放射線画像1を入力とし、放射線画像1の輝度調整パラメータ2を出力する機械学習による学習済みモデル10を記憶する。すなわち、記憶部120は、図1に示したように、輝度調整パラメータ2に関する損失関数Aの最適化を行う学習により予め作成された学習済みモデル10を記憶する。
 記憶部120は、この他、プロセッサ110が実行するプログラム121、放射線画像1を記憶している。また、記憶部120は、取得された輝度調整後画像3を記憶する。
 画像処理装置100の画像取得部111と、パラメータ取得部112と、調整処理部113とを、プロセッサがソフトウェアを実行することにより実現される機能ブロックとして構築する代わりに、それぞれの処理を行う専用のハードウェアにより構築してもよい。
 (輝度調整処理)
 図10~図12を参照して、画像処理装置100による輝度調整処理を説明する。図10~図12に示した輝度調整処理は、画像処理装置100により、第1実施形態の輝度調整方法を実施するものである。
 図10のステップS11において、たとえば撮像部210により撮像が行われることにより、画像取得部111が、放射線画像1を取得する。ステップS12において、パラメータ取得部112が、記憶部120に記憶された学習済みモデル10により、放射線画像1の輝度調整パラメータ2を取得する処理を行う。第1実施形態では、輝度調整パラメータ2を取得する処理は、図11のステップS21~S23を含む。
 すなわち、第1実施形態の輝度調整方法では、図11に示すように、被写体の撮影部位または撮影目的に関する情報5を取得するステップS21を備える。
 具体的には、図12に示すように、パラメータ取得部112が、操作部230を介した情報入力を受け付けることにより、被写体の撮影部位または撮影目的に関する情報5を取得する。
 撮影部位の情報は、たとえば胸部正面、側面、腹部(腰部)正面、四肢骨部(たとえば膝関節正面、側面、手部)など、どの部位が撮影されたかを示す情報である。撮影目的の情報は、骨折の診断や、特定の疾病の診断などの情報である。たとえば胸部正面の放射線画像において肺組織や心臓組織の状態(腫瘍の有無、気管支や血管走行など)を診察する場合と、図2に示したような腰部の放射線画像1における大腿骨など骨部の状態(骨折、脱臼、骨変形など)を診察する場合とでは、輝度調整パラメータ2の最適値は異なる。
 そこで、第1実施形態では、記憶部120は、これらの撮影部位または撮影目的に関する情報5に応じた複数の学習済みモデル10を予め記憶している。それぞれの学習済みモデル10は、撮影部位や撮影目的に応じた放射線画像1に対して最適な輝度調整パラメータ2を出力するように、学習されている。たとえば胸部正面用の学習済みモデル10では、肺組織や心臓組織の状態を確認するのに最適な輝度調整を行うための教師データ20を用いて、胸部正面の画像用の輝度調整パラメータ2を学習している。記憶部120は、それぞれの学習済みモデル10を、撮影部位または撮影目的に関する情報5と対応付けて記憶している。
 そして、図11のステップS22において、パラメータ取得部112が、撮影部位または撮影目的に関する情報5に基づいて、複数の学習済みモデル10のうちから輝度調整に用いる学習済みモデル10が選択する。これにより、パラメータ取得部112は、撮影部位または撮影目的に応じた学習済みモデル10を取得する。
 ステップS23において、パラメータ取得部112が、選択した学習済みモデル10により、放射線画像1の輝度調整パラメータ2を取得する。このように、第1実施形態の輝度調整方法では、輝度調整パラメータ2を取得するステップにおいて、撮影部位または撮影目的に関する情報5に基づいて、複数の学習済みモデル10のうちから輝度調整に用いる学習済みモデル10が選択される。選択された学習済みモデル10によって、放射線画像1の輝度調整パラメータ2が取得される。
 図10に戻り、ステップS13において、調整処理部113が、取得された輝度調整パラメータ2に基づいて放射線画像1の輝度調整を行う。これにより、調整処理部113は輝度調整後画像3を取得する。ステップS14において、調整処理部113が、取得した輝度調整後画像3を記憶部120に記憶させ、表示部240に出力する。
 以上により、画像処理装置100による第1実施形態の輝度調整方法が実施される。
 (学習済みモデルの製造方法)
 次に、図13~図15を参照して、第1実施形態による学習済みモデルの製造方法を説明する。
 図13に示すように、学習済みモデル10の製造(機械学習)は、画像処理装置100とは別個に設けられた学習データ処理部50により実施されうる。学習データ処理部50は、所定のソフトウェア(プログラム)が記憶部にインストールされたコンピュータ(パーソナルコンピュータやワークステーション、スーパーコンピュータなど)または複数のコンピュータからなるコンピュータシステムによって構成される。
 学習済みモデル10の製造方法は、被写体の写り込んだ放射線画像1を入力とし、放射線画像1の輝度調整パラメータ2を出力する機械学習により学習済みモデルを製造する方法である。学習データ処理部50は、入力画像21および教師パラメータ22を含む教師データ20、損失関数A、学習用の学習モデル11を記憶部に記憶し、機械学習によって学習済みモデル10を製造する。学習データ処理部50は、機械学習を収束させるために必要な複数の教師データ20の学習用データセットを記憶している。
 図14に示すように、ステップS31において、学習データ処理部50は、学習用データセットのうちから、学習を行う教師データ20を取得する。ステップS32において、学習データ処理部50は、教師データ20に含まれる入力画像21を入力として、学習モデル11により入力画像21の輝度調整パラメータ2を取得する。
 ステップS33において、学習データ処理部50は、学習モデル11による輝度調整パラメータ2を用いて、輝度調整パラメータ2に関する損失関数Aの値を取得する。第1実施形態では、学習データ処理部50は、教師データ20に含まれる教師パラメータ22(ウィンドウレベルWL、ウィンドウ幅WW)と、学習モデル11の出力結果としての輝度調整パラメータ2(ウィンドウレベルWL、ウィンドウ幅WW)とに基づき、上式(1)により、損失関数Aの出力値を取得する。
 ステップS34において、学習データ処理部50は、損失関数Aの値が小さくなるように学習モデル11を最適化する。学習データ処理部50は、損失関数Aの出力値を最小にする輝度調整パラメータ2(ウィンドウレベルWL、ウィンドウ幅WW)を出力するための学習モデル11の内部パラメータを学習する。ステップS31~S34により、1つの教師データ20に対する機械学習が行われる。
 ステップS35において、学習データ処理部50は、学習用データセットに、次の(未学習の)教師データ20があるか否かを判断し、次の教師データ20がある場合、ステップS31において次の教師データ20を取得して、機械学習を行う。ステップS35において、学習用データセットに含まれる教師データ20の学習が全て完了した場合(次の教師データ20がない場合)、処理がステップS36に進む。
 ステップS36において、学習データ処理部50は、学習用データセットに含まれる教師データ20の学習が、予め設定された所定回数だけ実施されたか否かを判断する。学習回数が所定回数に達していない場合、学習データ処理部50は、所定回数に達するまでステップS31~S35の処理を繰り返す。そして、学習回数が所定回数に達すると、機械学習が完了し、学習済みモデル10が作成される。学習データ処理部50は、ステップS37において、作成された学習済みモデル10を記憶部に記憶して、処理を終了する。
 このようにして、学習済みモデル10の製造方法が実施される。製造された学習済みモデル10は、たとえばネットワークを介して、画像処理装置100に送信され、記憶部120に記憶される。図12に示したように撮影部位や撮影目的に応じた複数の学習済みモデル10を製造する場合、撮影部位や撮影目的毎に学習用データセットを用意し、撮影部位や撮影目的毎の学習用データセットを用いて、それぞれ図14のステップS31~S37を実行する。これにより、撮影部位や撮影目的に応じた放射線画像1に対して最適な輝度調整パラメータ2を出力するように学習された複数の学習済みモデル10が製造される。
 なお、学習用データセットには、1つの入力画像21に対して各種の画像改変処理が行われることにより作成された複数の入力画像21が含まれ得る。たとえば図15に示すように、入力画像21の回転(A)、反転(B)、アフィン変換などの変形(C)、輝度および/コントラストの変化(D)、拡大または縮小(図示省略)、などの画像改変処理が、パラメータをランダムに変化させて行われる。それぞれの入力画像21に教師パラメータ22が設定され、それぞれ別個の教師データ20として学習用データセットに含められる。その結果、1つの入力画像21から多数の異なる入力画像21を取得することができ、学習を収束させるためのデータ数の拡充が容易に行える。
 また、第1実施形態において、学習済みモデル10の製造方法は、図13において画像処理装置100によって実施されてもよい。この場合、図9に示したように、画像処理装置100の記憶部120は、教師データ20の学習用データセットを記憶し、画像処理装置100のプロセッサ110は、学習部114を機能ブロックとして含む。学習部114により、図14に示したステップS31~S37の各処理が実施される。
 この際、学習部114は、撮像部210から取得した放射線画像1を入力画像21として、新たな教師データ20を作成して、学習済みモデル10の追加学習を行ってもよい。たとえば、パラメータ取得部112により出力された輝度調整パラメータ2を用いて輝度調整した放射線画像1に対して、操作者により、操作部230を介して輝度調整パラメータの入力(手動での再設定)が行われた場合に、その放射線画像1を入力画像21とし、入力された輝度調整パラメータを教師パラメータ22とした教師データ20が作成されてもよい。このようなケースでは、画像処理装置100により自動輝度調整した結果が最適値から外れていたために、操作者によって手動で最適な輝度調整パラメータが設定されたものと考えられる。そのため、手動入力されたパラメータを教師パラメータ22とした教師データ20を用いて学習済みモデル10の追加学習を行うことにより、輝度調整処理の更なる最適化を図ることができる。
 なお、学習済みモデル10の追加学習は、画像処理装置100とネットワーク接続された学習データ処理部50において行ってもよい。この場合、画像処理装置100は、放射線画像1から作成した教師データ20を、学習データ処理部50に送信し、学習データ処理部50において学習済みモデル10の追加学習を行いうる。
 (第1実施形態の効果)
 第1実施形態では、以下のような効果を得ることができる。
 第1実施形態による学習済みモデル10の製造方法、輝度調整方法および画像処理装置100では、上記のように、教師データ20に対して輝度調整後画像3の所定領域PAのコントラストが大きくなる場合に、損失関数Aが相対的に大きい値を出力する。その結果、その損失関数Aによって機械学習した学習済みモデル10では、放射線画像1に対して出力する輝度調整パラメータ2の予測分布PDを、最適値WWに対してコントラストを小さくする方向に偏らせることができる。このため、最適値WWを出力するように学習させた学習済みモデル10であっても、最適値WWを超えて大きなコントラストとなるように輝度調整パラメータ2を出力することが抑制されるので、輝度調整後画像3の所定領域PAに白飛びまたは黒つぶれ(画素値の飽和)が発生することを抑制できる。以上により、機械学習による学習済みモデル10を用いた輝度調整において、画像中の被写体などの診断に関わる領域(所定領域PA)で白飛びまたは黒つぶれが発生することを抑制することができる。
 なお、輝度調整パラメータ2の予測分布PDを、最適値WWに対してコントラストを小さくする方向に偏らせるには、たとえば教師データ20における教師パラメータ22を、最適値WWに対してコントラストを小さくする方向に偏らせることも考えられる。しかし、この場合、予測分布PDのピークが最適値WWから外れて、単純に最適値WWよりもコントラストを小さくした輝度調整パラメータ2が出力されるように学習される。これに対して、第1実施形態では、教師パラメータ22を最適値WWとして誤差を偏らせるので、損失関数Aの最小値は最適値WWのままであり、予測分布PDのピークを最適値WWに極力一致させるように学習させることができる。
 また、第1実施形態では、上記のように、損失関数Aは、輝度調整後画像3の所定領域PAにおいて画素値の飽和により白飛びまたは黒つぶれが発生する場合に、所定領域PAにおいて画素値の飽和が発生しない場合よりも相対的に大きい値が出力されるように構成されている。これにより、所定領域PAにおいて白飛びまたは黒つぶれが発生する場合に、損失関数Aの値が大きくなるので、所定領域PAのける白飛びまたは黒つぶれの発生を抑制するように偏って学習された学習済みモデル10を得ることができる。
 また、第1実施形態では、上記のように、損失関数Aは、教師データ20に対して輝度調整後画像3のコントラストが小さくなる場合よりも、教師データ20に対して輝度調整後画像3のコントラストが大きくなる場合に、大きい重み付けがされた重み関数f(r)を含む。これにより、重み関数によって、損失関数Aの値を容易に偏らせることができる。
 また、第1実施形態では、上記のように、損失関数Aは、教師データ20に含まれる教師パラメータ22と、教師データ20に含まれる入力画像21に対する輝度調整パラメータ2との誤差に基づく関数である。これにより、教師パラメータ22と輝度調整パラメータ2との誤差に基づく損失関数Aであっても、誤差が最適値WWに対して対称的に評価されることを抑制し、最適値WWに対してコントラストが大きくなる場合に損失関数Aの値を相対的に大きくすることができるので、効果的に、所定領域PAでの画素値の飽和の発生を抑制することができる。
 また、第1実施形態では、上記のように、所定領域PAは、被写体が写り込む領域の少なくとも一部を含む。これにより、学習済みモデル10により出力される輝度調整パラメータ2を用いて、確実に、被写体が写り込む領域で白飛びまたは黒つぶれが発生することを抑制することができる。
 また、第1実施形態では、上記のように、輝度調整パラメータ2は、放射線画像1において輝度調整後画像3に変換する画素値範囲の中央値を規定するウィンドウレベルWLと、画素値範囲の大きさを規定するウィンドウ幅WWと、を含む。これにより、ウィンドウ幅WWの値によって、所定領域PAの画素値のコントラストの大小を調整することができる。そのため、多数のパラメータがコントラストに影響する場合と比べて、損失関数Aによるコントラストの評価を容易に行うことができる。
 また、第1実施形態では、上記のように、被写体の撮影部位または撮影目的に関する情報5を取得するステップをさらに備え、輝度調整パラメータ2を取得するステップにおいて、撮影部位または撮影目的に関する情報5に基づいて、複数の学習済みモデル10のうちから輝度調整に用いる学習済みモデル10を選択する。このように撮影部位または撮影目的に応じて別個に学習させた複数の学習済みモデル10を用意し、撮影部位または撮影目的に関する情報5に基づいて学習済みモデル10の選択を行うことによって、撮影部位または撮影目的に応じた最適な輝度調整を行うことができる。
 (第2実施形態)
 次に、図16~図18を参照して、第2実施形態による学習済みモデルの製造方法および輝度調整方法について説明する。第2実施形態では、損失関数Aを、教師パラメータ22と輝度調整パラメータ2との誤差に基づく関数として上記第1実施形態とは異なり、教師データ20と輝度調整後画像3との比較に基づく関数とする例について説明する。第2実施形態において、上記第1実施形態と同様の構成については、同一の符号を用いるとともに説明を省略する。
 図16に示すように、第2実施形態では、学習済みモデル10は、輝度調整パラメータ2に関する損失関数Bの最適化を行う学習により作成されている。損失関数Bは、教師データ20に含まれる教師画像23の画素値と、教師データ20に含まれる入力画像21を輝度調整パラメータ2に基づいて輝度調整した輝度調整後画像3の画素値との比較に基づく関数である。
 具体的には、第2実施形態では、機械学習において、教師データ20に含まれる入力画像21を入力として、学習中の学習モデル11により出力された輝度調整パラメータ2に基づいて、輝度調整後画像3が取得される。また、教師データ20に含まれる入力画像21と、教師パラメータ22とに基づいて、輝度調整された教師画像23が取得される。輝度調整後画像3と教師画像23とは、教師データ20に含まれる同一の入力画像21に対してそれぞれ輝度調整を行った画像である。教師画像23は、輝度調整パラメータの最適値に基づいて輝度調整された機械学習の正解画像となる。
 そして、損失関数Bは、両画像の同一画素における、教師画像23の画素値と、輝度調整後画像3の画素値との比較に基づく関数として構成される。これにより、第2実施形態では、輝度調整パラメータ2によって実際に輝度調整が行われた結果の画像に基づいて、学習モデル11の出力結果と教師データ20との差異が評価される。
 たとえば、損失関数Bは、輝度調整後画像3と教師画像23との対応画素の画素値の差分に基づく関数である。具体的には、下式(3)に示すように、輝度調整後画像3と教師画像23との対応画素の画素値の差分に、重みを積算した平均二乗誤差である。
Figure JPOXMLDOC01-appb-M000003
 ここで、x、yは、それぞれ画像(輝度調整後画像3、教師画像23)の座標である。k(x,y)は、各座標(x,y)における重みである。I(x,y)は、輝度調整後画像3の座標(x,y)における画素値であり、I(x,y)は、教師画像23の座標(x,y)における画素値である。f(r)が、重み関数である。wは、重みの値(w>1)である。Imaxは、画素値の最大値(=255)である。
 損失関数Bは、第1実施形態と同様、教師データ20に対して輝度調整後画像3のコントラストが小さくなる場合(I(x,y)=0、Imax以外の時)よりも、教師データ20に対して輝度調整後画像3のコントラストが大きくなる場合(I(x,y)=0またはImaxのとき)に、大きい重み付けがされた重み関数を含む。
 すなわち、ウィンドウ幅WWが最適値WWよりも小さくなる場合(コントラストが大きくなる場合)、所定領域PAにおいて画素値Iが飽和する画素が生じる。つまり、最適画素値Iが0<I<Imaxとなる画素において、画素値I(x,y)が最低値0(黒つぶれ)または最大値Imax(白飛び)となる。その場合、損失関数Bは、誤差(I―I)に重みwが積算されることにより、誤差を相対的に大きく見積もる。これにより、第2実施形態の損失関数Bは、教師データ20に対して輝度調整後画像3の所定領域PAのコントラストが大きくなる場合(I(x,y)=0またはImaxのとき)に、相対的に大きい値を出力することによりコントラストを小さくする方向へ学習を偏らせる。ウィンドウ幅WWが最適値WWよりも大きくなる場合(コントラストが小さくなる場合)、所定領域PAにおいて画素値Iが飽和する画素が生じないと考えられるため、重みwが積算されることなく、損失関数Bは誤差を相対的に小さく見積もる。
 さらに、第2実施形態では、損失関数Bは、画像中の画素(位置座標)毎に設定された重みk(x,y)を含みうる。そのため、第2実施形態では、画像中の領域毎に、異なる重みkが設定されうる。たとえば、第2実施形態では、図17に示すように、損失関数Bは、重みkにより、画像中の所定領域PAにおいて画素値の飽和が発生する場合に、所定領域PA以外の領域PBにおいて画素値の飽和が発生する場合よりも大きい値が出力されるように構成されている。これにより、所定領域PAにおいて、教師データ20(教師画像23)に対して輝度調整後画像3のコントラストが大きくなる場合(画素値の飽和が発生する場合)に、損失関数Bの値が相対的に大きく見積もられ、コントラストを抑制して画素値の飽和の発生を抑制する方向に強く学習が行われる。一方、所定領域PA以外の領域PBにおいて、教師データ20(教師画像23)に対して輝度調整後画像3のコントラストが大きくなる場合(画素値の飽和が発生する場合)は、損失関数Bの値が相対的に小さく見積もられ、必要以上にコントラストを抑制しないように学習が行われる。
 このように画像中の画素(位置座標)毎に重みkを設定するために、第2実施形態の教師データ20には、図16に示すように、所定領域PAの位置情報24aと損失関数Bの偏り情報24bとが含まれている。位置情報24aは、画像中の位置座標の情報である。偏り情報24bは、重みkの設定値である。
 具体的には、教師データ20は、入力画像21における位置情報24aと偏り情報24bとを含む重みマップ24を含んでいる。重みマップ24は、入力画像21において共通の重みkを適用する領域を位置情報24aとして含む。重みマップ24は、入力画像21において位置情報24aとして区画された領域に適用する重みkの値を偏り情報24bとして含む。
 位置情報24aは、たとえば図17(B)に示すように、入力画像21を、被写体SBが写り込む領域61と背景領域62とに区画するように設定されうる。この場合、偏り情報24bは、位置情報24aに応じて、被写体SBが写り込む領域61と背景領域62とに対してそれぞれ異なる重みkの値を含む。図17(B)の例では、被写体SBが写り込む領域が所定領域PAである。被写体SBが写り込む領域61の重みkは、背景領域62の重みよりも高くなるように設定される。領域61は重みk=10とし、背景領域62は重みなし(k=1)として設定されうる。
 位置情報24aは、たとえば図17(C)に示すように、被写体SBが写り込む領域61の内部をさらに区分するように設定されうる。すなわち、被写体SBが写り込む領域61のうちでも、診断に関わる重要度の高い領域と、相対的に重要度の低い領域とを区分し得る。また、被写体の解剖学的構造などの形態的な条件に応じて、被写体の部位毎に画素値の飽和のし易さが異なる場合がある。その場合、位置情報24aが、被写体SBが写り込む領域61の内部を複数の部分領域に区分して設定され、偏り情報24b(重みk)が、それぞれの部分領域毎に設定されうる。図17(C)の例では、被写体の腰部の解剖学的構造に応じて、大腿骨頸部61a、大転子61b、骨幹部61c、ward三角61dの各部分領域に、それぞれ同一または異なる重みkを設定する例を示す。
 重みマップ24により、入力画像21の任意の位置座標の画素p(x,y)について、その画素pが属する領域に設定された重みk(x,y)が取得される。これにより、損失関数Bは、教師データ20に含まれる所定領域PAの位置情報24aと損失関数Bの偏り情報24bとに基づいて、入力画像21における位置毎に偏りの大きさが設定されている。
 この結果、損失関数Bは、画像中の所定領域PAにおいて画素値の飽和が発生する場合に、所定領域PA以外の領域において画素値の飽和が発生する場合よりも大きい値が出力されるように構成されている。
 第2実施形態の損失関数Bによる学習の偏りが、学習済みモデル10の出力する輝度調整パラメータ2に与える影響を説明する。
 図18は、ウィンドウ幅WWに対する、損失関数Bの出力値の変化と、損失関数Bを用いて最適化された学習済みモデル10が出力するウィンドウ幅WWの予測分布PDを示したグラフである。
 比較例として、重み付けを行わずに、輝度調整後画像3と教師画像23との対応画素の画素値の平均二乗誤差による損失関数RMSEを用いたケースを破線で示す。比較例の損失関数RMSEは、下式(4)で表される。
Figure JPOXMLDOC01-appb-M000004
 上式(4)において、比較例による損失関数RMSEでは、輝度調整後画像において白飛びまたは黒つぶれ(画素値の飽和)が発生していると、その領域の画素値が飽和している分だけ過小評価されることになる。つまり、図18(A)に示すように、ウィンドウ幅WWが最適値WWよりも小さく、画素値の飽和が発生している場合の損失関数の出力値は、ウィンドウ幅WWが最適値WWよりも大きく、画素値の飽和が発生していない場合の損失関数の出力値よりも相対的に小さくなる。そのため、図18(B)に示すように、損失関数RMSEを用いて最適化された学習済みモデルの出力結果の予測分布CDは、最適値WWに対して白飛びまたは黒つぶれ(画素値の飽和)が発生する方向(ウィンドウ幅WWを小さくする方向)に偏った非対称的な分布となると考えられる。比較例による損失関数RMSEを用いて最適化された学習済みモデルでは、出力されるウィンドウ幅WWのうち、半数以上のケースで、所定領域PAに画素値の飽和が発生する可能性がある。
 これに対して、図18において実線で示した損失関数Bは、輝度調整後画像において白飛びまたは黒つぶれ(画素値の飽和)が発生している(I=0またはImax)と、その領域の画素値の誤差に重みwが積算されて誤差が相対的に大きく見積もられる。白飛びまたは黒つぶれ(画素値の飽和)が発生していない(0<I<Imax)場合、重みwが積算されずに、その領域の画素値の誤差が相対的に小さく見積もられる。なお、最適画素値Iおよび画素値Iが共に0またはImaxである画素については、計算上重みwが積算されるが、誤差が0になるので、損失関数Bには影響しない。そのため、第1実施形態の損失関数Bを用いて最適化された学習済みモデル10の出力結果の予測分布PDは、最適値WWに対して、画素値が飽和しやすくコントラストを大きくする方向(ウィンドウ幅WWを小さくする方向)には小さく、コントラストを小さくする方向(ウィンドウ幅WWを大きくする方向)に大きくなるように偏った分布となる。
 この結果、予測分布PDから分かるように、第1実施形態の損失関数Bを用いて最適化された学習済みモデル10では、出力されるウィンドウ幅WWが、最適値WWを超えてコントラストを大きくする方向(ウィンドウ幅WWを小さくする方向)へばらつくことが抑制され、所定領域PAに画素値の飽和が発生する可能性が抑制される。
 なお、第2実施形態のその他の構成については、上記第1実施形態と同様である。第2実施形態では、学習済みモデル10の製造方法、輝度調整方法および画像処理装置100について、損失関数Bが上記第1実施形態と異なる点を除いて同様であるので、説明を省略する。
(第2実施形態の効果)
 第2実施形態では、以下のような効果を得ることができる。
 第2実施形態では、上記第1実施形態と同様に、機械学習による学習済みモデル10を用いた輝度調整において、画像中の被写体などの診断に関わる領域(所定領域PA)で白飛びまたは黒つぶれが発生することを抑制することができる。
 また、第2実施形態では、上記のように、損失関数Bは、教師データ20に含まれる教師画像23の画素値と、教師データ20に含まれる入力画像21を輝度調整パラメータ2に基づいて輝度調整した輝度調整後画像3の画素値との比較に基づく関数である。これにより、教師画像23と輝度調整後画像3と画素値の比較に基づく損失関数Bであっても、最適値に対してコントラストが大きくなる場合に損失関数Bの値を相対的に大きくし、画素の飽和に起因して誤差が過小評価されることを抑制できるので、効果的に、所定領域PAでの画素値の飽和の発生を抑制することができる。
 また、第2実施形態では、上記のように、損失関数Bは、画像中の所定領域PAにおいて画素値の飽和が発生する場合に、所定領域PA以外の領域において画素値の飽和が発生する場合よりも大きい値が出力されるように構成されている。これにより、所定領域PAでの画素値の飽和の発生を抑制しつつ、重要度の低い所定領域PA以外の領域PBにおける誤差によって学習が影響を受けることを抑制することができる。
 また、第2実施形態では、上記のように、損失関数Bは、教師データ20に含まれる所定領域PAの位置情報24aと損失関数Bの偏り情報24bとに基づいて、入力画像21における位置毎に偏りの大きさが設定されている。これにより、所定領域PAの位置情報24aに基づいて、所定領域PAと所定領域PA以外の領域PBとを区別し、損失関数Bの偏り情報24bに基づいて、所定領域PAと所定領域PA以外の領域PBとでの損失関数Bの偏りの大小関係を特定することができるので、容易に、画像中の領域に応じて損失関数Bの偏りの大きさ(重みk)を異ならせる事ができる。
 第2実施形態のその他の効果は、上記第1実施形態と同様である。
 (変形例)
 なお、今回開示された実施形態は、すべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は、上記した実施形態の説明ではなく、特許請求の範囲によって示され、さらに特許請求の範囲と均等の意味および範囲内でのすべての変更(変形例)が含まれる。
 たとえば、上記第1および第2実施形態では、損失関数の例として、平均二乗誤差による損失関数Aおよび損失関数Bを示したが、本発明はこれに限られない。本発明では、平均二乗誤差以外の関数によって、損失関数が構成されていてもよい。たとえば上記第2実施形態の損失関数Bとして、PSNR(Peak signal-to-noise ratio)やSSIM(Structural SIMilarity)などの関数を用いてもよい。ただし、たとえばSSIMは、画像間の類似度を評価できるが、画像の位置ずれなどの輝度調整とは無関係な構造的な要素も評価する指標であるため、単純に画像間の画素値(輝度)のみを評価する平均二乗誤差の方が、輝度調整のための学習モデルに用いる損失関数としては適している。
 また、上記第1および第2実施形態では、教師データ20に対して所定領域PAのコントラストが大きくなる場合に大きい重みw(>1)をかける例を示したが、本発明はこれに限られない。教師データ20に対して所定領域PAのコントラストが小さくなる場合に小さい重みw(<1)をかけることにより、所定領域PAのコントラストが大きくなる場合の出力値が相対的に大きくなるようにしてもよい。
 また、上記第1および第2実施形態では、所定領域PAが、被写体が写り込む領域の少なくとも一部を含む例を示したが、本発明はこれに限られない。所定領域PAは、放射線画像1の用途に応じて設定されればよく、被写体が写り込む領域以外の領域であってもよい。
 また、上記第1および第2実施形態では、損失関数に重み関数f(r)を含めることにより、損失関数の出力値を偏らせる例を示したが、本発明はこれに限られない。たとえば、教師データ20に対して所定領域PAのコントラストが大きくなる場合と、教師データ20に対して所定領域PAのコントラストが小さくなる場合とで、それぞれ異なる損失関数を適用することにより、損失関数の出力値を偏らせてもよい。
 また、上記第2実施形態では、重みマップ24を用いて、所定領域PAと所定領域PA以外の領域PA以外とで重みkを異ならせた例を示したが、本発明はこれに限られない。本発明では、領域毎に異なる重みkを設定しなくてもよい。損失関数Bにおいて、重みkを含めなくてもよい。この場合、教師データ20が重みマップ24を含む必要はない。
 また、上記第2実施形態では、教師データ20に含まれる教師パラメータ22に基づいて教師画像23が取得される例を示したが、本発明はこれに限られない。本発明では、教師データ20に教師画像23を含めてもよい。この場合、必ずしも教師データ20が教師パラメータ22を含まなくてもよい。
 また、上記第1および第2実施形態では、撮影部位または撮影目的に関する情報5を取得して、複数の学習済みモデル10の内から輝度調整に用いる学習済みモデル10を選択する例を示したが本発明はこれに限られない。本発明では、撮影部位または撮影目的に関する情報5を取得しなくてもよい。つまり、学習済みモデル10を選択しなくてもよい。
 なお、撮影部位または撮影目的に関する情報5の取得は、操作部230を用いる方法に限らず、たとえば入力された放射線画像1に対する画像認識により、撮影部位または撮影目的に関する情報5を取得してもよい。
 また、上記第1および第2実施形態では、輝度調整パラメータ2がウィンドウレベルWLとウィンドウ幅WWとを含む例を示したが、本発明はこれに限られない。たとえば、ウィンドウ幅WWに代えて、輝度調整パラメータ2がウィンドウ幅の上限値VHと下限値VLとを含んでいてもよい。
 1 放射線画像
 2 輝度調整パラメータ
 3 輝度調整後画像
 5 撮影部位または撮影目的に関する情報
 10 学習済みモデル
 11 学習モデル
 20 教師データ
 21 入力画像
 22 教師パラメータ
 23 教師画像
 24a 位置情報
 24b 偏り情報
 100 画像処理装置
 111 画像取得部
 112 パラメータ取得部
 113 調整処理部
 120 記憶部
 A、B 損失関数
 PA 所定領域
 PB 所定領域以外の領域
 WL ウィンドウレベル
 WW ウィンドウ幅
 f(r) 重み関数

Claims (12)

  1.  被写体の写り込んだ放射線画像を入力とし、前記放射線画像の輝度調整パラメータを出力する機械学習による学習済みモデルの製造方法であって、
     教師データに含まれる入力画像を入力として、学習モデルにより前記入力画像の前記輝度調整パラメータを出力するステップと、
     前記学習モデルによる前記輝度調整パラメータを用いて、前記輝度調整パラメータに関する損失関数の値を取得するステップと、
     前記損失関数の値が小さくなるように前記学習モデルを最適化するステップと、を備え、
     前記損失関数は、前記教師データに対して、前記輝度調整パラメータに基づいて輝度調整した輝度調整後画像の所定領域のコントラストが小さくなる場合よりも、前記教師データに対して前記輝度調整後画像の所定領域のコントラストが大きくなる場合に、相対的に大きい値を出力することによりコントラストを小さくする方向へ学習を偏らせるように構成されている、学習済みモデルの製造方法。
  2.  前記損失関数は、前記輝度調整後画像の前記所定領域において画素値の飽和により白飛びまたは黒つぶれが発生する場合に、前記所定領域において画素値の飽和が発生しない場合よりも相対的に大きい値が出力されるように構成されている、請求項1に記載の学習済みモデルの製造方法。
  3.  前記損失関数は、前記教師データに対して前記輝度調整後画像のコントラストが小さくなる場合よりも、前記教師データに対して前記輝度調整後画像のコントラストが大きくなる場合に、大きい重み付けがされた重み関数を含む、請求項1に記載の学習済みモデルの製造方法。
  4.  前記損失関数は、前記教師データに含まれる教師パラメータと、前記教師データに含まれる前記入力画像に対する前記輝度調整パラメータとの誤差に基づく関数である、請求項1に記載の学習済みモデルの製造方法。
  5.  前記損失関数は、前記教師データに含まれる教師画像の画素値と、前記教師データに含まれる前記入力画像を前記輝度調整パラメータに基づいて輝度調整した前記輝度調整後画像の画素値との比較に基づく関数である、請求項1に記載の学習済みモデルの製造方法。
  6.  前記損失関数は、画像中の前記所定領域において画素値の飽和が発生する場合に、前記所定領域以外の領域において画素値の飽和が発生する場合よりも大きい値が出力されるように構成されている、請求項5に記載の学習済みモデルの製造方法。
  7.  前記損失関数は、前記教師データに含まれる前記所定領域の位置情報と前記損失関数の偏り情報とに基づいて、前記入力画像における位置毎に偏りの大きさが設定されている、請求項6に記載の学習済みモデルの製造方法。
  8.  前記所定領域は、前記被写体が写り込む領域の少なくとも一部を含む、請求項1に記載の学習済みモデルの製造方法。
  9.  前記輝度調整パラメータは、前記放射線画像において前記輝度調整後画像に変換する画素値範囲の中央値を規定するウィンドウレベルと、前記画素値範囲の大きさを規定するウィンドウ幅と、を含む、請求項1に記載の学習済みモデルの製造方法。
  10.  被写体の写り込んだ放射線画像を入力とし、前記放射線画像の輝度調整パラメータを出力する機械学習を用いた輝度調整方法であって、
     前記放射線画像を取得するステップと、
     機械学習による学習済みモデルを用いて、前記放射線画像に対する前記輝度調整パラメータを取得するステップと、
     前記輝度調整パラメータに基づいて、前記放射線画像を輝度調整して輝度調整後画像を取得するステップと、を備え、
     前記学習済みモデルは、前記輝度調整パラメータに関する損失関数の最適化を行う学習により作成され、
     前記損失関数は、機械学習の教師データに対して前記輝度調整後画像の所定領域のコントラストが小さくなる場合よりも、前記教師データに対して前記輝度調整後画像の所定領域のコントラストが大きくなる場合に、相対的に大きい値を出力することによりコントラストを小さくする方向へ学習を偏らせるように構成されている、輝度調整方法。
  11.  前記被写体の撮影部位または撮影目的に関する情報を取得するステップをさらに備え、
     前記輝度調整パラメータを取得するステップにおいて、前記撮影部位または撮影目的に関する情報に基づいて、複数の前記学習済みモデルのうちから前記輝度調整に用いる前記学習済みモデルを選択する、請求項10に記載の輝度調整方法。
  12.  放射線画像を取得する画像取得部と、
     被写体の写り込んだ放射線画像を入力とし、前記放射線画像の輝度調整パラメータを出力する機械学習による学習済みモデルを記憶する記憶部と、
     前記学習済みモデルを用いて、前記放射線画像に対する前記輝度調整パラメータを取得するパラメータ取得部と、
     前記輝度調整パラメータに基づいて、前記放射線画像を輝度調整して輝度調整後画像を取得する調整処理部と、を備え、
     前記学習済みモデルは、前記輝度調整パラメータに関する損失関数の最適化を行う学習により作成され、
     前記損失関数は、機械学習の教師データに対して前記輝度調整後画像の所定領域のコントラストが小さくなる場合よりも、前記教師データに対して前記輝度調整後画像の所定領域のコントラストが大きくなる場合に、相対的に大きい値を出力することによりコントラストを小さくする方向へ学習を偏らせるように構成されている、画像処理装置。
PCT/JP2018/037075 2018-10-03 2018-10-03 学習済みモデルの製造方法、輝度調整方法および画像処理装置 WO2020070834A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
US17/282,229 US20210350513A1 (en) 2018-10-03 2018-10-03 Production method of learned model, brightness adjustment method, and image processing apparatus
PCT/JP2018/037075 WO2020070834A1 (ja) 2018-10-03 2018-10-03 学習済みモデルの製造方法、輝度調整方法および画像処理装置
CN201880098416.8A CN112804943B (zh) 2018-10-03 2018-10-03 学习完成模型的制作方法、亮度调整方法以及图像处理装置
JP2020551014A JP7081680B2 (ja) 2018-10-03 2018-10-03 学習済みモデルの製造方法、輝度調整方法および画像処理装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2018/037075 WO2020070834A1 (ja) 2018-10-03 2018-10-03 学習済みモデルの製造方法、輝度調整方法および画像処理装置

Publications (1)

Publication Number Publication Date
WO2020070834A1 true WO2020070834A1 (ja) 2020-04-09

Family

ID=70055145

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/037075 WO2020070834A1 (ja) 2018-10-03 2018-10-03 学習済みモデルの製造方法、輝度調整方法および画像処理装置

Country Status (4)

Country Link
US (1) US20210350513A1 (ja)
JP (1) JP7081680B2 (ja)
CN (1) CN112804943B (ja)
WO (1) WO2020070834A1 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021180698A (ja) * 2020-05-18 2021-11-25 コニカミノルタ株式会社 放射線画像処理装置、プログラム及び放射線画像処理方法
JP2022063250A (ja) * 2020-10-09 2022-04-21 ネイバー コーポレーション SuperLoss:堅牢なカリキュラム学習のための一般的な損失
JP2023500753A (ja) * 2020-09-30 2023-01-11 グーグル エルエルシー 同じグループ内の異種サブグループ間でのロバストなモデル性能
WO2023100656A1 (ja) * 2021-12-01 2023-06-08 株式会社村田製作所 機械学習装置および推定装置

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109584175B (zh) * 2018-11-21 2020-08-14 浙江大华技术股份有限公司 一种图像处理方法及装置
CN116664431B (zh) * 2023-05-30 2024-04-12 新疆美特智能安全工程股份有限公司 一种基于人工智能的图像处理***及方法
CN116593408B (zh) * 2023-07-19 2023-10-17 四川亿欣新材料有限公司 一种重质碳酸钙粉体色度检测方法
CN116757971B (zh) * 2023-08-21 2024-05-14 深圳高迪数码有限公司 一种基于周围光的图像自动调整方法
CN117893455B (zh) * 2024-03-11 2024-06-04 杭州海康威视数字技术股份有限公司 图像亮度和对比度调整方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0561973A (ja) * 1991-08-30 1993-03-12 Shimadzu Corp 医療用画像表示装置
US20070133880A1 (en) * 2005-12-09 2007-06-14 Microsoft Corporation Background Removal In A Live Video
JP2018033745A (ja) * 2016-08-31 2018-03-08 富士フイルム株式会社 画像処理装置、方法およびプログラム

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE10213284B4 (de) * 2002-03-25 2007-11-08 Siemens Ag Verfahren zur Bilddarstellung in der medizinischen Bildgebung
US7614378B2 (en) 2007-03-27 2009-11-10 Denso International America, Inc. Flexible seal and molded rigid chamber
CN106255462A (zh) * 2014-05-16 2016-12-21 株式会社日立制作所 图像诊断装置及灰度信息设定方法
GB201410635D0 (en) * 2014-06-13 2014-07-30 Univ Bangor Improvements in and relating to the display of images
CN107169974A (zh) * 2017-05-26 2017-09-15 中国科学技术大学 一种基于多监督全卷积神经网络的图像分割方法
CN107563542A (zh) * 2017-08-02 2018-01-09 阿里巴巴集团控股有限公司 数据预测方法及装置和电子设备
CN107590786A (zh) * 2017-09-08 2018-01-16 深圳市唯特视科技有限公司 一种基于对抗学习网络的图像增强方法
CN108090871B (zh) * 2017-12-15 2020-05-08 厦门大学 一种基于卷积神经网络的多对比度磁共振图像重建方法
US11880962B2 (en) * 2018-02-15 2024-01-23 General Electric Company System and method for synthesizing magnetic resonance images
CN108447036A (zh) * 2018-03-23 2018-08-24 北京大学 一种基于卷积神经网络的低光照图像增强方法
CN108537794B (zh) * 2018-04-19 2021-09-21 上海联影医疗科技股份有限公司 医学图像数据处理方法、装置和计算机可读存储介质
CN110570358A (zh) * 2018-09-04 2019-12-13 阿里巴巴集团控股有限公司 基于gan网络的车损图像增强方法和装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0561973A (ja) * 1991-08-30 1993-03-12 Shimadzu Corp 医療用画像表示装置
US20070133880A1 (en) * 2005-12-09 2007-06-14 Microsoft Corporation Background Removal In A Live Video
JP2018033745A (ja) * 2016-08-31 2018-03-08 富士フイルム株式会社 画像処理装置、方法およびプログラム

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021180698A (ja) * 2020-05-18 2021-11-25 コニカミノルタ株式会社 放射線画像処理装置、プログラム及び放射線画像処理方法
JP7439640B2 (ja) 2020-05-18 2024-02-28 コニカミノルタ株式会社 放射線画像処理装置、プログラム及び放射線画像処理方法
JP2023500753A (ja) * 2020-09-30 2023-01-11 グーグル エルエルシー 同じグループ内の異種サブグループ間でのロバストなモデル性能
JP7230231B2 (ja) 2020-09-30 2023-02-28 グーグル エルエルシー 同じグループ内の異種サブグループ間でのロバストなモデル性能
JP2022063250A (ja) * 2020-10-09 2022-04-21 ネイバー コーポレーション SuperLoss:堅牢なカリキュラム学習のための一般的な損失
JP7345530B2 (ja) 2020-10-09 2023-09-15 ネイバー コーポレーション SuperLoss:堅牢なカリキュラム学習のための一般的な損失
WO2023100656A1 (ja) * 2021-12-01 2023-06-08 株式会社村田製作所 機械学習装置および推定装置

Also Published As

Publication number Publication date
CN112804943A (zh) 2021-05-14
CN112804943B (zh) 2023-09-26
JPWO2020070834A1 (ja) 2021-09-02
US20210350513A1 (en) 2021-11-11
JP7081680B2 (ja) 2022-06-07

Similar Documents

Publication Publication Date Title
WO2020070834A1 (ja) 学習済みモデルの製造方法、輝度調整方法および画像処理装置
US20100329533A1 (en) Image processing method and image processing apparatus
US20100266188A1 (en) Chest x-ray registration, subtraction and display
US8588485B2 (en) Rendering for improved diagnostic image consistency
JP7115114B2 (ja) X線画像物体認識システム
KR102414601B1 (ko) 기계학습 기반 고관절 골절 진단을 위한 골밀도 도출 방법 및 이를 이용한 골밀도 도출 프로그램
US20230169666A1 (en) Methods and systems for image registration
US11406340B2 (en) Method for converting tone of chest X-ray image, storage medium, image tone conversion apparatus, server apparatus, and conversion method
JP6678541B2 (ja) 画像処理装置、方法およびプログラム
CN104091309A (zh) 一种平板x射线图像的均衡显示方法及***
US20210027430A1 (en) Image processing apparatus, image processing method, and x-ray ct apparatus
US7680352B2 (en) Processing method, image processing system and computer program
WO2022045210A1 (ja) 画像処理装置、画像処理方法、学習装置、学習方法、及びプログラム
JP6083990B2 (ja) 放射線撮影装置、その制御方法及びプログラム
US10089728B2 (en) Radiation-image processing device and method
CN108618797A (zh) 光谱ct图像数据的对比度增强再现
JP2004030596A (ja) 画像階調変換方法、画像階調変換装置、システム、プログラム及び記憶媒体
JP6926856B2 (ja) 放射線画像処理装置、プログラム及び放射線画像処理方法
JP4571378B2 (ja) 画像処理方法および装置並びにプログラム
US20220414832A1 (en) X-ray imaging restoration using deep learning algorithms
US8116545B2 (en) Method and system for analysis of bone density
US8121381B2 (en) X-ray image processing apparatus and method
JP2018149166A (ja) 放射線画像処理装置
JP2017000675A (ja) 医用画像処理装置及びx線撮像装置
US10475180B2 (en) Radiation-image processing device and method

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18936011

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2020551014

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 18936011

Country of ref document: EP

Kind code of ref document: A1