JP7188450B2 - X-ray imaging device - Google Patents
X-ray imaging device Download PDFInfo
- Publication number
- JP7188450B2 JP7188450B2 JP2020556372A JP2020556372A JP7188450B2 JP 7188450 B2 JP7188450 B2 JP 7188450B2 JP 2020556372 A JP2020556372 A JP 2020556372A JP 2020556372 A JP2020556372 A JP 2020556372A JP 7188450 B2 JP7188450 B2 JP 7188450B2
- Authority
- JP
- Japan
- Prior art keywords
- subject
- bone region
- image
- machine learning
- bone
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003384 imaging method Methods 0.000 title claims description 32
- 210000000988 bone and bone Anatomy 0.000 claims description 229
- 238000010801 machine learning Methods 0.000 claims description 123
- 238000000605 extraction Methods 0.000 claims description 34
- 238000001514 detection method Methods 0.000 claims description 23
- 238000012545 processing Methods 0.000 claims description 22
- 230000005484 gravity Effects 0.000 claims description 20
- 238000013135 deep learning Methods 0.000 claims description 18
- 239000000284 extract Substances 0.000 claims description 17
- 210000000689 upper leg Anatomy 0.000 claims description 11
- 230000037182 bone density Effects 0.000 description 17
- 238000001739 density measurement Methods 0.000 description 9
- 238000010586 diagram Methods 0.000 description 8
- 238000000034 method Methods 0.000 description 7
- 238000012937 correction Methods 0.000 description 6
- 230000006870 function Effects 0.000 description 5
- 230000011218 segmentation Effects 0.000 description 5
- 230000008569 process Effects 0.000 description 4
- 230000001678 irradiating effect Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 210000000115 thoracic cavity Anatomy 0.000 description 3
- 230000004913 activation Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 210000004705 lumbosacral region Anatomy 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 238000010606 normalization Methods 0.000 description 2
- 210000001519 tissue Anatomy 0.000 description 2
- 238000010521 absorption reaction Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 230000006866 deterioration Effects 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 239000002184 metal Substances 0.000 description 1
- 238000003825 pressing Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 238000004846 x-ray emission Methods 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
- A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
- A61B6/5211—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
- A61B6/5217—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data extracting a diagnostic or physiological parameter from medical diagnostic data
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
- A61B6/46—Arrangements for interfacing with the operator or the patient
- A61B6/461—Displaying means of special interest
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
- A61B6/50—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications
- A61B6/505—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications for diagnosis of bone
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
- A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
- A61B6/5205—Devices using data or image processing specially adapted for radiation diagnosis involving processing of raw data to produce diagnostic data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
Landscapes
- Health & Medical Sciences (AREA)
- Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Medical Informatics (AREA)
- Public Health (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Pathology (AREA)
- Physics & Mathematics (AREA)
- Radiology & Medical Imaging (AREA)
- Surgery (AREA)
- Veterinary Medicine (AREA)
- Biophysics (AREA)
- Heart & Thoracic Surgery (AREA)
- Molecular Biology (AREA)
- High Energy & Nuclear Physics (AREA)
- Animal Behavior & Ethology (AREA)
- Optics & Photonics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Software Systems (AREA)
- Epidemiology (AREA)
- Primary Health Care (AREA)
- Databases & Information Systems (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Physiology (AREA)
- Orthopedic Medicine & Surgery (AREA)
- Dentistry (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Human Computer Interaction (AREA)
- Apparatus For Radiation Diagnosis (AREA)
- Image Analysis (AREA)
Description
この発明は、X線撮像装置に関し、特に、被写体が撮像された画像から機械学習に基づいて、被写体の骨領域を抽出する画像処理部を備えるX線撮像装置に関する。 The present invention relates to an X-ray imaging apparatus, and more particularly to an X-ray imaging apparatus having an image processing unit that extracts a bone region of a subject based on machine learning from an image of the subject.
従来、被写体が撮像された画像から機械学習に基づいて、脊柱配列(脊柱形状)を推定する脊柱配列推定装置が知られている。このような脊柱配列推定装置は、たとえば、国際公開第2017/141958号に開示されている。 2. Description of the Related Art Conventionally, there has been known a spinal column arrangement estimation device that estimates a spinal column arrangement (spine shape) based on machine learning from an image of a subject. Such a spinal column alignment estimation device is disclosed, for example, in WO2017/141958.
国際公開第2017/141958号に記載の脊柱配列推定装置では、まず、同一人物について撮像された、人体の背部の立体形状を表すモアレ縞を含むモアレ画像と、人体の背部の骨領域が撮像されたX線画像とのデータセットが多数準備される。次に、機械学習に用いられるデータセット(正解データ)のラベル付けが行われる。たとえば、X線画像に写り込む胸椎および腰椎の重心が曲線により近似される。その後、モアレ画像とX線画像とを位置合わせして、モアレ画像の座標とX線画像の座標とが位置合わせされる。そして、モアレ画像上の胸椎および腰椎の重心の座標が学習用の正解データとされる。そして、入力されたモアレ画像に基づいて、脊柱要素の配列情報(胸椎および腰椎の重心の座標)が出力されるように学習が行われる。なお、学習として、たとえば、深層学習が用いられる。 In the spinal column alignment estimation device described in WO 2017/141958, first, a moiré image including moiré fringes representing the three-dimensional shape of the back of the human body and a bone region of the back of the human body, which are captured for the same person, are captured. A large number of data sets with X-ray images are prepared. Next, the data set (correct data) used for machine learning is labeled. For example, the centroids of the thoracic and lumbar vertebrae appearing in the X-ray image are approximated by curves. The moire image and the x-ray image are then registered to align the coordinates of the moire image with the coordinates of the x-ray image. Then, the coordinates of the centers of gravity of the thoracic and lumbar vertebrae on the moire image are used as correct data for learning. Then, based on the input moiré image, learning is performed so that the array information of the spine elements (coordinates of the centers of gravity of the thoracic and lumbar vertebrae) is output. For learning, for example, deep learning is used.
そして、国際公開第2017/141958号に記載の脊柱配列推定装置では、学習された結果(識別器)に基づいて、撮像装置により撮像された未知(脊柱要素の配列情報が未知)のモアレ画像から脊柱要素の配列情報が推定される。また、推定された脊柱要素の配列情報が、モアレ画像上に重畳された状態で表示部に表示される。 Then, in the spinal column arrangement estimation device described in WO 2017/141958, based on the learned result (discriminator), from an unknown moire image (spine element arrangement information is unknown) captured by the imaging device Sequence information for spine elements is deduced. Also, the estimated array information of the spinal column elements is displayed on the display unit in a state of being superimposed on the moire image.
また、国際公開第2017/141958号には記載されていないが、従来、腰椎や大腿骨などの骨密度測定では、2種類の互いに異なるエネルギのX線を被写体に照射することにより撮像された画像において、骨成分と他の組織とを区別して骨密度の測定が行われている。この場合、撮像された画像において腰椎や大腿骨などの骨密度の測定を行う領域を正確に抽出(指定)する必要がある。従来では、ユーザの負担を軽減するために、骨領域の抽出を、機械学習を用いて行うこと(自動セグメンテーション)が行われている。また、自動セグメンテーションの精度向上のために、機械学習として、国際公開第2017/141958号のように、深層学習が用いられている。深層学習では、腰椎や大腿骨などの骨密度の測定が行われる部位が撮像された画像(正解データ)が学習されるとともに学習された結果(識別器)に基づいて、未知の画像から骨領域が抽出される。また、抽出された骨領域が実際の骨領域とずれていた場合には、ユーザによって骨領域が修正される。 Further, although not described in International Publication No. 2017/141958, conventionally, in bone density measurement of lumbar vertebrae, femurs, and the like, images captured by irradiating a subject with two types of X-rays with different energies in which bone density is measured by distinguishing between bone components and other tissues. In this case, it is necessary to accurately extract (designate) a region for bone density measurement, such as a lumbar vertebra or femur, in the captured image. Conventionally, in order to reduce the burden on the user, bone regions are extracted using machine learning (automatic segmentation). In addition, deep learning is used as machine learning to improve the accuracy of automatic segmentation, as in International Publication No. 2017/141958. In deep learning, images (correct data) of the regions where bone density is to be measured, such as the lumbar spine and femur, are learned, and based on the learned results (classifier), bone regions are extracted from unknown images. is extracted. Also, if the extracted bone region is deviated from the actual bone region, the bone region is corrected by the user.
ここで、深層学習などの機械学習を用いた骨領域の自動セグメンテーションの精度は比較的高い一方、機械学習に用いられた画像(正解データ)とは乖離した未知の画像が入力された場合、自動セグメンテーション(骨領域の抽出)が大きく失敗するという不都合がある。この場合、機械学習に基づいて抽出された骨領域に対してユーザが比較的大きな修正を施す必要があるため、ユーザの負担が増加するという問題点がある。 Here, while the accuracy of automatic segmentation of bone regions using machine learning such as deep learning is relatively high, when an unknown image that deviates from the image (correct data) used for machine learning is input, automatic There is a disadvantage that the segmentation (extraction of the bone region) largely fails. In this case, the user has to make relatively large corrections to the bone region extracted based on machine learning, which increases the burden on the user.
この発明は、上記のような課題を解決するためになされたものであり、この発明の1つの目的は、機械学習に用いられた画像(正解データ)とは乖離した未知の画像が入力された場合でも、抽出された骨領域の修正に対するユーザの負担が大きくなるのを抑制することが可能なX線撮像装置を提供することである。 The present invention has been made to solve the above-described problems, and one object of the present invention is to solve the problem that an unknown image deviated from the image (correct data) used for machine learning is inputted. An object of the present invention is to provide an X-ray imaging apparatus capable of suppressing an increase in user's burden for correcting an extracted bone region even in such a case.
上記目的を達成するために、この発明の第1の局面におけるX線撮像装置は、被写体にX線を照射するX線照射部と、X線照射部から被写体に照射されたX線を検出するX線検出部と、X線検出部により検出されたX線に基づいて取得された取得画像において、機械学習に基づいて、被写体の骨領域を抽出するとともに、所定の場合に、取得画像において、所定のルールに基づいて、被写体の骨領域を抽出する画像処理部と、画像処理部に処理された画像を表示する表示部と、機械学習に基づいて抽出された被写体の骨領域が適切か否かを判定する制御部とを備え、制御部は、機械学習に基づいて抽出された被写体の骨領域が適切であると判定した場合、機械学習に基づいて被写体の骨領域が抽出された画像を表示部に表示させ、機械学習に基づいて抽出された被写体の骨領域が適切でないと判定した場合、所定のルールに基づいて被写体の骨領域が抽出された画像を表示させる制御を行うように構成されており、制御部は、機械学習に基づいて抽出された被写体の骨領域と、同一の骨に関する典型的な骨領域との比較に基づいて、機械学習に基づいて抽出された被写体の骨領域が適切か否かを判定するように構成されている。 To achieve the above object, an X-ray imaging apparatus according to a first aspect of the present invention provides an X-ray irradiation unit for irradiating an object with X-rays, and detecting the X-rays irradiated from the X-ray irradiation unit to the object. Extracting a bone region of a subject based on machine learning in an acquired image acquired based on an X-ray detection unit and X-rays detected by the X-ray detection unit, and in a predetermined case, in the acquired image, An image processing unit that extracts the bone region of the subject based on a predetermined rule, a display unit that displays the image processed by the image processing unit, and whether the bone region of the subject extracted based on machine learning is appropriate. and a controller for determining whether or not the bone region of the subject extracted based on machine learning is appropriate, the controller determines whether the bone region of the subject is extracted based on machine learning. is displayed on the display unit, and if it is determined that the bone region of the subject extracted based on machine learning is not appropriate, control is performed to display an image in which the bone region of the subject is extracted based on a predetermined rule. The control unit compares the bone region of the subject extracted based on machine learning with a typical bone region for the same bone, and extracts the bone region of the subject based on machine learning. It is configured to determine if the region is appropriate .
この発明の第1の局面におけるX線撮像装置では、上記のように、制御部は、機械学習に基づいて抽出された被写体の骨領域が適切であると判定した場合、機械学習に基づいて被写体の骨領域が抽出された画像を表示部に表示させ、機械学習に基づいて抽出された被写体の骨領域が適切でないと判定した場合、所定のルールに基づいて被写体の骨領域が抽出された画像を表示させる制御を行うように構成されている。これにより、たとえば、機械学習に用いられた画像(正解データ)とは乖離した未知の画像が入力された場合などにおいて、機械学習に基づいて抽出された被写体の骨領域が適切でない場合でも、所定のルールに基づいて被写体の骨領域が抽出された画像が表示される。なお、一般的には、所定のルールに基づいた骨領域の抽出の精度は、機械学習に基づいた骨領域の抽出の精度よりも低い一方、比較的簡単なルールに基づいて骨領域の抽出が行われるので、機械学習では適切に骨領域の抽出が行えない画像でもある程度の精度でもって骨領域の抽出を行うことができる。これにより、適切に抽出されていない機械学習に基づいた骨領域を修正する場合に比べて、所定のルールに基づいて抽出された骨領域を修正する方が、修正量が少ない。その結果、機械学習に用いられた画像(正解データ)とは乖離した未知の画像が入力された場合でも、抽出された骨領域の修正に対するユーザの負担が大きくなるのを抑制することができる。 In the X-ray imaging apparatus according to the first aspect of the present invention, as described above, when the control unit determines that the bone region of the subject extracted based on machine learning is appropriate, is displayed on the display unit, and if it is determined that the bone region of the subject extracted based on machine learning is not appropriate, the image in which the bone region of the subject is extracted based on a predetermined rule is configured to control the display of As a result, for example, when an unknown image that deviates from the image (correct data) used for machine learning is input, even if the bone region of the subject extracted based on machine learning is not appropriate, a predetermined An image in which the bone region of the subject is extracted based on the rule is displayed. In general, the accuracy of bone region extraction based on a predetermined rule is lower than the accuracy of bone region extraction based on machine learning, while the bone region can be extracted based on relatively simple rules. Therefore, it is possible to extract the bone region with a certain degree of accuracy even in an image in which the bone region cannot be extracted appropriately by machine learning. As a result, the correction amount of the bone region extracted based on the predetermined rule is smaller than the correction of the bone region that is not properly extracted based on machine learning. As a result, even when an unknown image that is different from the image (correct data) used for machine learning is input, it is possible to prevent the user from increasing the burden of correcting the extracted bone region.
第2の局面におけるX線撮像装置は、被写体にX線を照射するX線照射部と、X線照射部から被写体に照射されたX線を検出するX線検出部と、X線検出部により検出されたX線に基づいて取得された取得画像において、機械学習に基づいて、被写体の骨領域を抽出するとともに、所定の場合に、取得画像において、所定のルールに基づいて、被写体の骨領域を抽出する画像処理部と、画像処理部に処理された画像を表示する表示部と、機械学習に基づいて抽出された被写体の骨領域が適切か否かを判定する制御部とを備え、制御部は、機械学習に基づいて抽出された被写体の骨領域が適切であると判定した場合、機械学習に基づいて被写体の骨領域が抽出された画像を表示部に表示させ、機械学習に基づいて抽出された被写体の骨領域が適切でないと判定した場合、所定のルールに基づいて被写体の骨領域が抽出された画像を表示させる制御を行うように構成されており、制御部は、取得画像において、抽出された被写体の骨領域の面積と、抽出された被写体の骨領域の重心とのうちの少なくとも一方に基づいて、機械学習に基づいて抽出された被写体の骨領域が適切か否かを判定するように構成されている。これにより、機械学習によって抽出された被写体の骨領域の面積と重心とのうちの少なくとも一方と、典型的な被写体の骨領域の面積と重心とのうちの少なくとも一方とを比較すれば、容易に、機械学習に基づいて抽出された被写体の骨領域が適切か否かを判定することができる。 An X-ray imaging apparatus according to a second aspect includes an X-ray irradiation unit that irradiates an object with X-rays, an X-ray detection unit that detects the X-rays irradiated from the X-ray irradiation unit to the object, and an X-ray detection unit. In the acquired image acquired based on the X-rays detected by, based on machine learning, a bone region of the subject is extracted, and in a predetermined case, in the acquired image, based on a predetermined rule An image processing unit that extracts an area, a display unit that displays the image processed by the image processing unit, and a control unit that determines whether the bone area of the subject extracted based on machine learning is appropriate, If the control unit determines that the bone region of the subject extracted based on machine learning is appropriate, the control unit causes the display unit to display an image in which the bone region of the subject is extracted based on machine learning. When it is determined that the extracted bone region of the subject is not appropriate, the control unit is configured to perform control to display an image in which the bone region of the subject is extracted based on a predetermined rule. wherein whether or not the extracted bone region of the subject is appropriate based on machine learning is determined based on at least one of the area of the extracted bone region of the subject and the center of gravity of the extracted bone region of the subject. configured to determine. As a result , it is easy to compare at least one of the area and the center of gravity of the bone region of the subject extracted by machine learning with at least one of the area and the center of gravity of the bone region of a typical subject. , it is possible to determine whether or not the bone region of the subject extracted based on machine learning is appropriate.
第3の局面におけるX線撮像装置は、被写体にX線を照射するX線照射部と、X線照射部から被写体に照射されたX線を検出するX線検出部と、X線検出部により検出されたX線に基づいて取得された取得画像において、機械学習に基づいて、被写体の骨領域を抽出するとともに、所定の場合に、取得画像において、所定のルールに基づいて、被写体の骨領域を抽出する画像処理部と、画像処理部に処理された画像を表示する表示部と、機械学習に基づいて抽出された被写体の骨領域が適切か否かを判定する制御部とを備え、制御部は、機械学習に基づいて抽出された被写体の骨領域が適切であると判定した場合、機械学習に基づいて被写体の骨領域が抽出された画像を表示部に表示させ、機械学習に基づいて抽出された被写体の骨領域が適切でないと判定した場合、所定のルールに基づいて被写体の骨領域が抽出された画像を表示させる制御を行うように構成されており、制御部は、取得画像に、機械学習に基づいた被写体の骨領域の抽出が適切に行えなくなる所定の抽出不適切画像が含まれている場合、機械学習に基づいた被写体の骨領域の抽出は行わずに、所定のルールに基づいて被写体の骨領域の抽出を行うように制御するように構成されている。これにより、被写体の骨領域の抽出が適切に行えなくなることが既知である場合に、機械学習に基づいた被写体の骨領域の抽出は行われないので、画像処理部の負担を軽減することができる。 An X-ray imaging apparatus according to a third aspect includes an X-ray irradiation unit that irradiates an object with X-rays, an X-ray detection unit that detects the X-rays irradiated from the X-ray irradiation unit to the object, and an X-ray detection unit. In the acquired image acquired based on the X-rays detected by, based on machine learning, a bone region of the subject is extracted, and in a predetermined case, in the acquired image, based on a predetermined rule An image processing unit that extracts an area, a display unit that displays the image processed by the image processing unit, and a control unit that determines whether the bone area of the subject extracted based on machine learning is appropriate, If the control unit determines that the bone region of the subject extracted based on machine learning is appropriate, the control unit causes the display unit to display an image in which the bone region of the subject is extracted based on machine learning. When it is determined that the extracted bone region of the subject is not appropriate, the control unit is configured to perform control to display an image in which the bone region of the subject is extracted based on a predetermined rule. contains a predetermined extraction inappropriate image that makes it impossible to properly extract the bone region of the subject based on machine learning, without extracting the bone region of the subject based on machine learning, a predetermined rule is configured to perform control so as to extract the bone region of the subject based on. As a result , when it is known that extraction of the bone region of the subject cannot be performed appropriately, extraction of the bone region of the subject based on machine learning is not performed, so the load on the image processing unit can be reduced. .
上記第1および第2の局面によるX線撮像装置において、好ましくは、表示部に表示される、機械学習に基づいて被写体の骨領域が抽出された画像と、所定のルールに基づいて被写体の骨領域が抽出された画像とを切り替える切替操作部をさらに備える。このように構成すれば、機械学習に基づいて被写体の骨領域が抽出された画像と、所定のルールに基づいて被写体の骨領域が抽出された画像とを切り替えて比較することができる。 In the X-ray imaging apparatus according to the first and second aspects, it is preferable that an image in which the bone region of the subject is extracted based on machine learning and the bone region of the subject based on a predetermined rule are displayed on the display unit. It further comprises a switching operation unit for switching between the image from which the region is extracted. With this configuration, an image in which the bone region of the subject is extracted based on machine learning and an image in which the bone region of the subject is extracted based on a predetermined rule can be switched and compared.
この場合、好ましくは、切替操作部は、表示部に表示される表示画像上のボタンを含む。このように構成すれば、ユーザがボタンを操作するだけで、容易に、機械学習に基づいて被写体の骨領域が抽出された画像と、所定のルールに基づいて被写体の骨領域が抽出された画像とを切り替えることができる。 In this case, the switching operation section preferably includes a button on the display image displayed on the display section. With this configuration, the user can easily obtain an image in which the bone region of the subject is extracted based on machine learning and an image in which the bone region of the subject is extracted based on a predetermined rule, simply by operating a button. can be switched between
上記第1および第2の局面によるX線撮像装置において、好ましくは、被写体の骨領域は、大腿骨の骨領域を含む。このように構成すれば、大腿骨の骨密度測定において、機械学習に用いられた画像(正解データ)とは乖離した未知の画像が入力された場合でも、抽出された骨領域の修正に対するユーザの負担が大きくなるのを抑制することができる。 In the X-ray imaging apparatus according to the first and second aspects, preferably the bone region of the subject includes the bone region of the femur. With this configuration, even when an unknown image that deviates from the image (correct data) used for machine learning is input in bone density measurement of the femur, the user's response to correction of the extracted bone region is It is possible to prevent the burden from increasing.
上記第1および第2の局面によるX線撮像装置において、好ましくは、機械学習は、深層学習を含む。このように構成すれば、深層学習の骨領域の抽出精度は比較的高いので、ほとんどの被写体において適切に骨領域を抽出することができる一方、深層学習でも適切に骨領域の抽出ができない未知の画像に対して、バックアップとして、所定のルールに基づいて被写体の骨領域が抽出された画像を表示することができる。 In the X-ray imaging apparatuses according to the first and second aspects, preferably machine learning includes deep learning. With this configuration, since the bone region extraction accuracy of deep learning is relatively high, the bone region can be appropriately extracted for most subjects. An image in which the bone region of the subject is extracted based on a predetermined rule can be displayed as a backup for the image.
上記第1および第2の局面によるX線撮像装置において、好ましくは、所定のルールは、取得画像における画素値に基づいて被写体の骨領域を抽出すること、および、隣り合う画素の画素値の勾配に基づいて被写体の骨領域を抽出することのうちの少なくとも一方を含む。このように構成すれば、画素値に基づいて、容易に、被写体の骨領域を抽出することができる。 In the X-ray imaging apparatus according to the first and second aspects, preferably, the predetermined rule is to extract the bone region of the subject based on the pixel values in the acquired image, and extracting a bone region of the subject based on at least one of: With this configuration, it is possible to easily extract the bone region of the subject based on the pixel values.
本発明によれば、上記のように、機械学習に用いられた画像(正解データ)とは乖離した未知の画像が入力された場合でも、抽出された骨領域の修正に対するユーザの負担が大きくなるのを抑制することができる。 According to the present invention, as described above, even when an unknown image that deviates from the image (correct data) used for machine learning is input, the burden on the user to correct the extracted bone region increases. can be suppressed.
以下、本発明を具体化した実施形態を図面に基づいて説明する。 Embodiments embodying the present invention will be described below with reference to the drawings.
図1~図7を参照して、本実施形態によるX線撮像装置100の構成について説明する。
The configuration of an
(X線撮像装置の構成)
図1に示すように、X線撮像装置100は、X線照射部1と、X線検出部2と、画像処理部3と、制御部4とを備えている。また、X線撮像装置100は、画像処理部3に処理された画像を表示する表示部5を備えている。(Configuration of X-ray imaging device)
As shown in FIG. 1, the
X線照射部1は、被写体TにX線を照射する。X線検出部2は、X線照射部1から被写体Tに照射されたX線を検出する。X線撮像装置100は、たとえば、被写体Tの骨密度の測定に用いられる。骨密度の測定においては、たとえば、X線照射部1から2種類のエネルギのX線を被写体Tの測定部位に照射することにより、骨成分と他の組織とを区別するDEXA(Dual-Energy X-ray Absorptiometry)法が用いられる。
The
X線照射部1は、X線源1aを含んでいる。X線源1aは、図示しない高電圧発生部に接続されており、高電圧が印加されることによりX線を発生させるX線管である。X線源1aは、X線出射方向をX線検出部2の検出面に向けて配置されている。
The
X線検出部2は、X線照射部1から照射され、被写体Tを透過したX線を検出し、検出したX線強度に応じた検出信号を出力する。なお、X線検出部2は、たとえば、FPD(Flat Panel Detector)により構成されている。
The
画像処理部3は、画像取得部31と、機械学習ベース領域抽出部32と、ルールベース領域抽出部33と、骨密度測定部34と、を含む。なお、画像取得部31、機械学習ベース領域抽出部32、ルールベース領域抽出部33、および、骨密度測定部34の各々は、画像処理部3の中のソフトウェアとしての機能ブロックである。すなわち、画像取得部31、機械学習ベース領域抽出部32、ルールベース領域抽出部33、および、骨密度測定部34の各々は、制御部4の指令信号に基づき機能するように構成されている。
The
画像取得部31は、X線検出部2により検出されたX線に基づいて被写体Tの画像I(図3参照)を取得する。具体的には、画像取得部31は、X線検出部2から出力される所定の解像度のX線検出信号に基づいて画像I(X線画像)を取得する。なお、画像Iは、特許請求の範囲の「取得画像」の一例である。
The
機械学習ベース領域抽出部32は、X線検出部2により検出されたX線に基づいて取得された画像Iにおいて、機械学習に基づいて、被写体Tの骨領域A(図3参照)を抽出するように構成されている。具体的には、本実施形態では、機械学習として、深層学習が用いられる。また、骨領域Aは、大腿骨の骨領域Aを含む。
The machine-learning-based
深層学習によるセマンティック・セグメンテーションでは、従来の画像セグメンテーションと異なり、ディープニューラルネットワークを代表とする深層学習技術を用いて、ピクセルレベルで画像を理解し、画像の各ピクセルにオブジェクトのクラスが割り当てられる。たとえば、図2に示すように、深層学習として、U-netに基づいた深層学習が用いられる。U-netでは、U字型の畳み込みネットワークを用いて、画像中に「何が、どこに、どのように」写っているのかという領域抽出が行われる。U-netの左側に配置されたencoderの各畳み込み層(Conv)の出力が、右側のdecoderの各畳み込み層(Deconv)に直接に結合され、データをチャネル方向に連結(concat)するように構成されている。これにより、より低次元の特徴量がスキップされ、従来通りの特徴を抽出しながら位置情報を保持することが可能になる。その結果、出力画像の劣化を抑制することができる。 In semantic segmentation by deep learning, unlike conventional image segmentation, deep learning technology represented by deep neural networks is used to understand an image at the pixel level and assign an object class to each pixel of the image. For example, as shown in FIG. 2, deep learning based on U-net is used as deep learning. In U-net, a U-shaped convolutional network is used to extract regions of "what, where, and how" in an image. The output of each convolutional layer (Conv) of the encoder located on the left side of the U-net is directly coupled to each convolutional layer (Deconv) of the right decoder to concat data in the channel direction. It is As a result, lower-dimensional feature quantities are skipped, and position information can be retained while extracting features as in the conventional method. As a result, deterioration of the output image can be suppressed.
また、多重解像度で骨領域Aを判定するため、入力画像を最初の畳み込み層に入力する前に、多重解像度の局所コントラスト正規化(LCN:Local Contrast Normalization)が行われる。その後、順次、畳み込み層に入力される。また、活性化関数として、出力層以外の全ての層に、最も一般的なReLu関数が用いられる。また、学習の収束を高速化および安定化するために、各畳み込み層の活性化関数の後においてバッチ正規化が行われる。また、損失関数として、交差エントロピー誤差が用いられる。 Also, multiresolution Local Contrast Normalization (LCN) is performed before inputting the input image to the first convolutional layer to determine the bone region A at multiresolution. After that, they are sequentially input to the convolutional layers. Also, as the activation function, the most general ReLu function is used for all layers other than the output layer. Batch normalization is also performed after the activation function of each convolutional layer to speed up and stabilize the learning convergence. Also, the cross-entropy error is used as the loss function.
図1に示すように、ルールベース領域抽出部33は、X線検出部2により検出されたX線に基づいて取得された画像I(図3参照)において、所定のルールに基づいて、被写体Tの骨領域Aを抽出(図4参照)する。たとえば、ルールベース領域抽出部33は、画像Iにおける画素値や、隣り合う画素の画素値の勾配がしきい値以上か否かに基づいて、被写体Tの骨領域Aを抽出する。つまり、画像Iにおいて、被写体Tの骨領域Aの境界が所定のルールに基づいて求められる。
As shown in FIG. 1, the rule-based
制御部4は、機械学習に基づいて抽出された被写体Tの骨領域Aが適切か否かを判定するように構成されている。ここで、本実施形態では、制御部4は、機械学習に基づいて抽出された被写体Tの骨領域Aが適切であると判定した場合、機械学習に基づいて被写体Tの骨領域Aが抽出された画像(画像Im、図3参照)を表示部5に表示させる制御を行う。一方、制御部4は、機械学習に基づいて抽出された被写体Tの骨領域Aが適切でないと判定した場合、所定のルールに基づいて被写体Tの骨領域Aが抽出された画像(画像Ir、図4参照)を表示させる制御を行う。なお、機械学習に基づいて抽出された被写体Tの骨領域Aが適切でない場合とは、たとえば、機械学習に用いられた画像I(正解データ)が撮像された際の被写体Tの姿勢と、未知の画像I(推定用の画像I)が撮像された際の被写体Tの姿勢とが大きく異なっていた場合などである。
The
また、本実施形態では、図3に示すように、制御部4は、画像Iにおいて、抽出された被写体Tの骨領域Aの面積Sと、抽出された被写体Tの骨領域Aの重心Gとのうちの少なくとも一方に基づいて、機械学習に基づいて抽出された被写体Tの骨領域Aが適切か否かを判定するように構成されている。具体的には、抽出された被写体Tの骨領域Aの面積Sが、典型的な骨領域Aの面積Sと比較される。そして、抽出された被写体Tの骨領域Aの面積Sと、典型的な骨領域Aの面積Sとの差が所定の面積しきい値よりも大きければ、機械学習に基づいて抽出された被写体Tの骨領域Aが適切でないと判定される。また、抽出された被写体Tの骨領域Aの重心Gが、典型的な骨領域Aの重心Gと比較される。そして、抽出された被写体Tの骨領域Aの重心Gの座標と、典型的な骨領域Aの重心Gの座標との差が所定の重心しきい値よりも大きければ、機械学習に基づいて抽出された被写体Tの骨領域Aが適切でないと判定される。なお、面積Sまたは重心Gの一方のみに基づいて骨領域Aが適切か否かを判定してもよいし、面積Sおよび重心Gの両方に基づいて骨領域Aが適切か否かを判定してもよい。
Further, in the present embodiment, as shown in FIG. 3, the
また、本実施形態では、図5に示すように、制御部4は、画像Iに、機械学習に基づいた被写体Tの骨領域Aの抽出が適切に行えなくなる所定の画像Pが含まれている場合、機械学習に基づいた被写体Tの骨領域Aの抽出は行わずに、所定のルールに基づいて被写体Tの骨領域Aの抽出を行うように制御する。たとえば、画像Iに金属(ボルト)などの画像Pが含まれている場合、機械学習に基づいた被写体Tの骨領域Aの抽出が不適切になることが予め既知であるとする。この場合、機械学習に基づいた被写体Tの骨領域Aの抽出は行わずに、所定のルールに基づいて被写体Tの骨領域Aの抽出を行う。なお、所定のルールに基づいた抽出では、比較的簡単なルールに基づいて骨領域Aの抽出が行われるので、機械学習では適切に骨領域Aの抽出が行えない画像でもある程度の精度でもって骨領域Aの抽出を行うことが可能である。なお、画像Pは、特許請求の範囲の「抽出不適切画像」の一例である。
Further, in the present embodiment, as shown in FIG. 5, the
また、本実施形態では、図6に示すように、表示部5に表示される、機械学習に基づいて被写体Tの骨領域Aが抽出された画像(画像Im)と、所定のルールに基づいて被写体Tの骨領域Aが抽出された画像(画像Ir)とを切り替える、表示部5に表示される表示画像5a上のボタン5bが設けられている。ボタン5bは、たとえば、プルダウンメニューにより構成されている。ユーザがマウスによってボタン5bをクリックすることにより、プルダウンメニューに含まれる機械学習に基づいた画像Imと、所定のルールに基づいた画像Irとを選択する(切り替える)ことが可能である。また、プルダウンメニューには、前回の骨密度測定時に用いられた画像も含まれる。なお、ボタン5bは、特許請求の範囲の「切替操作部」の一例である。
Further, in the present embodiment, as shown in FIG. 6, an image (image Im) in which the bone region A of the subject T is extracted based on machine learning, which is displayed on the
また、図7に示すように、表示部5に表示された画像Ir(または画像Im)において、骨領域Aの修正が必要な場合には、ユーザによって骨領域Aの修正が行われる。骨領域Aの修正は、たとえば、ユーザがマウスを操作することによって、骨領域Aを塗りつぶすように(または消すように)、骨領域Aの修正が行われる。なお、図7の点線で示される領域は、図4に示される所定のルールに基づいて抽出された被写体Tの骨領域Aを示している。
Further, as shown in FIG. 7, in the image Ir (or image Im) displayed on the
また、図1に示すように、骨密度測定部34は、抽出された被写体Tの骨領域A(骨領域Aが修正された場合は、修正後の骨領域A)において、骨密度を測定する。なお、図6の点線で示される領域において、骨密度の測定が行われる。
Further, as shown in FIG. 1, the bone
(X線撮像装置の動作)
次に、図8を参照して、本実施形態のX線撮像装置100の動作について説明する。なお、画像処理部3において機械学習による学習は既に行われているとする。(Operation of X-ray imaging device)
Next, the operation of the
まず、ステップS1において、画像処理部3に未知のX線画像からなる画像I(画像データ)が入力される。
First, in step S<b>1 , an image I (image data) composed of an unknown X-ray image is input to the
次に、ステップS2において、未知の画像Iに、機械学習に基づいた被写体Tの骨領域Aの抽出が適切に行えなくなる所定の画像P(図5参照)が含まれているか否かが判定される。なお、この判定は、たとえば、一般的な画像認識技術を用いて制御部4によって行われる。ステップS2において、画像Pが含まれていないと判定された場合、ステップS3に進む。一方、ステップS2において、画像Pが含まれていると判定された場合、ステップS6に進む。
Next, in step S2, it is determined whether or not the unknown image I includes a predetermined image P (see FIG. 5) in which extraction of the bone region A of the subject T based on machine learning cannot be properly performed. be. Note that this determination is made by the
次に、ステップS3において、X線検出部2により検出されたX線に基づいて取得された画像Iにおいて、機械学習に基づいて被写体Tの骨領域Aが抽出される。具体的には、予め機械学習による学習によって生成された識別器(モデル、図3参照)に画像Iが入力されるとともに、識別器によって、被写体Tの骨領域Aが抽出される。
Next, in step S3, in the image I obtained based on the X-rays detected by the
次に、ステップS4において、制御部4により、機械学習に基づいて抽出された被写体Tの骨領域Aが、適切か否かが判定される。ステップS4において、抽出された被写体Tの骨領域Aが適切であると判定された場合、ステップS5に進んで、機械学習に基づいて被写体Tの骨領域Aが抽出された画像Imが表示部5に表示される。なお、必要であれば、ユーザによって表示部5に表示された骨領域Aが修正される。
Next, in step S4, the
ステップS4において、抽出された被写体Tの骨領域Aが適切でないと判定された場合、ステップS6に進む。ステップS6では、所定のルールに基づいて被写体Tの骨領域Aが抽出される。そして、ステップS5に進んで、所定のルールに基づいて被写体Tの骨領域Aが抽出された画像Irが表示部5に表示される。
If it is determined in step S4 that the extracted bone region A of the subject T is not appropriate, the process proceeds to step S6. At step S6, the bone area A of the subject T is extracted based on a predetermined rule. Then, in step S5, the image Ir in which the bone region A of the subject T is extracted based on a predetermined rule is displayed on the
そして、ステップS7において、骨密度測定部34によって骨密度が測定される。
Then, in step S7, bone density is measured by the bone
(本実施形態の効果)
本実施形態では、以下のような効果を得ることができる。(Effect of this embodiment)
The following effects can be obtained in this embodiment.
本実施形態では、上記のように、制御部4は、機械学習に基づいて抽出された被写体Tの骨領域Aが適切であると判定した場合、機械学習に基づいて被写体Tの骨領域Aが抽出された画像Imを表示部5に表示させ、機械学習に基づいて抽出された被写体Tの骨領域Aが適切でないと判定した場合、所定のルールに基づいて被写体Tの骨領域Aが抽出された画像Irを表示させる制御を行うように構成されている。これにより、たとえば、機械学習に用いられた画像I(正解データ)とは乖離した未知の画像Iが入力された場合などにおいて、機械学習に基づいて抽出された被写体Tの骨領域Aが適切でない場合でも、所定のルールに基づいて被写体Tの骨領域Aが抽出された画像Irが表示される。なお、一般的には、所定のルールに基づいた骨領域Aの抽出の精度は、機械学習に基づいた骨領域Aの抽出の精度よりも低い一方、比較的簡単なルールに基づいて骨領域Aの抽出が行われるので、機械学習では適切に骨領域Aの抽出が行えない画像Iでもある程度の精度でもって骨領域Aの抽出を行うことができる。これにより、適切に抽出されていない機械学習に基づいた骨領域Aを修正する場合に比べて、所定のルールに基づいて抽出された骨領域Aを修正する方が、修正量が少ない。その結果、機械学習に用いられた画像I(正解データ)とは乖離した未知の画像Iが入力された場合でも、抽出された骨領域Aの修正に対するユーザの負担が大きくなるのを抑制することができる。
In the present embodiment, as described above, when the
また、本実施形態では、上記のように、制御部4は、画像Imにおいて、抽出された被写体Tの骨領域Aの面積Sと、抽出された被写体Tの骨領域Aの重心Gとのうちの少なくとも一方に基づいて、機械学習に基づいて抽出された被写体Tの骨領域Aが適切か否かを判定する。これにより、機械学習によって抽出された被写体Tの骨領域Aの面積Sと重心Gとのうちの少なくとも一方と、典型的な被写体Tの骨領域Aの面積Sと重心Gとのうちの少なくとも一方とを比較すれば、容易に、機械学習に基づいて抽出された被写体Tの骨領域Aが適切か否かを判定することができる。
Further, in the present embodiment, as described above, the
また、本実施形態では、上記のように、制御部4は、画像Iに、機械学習に基づいた被写体Tの骨領域Aの抽出が適切に行えなくなる所定の画像Pが含まれている場合、機械学習に基づいた被写体Tの骨領域Aの抽出は行わずに、所定のルールに基づいて被写体Tの骨領域Aの抽出を行うように制御する。これにより、被写体Tの骨領域Aの抽出が適切に行えなくなることが既知である場合に、機械学習に基づいた被写体Tの骨領域Aの抽出は行われないので、画像処理部3の負担を軽減することができる。
Further, in the present embodiment, as described above, when the image I includes a predetermined image P in which extraction of the bone region A of the subject T based on machine learning cannot be performed appropriately, The extraction of the bone region A of the subject T based on machine learning is not performed, and control is performed to extract the bone region A of the subject T based on a predetermined rule. As a result, when it is known that the extraction of the bone area A of the subject T cannot be performed appropriately, the extraction of the bone area A of the subject T based on machine learning is not performed, thereby reducing the load on the
また、本実施形態では、上記のように、表示部5に表示される、機械学習に基づいて被写体Tの骨領域Aが抽出された画像Imと、所定のルールに基づいて被写体Tの骨領域Aが抽出された画像Irとを切り替えるボタン5bが設けられている。これにより、機械学習に基づいて被写体Tの骨領域Aが抽出された画像Imと、所定のルールに基づいて被写体Tの骨領域Aが抽出された画像Irとを切り替えて比較することができる。
Further, in the present embodiment, as described above, the image Im in which the bone region A of the subject T is extracted based on machine learning and the bone region A of the subject T are displayed on the
また、本実施形態では、上記のように、ボタン5bは、表示部5に表示される表示画像上のボタン5bである。これにより、ユーザがボタン5bを操作するだけで、容易に、機械学習に基づいて被写体Tの骨領域Aが抽出された画像Imと、所定のルールに基づいて被写体Tの骨領域Aが抽出された画像Irとを切り替えることができる。
Further, in the present embodiment, the
また、本実施形態では、上記のように、被写体Tの骨領域Aは、大腿骨の骨領域Aを含む。これにより、大腿骨の骨密度測定において、機械学習に用いられた画像I(正解データ)とは乖離した未知の画像Iが入力された場合でも、抽出された骨領域Aの修正に対するユーザの負担が大きくなるのを抑制することができる。 Further, in this embodiment, as described above, the bone region A of the subject T includes the bone region A of the femur. As a result, even if an unknown image I that deviates from the image I (correct data) used for machine learning is input in bone density measurement of the femur, the user is burdened with correcting the extracted bone region A. can be prevented from increasing.
また、本実施形態では、上記のように、機械学習は、深層学習である。これにより、深層学習の骨領域Aの抽出精度は比較的高いので、ほとんどの被写体Tにおいて適切に骨領域Aを抽出することができる一方、深層学習でも適切に骨領域Aの抽出ができない未知の画像Iに対して、バックアップとして、所定のルールに基づいて被写体Tの骨領域Aが抽出された画像Irを表示することができる。 Moreover, in this embodiment, as described above, machine learning is deep learning. As a result, since the extraction accuracy of the bone region A by deep learning is relatively high, the bone region A can be appropriately extracted for most of the subjects T. As a backup for the image I, an image Ir in which the bone region A of the subject T is extracted based on a predetermined rule can be displayed.
また、本実施形態では、上記のように、所定のルールは、画像Iにおける画素値に基づいて被写体の骨領域を抽出すること、および、隣り合う画素の画素値の勾配に基づいて被写体Tの骨領域Aを抽出することのうちの少なくとも一方を含む。これにより、画素値に基づいて、容易に、被写体Tの骨領域Aを抽出することができる。 In this embodiment, as described above, the predetermined rule is to extract the bone region of the subject based on the pixel values in the image I, and to extract the bone region of the subject T based on the gradient of the pixel values of adjacent pixels. At least one of extracting the bone region A. Thereby, the bone region A of the subject T can be easily extracted based on the pixel values.
[変形例]
なお、今回開示された実施形態は、すべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は、上記した実施形態の説明ではなく特許請求の範囲によって示され、さらに特許請求の範囲と均等の意味および範囲内でのすべての変更(変形例)が含まれる。[Modification]
It should be noted that the embodiments disclosed this time should be considered as examples and not restrictive in all respects. The scope of the present invention is indicated by the scope of the claims rather than the description of the above-described embodiments, and includes all modifications (modifications) within the meaning and scope equivalent to the scope of the claims.
たとえば、上記実施形態では、機械学習として深層学習が用いられる例を示したが、本発明はこれに限られない。本発明では、深層学習以外の機械学習を用いることも可能である。 For example, in the above embodiment, an example in which deep learning is used as machine learning was shown, but the present invention is not limited to this. Machine learning other than deep learning can also be used in the present invention.
また、上記実施形態では、抽出された被写体の骨領域の面積と、抽出された被写体の骨領域の重心とのうちの少なくとも一方に基づいて、機械学習に基づいて抽出された被写体の骨領域が、適切か否かが判定される例を示したが、本発明はこれに限られない。本発明では、骨領域の面積および重心以外の基準に基づいて、機械学習に基づいて抽出された被写体の骨領域が適切か否かを判定してもよい。 Further, in the above embodiment, the bone region of the subject extracted based on machine learning is based on at least one of the area of the extracted bone region of the subject and the center of gravity of the extracted bone region of the subject. , is determined as appropriate, but the present invention is not limited to this. In the present invention, whether the bone region of the subject extracted based on machine learning is appropriate or not may be determined based on criteria other than the area and center of gravity of the bone region.
また、上記実施形態では、機械学習に基づいて被写体の骨領域が抽出された画像と、所定のルールに基づいて被写体の骨領域が抽出された画像とが切り替え可能に構成されている例を示したが、本発明はこれに限られない。たとえば、機械学習に基づいて被写体の骨領域が抽出された画像と、所定のルールに基づいて被写体の骨領域が抽出された画像とを、並列した状態で表示部に表示してもよい。 Further, in the above embodiment, an example is shown in which an image in which the bone region of the subject is extracted based on machine learning and an image in which the bone region of the subject is extracted based on a predetermined rule can be switched. However, the present invention is not limited to this. For example, an image in which the bone region of the subject is extracted based on machine learning and an image in which the bone region of the subject is extracted based on a predetermined rule may be displayed side by side on the display unit.
また、上記実施形態では、表示画像上のボタンによって、機械学習に基づいて被写体の骨領域が抽出された画像と、所定のルールに基づいて被写体の骨領域が抽出された画像とを切り替える例を示したが、本発明はこれに限られない。たとえば、表示画像上のボタン以外の方法(物理的なスイッチなど)によって画像を切り替えてもよい。 In the above embodiment, an example of switching between an image in which the bone region of the subject is extracted based on machine learning and an image in which the bone region of the subject is extracted based on a predetermined rule is switched by pressing a button on the displayed image. Although shown, the invention is not so limited. For example, images may be switched by a method (physical switch, etc.) other than buttons on the displayed image.
また、上記実施形態では、被写体の大腿骨の骨領域を抽出する例を示したが、本発明はこれに限られない。たとえば、被写体の大腿骨以外(腰椎など)の骨領域を抽出してもよい。 Further, in the above embodiment, an example of extracting the bone region of the femur of the subject has been described, but the present invention is not limited to this. For example, a bone region other than the femur of the subject (such as the lumbar spine) may be extracted.
また、上記実施形態では、制御部が機械学習に基づいて抽出された被写体の骨領域が適切でないと判定した場合に、所定のルールに基づいて被写体の骨領域が抽出された画像が表示される例を示したが、本発明はこれに限られない。たとえば、制御部が機械学習に基づいて抽出された被写体の骨領域が適切であると判定し表示した場合でも、ユーザが、機械学習に基づいて抽出された被写体の骨領域が適切でないと判定した場合、所定のルールに基づいて被写体の骨領域を抽出するとともに抽出した被写体の骨領域を表示してもよい。 Further, in the above embodiment, when the control unit determines that the bone region of the subject extracted based on machine learning is not appropriate, an image in which the bone region of the subject is extracted based on a predetermined rule is displayed. Although an example has been given, the invention is not so limited. For example, even if the control unit determines that the bone region of the subject extracted based on machine learning is appropriate and displays it, the user determines that the bone region of the subject extracted based on machine learning is not appropriate. In this case, the bone region of the subject may be extracted based on a predetermined rule and the extracted bone region of the subject may be displayed.
1 X線照射部
2 X線検出部
3 画像処理部
4 制御部
5 表示部
5b ボタン(切替操作部)
100 X線撮像装置
A 骨領域
G 重心
I 画像(取得画像)
P 画像(抽出不適切画像)
S 面積
T 被写体1
100 X-ray imaging device A bone region G center of gravity I image (acquired image)
P image (extraction inappropriate image)
S area T subject
Claims (8)
前記X線照射部から前記被写体に照射されたX線を検出するX線検出部と、
前記X線検出部により検出されたX線に基づいて取得された取得画像において、機械学習に基づいて、前記被写体の骨領域を抽出するとともに、所定の場合に、前記取得画像において、所定のルールに基づいて、前記被写体の骨領域を抽出する画像処理部と、
前記画像処理部に処理された画像を表示する表示部と、
前記機械学習に基づいて抽出された前記被写体の骨領域が適切か否かを判定する制御部とを備え、
前記制御部は、前記機械学習に基づいて抽出された前記被写体の骨領域が適切であると判定した場合、前記機械学習に基づいて前記被写体の骨領域が抽出された画像を前記表示部に表示させ、前記機械学習に基づいて抽出された前記被写体の骨領域が適切でないと判定した場合、前記所定のルールに基づいて前記被写体の骨領域が抽出された画像を表示させる制御を行うように構成されており、
前記制御部は、前記機械学習に基づいて抽出された前記被写体の骨領域と、同一の骨に関する典型的な骨領域との比較に基づいて、前記機械学習に基づいて抽出された前記被写体の骨領域が適切か否かを判定するように構成されている、X線撮像装置。 an X-ray irradiation unit that irradiates an object with X-rays;
an X-ray detection unit that detects X-rays irradiated from the X-ray irradiation unit to the subject;
Extracting a bone region of the subject based on machine learning in an acquired image acquired based on X-rays detected by the X-ray detection unit, and in a predetermined case, in the acquired image, a predetermined rule an image processing unit that extracts the bone region of the subject based on
a display unit for displaying an image processed by the image processing unit;
a control unit that determines whether the bone region of the subject extracted based on the machine learning is appropriate;
When determining that the bone region of the subject extracted based on the machine learning is appropriate, the control unit displays an image in which the bone region of the subject is extracted based on the machine learning on the display unit. and when it is determined that the bone region of the subject extracted based on the machine learning is not appropriate, control is performed to display an image in which the bone region of the subject is extracted based on the predetermined rule. has been
The control unit compares the bone region of the subject extracted based on the machine learning with a typical bone region of the same bone, and extracts the bone of the subject based on the machine learning. An x-ray imaging device configured to determine if a region is suitable .
前記X線照射部から前記被写体に照射されたX線を検出するX線検出部と、
前記X線検出部により検出されたX線に基づいて取得された取得画像において、機械学習に基づいて、前記被写体の骨領域を抽出するとともに、所定の場合に、前記取得画像において、所定のルールに基づいて、前記被写体の骨領域を抽出する画像処理部と、
前記画像処理部に処理された画像を表示する表示部と、
前記機械学習に基づいて抽出された前記被写体の骨領域が適切か否かを判定する制御部とを備え、
前記制御部は、前記機械学習に基づいて抽出された前記被写体の骨領域が適切であると判定した場合、前記機械学習に基づいて前記被写体の骨領域が抽出された画像を前記表示部に表示させ、前記機械学習に基づいて抽出された前記被写体の骨領域が適切でないと判定した場合、前記所定のルールに基づいて前記被写体の骨領域が抽出された画像を表示させる制御を行うように構成されており、
前記制御部は、前記取得画像において、抽出された前記被写体の骨領域の面積と、抽出された前記被写体の骨領域の重心とのうちの少なくとも一方に基づいて、前記機械学習に基づいて抽出された前記被写体の骨領域が適切か否かを判定するように構成されている、X線撮像装置。 an X-ray irradiation unit that irradiates an object with X-rays;
an X-ray detection unit that detects X-rays irradiated from the X-ray irradiation unit to the subject;
Extracting a bone region of the subject based on machine learning in an acquired image acquired based on X-rays detected by the X-ray detection unit, and in a predetermined case, in the acquired image, a predetermined rule an image processing unit that extracts the bone region of the subject based on
a display unit for displaying an image processed by the image processing unit;
a control unit that determines whether the bone region of the subject extracted based on the machine learning is appropriate;
When determining that the bone region of the subject extracted based on the machine learning is appropriate, the control unit displays an image in which the bone region of the subject is extracted based on the machine learning on the display unit. and when it is determined that the bone region of the subject extracted based on the machine learning is not appropriate, control is performed to display an image in which the bone region of the subject is extracted based on the predetermined rule. has been
The control unit extracts, in the acquired image, based on at least one of an area of the extracted bone region of the subject and a center of gravity of the extracted bone region of the subject, based on the machine learning. An X-ray imaging apparatus configured to determine whether or not the bone region of the subject is appropriate.
前記X線照射部から前記被写体に照射されたX線を検出するX線検出部と、
前記X線検出部により検出されたX線に基づいて取得された取得画像において、機械学習に基づいて、前記被写体の骨領域を抽出するとともに、所定の場合に、前記取得画像において、所定のルールに基づいて、前記被写体の骨領域を抽出する画像処理部と、
前記画像処理部に処理された画像を表示する表示部と、
前記機械学習に基づいて抽出された前記被写体の骨領域が適切か否かを判定する制御部とを備え、
前記制御部は、前記機械学習に基づいて抽出された前記被写体の骨領域が適切であると判定した場合、前記機械学習に基づいて前記被写体の骨領域が抽出された画像を前記表示部に表示させ、前記機械学習に基づいて抽出された前記被写体の骨領域が適切でないと判定した場合、前記所定のルールに基づいて前記被写体の骨領域が抽出された画像を表示させる制御を行うように構成されており、
前記制御部は、前記取得画像に、前記機械学習に基づいた前記被写体の骨領域の抽出が適切に行えなくなる所定の抽出不適切画像が含まれている場合、前記機械学習に基づいた前記被写体の骨領域の抽出は行わずに、前記所定のルールに基づいて前記被写体の骨領域の抽出を行うように制御するように構成されている、X線撮像装置。 an X-ray irradiation unit that irradiates an object with X-rays;
an X-ray detection unit that detects X-rays irradiated from the X-ray irradiation unit to the subject;
Extracting a bone region of the subject based on machine learning in an acquired image acquired based on X-rays detected by the X-ray detection unit, and in a predetermined case, in the acquired image, a predetermined rule an image processing unit that extracts the bone region of the subject based on
a display unit for displaying an image processed by the image processing unit;
a control unit that determines whether the bone region of the subject extracted based on the machine learning is appropriate;
When determining that the bone region of the subject extracted based on the machine learning is appropriate, the control unit displays an image in which the bone region of the subject is extracted based on the machine learning on the display unit. and when it is determined that the bone region of the subject extracted based on the machine learning is not appropriate, control is performed to display an image in which the bone region of the subject is extracted based on the predetermined rule. has been
When the acquired image includes a predetermined extraction inappropriate image in which extraction of the bone region of the subject based on the machine learning is not properly performed, An X -ray imaging apparatus configured to perform control so as to extract the bone region of the subject based on the predetermined rule without extracting the bone region.
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/JP2018/040975 WO2020095343A1 (en) | 2018-11-05 | 2018-11-05 | X-ray imaging apparatus |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2020095343A1 JPWO2020095343A1 (en) | 2021-09-24 |
JP7188450B2 true JP7188450B2 (en) | 2022-12-13 |
Family
ID=70610864
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020556372A Active JP7188450B2 (en) | 2018-11-05 | 2018-11-05 | X-ray imaging device |
Country Status (3)
Country | Link |
---|---|
JP (1) | JP7188450B2 (en) |
KR (1) | KR20210068490A (en) |
WO (1) | WO2020095343A1 (en) |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003265462A (en) | 2002-03-19 | 2003-09-24 | Hitachi Ltd | Region of interest extracting method and image processing server |
US20110058720A1 (en) | 2009-09-10 | 2011-03-10 | Siemens Medical Solutions Usa, Inc. | Systems and Methods for Automatic Vertebra Edge Detection, Segmentation and Identification in 3D Imaging |
US20130336553A1 (en) | 2010-08-13 | 2013-12-19 | Smith & Nephew, Inc. | Detection of anatomical landmarks |
US20140093153A1 (en) | 2012-09-28 | 2014-04-03 | Siemens Corporation | Method and System for Bone Segmentation and Landmark Detection for Joint Replacement Surgery |
JP2015530193A (en) | 2012-09-27 | 2015-10-15 | シーメンス プロダクト ライフサイクル マネージメント ソフトウェアー インコーポレイテッドSiemens Product Lifecycle Management Software Inc. | Multiple bone segmentation for 3D computed tomography |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH06233761A (en) * | 1993-02-09 | 1994-08-23 | Hitachi Medical Corp | Image diagnostic device for medical purpose |
US11331039B2 (en) | 2016-02-15 | 2022-05-17 | Keio University | Spinal-column arrangement estimation-apparatus, spinal-column arrangement estimation method, and spinal-column arrangement estimation program |
-
2018
- 2018-11-05 KR KR1020217012342A patent/KR20210068490A/en not_active Application Discontinuation
- 2018-11-05 WO PCT/JP2018/040975 patent/WO2020095343A1/en active Application Filing
- 2018-11-05 JP JP2020556372A patent/JP7188450B2/en active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003265462A (en) | 2002-03-19 | 2003-09-24 | Hitachi Ltd | Region of interest extracting method and image processing server |
US20110058720A1 (en) | 2009-09-10 | 2011-03-10 | Siemens Medical Solutions Usa, Inc. | Systems and Methods for Automatic Vertebra Edge Detection, Segmentation and Identification in 3D Imaging |
US20130336553A1 (en) | 2010-08-13 | 2013-12-19 | Smith & Nephew, Inc. | Detection of anatomical landmarks |
JP2015530193A (en) | 2012-09-27 | 2015-10-15 | シーメンス プロダクト ライフサイクル マネージメント ソフトウェアー インコーポレイテッドSiemens Product Lifecycle Management Software Inc. | Multiple bone segmentation for 3D computed tomography |
US20140093153A1 (en) | 2012-09-28 | 2014-04-03 | Siemens Corporation | Method and System for Bone Segmentation and Landmark Detection for Joint Replacement Surgery |
Also Published As
Publication number | Publication date |
---|---|
CN112996440A (en) | 2021-06-18 |
KR20210068490A (en) | 2021-06-09 |
JPWO2020095343A1 (en) | 2021-09-24 |
WO2020095343A1 (en) | 2020-05-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6264589B2 (en) | X-ray equipment | |
JP7092190B2 (en) | Image analysis method, segmentation method, bone density measurement method, learning model creation method and image creation device | |
JP5622860B2 (en) | Panorama video acquisition method and apparatus | |
US9734574B2 (en) | Image processor, treatment system, and image processing method | |
JP6255245B2 (en) | X-ray CT apparatus and posture determination method | |
JP6662428B2 (en) | Dynamic analysis system | |
JPH06261894A (en) | Bone salt quantitative determination method | |
JP2019030492A (en) | X-ray picture processing apparatus and x-ray picture processing method | |
JP2006218142A (en) | X-ray photographic apparatus | |
JP7226199B2 (en) | Image analysis method, image processing device and bone densitometry device | |
JP7345653B2 (en) | Radiological imaging methods | |
JP2020027507A (en) | Medical information processing device, medical information processing method, and program | |
US6983180B2 (en) | Method of determining and displaying a helical artifact index | |
JP4416823B2 (en) | Image processing apparatus, image processing method, and computer program | |
JP7188450B2 (en) | X-ray imaging device | |
CN110876627A (en) | X-ray imaging apparatus and X-ray image processing method | |
US20230329662A1 (en) | X-ray ct apparatus, image processing apparatus, and motion-corrected image reconstruction method | |
US10083503B2 (en) | Image area specification device and method, and X-ray image processing device and method | |
CN112996440B (en) | X-ray image pickup device | |
JP2020044445A (en) | Dynamic analysis system, program, and dynamic analysis apparatus | |
JP2016131805A (en) | X-ray image diagnostic apparatus and method for creating x-ray image | |
JP7264389B2 (en) | MEDICAL DEVICE, METHOD AND PROGRAM FOR CONTROLLING MEDICAL DEVICE | |
JP2022035719A (en) | Photographing error determination support device and program | |
US10475180B2 (en) | Radiation-image processing device and method | |
JP7125703B2 (en) | MEDICAL DEVICE, METHOD AND PROGRAM FOR CONTROLLING MEDICAL DEVICE |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210401 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210401 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220517 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220713 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20221101 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20221114 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 7188450 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |