CN115427795A - 放射线图像取得装置、放射线图像取得***及放射线图像取得方法 - Google Patents
放射线图像取得装置、放射线图像取得***及放射线图像取得方法 Download PDFInfo
- Publication number
- CN115427795A CN115427795A CN202180028373.8A CN202180028373A CN115427795A CN 115427795 A CN115427795 A CN 115427795A CN 202180028373 A CN202180028373 A CN 202180028373A CN 115427795 A CN115427795 A CN 115427795A
- Authority
- CN
- China
- Prior art keywords
- image
- noise
- ray
- radiation
- pixel
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000005855 radiation Effects 0.000 title claims abstract description 115
- 238000000034 method Methods 0.000 title claims description 69
- 238000001514 detection method Methods 0.000 claims abstract description 106
- 238000012545 processing Methods 0.000 claims abstract description 91
- 238000010801 machine learning Methods 0.000 claims abstract description 42
- 238000004364 calculation method Methods 0.000 claims description 102
- 238000003384 imaging method Methods 0.000 claims description 57
- 238000011156 evaluation Methods 0.000 claims description 38
- 230000008569 process Effects 0.000 claims description 26
- 238000012216 screening Methods 0.000 claims description 11
- 230000001678 irradiating effect Effects 0.000 claims description 6
- 230000005540 biological transmission Effects 0.000 description 145
- 238000010586 diagram Methods 0.000 description 46
- 239000000463 material Substances 0.000 description 41
- 238000012549 training Methods 0.000 description 34
- 230000006870 function Effects 0.000 description 33
- 238000012986 modification Methods 0.000 description 28
- 230000004048 modification Effects 0.000 description 28
- 238000002834 transmittance Methods 0.000 description 28
- 238000010276 construction Methods 0.000 description 27
- 238000004088 simulation Methods 0.000 description 25
- 238000005259 measurement Methods 0.000 description 24
- 230000008859 change Effects 0.000 description 17
- 238000001228 spectrum Methods 0.000 description 17
- 238000006243 chemical reaction Methods 0.000 description 15
- 230000014509 gene expression Effects 0.000 description 14
- 238000009826 distribution Methods 0.000 description 11
- 238000013135 deep learning Methods 0.000 description 9
- 230000007423 decrease Effects 0.000 description 8
- 238000002083 X-ray spectrum Methods 0.000 description 7
- 230000006866 deterioration Effects 0.000 description 7
- 238000007689 inspection Methods 0.000 description 7
- 230000003321 amplification Effects 0.000 description 6
- 230000015556 catabolic process Effects 0.000 description 6
- 238000006731 degradation reaction Methods 0.000 description 6
- 238000009795 derivation Methods 0.000 description 6
- 230000000694 effects Effects 0.000 description 6
- 238000003199 nucleic acid amplification method Methods 0.000 description 6
- 238000012937 correction Methods 0.000 description 5
- 230000006872 improvement Effects 0.000 description 5
- 230000003595 spectral effect Effects 0.000 description 5
- 230000008878 coupling Effects 0.000 description 4
- 238000010168 coupling process Methods 0.000 description 4
- 238000005859 coupling reaction Methods 0.000 description 4
- 238000003860 storage Methods 0.000 description 4
- 239000013077 target material Substances 0.000 description 4
- 239000013076 target substance Substances 0.000 description 4
- 238000012546 transfer Methods 0.000 description 4
- 241000287828 Gallus gallus Species 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 3
- 238000004422 calculation algorithm Methods 0.000 description 3
- 238000004590 computer program Methods 0.000 description 3
- 238000013527 convolutional neural network Methods 0.000 description 3
- 230000002787 reinforcement Effects 0.000 description 3
- 239000000758 substrate Substances 0.000 description 3
- 235000018185 Betula X alpestris Nutrition 0.000 description 2
- 235000018212 Betula X uliginosa Nutrition 0.000 description 2
- 230000002146 bilateral effect Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 230000000052 comparative effect Effects 0.000 description 2
- 235000013305 food Nutrition 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 229920000139 polyethylene terephthalate Polymers 0.000 description 2
- 239000005020 polyethylene terephthalate Substances 0.000 description 2
- 238000007781 pre-processing Methods 0.000 description 2
- 239000000126 substance Substances 0.000 description 2
- WFKWXMTUELFFGS-UHFFFAOYSA-N tungsten Chemical compound [W] WFKWXMTUELFFGS-UHFFFAOYSA-N 0.000 description 2
- 229910052721 tungsten Inorganic materials 0.000 description 2
- 239000010937 tungsten Substances 0.000 description 2
- RYGMFSIKBFXOCR-UHFFFAOYSA-N Copper Chemical compound [Cu] RYGMFSIKBFXOCR-UHFFFAOYSA-N 0.000 description 1
- -1 Polyethylene terephthalate Polymers 0.000 description 1
- 229910052782 aluminium Inorganic materials 0.000 description 1
- XAGFODPZIPBFFR-UHFFFAOYSA-N aluminium Chemical compound [Al] XAGFODPZIPBFFR-UHFFFAOYSA-N 0.000 description 1
- 229910052802 copper Inorganic materials 0.000 description 1
- 239000010949 copper Substances 0.000 description 1
- 230000005670 electromagnetic radiation Effects 0.000 description 1
- 229910052500 inorganic mineral Inorganic materials 0.000 description 1
- 238000004020 luminiscence type Methods 0.000 description 1
- 235000013372 meat Nutrition 0.000 description 1
- 229910052751 metal Inorganic materials 0.000 description 1
- 239000002184 metal Substances 0.000 description 1
- 239000011707 mineral Substances 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 239000011347 resin Substances 0.000 description 1
- 229920005989 resin Polymers 0.000 description 1
- 235000014102 seafood Nutrition 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 235000011888 snacks Nutrition 0.000 description 1
- 230000008685 targeting Effects 0.000 description 1
- 238000000411 transmission spectrum Methods 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01T—MEASUREMENT OF NUCLEAR OR X-RADIATION
- G01T1/00—Measuring X-radiation, gamma radiation, corpuscular radiation, or cosmic radiation
- G01T1/16—Measuring radiation intensity
- G01T1/20—Measuring radiation intensity with scintillation detectors
- G01T1/208—Circuits specially adapted for scintillation detectors, e.g. for the photo-multiplier section
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
- A61B6/42—Arrangements for detecting radiation specially adapted for radiation diagnosis
- A61B6/4208—Arrangements for detecting radiation specially adapted for radiation diagnosis characterised by using a particular type of detector
- A61B6/4233—Arrangements for detecting radiation specially adapted for radiation diagnosis characterised by using a particular type of detector using matrix detectors
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
- A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
- A61B6/5205—Devices using data or image processing specially adapted for radiation diagnosis involving processing of raw data to produce diagnostic data
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
- A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
- A61B6/5258—Devices using data or image processing specially adapted for radiation diagnosis involving detection or reduction of artifacts or noise
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N23/00—Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00
- G01N23/02—Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00 by transmitting the radiation through the material
- G01N23/04—Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00 by transmitting the radiation through the material and forming images of the material
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N23/00—Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00
- G01N23/02—Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00 by transmitting the radiation through the material
- G01N23/06—Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00 by transmitting the radiation through the material and measuring the absorption
- G01N23/083—Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00 by transmitting the radiation through the material and measuring the absorption the radiation being X-rays
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01T—MEASUREMENT OF NUCLEAR OR X-RADIATION
- G01T1/00—Measuring X-radiation, gamma radiation, corpuscular radiation, or cosmic radiation
- G01T1/16—Measuring radiation intensity
- G01T1/17—Circuit arrangements not adapted to a particular type of detector
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/09—Supervised learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/60—Image enhancement or restoration using machine learning, e.g. neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N2223/00—Investigating materials by wave or particle radiation
- G01N2223/10—Different kinds of radiation or particles
- G01N2223/101—Different kinds of radiation or particles electromagnetic radiation
- G01N2223/1016—X-ray
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N2223/00—Investigating materials by wave or particle radiation
- G01N2223/40—Imaging
- G01N2223/401—Imaging image processing
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N2223/00—Investigating materials by wave or particle radiation
- G01N2223/50—Detectors
- G01N2223/501—Detectors array
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N2223/00—Investigating materials by wave or particle radiation
- G01N2223/50—Detectors
- G01N2223/505—Detectors scintillation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10116—X-ray image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20172—Image enhancement details
- G06T2207/20182—Noise reduction or smoothing in the temporal domain; Spatio-temporal filtering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
- G06T2207/30128—Food products
Landscapes
- Health & Medical Sciences (AREA)
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Pathology (AREA)
- Theoretical Computer Science (AREA)
- Molecular Biology (AREA)
- Medical Informatics (AREA)
- Immunology (AREA)
- Biochemistry (AREA)
- Analytical Chemistry (AREA)
- Chemical & Material Sciences (AREA)
- High Energy & Nuclear Physics (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Software Systems (AREA)
- Mathematical Physics (AREA)
- Toxicology (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Surgery (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Optics & Photonics (AREA)
- Radiology & Medical Imaging (AREA)
- Heart & Thoracic Surgery (AREA)
- Animal Behavior & Ethology (AREA)
- Public Health (AREA)
- Veterinary Medicine (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Computational Linguistics (AREA)
- Quality & Reliability (AREA)
- Analysing Materials By The Use Of Radiation (AREA)
- Apparatus For Radiation Diagnosis (AREA)
Abstract
本发明的图像取得装置(1)具备:相机(10),其沿一个方向扫描并拍摄透过对象物的放射线,而取得X射线图像;闪烁器(11),其设置于相机(10)上,将X射线转换为光;及控制装置(20),其将X射线图像输入预先使用图像数据通过机器学习而构建的学习完毕模型,执行从X射线图像去除噪声的噪声去除处理,相机(10)包含:扫描相机(12),其由具有沿一个方向排列的M个(M为2以上的整数)像素(72)的像素线(74)沿与一个方向正交的方向排列N列(N为2以上的整数)而构成,并对每个像素(72)输出与光相关的检测信号;及读出电路(73),其对扫描相机(12)的N列的每一像素线(74),将从M个像素中的至少2个像素(72)输出的检测信号相加,依次输出相加的N个检测信号,从而输出X射线图像。
Description
技术领域
实施方式的一个方面涉及一种放射线图像取得装置、放射线图像取得***及放射线图像取得方法。
背景技术
目前,已使用一种装置,其通过设置多行与对象物的搬送方向正交配置的线传感器,并将从多行线传感器输出的检测数据相加,从而取得透过对象物的X射线等电磁波的分布作为图像数据。根据此种装置,在检测透过对象物的电磁波的图像数据中,可获得积分曝光效应。
现有技术文献
专利文献
专利文献1:日本再公表专利WO2019/082276号公报
专利文献2:日本特开2019-158663号公报
发明内容
发明要解决的技术问题
在如上述的现有的装置中,通过将从多行线传感器获得的检测数据相加,在加法结果中随着信号值提高而噪声值也存在增加的倾向。因此,在图像数据中S/N比(Signal/Noise:信号/噪声)有时未充分地提高。
因此,实施方式的一个方面是鉴于该问题而完成的,其课题在于,提供一种可有效提高放射线图像的S/N比的放射线图像取得装置、放射线图像取得***及放射线图像取得方法。
解决课题的技术手段
实施方式的一个方面的放射线图像取得装置具备:拍摄装置,其沿一个方向扫描并拍摄透过对象物的放射线,而取得放射线图像;闪烁器,其设置于拍摄装置上,将放射线转换为光;及图像处理模块,其将放射线图像输入预先使用图像数据通过机器学习而构建的学习完毕模型,执行从放射线图像去除噪声的噪声去除处理,拍摄装置包含:检测元件,其由具有沿一个方向排列的M个(M为2以上的整数)像素的像素线(pixel line)沿与一个方向正交的方向排列N列(N为2以上的整数)而构成,并对每个像素输出与光相关的检测信号;及读出电路,其对检测元件的N列的每一像素线,将从M个像素中的至少2个像素输出的检测信号相加,依次输出相加的N个检测信号,从而输出放射线图像。
或者,实施方式的其他方面的放射线图像取得***具备:上述的放射线图像取得装置;产生源,其朝对象物照射放射线;及搬送装置,其将对象物相对于拍摄装置朝一个方向搬送。
或者,实施方式的其他方面的放射线图像取得方法具备:沿一个方向扫描并拍摄与透过对象物的放射线对应的闪烁光,而取得放射线图像的步骤;及将放射线图像输入预先使用图像数据通过机器学习而构建的学习完毕模型,执行从放射线图像去除噪声的噪声去除处理的步骤,在取得步骤中,使用检测元件,对检测元件的N列的每一像素线,将从M个像素中的至少2个像素输出的检测信号相加,依次输出相加的N个检测信号,从而输出放射线图像,其中,该检测元件由具有沿一个方向排列的M个(M为2以上的整数)像素的像素线沿与一个方向正交的方向排列N列(N为2以上的整数)而构成,并对每个像素输出与闪烁光相关的检测信号。
根据上述一个方面或者其他方面的任一方面,与透过对象物的放射线对应的闪烁光,通过像素线(像素线具有沿对象物的扫描方向排列的M个像素)以N列排列的检测元件进行检测,对每个像素线将输出的M个像素的检测信号中的至少2个像素的检测信号相加,依次输出相加的N个检测信号,从而输出放射线图像。此外,通过将输出的放射线图像输入预先使用图像数据通过机器学习而构建的学习完毕模型,来对该放射线图像实施噪声去除处理。由此,可增大放射线图像中的信号成分并且去除噪声成分,可有效提高放射线图像的S/N比。
发明的效果
根据实施方式,可有效提高放射线图像的S/N比。
附图说明
图1是第1实施方式的图像取得装置1的概略结构图。
图2是示出图1的扫描相机12的结构的俯视图。
图3是示出图1的控制装置20的硬件结构的一例的框图。
图4是示出图1的控制装置20的功能结构的框图。
图5是示出图4的图像取得部203所取得的X射线图像的一例的图。
图6是示出由图4的噪声图生成部204的噪声标准偏差图的生成例的图。
图7是示出图4的学习完毕模型207的输入输出数据的一例的图。
图8是示出用于构建学习完毕模型207的训练数据的一个即训练图像的一例的图。
图9是示出由构建部206构建学习完毕模型207所使用的示教数据(训练数据)即图像数据的制作顺序的流程图。
图10是示出由图像取得装置1执行的观察处理顺序的流程图。
图11是示出本公开的变形例的控制装置20A的功能结构的框图。
图12是示出由本公开的变形例的图像取得装置1执行的观察处理的顺序的流程图。
图13是示出由图11的算出部202A执行的透过X射线的能谱的仿真计算结果的一例的图表。
图14是示出由图11的算出部202A导出的、对象物的厚度与平均能量及透过率的关系的仿真计算结果的一例的图表。
图15是示出由图11的算出部202A导出的、对象物的厚度与X射线的透过率的关系的仿真计算结果的一例的图表。
图16是示出由图11的算出部202A导出的、对象物的厚度与透过X射线的平均能量的关系的仿真计算结果的一例的图表。
图17是示出由图11的算出部202A导出的、X射线图像的像素值与平均能量的关系的仿真计算结果的一例的图表。
图18是示出X射线图像的像素值与噪声值的标准偏差的关系的仿真计算结果的一例的图表。
图19是示出在图11的算出部202A导出的、对象物的材质变化时的像素值与噪声值的标准偏差的关系的一例的图表。
图20是示出本公开的另一变形例的控制装置20B的功能结构的框图。
图21是示出由本公开的另一变形例的图像取得装置1执行的观察处理顺序的流程图。
图22是示出由图20的噪声图生成部204B的噪声标准偏差图的生成例的图。
图23是示出在本公开的另一变形例的图像取得装置1中用于拍摄的治具的结构的一例的立体图。
图24是示出图23的治具的拍摄图像的一例的图。
图25是示出第2实施方式的控制装置20C的功能结构的框图。
图26是示出用于构建图25的学习完毕模型206C的示教数据即图像数据的一例的图。
图27是示出图25的选择部204C的解析对象的X射线透过图像的一例的图。
图28是示出图25的选择部204C所取得的厚度-亮度的特性曲线图的一例的图。
图29是示出图25的选择部204C所取得的亮度-SNR的特性曲线图的一例的图。
图30是示出由图25的选择部204C执行的基于图像特性的学习完毕模型的选择功能的图。
图31是示出用于由图25的选择部204C执行的分辨率的评估的X射线透过图像的一例的图。
图32是示出用于由图25的选择部204C执行的亮度-噪声比的评估的的治具的结构的一例的立体图。
图33是示出以图32的治具为对象而获得的噪声去除处理后的X射线透过图像的图。
图34是示出使用第2实施方式的图像取得装置1的观察处理的顺序的流程图。
图35是示出第2实施方式的变形例的控制装置20D的功能结构的框图。
图36是示出使用第2实施方式的变形例的图像取得装置1的观察处理的顺序的流程图。
图37是示出第3实施方式的变形例的控制装置20E的功能结构的框图。
图38是示出用于构建图37的学习完毕模型206E的示教数据即图像数据的一例的图。
图39是示出图37的确定部202E的解析对象的X射线透过图像的一例的图。
图40是示出图37的确定部202E所取得的厚度-亮度的特性曲线的一例的图。
图41是示出图37的确定部202E所取得的亮度-SNR的特性曲线的一例的图。
图42是示出用于由图37的确定部202E执行的分辨率的评估的X射线透过图像的一例的图。
图43用于说明由图37的选择部204E执行的基于图像特性的学习完毕模型的选择功能的图。
图44是示出用于由图37的选择部204E执行的亮度-噪声比的评估的治具的结构的一例的立体图。
图45是示出以图44的治具为对象而获得的噪声去除处理后的X射线透过图像的图。
图46是示出使用第3实施方式的图像取得装置1的观察处理顺序的流程图。
具体实施方式
以下,参照附图,详细地说明本发明的实施方式。此外,在说明中,对相同要素或具有相同功能的要素使用相同符号,并且省略重复的说明。
图1是本实施方式的放射线图像取得装置及放射线图像取得***即图像取得装置1的结构图。如图1所示,图像取得装置1,对沿搬送方向TD搬送的对象物F照射X射线(放射线),并取得基于透过对象物F的X射线而拍摄了对象物F的X射线透过图像(放射线图像)的装置。图像取得装置1使用X射线透过图像,进行以对象物F为对象的异物检查、重量检查、检验品检查等,作为用途,可列举食品检查、随身行李检查、基板检查、电池检查、材料检查等。图像取得装置1构成为具备:带式输送机(搬送装置)60、X射线照射器(放射线产生源)50、X射线检测相机(拍摄装置)10、控制装置(图像处理模块)20、显示装置30、及用于进行各种输入的输入装置40。此外,本公开的实施方式的放射线图像并不限于X射线图像,也包含通过γ线等X射线以外的电磁放射线而产生的图像。
带式输送机60具有载置有对象物F的带部,通过使该带部沿搬送方向(一个方向)TD移动,而将对象物F以规定的搬送速度沿搬送方向TD搬送。对象物F的搬送速度例如为48m/分钟。带式输送机60可根据需要,将搬送速度变更为例如24m/分钟、或96m/分钟等搬送速度。另外,带式输送机60可适当变更带部的高度位置,变更X射线照射器50与对象物F的距离。此外,作为由带式输送机60搬送的对象物F,例如可列举食用肉、海鲜、农作物、点心等食品、轮胎等橡胶产品、树脂产品、金属产品、矿物等资源材料、废弃物、及电子部件或电子基板等各种物品。X射线照射器50是作为X射线源将X射线向对象物F照射(输出)的装置。X射线照射器50是点光源,沿一定的照射方向在规定的角度范围使X射线扩散地照射。X射线照射器50,以X射线的照射方向朝向带式输送机60,并且扩散的X射线达到对象物F的宽度方向(与搬送方向TD交叉的方向)整体的方式,从带式输送机60分开规定的距离地配置在带式输送机60的上方。另外,X射线照射器50,在对象物F的长度方向(与搬送方向TD平行的方向)上,将长度方向上的规定的分割范围设为照射范围,并且对象物F被带式输送机60向搬送方向TD搬送,从而,对对象物F的长度方向整体照射X射线。X射线照射器50通过控制装置20设定管电压及管电流,将与所设定的管电压及管电流相对应的规定的能量、放射线量的X射线朝向带式输送机60照射。另外,在X射线照射器50的带式输送机60侧的附近,设置有使X射线的规定波长频带透过的滤波器51。
X射线检测相机10检测由X射线照射器50向对象物F照射的X射线中的、透过对象物F的X射线,取得并输出基于该X射线的信号。本实施方式的图像取得装置1,通过依序输出基于透过由带式输送机60搬送的对象物F的X射线的检测信号,沿搬送方向TD扫描X射线透过像并输出拍摄的X射线透过图像。
X射线检测相机10具有:滤波器19、闪烁器11、扫描相机12(检测元件)、传感器控制部13、放大器14、AD转换器15、修正电路16、输出接口17、及放大器控制部18。闪烁器11、扫描相机12、放大器14、AD转换器15、修正电路16、及输出接口17分别电连接。
闪烁器11通过粘接等固定在扫描相机12上,将透过对象物F的X射线转换成闪烁光。闪烁器11将闪烁光输出至扫描相机12。滤波器19使X射线的规定波长频带朝向闪烁器11地透过。
扫描相机12检测来自闪烁器11的闪烁光,并转换成电荷,作为检测信号(电信号)输出至放大器14。图2是示出扫描相机12的结构的俯视图。如图2所示,扫描相机12具备:光电二极管(光电转换元件)即多个像素72,其2维排列于基板71上;读出电路73,其将多个像素72对闪烁光进行光电转换并输出的检测信号输出至外部;及配线部W,其将读出电路73与多个像素72中的各个之间电连接。
详细而言,扫描相机12具有以下的结构:在基板71上,由沿搬送方向TD排列的M个(M为2以上的整数)像素72构成的像素线(像素群)74,在与搬送方向TD大致正交的方向上以N列(N为2以上的整数)进行排列。例如,像素数M为4个,像素线数N为200以上30000以下的任意整数。
读出电路73根据传感器控制部13的控制,对每个像素线74依次接收从M个像素72以规定的检测周期(细节将在后述。)的间隔输出的检测信号,并进行将来自M个像素72的检测信号中的至少2个像素72的检测信号相加(合计)的处理,组合对每个像素线74实施了的加法处理的检测信号,作为与搬送方向TD正交的对象物F的1行的检测信号而输出至外部。本实施方式中,读出电路73以M个所有的检测信号为对象,进行加算处理。此外,读出电路73通过错开规定的检测周期,以从M个像素72依次输出的检测信号为对象,进行加算处理,从而输出与搬送方向TD正交的对象物F的下1行的检测信号。同样地,读出电路73依次输出与搬送方向TD正交的对象物F的多行的检测信号。
传感器控制部13以扫描相机12的像素线74内的所有像素72可拍摄透过对象物F的相同区域的X射线的方式,控制扫描相机12以规定的检测周期重复拍摄。规定的检测周期也可基于扫描相机12的像素线74内的像素72的像素宽度而设定。规定的检测周期例如也可基于扫描相机12的像素线74内的像素72间的距离、带式输送机60的速度、X射线照射器50与带式输送机60上的对象物F的距离(FOD(Focus Object Distance:线源物体间距离))、以及X射线照射器50与扫描相机12的距离(FDD(Focus Detector Distance:线源传感器间距离)),确定扫描相机12的像素线74内的像素72的检测时序(timing)的偏差(延迟时间),并基于该偏差设定规定的检测周期。
放大器14以规定的设定放大率将检测信号放大并产生放大信号,并将该放大信号输出至AD转换器15。设定放大率是通过放大器控制部18设定的放大率。放大器控制部18基于规定的拍摄条件,设定放大器14的设定放大率。
AD转换器15将由放大器14输出的放大信号(电压信号)转换成数字信号,并输出至修正电路16。修正电路16对数字信号进行信号放大等规定的修正,并将修正后的数字信号输出至输出接口17。输出接口17将数字信号输出至X射线检测相机10外部。
控制装置20例如是PC(Personal Computer)等计算机。控制装置20基于与从X射线检测相机10(更详细而言,输出接口17)依次输出的多行的检测信号对应的数字信号(放大信号),产生X射线透过图像。在本实施方式中,控制装置20基于从输出接口17输出的128行量的数字信号,产生1个X射线透过图像。产生的X射线透过图像在实施后述的噪声去除处理之后被输出至显示装置30,并由显示装置30显示。另外,控制装置20控制X射线照射器50、放大器控制部18、及传感器控制部13。此外,本实施方式的控制装置20是独立地设置在X射线检测相机10的外部的装置,但也可在X射线检测相机10的内部一体化。
图3示出控制装置20的硬件结构。如图3所示,控制装置20是在物理上包含作为处理器的CPU(Central Processing Unit)101及GPU 105(Graphic Processing Unit)、作为记录介质的RAM(Random Access Memory)102及ROM(Read Only Memory)103、通信模块104、及输入输出模块106等的计算机等,各个电连接。此外,控制装置20也可包含显示器、键盘、鼠标、触控面板显示器(touch panel display)等作为输入装置40及显示装置30,也可包含硬盘驱动器、半导体内存等数据记录装置。另外,控制装置20也可由多个计算机构成。
图4是示出控制装置20的功能结构的框图。控制装置20具备:输入部201、算出部202、图像取得部203、噪声图生成部204、处理部205、及构建部206。图4所示的控制装置20的各功能部通过以下而实现,即,通过在CPU 101、GPU 105及RAM 102等硬件上读入程序(第1实施方式的放射线图像处理程序),来在CPU 101及GPU 105的控制下,使通信模块104、及输入输出模块106等动作,并且进行RAM 102的数据的读出及写入。控制装置20的CPU 101及GPU 105通过执行该计算机程序而使控制装置20作为图4的各功能部发挥功能,依次执行与后述的放射线图像取得处理方法对应的处理。此外,CPU 101及GPU 105也可为单体的硬件,也可以为仅任意一方。此外,CPU 101及GPU 105也可如软件处理器那样地安装在如FPGA的可程序化逻辑器之中。关于RAM或ROM,也可为单体的硬件,也可内置在如FPGA的可程序化逻辑器之中。执行该计算机程序所需的各种数据、及通过执行该计算机程序而产生的各种数据全部储存在ROM 103、RAM 102等内置内存、或硬盘驱动器等记忆介质。此外,在控制装置20内的内置内存或记忆介质中,预先存储有:学习完毕模型207(后述),其通过被CPU 101及GPU 105读入,而使CPU 101及GPU 105以X射线图像(X射线透过图像)为对象执行噪声去除处理(后述)。
以下,针对控制装置20的各功能部的功能的细节进行说明。
输入部201接收照射放射线拍摄对象物F时的放射线的产生源的条件、或者表示任意的拍摄条件等的条件信息的输入。具体而言,输入部201从图像取得装置1的用户接收拍摄对象物F时的X射线照射器(放射线产生源)50的动作条件、或者表示X射线检测相机10的拍摄条件等的条件信息的输入。作为动作条件,可列举管电压、靶(target)角度、靶的材料等中的全部或一部分。作为表示拍摄条件的条件信息,可列举:配置于X射线照射器50与X射线检测相机10之间的滤波器51、19的材质及厚度、X射线照射器50与X射线检测相机10的距离(FDD)、X射线检测相机10的窗材料的种类、及与X射线检测相机10的闪烁器11的材料及厚度相关的信息、X射线检测相机信息(例如,增益设定值、电路噪声值、饱和电荷量、转换系数值(e-/count)、相机的行频(line rate)(Hz)或线速度(line speed)(m/min))、对象物F的信息等中的全部或一部分。输入部201也可将条件信息的输入作为数值等的信息的直接输入而接收,也可作为对预先设定于内部存储器的数值等的信息的选择输入而接收。输入部201从用户接收上述的条件信息的输入,但也可根据由控制装置20执行的控制状态的检测结果而取得一部分的条件信息(管电压等)。
算出部202基于条件信息,算出与透过对象物F的X射线(放射线)有关的平均能量的值。在条件信息中至少包含:产生源的管电压、与对象物F有关的信息、用于拍摄对象物F的相机所具备的滤波器的信息、相机所具备的闪烁器的信息、X射线产生源所具备的滤波器的信息中的任一个。具体而言,算出部202基于由输入部201接收的条件信息,算出使用图像取得装置1透过对象物F并通过X射线检测相机10检测的X射线的平均能量的值。例如,算出部202,基于条件信息中包含的、管电压、靶角度、靶的材料、滤波器51、19的材质及厚度及其有无、X射线检测相机10的窗材料的种类及其有无、X射线检测相机10的闪烁器11的材料及厚度等信息,使用例如公知的Tucker等的近似式算出由X射线检测相机10检测的X射线的频谱(spectrum)。并且,算出部202根据X射线的频谱,进一步算出频谱强度积分值与光子数积分值,并将频谱强度积分值除以光子数积分值,从而算出X射线的平均能量的值。
对于使用公知的Tucker的近似式的算出方法进行记载。例如,算出部202,在将靶确定为钨,并将靶角度确定为25°时,可决定:Em:电子靶碰撞时的运动能量、T:靶中的电子运动能量、A:由靶物质的原子序数决定的比例常数、ρ:靶的密度、μ(E):靶物质的线减弱系数、B:和缓地变化的Z与T的函数、C:Thomson-Whiddington常数、θ:靶角度、c:真空中的光速。进而,算出部202基于此,通过计算下述式(1),可算出照射X射线频谱。
此外,Em可根据管电压的信息决定,A、ρ、μ(E)可根据对象物F的材料的信息决定,θ可根据对象物F的角度的信息决定。
接着,算出部202可使用下述式(2)的X射线的减弱式,算出透过滤波器及对象物F并被闪烁器吸收的X射线能谱。
I=I0e-μx (2)
此处,μ是对象物F、滤波器、闪烁器等的减弱是数,x是对象物F、滤波器、闪烁器等的厚度。μ可根据对象物F、滤波器、及闪烁器的材质的信息决定,x可根据对象物F、滤波器、及闪烁器的厚度的信息决定。X射线光子数谱通过将该X射线能谱除以各X射线的能量而求得。算出部202通过将能量强度的积分值除以光子数的积分值,使用下述式(3),算出X射线的平均能量。
平均能量E=频谱强度积分值/光子数积分值…(3)
通过上述的计算过程,算出部202算出X射线的平均能量。此外,关于X射线频谱的算出,也可使用公知的Kramers、或Birch等的近似式。
图像取得部203,对对象物F照射放射线,取得拍摄有透过对象物F的放射线的放射线图像。具体而言,图像取得部203基于从X射线检测相机10(更详细而言,输出接口17)输出的数字信号(放大信号),产生X射线图像。图像取得部203基于从输出接口17输出的多行量的数字信号,产生1个X射线图像。图5是示出图像取得部203所取得的X射线图像的一例的图。
噪声图生成部204基于表示像素值与评估噪声值的扩大的评估值的关系的关系数据,从放射线图像的各像素的像素值导出评估值,生成将导出的评估值与放射线图像的各像素建立对应的数据即噪声图。此时,噪声图生成部204从与透过对象物F的放射线相关的平均能量,及放射线图像的各图像的像素值,导出评估值。具体而言,噪声图生成部204使用像素值与噪声值的标准偏差(评估噪声值的扩大的评估值)的关系式(关系数据),从通过算出部202算出的X射线的平均能量,及通过图像取得部203取得的X射线图像(放射线图像)的各像素的像素值,导出噪声值的标准偏差。噪声图生成部204通过将导出的噪声值的标准偏差与X射线图像的各像素建立对应,生成噪声标准偏差图(噪声图)。
由噪声图生成部204使用的像素值及平均能量与噪声值的标准偏差的关系式以下式(4)表示。
上述式(4)中,变量Noise为表示噪声值的标准偏差的信息,变量Signal为表示像素的信号值(像素值)的信息,常数F为表示噪声因子(Noise Factor)的信息,常数M为表示闪烁器的放大率的信息,常数C为表示X射线检测相机10中扫描相机12与闪烁器11的耦合效率(Coupling Efficiency)的信息,常数Q为表示扫描相机12的量子效率(QuantumEfficiency)的信息,常数cf为表示扫描相机12中将像素的信号值转换为电荷的转换系数的信息,变量Em为表示X射线的平均能量的信息,常数D为表示图像传感器中因热杂音而产生的暗电流噪声的信息,常数R为表示扫描相机12中的读出噪声的信息。使用上述式(4)时,通过噪声图生成部204,将通过图像取得部203取得的X射线图像的各像素的像素值代入变数Signal,将通过算出部202算出的平均能量的数值代入变数Em。并且,通过噪声图生成部204,获得使用上述式(4)计算的变量Noise,作为噪声值的标准偏差的数值。此外,包含平均能量的其他参数也可通过由输入部201接收输入而取得,也可预先设定。
图6是示出由噪声图生成部204的噪声标准偏差图的生成例的图。噪声图生成部204使用像素值与噪声值的标准偏差的关系式(4),将各种像素值代入变数Signal而取得像素值与变量Noise的对应关系,从而导出表示像素值与噪声值的标准偏差的对应关系的关系图表G3。并且,噪声图生成部204从通过图像取得部203取得的X射线图像G1,导出表示各个像素位置与像素值的对应关系的关系数据G2。另外,噪声图生成部204通过将关系图表G3所示的对应关系应用于关系数据G2的各像素值,导出与X射线图像的各像素位置的像素对应的噪声值的标准偏差。其结果,噪声图生成部204将导出的噪声的标准偏差与各像素位置建立对应,导出示出各个像素位置与噪声的标准偏差的对应关系的关系数据G4。并且,噪声图生成部204基于导出的关系数据G4,生成噪声标准偏差图G5。
处理部205将放射线图像及噪声图输入预先通过机器学习而构建的学习完毕模型207,执行从放射线图像去除噪声的图像处理。即,如图7所示,处理部205从控制装置20内的内置内存或记忆介质取得由构建部206构建的学习完毕模型207(后述)。处理部205将通过图像取得部203取得的X射线图像G1,及通过噪声图生成部204生成的噪声标准偏差图G5输入至学习完毕模型207。由此,处理部205通过利用学习完毕模型207,执行从X射线图像G1去除噪声的图像处理,从而产生输出图像G6。并且,处理部205将产生的输出图像G6输出至显示装置30等。
构建部206,使用放射线图像即训练图像、基于像素值与噪声值的标准偏差的关系式从训练图像生成的噪声图、及从训练图像去除了噪声后的数据即噪声去除图像数据作为训练数据,通过机器学习构建基于训练图像及噪声图输出噪声去除图像数据的学习完毕模型207。构建部206将构建的学习完毕模型207记忆于控制装置20内的内置内存或记忆介质。机器学习有示教学习、无示教学习、强化学习,在这些学习中,有深度学习(deeplearning)、神经网络学习等。第1实施方式中,作为深度学习的算法的一例,采用Kai Zhang等人的论文“Beyond a Gaussian Denoiser:Residual Learning of Deep CNN for ImageDenoising”中记载的2维卷积神经网络。此外,学习完毕模型207除通过构建部206构建以外,也可通过外部的计算机等产生并下载至控制装置20。此外,用于机器学习的放射线图像包含拍摄已知结构物的放射线图像,或再现该放射线图像的图像。
图8示出用于学习完毕模型207的构建的训练数据的一个即训练图像的一例。作为训练图像,可使用以各种厚度、各种材质、及各种分辨率的图案为拍摄对象的X射线透过图像。图8所示的例子是以鸡肉为对象而产生的训练图像G7。该训练图像G7也可使用实际地使用图像取得装置1以多种已知的结构物为对象而产生的X射线图像,也可使用通过仿真计算而产生的图像数据。关于X射线图像,也可为使用与图像取得装置1不同的装置而取得的图像。
构建部206,作为用于进行机器学***均能量。进而,构建部206使用与如图6所示的噪声图生成部204的方法相同的方法,基于X射线的平均能量及该训练图像,生成噪声标准偏差图。即,机器学习方法的前处理方法具备噪声图生成步骤,其中,基于表示像素值与评估噪声值的扩大的评估值的关系的关系数据,从放射线图像的各像素的像素值导出评估值,生成将导出的评估值与放射线图像的各像素建立对应的数据即噪声图。
构建部206使用该训练图像、从该训练图像生成的噪声图、及从训练图像预先去除了噪声的数据即噪声去除图像数据作为训练数据,通过机器学***均值滤波器、或中值滤波器、双边滤波器、NLM滤波器等的图像处理而去除了噪声后的图像,设为噪声去除图像数据。构建部206执行通过机器学习的训练,构建基于该训练图像及噪声标准偏差图而输出噪声去除图像数据的学习完毕模型207。
图9示出由构建部206构建学习完毕模型207所使用的示教数据(训练数据)即图像数据的制作顺序的流程图。
示教数据即图像数据(也称为示教图像数据。)由计算机按照以下的顺序而制作。首先,制作具有规定的结构的结构体的图像(结构体图像)(步骤S301)。例如,也可通过仿真计算制作具有规定的结构的结构体的图像。另外,也可取得具有规定的结构的图表(chart)等的结构体的X射线图像而制作结构体图像。接着,针对从构成该结构体图像的多个像素中选择的一个像素,算出像素值的标准偏差即σ(sigma)值(步骤S302)。然后,基于在步骤S302中求得的σ值设定表示噪声分布的正态分布(泊松分布)(步骤S303)。如此,可通过基于σ值设定正态分布,来产生各种噪声条件的示教数据。接着,依照在步骤S303中基于σ值设定的正态分布,算出随机设定的噪声值(步骤S304)。进而,通过对一个像素的像素值附加在步骤S304中求得的噪声值,产生构成示教数据即图像数据的像素值(步骤S305)。分别对构成结构体图像的多个像素进行步骤S302至步骤S305的处理(步骤S306),产生成为示教数据的示教图像数据(步骤S307)。另外,在还需要示教图像数据的情况下,判断对其他的结构体图像进行步骤S301至步骤S307的处理(步骤S308),产生成为示教数据的其他的示教图像数据。此外,其他的构造体图像也可为具有相同结构的结构体的图像,也可为具有其他的结构的结构体的图像。
此外,用于学习完毕模型207的构建的示教数据即图像数据需要准备多个。另外,结构体图像中,噪声少的图像较佳,理想地,无噪声的图像较佳。因此,若通过仿真计算而产生结构体图像,则可产生多个无噪声的图像,因此,通过仿真计算,产生结构体图像是有效的。
接着,对使用第1实施方式的图像取得装置1的对象物F的X射线透过像的观察处理的顺序,即,第1实施方式的放射线图像取得方法的流程进行说明。图10是示出由图像取得装置1执行的观察处理的顺序的流程图。
首先,通过构建部206,使用训练图像、基于关系式从训练图像生成的噪声标准偏差图,及噪声去除图像数据作为训练数据,通过机器学***均能量的值(步骤S102)。
接着,在图像取得装置1设置对象物F,拍摄对象物F,通过控制装置20取得对象物F的X射线图像(步骤S103)。进而,通过控制装置20,基于像素值与噪声值的标准偏差的关系式,从X射线的平均能量及X射线图像的各像素的像素值,导出噪声值的标准偏差,将导出的噪声的标准偏差与各像素值建立对应,从而生成噪声标准偏差图(步骤S104)。
接着,通过处理部205,对预先构建并记忆的学习完毕模型207输入对象物F的X射线图像及噪声标准偏差图,以X射线图像为对象,执行噪声去除处理(步骤S105)。进而,将通过处理部205实施了噪声去除处理的X射线图像即输出图像输出至显示装置30。(步骤S106)。
根据以上说明的图像取得装置1,与透过对象物F的X射线对应的闪烁光通过以N列排列有像素线74的扫描相机12进行检测,该像素线74具有沿对象物F的扫描方向TD排列的M个像素72,将对每个像素线74输出的M个像素72的检测信号中的至少2个像素72的检测信号相加,依次输出相加的N个检测信号,从而输出X射线图像。此外,通过将输出的X射线图像输入预先通过使用图像数据的机器学习而构建的学习完毕模型207,对该X射线图像实施噪声去除处理。由此,可增大X射线图像中的信号成分并且去除噪声成分,可有效提高X射线图像的S/N比。具体而言,可知:实施使用了学习完毕模型207的噪声去除处理的情况,与未实施噪声去除处理的情况相比,CNR(Contrast to Noise Ratio)改善约6.4倍,与通过双边滤波器的噪声去除处理的CNR的约1.9倍的改善效果相比,改善效果也较大。
另外,在图像取得装置1中,学习完毕模型207是通过将对规定的结构体的X射线图像附加了沿正态分布的噪声值而获得的图像数据作为示教数据的机器学习而构建。由此,容易准备用于构建学习完毕模型207的示教数据即图像数据,可有效构建学习完毕模型207。
另外,根据图像取得装置1,使用像素值与噪声值的标准偏差的关系式,从X射线图像的各图像的像素值导出噪声值的标准偏差,生成将导出的噪声值的标准偏差与X射线图像的各像素建立对应的数据即噪声标准偏差图。并且,将X射线图像及噪声标准偏差图输入预先通过机器学习而构建的学习完毕模型207,执行从X射线图像去除噪声的图像处理。根据该结构,考虑从X射线图像的各像素的像素值导出的噪声值的标准偏差,通过机器学习去除该X射线图像的各像素中的噪声。由此,可使用学习完毕模型207,实现与X射线图像的像素值及噪声值的标准偏差的关系对应的噪声去除。其结果,可有效去除X射线图像中的噪声。
特别是,X射线图像根据管电压、滤波器、闪烁器、X射线检测相机的条件(增益设定值、电路噪声值、饱和电荷量、转换系数值(e-/count)、相机的行频)、对象物等的差异,而噪声的方式变化。因此,在欲通过机器学***均能量、X射线检测相机的增益及X射线相机的种类等每个噪声条件,构建学***均能量为10种,X射线检测相机的增益为8种,制品的种类为3种时,需要240个学习完毕模型,在对于构建学习完毕模型,每1个模型需要1天的情况下,为了机器学习花费240天时间。对于该点,根据本实施方式,从X射线图像生成噪声图,将该噪声图设为机器学习的输入数据,由此可降低产生学习完毕模型所需的噪声条件,用于构建学习完毕模型207的学习时间大幅减少。
[第1实施方式的控制装置20的变形例]
图11是示出第1实施方式的变形例的控制装置20A的功能结构的框图。控制装置20A与上述第1实施方式相比不同之处在于,在算出部202A具有从X射线图像的像素值导出X射线的平均能量的功能这点,以及在噪声图生成部204A具有基于X射线图像的像素值及从该X射线图像导出的X射线的平均能量而导出噪声标准偏差图的功能这点。图12是示出由包含图11的控制装置20A的图像取得装置1执行的观察处理的顺序的流程图。如图12所示,在控制装置20A中,图10所示的第1实施方式的控制装置20的步骤S103所示的处理在步骤S100之后立即进行。并且,在控制装置20A中,置换控制装置20的步骤S102、S104的处理而执行S102A、S104A所示的处理。
算出部202A从放射线图像的各像素的像素值算出平均能量(步骤S102A)。具体而言,算出部202A根据X射线频谱的仿真计算等,对每个条件信息预先导出像素值与平均能量的关系。算出部202A取得至少包含通过输入部201取得的管电压,及X射线检测相机10所具备的闪烁器的信息的条件信息。并且,算出部202A基于该条件信息,从预先导出的像素值与平均能量的关系中,选择与该条件信息对应的关系。进而,算出部202A基于选择的关系,从通过图像取得部203取得的X射线图像的各像素的像素值,导出每个像素的平均能量。
以下,针对由算出部202A执行的、对每个该条件信息的像素值与平均能量的关系的导出,使用图13~图17进行说明。
首先,算出部202A,基于条件信息,导出表示对象物F的厚度与X射线的透过率的关系的图表G18,及表示对象物F的厚度与X射线的平均能量的关系的图表G19。具体而言,如图13的(a)部分~(d)部分所示,算出部202A基于至少包含管电压及X射线检测相机10所具备的闪烁器的信息的条件信息,通过仿真计算,算出将对象物F的厚度进行各种变更的情况下的透过的X射线的能谱G14~G17。图13是示出由算出部202A执行的透过对象物F的X射线的能谱的仿真计算结果的一例的图表。此处,例示使由水构成的对象物F的厚度阶段地增加并进行模拟计算情况下的透过X射线的能谱G14~G17。进而,算出部202A基于算出的能谱G14~G17,算出将对象物F的厚度进行各种变更的情况下的透过的X射线的平均能量。此外,算出部202A除仿真计算以外,也可基于通过以厚度已知的结构物为对象进行拍摄而获得的X射线图像,获得对象物F的厚度与平均能量的关系。
进而,算出部202A也基于上述仿真结果,导出对象物F的厚度与X射线的透过率的关系。图14是示出通过算出部202A导出的、对象物F的厚度与平均能量及透过率的关系的一例的图表。如图14所示,与对对象物F的每个厚度算出的能谱G14~G17的各个对应,导出透过X射线的平均能量及X射线的透过率。
接着,算出部202A从对各种厚度的对象物F导出的X射线的透过率,导出表示对象物F的厚度与X射线的透过率的关系的图表G18。图15是示出由算出部202A导出的、对象物F的厚度与X射线对于对象物F的透过率的关系的图表。此外,算出部202A从对各种厚度的对象物F导出的X射线的平均能量,导出表示对象物F的厚度与X射线的平均能量的关系的图表G19。图16是示出由算出部202A导出的、对象物F的厚度与透过对象物F的X射线的平均能量的关系的一例的图表。
并且,算出部202A基于对各种条件信息的每一个导出的2个图表G18、G19,对各种条件信息的每一个导出如图17所示的表示X射线图像的像素值与平均能量的关系的图表G20。图17是示出由算出部202A导出的、X射线图像的像素值与平均能量的关系的图表。具体而言,算出部202A基于条件信息,导出对象物F不存在时的X射线图透过像的像素值I0。并且,算出部202A设定对象物F存在时的X射线图像的像素值I,计算X射线的透过率即I/I0。进而,算出部202A基于对象物F的厚度与X射线对于对象物F的透过率的图表G18,从计算的X射线的透过率即I/I0,导出对象物F的厚度。最后,算出部202A基于导出的对象物F的厚度,及对象物F的厚度与透过X射线的平均能量的图表G19,导出与该厚度对应的透过X射线的平均能量。接着,算出部202A通过一边使X射线图像的像素值I进行各种变化,一边对各种条件信息的每一个进行上述导出,从而对每个条件信息导出表示X射线图像的像素值与透过X射线的平均能量的关系的图表G20。
此处,针对由算出部202A的基于像素值的平均能量的导出例进行说明。例如,假设以下情况:算出部202A,基于条件信息,将对象物F不存在时的X射线图透过像的像素值导出为I0=5000,将对象物F存在时的X射线图像的像素值设定为I=500。在该情况下,算出部202A计算X射线的透过率为I/I0=0.1。接着,算出部202A基于表示对象物F的厚度与X射线对于对象物F的透过率的关系的图表G18,导出与X射线的透过率0.1对应的厚度为30mm。进而,算出部202A基于表示对象物F的厚度与透过X射线的平均能量的关系的图表G19,导出与像素值500对应的平均能量为27keV。最后,算出部202A对各像素值的每一个重复导出X射线的平均能量,导出表示X射线图像的像素值与平均能量的关系的图表G20。
进而,算出部202A从按以上顺序预先导出的多个图表G20中,选择与通过输入部201取得的条件信息对应的图表G20。算出部202A基于选择的图表G20,导出与通过图像取得部203取得的X射线图像的各像素的像素值对应的透过X射线的平均能量。
此外,算出部202A也可不预先对每个条件信息导出像素值与X射线的平均能量的关系,而从通过输入部201取得的条件信息与X射线图像的各像素的像素值,参照图表G18、G19导出X射线的平均能量。具体而言,算出部202A基于条件信息,导出对象物不存在时的X射线图像的像素值I0。并且,算出部202A通过对由图像取得部203取得的X射线图像的各像素的像素值I的每一个,求得相对于像素值I0的比例,从而计算透过率。进而,算出部202A基于表示厚度与X射线的透过率的关系的图表G18与计算的透过率,导出厚度。并且,算出部202A通过基于表示厚度与平均能量的关系的图表G19与导出的厚度,导出平均能量,从而对X射线图像的各像素的像素值的每一个,导出平均能量。
噪声图生成部204A,从通过图像取得部203取得的X射线图像,及通过算出部202A导出的、与该X射线图像的各像素对应的X射线的平均能量,生成噪声标准偏差图(步骤S104A)。具体而言,噪声图生成部204A,将通过图像取得部203取得的X射线图像的各像素的像素值,及通过算出部202A对各像素的每一个导出的平均能量代入关系式(4),从而导出考虑了对象物的厚度的各像素的每一个的噪声值的标准偏差。噪声图生成部204A生成与X射线图像的各像素对应的噪声值的标准偏差,作为噪声标准偏差图。
图18是表示像素值与噪声值的标准偏差的关系的一例的图表。该图示出通过本变形例的算出部202A及噪声图生成部204A,从X射线图像的像素值导出的噪声值的标准偏差,与X射线图像的像素值的关系。本变形例中,由于考虑对象物的厚度而导出噪声值的标准偏差,因此像素值越增加,对象物的厚度越小,像素的平均能量降低。因此,如也从关系式(4)推定,第1实施方式与本变形例中,像素值增大时的噪声值的标准偏差的变化不同。图18所示的例子中,本变形例的图表G22,相比于第1实施方式的图表G21,像素值增大时的噪声值的标准偏差的增大程度更小。
在第1实施方式的变形例的控制装置20A中,从X射线图像的各像素的像素值计算平均能量。此处,例如,在X射线图像中存在厚度或材质不同的多个对象物的情况下,对每个对象物的平均能量大为不同,无法从X射线图像充分地去除噪声。根据该结构,由于透过对象物F的X射线的平均能量对X射线图像的各像素的像素值的每一个进行计算,因此,例如可考虑厚度或材质的差异等,实现与X射线图像的各像素的像素值与噪声的关系对应的噪声去除。其结果,可有效去除X射线图像中的噪声。
此外,本变形例的控制装置20A使用对各种条件信息的每一个导出的图表G20,来从X射线图像的像素值导出平均能量。此时,也可忽视对象物F的材质差异,从像素值导出平均能量。图19是示出通过算出部202A导出的、X射线图像的像素值与噪声值的标准偏差的关系的图表。此处,也将对象物F的材质变化作为条件信息纳入考虑,导出关系,图表G24示出材质为铝时的导出例,图表G23示出材质为PET(Polyethylene terephthalate)时的导出例,图表G25示出材质为铜时的导出例。如此,即使在对象物F的材质变化的情况下,如果X射线照射器50的管电压及用于拍摄对象物F的X射线检测相机10所具备的闪烁器的信息相同,则像素值与透过X射线的平均能量的关系不大幅变化,因此,像素值与噪声值的标准偏差的关系也不大幅变化。考虑此种性质,控制装置20A可忽视作为条件信息的对象物F的材质差异,从X射线图像的像素值导出平均能量。即使在此种情况下,根据本变形例的控制装置20A,也可实现与像素值及噪声的标准偏差的关系对应的噪声去除。其结果,可有效去除X射线图像中的噪声。
[第1实施方式的控制装置20的另一变形例]
图20是示出第1实施方式的另一变形例的控制装置20B的功能结构的框图。控制装置20B与上述第1实施方式相比不同之处在于,在图像取得部203B具有取得治具的X射线图像的功能这一点,及在噪声图生成部204B具有从治具的X射线图像导出表示像素值与噪声值的标准偏差的关系的图表的功能这一点。图21是示出由包含图20的控制装置20B的图像取得装置1执行的观察处理顺序的流程图。如图21所示,在本变形例的控制装置20B中,置换图10所示的第1实施方式的由控制装置20执行的步骤S101、S102及S104的处理而执行步骤S201、S202所示的处理。
图像取得部203B对治具照射放射线,取得拍摄透过治具的放射线的治具的放射线图像(步骤S201)。具体而言,图像取得部203B使用图像取得装置1,以治具及对象物F为对象,照射X射线,而取得拍摄的X射线图像。作为治具,使用厚度及材质已知的平板状构件等。即,图像取得部203B在观察处理对象物F前,使用图像取得装置1,取得拍摄的治具的X射线图像。并且,图像取得部203B使用图像取得装置1,取得拍摄的对象物F的X射线图像。但,治具及对象物F的X射线图像的取得时序不限定于上述,也可为同时,也可为相反的时序(步骤S103)。此外,图像取得部203B与图像取得部203同样,对对象物F照射X射线,取得拍摄透过对象物F的X射线的X射线图像。
在图像取得装置1设置治具并拍摄治具,噪声图生成部204B从作为该结果而获得的治具的放射线图像,导出表示像素值与评估噪声值的扩大的评估值的关系的关系数据(步骤S202)。具体而言,噪声图生成部204B从治具的X射线图像,导出表示像素值与噪声值的标准偏差的关系的噪声标准偏差图。
图22是示出由噪声图生成部204B的噪声标准偏差图的生成例的图。噪声图生成部204B从治具的X射线图像G26,导出表示像素值与噪声值的标准偏差的对应关系的关系图表G27。并且,噪声图生成部204B与第1实施方式同样,从通过图像取得部203B取得的X射线图像G1,导出表示各个像素位置与像素值的对应关系的关系数据G2。进而,噪声图生成部204通过将关系图表G27所示的对应关系应用于关系数据G2中的各像素,从而导出与X射线图像的各像素位置的像素对应的噪声值的标准偏差。其结果,噪声图生成部204将导出的噪声的标准偏差与各像素位置建立对应,导出表示各个像素位置与噪声的标准偏差的对应关系的关系数据G4。并且,噪声图生成部204基于导出的关系数据G4,生成噪声标准偏差图G5。
针对由噪声图生成部204B的、从治具的X射线图像G26的、表示像素值与噪声值的标准偏差的关系的关系图表G27的导出,进行说明。在图23中,示出用于本变形例的拍摄的治具的构造的一例。治具使用例如厚度沿一个方向阶梯状地变化的构件P1。图24是示出图23的治具的X射线图像的一例。首先,噪声图生成部204B,在治具的X射线图像G26,对治具的每一阶梯(step)导出无噪声时的像素值(以下,记作真像素值),基于真像素值导出噪声值的标准偏差。具体而言,噪声图生成部204B导出治具的某一阶梯的像素值的平均值。并且,噪声图生成部204B将导出的像素值的平均值设为该阶梯的真像素值。噪声图生成部204B,在该阶梯,导出各像素值与真像素值的差作为噪声值。噪声图生成部204B从导出的每个像素值的噪声值,导出噪声值的标准偏差。
并且,噪声图生成部204B导出真像素值与噪声值的标准偏差的关系,作为像素值与噪声值的标准偏差的关系图表G27。具体而言,噪声图生成部204B对治具的每个阶梯,导出真像素值及噪声值的标准偏差。噪声图生成部204B通过将导出的真像素值与噪声值的标准偏差的关系绘制成图表,描绘近似曲线,从而导出表示像素值与噪声值的标准偏差的关系的关系图表G27。此外,对于近似曲线,使用指数近似或线性近似、对数近似、多项式近似、幂方近似等。
在本变形例的控制装置20B中,基于拍摄实际的治具而获得的放射线图像,产生关系数据。由此,获得最适合对象物F的放射线图像的噪声去除的关系数据。其结果,可更有效去除放射线图像中的噪声。
此外,噪声图生成部204B也可不使用治具,从以无对象物的状态变更管电流或曝光时间时的拍摄图像,导出像素值与噪声值的标准偏差的关系。根据该结构,由于基于实际拍摄而获得的放射线图像来产生关系数据,生成噪声图,因此,可实现与像素值及噪声扩大的关系对应的噪声去除。其结果,可更有效去除放射线图像中的噪声。
具体而言,也可为,图像取得部203B取得以无对象物的状态拍摄的多个放射线图像(步骤S201),噪声图生成部204B从通过图像取得部203B取得的放射线图像,导出像素值与噪声值的标准偏差的关系(步骤S202)。多个放射线图像为,放射线的产生源的条件或拍摄条件中的至少一个条件互不相同的多个图像。作为一例,图像取得部203B变更管电流或曝光时间,并且取得在对象物F的观察处理前以无对象物F的状态使用图像取得装置1而拍摄的多个X射线图像。并且,噪声图生成部204B对每个X射线图像导出真像素值,与本变形例同样,基于真像素值导出噪声的标准偏差。进而,噪声图生成部204B与本变形例同样,通过将真像素值与噪声的标准偏差的关系绘制成图表并描绘近似曲线,从而导出表示像素值与噪声值的标准偏差的关系的关系图表。最后,噪声图生成部204B与第1实施方式同样,基于导出的关系图表,从通过图像取得部203B取得的X射线图像生成噪声标准偏差图。
[第2实施方式]
图25是示出第2实施方式的控制装置20C的功能结构的框图。控制装置20C具备:输入部201C、算出部202C、筛选部203C、选择部204C及处理部205C。
另外,在控制装置20C,预先储存有多个以X射线透过图像为对象执行噪声去除处理的学习完毕模型206C。多个学习完毕模型206C分别是以图像数据作为示教数据预先构建的由机器学习产生的学习模型。关于机器学习,有示教学习、深层学习(deep learning)、或者强化学习、神经网络学习等。在本实施方式中,作为深度学习的算法的一例,采用张凯(Kai Zhang)等的论文“Beyond a Gaussian Denoiser:Residual Learning of Deep CNNfor Image Denoising”中记载的二维的卷积神经网络。多个学习完毕模型206C也可由外部的计算机等产生并下载至控制装置20C,也可在控制装置20C内产生。
在图26中,示出用于学***均能量不同的透过X射线为对象而获得的图像数据且噪声分布为已知的图像数据来预先构建。图像数据的X射线的平均能量,分别通过设定图像取得装置1的X射线照射器(放射线产生源)50的动作条件、或图像取得装置1的拍摄条件等,或者通过设定仿真计算时的X射线照射器50的动作条件或拍摄条件,来预先设定成不同的值(关于通过动作条件或拍摄条件的平均能量的设定方法将于后述。)。即,多个学***均能量对应的X射线图像。例如,在本实施方式中,多个学***均能量设定为10keV、20keV、30keV、…及10keV刻度的值的多种图像数据而构建。
用于构建学习完毕模型206C的示教数据即图像数据通过与上述第1实施方式的制作顺序相同的制作顺序产生。
以下,返回图25,对控制装置20C的各功能部的功能的详情进行说明。
输入部201C从图像取得装置1的用户接收拍摄对象物F的X射线透过图像时的X射线照射器(放射线产生源)50的动作条件、或者表示X射线检测相机10的拍摄条件等的条件信息的输入。作为动作条件,可列举管电压、靶(target)角度、靶的材料等中的全部或一部分。作为表示拍摄条件的条件信息,可列举:配置于X射线照射器50与X射线检测相机10之间的滤波器51、19(用于对象物的拍摄的相机所具备的滤波器或者产生源所具备的滤波器)的材质及厚度、X射线照射器50与X射线检测相机10的距离(FDD)、X射线检测相机10的窗材料的种类、及与X射线检测相机10的闪烁器11的材料及厚度相关的信息、X射线检测相机信息(例如,增益设定值、电路噪声值、饱和电荷量、转换系数值(电子数/count)、相机的行频(line rate)(Hz)或线速度(line speed)(m/min))、对象物的信息等中的全部或一部分。输入部201C也可将条件信息的输入作为数值等的信息的直接输入而接收,也可作为对预先设定于内部存储器的数值等的信息的选择输入而接收。输入部201C从用户接收上述的条件信息的输入,但也可根据由控制装置20C执行的控制状态的检测结果而取得一部分的条件信息(管电压等)。
算出部202C基于由输入部201C接收的条件信息,算出使用图像取得装置1透过对象物F并通过X射线检测相机10检测的X射线(放射线)的平均能量的值。例如,算出部202C,基于条件信息中包含的、管电压、靶角度、靶的材料、滤波器的材质及厚度及其有无、窗材料的种类及其有无、X射线检测相机10的闪烁器11的材料及厚度等信息,使用例如公知的Tucker等的近似式算出由X射线检测相机10检测的X射线的频谱(spectrum)。并且,算出部202C根据X射线的频谱,进一步算出频谱强度积分值与光子数积分值,并将频谱强度积分值除以光子数积分值,从而算出X射线的平均能量的值。
对于使用公知的Tucker的近似式的算出方法进行记载。例如,算出部202C,在将靶确定为钨,并将靶角度确定为25°时,可决定:Em:电子靶碰撞时的运动能量、T:靶中的电子运动能量、A:由靶物质的原子序数决定的比例常数、ρ:靶的密度、μ(E):靶物质的线减弱系数、B:和缓地变化的Z与T的函数、C:Thomson-Whiddington常数、θ:靶角度、c:真空中的光速。进而,算出部202C基于此,通过计算上述式(1),可算出照射X射线频谱。
接着,算出部202C可使用上述式(2)的X射线的减弱式,算出透过滤波器及对象物F并被闪烁器吸收的X射线能谱。X射线光子数谱通过将该X射线能谱除以各X射线的能量而求得。算出部202C通过将能量强度的积分值除以光子数的积分值,使用上述式(3),算出X射线的平均能量。通过上述的计算过程,算出部202C算出X射线的平均能量。此外,关于X射线频谱的算出,也可使用公知的Kramers、或Birch等的近似式。
筛选部203C,基于由算出部202C算出的平均能量的值,从预先构建的多个学***均能量的值与用于多个学***均能量的值进行比较,将通过平均能量的值相近的图像数据而构建的多个学***均能量的值为53keV的情况下,筛选部203C将通过与该值的差小于规定的阈值(例如15keV)的平均能量值40keV、50keV、60keV的图像数据而构建的学习完毕模型206C设为学习完毕模型的候选。
选择部204C从由筛选部203C筛选的候选中,选择最终用于对象物F的X射线透过图像的噪声去除处理的学习完毕模型206C。详细而言,选择部204C,取得在图像取得装置1以治具为对象照射X射线并拍摄的X射线透过图像,基于该X射线透过图像的图像特性,选择最终使用的学习完毕模型206C。此时,选择部204C,解析能量特性、噪声特性、或者分辨率特性等作为X射线透过图像的图像特性,并基于该解析结果选择学习完毕模型206C。
更具体而言,选择部204C,以作为治具,厚度及材质为已知,且X射线的平均能量与X射线透过率的关系为已知的平板状构件为对象取得X射线透过图像,将透过治具的X射线像的亮度与透过空气的X射线像的亮度进行比较,算出治具的1点(或者多点的平均)的X射线的透过率。例如,在透过治具的X射线像的亮度为5550,透过空气的X射线像的亮度为15000的情况下,算出透过率37%。并且,选择部204C将根据透过率37%而推定的透过X射线的平均能量(例如,50keV)确定为治具的X射线透过图像的能量特性。选择部204C选择一个通过平均能量最接近确定的平均能量的值的图像数据而构建的学习完毕模型206C。
另外,选择部204C也可解析厚度或者材质变化的治具的多点的特性,作为治具的X射线透过图像的能量特性。图27是示出选择部204C的解析对象的X射线透过图像的一例的图。图27是以厚度阶梯状地变化的形状的治具为对象的X射线透过图像。选择部204C根据这样的X射线透过图像选择厚度不同的多个测定区域(ROI:Region Of Interest),解析多个测定区域的每一个的亮度平均值,取得厚度-亮度的特性曲线图作为能量特性。在图28中,示出选择部204C所取得的厚度-亮度的特性曲线图的一例。
进而,选择部204C同样地,以用于构建由筛选部203C筛选的学习完毕模型206C的图像数据为对象,取得厚度-亮度的特性曲线图,将通过具有与以治具为对象取得的特性曲线图最接近的特性的图像数据而构建的学习完毕模型206C,选作最终的学习完毕模型206C。然而,用于该学习完毕模型206C的构建的图像数据的图像特性也可参照预先在控制装置20C的外部算出的图像特性。这样,通过设定多个测定区域,可选择最适合对象物F的X射线透过图像的噪声的学习完毕模型。特别是,可高精度地推定X射线透过图像的测定时的X射线频谱的不同或者滤波器的效果的不同。
另外,选择部204C可解析多个测定区域的每一个的亮度值与噪声作为治具的X射线透过图像的噪声特性,并且将亮度-噪声比的特性曲线图作为噪声特性而取得。即,选择部204C根据X射线透过图像选择厚度或者材质不同的多个测定区域ROI,解析多个测定区域ROI的亮度值的标准偏差及亮度值的平均值,并取得亮度-SNR(SN比)的特性曲线图作为噪声特性。此时,选择部204C通过SNR=(亮度值的平均值)÷(亮度值的标准偏差)算出每个测定区域ROI的SNR。在图29中,示出选择部204C所取得的亮度-SNR的特性曲线图的一例。并且,选择部204C将通过具有与取得的特性曲线图最接近的噪声特性的图像数据而构建的学习完毕模型206C,选作最终的学习完毕模型206C。
此处,选择部204C也可取得将纵轴设为根据亮度值的标准偏差计算的噪声的特性曲线图,来替代上述的亮度-SNR的特性曲线图,作为噪声特性。通过使用这样的亮度-噪声的特性,可对由X射线检测相机10检测的各信号量,根据各信号量的区域的曲线图的斜率确定支配性的噪声因素(散粒噪声(shot noise)、读出噪声等),并且基于该确定的结果选择学习完毕模型206C。
图30是用于说明由选择部204C执行的基于图像特性的学习完毕模型的选择功能的图。在图30中,(a)部分示出用于多个学习完毕模型206C的构建的各个图像数据的亮度-SNR的特性曲线图G1、G2、G3,在(b)部分中,除了这些特性曲线图G1、G2、G3以外,还示出拍摄了治具的X射线透过图像的亮度-SNR的特性曲线图GT。在以这样的特性曲线图G1、G2、G3、GT为对象的情况下,选择部204C以选择通过最接近特性曲线图GT的特性的特性曲线图G2的图像数据而构建的学习完毕模型206C的方式,发挥功能。在选择时,选择部204C,在各特性曲线图G1、G2、G3与特性曲线图GT间,计算每一定间隔的亮度值的SNR的误差,并且计算这些误差的均方误差(RMSE:Root Mean Squared Error),选择与均方误差为最小的特性曲线图G1、G2、G3对应的学习完毕模型206C。另外,选择部204C在使用能量特性进行选择的情况下,也可同样地选择学习完毕模型206C。
选择部204C也可以治具的X射线透过图像为对象,基于应用多个学习完毕模型执行噪声去除处理之后的图像的特性,选择学习完毕模型206C。
例如,选择部204C,使用拍摄具有各种分辨率的图表的治具的X射线透过图像,对该图像应用多个学习完毕模型206C,评估其结果产生的噪声去除后的图像。并且,选择部204C选择用于噪声去除处理前后的分辨率的变化最小的图像的学习完毕模型206C。在图31中,示出用于分辨率的评估的X射线透过图像的一例。在该X射线透过图像中,将分辨率沿着一个方向阶梯状地变化的图表设为拍摄对象。X射线透过图像的分辨率可使用MTF(Modulation Transfer Function)或CTF(Contrast Transfer Function)测定。
除了上述的分辨率的变化的评估以外,选择部204C也可评估噪声去除后的图像的亮度-噪声比的特性,并且选择用于产生该特性为最高的图像的学***均值LAVE、及图像区域R2的亮度的标准偏差LSD。并且,选择部204C使用下述式:
CNR=(LAVE-LMIN)/LSD
,来算出亮度-噪声比CNR。进而,选择部204C以应用多个学习完毕模型206C后的X射线透过图像中的各个为对象算出亮度-噪声比CNR,选择用于产生亮度-噪声比CNR为最高的X射线透过图像的学习完毕模型206C。
或者,选择部204C,也可基于图像区域R1的亮度的平均值LAVE_R1、图像区域R2的亮度的平均值LAVE_R2、及图像区域R2的亮度的标准偏差LSD,通过下述式进行计算。
CNR=(LAVE_R1-LMIN_R2)/LSD
处理部205C,通过将由选择部204C选择的学习完毕模型206C应用于以对象物F为对象而取得的X射线透过图像,并执行去除噪声的图像处理,从而产生输出图像。并且,处理部205C将产生的输出图像输出至显示装置30等。
接着,对使用第2实施方式的图像取得装置1的对象物F的X射线透过像的观察处理的顺序,即,第2实施方式的放射线图像取得方法的流程进行说明。图34是示出由图像取得装置1执行的观察处理的顺序的流程图。
首先,通过控制装置20C,从图像取得装置1的操作员(用户)接收X射线照射器50的动作条件、或者表示X射线检测相机10的拍摄条件等的条件信息的输入(步骤S1)。接着,通过控制装置20C,基于条件信息,算出由X射线检测相机10检测的X射线的平均能量的值(步骤S2)。
进而,通过控制装置20C,确定用于储存于控制装置20C的学***均能量的值(步骤S3)。其后,对于储存于控制装置20C的全部的学***均能量的值的确定(步骤S4)。
接着,通过由控制装置20C比较算出的X射线的平均能量的值,来筛选多个学习完毕模型206C的候选(步骤S5)。进而,通过在图像取得装置1设置治具并拍摄该治具,取得治具的X射线透过图像(步骤S6)。
其后,通过控制装置20C,取得治具的X射线透过图像的图像特性(X射线的平均能量的值、厚度-亮度的特性、亮度-噪声比的特性、亮度-噪声的特性、分辨率变化的特性等)(步骤S7)。然后,通过控制装置20C,基于取得的图像特性,选择最终的学习完毕模型206C(步骤S8)。
进而,通过在图像取得装置1设置对象物F并拍摄对象物F,取得对象物F的X射线透过图像(步骤S9)。接着,通过由控制装置20C将最终选择的学习完毕模型206C应用于对象物F的X射线透过图像,来以X射线透过图像为对象执行噪声去除处理(步骤S10)。最后,通过控制装置20C,将实施了噪声去除处理的X射线透过图像即输出图像输出至显示装置30(步骤S11)。
根据以上所说明的图像取得装置1,也可增大X射线透过图像中的信号成分并且去除噪声成分,可有效提高X射线透过图像中的S/N比。另外,基于取得对象物F的X射线透过图像时的X射线的产生源的动作条件或X射线透过图像的拍摄条件,算出透过对象物F的X射线的平均能量。并且,基于该平均能量,从预先构建的学***均能量对应的学***均能量对应的学习完毕模型206C,实现始终符合噪声的方式的学习模型的选择。
一般而言,在X射线透过图像中,含有因X射线产生的噪声。也考虑为了提高X射线透过图像的SN比而增加X射线量,但在该情况下,若增加X射线量,则存在传感器的被照射量增加而传感器的寿命变短、X射线产生源的寿命变短的问题,难以兼顾SN比的提高与长寿命化。在本实施方式中,由于无需增加X射线量,因此,可兼顾SN比的提高与长寿命化。
另外,本实施方式的控制装置20C具有以下功能:使用选择的学习完毕模型206C,执行从对象物F的X射线透过图像去除噪声的图像处理。通过这样的功能,可实现与X射线透过图像的亮度与噪声的关系对应的噪声去除,并可有效地去除X射线透过图像的噪声。
另外,本实施形态的控制装置20C具有以下功能:通过将根据选择信息算出的X射线的平均能量的值、与根据用于学***均能量的值进行比较,来筛选学习完毕模型的候选。通过这样的功能,可可靠地实现与X射线透过图像的亮度与噪声的关系对应的噪声去除。
进而,本实施方式的控制装置20C具有以下功能:基于治具的X射线透过图像的图像特性,从候选中选择学习完毕模型206C。通过这样的功能,可选择最适合对象物F的X射线透过图像的噪声去除的学习完毕模型206C。其结果为,可更可靠地实现与X射线透过图像的亮度与噪声的关系对应的噪声去除。
[第2实施方式的变形例]
另外,上述第2实施方式的控制装置20C,基于根据条件信息算出的X射线的平均能量的值来选择学习完毕模型206C的候选,但也可具有对应于X射线检测相机10的性能劣化、X射线照射器50的输出变动或性能劣化的功能。
图35是示出第2实施方式的变形例的控制装置20D的功能结构的框图。控制装置20D,相比于上述第2实施方式的控制装置20C,在具有测定部207C这点上、以及算出部202D及筛选部203D的功能上不同。
在控制装置20C中,在将X射线检测相机10的性能劣化及X射线照射器50的输出变动或性能劣化设为无,而可根据X射线的平均能量推定X射线透过图像的亮度与噪声的关系的前提下,筛选学习完毕模型206C。与之相对地,在本变形的控制装置20D中,具有以下功能:考虑X射线检测相机10的性能劣化、X射线照射器50的输出变动或其性能劣化,而算出X射线转换系数,并基于X射线转换系数筛选学习完毕模型206C。X射线转换系数是,表示X射线在由闪烁器转换成可见光后至由相机的传感器转换成电子(电信号)的效率的参数。
一般而言,X射线转换系数FT,在将X射线的平均能量设为E[keV],将闪烁器发光量设为EM[photon/keV]、将传感器的耦合效率设为C、将传感器的量子效率设为QE时,可通过下述式进行计算。
FT=E×EM×C×QE
另外,X射线透过图像的SN比(SNR),使用X射线转换系数FT、X射线光子数NP及相机的读出噪声Nr,通过下述式求得
SNR=FTNP/{(FTNP+Nr2)1/2}
因此,可基于X射线转换系数FT,推定考虑了相机的性能劣化的X射线透过图像的亮度与噪声的关系。
控制装置20D的测定部207C具有以下功能:测定作为闪烁器11的性能劣化的发光量EM的下降量、作为扫描相机12的性能劣化的传感器的量子效率QE的下降量、作为X射线照射器50的输出变动及性能劣化的平均能量E的变化量。例如,测定部207C,测定闪烁器11的无性能劣化的状态(新品时的状态)与当前的闪烁器11之间的发光量的下降量,并根据该下降量推定当前的发光量EM。另外,测定部207C,测定扫描相机12的无性能劣化的状态(新品时的状态)与当前的扫描相机12之间的亮度下降量,并根据该下降量推定当前的量子效率QE。另外,测定部207C,根据X射线照射器50的无性能劣化的状态(新品时的状态)与当前的X射线照射器50之间的平均能量的变化量,推定当前的平均能量E。平均能量E,也可根据厚度及材质为已知,且X射线的平均能量与X射线透过率的关系为已知的平板状构件的拍摄数据而求得,或者也可根据厚度或者材质变化的治具的多个点的拍摄数据而求得等。
控制装置20D的算出部202D,使用算出的X射线的平均能量E与由测定部207C推定的发光量EM及量子效率QE,算出X射线转换系数FT。控制装置20D的筛选部203D具有如下的功能:通过将算出的X射线转换系数FT、与用于学习完毕模型206C的构建的图像数据的X射线转换系数FT进行比较,来筛选学习完毕模型206C的候选。
另外,上述变形例的控制装置20D,在筛选了学***均能量筛选了的学习完毕模型,来执行噪声去除处理。
[第3实施方式]
图37是示出第3实施方式的控制装置20E的功能结构的框图。控制装置20E具备:取得部201E、确定部202E、选择部204E、及处理部205E。
另外,在控制装置20E,预先储存有多个以X射线透过图像为对象执行噪声去除处理学习完毕模型206E。多个学习完毕模型206E分别是以图像数据作为示教数据预先构建的由机器学习产生的学习模型。关于机器学习,有示教学习、深层学习(deep learning)、或者强化学习、神经网络学习等。在本实施方式中,作为深度学习的算法的一例,采用张凯(KaiZhang)等的论文“Beyond a Gaussian Denoiser:Residual Learning of Deep CNN forImage Denoising”中记载的二维的卷积神经网络。多个学习完毕模型206E也可由外部的计算机等产生并下载至控制装置20E,也可在控制装置20E内产生。
在图38中,示出用于学***均能量不同的透过X射线为对象而获得的图像数据且噪声分布为已知的图像数据来预先构建。图像数据的X射线的平均能量,分别通过设定图像取得装置1的X射线照射器(放射线产生源)50的动作条件、或图像取得装置1的拍摄条件等,或者通过设定仿真计算时的X射线照射器50的动作条件或拍摄条件,来预先设定成不同的值。即,多个学***均能量对应的X射线图像。例如,在本实施方式中,多个学***均能量设定为10keV、20keV、30keV、…及10keV刻度的值的多种图像数据而构建。
用于构建学习完毕模型206E的示教数据即图像数据通过与上述第1实施方式的制作顺序相同的制作顺序产生。
以下,返回图37,对控制装置20E的各功能部的功能的详情进行说明。
取得部201E取得使用图像取得装置1以治具及对象物F为对象照射X射线并拍摄的X射线透过图像。作为治具,使用厚度及材质已知、且X射线的平均能量与X射线透过率的关系已知的平板状构件,或者使用具有以各种分辨率拍摄的图表的治具。即,取得部201E在对象物F的观察处理之前先取得使用图像取得装置1拍摄的治具的X射线透过图像。并且,取得部201E在基于治具的X射线透过图像而选择了学习完毕模型206E之后的时刻(timing),取得使用图像取得装置1拍摄的对象物F的X射线透过图像。然而,治具及对象物F的X射线透过图像的取得时刻并不限定于上述,也可为同时,也可为相反的时刻。
确定部202E确定通过取得部201E取得的治具的X射线透过图像的图像特性。具体而言,选择部204E将能量特性、噪声特性、分辨率特性、或者频率特性等确定为X射线透过图像的图像特性。
例如,确定部202E,在使用厚度及材质已知的平板状构件作为治具的情况下,将透过治具的X射线像的亮度与透过空气的X射线像的亮度进行比较,算出治具的1点(或者多点的平均)的X射线的透过率。例如,在透过治具的X射线像的亮度为5550,透过空气的X射线像的亮度为15000的情况下,算出透过率37%。并且,确定部202E将根据透过率37%而推定的透过X射线的平均能量(例如,50keV)确定为治具的X射线透过图像的能量特性。
另外,确定部202E也可解析厚度或者材质变化的治具的多点的特性,作为治具的X射线透过图像的能量特性。图39是示出确定部202E的解析对象的X射线透过图像的一例的图。图39是以厚度阶梯状地变化的形状的治具为对象的X射线透过图像。确定部202E根据这样的X射线透过图像选择厚度不同的多个测定区域(ROI:Region Of Interest),解析多个测定区域的每一个的亮度平均值,取得厚度-亮度的特性曲线图作为能量特性。在图40中,示出确定部202E所取得的厚度-亮度的特性曲线图的一例。
另外,确定部202E可解析多个测定区域的每一个的亮度值与噪声作为治具的X射线透过图像的噪声特性,并且将亮度-噪声比的特性曲线图作为噪声特性而取得。即,确定部202E根据X射线透过图像选择厚度或者材质不同的多个测定区域ROI,解析多个测定区域ROI的亮度值的标准偏差及亮度值的平均值,并取得亮度-SNR(SN比)的特性曲线图作为噪声特性。此时,确定部202E通过SNR=(亮度值的平均值)÷(亮度值的标准偏差)算出每个测定区域ROI的SNR。在图41中,示出确定部202E所取得的亮度-SNR的特性曲线图的一例。此处,确定部202E也可取得将纵轴设为根据亮度值的标准偏差计算的噪声的特性曲线图,来替代上述的亮度-SNR的特性曲线图,作为噪声特性。
另外,确定部202E在使用具有图表的治具的情况下,也可取得治具的X射线透过图像的分辨率的分布作为分辨率特性。进而,确定部202E具有如下功能:针对对治具的X射线透过图像应用多个学习完毕模型206E并施加噪声去除处理之后的图像,也取得分辨率特性。在图42中,示出用于分辨率的评估的X射线透过图像的一例。在该X射线透过图像,将分辨率沿着一个方向阶梯状地变化的图表设为拍摄对象。X射线透过图像的分辨率可使用MTF(Modulation Transfer Function)或CTF(Contrast Transfer Function)测定。
再次参照图37,选择部204E基于由确定部202E取得的图像特性,从储存在控制装置20E内的多个学习完毕模型206E中,选择最终用于对象物F的X射线透过图像的噪声去除处理的学习完毕模型206E。即,选择部204E,将由确定部202E确定的图像特性与根据用于多个学习完毕模型206E的构建的图像数据而确定的图像特性进行比较,选择两者类似的学习完毕模型206E。
例如,选择部204E选择一个学***均能量最接近确定部202E所确定的透过X射线的平均能量的值的图像数据而构建。
另外,选择部204E与由确定部202E执行的确定方法同样地,以用于多个学习完毕模型206E的构建的图像数据为对象,取得厚度-亮度的特性曲线图,将通过具有与以治具为对象而取得的厚度-亮度的特性曲线图最接近的特性的图像数据而构建的学习完毕模型206E选作最终的学习完毕模型206E。然而,用于学习完毕模型206E的构建的图像数据的图像特性也可参照预先在控制装置20E的外部算出的图像特性。如此,通过使用设定多个测定区域而获得的图像特性,可选择对于对象物F的X射线透过图像的噪声去除最合适的学习完毕模型。特别是,可高精度地推定X射线透过图像的测定时的X射线频谱的不同或者滤波器的效果的不同。
另外,选择部204E也可将通过具有与由确定部202E取得的亮度-噪声比的特性最接近的亮度-噪声比的特性的图像数据而构建的学习完毕模型206E选作最终的学习完毕模型206E。然而,用于学习完毕模型206E的构建的图像数据的图像特性也可由选择部204E根据图像数据取得,也可参照预先在控制装置20E的外部算出的图像特性。此处,选择部204E也可使用亮度-噪声的特性来替代亮度-噪声比的特性作为噪声特性来选择学习完毕模型206E。通过使用这样的亮度-噪声的特性,可对由X射线检测相机10检测的各信号量,根据各信号量的区域的曲线图的斜率确定支配性的噪声因素(散粒噪声(shot noise)、读出噪声等),并且基于该确定的结果选择学习完毕模型206E。
图43是用于说明由选择部204E执行的基于图像特性的学习完毕模型的选择功能的图。在图43中,(a)部分示出用于多个学习完毕模型206E的构建的各个图像数据的亮度-SNR的特性曲线图G1、G2、G3,在(b)部分中,除了这些特性曲线图G1、G2、G3以外,还示出拍摄了治具的X射线透过图像的亮度-SNR的特性曲线图GT。在以这样的特性曲线图G1、G2、G3、GT为对象的情况下,选择部204E以选择通过最接近特性曲线图GT的特性的特性曲线图G2的图像数据而构建的学习完毕模型206E的方式,发挥功能。在选择时,选择部204E,在各特性曲线图G1、G2、G3与特性曲线图GT间,计算每一定间隔的亮度值的SNR的误差,并且计算这些误差的均方误差(RMSE:Root Mean Squared Error),选择与均方误差为最小的特性曲线图G1、G2、G3对应的学习完毕模型206E。另外,选择部204E在使用能量特性进行选择的情况下,也可同样地选择学习完毕模型206E。
选择部204E也可以治具的X射线透过图像为对象,基于应用多个学习完毕模型执行噪声去除处理之后的图像的特性,选择用于产生特性相对优异的图像的学习完毕模型206E。
例如,选择部204E,使用拍摄具有各种分辨率的图表的治具的X射线透过图像,对该图像应用多个学习完毕模型206E,评估其结果产生的噪声去除后的图像的分辨率特性。并且,选择部204E选择用于噪声去除处理前后的各分布的分辨率的变化最小的图像的学习完毕模型206E。
除了上述的分辨率的变化的评估以外,选择部204E也可评估噪声去除后的图像的亮度-噪声比的特性,并且选择用于产生该特性为最高的图像的学***均值LAVE、及图像区域R2的亮度的标准偏差LSD。并且,选择部204E使用下述式:
CNR=(LAVE-LMIN)/LSD
,来算出亮度-噪声比CNR。进而,选择部204E以应用多个学习完毕模型206E后的X射线透过图像中的各个为对象算出亮度-噪声比CNR,选择用于产生亮度-噪声比CNR为最高的X射线透过图像的学习完毕模型206E。
或者,选择部204E,也可基于图像区域R1的亮度的平均值LAVE_R1、图像区域R2的亮度的平均值LAVE_R2、及图像区域R2的亮度的标准偏差LSD,通过下述式进行计算。
CNR=(LAVE_R1-LMIN_R2)/LSD
处理部205E,通过将由选择部204E选择的学习完毕模型206E应用于以对象物F为对象而取得的X射线透过图像,并执行去除噪声的图像处理,从而产生输出图像。并且,处理部205E将产生的输出图像输出至显示装置30等。
接着,对使用第3实施方式的图像取得装置1的对象物F的X射线透过像的观察处理的顺序,即,第3实施方式的放射线图像取得方法的流程进行说明。图46是示出由图像取得装置1执行的观察处理的顺序的流程图。
首先,由图像取得装置1的操作者(用户),设定X射线照射器50的管电压或者X射线检测相机10的增益等图像取得装置1的拍摄条件(步骤S1E)。接着,在图像取得装置1设置治具,通过控制装置20E以治具为对象取得X射线透过图像(步骤S2E)。此时,也可依次取得多种治具的X射线透过图像。
与之相应地,通过控制装置20E,确定治具的X射线透过图像的图像特性(能量特性、噪声特性、及分辨率特性)(步骤S3E)。进而,通过控制装置20E,对治具的X射线透过图像应用多个学习完毕模型206E,确定应用多个学习完毕模型206E后的各个X射线透过图像的图像特性(分辨率特性或者亮度-噪声比的值等)(步骤S4E)。
接着,通过控制装置20E,基于治具的X射线透过图像的能量特性与用于学习完毕模型206E的构建的图像数据的能量特性的比较结果、及治具的X射线透过图像的分辨率特性的学习完毕模型的应用前后的变化程度,选择学习完毕模型206E(步骤S5E)。此处,也可基于治具的X射线透过图像的噪声特性与用于学习完毕模型206E的构建的图像数据的噪声特性的比较结果、及治具的X射线透过图像的分辨率特性的学习完毕模型的应用前后的变化状态,选择学习完毕模型206E。另外,在步骤S5E中,也可取代上述处理,选择治具的X射线透过图像在应用学习完毕模型后亮度-噪声比CNR为最高的学习完毕模型206E。
进而,通过在图像取得装置1设置对象物F并拍摄对象物F,来取得对象物F的X射线透过图像(步骤S7E)。接着,通过由控制装置20E将最终选择的学习完毕模型206E应用于对象物F的X射线透过图像,来以X射线透过图像为对象执行噪声去除处理(步骤S8E)。最后,通过控制装置20E将实施了噪声去除处理的X射线透过图像即输出图像输出至显示装置30(步骤S9E)。
根据以上所说明的图像取得装置1,也可增大X射线透过图像中的信号成分并且去除噪声成分,可有效提高X射线透过图像中的S/N比。另外,确定治具的X放射线图像的图像特性,并且基于该图像特性,从预先构建的学习完毕模型之中选择用于噪声去除的学习完毕模型。由此,可推定因图像取得装置1的X射线照射器50的动作条件等而变化的X射线透过图像的特性,将根据该推定结果而选择的学习完毕模型206E用于噪声去除,因此,可实现与X射线透过图像的亮度与噪声的关系对应的噪声去除。其结果为,可有效地去除X射线透过图像的噪声。
一般而言,在X射线透过图像中,含有因X射线产生的噪声。也考虑为了提高X射线透过图像的SN比而增加X射线量,但在该情况下,若增加X射线量,则存在传感器的被照射量增加而传感器的寿命变短、X射线产生源的寿命变短的问题,难以兼顾SN比的提高与长寿命化。在本实施方式中,由于无需增加X射线量,因此,可兼顾SN比的提高与长寿命化。
在本实施方式中,在学习完毕模型的选择中,将治具的X射线透过图像的图像特性与用于学习完毕模型的构建的图像数据的图像特性进行比较。由此,选择通过与治具的X射线透过图像的图像特性对应的图像数据而构建的学习完毕模型206E,因此,可有效地去除对象物F的X射线透过图像的噪声。
另外,在本实施方式中,使用对治具的X射线透过图像应用了多个学习完毕模型206E的图像的图像特性,而选择学习完毕模型。该情况下,通过实际应用了多个学习完毕模型206E的、治具的X射线透过图像的图像特性,来选择学习完毕模型206E,因此,可有效地去除对象物F的X射线透过图像的噪声。
特别是,在本实施方式中,使用能量特性或噪声特性作为图像特性。在该情况下,选择通过特性与因图像取得装置1的拍摄条件而变化的治具的X射线透过图像的能量特性或噪声特性类似的图像而构建的学习完毕模型206E。其结果为,与图像取得装置1的条件变化对应的、对象物F的X射线透过图像的噪声去除成为可能。
在本实施方式中,也将分辨率特性或亮度-噪声比用作图像特性。根据如此的结构,通过应用所选择的学习完毕模型206E,可获得分辨率特性或亮度-噪声比良好的X射线透过图像。其结果为,与图像取得装置1的条件变化对应的、对象物的X射线透过图像的噪声去除成为可能。
在上述实施方式中,优选为,通过机器学习构建学习完毕模型,该机器学习将对规定的结构体的放射线图像附加沿正态分布的噪声值而获得的图像数据作为示教数据。由此,容易准备用于构建学习完毕模型的示教数据即图像数据,可有效构建学习完毕模型。
此外,上述实施方式中,也优选为,图像处理模块具有:噪声图生成部,其基于表示像素值与评估噪声值的扩大的评估值的关系的关系数据,从放射线图像的各像素的像素值导出评估值,生成将导出的评估值与放射线图像的各像素建立对应的数据即噪声图;及处理部,其将放射线图像及噪声图输入学习完毕模型,执行从放射线图像去除噪声的噪声去除处理。此外,也优选为,在执行步骤中,基于表示像素值与评估噪声值的扩大的评估值的关系的关系数据,从放射线图像的各像素的像素值导出评估值,生成将导出的评估值与放射线图像的各像素建立对应的数据即噪声图,将放射线图像及噪声图输入学习完毕模型,执行从放射线图像去除噪声的噪声去除处理。在该情况下,基于表示像素值与评估噪声值的扩大的评估值的关系的关系数据,从放射线图像的各像素的像素值导出评估值,生成将导出的评估值与放射线图像的各像素建立对应的数据即噪声图。并且,放射线图像及噪声图被输入预先通过机器学习构建的学习完毕模型,执行从放射线图像去除噪声的噪声去除处理。由此,可考虑根据放射线图像的各像素的像素值评估的噪声值的扩大,并通过机器学习去除该放射线图像的各像素中的噪声,使用学习完毕模型来实现与放射线图像的像素值及噪声扩大的关系对应的噪声去除。其结果,可有效地去除放射线图像中的噪声。
进而,在上述实施方式中,优选为,图像处理模块具有:输入部,其接收照射放射线并拍摄对象物时的放射线的产生源的条件或表示任意的拍摄条件的条件信息的输入;算出部,其基于条件信息,算出与透过对象物的放射线相关的平均能量;及筛选部,其基于平均能量,从预先使用图像数据通过机器学***均能量,基于平均能量,从预先使用图像数据通过机器学***均能量。并且,基于该平均能量,从预先构建的学***均能量对应的学习完毕模型用于噪声去除,因此,可实现与放射线图像的亮度及噪声的关系对应的噪声去除。其结果,可有效地去除放射线图像中的噪声。
另外,进而,在上述实施方式中,也优选为,图像处理模块具有:确定部,其确定以治具为对象并通过拍摄装置取得的放射线图像的图像特性;选择部,其基于图像特性,从预先使用图像数据通过机器学习分别构建的多个学习完毕模型中,选择学习完毕模型;及处理部,其使用选择的学习完毕模型,执行噪声去除处理。此外,也优选为,在执行的步骤中,确定以治具为对象而取得的放射线图像的图像特性,基于图像特性,从预先使用图像数据通过机器学习分别构建的多个学习完毕模型中,选择学习完毕模型,使用选择的学习完毕模型执行噪声去除处理。根据该结构,确定治具的放射线图像的图像特性,基于该图像特性,从预先构建的学习完毕模型中选择用于噪声去除的学习完毕模型。由此,可推定根据***的放射线产生源的条件等变化的放射线图像的特性,将根据该推定结果选择的学习完毕模型用于噪声去除,因此,可实现与放射线图像的亮度及噪声的关系对应的噪声去除。其结果,可有效地去除放射线图像中的噪声。
[产业上的可利用性]
实施方式,以放射线图像取得装置、放射线图像取得***及放射线图像取得方法为使用用途,可有效地提高放射线图像的S/N比。
符号说明
1…图像取得装置(放射线图像取得装置、放射线图像取得***);10…X射线检测相机(拍摄装置);11…闪烁器;12…扫描相机(检测元件);20、20A~20E…控制装置(图像处理模块);50…X射线照射器(放射线产生源);60…带式输送机(搬送装置);72…像素;74…像素线(像素群);73…读出电路;201、201C…输入部;202、202A、202C、202D…算出部;202E…确定部;203C、203D…筛选部;204、204A、204B…噪声图生成部;204C、204E…选择部;205、205C、205E…处理部;206C、206E、207…学习完毕模型;F…对象物;TD…搬送方向(一个方向)。
Claims (12)
1.一种放射线图像取得装置,其中,
具备:
拍摄装置,其沿一个方向扫描并拍摄透过对象物的放射线,而取得放射线图像;
闪烁器,其设置于所述拍摄装置上,将所述放射线转换为光;及
图像处理模块,其将所述放射线图像输入预先使用图像数据通过机器学习而构建的学习完毕模型,执行从所述放射线图像去除噪声的噪声去除处理,
所述拍摄装置包含:
检测元件,其由具有沿所述一个方向排列的M个像素的像素线沿与所述一个方向正交的方向排列N列而构成,并对每个所述像素输出与所述光相关的检测信号,其中,M为2以上的整数,N为2以上的整数;及
读出电路,其对所述检测元件的N列的每一所述像素线,将从M个所述像素中的至少2个所述像素输出的所述检测信号相加,依次输出相加的N个所述检测信号,从而输出所述放射线图像。
2.根据权利要求1所述的放射线图像取得装置,其中,
所述学习完毕模型通过机器学习而构建,该机器学习将对规定的结构体的放射线图像附加沿正态分布的噪声值而获得的图像数据作为示教数据。
3.根据权利要求1或2所述的放射线图像取得装置,其中,
所述图像处理模块具有:
噪声图生成部,其基于表示像素值与评估噪声值的扩大的评估值的关系的关系数据,从所述放射线图像的各像素的像素值导出所述评估值,生成噪声图,该噪声图是将导出的所述评估值与所述放射线图像的各像素建立对应的数据;及
处理部,其将所述放射线图像及所述噪声图输入所述学习完毕模型,执行从所述放射线图像去除噪声的噪声去除处理。
4.根据权利要求1或2所述的放射线图像取得装置,其中,
所述图像处理模块具有:
输入部,其接收照射放射线并拍摄对象物时的所述放射线的产生源的条件、或表示任意的拍摄条件的条件信息的输入;
算出部,其基于所述条件信息,算出与透过所述对象物的所述放射线相关的平均能量;及
筛选部,其基于所述平均能量,从预先使用图像数据通过机器学习分别构建的多个学习完毕模型中,筛选用于所述噪声去除处理的学习完毕模型。
5.根据权利要求1或2所述的放射线图像取得装置,其中,
所述图像处理模块具有:
确定部,其确定:以治具为对象通过所述拍摄装置而取得的放射线图像的图像特性;
选择部,其基于所述图像特性,从预先使用图像数据通过机器学习分别构建的多个学习完毕模型中,选择学习完毕模型;及
处理部,其使用选择的所述学习完毕模型,执行所述噪声去除处理。
6.一种放射线图像取得***,其具备:
权利要求1至5中任一项的放射线图像取得装置;
产生源,其朝所述对象物照射放射线;及
搬送装置,其将所述对象物相对于所述拍摄装置朝所述一个方向搬送。
7.一种放射线图像取得方法,其具备:
沿一个方向扫描并拍摄与透过对象物的放射线对应的闪烁光,而取得放射线图像的步骤;及
将所述放射线图像输入预先使用图像数据通过机器学习而构建的学习完毕模型,执行从所述放射线图像去除噪声的噪声去除处理的步骤,
在所述取得步骤中,
使用检测元件,对所述检测元件的N列的每一像素线,将从M个像素中的至少2个所述像素输出的检测信号相加,依次输出相加的N个所述检测信号,从而输出所述放射线图像,其中,所述检测元件由具有沿所述一个方向排列的M个所述像素的所述像素线沿与所述一个方向正交的方向排列N列而构成,并对每个所述像素输出与所述闪烁光相关的所述检测信号,M为2以上的整数,N为2以上的整数。
8.根据权利要求7所述的放射线图像取得方法,其中,
所述学习完毕模型通过机器学习而构建,该机器学习将对规定的结构体的放射线图像附加沿正态分布的噪声值而获得的图像数据作为示教数据。
9.根据权利要求7或8所述的放射线图像取得方法,其中,
在所述执行步骤中,基于表示像素值与评估噪声值的扩大的评估值的关系的关系数据,从所述放射线图像的各像素的像素值导出所述评估值,生成噪声图,并且将所述放射线图像及所述噪声图输入所述学习完毕模型,执行从所述放射线图像去除噪声的噪声去除处理,其中,所述噪声图是将导出的所述评估值与所述放射线图像的各像素建立对应的数据。
10.根据权利要求7或8所述的放射线图像取得方法,其中,
在所述执行步骤中,接收照射放射线并拍摄对象物时的所述放射线的产生源的条件、或表示任意的拍摄条件的条件信息的输入,基于所述条件信息,算出与透过所述对象物的所述放射线相关的平均能量,并基于所述平均能量,从预先使用图像数据通过机器学习分别构建的多个学习完毕模型中,筛选用于所述噪声去除处理的学习完毕模型。
11.根据权利要求7或8所述的放射线图像取得方法,其中,
在所述执行步骤中,确定:以治具为对象取得的放射线图像的图像特性,基于所述图像特性,从预先使用图像数据通过机器学习分别构建的多个学习完毕模型中,选择学习完毕模型,并使用选择的所述学习完毕模型,执行所述噪声去除处理。
12.根据权利要求7至11中任一项所述的放射线图像取得方法,其中,还具备:
朝所述对象物照射放射线的步骤;及
将所述对象物相对于所述检测元件朝所述一个方向搬送的步骤。
Applications Claiming Priority (7)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020073578 | 2020-04-16 | ||
JP2020-073576 | 2020-04-16 | ||
JP2020-073578 | 2020-04-16 | ||
JP2020073576 | 2020-04-16 | ||
JP2021-021673 | 2021-02-15 | ||
JP2021021673 | 2021-02-15 | ||
PCT/JP2021/015464 WO2021210612A1 (ja) | 2020-04-16 | 2021-04-14 | 放射線画像取得装置、放射線画像取得システム、及び放射線画像取得方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN115427795A true CN115427795A (zh) | 2022-12-02 |
Family
ID=78083882
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202180028373.8A Pending CN115427795A (zh) | 2020-04-16 | 2021-04-14 | 放射线图像取得装置、放射线图像取得***及放射线图像取得方法 |
Country Status (6)
Country | Link |
---|---|
US (1) | US20230135988A1 (zh) |
EP (1) | EP4130724A4 (zh) |
JP (1) | JPWO2021210612A1 (zh) |
KR (1) | KR20230002581A (zh) |
CN (1) | CN115427795A (zh) |
WO (1) | WO2021210612A1 (zh) |
Family Cites Families (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006318103A (ja) * | 2005-05-11 | 2006-11-24 | Fuji Photo Film Co Ltd | 画像処理装置および方法並びにプログラム |
JP4895204B2 (ja) * | 2007-03-22 | 2012-03-14 | 富士フイルム株式会社 | 画像成分分離装置、方法、およびプログラム、ならびに、正常画像生成装置、方法、およびプログラム |
WO2011064683A2 (en) * | 2009-11-25 | 2011-06-03 | Koninklijke Philips Electronics N.V. | Enhanced image data/dose reduction |
JP7169094B2 (ja) * | 2017-06-01 | 2022-11-10 | 株式会社東芝 | 画像処理システム及び医用情報処理システム |
WO2019082276A1 (ja) * | 2017-10-24 | 2019-05-02 | 株式会社システムスクエア | 電磁波検出モジュール、電磁波検出モジュール列、及び非破壊検査装置 |
JP7246903B2 (ja) * | 2017-12-20 | 2023-03-28 | キヤノンメディカルシステムズ株式会社 | 医用信号処理装置 |
JP6569069B1 (ja) | 2018-03-14 | 2019-09-04 | 株式会社 システムスクエア | 検査装置 |
JP7282487B2 (ja) * | 2018-06-07 | 2023-05-29 | キヤノンメディカルシステムズ株式会社 | 医用画像診断装置 |
WO2020031984A1 (ja) * | 2018-08-08 | 2020-02-13 | Blue Tag株式会社 | 部品の検査方法及び検査システム |
CN109697476B (zh) * | 2019-02-01 | 2023-06-23 | 重庆大学 | 一种基于深度学习的x射线光子计数探测器一致性校准方法 |
-
2021
- 2021-04-14 EP EP21789365.0A patent/EP4130724A4/en active Pending
- 2021-04-14 WO PCT/JP2021/015464 patent/WO2021210612A1/ja unknown
- 2021-04-14 JP JP2022515416A patent/JPWO2021210612A1/ja active Pending
- 2021-04-14 KR KR1020227038922A patent/KR20230002581A/ko active Search and Examination
- 2021-04-14 US US17/918,380 patent/US20230135988A1/en active Pending
- 2021-04-14 CN CN202180028373.8A patent/CN115427795A/zh active Pending
Also Published As
Publication number | Publication date |
---|---|
US20230135988A1 (en) | 2023-05-04 |
EP4130724A4 (en) | 2024-06-12 |
WO2021210612A1 (ja) | 2021-10-21 |
KR20230002581A (ko) | 2023-01-05 |
EP4130724A1 (en) | 2023-02-08 |
JPWO2021210612A1 (zh) | 2021-10-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP2951615B1 (en) | Method and device for generating an energy-resolved x-ray image with adapted energy threshold | |
JP5555048B2 (ja) | X線検査装置 | |
EP3631763B1 (en) | Method and devices for image reconstruction | |
JP2021107014A (ja) | 画像処理装置、画像処理方法及びプログラム | |
US20150043796A1 (en) | Sinogram (data) domain pansharpening method and system for spectral ct | |
WO2023281890A1 (ja) | 放射線画像取得装置、放射線画像取得システム、及び放射線画像取得方法 | |
JP2011043474A (ja) | X線検出器およびx線検査装置 | |
CN109983325B (zh) | 放射线检测装置、放射线图像取得装置和放射线图像的取得方法 | |
CN115427795A (zh) | 放射线图像取得装置、放射线图像取得***及放射线图像取得方法 | |
EP4123297A1 (en) | Radiographic image processing method, trained model, radiographic image processing module, radiographic image processing program, and radiographic image processing system | |
JP7060446B2 (ja) | X線ラインセンサ及びそれを用いたx線異物検出装置 | |
TW202234049A (zh) | 放射線圖像獲取裝置、放射線圖像獲取系統及放射線圖像獲取方法 | |
CN115427794A (zh) | 放射线图像处理方法、学习完毕模型、放射线图像处理模块、放射线图像处理程序、放射线图像处理***及机器学习方法 | |
TW202307465A (zh) | 放射線圖像處理方法、學習完成模型、放射線圖像處理模組、放射線圖像處理程式、放射線圖像處理系統及機器學習方法 | |
TW202307785A (zh) | 放射線圖像處理方法、學習完成模型、放射線圖像處理模組、放射線圖像處理程式及放射線圖像處理系統 | |
JP2021148486A (ja) | X線検査装置およびx線検査方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |