JP2023154994A - 画像処理装置、画像処理装置の作動方法、およびプログラム - Google Patents
画像処理装置、画像処理装置の作動方法、およびプログラム Download PDFInfo
- Publication number
- JP2023154994A JP2023154994A JP2022064683A JP2022064683A JP2023154994A JP 2023154994 A JP2023154994 A JP 2023154994A JP 2022064683 A JP2022064683 A JP 2022064683A JP 2022064683 A JP2022064683 A JP 2022064683A JP 2023154994 A JP2023154994 A JP 2023154994A
- Authority
- JP
- Japan
- Prior art keywords
- region
- acquired
- image
- image processing
- intervertebral
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012545 processing Methods 0.000 title claims abstract description 204
- 238000000034 method Methods 0.000 title claims description 115
- 238000004458 analytical method Methods 0.000 claims abstract description 145
- 230000037182 bone density Effects 0.000 claims abstract description 109
- 230000005855 radiation Effects 0.000 claims description 106
- 230000008569 process Effects 0.000 claims description 59
- 238000012937 correction Methods 0.000 claims description 41
- 210000004197 pelvis Anatomy 0.000 claims description 38
- 238000007689 inspection Methods 0.000 claims description 35
- 238000001739 density measurement Methods 0.000 claims description 10
- 238000001514 detection method Methods 0.000 claims description 8
- 230000001678 irradiating effect Effects 0.000 claims description 8
- 238000010191 image analysis Methods 0.000 claims description 5
- 239000000463 material Substances 0.000 claims description 5
- 238000010521 absorption reaction Methods 0.000 claims description 4
- 230000004927 fusion Effects 0.000 claims description 3
- 210000004705 lumbosacral region Anatomy 0.000 abstract description 4
- 229910000679 solder Inorganic materials 0.000 description 94
- 238000003384 imaging method Methods 0.000 description 73
- 238000000605 extraction Methods 0.000 description 44
- 230000005484 gravity Effects 0.000 description 33
- 230000011218 segmentation Effects 0.000 description 29
- 239000000284 extract Substances 0.000 description 24
- 230000006870 function Effects 0.000 description 18
- 238000012549 training Methods 0.000 description 14
- 238000010801 machine learning Methods 0.000 description 10
- 238000002601 radiography Methods 0.000 description 8
- 210000000988 bone and bone Anatomy 0.000 description 7
- 238000012986 modification Methods 0.000 description 6
- 230000004048 modification Effects 0.000 description 6
- 238000010586 diagram Methods 0.000 description 5
- 238000007781 pre-processing Methods 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 4
- 238000004891 communication Methods 0.000 description 4
- 210000004872 soft tissue Anatomy 0.000 description 4
- 239000000758 substrate Substances 0.000 description 4
- 210000000115 thoracic cavity Anatomy 0.000 description 4
- 238000009966 trimming Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- 239000007943 implant Substances 0.000 description 3
- 230000004044 response Effects 0.000 description 3
- 210000001562 sternum Anatomy 0.000 description 3
- 102100038736 Histone H3.3C Human genes 0.000 description 2
- 101001031505 Homo sapiens Histone H3.3C Proteins 0.000 description 2
- 239000003086 colorant Substances 0.000 description 2
- 238000003066 decision tree Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 238000003745 diagnosis Methods 0.000 description 2
- 238000002372 labelling Methods 0.000 description 2
- 239000002184 metal Substances 0.000 description 2
- 238000011017 operating method Methods 0.000 description 2
- 239000000126 substance Substances 0.000 description 2
- 208000001132 Osteoporosis Diseases 0.000 description 1
- OAICVXFJPJFONN-UHFFFAOYSA-N Phosphorus Chemical compound [P] OAICVXFJPJFONN-UHFFFAOYSA-N 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- JJWKPURADFRFRB-UHFFFAOYSA-N carbonyl sulfide Chemical compound O=C=S JJWKPURADFRFRB-UHFFFAOYSA-N 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 230000007717 exclusion Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- NJPPVKZQTLUDBO-UHFFFAOYSA-N novaluron Chemical compound C1=C(Cl)C(OC(F)(F)C(OC(F)(F)F)F)=CC=C1NC(=O)NC(=O)C1=C(F)C=CC=C1F NJPPVKZQTLUDBO-UHFFFAOYSA-N 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000002245 particle Substances 0.000 description 1
- 238000004904 shortening Methods 0.000 description 1
- 238000012706 support-vector machine Methods 0.000 description 1
- 239000003826 tablet Substances 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 229940126585 therapeutic drug Drugs 0.000 description 1
- 238000003325 tomography Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 238000002834 transmittance Methods 0.000 description 1
- 210000000689 upper leg Anatomy 0.000 description 1
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Medical Informatics (AREA)
- Engineering & Computer Science (AREA)
- Radiology & Medical Imaging (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Optics & Photonics (AREA)
- Pathology (AREA)
- Physics & Mathematics (AREA)
- High Energy & Nuclear Physics (AREA)
- Heart & Thoracic Surgery (AREA)
- Molecular Biology (AREA)
- Surgery (AREA)
- Animal Behavior & Ethology (AREA)
- General Health & Medical Sciences (AREA)
- Public Health (AREA)
- Veterinary Medicine (AREA)
- Apparatus For Radiation Diagnosis (AREA)
Abstract
【課題】高精度に腰椎の骨密度解析領域を取得する。【解決手段】入力画像内の脊椎領域と椎間領域とをそれぞれ取得する第1の取得手段と、取得した脊椎領域と取得した椎間領域とを用いて腰椎の骨密度測定の対象領域である骨密度解析領域を取得する第2の取得手段と、を有する画像処理装置。【選択図】図3
Description
本明細書の開示は、画像処理装置、画像処理装置の作動方法、およびプログラムに関する。
骨粗鬆症の診断や治療薬の効果判定のために、骨密度の測定が行われる。骨密度は、1cm2あたりの骨量である。骨密度を測定する技術として、DXA(Dual energy X-ray Absorptiometry)法で取得した画像を用いる方法が知られている。DXA法では、2種類の管電圧を用いてX線撮影を行い、吸収率の差に基づいて骨と軟組織等の物質の弁別を行う。このようにしてDXA法を用いて取得された画像を、エネサブ画像(エネルギーサブトラクション画像、物質弁別画像)と言う。
骨密度測定のために、エネサブ画像の骨領域の中から、さらに骨密度測定の対象領域(以下、骨密度解析領域と呼ぶ)を取得する必要がある。腰椎の骨密度を測定する場合、一般的に、第1腰椎から第4腰椎まで、あるいは第2腰椎から第4腰椎までが骨密度解析領域となる。
特許文献1では、機械学習モデルを用いて自動的に骨密度解析領域を取得する技術が開示されている。
上記特許文献1では、機械学習によって大腿骨内の骨密度解析領域を取得している。しかしながら、脊椎は椎体および椎間の似た構造が連続して連なっているため、機械学習モデルを用いて腰椎のセグメンテーションを行った場合、取得すべき領域の抜け等が生じ、骨密度解析領域が上下にずれて取得されてしまう恐れがある。
そこで、本明細書の開示の目的の一つは、高精度に腰椎の骨密度解析領域を取得することである。また、本明細書の開示の目的の他の一つは、似た構造が連続して連なる解析領域を高精度に取得することである。
本明細書に開示の一実施態様に係る画像処理装置は、入力画像内の脊椎領域と椎間領域とをそれぞれ取得する第1の取得手段と、前記取得した脊椎領域と前記取得した椎間領域とを用いて腰椎の骨密度測定の対象領域である骨密度解析領域を取得する第2の取得手段と、を有する。
本明細書の開示の少なくとも一実施態様によれば、高精度に腰椎の骨密度解析領域を取得することができる。また、本明細書の開示の少なくとも他の実施態様によれば、似た構造が連続して連なる解析領域を高精度に取得するこができる。
以下、図面を参照して本発明を実施するための例示的な実施例を詳細に説明する。図面において、同一であるか又は機能的に類似している要素を示すために図面間で同じ参照符号を用いる。また、各図面において説明上重要ではない構成要素、部材、処理の一部は省略して表示する場合がある。
なお、以下の実施例において、放射線の例としてX線を用いた撮影システムについて説明するが、本開示に係る撮影システムは他の放射線を用いてもよい。ここで、放射線という用語は、X線の他、例えば、α線、β線、γ線、粒子線、および宇宙線などを含むことができる。
なお、以下において、機械学習モデルとは、機械学習アルゴリズムによる学習モデルをいう。機械学習の具体的なアルゴリズムとしては、最近傍法、ナイーブベイズ法、決定木、サポートベクターマシンなどが挙げられる。また、ニューラルネットワークを利用して、学習するための特徴量、結合重み付け係数を自ら生成する深層学習(ディープラーニング)も挙げられる。また、決定木を用いたアルゴリズムとして、LightGBMやXGBoostのように勾配ブースティングを用いた手法も挙げられる。適宜、上記アルゴリズムのうち利用できるものを用いて以下の実施例および変形例に適用することができる。また、教師データとは、学習データのことをいい、入力データおよび出力データのペアで構成される。
なお、学習済モデルとは、ディープラーニング等の任意の機械学習アルゴリズムに従った機械学習モデルに対して、事前に適切な教師データ(学習データ)を用いてトレーニング(学習)を行ったモデルをいう。ただし、学習済モデルは、事前に適切な学習データを用いて得ているが、それ以上の学習を行わないものではなく、追加の学習を行うこともできるものとする。追加学習は、装置が使用先に設置された後も行われることができる。
(実施例1)
以下、図1乃至図10を参照して、本発明の実施例1に係る画像処理装置および画像処理装置の作動方法について説明する。図1は、本施例に係る放射線撮影システムの例であるX線撮影システム100の構成例を示す図である。X線撮影システム100は、X線発生装置制御部102、X線管103、FPD(Flat Panel Detector)106、および画像処理装置120を有する。なお、X線撮影システム100の構成を単にX線撮影装置ともいう。画像処理装置120は、撮影したX線画像に基づく情報を処理する。
以下、図1乃至図10を参照して、本発明の実施例1に係る画像処理装置および画像処理装置の作動方法について説明する。図1は、本施例に係る放射線撮影システムの例であるX線撮影システム100の構成例を示す図である。X線撮影システム100は、X線発生装置制御部102、X線管103、FPD(Flat Panel Detector)106、および画像処理装置120を有する。なお、X線撮影システム100の構成を単にX線撮影装置ともいう。画像処理装置120は、撮影したX線画像に基づく情報を処理する。
X線発生装置制御部102は、曝射スイッチの押下により、X線管103に高電圧パルスを与えX線を発生させ、X線管103は、X線を照射する。X線管103からX線が照射されると、X線は架台104上の被写体(不図示)およびグリッド105を通過して、FPD106に到達する。到達したX線は、FPD106によって可視光に変換され、X線画像として出力される。出力されたX線画像は制御部101を介して、画像処理装置120に転送される。
FPD106は、X線に応じた信号を生成するための画素アレイを備えたX線検出部(不図示)を有する。X線検出部は、グリッドを通過したX線を画像信号として検出する。X線検出部には、入射光に応じた信号を出力する画素がアレイ状(二次元の領域)に配置されている。各画素の光電変換素子は蛍光体により可視光に変換されたX線を電気信号に変換し、画像信号として出力する。このように、X線検出部はグリッドを通過したX線を検出して、画像信号(X線画像)を取得するように構成されている。FPD106は、制御部101からの指示に従って読み出した画像信号(X線画像)を制御部101に出力する。
制御部101は、FPD106から取得したX線画像を、当該X線画像を処理する画像処理装置120と、画像処理の結果や各種プログラムを記憶する記憶部109に転送する。記憶部109は、たとえば、ROM(Read Only Memory)、又はRAM(Random Access Memory)等により構成される。記憶部109は制御部101から出力された画像や画像処理装置120で画像処理された画像、画像処理装置120で算出された計算結果を記憶することが可能である。
画像処理装置120は、入力された画像を処理して算出結果や画像などを出力する。画像処理装置120には、第1の取得部121および第2の取得部122が設けられている。第1の取得部121は、後述する学習済モデルを用いて、入力画像から脊椎領域と椎間領域を抽出、取得する。第2の取得部122は、第1の取得部121によって取得された脊椎領域と椎間領域を用いて、腰椎の骨密度測定の対象領域である骨密度解析領域を取得する。第1の取得部121および第2の取得部122の処理の詳細については後述する。また、画像処理装置120は、取得した骨密度解析領域に関して骨密度解析を行い、骨密度を算出することができる。
なお、制御部101および画像処理装置120は、プロセッサおよびメモリが設けられたコンピュータによって構成されることができる。なお、制御部101および画像処理装置120は、一般的なコンピュータによって構成されてもよいし、X線撮影システム専用のコンピュータによって構成されてもよい。
制御部101の構成要素、および画像処理装置120に含まれる第1の取得部121等の各構成要素は、たとえば、一つ又は複数のCPU(Central Processing Unit)等のプロセッサ、および記憶部109から読み込んだプログラムを用いて機能構成される。なお、プロセッサは、例えば、MPU(Micro Processing Unit)やGPU(Graphical Processing Unit)、FPGA(Field-Programmable Gate Array)等であってもよい。また、制御部101の構成要素、および画像処理装置120に含まれる各構成要素は、ASIC等の特定の機能を果たす集積回路などで構成してもよい。また、制御部101および画像処理装置120の内部構成として、GPU等のグラフィック制御部、ネットワークカード等の通信部、およびキーボード、ディスプレイ又はタッチパネル等の入出力制御部等を含む構成も可能である。
表示部107(モニタ)は、制御部101がFPD106から受信したX線画像(デジタル画像)や画像処理装置120で画像処理された画像、患者情報、又はユーザー通知等を表示する。操作部108は、ユーザーインターフェイスを介して、画像処理装置120やFPD106に対する指示を入力することができる。操作部108は、例えばマウスやキーボード等の入力機器を用いて構成されてよい。制御部101は、操作部108からの指示等に応じて、表示部107を制御できる表示制御手段の一例として機能する。
なお、本実施例では、画像処理装置120および制御部101を別個の装置として記載するが、これらは同一の装置、例えば一つのコンピュータによって構成されることもできる。なお、表示部107はタッチパネル式のディスプレイにより構成されてもよく、この場合には表示部107は操作部108として兼用されることができる。
図2は、X線撮影システム100により取得された腰椎近傍の画像の一例を示す。また、図2には、説明のために、骨密度の測定対象の一例である第1腰椎L1、第2腰椎L2、第3腰椎L3、および第4腰椎L4を示してある。本実施例における画像処理装置120は、図2に示すような腰椎近傍の画像を入力画像として、骨密度解析領域を抽出する。
入力画像は、DXA法で取得されたエネルギーサブトラクション画像(エネサブ画像)であってよい。このエネサブ画像は、kVスイッチング方式により2種類の管電圧でX線撮影された画像から生成されたものであってよい。また、このエネサブ画像は、FPD106としてX線吸収率の異なる2種類の素材(蛍光体)で形成された積層センサを用いて、一度の曝射で得られるそれぞれの層の画像から生成されたものであってもよい。また、一度の曝射(単純X線撮影)で取得された単純X線画像を、入力画像として用いてもよい。また、FPD106が積層センサである場合、上層側(被写体側)の画像を入力画像として用いてもよい。なお、DXA法で取得された異なるエネルギーに関する複数の画像を入力画像として用いてもよい。
以下、図3を参照して、本実施例における、骨密度解析領域を抽出するための画像処理装置120の画像処理について説明する。図3は、本実施例における、骨密度解析領域を抽出するための画像処理装置120の画像処理フローを示す。本実施例に係る画像処理フローが開始されると、処理はステップS11に移行する。
ステップS11において、画像処理装置120の第1の取得部121は学習済モデルを用いて、入力画像から脊椎領域と椎間領域を抽出(セグメンテーション)する。ここで言う脊椎領域とは、脊椎の輪郭およびその内部を含めた領域を指す。また、脊椎の輪郭(外枠)のみを、脊椎領域として扱ってもよい。また、ここで言う椎間領域とは、椎間の輪郭およびその内部を含めた領域を指す。また、椎間の輪郭(外枠)のみを、椎間領域として扱ってもよい。また、椎間領域は線であってもよい。このように、第1の取得部121は、学習済モデルを用いて入力画像内の脊椎領域と椎間領域とをそれぞれ取得する第1の取得手段の一例である。なお、以下において、脊椎領域や椎間領域、骨密度解析領域等の各種領域の取得処理には、これら領域を示す画像の取得やこれら領域の特定が含まれるものとする。
抽出(取得)した結果の一例を図4(a)および図4(b)に示す。図4(a)の白色領域が脊椎領域の抽出結果(取得結果)であり、図4(b)の白色領域が椎間領域の抽出結果である。図4(a)には、脊椎領域として棘突起を含めていない例を示しているが、棘突起を含めてもよい。
学習済モデルは、記憶部109に記憶しておき、第1の取得部121は記憶部109に記憶された学習済モデルを呼び出して使用してよい。脊椎領域を抽出する学習済モデルと、椎間領域を抽出する学習済モデルは、別々に備えていてよい。これらの学習済モデルは、同じ構造で、重みだけが異なっていてもよい。また、脊椎領域を抽出する学習済モデルと椎間領域を抽出する学習済モデルは、共通のモデルであって、各チャンネルから脊椎領域と椎間領域のそれぞれの抽出結果が出力されてもよい。
ここでの学習済モデルは、たとえば、腰椎近傍の画像と、その画像内の脊椎領域および椎間領域をラベル付けした画像との組み合わせを教師データとして学習させることで、生成され得る。なお、脊椎領域を抽出する学習済モデルと、椎間領域を抽出する学習済モデルを別々に備える場合には、ラベル付けした画像をそれぞれ分けて学習させればよい。具体的には、腰椎近傍の画像と、その画像内の脊椎領域をラベル付けした画像との組み合わせ、および腰椎近傍の画像と、その画像内の椎間領域をラベル付けした画像との組み合わせをそれぞれ教師データとして学習させることで、各学習済モデルが生成され得る。
また、画像処理装置120は、セグメンテーション処理の前に、入力画像に対して前処理を行ってもよい。処理の一例は、コントラストを向上させる処理であってよい。コントラストを向上させる処理として、たとえば画像内の輝度値の最大値を1、画像内の輝度値の最小値を0に線形で引き延ばす処理が挙げられる。また、ヒストグラム平坦化などの処理であってもよい。前処理の他の一例は、エッジを強調させる処理であってもよい。エッジを強調させる処理として、たとえばフィルター処理が挙げられる。前処理の他の一例は、画像の輝度値の平均値を0にし、分散を1にする標準化処理であってもよい。また、画像処理装置120は上記の前処理を組み合わせて行ってもよい。なお、これらの前処理は学習済モデルに学習させる教師データに対しても行われてよい。
入力画像は、X線撮影システム100により取得された画像を、操作者が表示部107に表示された画像を見ながら操作部108でトリミングした画像であってもよい。また、トリミングされた画像は、指定された画像サイズにリサイズされてもよい。ここで言う指定された画像サイズは、たとえば学習済モデルの入力画像サイズであってよい。また、入力画像は、操作者によって選択されたトリミング領域よりも広い領域をトリミングした画像であってもよい。たとえば、操作者が第2腰椎L2から第4腰椎L4までを含むようにトリミング領域を選択した場合、入力画像は、さらに第5腰椎L5が入力画像に含まれるようにトリミング領域を縦方向に引き伸ばした画像であってもよい。そのため一例として、画像処理装置120は、操作者がトリミングした領域を第5腰椎L5の方向へ1/4倍だけ縦に延長した領域を含むように入力画像を生成してもよい。また、入力画像は、撮影範囲に基づいて、画像処理装置120によって自動的に腰椎近傍を残すようにトリミングされた画像であってもよい。なお、これらの場合には、教師データの入力データにも同様にトリミングされた画像を用いることができる。
また、第1の取得部121は、抽出された脊椎領域の外側で、椎間として抽出された領域があった場合、この領域はセグメンテーション誤差とみなして椎間領域の抽出結果から除去してよい。
次に、ステップS12において、画像処理装置120の第2の取得部122は、ステップS11の抽出結果(図4(a)および図4(b))から骨密度解析領域を抽出する。ここでは、骨密度解析領域として第2腰椎L2~第4腰椎L4の領域を抽出する場合を説明する。なお、骨密度解析領域の組み合わせはこれに限らず、たとえば第1腰椎L1の領域も併せて抽出してもよい。
ここで、上述したように、脊椎は椎体および椎間の似た構造が連続して連なっているため、学習の傾向に従った処理を行う学習済モデルを用いて腰椎のセグメンテーションを行った場合、取得すべき領域の抜けや余分な領域の取得が生じてしまう場合がある。図5(a)は、取得すべき椎間領域の抜けおよび余分な領域の取得が生じている場合の、椎間領域の抽出結果の一例を示す。図5(a)に示される椎間領域に基づいて骨密度解析領域が設定されると、椎間領域の抜けや余計に取得された領域に起因して、椎間領域の間で抽出される腰椎の領域(骨密度解析領域)が本来の位置からずれてしまう。
これに対して、本実施例に係る第2の取得部122は、脊椎領域および脊椎領域に含まれる椎間領域の関係や椎間領域間の関係を用いて、学習済モデルを用いて抽出された椎間領域の補正処理を行う。第2の取得部122は、補正した椎間領域に基づいて骨密度解析領域を抽出することで、高精度に骨密度解析領域を抽出することができる。
まず、第2の取得部122は、ステップS11で抽出されたそれぞれの椎間領域の重心位置を算出する。次に、第2の取得部122は、これらの重心位置の縦方向の位置(重心Y座標)を算出する。なお、以下において、画像における垂直方向の座標をY座標とし、水平方向の位置をX座標とする。また、重心の算出方法は公知の任意の方法を用いてよい。図5(a)では、上述した椎間領域の抽出結果の一例に対して、重心のY座標を点線で示している。これらの重心Y座標の間隔に基づいて、第2の取得部122は、必要に応じて以下に説明する補正処理を行う。
図5(a)の座標H1と座標H2で例示されるように、互いの椎間領域の重心Y座標の間隔が設定された閾値よりも小さかった場合、第2の取得部122は、対応する椎間領域のうち一方を外れ値(あるいは推論誤差)とみなして、椎間領域から除外してもよい。一例として、各椎間領域の重心Y座標の間隔の中央値をΔYmとしたとき、ここで設定される閾値はたとえばΔYm/4であってもよい。ただし、閾値の設定方法はこれに限らず、任意の方法で設定し得る。ここでの除外方法の一例として、対応する2つの椎間領域のうち、面積の大きい方の椎間領域(図5(a)のH1側)を残し、面積の小さい方の椎間領域(図5(a)の座標H2側)を除外してもよい。また、画像の下側の椎間領域を残して上側の椎間領域を除外してよい。また逆に、上側の椎間領域を残して下側の椎間領域を除外してもよい。
また、第2の取得部122は、図5(a)の座標H3と座標H4で例示されるように互いの椎間領域の重心Y座標の間隔が設定された閾値よりも大きかった場合、外れ値(あるいは推論誤差)とみなして、それらの重心の中点となる位置へ新たに椎間領域を追加してもよい。一例として、各椎間領域の重心Y座標の間隔の中央値をΔYmとしたとき、ここで設定される閾値はたとえばΔYm×2であってもよい。ただし、閾値の設定方法はこれに限らず、任意の方法で設定し得る。
このときに追加される椎間領域は、たとえば図5(b)の座標H3.5のY座標位置に示されるように、座標H3と座標H4の椎間領域の各重心の中点を重心位置とした、幅10mm、高さ1mmの線分であってよい。ただし、ここでの椎間領域の大きさ・形状はこれに限らず、任意のものを設定し得る。
別の補正処理の一例を、図6(a)および図6(b)を用いて説明する。第2の取得部122は、抽出された脊椎領域の上端(図6(a)の座標H1)から、1つ内側の、言い換えると当該脊椎領域の上端から画像の内側へ数えて1つ目の椎間領域の重心Y座標(図6(b)の座標H2)までの、縦方向の距離を算出する。この距離が閾値よりも大きい場合、第2の取得部122は、脊椎領域の上端と当該脊椎領域の上端から画像の内側へ数えて1つ目の椎間領域の重心位置との中点の高さ位置(図6(b)の座標H1.5)に、椎間領域を追加してもよい。
ここで設定される閾値は、一例として、各椎間領域の重心Y座標の間隔の中央値をΔYmとしたとき、ΔYm×2であってもよい。また、ここで追加する椎間領域は、たとえば図6(b)の座標H1.5のY座標位置に示されるように、座標H1の行における脊椎領域の中点と座標H2における椎間領域の重心との中点を重心位置とした、幅10mm、高さ1mmの線分であってよい。なお、行は画像の水平方向の並びをいい、列は画像の垂直方向の並びをいう。ただし、閾値や追加する椎間領域の設定方法はこれに限らず、任意の方法で設定し得る。また、第2の取得部122は、追加する椎間領域を線分として設定せずに、単に椎間領域の重心位置のみを設定してもよい。なお、ステップS12で抽出された脊椎領域や椎間領域が傾いている場合、第2の取得部122は、脊椎領域や椎間領域の傾きに合わせて、追加する椎間領域も傾けて設定してよい。
また同様に、抽出された脊椎領域の下端(図6(a)の座標H4)から、当該脊椎領域の下端から内側へ数えて1つ目の椎間領域の重心Y座標(図6(b)の座標H3)までの縦方向の距離を算出する。この距離が閾値よりも大きい場合、脊椎領域の下端と当該脊椎領域の下端から内側へ数えて1つ目の椎間領域の重心位置との中点に、図6(b)の座標H3.5のY座標位置に示されるように椎間領域を追加してもよい。
第2の取得部122は、このように処理された椎間領域とその重心について、図7に示すように、画像の下から(骨盤側から)数えて4番目の椎間領域の重心G1を設定する。同様に、下から数えて3番目の椎間領域の重心G2、下から数えて2番目の椎間領域の重心G3、および下から数えて1番目の椎間領域の重心G4を、それぞれ設定する。
次に、第2の取得部122は、重心G1、G2、G3、G4を通る、水平な線LR1、LR2、LR3、LR4をそれぞれ設定する(図7の4本の点線)。
抽出された椎間領域の数が4個(所定の数)未満であった場合、第2の取得部122は、抽出された脊椎領域を縦方向に5等分する4本の線を引くことができる。第2の取得部122は、これらの4本の線を画像の左右両端まで延長させたものを、画像の上側から順に水平な線LR1、LR2、LR3、LR4として設定してよい。この処理により、第2の取得部122は、脊椎領域を4つ(所定の数)に区分することができる。また、この処理を行った場合は、以下の処理で骨密度解析領域を抽出した後などに、制御部101が、骨密度解析領域がずれている可能性や操作者へ手動修正を促すメッセージを表示部107へ表示させてもよい。
そして図7に示すように、第2の取得部122は、これらの水平な線に挟まれた、縦幅を持つ水平方向の参照領域SR1、SR2、SR3をそれぞれ設定する。
この処理を行う前に、ステップS12の脊椎領域の抽出結果が図8(a)に示すように傾いていた場合、第2の取得部122は、画像全体の回転補正を行ってもよい。画像を回転補正する角度の設定方法の一例として、第2の取得部122は、図8(b)に示すように抽出された脊椎領域の各行あるいは間引いた行で横方向の重心位置(図8(b)内の黒点)を求める。その後、第2の取得部122は、求めた重心位置の近似直線(図8(b)内の点線)が図8(c)に示すように画像の垂直方向の線になるように画像を回転補正してもよい。なお、回転補正は、椎間領域の補正処理の前に行われてもよいし、重心G1~G4等の設定処理の前に行われてもよい。
また、第2の取得部122は、画像の回転補正を行う代わりに、脊椎領域の検出された傾きに基づいて線LR1、LR2、LR3、LR4ならびに参照領域SR1、SR2、SR3を斜めに設定してもよい。
また、ステップS12で抽出された椎間領域が傾いている場合、第2の取得部122は、線LR1、LR2、LR3、LR4を斜めに引いてもよい。このときの線を引く方法の一例を、図9を用いて説明する。図9は、抽出された椎間領域901の一例を示しており、傾いている。この椎間領域901に対して線を引く方法の一例は、椎間領域901の各列あるいは間引いた列で垂直方向に中点を取り(図9の黒点)、それらの近似直線(図9の点線)を引く方法である。
また、このときの直線を引く方法の別の一例は、椎間領域近傍において図8(b)と同様に脊椎領域の近似直線を引き、この近似直線と垂直かつ椎間領域の重心を通る直線を引く方法であってもよい。さらに、第2の取得部122は、線LR1、LR2、LR3、LR4に挟まれた、縦幅を持つ、これら線と平行な参照領域SR1、SR2、SR3をそれぞれ設定してよい。また、第2の取得部122は、ここでの近似直線の傾きに基づいて、画像を回転補正してもよい。
第2の取得部122は、参照領域SR1の中で抽出された脊椎領域(椎体に相当する)を、骨密度解析領域である第2腰椎L2として抽出、取得する。また同様に、参照領域SR2内の脊椎領域を骨密度解析領域である第3腰椎L3として抽出し、参照領域SR3内の脊椎領域を骨密度解析領域である第4腰椎L4として抽出する。
このように、第2の取得部122は、脊椎領域の抽出結果と椎間領域の抽出結果とを組み合わせることで、高精度に腰椎の骨密度解析領域を抽出、取得することができる。つまり、第2の取得部122は、第1の取得部121の取得結果に基づいて腰椎の骨密度測定の対象領域である骨密度解析領域を取得する第2の取得手段の一例である。
次にステップS13において、画像処理装置120は、骨の透過率を算出するための背景領域を設定する。以下、背景領域の設定方法の一例を述べる。
背景領域は、たとえば図10の背景領域BG11、BG12、BG21、BG22、BG31、BG32として示されるように、ステップS12で設定された参照領域SR1、SR2、SR3内で、第2腰椎L2、第3腰椎L3、および第4腰椎L4の左右で設定される。これらの背景領域の探索方法の一例を以下に説明する。
背景領域BG11、BG12、BG21、BG22、BG31、BG32の縦幅は、それぞれの参照領域SR1、SR2、SR3の縦幅と同じ値に設定できる。背景領域BG11、BG12、BG21、BG22、BG31、BG32の横幅は、事前に設定された指定値とすることができる。一例として、この横幅は20mmと指定することができる。横幅の指定値は、記憶部109で予め保持していてもよい。また、操作部108を用いて、操作者によって指定されてもよい。
背景領域BG11の位置は、参照領域SR1内の第2腰椎L2の左側の領域において、背景領域内の輝度値の分散が最小となるような位置が自動で選択されてよい。同様に、背景領域BG12の位置は、参照領域SR1内の第2腰椎L2の右側の領域において、背景領域内の輝度値の分散が最小となるような位置が自動で選択されてよい。さらに同様に、背景領域BG21、BG22は第3腰椎L3の左右領域で、背景領域BG31、BG32は第4腰椎L4の左右領域で選択されてよい。
このとき、棘突起の領域は背景領域として選択されないよう除外してよい。たとえば、画像処理装置120は、背景領域BG11を探索するときに、第2腰椎L2として抽出された領域から左側へ棘突起領域として指定された範囲は探索範囲から除外してよい。棘突起領域として、たとえば15mmの範囲を指定してよい。背景領域BG12、BG21、BG22、BG31、BG32を探索する際も、同様に第2腰椎L2、第3腰椎L3、および第4腰椎L4の左右の棘突起領域を除外してよい。
背景領域の設定方法はこれに限らず、任意の方法で設定し得る。たとえば、操作者が操作部108を用いて背景領域を指定してもよい。
制御部101は、以上のように抽出された骨密度解析領域と背景領域を、それぞれ表示部107に表示させてよい。また、表示部107に表示された骨密度解析領域と背景領域に基づいて、操作者が操作部108を用いて骨密度解析領域と背景領域の修正および決定を行ってもよい。また同様に、上記の計算過程で現れた重心や直線も操作者が操作部108を用いて修正および決定してもよい。また、背景領域は表示部107に表示されなくてもよい。
骨密度解析領域と背景領域を参照して、画像処理装置120は、各骨密度解析領域における骨密度を算出する。骨密度は既知の方法で算出でき、たとえばDXA法で取得した、画像内の骨と軟組織の厚さの情報を用いて算出してもよい。また、DXA法で取得した原子番号と面密度の情報を用いて骨密度を算出してもよい。制御部101は、算出された骨密度を、表示部107に表示させてよい。
また、制御部101は、算出した骨密度に基づいて、診断に有用な任意の値を表示部107に表示させてもよい。たとえば、制御部101は、同年代や他の年代の骨密度の平均値と比較した値が、表示部107に表示されてもよい。また、制御部101は、たとえば過去の測定結果と比較した時系列データが表示部107に表示されてもよい。また、制御部101は、たとえば第2腰椎L2、第3腰椎L3、および第4腰椎L4における骨密度の平均値を、最終的な骨密度の測定値として表示部107に表示させてもよい。
さらに、制御部101は、骨密度解析領域の取得結果あるいは取得過程を操作者へ表示するように表示部107を制御してもよい。ここで、取得過程とは、上記説明した第2の取得部122による各処理を含み、取得過程の表示では、各処理で取得、設定された領域や重心、線等が表示されてよい。例えば、取得された脊椎領域や椎間領域、骨密度解析領域を抽出する際の参照領域や背景領域等が表示されてよい。また、操作部108は、操作者が第2の取得部122による取得結果あるいは取得過程を見ながら操作するための操作手段の一例として機能することができる。
(実施例2)
次に、本発明の実施例2について説明する。本実施例に係るX線撮影システムの構成例は、実施例1に係るX線撮影システム100の構成例と同様であり、図1に示される。なお、本実施例に係るX線撮影システムの構成例については、実施例1に係るX線撮影システム100の構成例と同じ参照符号を用いて説明を省略する。本実施例における画像処理装置120は、実施例1と同様に、図2に示すような画像を入力画像として、骨密度解析領域を抽出する。以下、実施例1との違いを中心に、本実施例について説明する。
次に、本発明の実施例2について説明する。本実施例に係るX線撮影システムの構成例は、実施例1に係るX線撮影システム100の構成例と同様であり、図1に示される。なお、本実施例に係るX線撮影システムの構成例については、実施例1に係るX線撮影システム100の構成例と同じ参照符号を用いて説明を省略する。本実施例における画像処理装置120は、実施例1と同様に、図2に示すような画像を入力画像として、骨密度解析領域を抽出する。以下、実施例1との違いを中心に、本実施例について説明する。
図11は、本実施例における、骨密度解析領域を抽出するための画像処理装置120の画像処理フローを示す。本実施例に係る画像処理が開始されると、処理はステップS21に移行する。
ステップS21において、第1の取得部121は、学習済モデルを用いて、入力画像から脊椎領域を抽出(セグメンテーション)する。抽出した結果の一例は、実施例1と同様に図4(a)に示される。なお、ここでの学習済モデルは、たとえば、腰椎近傍の画像と、その画像内の脊椎領域をラベル付けした画像との組み合わせを教師データとして学習させることで、生成され得る。
ステップS22において、画像処理装置120は、入力画像からステップS21での抽出結果の領域を抽出した脊椎画像を生成する。ここでの脊椎画像の例を図12に示す。この処理は、たとえばステップS21で抽出された領域を1,それ以外の領域を0としたマスクを、入力画像に掛けることによって生成され得る。
ステップS23において、第1の取得部121は、学習済モデルを用いて、脊椎画像から椎間領域を抽出(セグメンテーション)する。抽出した結果の一例は、図4(b)と同様である。つまり本実施例に係る画像処理装置120は、椎間領域を、画像全体からではなく脊椎内部から抽出する。なお、ここでの学習済モデルは、たとえば、脊椎画像と、その画像内の椎間領域をラベル付けした画像との組み合わせを教師データとして学習させることで、生成され得る。
ステップS24において、第2の取得部122は、抽出された脊椎領域の抽出結果と椎間領域の抽出結果とを組み合わせることで、実施例1と同様にして腰椎の骨密度解析領域を抽出することができる。この場合であっても、脊椎領域の抽出結果と椎間領域の抽出結果とを組み合わせることで、高精度に、腰椎の骨密度解析領域を抽出、取得することができる。また、椎間領域を脊椎画像から取得することで、学習済モデルは画像特徴を用いた処理を行う領域が狭くなるため、演算量が少なくなり処理の高速化や処理負荷の低減等を行えることが期待できる。
ステップS25において、画像処理装置120は、背景領域を抽出する。背景領域の抽出方法は実施例1のステップS13と同様である。
以上のように抽出された骨密度解析領域と背景領域において、本実施例に係る画像処理装置120は実施例1と同様に各骨密度解析領域における骨密度を算出する。
(実施例3)
次に、本発明の実施例3について説明する。本実施例に係るX線撮影システムの構成例は、実施例1に係るX線撮影システム100の構成例と同様であり、図1に示される。なお、本実施例に係るX線撮影システムの構成例については、実施例1に係るX線撮影システム100の構成例と同じ参照符号を用いて説明を省略する。本実施例における画像処理装置120は、実施例1と同様に、図2に示すような画像を入力画像として、骨密度解析領域を抽出する。以下、実施例1との違いを中心に、本実施例について説明する。
次に、本発明の実施例3について説明する。本実施例に係るX線撮影システムの構成例は、実施例1に係るX線撮影システム100の構成例と同様であり、図1に示される。なお、本実施例に係るX線撮影システムの構成例については、実施例1に係るX線撮影システム100の構成例と同じ参照符号を用いて説明を省略する。本実施例における画像処理装置120は、実施例1と同様に、図2に示すような画像を入力画像として、骨密度解析領域を抽出する。以下、実施例1との違いを中心に、本実施例について説明する。
図13は、本実施例における、骨密度解析領域を抽出するための画像処理装置120の画像処理フローを示す。本実施例に係る画像処理が開始されると、処理はステップS31に移行する。
ステップS31において、第1の取得部121は、学習済モデルを用いて、入力画像から脊椎領域、椎間領域、および骨盤領域を抽出(セグメンテーション)する。抽出した結果の一例を図14(a)乃至図14(c)に示す。図14(a)は脊椎領域の抽出結果の一例、図14(b)は椎間領域の抽出結果の一例、図14(c)は骨盤領域の抽出結果の一例を示す。
学習済モデルは、記憶部109に記憶しておき、それを呼び出して使用してよい。脊椎領域を抽出する学習済モデルと、椎間領域を抽出する学習済モデルと、骨盤領域を抽出する学習済モデルは、別々に備えていてよい。これらの学習済モデルは、同じ構造で、重みだけが異なっていてもよい。また、ここでの学習済モデルは共通のモデルであって、各チャンネルから脊椎領域、椎間領域、および骨盤領域のそれぞれの抽出結果が出力されてもよい。
ここでの学習済モデルは、たとえば、腰椎近傍の画像と、その画像内の脊椎領域、椎間領域および骨盤領域をラベル付けした画像との組み合わせを教師データとして学習させることで、生成され得る。なお、脊椎領域を抽出する学習済モデルと、椎間領域を抽出する学習済モデルと、骨盤領域を抽出する学習済モデルを別々に備える場合には、ラベル付けした画像をそれぞれ分けて学習させればよい。具体的には、腰椎近傍の画像と、その画像内の骨盤領域をラベル付けした画像との組み合わせを教師データとして学習させることで、骨盤領域を抽出する学習済モデルが生成され得る。なお、脊椎領域を抽出する学習済モデルと、椎間領域を抽出する学習済モデルについては、実施例1と同様に生成され得る。
第2の取得部122は、これらの抽出結果に基づいて、抽出結果の補正処理を行ってもよい。抽出結果の補正処理の一例は、抽出された脊椎領域と骨盤領域が、設定された所定の距離以上離れていた場合に、脊椎領域の下端を骨盤領域に届くよう延長させる処理であってよい。ここで設定される所定の距離の一例として、たとえば10mmと設定してよい。
抽出結果の補正処理の一例は、抽出された脊椎領域の下端が骨盤領域の内側だった場合に、脊椎領域の下端を骨盤領域の上側の境界線まで短縮させる処理であってよい。
抽出結果の補正処理の一例は、抽出された椎間領域と骨盤領域が、設定された所定の距離以上離れていた場合に、制御部101が注意を促すメッセージを表示部107に表示させる処理を含んでもよい。注意を促すメッセージは、たとえば骨密度解析領域がずれている可能性や、椎間領域の抽出漏れがある可能性や、操作者へ手動修正を促すメッセージ等であってよい。ここで設定される所定の距離の一例として、たとえば10mmと設定してよい。
また、第2の取得部122は、抽出された椎間領域と骨盤領域が設定された所定の距離以上離れており、椎間領域の抽出漏れの可能性があると判断することができる。この場合、第2の取得部122は、骨盤領域から上へ数えて1つ目の椎間領域と、骨盤領域の上側の境界線との中間位置に、新たに椎間領域を追加してよい。このときに追加する椎間領域は、図5(b)に示す例と同様に、幅10mm、高さ1mmの線分であってよい。また、このときに追加された椎間領域の重心位置の一例は、骨盤領域から上へ数えて1つ目の椎間領域の重心位置と、骨盤領域の上側の境界線のうち横方向の位置(X座標)が骨盤領域の重心位置のX座標となる点との、中点であってよい。
抽出結果の補正処理の一例は、抽出された椎間領域が骨盤領域の内側にあった場合に、その椎間領域を除去する処理であってよい。
以上のように、骨盤領域の抽出結果を参照することで、脊椎領域および椎間領域のセグメンテーション誤差による影響を低減することができる。
次に、ステップS32において、第2の取得部122は、抽出された脊椎領域の抽出結果と椎間領域の抽出結果とを組み合わせることで、実施例1と同様に腰椎の骨密度解析領域を抽出することができる。この場合であっても、脊椎領域の抽出結果と椎間領域の抽出結果とを組み合わせることで、高精度に腰椎の骨密度解析領域を抽出、取得することができる。
ステップS33において、画像処理装置120は、背景領域を抽出する。背景領域の抽出方法は実施例1のステップS13と同様である。
以上のように抽出された骨密度解析領域と背景領域において、本実施例に係る画像処理装置120は実施例1と同様に各骨密度解析領域における骨密度を算出する。
(実施例4)
次に、本発明の実施例4について説明する。本実施例に係るX線撮影システムの構成例は、実施例1に係るX線撮影システム100の構成例と同様であり、図1に示される。なお、本実施例に係るX線撮影システムの構成例については、実施例1に係るX線撮影システム100の構成例と同じ参照符号を用いて説明を省略する。本実施例における画像処理装置120は、実施例1と同様に、図2に示すような画像を入力画像として、骨密度解析領域を抽出する。以下、実施例1との違いを中心に、本実施例について説明する。
次に、本発明の実施例4について説明する。本実施例に係るX線撮影システムの構成例は、実施例1に係るX線撮影システム100の構成例と同様であり、図1に示される。なお、本実施例に係るX線撮影システムの構成例については、実施例1に係るX線撮影システム100の構成例と同じ参照符号を用いて説明を省略する。本実施例における画像処理装置120は、実施例1と同様に、図2に示すような画像を入力画像として、骨密度解析領域を抽出する。以下、実施例1との違いを中心に、本実施例について説明する。
図15は、本実施例における、骨密度解析領域を抽出するための画像処理装置120の画像処理フローを示す。本実施例に係る画像処理が開始されると、処理はステップS41に移行する。
ステップS41において、第1の取得部121は、学習済モデルを用いて、入力画像から脊椎領域、椎間領域、および肋骨領域を抽出(セグメンテーション)する。抽出した結果の一例を図16(a)乃至図16(c)に示す。図16(a)は脊椎領域の抽出結果の一例、図16(b)は椎間領域の抽出結果の一例、図16(c)は肋骨領域の抽出結果の一例を示す。
学習済モデルは、記憶部109に記憶しておき、それを呼び出して使用してよい。脊椎領域を抽出する学習済モデルと、椎間領域を抽出する学習済モデルと、肋骨領域を抽出する学習済モデルは、別々に備えていてよい。これらの学習済モデルは、同じ構造で、重みだけが異なっていてもよい。また、ここでの学習済モデルは共通のモデルであって、各チャンネルから脊椎領域、椎間領域、および肋骨領域のそれぞれの抽出結果が出力されてもよい。
ここでの学習済モデルは、たとえば、腰椎近傍の画像と、その画像内の脊椎領域、椎間領域、および肋骨領域をラベル付けした画像との組み合わせを教師データとして学習させることで、生成され得る。なお、脊椎領域を抽出する学習済モデルと、椎間領域を抽出する学習済モデルと、肋骨領域を抽出する学習済モデルを別々に備える場合には、ラベル付けした画像をそれぞれ分けて学習させればよい。具体的には、腰椎近傍の画像と、その画像内の肋骨領域をラベル付けした画像との組み合わせを教師データとして学習させることで、肋骨領域を抽出する学習済モデルが生成され得る。なお、脊椎領域を抽出する学習済モデルと、椎間領域を抽出する学習済モデルについては、実施例1と同様に生成され得る。
また、胸骨領域を、肋骨領域の代わりに、あるいは追加して、抽出してもよい。この場合には、たとえば、教師データとして、骨盤領域についてラベル付けせずに胸骨領域をラベル付けした画像を用いたり、脊椎領域、椎間領域、骨盤領域および胸骨領域をラベル付けした画像を用いたりすればよい。
次に、ステップS42において、第2の取得部122は、ステップS41の抽出結果から骨密度解析領域を抽出する。ここでは、骨密度解析領域として第2腰椎L2~第4腰椎L4を抽出する場合を説明する。なお、骨密度解析領域の組み合わせはこれに限らず、たとえば第1腰椎L1も併せて抽出してもよい。
第2の取得部122は、抽出した脊椎領域の中で、椎間で区切られた領域(椎体)を抽出する。このとき、第2の取得部122は、肋骨領域と接している椎体を胸椎とみなす。そして、図2に示すように、胸椎の1つ下の椎体を第1腰椎L1として抽出する。さらに、第1腰椎L1の下の椎体を順に第2腰椎L2、第3腰椎L3、および第4腰椎L4として抽出する。
さらに実施例1と同様に、第2の取得部122は、第2腰椎L2、第3腰椎L3、および第4腰椎L4の上下の椎間領域から、対応する参照領域SR1、SR2、SR3を設定してもよい。さらに実施例1と同様に、第2の取得部122は、これらの参照領域内で脊椎領域を、最終的な骨密度解析領域(第2腰椎L2、第3腰椎L3、第4腰椎L4)として設定してもよい。
また、実施例1と同様に、第2の取得部122は、椎体を下から(骨盤側から)数えて2番目から4番目までのものを、第4腰椎L4、第3腰椎L3、および第2腰椎L2として抽出してもよい。このとき、第2の取得部122は、下から数えて5番目の椎体を第1腰椎L1として抽出し、これと肋骨として抽出された領域とを比較することによって補正処理を行ってもよい。
ここでの補正処理の一例は、第1腰椎L1と肋骨領域が接している場合に、骨密度解析領域の抽出結果がずれている可能性や、操作者に手動修正を促すメッセージを制御部101が表示部107へ表示させる処理を含んでもよい。
また、ここでの補正処理の一例は、第1腰椎L1の一つ上の椎体と肋骨領域が接していない場合に、骨密度解析領域の抽出結果がずれている可能性や、操作者に手動修正を促すメッセージを制御部101が表示部107へ表示させる処理を含んでもよい。
また、抽出された脊椎領域の上端の縦方向位置が、抽出された肋骨領域の下端から所定の距離だけ下側の縦方向位置よりも下だった場合に、画像処理装置120は、脊椎領域の上端を、この肋骨領域の下端から所定の距離だけ下側の縦方向位置まで延長させる補正処理を行ってもよい。ここでの所定の距離の一例として、たとえば5mmと設定してもよい。
以上のように、肋骨の抽出結果を参照することで、脊椎領域および椎間領域のセグメンテーション誤差による腰椎抽出への影響を低減することができる。また、脊椎領域の抽出結果と椎間領域の抽出結果とを組み合わせることで、高精度に腰椎の骨密度解析領域を抽出、取得することができる。
ステップS43において、画像処理装置120は、背景領域を抽出する。背景領域の抽出方法は実施例1のステップS13と同様である。
以上のように抽出された骨密度解析領域と背景領域において、本実施例に係る画像処理装置120は、実施例1と同様に各骨密度解析領域における骨密度を算出する。
(変形例)
以下では、本発明の実施例1、実施例2、実施例3および実施例4の少なくとも一つに係る変形例について説明する。画像処理装置120は、金属などの、骨でもなく軟組織でもない物体の領域を、インプラント領域として抽出してもよい。インプラント領域は、機械学習による学習済モデルを用いたセグメンテーションや、輝度値の分散などに基づくルールベースによるセグメンテーションで、抽出されてよい。抽出されたインプラント領域は骨密度解析の際に解析対象から除いてよい。なお、学習済モデルは、たとえば、腰椎近傍の画像と、その画像内の金属などの、骨でもなく軟組織でもない物体の領域をラベル付けした画像との組み合わせを教師データとして学習させることで、生成され得る。
以下では、本発明の実施例1、実施例2、実施例3および実施例4の少なくとも一つに係る変形例について説明する。画像処理装置120は、金属などの、骨でもなく軟組織でもない物体の領域を、インプラント領域として抽出してもよい。インプラント領域は、機械学習による学習済モデルを用いたセグメンテーションや、輝度値の分散などに基づくルールベースによるセグメンテーションで、抽出されてよい。抽出されたインプラント領域は骨密度解析の際に解析対象から除いてよい。なお、学習済モデルは、たとえば、腰椎近傍の画像と、その画像内の金属などの、骨でもなく軟組織でもない物体の領域をラベル付けした画像との組み合わせを教師データとして学習させることで、生成され得る。
また、実施例3と実施例4を組み合わせて、脊椎領域と椎間領域に加えて、骨盤領域と肋骨領域の両方を抽出し、これらの結果を組み合わせることで骨密度解析領域の抽出精度を上げてもよい。たとえば、第2の取得部122は、抽出された脊椎領域の下端の縦方向の位置が骨盤領域の上端よりも閾値以上に上側であった場合、脊椎領域の下端の縦方向の位置を骨盤領域の上端の縦方向の位置まで延長してもよい。また、第2の取得部122は、抽出された脊椎領域の上端の縦方向の位置が肋骨領域の下端よりも閾値以上に下側であった場合、脊椎領域の上端の縦方向の位置を肋骨領域の下端の縦方向の位置まで延長してもよい。ここで言う閾値の一例として10mmと設定することができる。ただし閾値の値はこれに限らず、任意の値を設定することができる。
さらに、第2の取得部122は、このように設定された腰椎領域を縦方向に6等分して、下から(骨盤側から)4番目の領域を第2腰椎L2、下から3番目の領域を第3腰椎L3、下から2番目の領域を第4腰椎L4と設定してもよい。
また、第1の取得部121は、脊椎領域に骨盤領域あるいは肋骨領域の少なくとも一方を融合したものを外枠領域として取得してもよい。さらに、第2の取得部122は、外枠領域を上記脊椎領域の代わりに用いて、上記と同様に椎間領域の抽出結果と組み合わせることで、骨密度解析領域を抽出してもよい。
また、画像処理装置120は、DXA法で取得した異なる放射線エネルギーに関する2枚の画像と、これらの画像から生成されるエネサブ画像との、計3枚の画像を用いて、骨密度解析領域を抽出してもよい。たとえば、第1の取得部121は、学習済モデルを用いて脊椎領域と椎間領域を抽出する際(実施例1のステップS11など)、3枚の画像に対して脊椎領域と椎間領域を抽出してもよい。この場合、第2の取得部122は、抽出結果が重複している領域のみを最終的な脊椎領域および椎間領域として用いてもよい。また、第2の取得部122は、3枚のうち2枚以上で脊椎領域および椎間領域として抽出された領域のみを、最終的な脊椎領域および椎間領域として用いてもよい。
このとき、X線撮影システム100は、3枚の画像に対する学習済モデルを個別に備えていてもよい。この場合には、3枚の画像のそれぞれの種類に応じた画像(異なる放射線エネルギーに関する第1および第2の画像、並びにこれらから生成されるエネサブ画像)をそれぞれの教師データの入力データとして学習させることで、各学習済モデルが生成され得る。なお、教師データの出力データとしては、各種類の画像について脊椎領域や椎間領域にラベル付けした画像を用いればよい。また、1つの学習済モデルの各入力チャンネルが、これら3枚の画像に対応していてもよい。同様に、画像処理装置120は、これら3枚の画像のうち2枚の画像を用いて、脊椎領域および椎間領域を抽出してもよい。
上記のような補正処理を行うことで、セグメンテーション誤差の影響を低減することができる。
なお、上述した実施例1乃至4では、画像処理装置120は、学習済モデルを用いて入力画像である腰椎近傍の画像から脊椎領域と椎間領域を取得し、取得した脊椎領域と椎間領域とを用いて骨密度解析領域を取得した。しかしながら、本開示に係る画像処理は、他の部位にも適用することができる。
上述した、学習済モデルを用いたセグメンテーションで生じる領域の抜けや余分な領域の取得は、取得すべき領域において似た構造が連続して連なっていることに起因するものと考えられる。そのため、たとえば、頚椎や胸椎、その他の似た構造が連続して連なっている部位について領域抽出を行う場合には、同様の状況が生じる可能性がある。このような場合に対しても、本開示に係る画像処理を適用することで、領域の抜けや取得された余分な領域の補正を行うことができ、最終的に解析領域を高精度に取得することができる。
補正処理としては、上述した実施例1乃至4と同様に、取得した第1の領域と、第1の領域を含む、より広い第2の領域との関係や、第1の領域内の複数の領域同士の関係を用いて、第1の領域の補正を行えばよい。例えば、第1の領域同士の重心間の距離や第1の領域の重心と第2領域の端部との距離を用いて、学習済モデルを用いたセグメンテーション結果である、取得した第1の領域を補正すればよい。
また、上述した実施例1乃至4では、椎間領域の間にある腰椎領域を最終的に取得すべき領域(解析領域)とした。これに対し、最終的に取得すべき解析領域は、第1の取得部121による学習済モデルを用いたセグメンテーションで取得され、第2の取得部122で補正される領域であってもよい。
(実施例5)
以下、図17乃至図19を参照して、本開示の実施例5について説明する。実施例1乃至4では、医用画像を撮影するX線撮影システムについて本開示の技術を適用した。これに対し、本実施例では、インラインでの自動検査で用いられる放射線撮影システムについて本開示の技術を適用する。
以下、図17乃至図19を参照して、本開示の実施例5について説明する。実施例1乃至4では、医用画像を撮影するX線撮影システムについて本開示の技術を適用した。これに対し、本実施例では、インラインでの自動検査で用いられる放射線撮影システムについて本開示の技術を適用する。
インラインでの自動検査ではX線により撮影した複数の投影画像を再構成した断層画像を用いる技術が広く用いられている。例えば、インラインでの自動検査においては、拡大撮影のため、検査対象物(例えば、平板状の形状を有する基板)をX線源に近づけた状態で検査を行うことが望まれる。一方、基板の厚さ方向側にX線源を近づけた状態で、X線を照射した場合には、厚さに比べて長尺寸法を有する基板の幅方向へX線は透過しにくいため、所望の検査結果が得られない場合が生じ得る。これに関連して、検査対象物に対して斜め方向にX線を照射する技術(例えば、斜めCT、ラミノCT、又はプラナーCTと呼ばれる手法)が提案されている。検査対象物に対して斜め方向にX線を照射する技術ではX線源に検査対象物を近づけることができるため、撮影の拡大率の調整が容易になり、検査装置のサイズもコンパクトにすることが可能である。
ここで、このような検査対象物に対して斜め方向にX線を照射して撮影された複数の投影画像や該投影画像を再構成した断層画像を学習済モデルへの入力として用いて、はんだ等の物質の存在を解析、検出するための対象領域を取得することができる。しかしながら、このような場合であっても、はんだ等の似た構造が連続して連なっているため、機械学習モデルを用いてセグメンテーションを行った場合、取得すべき領域の抜け等が生じ、解析領域がずれて取得されてしまう恐れがある。
そこで、本実施例では、似た構造が連続して連なる解析領域を高精度に取得することを目的の一つとする。これに関連して、本実施例では、検査対象物に対して斜め方向に放射線を照射して撮影された複数の投影画像や該投影画像を再構成した断層画像に対して、学習済モデルを用いてセグメンテーションを行う。また、セグメンテーションにより、はんだ領域(第1の領域)と、はんだ領域を含む、より広いチップ領域(第2の領域)を取得し、はんだ領域とチップ領域との関係や、はんだ領域内の領域同士の関係を用いて、セグメンテーションにより取得したはんだ領域の補正を行う。
まず、図17を参照して、本実施例に係る放射線撮影システムの構成について説明する。図17は、本実施例に係る放射線撮影システムの全体な構成例を示す。放射線撮影システム1700には、制御部1710と、放射線発生装置1701と、ステージ1706と、放射線撮影装置1704と、ロボットアーム1705と、撮影装置支持部1703とが設けられている。なお、放射線発生装置1701および放射線撮影装置1704の構成は、実施例1に係るX線管103およびFPD106の構成と同様であってよく、説明を省略する。
ここで、放射線撮影装置1704は、撮影装置支持部1703に支持されており、撮影装置支持部1703およびロボットアーム1705が移動することにより、放射線撮影装置1704も移動可能に構成されている。また、ステージ1706には、検査対象物(以下、「ワーク1702」ともいう)が配置される。ステージ1706は、制御部1710のステージ制御部1718の制御信号により、放射線撮影のために指定された位置に移動し、又は、放射線撮影のために指定された所定の位置に停止するように構成されている。
検査対象物には、例えば、種々の物品や人体が含まれることができる。種々の物品(例えば、基板)を検査対象にする場合には、基板に電子部品が装着された状態の良否判定や検査対象物の内部における解析処理等に適用可能である。人体を検査対象にする場合、断層撮影による画像診断に適用可能である。
制御部1710には、第1の取得部1711、生成部1712、第2の取得部1713、第3の取得部1714、表示制御部1715、記憶部1716、撮影装置制御部1717、ステージ制御部1718、および放射線制御部1719が設けられている。第1の取得部1711は、放射線撮影装置1704で撮影された画像や生成部1712で生成された画像を取得することができる。また、第1の取得部1711は、制御部1710にインターネット等のネットワークを介して接続される不図示の外部装置から各種画像を取得することもできる。
生成部1712は、取得部で取得された複数の放射線画像(投影画像)から三次元画像を再構成することができる。また、生成部1712は、生成した三次元画像から任意の断面の断層画像を再構成することができる。なお、生成部1712による処理の詳細については後述する。
第2の取得部1713は、生成部1712において再構成された断層画像について、実施例1に係る画像処理装置120の第1の取得部121と同様に、学習済モデルを用いて、入力画像からチップ領域とはんだ領域を抽出、取得する。第3の取得部1714は、第2の取得部1713によって取得されたチップ領域とはんだ領域を用いて、はんだの存在の有無を解析する対象領域である解析領域を取得する。第2の取得部1713および第3の取得部1714の処理の詳細については後述する。なお、以下において、はんだ領域やチップ領域、解析領域の取得処理には、これら領域を示す画像の取得やこれら領域の特定が含まれるものとする。
なお、本実施例では、第2の取得部1713および第3の取得部1714を制御部1710内の機能構成として実現している。しかしながら、実施例1と同様に、制御部1710とは別個の装置(画像処理装置)を設け、当該別個の装置内に第2の取得部1713および第3の取得部1714を構成してもよい。
なお、制御部1710は、取得した解析領域に関してはんだの存在の解析を行い、電子部品の装着の良否等を判定することができる。また、画像処理装置を別個に設ける場合には、画像処理装置が当該解析処理を行うこともできる。なお、はんだの存在の解析方法は、公知の任意の方法を用いてよい。
表示制御部1715は、表示部1720の表示を制御する。表示制御部1715は、例えば、生成部1712で生成された各種画像、第2の取得部1713で取得された各領域、第3の取得部1714で取得された解析領域の解析結果、および患者情報等を表示部1720に表示させることができる。記憶部1716は、実施例1に係る記憶部109と同様に機能することができる。
ここで、制御部1710は、プロセッサおよびメモリが設けられたコンピュータによって構成されることができる。なお、制御部1710は、一般的なコンピュータによって構成されてもよいし、放射線制御システム専用のコンピュータによって構成されてもよい。また、制御部1710は、例えば、パーソナルコンピュータであってもよく、デスクトップPC、ノート型PC、又はタブレット型PC(携帯型の情報端末)等が用いられてもよい。さらに、制御部1710は、一部の構成要素が外部装置に配置されるようなクラウド型のコンピュータとして構成されてもよい。
また、制御部1710の記憶部1716以外の各構成要素は、CPUやMPU等のプロセッサによって実行されるソフトウェアモジュールにより構成されてよい。なお、プロセッサは、例えば、GPUやFPGA等であってもよい。また、当該各構成要素は、ASIC等の特定の機能を果たす回路等によって構成されてもよい。記憶部1716は、例えば、ハードディスク等の光学ディスクやメモリ等の任意の記憶媒体によって構成されてよい。
また、制御部1710には、表示部1720および操作部1750が接続されている。なお、表示部1720および操作部1750は、実施例1に係る表示部107および操作部108と同様のものであってよく、説明を省略する。
放射線制御部1719は、実施例1に係るX線発生装置制御部102と同様に機能することができる。放射線制御部1719は、操作部1750を介した操作者の操作等に基づいて、例えば、放射線発生装置1701による放射線の照射角、放射線焦点位置、管電圧、および管電流等の撮影条件を制御することができる。
放射線発生装置1701は、放射線制御部1719の制御信号に基づいて、放射線焦点を通る軸を中心軸として放射線を出力する。なお、放射線発生装置1701は、例えば、XYZΦ方向に移動可能な放射線発生装置として構成されることができる。この場合、放射線発生装置1701は、例えば、モータ等の駆動部を備え、放射線制御部1719の制御信号に基づいて、回転軸(Z軸)に交差する面内(XY平面内)の任意の位置に移動したり、任意の位置(例えば、回転軸(Z軸)の位置)に停止したりすることができる。放射線発生装置1701は、回転軸に交差する面内を移動した状態、又は、回転軸の位置に停止した状態で、回転軸に対して傾斜した方向から放射線を照射する。
図17において、回転軸とは、紙面の上下方向の軸(Z軸)であり、角度θは回転軸(Z軸)に対する傾斜角を示す。角度Φは、Z軸回りの回転角度を示す。X方向は、例えば、紙面の左右方向に対応し、Y方向は紙面に対して垂直な方向に対応する。また、Z方向は、例えば、紙面の上下方向に対応するものとする。図17における座標系の設定は、図18Aおよび図18Bにおいても同様である。
放射線発生装置1701が回転軸に交差する面内を移動した状態とは、例えば、図18Aに示すように、放射線発生装置1701が回転軸(Z軸)に交差する面内(XY平面内)を所定の軌道1840で移動した状態を示す。また、放射線発生装置1701が回転軸の位置に停止した状態とは、例えば、図18Bに示すように、放射線発生装置1701が回転軸(Z軸)の位置に停止した状態を示す。また、回転軸に対して傾斜した方向からの放射線照射とは、例えば、図18Aおよび図18Bに示すように、回転軸(Z軸)に対して角度θ傾斜した状態での放射線照射を示す。
図18Aに示す放射線撮影システムにおいて、放射線発生装置1701は、回転軸(Z軸)に交差する面内(XY平面内)を移動可能に構成され、回転軸に対して傾斜した方向から放射線を照射する。ワーク1702を保持するステージ1706(保持部)は、回転軸(Z軸)の位置に停止した状態で、ワーク1702を保持する。また、放射線撮影装置1704は、回転軸(Z軸)に交差する面内(XY平面内)を移動可能に構成され、検査対象物を透過した放射線を検出する。図18Aにおいて、放射線発生装置1701は、放射線制御部1719の制御信号に基づいて、放射線発生装置1701の放射線焦点の位置1820から、放射線焦点を通る軸1820Aを中心軸として放射線を出力する。同様に、放射線発生装置1701は、放射線制御部1719の制御信号に基づいて、放射線発生装置1701の放射線焦点の位置1821の位置から、放射線焦点を通る軸1821Aを中心軸として放射線を出力する。ここで、軸1820A(軸1821A)と回転軸(Z軸)とのなす角度が傾斜角(角度θ)となる。
一方で、図18Bに示す放射線撮影システムでは、放射線発生装置1701は、回転軸(Z軸)の位置に停止した状態で、回転軸に対して傾斜した方向から放射線を照射する。ワーク1702を保持するステージ1706は、回転軸に交差する面内(XY平面内)を移動可能に構成され、ワーク1702を保持する。また、放射線撮影装置1704は、回転軸(Z軸)に交差する面内(XY平面内)を移動可能に構成され、検査対象物を透過した放射線を検出する。図18Bにおいて、放射線発生装置1701は、放射線制御部1719の制御信号に基づいて、放射線発生装置1701の放射線焦点の位置1820(回転軸(Z軸)の位置)から、放射線焦点を通る軸1820Bを中心軸として放射線を出力する。また、放射線発生装置1701は、放射線制御部1719の制御信号に基づいて放射線の照射角を変更し、放射線発生装置1701の放射線焦点の位置1820から、放射線焦点を通る軸1820Cを中心軸として放射線を出力する。ここで、軸1820B(軸1820C)と回転軸(Z軸)とのなす角度が傾斜角(角度θ)となる。
ステージ制御部1718は、放射線撮影のために指定された位置までステージ1706を移動させたり、放射線撮影のために所定の位置に停止させたりするようにステージ1706の位置制御を行う。なお、ステージ制御部1718は、所定の撮影動作のためのプログラムや操作者の操作に基づいてステージ1706の位置制御を行うことができる。
ステージ1706には、検査対象物であるワーク1702が保持される。ステージ1706は、例えば、XYZΦ方向に移動可能なステージとして構成される。ステージ1706は、例えば、モータ等の駆動部を備え、ステージ制御部1718の制御信号に基づいて、回転軸(Z軸)に交差する面内(XY平面内)の任意の位置に移動したり、任意の位置(例えば、回転軸(Z軸)の位置)に停止したりすることができる。ステージ1706はワーク1702を保持し、回転軸(Z軸)に交差する面内(XY平面内)を移動可能に構成された保持部として機能する。
ステージ1706は、例えば、回転軸(Z軸)回りのΦ方向の軌道1860(図18B)やXY平面内における線形軌道に従って移動可能に構成されている。また、ステージ1706は、ステージ制御部1718の制御信号に基づいて、XY平面内における所定の位置に位置決めされ、停止可能である。また、他の場合において、ステージ1706は、ベルトコンベア等により一方向に移動することで検査のための位置にワーク1702を配置するように構成されることができる。
撮影装置制御部1717は、放射線撮影装置1704の位置および動作を制御する。また、撮影装置制御部1717は、ロボットアーム1705および撮影装置支持部1703の移動位置を制御する。ロボットアーム1705と撮影装置支持部1703は、撮影装置制御部1717からの制御信号に基づき所定の位置に移動することにより、放射線撮影装置1704を指定された位置に移動させることができる。例えば、ロボットアーム1705と撮影装置支持部1703とは、XY方向の自由度およびZ軸回りの回転方向(Φ)の自由度(XYΦ方向の自由度)で放射線撮影装置1704を移動させる動作機構として構成されることができる。
放射線撮影装置1704は、撮影装置支持部1703の所定の位置に保持されている。撮影装置制御部1717は、ロボットアーム1705および撮影装置支持部1703の移動位置に基づいて、撮影装置制御部1717の位置情報を取得する。撮影装置制御部1717は、ロボットアーム1705および撮影装置支持部1703の移動位置および回転角度に基づいて取得した放射線撮影装置1704の位置情報および回転角度情報を生成部1712に送信する。
放射線撮影装置1704は、放射線発生装置1701によって出力されてワーク1702を透過した放射線を検出して、ワーク1702の投影画像の画像情報を制御部1710に送る。XYΦ方向の自由度を有するロボットアーム1705および撮影装置支持部1703の動作により、放射線撮影装置1704は、回転軸(Z軸)に交差する面内を移動可能に構成され、検査対象物(ワーク1702)を透過した放射線を検出する。ここで、回転軸に交差する面内の移動とは、例えば、図18Aおよび図18Bに示すように、放射線撮影装置1704が回転軸(Z軸)に交差する面内(XY平面内)を所定の軌道1850で移動した状態を示す。
ここで、図18Aおよび図18Bを用いて、本実施例に係る放射線撮影処理について説明する。本実施例に係る放射線撮影処理では、検査対象物であるワーク1702の三次元画像を生成するため、ワーク1702の撮影位置を変更しながら、ワーク1702に対して斜めに放射線を照射して複数の投影画像を撮影する。
図18Aおよび図18Bは、本実施例に係る放射線撮影処理の例を説明するための図である。図18Aは、放射線発生装置1701が回転軸(Z軸)に交差する面内(XY平面内)を所定の軌道1840で移動した状態での放射線撮影処理の例を示す。一方で、図18Bは、放射線発生装置1701が回転軸(Z軸)の位置に停止した状態での放射線撮影処理の例を示す。なお、本実施例に係る放射線撮影処理は、図18Aおよび図18Bの構成に限られない。本実施例に係る放射線撮影処理は、放射線発生装置1701、検査対象物を保持するステージ1706、および放射線撮影装置1704のうち少なくとも2つが、回転軸に交差する面内を移動可能(例えば連動して回転可能)に構成されていればよい。なお、上記少なくとも2つは、放射線発生装置1701から照射された放射線が検査対象物を回転軸に対して傾斜した方向に透過して放射線撮影装置1704により検出可能な位置関係を満たすように、回転軸に交差する面内を移動可能に構成されていればよい。例えば、上記位置関係を満たすように、放射線発生装置1701と、ステージ1706と、放射線撮影装置1704とが、回転軸に交差する面内を移動可能に構成されていてもよい。また、例えば、上記位置関係を満たすように、放射線撮影装置1704が回転軸の位置に停止した状態で、放射線発生装置1701とステージ1706とが回転軸に交差する面内を移動可能に構成されてもよい。
次に、本実施例に係る制御部1710での画像生成処理等について説明する。第1の取得部1711は、放射線撮影装置1704から送られた放射線画像(投影画像)を取得し、生成部1712に送る。なお、第1の取得部1711は、後述する生成された三次元画像や断層画像を取得することもできる。また、第1の取得部1711は制御部1710に接続された外部装置からこれらの画像情報や各種画像を取得してもよい。
本実施例に係る放射線撮影動作は、投影画像から三次元画像を再構成するために、上述のように、ワーク1702に対して斜めに放射線を照射して、ワーク1702の各撮影位置についてそれぞれ行われる。生成部1712は、このように撮影された複数の投影画像から三次元画像を再構成することができる。より具体的には、生成部1712は、撮影装置制御部1717から受け取った放射線撮影装置1704の位置情報および回転角度情報と、放射線撮影装置1704により撮影されたワーク1702の投影画像とを用いて再構成処理を行い、三次元画像を生成する。なお、生成部1712は、上述したkVスイッチング方式により2種類の管電圧でX線撮影された画像等の異なるエネルギーの放射線に基づいた投影画像を用いて、異なるエネルギーの三次元画像を再構成することもできる。
また、生成部1712は、生成した三次元画像から任意の断面の断層画像を再構成することができる。なお、三次元画像および断層画像を再構成する方法としては、公知の任意の方法を用いてよい。ここで、三次元画像から断層画像を切り出す断面については、予め定められた初期設定に基づいて設定されてもよいし、操作者の指示に応じて設定されてもよい。また、当該断面については、制御部1710によって、投影画像や不図示の各種センサからの情報等に基づいて検出された検査対象物の状態の検出結果に基づいて自動的に設定されてもよいし、操作者の操作等に基づく検査目的の選択に応じて自動的に設定されてもよい。なお、本実施例では、生成部1712は、例えば、XY断面、YZ断面、およびXZ断面の三つの断面について断層画像を再構成する。
第2の取得部1713は、再構成された断層画像を学習済モデルの入力データとして用いて、断層画像のセグメンテーションを行う。第2の取得部1713は、セグメンテーション結果として、当該断層画像内のはんだが適用されたはんだ領域、およびはんだ領域を含み、ICチップ等のチップが適用された領域であるチップ領域を抽出、取得することができる。
ここで、本実施例に係る学習済モデルの学習データとしては、再構成された断層画像を入力データとし、再構成された断層画像についてチップ領域やはんだ領域をラベル付けした画像を出力データとすればよい。なお、チップ領域を抽出する学習済モデルと、はんだ領域を抽出する学習済モデルを別々に設けてもよい。この場合には、ラベル付けした画像をそれぞれ分けて学習させればよい。具体的には、断層画像と、その断層画像内のチップ領域をラベル付けした画像との組み合わせ、および断層画像と、その断層画像内のはんだ領域をラベル付けした画像との組み合わせをそれぞれ教師データとして学習させることで、各学習済モデルが生成され得る。
第3の取得部1714は、第2の取得部1713によって取得されたはんだ領域を、はんだ領域とチップ領域の関係やはんだ領域内の領域同士の関係を用いて補正する。なお、第3の取得部1714による補正処理は実施例1に係る補正処理と同様に行われてよい。ここで、図19(a)乃至図19(c)を参照して、本実施例に係る補正処理についてより具体的に説明する。
図19(a)は、チップ領域1901、1902、1903を含む基板の断層画像1900の一例を示す。なお、本例では基板にチップ領域が3つ含まれる例について述べるが、チップ領域の数はこれに限られず、所望の構成に応じて1つ以上の領域が設けられてよい。また、本例では、それぞれ別個のパターン(はんだパターン1910、1920、1930)で、チップ領域1901、1902、1903内にはんだ領域が設けられている。しかしながら、各チップ領域1901、1902、1903に関するはんだパターンは同一であってもよいし、別々であってもよい。なお、はんだパターンは、はんだ領域同士の関係だけでなく、チップ領域とはんだ領域との関係を規定することができる。なお、チップ領域およびはんだ領域の形状や数、位置は、所望の構成に応じて任意に設定されてよい。
第2の取得部1713は、断層画像1900を学習済モデルの入力データとして用いることで、学習済モデルからチップ領域の抽出結果およびはんだ領域の抽出結果を取得する。図19(b)は、断層画像1900を学習済モデルの入力データとして用いたセグメンテーションにより取得した各チップ領域1901、1902、1903の一例を示す。また、図19(c)は、断層画像1900を学習済モデルの入力データとして用いたセグメンテーションにより取得したはんだ領域に関し、チップ領域1901におけるはんだ領域1911~1919の一例を示す。
図19(c)の例では、はんだ領域1911~1915、1918、1919が抽出されているが、はんだ領域1916、1917が抽出されていない。この場合、第3の取得部1714は、はんだ領域1911~1919に関する所定のはんだパターン1910に規定されるチップ領域1901とはんだ領域との関係およびはんだ領域内の領域同士の関係に基づいて、はんだ領域1916、1917を補正する。
例えば、第3の取得部1714は、はんだ領域1913に関して、はんだ領域1913から下の領域における、次のはんだ領域との距離が閾値より大きい場合に、はんだ領域1913と当該次はんだ領域との間に追加のはんだ領域を設定する。図19(c)の例では、第3の取得部1714は、はんだ領域1913とはんだ領域1913の下の領域における次のはんだ領域1919の距離が閾値より大きいときに、これらのはんだ領域の中間位置にはんだ領域1916を設定する。なお、設定されるはんだ領域の大きさは、所望の構成に応じて設定されてよく、例えば、他のはんだ領域の大きさと同様にしてもよいし、はんだパターン1910に規定されるはんだ領域1916の大きさとしてもよい。
また、第3の取得部1714は、はんだ領域1914に関して、チップ領域1901の下端から、当該下端から上の領域におけるはんだ領域との距離が閾値より大きい場合に、チップ領域1901の下端と当該はんだ領域との間に追加のはんだ領域を設定する。図19(c)の例では、第3の取得部1714は、チップ領域1901の下端から、当該下端から上の領域におけるはんだ領域1914との距離が閾値より大きいときに、これらの中間位置にはんだ領域1917を設定する。なお、設定されるはんだ領域の大きさは、上記と同様に設定されてよい。
なお、上記の例では、第3の取得部1714は、画像の上下方向における距離に基づいて、はんだ領域の補正を行ったが、画像の左右方向における距離や斜め方向における距離に基づいて、はんだ領域の補正を行ってもよい。また、補正処理の基準となる閾値は、実施例1と同様に、取得されたはんだ領域間の平均距離等に基づいて動的に設定されてもよいし、はんだパターン1910に基づいて予め設定されてもよい。なお、はんだ領域の位置は、はんだ領域の重心に基づいて判断されてよい。
また、はんだパターンは任意に設定されてよいため、例えば、はんだパターン1920、1930に示すように、はんだ領域同士が同じ距離間隔で配置されていない場合もある。このため、第3の取得部1714は、はんだ領域の補正を行う際に、所定のはんだパターンに基づいて、はんだ領域の補正の要否を判断することができる。例えば、第3の取得部1714は、はんだパターン1920については左下の領域を、はんだパターン1930については中央の領域をはんだ領域の補正を行わない箇所として判断することができる。
なお、上記の例では、はんだ領域について抜けが生じている例について述べたが、第3の取得部1714は、実施例1と同様に、余分なはんだ領域が取得されている場合には、当該はんだ領域を除外してよい。この場合も、第3の取得部1714は、はんだ領域同士の関係やはんだ領域とチップ領域との関係を用いて、余分なはんだ領域を特定し、除外することができる。当該余分なはんだ領域の特定方法は、実施例1と同様であってよく、例えば、取得されたはんだ領域間の距離が閾値より小さい場合、対応するはんだ領域のうち一方を外れ値(あるいは推論誤差)とみなして、はんだ領域から除外してよい。
表示制御部1715は、制御部1710によって、解析領域について行われた解析結果である、はんだ領域におけるはんだの有無やこれに基づく電子部品の装着の良否等を表示部1720に表示させることができる。なお、解析結果は断層画像に重畳して表示されてもよく、操作者の指示等に応じて、断層画像と解析結果が重畳された断層画像とが切り替えて表示されてもよい。また、表示制御部1715は、複数の断面についての断層画像について解析結果が取得されている場合、各断層画像についての解析結果を表示部1720に並べて表示させたり、切り替えて表示させたりすることができる。これらの場合、表示制御部1715は、操作部1750を介した操作者の指示に応じて、複数の断層画像と解析結果や解析結果が重畳された複数の断層画像との表示の切り替えを一括して行ってもよい。
また、表示制御部1715は、断層画像について取得された解析領域を表示部1720に表示させることができる。また、表示制御部1715は、断層画像に解析領域を重畳して表示部1720に表示させることもできる。なお、表示制御部1715は、複数の断面についての断層画像について解析領域が取得されている場合、これらの解析領域を対応する断層画像に重畳した画像等を表示部1720に並べて表示させたり、切り替えて表示させたりすることができる。また、表示制御部1715は、解析領域が重畳された画像と、元の断層画像とを切り替えて表示させてもよい。この場合、表示制御部1715は、操作部1750を介した操作者の指示に応じて複数の断層画像と解析領域が重畳された複数の断層画像の表示の切り替えを一括して行ってもよい。
なお、本実施例では、第2の取得部1713により、はんだ領域とチップ領域をセグメンテーションにより取得し、第3の取得部1714により、解析領域であるはんだ領域を補正した。しかしながら、セグメンテーションにより取得する領域はこれらに限られず、上述したように、似た構造が連続して連なっている対象物に関する領域であればよい。そのため、実施例1乃至4と同様に、腰椎や頚椎、胸椎等の領域を解析領域とし、これらの領域や脊椎領域をセグメンテーションにより取得し、上述したような補正処理を適用してもよい。このような場合に対しても、本開示に係る画像処理を適用することで、取得すべき領域の抜けや取得された余分な領域の補正を行うことができ、最終的に取得すべき解析領域を高精度に取得することができる。
なお、本実施例に係る一連の処理に関しては、実施例1に係る一連の処理と同様であるため省略する。ただし、本実施例では放射線撮影が上記のようにワーク1702の撮影位置を変更しながら、ワーク1702に対して斜めに放射線を照射して複数の投影画像を撮影することに留意されたい。
上記のように本実施例に係る制御部1710は、第1の取得部1711、第2の取得部1713、および第3の取得部1714を備える画像処理装置の一例として機能する。第1の取得部1711は、検査対象物に対して傾斜した方向に放射線を照射して得た画像を取得する第1の取得手段の一例として機能する。また、第2の取得部1713は、第1の取得部1711が取得した画像を学習済モデルの入力データとして用いて、第1の領域と、第1の領域を含み、第1の領域より広い第2の領域とを取得する第2の取得手段の一例として機能する。ここで、はんだ領域1911~1915、1918~1919は、取得された第1の領域の例であり、チップ領域1901は第2の領域の一例である。第3の取得部1714は、取得した第1の領域と取得した第2の領域との関係および取得した第1の領域内の複数の領域間の関係の少なくとも一方を用いて、取得した第1の領域を補正し、補正した第1の領域を用いて、画像解析処理を行う解析領域を取得する第3の取得手段の一例として機能する。なお、解析領域は、補正された第1の領域とすることができる。
より具体的には、第3の取得部1714は、第1の領域に関する所定のパターンと、取得した第1の領域と取得した第2の領域との関係および取得した第1の領域内の複数の領域間の関係の少なくとも一方とを用いて、取得した第1の領域を補正する。ここで、はんだパターン1910は所定のパターンの一例である。また、第3の取得部1714は、第1の領域に関する所定のパターンを用いて、取得した第1の領域の補正の要否を判断することができる。
本実施例に係る画像処理装置によれば、はんだ領域や腰椎領域等の似た構造が連続して連なる解析領域を高精度に取得することができる。また、検査対象物に対して斜め方向に放射線を照射するため、放射線源に検査対象物を近づけることができ、撮影の拡大率の調整が容易になり、検査装置のサイズもコンパクトにすることができる。
また、本実施例に係る制御部1710は、第3の取得部1714によって取得された解析領域を表示部1720(表示手段)に表示させる表示制御手段の一例として機能する表示制御部1715を更に備える。さらに、第2の取得部1713は、学習済モデルを用いて、検査対象物の少なくとも2つの断面に対応する複数の断層画像に基づいて複数の第1の領域および複数の第2の領域を取得することができる。また、第3の取得部1714は、取得した複数の第1の領域を補正し、該補正した複数の第1の画像を用いて、複数の解析領域を取得することができる。この場合、表示制御部1715は、取得された複数の解析領域又は対応する解析領域が重畳された複数の断層画像を並べて表示部1720に表示させることができる。この場合、複数の断面に関する解析領域を確認することができ、検査対象物に関する検査をより効率的に行うことができる。
さらに、表示制御部1715は、操作者の指示に応じて、少なくとも2つの断面に対応する複数の断層画像と、複数の断層画像に対応する複数の解析領域又は対応する解析領域が重畳された複数の断層画像とを一括して切り替えて表示部1720に表示させることができる。この場合、取得された解析領域と再構成された断層画像とを容易に見比べることができる。そのため、検査対象物に関する検査をより効率的に行うことができる。
なお、複数の断層画像に関する断面は、初期設定、操作者の指示、検査対象の状態の検出結果、および検査目的の選択の少なくとも一つに応じて設定されることができる。このため、所望の設定に応じた断面の断層画像が生成され、当該断層画像に対応する解析領域が高精度に取得されることができる。これにより、検査対象物に関する検査をより効率的に行うことができる。
なお、本実施例では、第2の取得部1713が、学習済モデルを用いて、断層画像に基づいて第1の領域および第2の領域を取得した。これに対して、第2の取得部1713は、投影画像、三次元画像、又はエネサブ画像に基づいて、第1の領域および第2の領域を取得してもよい。この場合には、学習済モデルの学習データの入力データとして、投影画像、三次元画像、又はエネサブ画像を用いればよい。また、学習データの出力データとしては、投影画像、三次元画像、又はエネサブ画像について第1の領域および第2の領域のラベル付けをした画像を用いればよい。なお、学習データの入力データとして三次元画像を用いる場合には、学習データの出力データとして、所定の断面の断層画像に第1の領域および第2の領域をラベル付けした画像を用いてもよい。
(変形例)
上記第実施例1乃至5および変形例に係る学習済モデルの学習データは、実際の撮影を行う放射線撮影装置自体を用いて得たデータに限られない。当該画像データは、所望の構成に応じて、同型の放射線撮影装置を用いて得たデータや、同種の放射線撮影装置を用いて得たデータ等であってもよい。
上記第実施例1乃至5および変形例に係る学習済モデルの学習データは、実際の撮影を行う放射線撮影装置自体を用いて得たデータに限られない。当該画像データは、所望の構成に応じて、同型の放射線撮影装置を用いて得たデータや、同種の放射線撮影装置を用いて得たデータ等であってもよい。
また、学習済モデルへの入力として、複数の画像を用いる場合には、複数の入力画像を学習済モデルの複数の入力チャンネルにそれぞれ入力することができる。これに対し、複数の入力画像を結合して1つの画像とし、学習済モデルの1つのチャンネルに入力してもよい。この場合には、学習済モデルの学習データについても、同様に、入力画像を結合した1つの画像を入力データとして用いればよい。
また、上記実施例1乃至5および変形例では、制御部101、1710は、不図示のボタンの操作等の操作者の指示に応じて、解析領域等のセグメンテーション結果を表示画像に重畳して表示部107、1720に表示させてもよい。なお、表示画像および対応するセグメンテーション結果が複数ある場合には、操作者の指示に応じて、一括してセグメンテーション結果を各表示画像に重畳して表示部107、1720に表示させてもよい。また、制御部101、1710は、骨密度解析領域および背景領域、又ははんだ領域およびチップ領域等の取得結果をそれぞれ異なる色を用いて色分けして表示してもよい。この場合も、操作者の指示に応じて、複数の画像について一括して色分けして表示されてもよい。
なお、上述した上実施例1乃至5および変形例に係る学習済モデルでは、入力データの画像の輝度値の大小、明部と暗部の順番や傾き、位置、分布、連続性等を特徴量の一部として抽出して、推論処理に用いているものと考えらえる。
また、上述した実施例1乃至5および変形例に係る各種学習済モデルは制御部101,1710に設けられることができる。学習済モデルは、例えば、CPUや、MPU、GPU、FPGA等のプロセッサによって実行されるソフトウェアモジュール等で構成されてもよいし、ASIC等の特定の機能を果たす回路等によって構成されてもよい。また、学習済モデルは、制御部101,1710と接続される別のサーバの装置等に設けられてもよい。この場合には、制御部101,1710は、インターネット等の任意のネットワークを介して学習済モデルを備えるサーバ等に接続することで、学習済モデルを用いることができる。ここで、学習済モデルを備えるサーバは、例えば、クラウドサーバや、フォグサーバ、エッジサーバ等であってよい。なお、施設内や、施設が含まれる敷地内、複数の施設が含まれる地域内等のネットワークを無線通信可能に構成する場合には、例えば、施設や、敷地、地域等に限定で割り当てられた専用の波長帯域の電波を用いるように構成することで、ネットワークの信頼性を向上させてもよい。また、高速や、大容量、低遅延、多数同時接続が可能な無線通信によりネットワークが構成されてもよい。
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した様々な実施例および変形例の1以上の機能を実現するソフトウェア(プログラム)を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ(又はCPUやMPU等)がプログラムを読み出して実行する処理である。
また、本発明は、上述した様々な実施例および変形例の1以上の機能を実現するソフトウェア(プログラム)を、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(たとえば、ASIC)によっても実現可能である。コンピュータは、1つ又は複数のプロセッサ若しくは回路を有し、コンピュータ実行可能命令を読み出し実行するために、分離した複数のコンピュータ又は分離した複数のプロセッサ若しくは回路のネットワークを含みうる。
このとき、プロセッサ又は回路は、中央演算処理装置(CPU)、マイクロプロセッシングユニット(MPU)、グラフィクスプロセッシングユニット(GPU)、特定用途向け集積回路(ASIC)、又はフィールドプログラマブルゲートウェイ(FPGA)を含みうる。また、プロセッサ又は回路は、デジタルシグナルプロセッサ(DSP)、データフロープロセッサ(DFP)、又はニューラルプロセッシングユニット(NPU)を含みうる。
上記開示は、以下の構成および方法を含む。
(構成1)
入力画像内の脊椎領域と椎間領域とをそれぞれ取得する第1の取得手段と、
前記取得した脊椎領域と前記取得された椎間領域とを用いて腰椎の骨密度測定の対象領域である骨密度解析領域を取得する第2の取得手段と、
を有する画像処理装置。
(構成2)
前記第1の取得手段は、学習済モデルを用いて前記入力画像内の前記脊椎領域と前記椎間領域とをそれぞれ取得する構成1に記載の画像処理装置。
(構成3)
前記入力画像は、エネルギーサブトラクション画像である構成1又は2に記載の画像処理装置。
(構成4)
前記入力画像は、2種類の管電圧のX線を用いて取得された画像である構成1乃至3のいずれか1つに記載の画像処理装置。
(構成5)
前記入力画像は、X線吸収率の異なる2種類の素材を有するセンサを用いて取得された画像である構成1乃至3のいずれか1つに記載の画像処理装置。
(構成6)
前記入力画像は、単純X線画像である構成1又は2に記載の画像処理装置。
(構成7)
前記第1の取得手段は、前記脊椎領域を取得するための学習済モデルと、前記椎間領域を取得するための学習済モデルとを個別に備える構成2に記載の画像処理装置。
(構成8)
前記第1の取得手段は、前記脊椎領域と前記椎間領域とをそれぞれ取得する1つの学習済モデルを備える構成2に記載の画像処理装置。
(構成9)
前記第1の取得手段は、前記入力画像内の前記脊椎領域を取得し、取得結果に基づいて生成された脊椎画像から前記椎間領域を取得する構成1に記載の画像処理装置。
(構成10)
前記第2の取得手段は、前記取得された椎間領域を通る直線に挟まれた参照領域内で、前記取得された脊椎領域の内側の領域を椎体として取得し、
前記取得された椎体を骨盤側から数えることで前記腰椎の骨密度解析領域を取得する構成1乃至9のいずれか1つに記載の画像処理装置。
(構成11)
前記第2の取得手段は、前記取得された椎間領域の中で、前記取得された脊椎領域の外側の領域を除外する処理を行う構成1乃至10のいずれか1つに記載の画像処理装置。
(構成12)
前記第2の取得手段は、前記取得された脊椎領域および椎間領域の少なくとも一方の形状に基づいて、前記入力画像の回転補正を行う構成1乃至11のいずれか1つに記載の画像処理装置。
(構成13)
前記第2の取得手段は、前記取得された脊椎領域および椎間領域の少なくとも一方の形状に基づいて、前記参照領域を構成する直線を斜めに引く構成10に記載の画像処理装置。
(構成14)
前記第2の取得手段は、前記入力画像の輝度値の分散に基づいて背景領域を設定する構成1乃至13のいずれか1つに記載の画像処理装置。
(構成15)
前記第2の取得手段は、前記取得された椎間領域の数が所定の数よりも少なかった場合、前記取得された脊椎領域を前記所定の数に区分することで、前記骨密度解析領域を取得する構成1乃至14のいずれか1つに記載の画像処理装置。
(構成16)
前記第2の取得手段は、前記取得された脊椎領域の上端あるいは下端と1つ内側の椎間領域との距離に基づいて、補正処理を行う構成1乃至15のいずれか1つに記載の画像処理装置。
(構成17)
前記第1の取得手段は、前記入力画像内の前記脊椎領域、前記椎間領域、および骨盤領域を取得し、前記第2の取得手段は、前記脊椎領域、前記椎間領域、および前記骨盤領域の取得結果に基づいて前記腰椎の骨密度解析領域を取得する構成1乃至16のいずれか1つに記載の画像処理装置。
(構成18)
前記第1の取得手段は、前記入力画像内の前記脊椎領域、前記椎間領域、および肋骨領域を取得し、前記第2の取得手段は、前記脊椎領域、前記椎間領域、および前記肋骨領域の取得結果に基づいて前記腰椎の骨密度解析領域を取得する構成1乃至17のいずれか1つに記載の画像処理装置。
(構成19)
前記第2の取得手段は、前記取得された脊椎領域の上端から肋骨領域の下端までの距離、あるいは前記脊椎領域の下端から骨盤領域の上端までの距離の少なくとも1つに基づいて、前記脊椎領域を延長あるいは短縮する補正処理を行う構成1乃至18のいずれか1つに記載の画像処理装置。
(構成20)
前記第1の取得手段は、前記入力画像内の前記脊椎領域と、骨盤領域あるいは肋骨領域の少なくとも一方とを融合した外枠領域を取得する構成1乃至19のいずれか1つに記載の画像処理装置。
(構成21)
前記第1の取得手段は、DXA法を用いて取得された2枚の画像と、該2枚の画像から生成されるエネルギーサブトラクション画像との、3枚の画像のうち、少なくとも2枚の画像に対して前記脊椎領域と前記椎間領域とをそれぞれ取得し、
前記第2の取得手段は、前記少なくとも2枚の画像に対する前記脊椎領域と前記椎間領域との取得結果に基づいて前記骨密度解析領域を取得する構成1又は2に記載の画像処理装置。
(構成22)
前記第2の取得手段による取得結果あるいは取得過程を操作者へ表示する表示手段を備える構成1乃至21のいずれか1つに記載の画像処理装置。
(構成23)
操作者が第2の取得手段による取得結果あるいは取得過程を見ながら操作するための操作手段を備える構成1乃至22のいずれか1つに記載の画像処理装置。
(構成24)
検査対象物に対して傾斜した方向に放射線を照射して得た画像を取得する第1の取得手段と、
前記取得した画像を学習済モデルの入力データとして用いて、第1の領域と、該第1の領域を含み、該第1の領域より広い第2の領域とを取得する第2の取得手段と、
前記取得した第1の領域と前記取得した第2の領域との関係および前記取得した第1の領域内の複数の領域間の関係の少なくとも一方を用いて、前記取得した第1の領域を補正し、該補正した第1の領域を用いて、画像解析処理を行う解析領域を取得する第3の取得手段と、
を有する画像処理装置。
(構成25)
前記第3の取得手段は、前記第1の領域に関する所定のパターンと、前記取得した第1の領域と前記取得した第2の領域との関係および前記取得した第1の領域内の複数の領域間の関係の少なくとも一方とを用いて、前記取得した第1の領域を補正する構成24に記載の画像処理装置。
(構成26)
前記第3の取得手段は、前記所定のパターンを用いて、前記取得した第1の領域の補正の要否を判断する構成25に記載の画像処理装置。
(構成27)
前記解析領域は、前記補正された第1の領域である構成24乃至26のいずれか1つに記載の画像処理装置。
(構成28)
前記取得された解析領域を表示手段に表示させる表示制御手段を更に備え、
前記第2の取得手段は、前記学習済モデルを用いて、前記検査対象物の少なくとも2つの断面に対応する複数の断層画像に基づいて複数の前記第1の領域および複数の前記第2の領域を取得し、
前記第3の取得手段は、前記取得した複数の第1の領域を補正し、該補正した複数の第1の領域を用いて、複数の前記解析領域を取得し、
前記表示制御手段は、前記取得された複数の解析領域又は対応する解析領域が重畳された前記複数の断層画像を並べて前記表示手段に表示させる構成24乃至27のいずれか1つに記載の画像処理装置。
(構成29)
前記表示制御手段は、操作者の指示に応じて、前記複数の断層画像と、前記複数の解析領域又は前記対応する解析領域が重畳された前記複数の断層画像とを一括して切り替えて前記表示手段に表示させる構成28に記載の画像処理装置。
(構成30)
前記複数の断層画像に関する断面は、初期設定、操作者の指示、検査対象の状態の検出結果、および検査目的の選択の少なくとも一つに応じて設定される構成28乃至29のいずれか1つに記載の画像処理装置。
(方法1)
入力画像内の脊椎領域と椎間領域とをそれぞれ取得する第1の取得工程と、
前記取得した脊椎領域と前記取得した椎間領域とを用いて腰椎の骨密度測定の対象領域である骨密度解析領域を取得する第2の取得工程と、
を含む画像処理装置の作動方法。
(方法2)
検査対象物に対して傾斜した方向に放射線を照射して得た画像を取得する第1の取得工程と、
前記取得した画像を学習済モデルの入力データとして用いて、第1の領域と、該第1の領域を含み、該第1の領域より広い第2の領域とを取得する第2の取得工程と、
前記取得した第1の領域と前記取得した第2の領域との関係および前記取得した第1の領域内の複数の領域間の関係の少なくとも一方を用いて、前記取得した第1の領域を補正し、該補正した第1の領域を用いて、画像解析処理を行う解析領域を取得する第3の取得工程と、
を含む画像処理装置の作動方法。
(プログラム1)
コンピュータによって実行されると、該コンピュータに方法1又は2に記載の画像処理装置の作動方法の各工程を実行させるプログラム。
(構成1)
入力画像内の脊椎領域と椎間領域とをそれぞれ取得する第1の取得手段と、
前記取得した脊椎領域と前記取得された椎間領域とを用いて腰椎の骨密度測定の対象領域である骨密度解析領域を取得する第2の取得手段と、
を有する画像処理装置。
(構成2)
前記第1の取得手段は、学習済モデルを用いて前記入力画像内の前記脊椎領域と前記椎間領域とをそれぞれ取得する構成1に記載の画像処理装置。
(構成3)
前記入力画像は、エネルギーサブトラクション画像である構成1又は2に記載の画像処理装置。
(構成4)
前記入力画像は、2種類の管電圧のX線を用いて取得された画像である構成1乃至3のいずれか1つに記載の画像処理装置。
(構成5)
前記入力画像は、X線吸収率の異なる2種類の素材を有するセンサを用いて取得された画像である構成1乃至3のいずれか1つに記載の画像処理装置。
(構成6)
前記入力画像は、単純X線画像である構成1又は2に記載の画像処理装置。
(構成7)
前記第1の取得手段は、前記脊椎領域を取得するための学習済モデルと、前記椎間領域を取得するための学習済モデルとを個別に備える構成2に記載の画像処理装置。
(構成8)
前記第1の取得手段は、前記脊椎領域と前記椎間領域とをそれぞれ取得する1つの学習済モデルを備える構成2に記載の画像処理装置。
(構成9)
前記第1の取得手段は、前記入力画像内の前記脊椎領域を取得し、取得結果に基づいて生成された脊椎画像から前記椎間領域を取得する構成1に記載の画像処理装置。
(構成10)
前記第2の取得手段は、前記取得された椎間領域を通る直線に挟まれた参照領域内で、前記取得された脊椎領域の内側の領域を椎体として取得し、
前記取得された椎体を骨盤側から数えることで前記腰椎の骨密度解析領域を取得する構成1乃至9のいずれか1つに記載の画像処理装置。
(構成11)
前記第2の取得手段は、前記取得された椎間領域の中で、前記取得された脊椎領域の外側の領域を除外する処理を行う構成1乃至10のいずれか1つに記載の画像処理装置。
(構成12)
前記第2の取得手段は、前記取得された脊椎領域および椎間領域の少なくとも一方の形状に基づいて、前記入力画像の回転補正を行う構成1乃至11のいずれか1つに記載の画像処理装置。
(構成13)
前記第2の取得手段は、前記取得された脊椎領域および椎間領域の少なくとも一方の形状に基づいて、前記参照領域を構成する直線を斜めに引く構成10に記載の画像処理装置。
(構成14)
前記第2の取得手段は、前記入力画像の輝度値の分散に基づいて背景領域を設定する構成1乃至13のいずれか1つに記載の画像処理装置。
(構成15)
前記第2の取得手段は、前記取得された椎間領域の数が所定の数よりも少なかった場合、前記取得された脊椎領域を前記所定の数に区分することで、前記骨密度解析領域を取得する構成1乃至14のいずれか1つに記載の画像処理装置。
(構成16)
前記第2の取得手段は、前記取得された脊椎領域の上端あるいは下端と1つ内側の椎間領域との距離に基づいて、補正処理を行う構成1乃至15のいずれか1つに記載の画像処理装置。
(構成17)
前記第1の取得手段は、前記入力画像内の前記脊椎領域、前記椎間領域、および骨盤領域を取得し、前記第2の取得手段は、前記脊椎領域、前記椎間領域、および前記骨盤領域の取得結果に基づいて前記腰椎の骨密度解析領域を取得する構成1乃至16のいずれか1つに記載の画像処理装置。
(構成18)
前記第1の取得手段は、前記入力画像内の前記脊椎領域、前記椎間領域、および肋骨領域を取得し、前記第2の取得手段は、前記脊椎領域、前記椎間領域、および前記肋骨領域の取得結果に基づいて前記腰椎の骨密度解析領域を取得する構成1乃至17のいずれか1つに記載の画像処理装置。
(構成19)
前記第2の取得手段は、前記取得された脊椎領域の上端から肋骨領域の下端までの距離、あるいは前記脊椎領域の下端から骨盤領域の上端までの距離の少なくとも1つに基づいて、前記脊椎領域を延長あるいは短縮する補正処理を行う構成1乃至18のいずれか1つに記載の画像処理装置。
(構成20)
前記第1の取得手段は、前記入力画像内の前記脊椎領域と、骨盤領域あるいは肋骨領域の少なくとも一方とを融合した外枠領域を取得する構成1乃至19のいずれか1つに記載の画像処理装置。
(構成21)
前記第1の取得手段は、DXA法を用いて取得された2枚の画像と、該2枚の画像から生成されるエネルギーサブトラクション画像との、3枚の画像のうち、少なくとも2枚の画像に対して前記脊椎領域と前記椎間領域とをそれぞれ取得し、
前記第2の取得手段は、前記少なくとも2枚の画像に対する前記脊椎領域と前記椎間領域との取得結果に基づいて前記骨密度解析領域を取得する構成1又は2に記載の画像処理装置。
(構成22)
前記第2の取得手段による取得結果あるいは取得過程を操作者へ表示する表示手段を備える構成1乃至21のいずれか1つに記載の画像処理装置。
(構成23)
操作者が第2の取得手段による取得結果あるいは取得過程を見ながら操作するための操作手段を備える構成1乃至22のいずれか1つに記載の画像処理装置。
(構成24)
検査対象物に対して傾斜した方向に放射線を照射して得た画像を取得する第1の取得手段と、
前記取得した画像を学習済モデルの入力データとして用いて、第1の領域と、該第1の領域を含み、該第1の領域より広い第2の領域とを取得する第2の取得手段と、
前記取得した第1の領域と前記取得した第2の領域との関係および前記取得した第1の領域内の複数の領域間の関係の少なくとも一方を用いて、前記取得した第1の領域を補正し、該補正した第1の領域を用いて、画像解析処理を行う解析領域を取得する第3の取得手段と、
を有する画像処理装置。
(構成25)
前記第3の取得手段は、前記第1の領域に関する所定のパターンと、前記取得した第1の領域と前記取得した第2の領域との関係および前記取得した第1の領域内の複数の領域間の関係の少なくとも一方とを用いて、前記取得した第1の領域を補正する構成24に記載の画像処理装置。
(構成26)
前記第3の取得手段は、前記所定のパターンを用いて、前記取得した第1の領域の補正の要否を判断する構成25に記載の画像処理装置。
(構成27)
前記解析領域は、前記補正された第1の領域である構成24乃至26のいずれか1つに記載の画像処理装置。
(構成28)
前記取得された解析領域を表示手段に表示させる表示制御手段を更に備え、
前記第2の取得手段は、前記学習済モデルを用いて、前記検査対象物の少なくとも2つの断面に対応する複数の断層画像に基づいて複数の前記第1の領域および複数の前記第2の領域を取得し、
前記第3の取得手段は、前記取得した複数の第1の領域を補正し、該補正した複数の第1の領域を用いて、複数の前記解析領域を取得し、
前記表示制御手段は、前記取得された複数の解析領域又は対応する解析領域が重畳された前記複数の断層画像を並べて前記表示手段に表示させる構成24乃至27のいずれか1つに記載の画像処理装置。
(構成29)
前記表示制御手段は、操作者の指示に応じて、前記複数の断層画像と、前記複数の解析領域又は前記対応する解析領域が重畳された前記複数の断層画像とを一括して切り替えて前記表示手段に表示させる構成28に記載の画像処理装置。
(構成30)
前記複数の断層画像に関する断面は、初期設定、操作者の指示、検査対象の状態の検出結果、および検査目的の選択の少なくとも一つに応じて設定される構成28乃至29のいずれか1つに記載の画像処理装置。
(方法1)
入力画像内の脊椎領域と椎間領域とをそれぞれ取得する第1の取得工程と、
前記取得した脊椎領域と前記取得した椎間領域とを用いて腰椎の骨密度測定の対象領域である骨密度解析領域を取得する第2の取得工程と、
を含む画像処理装置の作動方法。
(方法2)
検査対象物に対して傾斜した方向に放射線を照射して得た画像を取得する第1の取得工程と、
前記取得した画像を学習済モデルの入力データとして用いて、第1の領域と、該第1の領域を含み、該第1の領域より広い第2の領域とを取得する第2の取得工程と、
前記取得した第1の領域と前記取得した第2の領域との関係および前記取得した第1の領域内の複数の領域間の関係の少なくとも一方を用いて、前記取得した第1の領域を補正し、該補正した第1の領域を用いて、画像解析処理を行う解析領域を取得する第3の取得工程と、
を含む画像処理装置の作動方法。
(プログラム1)
コンピュータによって実行されると、該コンピュータに方法1又は2に記載の画像処理装置の作動方法の各工程を実行させるプログラム。
以上、実施例および変形例を参照して本発明について説明したが、本発明は上記実施例および変形例に限定されるものではない。本発明の趣旨に反しない範囲で変更された発明、および本発明と均等な発明も本発明に含まれる。また、上述の各実施例および変形例は、本発明の趣旨に反しない範囲で適宜組み合わせることができる。
120:画像処理装置、121:第1の取得部、122:第2の取得部
Claims (33)
- 入力画像内の脊椎領域と椎間領域とをそれぞれ取得する第1の取得手段と、
前記取得した脊椎領域と前記取得した椎間領域とを用いて腰椎の骨密度測定の対象領域である骨密度解析領域を取得する第2の取得手段と、
を有する画像処理装置。 - 前記第1の取得手段は、学習済モデルを用いて前記入力画像内の前記脊椎領域と前記椎間領域とをそれぞれ取得する請求項1に記載の画像処理装置。
- 前記入力画像は、エネルギーサブトラクション画像である請求項1又は2に記載の画像処理装置。
- 前記入力画像は、2種類の管電圧のX線を用いて取得された画像である請求項1又は2に記載の画像処理装置。
- 前記入力画像は、X線吸収率の異なる2種類の素材を有するセンサを用いて取得された画像である請求項1又は2に記載の画像処理装置。
- 前記入力画像は、単純X線画像である請求項1又は2に記載の画像処理装置。
- 前記第1の取得手段は、前記脊椎領域を取得するための学習済モデルと、前記椎間領域を取得するための学習済モデルとを個別に備える請求項2に記載の画像処理装置。
- 前記第1の取得手段は、前記脊椎領域と前記椎間領域とをそれぞれ取得する1つの学習済モデルを備える請求項2に記載の画像処理装置。
- 前記第1の取得手段は、前記入力画像内の前記脊椎領域を取得し、取得結果に基づいて生成された脊椎画像から前記椎間領域を取得する請求項1又は2に記載の画像処理装置。
- 前記第2の取得手段は、前記取得された椎間領域を通る直線に挟まれた参照領域内で、前記取得された脊椎領域の内側の領域を椎体として取得し、
前記取得された椎体を骨盤側から数えることで前記腰椎の骨密度解析領域を取得する請求項1又は2に記載の画像処理装置。 - 前記第2の取得手段は、前記取得された椎間領域の中で、前記取得された脊椎領域の外側の領域を除外する処理を行う請求項1又は2に記載の画像処理装置。
- 前記第2の取得手段は、前記取得された脊椎領域および椎間領域の少なくとも一方の形状に基づいて、前記入力画像の回転補正を行う請求項1又は2に記載の画像処理装置。
- 前記第2の取得手段は、前記取得された脊椎領域および椎間領域の少なくとも一方の形状に基づいて、前記参照領域を構成する直線を斜めに引く請求項10に記載の画像処理装置。
- 前記第2の取得手段は、前記入力画像の輝度値の分散に基づいて背景領域を設定する請求項1又は2に記載の画像処理装置。
- 前記第2の取得手段は、前記取得された椎間領域の数が所定の数よりも少なかった場合、前記取得された脊椎領域を前記所定の数に区分することで、前記骨密度解析領域を取得する請求項1又は2に記載の画像処理装置。
- 前記第2の取得手段は、前記取得された脊椎領域の上端あるいは下端と該上端あるいは下端から1つ内側の椎間領域との距離に基づいて、補正処理を行う請求項1又は2に記載の画像処理装置。
- 前記第1の取得手段は、前記入力画像内の前記脊椎領域、前記椎間領域、および骨盤領域を取得し、前記第2の取得手段は、前記脊椎領域、前記椎間領域、および前記骨盤領域の取得結果に基づいて前記腰椎の骨密度解析領域を取得する請求項1又は2に記載の画像処理装置。
- 前記第1の取得手段は、前記入力画像内の前記脊椎領域、前記椎間領域、および肋骨領域を取得し、前記第2の取得手段は、前記脊椎領域、前記椎間領域、および前記肋骨領域の取得結果に基づいて前記腰椎の骨密度解析領域を取得する請求項1又は2に記載の画像処理装置。
- 前記第2の取得手段は、前記取得された脊椎領域の上端から肋骨領域の下端までの距離、あるいは前記脊椎領域の下端から骨盤領域の上端までの距離の少なくとも1つに基づいて、前記脊椎領域を延長あるいは短縮する補正処理を行う請求項1又は2に記載の画像処理装置。
- 前記第1の取得手段は、前記入力画像内の前記脊椎領域と、骨盤領域あるいは肋骨領域の少なくとも一方とを融合した外枠領域を取得する請求項1又は2に記載の画像処理装置。
- 前記第1の取得手段は、DXA法を用いて取得された2枚の画像と、該2枚の画像から生成されるエネルギーサブトラクション画像との、3枚の画像のうち、少なくとも2枚の画像に対して前記脊椎領域と前記椎間領域とをそれぞれ取得し、
前記第2の取得手段は、前記少なくとも2枚の画像に対する前記脊椎領域と前記椎間領域の取得結果に基づいて前記骨密度解析領域を取得する請求項1又は2に記載の画像処理装置。 - 前記第2の取得手段による取得結果あるいは取得過程を操作者へ表示する表示手段を備える請求項1又は2に記載の画像処理装置。
- 操作者が第2の取得手段による取得結果あるいは取得過程を見ながら操作するための操作手段を備える請求項1又は2に記載の画像処理装置。
- 検査対象物に対して傾斜した方向に放射線を照射して得た画像を取得する第1の取得手段と、
前記取得した画像を学習済モデルの入力データとして用いて、第1の領域と、該第1の領域を含み、該第1の領域より広い第2の領域とを取得する第2の取得手段と、
前記取得した第1の領域と前記取得した第2の領域との関係および前記取得した第1の領域内の複数の領域間の関係の少なくとも一方を用いて、前記取得した第1の領域を補正し、該補正した第1の領域を用いて、画像解析処理を行う解析領域を取得する第3の取得手段と、
を有する画像処理装置。 - 前記第3の取得手段は、前記第1の領域に関する所定のパターンと、前記取得した第1の領域と前記取得した第2の領域との関係および前記取得した第1の領域内の複数の領域間の関係の少なくとも一方とを用いて、前記取得した第1の領域を補正する請求項24に記載の画像処理装置。
- 前記第3の取得手段は、前記所定のパターンを用いて、前記取得した第1の領域の補正の要否を判断する請求項25に記載の画像処理装置。
- 前記解析領域は、前記補正された第1の領域である請求項24乃至26のいずれか一項に記載の画像処理装置。
- 前記取得された解析領域を表示手段に表示させる表示制御手段を更に備え、
前記第2の取得手段は、前記学習済モデルを用いて、前記検査対象物の少なくとも2つの断面に対応する複数の断層画像に基づいて複数の前記第1の領域および複数の前記第2の領域を取得し、
前記第3の取得手段は、前記取得した複数の第1の領域を補正し、該補正した複数の第1の領域を用いて、複数の前記解析領域を取得し、
前記表示制御手段は、前記取得された複数の解析領域又は対応する解析領域が重畳された前記複数の断層画像を並べて前記表示手段に表示させる請求項24に記載の画像処理装置。 - 前記表示制御手段は、操作者の指示に応じて、前記複数の断層画像と、前記複数の解析領域又は前記対応する解析領域が重畳された前記複数の断層画像とを一括して切り替えて前記表示手段に表示させる請求項28に記載の画像処理装置。
- 前記複数の断層画像に関する断面は、初期設定、操作者の指示、検査対象の状態の検出結果、および検査目的の選択の少なくとも一つに応じて設定される請求項28に記載の画像処理装置。
- 入力画像内の脊椎領域と椎間領域とをそれぞれ取得する第1の取得工程と、
前記取得した脊椎領域と前記取得した椎間領域とを用いて腰椎の骨密度測定の対象領域である骨密度解析領域を取得する第2の取得工程と、
を含む画像処理装置の作動方法。 - 検査対象物に対して傾斜した方向に放射線を照射して得た画像を取得する第1の取得工程と、
前記取得した画像を学習済モデルの入力データとして用いて、第1の領域と、該第1の領域を含み、該第1の領域より広い第2の領域とを取得する第2の取得工程と、
前記取得した第1の領域と前記取得した第2の領域との関係および前記取得した第1の領域内の複数の領域間の関係の少なくとも一方を用いて、前記取得した第1の領域を補正し、該補正した第1の領域を用いて、画像解析処理を行う解析領域を取得する第3の取得工程と、
を含む画像処理装置の作動方法。 - コンピュータによって実行されると、該コンピュータに請求項31又は32に記載の画像処理装置の作動方法の各工程を実行させるプログラム。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2022064683A JP2023154994A (ja) | 2022-04-08 | 2022-04-08 | 画像処理装置、画像処理装置の作動方法、およびプログラム |
PCT/JP2023/013801 WO2023195443A1 (ja) | 2022-04-08 | 2023-04-03 | 画像処理装置、画像処理装置の作動方法、およびプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2022064683A JP2023154994A (ja) | 2022-04-08 | 2022-04-08 | 画像処理装置、画像処理装置の作動方法、およびプログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2023154994A true JP2023154994A (ja) | 2023-10-20 |
Family
ID=88242970
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022064683A Pending JP2023154994A (ja) | 2022-04-08 | 2022-04-08 | 画像処理装置、画像処理装置の作動方法、およびプログラム |
Country Status (2)
Country | Link |
---|---|
JP (1) | JP2023154994A (ja) |
WO (1) | WO2023195443A1 (ja) |
Family Cites Families (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP2756804A1 (en) * | 2013-01-22 | 2014-07-23 | Agfa Healthcare | Method, apparatus and system for identifying a specific part of a spine in an image |
WO2015114834A1 (ja) * | 2014-02-03 | 2015-08-06 | 株式会社島津製作所 | 画像処理方法 |
CN103976756A (zh) * | 2014-05-21 | 2014-08-13 | 周勇 | 一种脊柱后路手术术中实时三维重构方法 |
US10062165B2 (en) * | 2014-10-29 | 2018-08-28 | Shimadzu Corporation | Image processing device |
CN105701438B (zh) * | 2014-11-26 | 2020-06-23 | 东芝医疗***株式会社 | 医学图像处理装置和方法以及医学成像设备 |
JP6401083B2 (ja) * | 2015-03-12 | 2018-10-03 | 富士フイルム株式会社 | 医用画像処理装置、方法およびプログラム |
CN108292435B (zh) * | 2015-10-29 | 2022-07-01 | 堃博生物科技公司 | 3d ct中的基于学习的脊柱椎骨定位和分割 |
JP7135473B2 (ja) * | 2018-01-31 | 2022-09-13 | 株式会社リコー | 医用画像処理装置、医用画像処理方法、プログラム及び医用画像処理システム |
JP7016294B2 (ja) * | 2018-06-08 | 2022-02-04 | 富士フイルム株式会社 | 骨塩情報取得装置、方法およびプログラム |
CN113516614A (zh) * | 2020-07-06 | 2021-10-19 | 阿里巴巴集团控股有限公司 | 脊柱影像的处理方法、模型训练方法、装置及存储介质 |
JP7494678B2 (ja) * | 2020-09-17 | 2024-06-04 | 株式会社島津製作所 | 医用画像処理装置、医用画像処理方法、および、学習モデルの学習方法 |
-
2022
- 2022-04-08 JP JP2022064683A patent/JP2023154994A/ja active Pending
-
2023
- 2023-04-03 WO PCT/JP2023/013801 patent/WO2023195443A1/ja unknown
Also Published As
Publication number | Publication date |
---|---|
WO2023195443A1 (ja) | 2023-10-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108697375B (zh) | 脊柱排列推定装置、脊柱排列推定方法及脊柱排列推定程序 | |
JP5643304B2 (ja) | 胸部トモシンセシスイメージングにおけるコンピュータ支援肺結節検出システムおよび方法並びに肺画像セグメント化システムおよび方法 | |
JP7092190B2 (ja) | 画像解析方法、セグメンテーション方法、骨密度測定方法、学習モデル作成方法および画像作成装置 | |
US8675933B2 (en) | Breast segmentation in radiographic images | |
US20150094516A1 (en) | Medical image processing device, treatment system and medical image processing method | |
US10593022B2 (en) | Medical image processing apparatus and medical image diagnostic apparatus | |
JP2006247268A (ja) | 患者位置決めシステム及び患者位置決め方法 | |
EP3590431B1 (en) | Image display device, image display method, and image display program | |
JPWO2006028085A1 (ja) | X線ct装置、画像処理プログラム、及び画像処理方法 | |
CN111803110B (zh) | X射线透视摄影装置 | |
US20230169666A1 (en) | Methods and systems for image registration | |
JP4474304B2 (ja) | リングアーチファクト除去方法およびx線ct装置 | |
JP6853376B2 (ja) | 複数のx線画像から2d画像を再構築する方法 | |
US20220083805A1 (en) | Learning device, learning method, learning program, trained model, radiographic image processing device, radiographic image processing method, and radiographic image processing program | |
WO2023195443A1 (ja) | 画像処理装置、画像処理装置の作動方法、およびプログラム | |
JP2021003240A (ja) | X線トモシンセシス装置、画像処理装置、および、プログラム | |
WO2014136641A1 (ja) | 体動表示装置および体動表示方法 | |
JP7341667B2 (ja) | 医用画像処理装置、x線診断装置及び医用情報処理システム | |
WO2024122340A1 (ja) | 画像処理装置、画像処理装置の作動方法、およびプログラム | |
JP7118812B2 (ja) | X線診断装置 | |
US20050111615A1 (en) | Radiography apparatus and radiation image processing method | |
JP2021040750A (ja) | 画像処理装置、画像処理方法、およびプログラム | |
JP2013160710A (ja) | 放射線撮影装置および投影画像処理方法 | |
WO2024048374A1 (ja) | 画像処理装置、撮影システム、画像処理方法、及びプログラム | |
KR102588305B1 (ko) | 미가공 ct 이미지의 기하학적 정렬 및 전처리를 위한 인공지능 기반 장치 및 방법 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7421 Effective date: 20220630 |