JP2014023640A - Image processing device and program - Google Patents
Image processing device and program Download PDFInfo
- Publication number
- JP2014023640A JP2014023640A JP2012165053A JP2012165053A JP2014023640A JP 2014023640 A JP2014023640 A JP 2014023640A JP 2012165053 A JP2012165053 A JP 2012165053A JP 2012165053 A JP2012165053 A JP 2012165053A JP 2014023640 A JP2014023640 A JP 2014023640A
- Authority
- JP
- Japan
- Prior art keywords
- information
- image
- template
- subject
- extraction
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012545 processing Methods 0.000 title claims abstract description 227
- 238000000605 extraction Methods 0.000 claims abstract description 337
- 210000004072 lung Anatomy 0.000 claims description 267
- 238000000034 method Methods 0.000 claims description 219
- 230000008569 process Effects 0.000 claims description 170
- 238000003384 imaging method Methods 0.000 claims description 149
- 210000002376 aorta thoracic Anatomy 0.000 claims description 44
- 230000029058 respiratory gaseous exchange Effects 0.000 claims description 40
- 230000005855 radiation Effects 0.000 claims description 37
- 238000003745 diagnosis Methods 0.000 claims description 19
- 230000000391 smoking effect Effects 0.000 claims description 18
- 241001465754 Metazoa Species 0.000 claims description 17
- 230000007423 decrease Effects 0.000 claims description 9
- 238000001356 surgical procedure Methods 0.000 claims description 9
- 238000012805 post-processing Methods 0.000 abstract description 37
- 238000005516 engineering process Methods 0.000 abstract description 3
- 238000010586 diagram Methods 0.000 description 78
- 210000000038 chest Anatomy 0.000 description 23
- 238000003702 image correction Methods 0.000 description 18
- 201000010099 disease Diseases 0.000 description 14
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 14
- 238000002271 resection Methods 0.000 description 14
- 238000004891 communication Methods 0.000 description 12
- 239000000284 extract Substances 0.000 description 12
- 230000002685 pulmonary effect Effects 0.000 description 12
- 238000001514 detection method Methods 0.000 description 9
- 230000008859 change Effects 0.000 description 8
- 230000033001 locomotion Effects 0.000 description 8
- 230000000241 respiratory effect Effects 0.000 description 8
- 206010007572 Cardiac hypertrophy Diseases 0.000 description 6
- 208000006029 Cardiomegaly Diseases 0.000 description 6
- 206010058467 Lung neoplasm malignant Diseases 0.000 description 6
- 102100024854 Taste receptor type 2 member 4 Human genes 0.000 description 6
- 108050000632 Taste receptor type 2 member 4 Proteins 0.000 description 6
- 230000017531 blood circulation Effects 0.000 description 6
- 201000005202 lung cancer Diseases 0.000 description 6
- 208000020816 lung neoplasm Diseases 0.000 description 6
- 102100024845 Taste receptor type 2 member 1 Human genes 0.000 description 5
- 101710129400 Taste receptor type 2 member 1 Proteins 0.000 description 5
- 230000001186 cumulative effect Effects 0.000 description 5
- 230000000694 effects Effects 0.000 description 5
- 238000002601 radiography Methods 0.000 description 5
- 230000009467 reduction Effects 0.000 description 5
- 206010006322 Breath holding Diseases 0.000 description 4
- 208000006545 Chronic Obstructive Pulmonary Disease Diseases 0.000 description 4
- 206010035664 Pneumonia Diseases 0.000 description 4
- 208000010378 Pulmonary Embolism Diseases 0.000 description 4
- 238000004458 analytical method Methods 0.000 description 4
- 238000012937 correction Methods 0.000 description 4
- 235000003642 hunger Nutrition 0.000 description 4
- 239000004065 semiconductor Substances 0.000 description 4
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 3
- 238000012935 Averaging Methods 0.000 description 3
- 208000000059 Dyspnea Diseases 0.000 description 3
- 206010013975 Dyspnoeas Diseases 0.000 description 3
- 238000009825 accumulation Methods 0.000 description 3
- 210000003109 clavicle Anatomy 0.000 description 3
- 230000006872 improvement Effects 0.000 description 3
- 238000005259 measurement Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000003672 processing method Methods 0.000 description 3
- 238000011946 reduction process Methods 0.000 description 3
- 208000013220 shortness of breath Diseases 0.000 description 3
- 230000009466 transformation Effects 0.000 description 3
- 206010014561 Emphysema Diseases 0.000 description 2
- 241000270295 Serpentes Species 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 210000004204 blood vessel Anatomy 0.000 description 2
- 201000009267 bronchiectasis Diseases 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000012790 confirmation Methods 0.000 description 2
- 239000003814 drug Substances 0.000 description 2
- 230000007613 environmental effect Effects 0.000 description 2
- 210000000056 organ Anatomy 0.000 description 2
- 238000007781 pre-processing Methods 0.000 description 2
- 210000000115 thoracic cavity Anatomy 0.000 description 2
- 238000009423 ventilation Methods 0.000 description 2
- 206010020880 Hypertrophy Diseases 0.000 description 1
- 125000002066 L-histidyl group Chemical group [H]N1C([H])=NC(C([H])([H])[C@](C(=O)[*])([H])N([H])[H])=C1[H] 0.000 description 1
- 206010028980 Neoplasm Diseases 0.000 description 1
- 230000005856 abnormality Effects 0.000 description 1
- 230000002411 adverse Effects 0.000 description 1
- 210000003484 anatomy Anatomy 0.000 description 1
- 210000000709 aorta Anatomy 0.000 description 1
- 210000000481 breast Anatomy 0.000 description 1
- 210000000621 bronchi Anatomy 0.000 description 1
- 201000011510 cancer Diseases 0.000 description 1
- 230000000747 cardiac effect Effects 0.000 description 1
- 238000011976 chest X-ray Methods 0.000 description 1
- 239000002872 contrast media Substances 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 210000004351 coronary vessel Anatomy 0.000 description 1
- 229940079593 drug Drugs 0.000 description 1
- 238000003708 edge detection Methods 0.000 description 1
- 230000002526 effect on cardiovascular system Effects 0.000 description 1
- 238000005206 flow analysis Methods 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 201000010759 hypertrophy of breast Diseases 0.000 description 1
- 230000001678 irradiating effect Effects 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 235000012054 meals Nutrition 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000000513 principal component analysis Methods 0.000 description 1
- 238000013538 segmental resection Methods 0.000 description 1
- 238000010187 selection method Methods 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 230000005586 smoking cessation Effects 0.000 description 1
- 238000013179 statistical model Methods 0.000 description 1
- 210000002784 stomach Anatomy 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 210000001835 viscera Anatomy 0.000 description 1
Images
Landscapes
- Apparatus For Radiation Diagnosis (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
Description
本発明は、人体または動物の身体が撮影された医用画像に対して、対象領域を抽出する画像処理技術に関する。 The present invention relates to an image processing technique for extracting a target area from a medical image obtained by photographing a human body or an animal body.
医療現場では、X線等を用いて内臓や骨格等に含まれる患部を撮影することにより、各種検査や診断が行われている。そして、近年では、デジタル技術の適用により、X線等を用いて患部の動きを捉えた動画像を比較的容易に取得することが可能となっている。 In a medical field, various examinations and diagnoses are performed by photographing an affected part included in an internal organ, a skeleton, or the like using X-rays or the like. In recent years, it has become possible to relatively easily acquire a moving image that captures the motion of an affected area using X-rays or the like by applying digital technology.
そこでは、FPD(flat panel detector)等の半導体イメージセンサを利用し、対象部位を含む被写体領域に対し動態画像を撮影できるため、従来のX線撮影による静止画撮影及び診断では実施できなかった対象部位などの動き解析による診断を実施することが可能になってきた。例えば、胸部X線動態画像から肺野内の換気状態や血流状態から動態機能を定量解析することで疾病の診断や治療を支援(X線動画用CAD)する検討も実施されている。 There, a semiconductor image sensor such as a flat panel detector (FPD) can be used to capture a dynamic image of a subject area including the target region. It has become possible to carry out diagnosis by analyzing the movement of a part or the like. For example, studies for supporting diagnosis and treatment of diseases (CAD for X-ray moving images) by quantitatively analyzing dynamic functions from the ventilation state and blood flow state in the lung field from chest X-ray dynamic images have been conducted.
そのため、動態画像を用いた医療診断において、対象領域の動き解析や診断を実施するにためには、対象領域である肺野領域を精度良く抽出する必要がある。 Therefore, in medical diagnosis using dynamic images, in order to perform motion analysis and diagnosis of the target region, it is necessary to accurately extract the lung field region that is the target region.
ところで、静止画像に対して対象領域を抽出する手法としては、下記のような手法が挙げられる。例えば、特許文献1及び特許文献2が開示する技術では、2値化処理やラベリング処理のような手法が提案されている。
By the way, as a method for extracting a target region from a still image, the following method can be cited. For example, techniques disclosed in
また、特許文献3が開示する放射線画像撮影装置では、入力画像をアフィン変換してモデル画像とテンプレートマッチを行い、テンプレートとの対応点をアフィン変換した画像にマークした後に、画像を逆アフィン変換することで、単純にテンプレートを使用した場合より安定して胸郭部の検出が可能となる。
In the radiographic imaging device disclosed in
また、特許文献4が開示する肺領域のための2次元の統計的形状モデルを自動構成するための方法では、撮影画像から肺領域の形状標本を抽出し、形状アライメントアルゴリズムを用いることによって、全ての形状標本を所定のテンプレート形状に可能な限り近づけて位置合わせし、位置合わせされた形状標本を用いて主成分分析によって肺領域の統計的モデル形状を生成する。
Further, in the method for automatically constructing a two-dimensional statistical shape model for a lung region disclosed in
さらに、特許文献5が開示する解剖学的構造物の構造検出技術では、部分構造情報抽出手段によって所定の構造物の一部分の構造を表す部分構造情報を抽出した後、構造変更モデルデータを作成し、該構造モデルデータを所定の構造物の全体的な構造を表す全体構造情報として取得する。
Further, in the structure detection technology for anatomical structures disclosed in
しかしながら、動態画像に上記特許文献1−4の従来技術を適用し、対象領域(肺野領域)を抽出する場合においては、下記のような問題がある。すなわち、動態画像は低線量であるがためにノイズが多く画像が不鮮明画像であるため、上記特許文献1及び2の技術では、境界ギリギリまで正確に抽出することは困難であり、また、上記特許文献3及び4の技術においても、形状を合わせ込む(フィッティングさせる)ためのポイントを抽出することが困難である。このように、上記特許文献1−4のような静止画像を対象とした対象領域の抽出方法を実施しても、精度良く対象領域の抽出を行うことはできない。
However, in the case where the conventional technique of Patent Documents 1-4 described above is applied to a dynamic image and a target region (lung field region) is extracted, there are the following problems. That is, since the dynamic image has a low dose and thus has a lot of noise and the image is unclear, it is difficult to accurately extract the boundary to the limit with the techniques of
また、一般的に抽出に用いられるテンプレート(例えば、上記特許文献3及び4等)は、単純に複数枚の画像から生成した平均画像や、単純なモデル画像を表現した画像(例えば白黒の画像)である。このため、動態画像に適用するにあたっては、少ないテンプレートで対応しようとすると、肺の大きさや心臓の大きさといった対象部位の形状に個人差があることにより、境界ギリギリまで抽出することは困難である。
Further, a template generally used for extraction (for example,
さらに、画像より構造物の構造情報を推定する場合や撮影環境や線量が変わった場合は、多くのチューニングが必要となる。ここで、上記特許文献5では、健常者を被写体とする場合には、単純な形状差を修正するだけでよいことから有効な手段ではある。しかしながら、撮影情報が特殊条件における場合や本来存在するはずの構造がないなどの手術歴や病歴をもつ非健常者を被写体とする場合に対しては、上記特許文献5では対応することができない。このため、診断を実施するにあたって重要な非健常者の診断をサポートできないという課題がある。
Furthermore, when the structure information of the structure is estimated from the image, or when the imaging environment or dose changes, a lot of tuning is required. Here, in
本発明は、このような事情に鑑みてなされたものであり、人体または動物の内部を捉えた医用画像(動態画像を含む)から対象部位を抽出する際、通常と異なる撮影状況であっても、安定的且つ高速に抽出精度の向上を実現する画像処理技術を提供することを目的とする。 The present invention has been made in view of such circumstances, and when extracting a target region from a medical image (including a dynamic image) that captures the inside of a human body or an animal, even if the imaging situation is different from normal, An object of the present invention is to provide an image processing technique that can improve the extraction accuracy stably and at high speed.
上記課題を解決するために、請求項1の発明は、人体または動物の身体を被写体とし該被写体における所定部位を一部に含ませて放射線撮影された医用画像を取得する画像取得手段と、前記放射線撮影前に予め入力された前記被写体あるいは前記放射線撮影環境に関する情報である撮影情報を取得する撮影情報取得手段と、前記撮影情報に基づいて、前記所定部位の境界を示すモデル情報を決定するモデル情報決定処理を実施するモデル情報制御手段と、前記モデル情報決定処理において決定されたモデル情報に基づいて、前記医用画像から前記所定部位を抽出する所定部位抽出処理を実施する抽出手段と、を備えることを特徴とする画像処理装置である。
In order to solve the above-mentioned problem, the invention of
また、請求項2の発明は、請求項1に記載の画像処理装置であって、前記所定部位抽出処理は、前記医用画像に対してテンプレートを用いてテンプレートマッチングを行い、前記所定部位を含む領域を粗く抽出し粗抽出領域を決定する粗抽出処理と、前記粗抽出領域に基づく領域に対して、前記所定部位の境界を近似する所定数のフィッティング関数で表現された形状モデルをフィッティングさせるフィッティング処理と、を含み、前記モデル情報は、前記テンプレート及び前記形状モデルのうち少なくとも一方を指示する情報を含む。
The invention according to
また、請求項3の発明は、請求項1または請求項2に記載の画像処理装置であって、前記撮影情報は、前記被写体の固有の情報を示す被写体固有情報、前記被写体の過去及び現在の状態を示す被写体状態情報、前記医用画像が撮影された環境を示す撮影環境情報、のうち少なくとも何れか1つの情報を含む。
The invention according to
また、請求項4の発明は、請求項3に記載の画像処理装置であって、前記被写体固有情報は、性別、年齢、胸囲、体重、身長、肺活量のうち少なくとも何れか1つの情報を含む。 According to a fourth aspect of the present invention, in the image processing apparatus according to the third aspect, the subject-specific information includes at least one of sex, age, chest circumference, weight, height, and vital capacity.
また、請求項5の発明は、請求項3に記載の画像処理装置であって、前記被写体状態情報は、手術歴、病歴、過去の撮影時の情報、体の状態、診断対象、問診による判定結果、喫煙歴のうち少なくとも何れか1つの情報を含む。
The image processing apparatus according to
また、請求項6の発明は、請求項3に記載の画像処理装置であって、前記撮影環境情報は、撮影方向、前記被写体となる対象者または対象動物の呼吸の有無、呼吸の強制有無のうち少なくとも何れか1つの情報を含む。
The invention of
また、請求項7の発明は、請求項2ないし請求項6のうち、いずれか1項記載の画像処理装置であって、前記モデル情報決定処理は、(a)予め準備された複数種のテンプレートのうち、前記テンプレートマッチングに使用する前記テンプレートの種類を決定する処理、(b)直近に決定された前記所定数のフィッティング関数に対し、前記所定数のフィッティング関数のうち少なくとも1つの関数の次数を決定する処理、及び/あるいは、前記所定数の増減を決定する処理、のうち少なくとも何れか1つの処理を含み、前記モデル情報は前記処理(a)あるいは処理(b)で決定された内容を含む。
The invention according to
また、請求項8の発明は、請求項1ないし請求項7のうち、いずれか1項記載の画像処理装置であって、前記所定部位は肺野領域を含み、前記モデル情報は、全体の肺形状、肺尖部形状、横隔膜形状、心臓の形状、大動脈弓の形状のうち少なくとも1つの形状が考慮されることを特徴とする。
The invention according to
また、請求項9の発明は、画像処理装置に含まれるコンピュータによって実行されることにより、前記コンピュータを、請求項1ないし請求項8のうち、いずれか1項記載の画像処理装置として機能させるプログラムである。 According to a ninth aspect of the invention, there is provided a program for causing a computer to function as the image processing apparatus according to any one of the first to eighth aspects when executed by a computer included in the image processing apparatus. It is.
請求項1ないし請求項8に記載の画像処理装置では、放射線撮影前に予め入力された前記被写体あるいは前記放射線撮影環境に関する情報である撮影情報に基づいて、所定部位の境界を示すモデル情報を決定し、該モデル情報に基づいて、医用画像から所定部位を抽出する所定部位抽出処理を実施する。これにより、撮影情報に応じた最適なモデル情報を決定することが可能となる。このため、通常と異なる撮影状況であっても、安定的且つ高速に所定部位の抽出精度の向上を実現する。
9. The image processing apparatus according to
また、医用画像が動画像に含まれるフレーム画像である場合においては、最初の段階で精度の良いモデル情報を決定することができる。このため、該モデル情報を用いることで、時間方向においても安定して肺野領域抽出処理を実施することが可能となる。 Further, when the medical image is a frame image included in a moving image, accurate model information can be determined at the first stage. For this reason, by using the model information, the lung field region extraction process can be stably performed in the time direction.
請求項2の発明によれば、所定部位抽出処理は、医用画像に対してテンプレートを用いてテンプレートマッチングを行い、所定部位を含む領域を粗く抽出し粗抽出領域を決定する粗抽出処理と、該粗抽出領域に基づく領域に対して、前記所定部位の境界を近似する所定数のフィッティング関数で表現された形状モデルをフィッティングさせるフィッティング処理と、を含み、モデル情報は、テンプレート及び形状モデルのうち少なくとも一方を指示する情報を含む。これにより、テンプレートマッチング精度及びフィッティング精度のうち少なくとも一方が向上するため、撮影情報に対応して、より安定的に所定部位の抽出精度の向上を実現することが可能となる。
According to the invention of
請求項3の発明によれば、撮影情報は、被写体の固有の情報を示す被写体固有情報、被写体の過去及び現在の状態を示す被写体状態情報、医用画像が撮影された環境を示す撮影環境情報、のうち少なくとも何れか1つの情報を含む。これにより、被写体固有情報、被写体状態情報、撮影環境情報のうち少なくとも何れか1つの情報を考慮してモデル情報を効率的に決定することができる。これにより、テンプレートマッチング精度及びフィッティング精度のうち少なくとも一方が向上するため、所定部位の抽出精度がより向上する。
According to the invention of
請求項4の発明によれば、被写体固有情報は、性別、年齢、胸囲、体重、身長、肺活量のうち少なくとも何れか1つの情報を含むことにより、これらの情報のうち少なくとも何れか1つの情報を考慮してモデル情報(テンプレート情報および形状モデル情報)を効率的に決定することができる。これにより、テンプレートマッチング精度及びフィッティング精度が向上するため、より安定的且つ高速に所定部位の抽出精度の向上を実現する。
According to the invention of
請求項5の発明によれば、被写体状態情報は、手術歴、病歴、過去の撮影時の情報、体の状態、診断対象、問診による判定結果、喫煙歴のうち少なくとも何れか1つの情報を含むことにより、これらの情報のうち少なくとも何れか1つの情報を考慮してモデル情報(テンプレート情報および形状モデル情報)を効率的に決定することができる。これにより、テンプレートマッチング精度及びフィッティング精度が向上するため、非健常者または非健常動物の身体を被写体とする場合であっても、より安定的且つ高速に所定部位の抽出精度の向上を実現する。
According to the invention of
請求項6の発明によれば、撮影環境情報は、撮影方向、前記被写体となる対象者または対象動物の呼吸の有無、呼吸の強制有無のうち少なくとも何れか1つの情報を含むことにより、これらの情報のうち少なくとも何れか1つの情報を考慮してモデル情報(テンプレート情報および形状モデル情報)を効率的に決定することができる。これにより、テンプレートマッチング精度及びフィッティング精度が向上するため、特殊条件下における撮影であっても、より安定的且つ高速に所定部位の抽出精度の向上を実現する。
According to the invention of
請求項7の発明によれば、モデル情報決定処理は、(a)予め準備された複数種のテンプレートのうち、前記テンプレートマッチングに使用する前記テンプレートの種類を決定する処理、(b)直近に決定された前記所定数のフィッティング関数に対し、前記所定数のフィッティング関数のうち少なくとも1つの関数の次数を決定する処理、及び/あるいは、前記所定数の増減を決定する処理、のうち少なくとも何れか1つの処理を含み、前記モデル情報は前記処理(a)あるいは処理(b)で決定された内容を含む。これにより、所定部位の形状が複雑な場合においても、所定部位の境界をより近似的に表現したモデル情報を決定することが可能となる。また、手術歴や病歴を有した被写体において、所定部位の形状あるいは位置が正常な被写体と比較して著しく異なる場合においても十分対応することが可能となる。このため、より安定的に所定部位の抽出精度の向上を実現することが可能となる。
According to the invention of
請求項8の発明によれば、所定部位は肺野領域であることにより、肺野領域の抽出精度の向上を実現することが可能となる。また、モデル情報は、全体の肺形状、肺尖部形状、横隔膜形状、心臓の形状、大動脈弓の形状のうち少なくとも1つの形状が考慮されることにより、肺野領域においてより適切なモデル情報を決定することができる。これにより、より安定的に肺野領域の抽出精度の向上を実現する。 According to the eighth aspect of the present invention, it is possible to improve the extraction accuracy of the lung field region because the predetermined part is the lung field region. In addition, model information is obtained by considering at least one of the entire lung shape, lung apex shape, diaphragm shape, heart shape, and aortic arch shape. Can be determined. As a result, the lung field region extraction accuracy can be improved more stably.
請求項9の発明によれば、請求項1から請求項8に記載の発明と同じ効果を得ることができる。 According to the ninth aspect of the invention, the same effect as that of the first to eighth aspects of the invention can be obtained.
<1.放射線動態画像撮影システムの全体構成>
本発明の実施の形態に係る放射線動態画像撮影システムは、人体または動物の身体を被写体として、被写体の放射線画像の撮影を行い、撮影された医用画像(放射線画像)から対象部位の抽出を行う。
<1. Overall Configuration of Radiation Dynamic Imaging System>
The radiation dynamic image capturing system according to the embodiment of the present invention captures a radiation image of a subject using a human or animal body as a subject, and extracts a target part from the medical image (radiation image).
以下の各実施形態では、「対象部位(所定部位)」を肺野領域として説明し、「医用画像」を後述の撮像装置1の読取制御装置14によって撮影された肺野領域の物理的状態(幾何学的形状や血流の濃度など)が時間変化する状態を時間順次に捉えた動画像に含まれるフレーム画像として説明する。
In each of the following embodiments, a “target part (predetermined part)” will be described as a lung field area, and a “medical image” will be described as a physical state of the lung field area captured by a
図1は、本発明の一実施形態に係る放射線動態画像撮影システムの全体構成を示す図である。図1に示すように、放射線動態画像撮影システム100(100A,100A’,100B,100C)は、撮影装置1と、撮影制御装置2(撮影用コンソール)と、画像処理装置3(3A,3A’,3B,3C)(診断用コンソール)と、心電計4とを備える。撮影装置1及び心電計4と、撮影制御装置2とが通信ケーブル等により接続され、撮影制御装置2と、画像処理装置3(3A,3A’,3B,3C)とがLAN(Local Area Network)等の通信ネットワークNTを介して接続されて構成されている。放射線動態画像撮影システム100(100A,100A’,100B,100C)を構成する各装置は、DICOM(Digital Image and Communications in Medicine)規格に準じており、各装置間の通信は、DICOMに則って行われる。
FIG. 1 is a diagram showing an overall configuration of a radiation dynamic image capturing system according to an embodiment of the present invention. As shown in FIG. 1, the dynamic radiographic imaging system 100 (100A, 100A ′, 100B, 100C) includes an
<1−1.撮影装置1の構成>
撮影装置1は、例えば、X線撮影装置等によって構成され、呼吸に伴う被写体Mの胸部の動態を撮影する装置である。動態撮影は、被写体Mの胸部に対し、X線等の放射線を繰り返して照射しつつ、時間順時に複数の画像を取得することにより行う。この連続撮影により得られた一連の画像を動態画像(動画像)と呼ぶ。また、動態画像を構成する複数の画像のそれぞれをフレーム画像と呼ぶ。
<1-1. Configuration of photographing
The
図1に示すように、撮影装置1は、照射部(放射線源)11と、放射線照射制御装置12と、撮像部(放射線検出部)13と、読取制御装置14と、サイクル検出部15と、サイクル検出装置16とを備えて構成されている。
As shown in FIG. 1, the
照射部11は、放射線照射制御装置12の制御に従って、被写体Mに対し放射線(X線)を照射する。図示例は人体用のシステムであり、被写体Mは検査対象者に相当する。以下では被写体Mを「被検者」とも呼ぶ。
The
放射線照射制御装置12は、撮影制御装置2に接続されており、撮影制御装置2から入力された放射線照射条件に基づいて照射部11を制御して放射線撮影を行う。
The radiation
撮像部13は、FPD等の半導体イメージセンサにより構成され、照射部11から照射されて被検者Mを透過した放射線を電気信号(画像情報)に変換する。
The imaging unit 13 is configured by a semiconductor image sensor such as an FPD, and converts the radiation irradiated from the
読取制御装置14は、撮影制御装置2に接続されている。読取制御装置14は、撮影制御装置2から入力された画像読取条件に基づいて撮像部13の各画素のスイッチング部を制御して、当該各画素に蓄積された電気信号の読み取りをスイッチングしていき、撮像部13に蓄積された電気信号を読み取ることにより、画像データを取得する。そして、読取制御装置14は、取得した画像データ(フレーム画像)を撮影制御装置2に出力する。画像読取条件は、例えば、フレームレート、フレーム間隔、画素サイズ、画像サイズ(マトリックスサイズ)等である。フレームレートは、1秒あたりに取得するフレーム画像数であり、パルスレートと一致している。フレーム間隔は、連続撮影において、1回のフレーム画像の取得動作開始から次のフレーム画像の取得動作開始までの時間であり、パルスレートと一致している。
The
ここで、放射線照射制御装置12と読取制御装置14とは互いに接続され、互いに同期信号をやりとりして放射線照射動作と画像の読み取りの動作を同調させるようになっている。
Here, the radiation
サイクル検出部15は、被検者Mの呼吸サイクルを検出して撮影制御装置2の制御部21に出力する。また、サイクル検出部15は、被検者Mの呼吸サイクルを検出するサイクル検出センサ(不図示)と、サイクル検出センサにより検出された呼吸サイクルの時間を測定し制御部21に出力する計時部(不図示)とを備える。
The
<1−2.撮影制御装置2の構成>
撮影制御装置2は、放射線照射条件や画像読取条件を撮影装置1に出力して撮影装置1による放射線撮影及び放射線画像の読み取り動作を制御するとともに、撮影装置1により取得された動態画像を撮影技師によるポジショニングの確認や診断に適した画像であるか否かの確認用に表示する。
<1-2. Configuration of
The
図1に示すように、撮影制御装置2は、制御部21と、記憶部22と、操作部23と、表示部24と、通信部25とを備えて構成され、各部はバス26により接続されている。
As shown in FIG. 1, the photographing
制御部21は、CPU(Central Processing Unit)やRAM(Random Access Memory)等により構成される。制御部21のCPUは、操作部23の操作に応じて、記憶部22に記憶されているシステムプログラムや各種処理プログラムを読み出してRAM内に展開し、展開されたプログラムに従って後述する撮影制御処理を始めとする各種処理を実行し、撮影制御装置2各部の動作や、撮影装置1の動作を集中制御する。
The
記憶部22は、不揮発性の半導体メモリやハードディスク等により構成される。記憶部22は、制御部21で実行される各種プログラムやプログラムによる処理の実行に必要なパラメータ、或いは処理結果等のデータを記憶する。
The
操作部23は、カーソルキー、数字入力キー、及び各種機能キー等を備えたキーボードと、マウス等のポインティングデバイスとを備えて構成され、キーボードに対するキー操作、マウス操作、あるいは、タッチパネルを介して入力された指示信号を制御部21に出力する。
The
表示部24は、カラーLCD(Liquid Crystal Display)等のモニタにより構成され、制御部21から入力される表示信号の指示に従って、操作部23からの入力指示やデータ等を表示する。
The
通信部25は、LANアダプタやモデムやTA(Terminal Adapter)等を備え、通信ネットワークNTに接続された各装置との間のデータ送受信を制御する。
The
<1−3.画像処理装置3(3A,3A’,3B,3C)の構成>
画像処理装置3(3A,3A’,3B,3C)は、撮像装置1から送信された動態画像を、撮影制御装置2を介して取得し、医師等が読影診断するための画像を表示する。
<1-3. Configuration of Image Processing Device 3 (3A, 3A ′, 3B, 3C)>
The image processing device 3 (3A, 3A ′, 3B, 3C) acquires the dynamic image transmitted from the
図1に示すように、画像処理装置3(3A,3A’,3B,3C)は、制御部31(31A,31A’,31B,31C)と、記憶部32と、操作部33と、表示部34と、通信部35とを備えて構成され、各部はバス36により接続されている。
As shown in FIG. 1, the image processing apparatus 3 (3A, 3A ′, 3B, 3C) includes a control unit 31 (31A, 31A ′, 31B, 31C), a
制御部31(31A,31A’,31B,31C)は、CPU、RAM等により構成される。制御部31(31A,31A’,31B,31C)のCPUは、操作部33の操作に応じて、記憶部32に記憶されているシステムプログラムや、各種処理プログラムを読み出してRAM内に展開し、展開されたプログラムに従って各種処理を実行し、画像処理装置3(3A,3A’,3B,3C)各部の動作を集中制御する(詳細は後述する)。
The control unit 31 (31A, 31A ', 31B, 31C) includes a CPU, a RAM, and the like. The CPU of the control unit 31 (31A, 31A ′, 31B, 31C) reads out the system program and various processing programs stored in the
記憶部32は、不揮発性の半導体メモリやハードディスク等により構成される。記憶部32は、制御部31で実行される各種プログラムやプログラムによる処理の実行に必要なパラメータ、或いは処理結果等のデータを記憶する。例えば、記憶部32は、後述する画像生成処理を実行するための画像生成処理プログラムを記憶している。これらの各種プログラムは、読取可能なプログラムコードの形態で格納され、制御部31(31A,31A’,31B,31C)は、当該プログラムコードに従った動作を逐次実行する。
The
操作部33は、カーソルキー、数字入力キー、及び各種機能キー等を備えたキーボードと、マウス等のポインティングデバイスを備えて構成され、キーボードに対するキー操作やマウス操作、あるいは、タッチパネルを介して入力された指示信号を制御部31(31A,31A’,31B,31C)に出力する。
The
表示部34は、カラーLCD等のモニタにより構成され、制御部31(31A,31A’,31B,31C)から入力される表示信号の指示に従って、操作部33からの入力指示、データ、及び、後述する表示用画像を表示する。
The
通信部35は、LANアダプタやモデムやTA等を備え、通信ネットワークNTに接続された各装置との間のデータ送受信を制御する。
The
<1−4.情報蓄積装置4の構成>
図1に示すように、情報蓄積装置4(4A,4C)は、例えばパーソナル・コンピュータまたはワークステーションを用いたデータベースサーバからなり、カルテ情報記憶部41(41A,41C)を備えて構成され、制御部31(31A,31A’,31C)とはバス36を介してデータの送受信を行う。カルテ情報記憶部41(41A,41C)には、被写体Mに関する撮影情報が予め記憶されている(詳細は後述する)。
<1-4. Configuration of
As shown in FIG. 1, the information storage device 4 (4A, 4C) is composed of a database server using, for example, a personal computer or a workstation, and includes a chart information storage unit 41 (41A, 41C), and is controlled. The unit 31 (31A, 31A ′, 31C) transmits / receives data via the
<1−5.情報蓄積装置5の構成>
図1に示すように、情報蓄積装置5(5A,5B,5C)は、例えばパーソナル・コンピュータまたはワークステーションを用いたデータベースサーバからなり、データベース(テンプレート記憶部)51(51A,51B,51C)を備えて構成され、制御部31(31A,31A’,31B,31C)とはバス36を介してデータの送受信を行う。データベース51(51A,51B,51C)には、想定される撮影情報を考慮したテンプレートが予め記憶されている(詳細は後述する)。
<1-5. Configuration of
As shown in FIG. 1, the information storage device 5 (5A, 5B, 5C) comprises a database server using, for example, a personal computer or a workstation, and stores a database (template storage unit) 51 (51A, 51B, 51C). The controller 31 (31A, 31A ′, 31B, 31C) transmits and receives data via the
<2.第1実施形態>
本発明の第1実施形態における放射線動態画像撮影システム100の画像処理装置3は、撮影情報(被写体固有情報)を考慮して、肺野領域の抽出処理を行う。
<2. First Embodiment>
The
以下では、画像処理装置3で実現される機能的な構成について説明する。
Below, the functional structure implement | achieved by the
<2−1.画像処理装置3の機能構成>
図2は、放射線動態画像撮影システム100における画像処理装置3において、CPU等が各種プログラムに従って動作することにより制御部31で実現される機能構成を他の構成とともに示す図である。この実施形態の画像処理装置3は、主として心臓および両肺を含む胸部が撮影された動態画像を使用する。
<2-1. Functional configuration of
FIG. 2 is a diagram showing a functional configuration realized by the
制御部31は、主に、画像取得部110と、撮影情報(被写体固有情報)取得部115と、画像補正部120と、粗抽出決定部130と、モデル情報制御部135と、精密抽出決定部140と、後処理部150と、粗抽出処理内容制御部160と、対象部位抽出部170と、から構成される。
The
以下では、図2で示されたような制御部31の機能的な構成が、あらかじめインストールされたプログラムの実行によって実現されるものとして説明するが、専用のハードウエア構成で実現されても良い。
In the following description, the functional configuration of the
以降、画像取得部110、撮影情報(被写体固有情報)取得部115、画像補正部120、粗抽出決定部130、精密抽出決定部140、後処理部150、モデル情報制御部135、粗抽出処理内容制御部160、対象部位抽出部170が行う各処理についての具体的内容を、図2を参照しながら順次説明する。
Thereafter, the
<2−1−1.画像取得部110>
画像取得部110では、人体または動物の身体を被写体とし該被写体における肺野領域(所定部位)を一部に含ませて放射線撮影された動画像(医用画像)を取得する。
<2-1-1.
The
なお、図2は、撮像装置1と画像処理装置3との間に、撮影制御装置2が介在し、撮影制御装置2の記憶部22に記憶された検出データが通信部25を介して、画像処理装置3の通信部35に出力される。
In FIG. 2, the
図3は、呼吸に伴う被検者Mの胸部の動態に対し、放射線動態画像撮影によって撮影した動画像を例示する図である。図3で示されるように、画像取得部110により取得されたフレーム画像G0(1)〜G0(10)は、呼吸サイクルの1周期を一定の撮影タイミングで連続撮影されたものである。具体的には、時刻 t=t1, t2, t3, …, t10 の撮影タイミングにおいて撮影された画像が、フレーム画像G0(1),G0(2),G0(3),…,G0(10)にそれぞれ対応している。
FIG. 3 is a diagram illustrating an example of a moving image captured by radiodynamic image capturing with respect to the dynamics of the chest of the subject M accompanying breathing. As shown in FIG. 3, the frame images G0 (1) to G0 (10) acquired by the
従来は、肺野内の換気状態や血流状態を診断する目的で肺野内の動態機能データを定量的に解析するには、大掛かりな装置による造影撮影が必要であったが、近年は本発明に係る放射線動態画像撮影システム100のように、造影剤無しの放射線動画像(図3参照)の取得が可能である。
Conventionally, in order to quantitatively analyze the dynamic function data in the lung field for the purpose of diagnosing the ventilation state and blood flow state in the lung field, contrast imaging with a large-scale device has been required. Like the radiation dynamic
しかしながら、これらのフレーム画像G0の精細な解析を行うためには、まず、肺野領域を正確に抽出し、肺野内を詳細に解析することが重要であるが、取得したフレーム画像G0の特徴としては、以下の問題がある。まず、(i)胸部単純撮影と比較して数枚分の被曝量であるというように低線量であるため、ノイズが多く不鮮明である。また、(ii)被写体は非健常者が中心であるため、異状が多く局所的な形状が様々である。さらに、(iii)動画が対象であるため、時間方向のバラつきが発生し、静止画像抽出処理のみでは安定しない。 However, in order to perform detailed analysis of these frame images G0, it is important to first extract the lung field region accurately and analyze the lung field in detail. As a feature of the acquired frame image G0, however, Has the following problems. First, (i) it is a low dose such as several exposures compared to the chest simple radiography, so there is a lot of noise and blur. (Ii) Since the subject is mainly a non-healthy person, there are many abnormalities and various local shapes. Further, (iii) since the target is a moving image, variations in the time direction occur, and the still image extraction process alone is not stable.
そこで、本発明の以下の工程(画像補正部120、粗抽出決定部130、精密抽出決定部140、後処理部150)では、動画像から肺野領域(対象部位)を抽出する際、強調処理による画像補正を行った後、テンプレートマッチングで大まかに抽出(粗抽出)する処理を実施し、抽出された候補領域に対し、詳細に解析(精密抽出)後、後処理(フィッティング処理)をすることで、抽出精度の向上を実現するようにする。
Therefore, in the following steps of the present invention (the
<2−1−2.被写体固有情報取得部115>
撮影情報(被写体固有情報)取得部115では、放射線撮影前に予め入力された被写体Mに関する情報である撮影情報を、情報蓄積装置4におけるカルテ情報記憶部41から取得する(図2参照)。本実施形態におけるカルテ情報記憶部41に記憶された撮影情報とは、被写体Mの固有の情報を示す被写体固有情報IOを指し、具体的に被写体固有情報IOとは、性別、年齢、胸囲、体重、身長、肺活量等のうち少なくとも何れか1つの情報を指す。
<2-1-2. Subject Specific
The imaging information (subject specific information)
そして、撮影情報取得部115は、該被写体固有情報IOを後述のモデル情報制御部135におけるモデル選択部125に入力する。
The photographing
以下では、カルテ情報記憶部41に格納された被写体固有情報IOについて具体的に説明する。
Hereinafter, the subject specific information IO stored in the medical chart
<2−1−2−1.性別情報>
図4及び図5は、被写体固有情報IOの一例を示す図であり、横隔膜形状の特徴が男性か女性かにより異なることを説明する模式図である。なお、図4(a)及び図5(a)は女性の場合のサンプル画像SGを示し、図4(b)及び図5(b)は男性の場合のサンプル画像SGを示す。
<2-1-2-1. Gender information>
4 and 5 are diagrams showing an example of the subject specific information IO, and are schematic diagrams for explaining that the feature of the diaphragm shape differs depending on whether it is male or female. 4A and 5A show a sample image SG for a woman, and FIGS. 4B and 5B show a sample image SG for a man.
ここで、一般的に、肺の重さは、男性が平均約1060g、女性が平均約930gであることが知られており(例えば、“リウマチと友にリウマチとつきあう生活”[平成24年6月25日(月)検索]、インターネット<URL:http://www.amm55.com/zouki.html>等参照)、心臓に関しては、女性の心臓の大きさは男性の心臓のおよそ2/3であり、冠動脈も細いことが知られている (例えば、天野恵子、外1名、“循環器領域における性差医学”[平成24年6月25日(月)検索]、インターネット<URL:http://www.syg.co.jp/public/jcs_press05/pdf/round_05.pdf>等参照)。 Here, it is generally known that the average weight of lungs is about 1060 g for men and about 930 g for women (for example, “Life with Rheumatism and Friends with Rheumatology” [2012 6 Month 25 (Monday) search], Internet <URL: http://www.amm55.com/zouki.html>, etc.) Regarding the heart, the size of a female heart is about 2/3 that of a male heart. It is known that the coronary artery is also thin (for example, Keiko Amano, 1 other, “Gender difference medicine in the cardiovascular field” [Monday, June 25, 2012 search], Internet <URL: http: //www.syg.co.jp/public/jcs_press05/pdf/round_05.pdf> etc.)
図4で示されるように、図4(a)の女性の場合では、図4(b)の男性の場合と比較して、肺野や心臓の大きさが小さいことが見て取れる。このため、男性の場合と比較して女性の場合は、肺野形状は小さく且つ左右の肺野間の距離が狭い特徴を有する(図4(a)及び図4(b)参照)。 As shown in FIG. 4, it can be seen that the size of the lung field and the heart is smaller in the case of the female in FIG. 4A than in the case of the male in FIG. For this reason, in the case of a woman compared with the case of a man, the shape of the lung field is small and the distance between the left and right lung fields is narrow (see FIGS. 4A and 4B).
一方、女性の場合は男性と比較して、胸の大きさによる脂肪分により放射線が透過しにくく、図5(a)で示されるように、肋横角付近W1,W2に、虚偽の線L1,L2が入るためエッジ検出を誤る可能性がある。これに対して、一般的な男性の場合(ただし、胸の大きな力士や肥満体型等の男性を除く)は、上記のような点は問題とならず、図5(b)で示されるように、肋横角付近M1,M2の適切な位置にエッジが立つため、正確にエッジが検出される。 On the other hand, in the case of a woman, compared to a man, radiation is less likely to be transmitted due to fat depending on the size of the breast, and as shown in FIG. , L2 may enter, so that edge detection may be erroneous. On the other hand, in the case of a general male (excluding males such as wrestlers with large breasts and obese bodies), the above points are not a problem, as shown in FIG. Since the edge stands at an appropriate position in the vicinity of the horizontal angle M1, M2, the edge is accurately detected.
このように、被写体固有情報取得部115では、肺野の形状や状態等に大きく依存する性別情報を取得することが好ましい。
Thus, it is preferable that the subject specific
<2−1−2−2.年齢情報、胸囲情報、体重情報、身長情報、肺活量情報>
性別以外にも肺野の形状や状態に大きく依存するファクタとして、年齢情報、胸囲情報、体重情報、身長情報、肺活量情報等が挙げられる。
<2-1-2-2. Age information, chest measurement information, weight information, height information, vital capacity information>
In addition to gender, factors that greatly depend on the shape and state of the lung field include age information, chest circumference information, weight information, height information, vital capacity information, and the like.
例えば、年齢に関しては、幼児と子供と大人とでは、肺野や心臓の大きさが異なり、また、年齢を積む毎に肺も固くなって膨らみにくくなる特徴がある。 For example, regarding the age, infants, children, and adults have different lung fields and heart sizes, and the lungs become harder and harder to swell as the age increases.
また、胸囲に関しては、胸廊の大きさの最も簡にして要を得た表現法であり(例えば、太田俊雄、“胸腔容積に関する研究”、[平成24年6月25日(月)検索]、インターネット<URL:http://dspace.lib.kanazawa-u.ac.jp/dspace/bitstream/2297/13348/1/AN00044397-061-046.pdf>参照)、胸囲の情報をもとに、肺野全体の大きさを推定することが可能である。 In addition, regarding chest circumference, it is the expression method that was most easily obtained for the size of the chest (for example, Toshio Ota, “Study on Thoracic Volume”, [Monday, June 25, 2012 search]] , Internet <URL: http://dspace.lib.kanazawa-u.ac.jp/dspace/bitstream/2297/13348/1/AN00044397-061-046.pdf>), based on chest information, It is possible to estimate the size of the entire lung field.
さらに、肺活量情報からも肺の大きさを推定することも可能であり、以下2つの方法が挙げられる。 Furthermore, it is also possible to estimate the size of the lung from the vital capacity information, and the following two methods can be mentioned.
(方法1)予測肺活量(体重・身長・性別・年齢)
年齢、性別、身長、体重により予測肺活量を算出し、肺の大きさを推定することが可能である。例えば、下記記載の予測肺活量の計算式を用いて推定することが可能である(例えば、“肺移植希望者(レシピエント)選択基準”[平成24年6月25日(月)検索]、インターネット<URL:http://www.jotnw.or.jp/jotnw/law_manual/pdf/rec-lungs.pdf>等参照)。
(Method 1) Predicted vital capacity (weight, height, gender, age)
The predicted vital capacity can be calculated from the age, sex, height and weight, and the size of the lung can be estimated. For example, it is possible to estimate using the formula for calculating the predicted vital capacity described below (for example, “Lung transplant applicant (recipient) selection criteria” [Monday, June 25, 2012 search]), Internet <URL: http://www.jotnw.or.jp/jotnw/law_manual/pdf/rec-lungs.pdf> etc.)
男性: 予測肺活量(L)=0.045× 身長(cm)−0.023×年齢−2.258
女性: 予測肺活量(L)=0.032× 身長(cm)−0.018×年齢−1.178
(方法2)肺活量
実際に肺活量の検査により、肺から出入りする空気の量を測って、肺の大きさを推定することができる(例えば、羽島市民病院、“肺の検査”[平成24年6月25日(月)検索]、インターネット<URL:http://www.hashima-hp.jp/bumon/kensa/link_kokyuu.htm>等参照)。
Male: Predicted vital capacity (L) = 0.045 x Height (cm)-0.023 x Age-2.258
Female: Predicted vital capacity (L) = 0.032 x Height (cm)-0.018 x Age-1.178
(Method 2) Vital capacity By examining the vital capacity, it is possible to estimate the size of the lung by measuring the amount of air entering and exiting the lung (for example, Hashima Municipal Hospital, “Lung Examination” [2012 6 Month 25 (Monday) search], Internet <URL: http://www.hashima-hp.jp/bumon/kensa/link_kokyuu.htm> etc.)
このように、被写体固有情報取得部115では、性別情報の他、年齢情報、胸囲情報、体重情報、身長情報、肺活量情報等も取得することが好ましい。
As described above, it is preferable that the subject-specific
<2−1−3.画像補正部120>
画像補正部120では、画像取得部110において取得される動画像におけるフレーム画像G0に対して補正処理を実施することで、次処理(粗抽出決定部130)で用いられる補正後のフレーム画像IG0を粗抽出決定部130に出力する(図2参照)。
<2-1-3.
The
図6は、フレーム画像G0の特徴を説明する図である。図6(a)はフレーム画像G0であり、図6(b)は横軸のフレーム画像G0の背景領域R1(図6(a)参照)における濃淡値に対して、縦軸がその頻度(%)を示すヒストグラムであり、図6(c)は横軸のフレーム画像G0のプロファイル領域R2(図6(a)参照)の縦方向の座標に対して、縦軸が濃淡値を示すグラフである。 FIG. 6 is a diagram illustrating the characteristics of the frame image G0. 6A shows the frame image G0, and FIG. 6B shows the frequency (%) of the grayscale value in the background region R1 (see FIG. 6A) of the horizontal frame image G0. 6 (c) is a graph in which the vertical axis indicates the gray value with respect to the vertical coordinate of the profile region R2 (see FIG. 6 (a)) of the frame image G0 on the horizontal axis. .
取得したフレーム画像G0の特徴としては、以下のような特徴がある。すなわち、(1) 図6(b)で示されるように、対象物が何も存在しない背景領域R1においても、ノイズが多く存在しており、一般的な静止画像に比べ画像全体でノイズ多いという特徴がある。このため、画像全体(肺野内全体)においてS/N比が悪くなる傾向にある。(2) 一方、図6(c)で示されるように、肺野内には、余分な情報(肋骨・血管といった構造物)が存在し、その肺野内の構造物にバラツキあるという特徴がある。このため、エッジが不鮮明となり、肺野領域の抽出処理に影響を与える可能性が高くなる。(3) また、肋横角領域(横隔膜の両端の領域)においては、肋横角付近の濃淡が、肺野内よりも肺野外の周辺濃淡値に近く、心臓領域においては、心臓領域と肺野の境界不鮮明であり、胸郭領域においては、胸郭付近の肺野内外の濃淡値が小さくなるという特徴を有する。 The acquired frame image G0 has the following characteristics. That is, (1) As shown in FIG. 6B, there is a lot of noise even in the background region R1 where there is no object, and it is said that there is a lot of noise in the entire image compared to a general still image. There are features. For this reason, the S / N ratio tends to deteriorate in the entire image (the entire lung field). (2) On the other hand, as shown in FIG. 6C, there is a feature that extra information (structures such as ribs and blood vessels) exists in the lung field, and the structures in the lung field vary. For this reason, the edge becomes unclear and the possibility of affecting the extraction process of the lung field region increases. (3) Further, in the lateral angle region (regions at both ends of the diaphragm), the shade near the lateral angle is closer to the peripheral shade value outside the lung field than in the lung field, and in the heart region, the heart region and the lung field In the thoracic region, there is a feature that the density value inside and outside the lung field near the rib cage becomes small.
そこで、これらの問題点を軽減する為に、上記ノイズを削減し、且つ、肺野内の構造物の影響を軽減するような処理として、肺野領域を明瞭にするいわゆる「強調処理」を実施する。 Therefore, in order to reduce these problems, so-called “enhancement processing” for clarifying the lung field region is performed as processing for reducing the noise and reducing the influence of the structure in the lung field. .
図7は、画像補正部120において実施する強調処理方法を説明する図である。図7(a)はフレーム画像G0を示し、図7(b)はこのフレーム画像G0に対してノイズ削減処理を施した後のフレーム画像G1を示す。そして、図7(c)はフレーム画像G1の所定の領域に対するエリア内強調処理を施した後のフレーム画像G2を示し、図7(d)はフレーム画像G2の全体領域に対する全体強調処理を施した後のフレーム画像IG0を示す。また、図7(b)〜図7(d)の下段にはそれぞれ、横軸を肺野領域における濃淡値とし、縦軸をその頻度(%)とするヒストグラムを示している。
FIG. 7 is a diagram illustrating an enhancement processing method performed in the
図7(b)〜図7(d)で示されるヒストグラムからわかるように、図7(b)ではノイズが多く、濃淡値が大きい白の領域が少ないものの、強調処理による画像処理を施すことで、図7(c)、図7(d)ではノイズが軽減され白(濃淡値が大)の領域が増加している様子がわかる。 As can be seen from the histograms shown in FIG. 7B to FIG. 7D, in FIG. 7B, although there is a lot of noise and a small white area with a large gray value, image processing by enhancement processing is performed. 7 (c) and 7 (d), it can be seen that the noise is reduced and the white area (large gray value) is increasing.
以下では、画像補正部120が行う工程について順次説明する。
Hereinafter, steps performed by the
<2−1−3−1.ノイズ削減処理>
画像補正部120が最初に行う工程は、画像全体に存在するノイズを削減する目的としてノイズ削減処理を実施する。ノイズ削減処理として、例えば、フレーム画像G0からフレーム画像G1に縮小する縮小処理(図7(a)から図7(b)の処理)や平均値フィルタをかける処理等が挙げられる。例えば、縮小処理を実施する場合、その縮小方法は、選択エリア内の平均の画素値(濃淡値)でも良いが、選択エリア内の最大の画素値を選択して縮小するようにしても良い。なお、ここでいう最大の画素値とは、肺野内領域における画素値が用いられる。
<2-1-3-1. Noise reduction processing>
The first step performed by the
図8は、選択エリア内の最大の画素値を選択して縮小する処理内容を説明する図である。図8(a)はフレーム画像G0及び選択エリアR3を示す図であり、図8(b)はフレーム画像G0の選択エリアR3の拡大図であり、選択エリアR3内の最大の画素値Pmを示す図である。図8(c)はフレーム画像G0及びエリアR4を示す図であり、図8(d)はフレーム画像G0のエリアR4の拡大図であり、図8(e)はフレーム画像G0のエリアR4に対する縮小処理後のフレーム画像G1のエリアR4を示す拡大図である。 FIG. 8 is a diagram for explaining the processing contents for selecting and reducing the maximum pixel value in the selection area. FIG. 8A is a diagram showing the frame image G0 and the selection area R3, and FIG. 8B is an enlarged view of the selection area R3 of the frame image G0, and shows the maximum pixel value Pm in the selection area R3. FIG. FIG. 8C is a diagram showing the frame image G0 and the area R4, FIG. 8D is an enlarged view of the area R4 of the frame image G0, and FIG. 8E is a reduction of the area R4 of the frame image G0. It is an enlarged view which shows area R4 of the frame image G1 after a process.
図8で示されるように、最大の画素値Pmを選択することにより(図8(b)参照)、肺野内の最小値側の画素値(すなわち、ノイズ)を削減することができるため、肺野内の濃度を強調可能にし、肺野内のノイズの影響を低減できる効果を奏する(図8(d)及び図8(e)参照)。なお、最大の画素値Pm側のノイズが拡大される場合は、スムージングを実施するようにしても良い。 As shown in FIG. 8, by selecting the maximum pixel value Pm (see FIG. 8B), the pixel value (that is, noise) on the minimum value side in the lung field can be reduced. The density in the field can be emphasized, and the effect of reducing the influence of noise in the lung field can be achieved (see FIGS. 8D and 8E). Note that when the noise on the maximum pixel value Pm side is enlarged, smoothing may be performed.
<2−1−3−2.エリア内強調処理>
続いて、画像補正部120は、肺野内の構造物の影響低減を実施する為ために、エリア内強調処理(図7(b)から図7(c)の処理)を実施する。具体的に、エリア内強調処理の方法としては、所望の固定領域に対してヒストグラムの強調処理を実施しても良いが、よりロバスト性を求める場合は、入力画像(フレーム画像G1)のプロファイルの特性に応じて矩形を変更しても良い。
<2-1-3-2. Area enhancement processing>
Subsequently, the
図9は、エリア内強調処理における矩形範囲の選択方法の一例を説明する図である。図9で示されるように、縦方向のプロファイルは、フレーム画像G1のY座標に対する累積濃淡値を示し、横方向のプロファイルは、フレーム画像G1のX座標に対する累積濃淡値を示す。それぞれのプロファイルにおける変化点Px1,Px2,Py1,Py2を抽出し、これらの変化点Px1,Px2,Py1,py2により矩形範囲R5を決定することができる。 FIG. 9 is a diagram illustrating an example of a rectangular range selection method in the in-area enhancement process. As shown in FIG. 9, the profile in the vertical direction indicates a cumulative gray value with respect to the Y coordinate of the frame image G1, and the profile in the horizontal direction indicates a cumulative gray value with respect to the X coordinate of the frame image G1. The change points Px1, Px2, Py1, and Py2 in each profile are extracted, and the rectangular range R5 can be determined based on these change points Px1, Px2, Py1, and py2.
<2−1−3−3.全体強調処理>
画像補正部120の最後の工程として、肺野内の構造物の影響を低減するために、画像全体の強調処理(図7(c)から図7(d)の処理)を実施する。
<2-1-3-3. Overall enhancement processing>
As the final step of the
例えば、固定の閾値を設け、その閾値により強調処理を実施する。図10は、全体強調処理の一例を説明する図であり、図10(a)はフレーム画像G2とヒストグラム(図7(c)と同様)を示し、図10(b)は補正後のフレーム画像IG0とヒストグラム(図7(d)と同様)を示す。図10では、白の画素値を固定の閾値として強調処理を実施した場合の結果であり、図10(a)のフレーム画像G2では、肺野領域を含め全体的に黒の領域が多かったのに対し、全体強調処理を施した図10(b)の補正後のフレーム画像IG0では、肺野領域を含め全体的に白の領域が強調されていることがわかる。また、図10(b)のヒストグラムにおいても、横軸の濃淡値が小さい黒側の頻度が図10(a)のヒストグラムに比べて減少している様子が見て取れる。 For example, a fixed threshold value is provided, and enhancement processing is performed using the threshold value. 10A and 10B are diagrams for explaining an example of the overall enhancement processing. FIG. 10A shows a frame image G2 and a histogram (similar to FIG. 7C), and FIG. 10B shows a corrected frame image. IG0 and a histogram (similar to FIG. 7D) are shown. FIG. 10 shows a result when emphasis processing is performed with a white pixel value as a fixed threshold value. In the frame image G2 in FIG. 10A, the entire black region including the lung field region is large. On the other hand, in the corrected frame image IG0 of FIG. 10B subjected to the overall enhancement processing, it can be seen that the white area is entirely enhanced including the lung field area. Also, in the histogram of FIG. 10B, it can be seen that the frequency on the black side where the gray value on the horizontal axis is small is reduced compared to the histogram of FIG.
このような固定の閾値により全体強調処理を実施する方法だけでなく、別の方法により閾値を設定しても良い。例えば、フレーム画像G2全体の累積ヒストグラムを算出し、その累積率から閾値を決定してもよいし、また、算出した累積ヒストグラムに加え、上記で設定したエリアR5(図7参照)の面積に基づいて累積率の閾値を変動させる方法により実施してもよい。 The threshold value may be set not only by the method of performing the whole enhancement process with such a fixed threshold value but also by another method. For example, a cumulative histogram of the entire frame image G2 may be calculated, and a threshold value may be determined from the cumulative rate. In addition to the calculated cumulative histogram, based on the area of the area R5 (see FIG. 7) set above. Alternatively, the method may be performed by a method of changing the threshold value of the accumulation rate.
<2−1−4.粗抽出決定部130>
粗抽出決定部130では、動画像に基づく時間的に連続した第1〜第nのフレーム画像(nは2以上の整数)に対して、第1〜第nのテンプレートを用いてそれぞれテンプレートマッチングを行い、肺野領域(所定部位を含む領域)を粗く抽出し、第1〜第nの粗抽出領域を順次決定する粗抽出処理を行う。ここでいう動画像に基づく時間的に連続した第1〜第nのフレーム画像とは、画像補正部120において補正されたフレーム画像IG0を指す。すなわち、粗抽出決定部130における粗抽出処理は、先見的知識を用いて巨視的に捉えることで、大外れをなくす処理であり、部位候補位置をモデルベースの手法の1つであるテンプレートマッチングにより実施する。
<2-1-4. Coarse
The rough
図11は、粗抽出決定部130における粗抽出処理について説明する図であり、図11(a)は入力画像であるフレーム画像IG0を示し、図11(b)は出力画像である粗抽出画像IG1を示す。すなわち、粗抽出決定部130は、第1のフレーム画像IG0(1)〜第nのフレーム画像IG0(n)に対して、第1の粗抽出画像IG1(1)〜第nの粗抽出画像IG1(n)の出力画像を順次出力する。ここで、第1〜第nの粗抽出画像IG1(1)〜IG1(n)における第1〜第nの粗抽出領域は、それぞれ、図11(b)で示されるように、肺野領域の内部であることが確定される領域の情報を含む肺野内確定領域(所定部位内確定領域)RIと、肺野領域の外部であることが確定される領域の情報を含む肺野外確定領域(所定部位外確定領域)ROと、肺野領域の内部または外部であることが未確定な領域の情報を含む肺野未確定領域(所定部位未確定領域)RUと、を有する領域である。
11A and 11B are diagrams for explaining the rough extraction process in the rough
このように、粗抽出処理は、次工程の精密抽出決定部140にて実施する精密抽出処理を行うにあたり、肺野内確定領域RIと肺野外確定領域ROとをできるだけ増やすことで、肺野未確定領域RUの切り分けを容易にすることを目的として実施する。
As described above, in the rough extraction process, in performing the precise extraction process performed by the precise
これにより、第1〜第nの粗抽出領域において肺野未確定領域RUを可変設定することが可能となり、適切に肺野未確定領域RUを設定することにより次工程の精密抽出処理を比較的短時間で行い、かつ、より正確な精密抽出領域を決定することを可能にする。 As a result, it is possible to variably set the lung field undetermined region RU in the first to nth coarse extraction regions. This makes it possible to determine a precise extraction region that is performed in a short time and is more accurate.
図12は、粗抽出処理で用いられる肺野の形状や大きさを考慮したテンプレートの一覧を示す模式図である。また、図13は、横隔膜及び心臓の形状や大きさの個人差を例示する模式図であり、図14は、後処理部でとりわけ補正が必要となる領域(精密抽出処理が苦手とする領域)を例示する模式図である。本実施形態で抽出する肺野領域は、入力画像IG0において、次のような特徴を有する。 FIG. 12 is a schematic diagram showing a list of templates in consideration of the shape and size of the lung field used in the rough extraction process. FIG. 13 is a schematic diagram illustrating individual differences in the shape and size of the diaphragm and heart. FIG. 14 is a region that requires correction in the post-processing unit (region that is difficult to perform precise extraction processing). It is a schematic diagram which illustrates this. The lung field region extracted in the present embodiment has the following characteristics in the input image IG0.
すなわち、(I)肺野全体としては、肺野の縦サイズが大きく異なり(図13(a)〜図13(c)参照)、肺野内部に境界候補が多く存在する。(II)横隔膜としては、左右位置のバリエーションが多く、心臓幅によって、横隔膜の見え幅が異なる(図13(d)〜図13(f)参照)。(III)心臓においては、境界が不鮮明であり(図14(a)参照)、鎖骨や肋骨等の領域においては、エッジの強い部分を肺野境界(肺尖部)と誤認する恐れがある(図14(b)参照)。(IV)肋横角においては、境界が不鮮明で体表との距離が近く、(V)大動脈においては、人それぞれによる形状が異なる。 That is, (I) The lung field as a whole is greatly different in vertical size (see FIGS. 13A to 13C), and there are many boundary candidates inside the lung field. (II) The diaphragm has many variations in the left and right positions, and the visible width of the diaphragm varies depending on the heart width (see FIGS. 13 (d) to 13 (f)). (III) In the heart, the boundary is unclear (see FIG. 14 (a)), and in areas such as the collarbone and ribs, there is a possibility that a strong edge is mistaken as a lung field boundary (pulmonary apex) ( (Refer FIG.14 (b)). (IV) In the lateral angle, the boundary is unclear and the distance from the body surface is close, and in (V) the aorta, the shape of each person is different.
このような特徴があることから、本発明では、単純に肺野全体のテンプレート処理により抽出するのではなく、図12で示されるように、各主要な部分毎にテンプレートマッチング処理を実施し、テンプレートと対象部位との形状違いや上述の肺野領域の特徴(図13及び図14参照)を考慮して、テンプレートで巨視的な形状を捉える。 Because of such characteristics, the present invention does not simply extract the entire lung field by template processing, but performs template matching processing for each major part as shown in FIG. The macroscopic shape is captured by the template in consideration of the difference in shape between the target region and the target region and the characteristics of the above-described lung field region (see FIGS. 13 and 14).
以上のように、本実施形態における第1〜第nのフレーム画像IG0で用いる第1〜第nのテンプレートは、それぞれ、領域S1,S2R,S2Lにおける横隔膜の形状を各々表現した横隔膜テンプレートT1,T2R,T2L(図12(a)及び図12(b)参照)と、領域S3における心臓の形状を表現した心臓テンプレートT3(図12(c)参照)と、領域S4R,S4Lにおける肺尖部の形状を各々表現した肺尖部テンプレートT4R,T4L(図12(d)参照)と、領域S5における大動脈弓の形状を表現した大動脈弓テンプレートT5(図12(e)参照)と、の組合せで肺野領域の巨視的な形状を捉える。 As described above, the first to nth templates used in the first to nth frame images IG0 in the present embodiment are diaphragm templates T1, T2R respectively representing the shapes of the diaphragms in the regions S1, S2R, S2L. , T2L (see FIGS. 12A and 12B), a heart template T3 (see FIG. 12C) representing the shape of the heart in the region S3, and the shape of the lung apex in the regions S4R and S4L In combination with pulmonary apex templates T4R and T4L (see FIG. 12 (d)) and aortic arch template T5 (see FIG. 12 (e)) representing the shape of the aortic arch in region S5. Capture the macroscopic shape of the region.
なお、テンプレートマッチング処理を行う順番は、横隔膜テンプレートT1、横隔膜テンプレートT2R,T2Lまたは肺尖部テンプレート4R,T4L、心臓テンプレートT3または大動脈弓テンプレートT5の順番にてマッチングさせることが好ましい。これより、肺野領域の抽出をより正確に行うことが可能となる。
Note that the template matching process is preferably performed in the order of the diaphragm template T1, the diaphragm templates T2R, T2L, the
<2−1−4−1.データベース(テンプレート記憶部)51>
続いて、粗抽出決定部130にて用いるテンプレートを格納するデータベース(テンプレート記憶部)51について説明する。データベース51では、本実施形態に係るテンプレートが上述した各部位ごとの形状の個人差に対して被写体固有情報IOに基づいてグループ分けされて格納されている。すなわち、被写体固有情報取得部115にて取得される被写体固有情報IOを考慮したテンプレートが予め準備され、各テンプレートには、性別、年齢、胸囲、体重、身長、肺活量等に関係する情報を示す属性情報が予め付されてグループ別にデータベース51に格納されている。
<2-1-4-1. Database (Template Storage Unit) 51>
Next, the database (template storage unit) 51 that stores templates used in the rough
例えば、被写体固有情報IOが「性別」の場合については、性別を基に作成したテンプレートを準備する。前述の図4及び図5の例で説明すると、横隔膜テンプレートT1のうち、図4(a)及び図5(a)には「女性」という属性が予め付されており、図4(b)及び図5(b)には「男性」という属性が予め付されてデータベース51にそれぞれグループ別に格納されている。また、図5(a)で示されるように、女性の場合は、肋横角付近W1,W2に虚偽の線L1,L2が出現する可能性があるため、通常と異なる位置にエッジが立つことを想定したテンプレートを複数用意し、例えば「女性・エッジ」といった属性情報を予め付与してデータベース51に格納することも可能である。
For example, when the subject specific information IO is “sex”, a template created based on the sex is prepared. In the example of FIGS. 4 and 5 described above, in the diaphragm template T1, FIGS. 4 (a) and 5 (a) have the attribute “female” attached in advance, and FIG. 4 (b) and FIG. In FIG. 5B, the attribute “male” is assigned in advance and stored in the
また、被写体固有情報IOが「年齢」の場合については、上述の通り、年齢により心臓の大きさや肺そのものの大きさが異なることから、年齢情報を基に作成したテンプレートを準備する。グループ分けとしては、少なくとも幼児・子供・大人の3パターンは用意することが好ましく、3パターン以上詳細にグループ分けして用意することがより好ましい。この際、「幼児」「子供」「大人」のほか、「10代」「20代」などの属性が予め付されてデータベース51にそれぞれグループ別に格納されている。
Further, when the subject specific information IO is “age”, as described above, since the size of the heart and the size of the lung itself differ depending on the age, a template created based on the age information is prepared. As for grouping, it is preferable to prepare at least three patterns of infants, children, and adults, and it is more preferable to prepare groups of three patterns or more in detail. At this time, in addition to “infant”, “child”, and “adult”, attributes such as “10's” and “20's” are added in advance and stored in the
また、被写体固有情報IOが「胸囲」の場合についても、胸囲情報を基に作成したテンプレートを準備する。グループ分けとしては、例えば、70cm代、80cm代、90cm代等にグループ分けして作成したテンプレートを用意することがより好ましい。この際、「70cm代」「80cm代」「90cm代」などの属性が予め付されてデータベース51にそれぞれグループ別に格納されている。
A template created based on the chest circumference information is also prepared when the subject unique information IO is “chest circumference”. As grouping, for example, it is more preferable to prepare templates created by grouping into 70 cm, 80 cm, 90 cm, and the like. At this time, attributes such as “70 cm generation”, “80 cm generation”, and “90 cm generation” are assigned in advance and stored in the
さらに、被写体固有情報IOが「体重」「身長」「肺活量」等であり、これらの情報から肺の大きさを推定した場合についても、肺の大きさの推定結果をもとに、グループ分けして作成したテンプレートを用意することがより好ましい。この際、「推定結果1」「推定結果2」「推定結果3」などの属性が予め付されてデータベース51にそれぞれグループ別に格納されている。
Furthermore, when the subject-specific information IO is “weight”, “height”, “spirit capacity”, etc., and the lung size is estimated from these pieces of information, it is divided into groups based on the estimation result of the lung size. It is more preferable to prepare a template created in this way. At this time, attributes such as “
以上のように、データベース51には、性別、年齢、胸囲、体重、身長、肺活量等の複数のファクタによる属性情報が付与されたテンプレートがそれぞれのグループ毎に格納されている。例えば、後述する図45に示すように、属性に基づき階層構造にグループ分類された領域に格納するようにしてもよい。なお、上記では属性を個別に説明したが、各テンプレートには複数の属性が付与されてもよい。
As described above, the
以下では、具体的な各部位のテンプレート及び粗抽出処理を部位毎に説明する。 Below, the specific template and rough extraction process of each part are demonstrated for every part.
<2−1−4−2.横隔膜における粗抽出処理>
横隔膜の位置及び形状の特徴としては、肺野や心臓の大きさが異なるため、横隔膜の形状が異なるとともに、横隔膜の位置が左右で異なるという課題がある。そこで、本実施形態では、横隔膜の形状の差異に対して、縦横変倍の複数テンプレートを用いることで対応し、横隔膜の左右の位置関係については、左右独立のテンプレートを用いることで対応を行う。そして、横隔膜のテンプレートマッチングにおいて、粗抽出決定部130が、縦横変倍の複数テンプレート及び左右独立のテンプレートを用いて、順次にそれぞれマッチングさせることで、テンプレートマッチング処理を行う(以下「2段階テンプレートマッチング」と称する)。
<2-1-4-2. Rough extraction process on diaphragm>
As features of the position and shape of the diaphragm, there are problems in that the sizes of the lung field and the heart are different, so that the shape of the diaphragm is different and the position of the diaphragm is different on the left and right. Therefore, in the present embodiment, the difference in the shape of the diaphragm is dealt with by using a plurality of templates of vertical and horizontal magnification, and the left and right positional relationship of the diaphragm is dealt with by using left and right independent templates. Then, in the template matching of the diaphragm, the rough
<2−1−4−2−1.縦横変倍の複数テンプレートの生成方法>
図15は、本発明で予め準備する縦横変倍の複数テンプレートを例示する図である。図15(a)〜図15(d)はサンプル画像SGであり、図15(e)〜図15(h)は図15(a)〜図15(d)のサンプル画像SGの横隔膜の形状を各々表現した横隔膜テンプレートT11〜T14を模式的に示す図である。
<2-1-4-2-1. Generating multiple templates for vertical / horizontal scaling>
FIG. 15 is a diagram illustrating a plurality of templates for vertical / horizontal scaling prepared in advance in the present invention. 15A to 15D are sample images SG, and FIGS. 15E to 15H are the shapes of the diaphragms of the sample images SG of FIGS. 15A to 15D. It is a figure which shows typically the diaphragm template T11-T14 each represented.
図15で示されるように、横隔膜の形状にはかなりの個人差があり、とりわけ心臓の大きさにより横隔膜の形状が異なる。したがって、サンプル画像SGに対してパターンの分類を行うことにより作成する。作成ポイントとしては、心臓の大きさにより分類し、作成する。 As shown in FIG. 15, there are considerable individual differences in the shape of the diaphragm, and in particular, the shape of the diaphragm varies depending on the size of the heart. Therefore, it creates by classifying the pattern on the sample image SG. The creation points are classified and created according to the size of the heart.
図16は、4種類の縦横変倍の複数テンプレートを生成する方法の一例を説明する概念図である。図16で示されるように、まず、サンプル画像SGの横隔膜を含む領域S1を指定し(図16(a)参照)、指定した領域S1を手動で切り出す(図16(a)参照)。そして、テンプレート生成用のサンプル画像SG(図16(c)参照)に対しても同様に、指定した領域S1を手動で各々切り出す(図16(d)参照)。図16(d)において指定した領域S1のグループ分けした4種類毎の平均画像(各種類毎に図16(d)で示す切り出し画像の平均により得られる画像)により4種類の横隔膜テンプレートT11〜T14を生成する(図16(e)参照)。 FIG. 16 is a conceptual diagram illustrating an example of a method for generating four types of vertical / horizontal scaling multiple templates. As shown in FIG. 16, first, the region S1 including the diaphragm of the sample image SG is designated (see FIG. 16A), and the designated region S1 is manually cut out (see FIG. 16A). Similarly, the designated region S1 is manually cut out for the sample image SG for template generation (see FIG. 16C) (see FIG. 16D). Four types of diaphragm templates T11 to T14 are obtained by averaging four types of average images (images obtained by averaging the cut-out images shown in FIG. 16D for each type) of the region S1 designated in FIG. Is generated (see FIG. 16E).
<2−1−4−2−2.左右独立のテンプレートの生成方法>
図17は左右の肺野における高さの違いを説明する模式図である。図17で示されるように、左右肺の高さに違いがある場合もあることから、上記の横隔膜テンプレートT11〜T14だけでは、正確に横隔膜の位置を特定することができない。
<2-1-4-2-2. How to generate independent left and right templates>
FIG. 17 is a schematic diagram for explaining the difference in height between the left and right lung fields. As shown in FIG. 17, there may be a difference in the heights of the left and right lungs. Therefore, the diaphragm position cannot be accurately specified only by the diaphragm templates T11 to T14.
そこで、本発明では、左右別々の横隔膜テンプレートを作成する。この時の作成ポイントとしては、肺野大きさが異なることを考慮し、切り出した横隔膜に対し、正規化処理により大きさを統一したものを作成する。 Therefore, in the present invention, left and right diaphragm templates are created. As the creation point at this time, in consideration of the fact that the lung field sizes are different, the cut out diaphragm is created by unifying the size by normalization processing.
図18は左側横隔膜及び右側横隔膜テンプレートを生成する方法の一例を説明する概念図である。図18で示されるように、まず、サンプル画像SGの横隔膜を含む左側領域S2L及び右側領域S2Rを指定し(図18(a)参照)、指定した左側領域S2L及び右側領域S2Rを手動で切り出す(図18(b)参照)。そして、図18(c)で示されるテンプレート生成用のサンプル画像SGに対しても同様に、指定した左側領域S2L及び右側領域S2Rを手動で各々切り出す(図18(d)参照)。図18(d)において指定した、左側領域S2Lのグループ分けした4種類毎の平均画像により横隔膜テンプレートT2L1〜T2L4を生成し、右側領域S2Rのグループ分けした4種類毎の平均画像により横隔膜テンプレートT2R1〜T2R4を生成する(図18(e)参照)。 FIG. 18 is a conceptual diagram illustrating an example of a method for generating the left diaphragm and the right diaphragm template. As shown in FIG. 18, first, the left region S2L and the right region S2R including the diaphragm of the sample image SG are designated (see FIG. 18A), and the designated left region S2L and right region S2R are manually cut out (see FIG. 18). (Refer FIG.18 (b)). Similarly, the designated left region S2L and right region S2R are manually cut out from the template generation sample image SG shown in FIG. 18C (see FIG. 18D). The diaphragm templates T2L1 to T2L4 are generated from the average images for each of the four types grouped in the left region S2L and specified in FIG. T2R4 is generated (see FIG. 18E).
<2−1−4−2−3.2段階テンプレートマッチング>
粗抽出決定部130では、横隔膜のテンプレートマッチングにおいて、予め準備した、縦横変倍の複数の横隔膜テンプレートT11〜T14及び左右独立の横隔膜テンプレートT2L1〜T2L4,T2R1〜T2R4を用いて、フレーム画像IG0の横隔膜領域に対して順次にマッチングさせることで2段階テンプレートマッチングを行う。
<2-1-4-2-3.2 template matching>
The rough
図19は、2段階テンプレートマッチングを説明する模式図である。図19で示されるように、まず、図19(a)の縦横変倍の複数の横隔膜テンプレートT11〜T14と、図19(b)の左右独立の横隔膜テンプレートT2L1〜T2L4及びT2R1〜T2R4とを予め準備する。次に、フレーム画像IG0に対して横隔膜テンプレートT1(T11〜T14)を用いて第1のテンプレートマッチングを行い、テンプレート一致結果に対し中心ラインCLを決定し、当該中心ラインCLで左右の肺野の切り分けを行う(図19(c)参照)。そして、切り分けられた左右の探索領域をベースにして、横隔膜テンプレートT2L(T2L1〜T2L4)及びT2R(T2R1〜T2R4)を用いて、第2のテンプレートマッチングを行う(図19(d)参照)。図19で示されるような左右の肺野の高さが異なる場合は、第1のテンプレートだけでは精度が低いが、このような第2のテンプレートを活用することで一致度が高くなる。 FIG. 19 is a schematic diagram for explaining the two-step template matching. As shown in FIG. 19, first, a plurality of diaphragm templates T11 to T14 with vertical and horizontal scaling in FIG. 19A and left and right independent diaphragm templates T2L1 to T2L4 and T2R1 to T2R4 in FIG. prepare. Next, the first template matching is performed on the frame image IG0 using the diaphragm template T1 (T11 to T14), the center line CL is determined for the template matching result, and the left and right lung fields are determined by the center line CL. Carving is performed (see FIG. 19C). Then, second template matching is performed using the diaphragm templates T2L (T2L1 to T2L4) and T2R (T2R1 to T2R4) based on the cut left and right search regions (see FIG. 19D). When the left and right lung fields have different heights as shown in FIG. 19, the accuracy is low only with the first template, but the degree of coincidence is increased by using such a second template.
このように実施した2段階テンプレートマッチングの結果に基づいて、横隔膜領域に対して、肺野内確定領域RIと肺野外確定領域ROと肺野未確定領域RUとの切り分けを行う。 Based on the result of the two-step template matching performed in this manner, the lung region confirmed region RI, the lung field confirmed region RO, and the lung field undetermined region RU are separated from the diaphragm region.
<2−1−4−3.心臓における粗抽出処理>
心臓の位置及び形状の特徴としては、呼吸と異なる時間的変化となるため、作成した横隔膜テンプレートと完全に一致するとは限らない。したがって、呼吸の周期と心拍の周期とを切り分け対応するために心臓テンプレートを予め準備しておく必要がある。
<2-1-4-3. Coarse extraction process in heart>
Since the heart position and shape are characterized by temporal changes different from those of respiration, they do not always match the created diaphragm template. Therefore, it is necessary to prepare a heart template in advance in order to separate and correspond to the respiratory cycle and the heartbeat cycle.
<2−1−4−3−1.心臓テンプレートの生成方法>
本発明の粗抽出処理で予め準備する心臓テンプレートは、横隔膜(図15参照)と同様に、サンプル画像SGに対してパターンの分類を行うことにより生成する。作成ポイントとしては、スケールは、変倍にしても良いが、上記横隔膜テンプレートT11〜T14で算出された倍率サイズを活用しても良い。
<2-1-4-3-1. Generation method of heart template>
The heart template prepared in advance by the rough extraction process of the present invention is generated by classifying the pattern on the sample image SG in the same manner as the diaphragm (see FIG. 15). As the creation point, the scale may be changed, but the magnification size calculated by the diaphragm templates T11 to T14 may be used.
図20は、心臓テンプレートを生成する方法の一例を説明する概念図である。図20で示されるように、まず、サンプル画像SGの心臓を含む領域S3を指定し(図20(a)参照)、指定した領域S3を手動で切り出す(図20(a)参照)。そして、図20(c)で示されるテンプレート生成用のサンプル画像SGに対しても同様に、指定した領域S3を手動で各々切り出す(図20(d)参照)。図20(d)において指定した領域S3のグループ分けした4種類毎の平均画像により心臓テンプレートT31〜T34を生成する(図20(e)参照)。 FIG. 20 is a conceptual diagram illustrating an example of a method for generating a heart template. As shown in FIG. 20, first, a region S3 including the heart of the sample image SG is designated (see FIG. 20A), and the designated region S3 is manually cut out (see FIG. 20A). Similarly, the designated region S3 is manually cut out for the template generation sample image SG shown in FIG. 20C (see FIG. 20D). Cardiac templates T31 to T34 are generated from the average images for each of the four types grouped in the region S3 designated in FIG. 20D (see FIG. 20E).
<2−1−4−3−2.心臓テンプレートマッチング>
図21は、心臓テンプレートT3(T31〜T34)によるテンプレートマッチング方法を説明する模式図である。図21で示されるように、心臓テンプレートマッチングの方法は、まず、上記の横隔膜テンプレートT1,T2L,T2Rを用いてマッチングを行い(図19(c)及び図19(d)参照)、抽出された左肺の横隔膜位置の情報をベースに、心臓テンプレートT3(T31〜T34)(図20(e)参照)を用いて心臓の位置及び形状を探索する。具体的には、横隔膜の位置に対し、オフセットを加えた範囲SRに対してテンプレートマッチングを行う。つまり、横隔膜の探索結果とリンクした形で行うことで、より位置関係を精度よく抽出することができる。
<2-1-4-3-3-2. Heart template matching>
FIG. 21 is a schematic diagram for explaining a template matching method using the heart template T3 (T31 to T34). As shown in FIG. 21, in the heart template matching method, first, matching is performed using the diaphragm templates T1, T2L, and T2R (see FIGS. 19 (c) and 19 (d)) and extracted. Based on the information of the diaphragm position of the left lung, the position and shape of the heart are searched using the heart template T3 (T31 to T34) (see FIG. 20E). Specifically, template matching is performed for a range SR in which an offset is added to the position of the diaphragm. In other words, the positional relationship can be extracted with higher accuracy by linking with the search result of the diaphragm.
<2−1−4−4.肺尖部における粗抽出処理>
肺尖部の位置及び形状の特徴としては、鎖骨や肋骨等のエッジの強い部分の影響を受けやすいため、鎖骨を含むように、肺尖部のテンプレートを準備しておく必要がある。
<2-1-4-4. Rough extraction process at lung apex>
As a characteristic of the position and shape of the lung apex, since it is easily affected by a strong edge portion such as the clavicle or the rib, it is necessary to prepare a template of the lung apex so as to include the clavicle.
<2−1−4−4−1.肺尖部テンプレートの生成方法>
本発明の粗抽出処理で予め準備する肺尖部テンプレートは、上記横隔膜や心臓のように複数個のテンプレートを生成しても良いが、大きさの違いに関しては、縦横変倍のテンプレートで対応することができる。また、この領域で最も個人差のある鎖骨の傾きを考慮して複数のパターンのテンプレートを生成するようにしてもよい。
<2-1-4-4-1. Generating lung apex template>
The lung apex template prepared in advance by the rough extraction process of the present invention may generate a plurality of templates such as the diaphragm and the heart, but the size difference corresponds to the template of vertical / horizontal scaling. be able to. Further, a plurality of pattern templates may be generated in consideration of the inclination of the clavicle having the most individual difference in this region.
図22は、肺尖部テンプレートを生成する方法の一例を説明する概念図である。図22で示されるように、まず、サンプル画像SGの肺尖部を含む左側領域S4L及び右側領域S4Rを指定し(図22(a)参照)、指定した左側領域S4L及び右側領域S4Rを手動で切り出す(図22(b)参照)。そして、図22(c)で示されるテンプレート生成用のサンプル画像SGに対しても同様に、指定した左側領域S4L及び右側領域S4Rを手動で各々切り出す(図22(d)参照)。図22(d)において指定した、左側領域S4Lの所定枚数(例えば50枚)の平均画像により肺尖部テンプレートT4Lを生成し、右側領域S4Rの所定枚数(例えば50枚)の平均画像により肺尖部テンプレートT4Rを生成する(図22(e)参照)。 FIG. 22 is a conceptual diagram illustrating an example of a method for generating a lung apex template. As shown in FIG. 22, first, the left region S4L and the right region S4R including the lung apex of the sample image SG are designated (see FIG. 22A), and the designated left region S4L and right region S4R are manually selected. Cut out (see FIG. 22B). Similarly, the designated left region S4L and right region S4R are manually cut out from the template generation sample image SG shown in FIG. 22C (see FIG. 22D). A lung apex template T4L is generated from a predetermined number (for example, 50) of average images of the left side region S4L specified in FIG. 22D, and the lung apex is determined from the predetermined number of images (for example, 50) of the right side region S4R. A template T4R is generated (see FIG. 22E).
<2−1−4−4−2.肺尖部テンプレートマッチング>
図23は、肺尖部テンプレートT4L及びT4Rによるテンプレートマッチング方法を説明する模式図である。図23で示されるように、肺尖部テンプレートマッチング方法は、まず、上記の横隔膜テンプレートT1,T2L,T2Rを用いてマッチングを行った後(図19(c)及び図19(d)参照)、抽出された左右横隔膜位置情報をベースに、肺尖部テンプレートT4L及びT4Rを用いて肺尖部の位置及び形状を探索する。具体的には、左右横隔膜位置より上部に、肺尖部テンプレートT4Lによる探索領域SL及び肺尖部テンプレートT4Rによる探索領域SRを設け、テンプレートマッチングを行う。また左右の位置関係も横隔膜の位置関係により限定することで、より精度の高いマッチングを行うことができる。
<2-1-4-4-2. Lung apex template matching>
FIG. 23 is a schematic diagram for explaining a template matching method using lung apex templates T4L and T4R. As shown in FIG. 23, the pulmonary apex template matching method first performs matching using the diaphragm templates T1, T2L, and T2R (see FIG. 19 (c) and FIG. 19 (d)). Based on the extracted left and right diaphragm position information, the position and shape of the lung apex are searched using the lung apex templates T4L and T4R. Specifically, a search region SL by the lung apex template T4L and a search region SR by the lung apex template T4R are provided above the left and right diaphragm positions, and template matching is performed. Further, by limiting the positional relationship between the left and right by the positional relationship of the diaphragm, more accurate matching can be performed.
<2−1−4−5.大動脈弓における粗抽出処理>
肺野領域の抽出時に、大動脈弓が肺野内に含まれると、血流が多く流れていることから肺野内の血流の信号値に影響を与えるため、血流解析に悪影響を与える可能性が高い。
<2-1-4-5. Coarse extraction process in the aortic arch>
If the aortic arch is included in the lung field during the extraction of the lung field, the blood flow in the lung field is affected by the large amount of blood flow, which may adversely affect blood flow analysis. high.
図24は大動脈弓を抽出する目的を説明する模式図であり、フレーム画像IG0と大動脈弓が含まれる領域S5を示す。図24で示されるように、大動脈弓の上部P5にエッジが立っていることが多くあり、肺野抽出の精度に大きく影響を与える可能性があるが、大動脈弓の形状この特徴を抽出しきれないという問題がある。そこで、大動脈弓が肺野内に含まれないようにするため、大動脈弓テンプレートを用いてテンプレートマッチングにより肺野外の領域として設定する必要がある。 FIG. 24 is a schematic diagram for explaining the purpose of extracting the aortic arch, and shows a frame image IG0 and a region S5 including the aortic arch. As shown in FIG. 24, the upper part P5 of the aortic arch often has an edge, which may greatly affect the accuracy of lung field extraction, but the shape of the aortic arch can be extracted completely. There is no problem. Therefore, in order to prevent the aortic arch from being included in the lung field, it is necessary to set the region outside the lung field by template matching using the aortic arch template.
<2−1−4−5−1.大動脈弓テンプレートの生成方法>
図25は大動脈弓の個人差を例示する模式図である。図25で示されるように、大動脈弓の位置及び形状の特徴においても、人それぞれにより異なる傾向がある。そこで、本発明の粗抽出処理で予め準備する肺尖部テンプレートにおいても、スケールを変えたり、複数パターンを用意したりすることで対応することが望ましい。
<2-1-4-5-1. Generation method of aortic arch template>
FIG. 25 is a schematic view illustrating individual differences in the aortic arch. As shown in FIG. 25, the characteristics of the position and shape of the aortic arch also tend to vary from person to person. Therefore, it is desirable to cope with the apex template prepared in advance by the rough extraction processing of the present invention by changing the scale or preparing a plurality of patterns.
図26は、大動脈弓テンプレートを生成する方法の一例を説明する概念図である。図26で示されるように、まず、サンプル画像SGの大動脈弓を含む領域S5を指定し(図26(a)参照)、指定した領域S5を手動で切り出す(図26(b)参照)。そして、図26(c)で示されるテンプレート生成用のサンプル画像SGに対しても同様に、指定した領域S5を手動で各々切り出す(図26(d)参照)。図26(d)において指定した領域S5の所定枚数の平均画像により大動脈弓テンプレートT5を生成する(図26(e)参照)。 FIG. 26 is a conceptual diagram illustrating an example of a method for generating an aortic arch template. As shown in FIG. 26, first, a region S5 including the aortic arch of the sample image SG is designated (see FIG. 26A), and the designated region S5 is manually cut out (see FIG. 26B). Similarly, the designated region S5 is manually cut out from the template generation sample image SG shown in FIG. 26C (see FIG. 26D). An aortic arch template T5 is generated from a predetermined number of average images in the region S5 designated in FIG. 26D (see FIG. 26E).
<2−1−4−5−2.大動脈弓テンプレートマッチング>
図27は、大動脈弓テンプレートT5によるテンプレートマッチング方法を説明する模式図である。図27で示されるように、大動脈弓テンプレートマッチング方法は、まず、上記の横隔膜テンプレートT1,T2L,T2R及び肺尖部テンプレートマッチング4L,4Rを用いてマッチングを行い(図19および図23参照)、抽出された左肺尖部位置情報をベースに、大動脈弓テンプレートT5を用いて大動脈弓の位置及び形状を探索する。具体的には、左肺尖部の位置に対し、オフセットを加えた範囲SRLに対してテンプレートマッチングを行う。
<2-1-4-5-2. Aortic arch template matching>
FIG. 27 is a schematic diagram for explaining a template matching method using the aortic arch template T5. As shown in FIG. 27, the aortic arch template matching method first performs matching using the diaphragm templates T1, T2L, T2R and the apex template matching 4L, 4R (see FIGS. 19 and 23), Based on the extracted left lung apex position information, the position and shape of the aortic arch are searched using the aortic arch template T5. Specifically, template matching is performed on a range SRL in which an offset is added to the position of the left lung apex.
一方、大動脈弓を抽出しない場合もあり得る。図28は大動脈弓が不鮮明な場合を例示する模式図であり、領域S5aは大動脈弓が含まれると予想される領域を示している。図28で示されるように、人により大動脈弓が不鮮明な場合や、または背骨付近に隠れてしまい存在が見られない場合がある。このような大動脈弓が見当たらない場合には、大動脈弓テンプレートマッチングは実施しなくともよい。なお、大動脈弓の抽出可否の判定は、相関値などの結果により判定を行う。 On the other hand, the aortic arch may not be extracted. FIG. 28 is a schematic view illustrating a case where the aortic arch is unclear. A region S5a indicates a region where the aortic arch is expected to be included. As shown in FIG. 28, the aortic arch may be unclear by a person, or may be hidden near the spine and cannot be seen. If such an aortic arch is not found, aortic arch template matching may not be performed. Whether or not the aortic arch can be extracted is determined based on a result such as a correlation value.
<2−1−4−6.粗抽出処理の全体の流れ>
図11で示したように、粗抽出決定部130による粗抽出処理は、精密抽出決定部140にて実施する精密抽出処理を行うために必要な情報である、肺野内確定領域RI、肺野外確定領域RO、及び、肺野未確定領域RU(以下、これらの情報の総称を「初期値」と呼ぶ。)を与えるために実施している処理である。したがって、粗抽出決定部130における最終のアウトプットは、初期値を与えた状態の結果を出力することになる。
<2-1-4-6. Overall flow of rough extraction process>
As shown in FIG. 11, the rough extraction processing by the rough
図29は、粗抽出処理における初期値設定を行うため事前に行われている前処理を説明する模式図であり、図30は、粗抽出処理の全体の流れを説明する模式図である。 FIG. 29 is a schematic diagram for explaining preprocessing performed in advance for setting initial values in the rough extraction processing, and FIG. 30 is a schematic diagram for explaining the overall flow of the rough extraction processing.
図29で示されるように、まず、各テンプレートにおいて予め正解データASが生成されており(図29(a)参照)、テンプレートT4R,T4L,T2R,T2Lの各部位ごとにそれぞれ正解データAS−1,AS−2,AS−3,AS−4との相関を計算する(図29(b)及び図29(c)参照)。例えば、テンプレートT2Rの場合は、図16で示されるように4種類のテンプレートT2R1〜T2R4に対して正解データが4種類それぞれ存在するため、各々の相関を計算することになる。このようにして、テンプレート毎の相関値を積算して平均した累積率画像AS’が生成される(図29(d)参照)。図29(e)では、図29(d)の累積率画像AS’−1において、正解データAS−1とテンプレートT4Rとの相関を示した相関分布画像CRを示す。具体的には、図29(e)の左の相関分布画像CR1は正解データとの相関が最も低く、図29(e)の右の相関分布画像CR3は正解データとの相関が最も高く、図29(e)の中央の相関分布画像CR2は両者の中間の相関を示す。すなわち、図29(e)で示されるような相関分布画像CRは、テンプレートと正解データとの一致度合いを判定した分布であり、図29(e)の場合、相関分布画像CR3が最も正解データに近いことを示している。 As shown in FIG. 29, first, correct data AS is generated in advance for each template (see FIG. 29A), and correct data AS-1 for each part of the templates T4R, T4L, T2R, and T2L. , AS-2, AS-3, and AS-4 are calculated (see FIGS. 29B and 29C). For example, in the case of the template T2R, as shown in FIG. 16, there are four types of correct answer data for the four types of templates T2R1 to T2R4. Therefore, the respective correlations are calculated. In this way, an accumulation rate image AS ′ obtained by accumulating and averaging the correlation values for each template is generated (see FIG. 29D). FIG. 29 (e) shows a correlation distribution image CR showing the correlation between the correct answer data AS-1 and the template T4R in the accumulation rate image AS'-1 in FIG. 29 (d). Specifically, the correlation distribution image CR1 on the left in FIG. 29 (e) has the lowest correlation with the correct data, and the correlation distribution image CR3 on the right in FIG. 29 (e) has the highest correlation with the correct data. The center correlation distribution image CR2 of 29 (e) shows an intermediate correlation between the two. That is, the correlation distribution image CR as shown in FIG. 29 (e) is a distribution in which the degree of matching between the template and the correct data is determined. In the case of FIG. 29 (e), the correlation distribution image CR3 is the most correct data. It is close.
以上の図29で得られた判定結果は、図30の粗抽出処理の初期値(すなわち、粗抽出決定部130で出力される粗抽出領域の肺野内確定領域RI、肺野外確定領域RO、及び、肺野未確定領域RU)の設定に用いられる。
The determination results obtained in FIG. 29 are the initial values of the rough extraction process of FIG. 30 (that is, the lung field determined region RI, the lung field determined region RO of the rough extraction region output by the rough
図30で示されるように、フレーム画像IG0(図30(a)参照)に対して、例えば、横隔膜の粗抽出処理を行う際、横隔膜テンプレートT11〜T14,T2R1〜T2R4,T2L1〜T2L4(図30(b)及び図30(c)参照)の中から選択したテンプレートを用いて、横隔膜のテンプレートマッチングを行う(図30(d)参照)。そして、そのテンプレートマッチングの結果と図29で得られた判定結果(相関分布)とを考慮して、横隔膜領域の粗抽出画像IG1’が得られる(図30(e)参照)。他の部位についても、同様の処理を行うことで全体の粗抽出画像IG1が生成され(図30(f)参照)、精密抽出処理の入力画像とされる。すなわち、粗抽出決定部130が粗抽出画像IG1を精密抽出決定部140へ出力する。
As shown in FIG. 30, for example, when performing rough extraction processing of the diaphragm on the frame image IG0 (see FIG. 30A), diaphragm templates T11 to T14, T2R1 to T2R4, T2L1 to T2L4 (FIG. 30). Diaphragm template matching is performed using a template selected from (b) and FIG. 30 (c)) (see FIG. 30 (d)). Then, in consideration of the template matching result and the determination result (correlation distribution) obtained in FIG. 29, a rough extracted image IG1 'of the diaphragm region is obtained (see FIG. 30 (e)). By performing the same process for the other parts, the entire coarsely extracted image IG1 is generated (see FIG. 30 (f)) and used as the input image for the precise extraction process. That is, the rough
<2−1−5.精密抽出決定部140>
精密抽出決定部140では、第1〜第nの粗抽出領域から肺野領域を精密に抽出する精密抽出処理を行うことで、第1〜第nの精密抽出領域を順次決定する。すなわち、精密抽出決定部140による精密抽出処理は、肺野未確定領域RUが肺野領域の内部であるか、外部であるかを決定する処理である。
<2-1-5. Precision
The precise
図31は精密抽出決定部140における精密抽出処理について説明する図である。図31(a)は粗抽出決定部130における入力画像IG0であり、図31(b)は粗抽出決定部130において出力された粗抽出画像IG1であり、精密抽出決定部140における入力画像に相当する。また、図31(c)は精密抽出決定部140において出力された精密抽出画像IG2である。
FIG. 31 is a diagram for explaining the precise extraction process in the precise
すなわち、精密抽出決定部140は、粗抽出決定部130において順次出力された第1の粗抽出画像IG1(1)〜第nの粗抽出画像IG1(n)(図31(b)参照)を入力画像として第1の精密抽出画像IG2(1)〜第nの精密抽出画像IG2(n)を順次出力する(図31(c)参照)。ここで、第1〜第nの精密抽出画像IG2(1)〜IG2(n)における第1〜第nの精密抽出領域は、それぞれ、図31(c)で示されるような肺野領域RA0である。
That is, the fine
精密抽出決定部140では、形状に依存しない抽出技術により肺野領域RA0を抽出する。抽出技術においては、次のような手法であればいずれのような手法を用いても良い。
The precise
<2−1−5−1.エッジを情報として抽出する手法>
画像から肺野領域(対象物)の輪郭を抽出するためにエッジを情報とする抽出手法として、レベルセット(Level set)、スネーク(Snakes)(例えば、"Snakes: Active contour models.", M.Kass, A.Witkin, and D.Terzopoulos, International Journal of Computer Vision, Vol.1, No.4, pp.321-331, 1988.等参照)といった動的輪郭モデル(Active Contour Model)を用いた手法が知られている。動的輪郭モデルとは、所定の変形傾向に沿って変形を繰り返す曲線(動的曲線)によって、肺野領域の輪郭を動的に抽出する手法である。動的曲線の変形傾向は、曲線の状態を定量的に評価した値である「動的曲線のエネルギー」によって規定される。この「動的曲線のエネルギー」は、動的曲線が肺野領域の輪郭を抽出した時点で最小となるように予め定義される。したがって、動的曲線のエネルギーが最小となるように動的曲線を変形させてゆき、エネルギーが最小となる安定状態を見つけることによって、肺野領域RA0の輪郭部SM0を抽出することができる。
<2-1-5-1. Method for extracting edges as information>
Level set and Snakes (for example, "Snakes: Active contour models.", M.) are used as extraction methods to extract edges of lung field areas (objects) from images. A method using an active contour model such as Kass, A. Witkin, and D. Terzopoulos, International Journal of Computer Vision, Vol.1, No.4, pp.321-331, 1988. It has been known. The dynamic contour model is a method of dynamically extracting the contour of the lung field region by a curve (dynamic curve) that repeats deformation along a predetermined deformation tendency. The deformation tendency of the dynamic curve is defined by “dynamic curve energy” which is a value obtained by quantitatively evaluating the state of the curve. This “dynamic curve energy” is defined in advance so that the dynamic curve is minimized when the contour of the lung field is extracted. Therefore, the contour portion SM0 of the lung field region RA0 can be extracted by deforming the dynamic curve so that the energy of the dynamic curve is minimized and finding a stable state where the energy is minimized.
<2−1−5−2.領域を情報として抽出する手法>
画像から肺野領域(対象物)の輪郭を抽出するために領域を情報とする抽出手法として、領域拡張法(Region growing)などが挙げられる。領域拡張法では、2値化画像を用いて始点となるボクセルを決定し、2値化処理前の処理対象画像においてその始点と決定されたボクセルの近傍ボクセルを調べ、ある判定条件を満たす近傍ボクセルを肺野領域と判断する。そして、この肺野領域と判断された近傍ボクセルについても上記と同様の処理を繰り返す。このように、領域を拡張しながら判定条件を満たすボクセルを順次抽出することにより、肺野領域RA0の輪郭部SM0を抽出することができる。
<2-1-5-2. Method for extracting regions as information>
A region growing method (Region growing) or the like is an example of an extraction method that uses a region as information in order to extract a contour of a lung field region (object) from an image. In the region expansion method, a voxel as a starting point is determined using a binarized image, a voxel near the voxel determined as the starting point in a processing target image before binarization processing is examined, and neighboring voxels satisfying a certain determination condition Is determined to be a lung field region. Then, the same processing as described above is repeated for the neighboring voxels determined to be the lung field region. Thus, by sequentially extracting the voxels that satisfy the determination conditions while expanding the region, it is possible to extract the contour portion SM0 of the lung field region RA0.
<2−1−5−3.エッジと領域とを情報として抽出する手法>
画像から肺野領域(対象物)の輪郭を抽出するためにエッジと領域とを情報とする抽出手法として、グラフカット(Graph Cut)(例えば、"Fast Apporoximate Energy Minimization via Graph Cuts.",Y.Boykov,O. Veksler,R. Zabih. IEEE Transactions on Pattern Analysis and Machine Intelligence 23:1222-1239:2001.等参照)などが挙げられる。グラフカット法では、マルコフ確率場(Markov Random Field: MRF)などの確率モデルの最大事後確率推定問題として定式化してエネルギー最小化問題として効率的に解く方法であり、エネルギーを比較的効率良く最小化することにより、肺野領域RA0の輪郭部SM0を抽出することができる。
<2-1-5-3. Method for extracting edges and regions as information>
Graph Cut (for example, "Fast Apporoximate Energy Minimization via Graph Cuts.", Y.) is an extraction method that uses edges and regions as information to extract the contours of lung field regions (objects) from images. Boykov, O. Veksler, R. Zabih. See IEEE Transactions on Pattern Analysis and Machine Intelligence 23: 1222-1239: 2001). The graph cut method is a method that is formulated as a maximum a posteriori probability estimation problem of a stochastic model such as Markov Random Field (MRF) and efficiently solved as an energy minimization problem, and energy is minimized relatively efficiently. By doing so, the outline part SM0 of the lung field region RA0 can be extracted.
<2−1−6.後処理部150>
後処理部150では、第1の精密抽出画像IG2(1)〜第nの精密抽出画像IG2(n)における不安定な精密抽出結果や抽出失敗に対し、モデル知識を使うことで、解析に必要な肺野に整形する。すなわち、後処理部150では、粗抽出領域に基づき上述の画像抽出処理が施された精密抽出領域(粗抽出領域に基づく領域)に対して、肺野領域の境界を近似する所定数のフィッティング関数で表現された形状モデルF(後述の図32(a)を参照)をフィッティングさせるフィッティング処理を行う。なお、当該所定数のフィッティング関数は、肺野領域の境界に接する領域(とりわけ、肺尖部領域、横隔膜領域、心臓領域、及び、大動脈弓領域等)の境界部分が考慮されることが好ましい。これにより、不安定な精密抽出結果や抽出失敗した位置を精密抽出の結果から算出し補正を行うことが可能となる。
<2-1-6.
The
図32はフィッティング処理について説明する図であり、図32(a)は肺野領域のフィッティング関数の特徴を示す図であり、図32(b)は図31(c)で示される肺野領域RA0の輪郭部SM0に対してフィッティング処理が実施された結果を示す図である。 FIG. 32 is a diagram for explaining the fitting process, FIG. 32 (a) is a diagram showing characteristics of the lung field region fitting function, and FIG. 32 (b) is a lung field region RA0 shown in FIG. 31 (c). It is a figure which shows the result by which the fitting process was implemented with respect to this outline part SM0.
図32(a)で示されるように、上記の所定数のフィッティング関数がここでは13(=所定数)のフィッティング関数から形状モデルFを構成した例であり、肺野領域のような幾何学的形状においてもフィッティング関数f1〜f13を用いると、より近似的に表現することが可能となる。このように、形状モデルFは、曲線及び直線のみならず、スプライン曲線のように複数曲線で構成されてもよく、それぞれのフィッティング関数fの次数で表現される。 As shown in FIG. 32A, the above-mentioned predetermined number of fitting functions is an example in which the shape model F is constructed from 13 (= predetermined number) fitting functions, and a geometrical shape like a lung field region is shown. Even in the shape, if the fitting functions f1 to f13 are used, it can be expressed more approximately. As described above, the shape model F may be constituted by a plurality of curves such as a spline curve as well as a curve and a straight line, and is expressed by the order of each fitting function f.
具体的に、フィッティング関数fは、例えばX,Y座標系における多項式の関数で表現できる。多項式の関数とは、Xを変数とするY=aX^n+bX^(n-1)+…の式、またはYを変数とするX=aY^n+bY^(n-1)+…の式であり、係数a,b,….の最適な値を見つけることで、精密抽出画像IG2にフィッティングさせることができる。また、XとYとは同時変数とすることで楕円形の関数などにしてもよい。 Specifically, the fitting function f can be expressed by a polynomial function in an X, Y coordinate system, for example. The polynomial function is the equation Y = aX ^ n + bX ^ (n-1) + ... with X as a variable, or X = aY ^ n + bY ^ (n-1) + ... with Y as a variable. By finding the optimum values of the coefficients a, b,..., It is possible to fit the precision extracted image IG2. Further, X and Y may be an elliptical function by setting them as simultaneous variables.
そして、形状モデルFは、例えば、X、Yのどちらを変数とする関数であるか、この多項式の最大次数の値(上述の式ではnに相当する)、該当する関数は座標上のどの範囲に出現するか、といった情報で表現される。 The shape model F is, for example, a function having X or Y as a variable, the value of the maximum degree of this polynomial (corresponding to n in the above formula), and the corresponding function in which range on the coordinates It is expressed by information such as whether it appears in
また、実際にフィッティング関数fを算出するには、2値の領域情報やエッジに対し肺野領域の境界となる点をX=x1〜xnまで探索してゆくことで、(x1,y1),(x2,y2)…(xn,yn)の座標配列を取得し、この座標配列に最も近似する係数値a,b,….を見つけることで、関数を算出することができる。最も近似するとは、例えば最小二乗法などを使うことで、判断することができる。 Further, in order to actually calculate the fitting function f, (x1, y1), (x1, y1), A function can be calculated by obtaining a coordinate array of (x2, y2)... (xn, yn) and finding coefficient values a, b,. The closest approximation can be determined by using, for example, the least square method.
このように、後処理部150では、形状モデルFのフィッティング処理を行い、精密抽出画像IG2に形状モデルFを付した形状モデル付精密抽出画像IG3(図32(b)参照)を順次得る。図32(b)で示されるように、後処理部150の処理による形状モデル付精密抽出画像IG3は、精密抽出画像IG2の肺野領域RA0の輪郭部SM0(図31(c)参照)と比較して、肺野領域RAの輪郭部SM(図32(b)参照)が平滑化されている様子がわかる。この処理により、精度の安定化や抽出失敗の補正を行う。
As described above, the
<2−1−7.モデル情報制御部135>
モデル情報制御部135では、撮影情報取得部115にて取得した被写体固有情報(撮影情報)IOに基づいて、肺野領域の境界を示すモデル情報を決定するモデル情報決定処理を実施する(図2参照)。本実施形態にいうモデル情報とは、上述のテンプレートの種類等を指示する情報(以下、単に「テンプレート情報」と称する)TOおよび形状モデルF(図32参照)におけるフィッティング関数の総数(所定数)や次数等を指示する情報(以下、単に「形状モデル情報」または「形状モデル」と称する)FOであり、全体の肺形状、肺尖部形状、横隔膜形状、心臓の形状、大動脈弓の形状のうち少なくとも1つの形状が考慮される。
<2-1-7. Model
The model
ここで、モデル情報制御部135におけるモデル情報決定処理とは、テンプレート情報TOを決定する処理としては、(1)予め準備された複数種のテンプレートのうち、テンプレートマッチングに使用するテンプレートの種類を決定する処理であり、形状モデル情報FOを決定する処理としては、直近に決定された上記所定数のフィッティング関数に対し、(2)所定数のフィッティング関数のうち少なくとも1つの関数の次数を決定する処理と、(3)所定数の増減を決定する処理との2つがある。なお、取得画像が静止画像の場合は、予め定められた所定数のフィッティング関数に対し、(2)あるいは(3)の処理を行うことになる。
Here, the model information determination process in the model
<2−1−7−1.モデル情報決定処理(1)>
モデル情報決定処理(1)では、モデル情報制御部135におけるモデル選択部125(図2参照)が、データベース51に該被写体固有情報IOを入力し、データベース51が、該被写体固有情報IOの属性情報にマッチする種類の少なくとも1つのテンプレートを指示する情報であるテンプレート情報TOをモデル選択部125に出力した後、モデル選択部125が、該テンプレート情報TOを粗抽出決定部130に入力する。
<2-1-7-1. Model information determination process (1)>
In the model information determination process (1), the model selection unit 125 (see FIG. 2) in the model
そして、該テンプレート情報TOが入力された粗抽出決定部130では、該テンプレート情報(モデル情報)TOを用いてテンプレートマッチングを行うことで、フレーム画像IG0に対して粗抽出領域を決定し、粗抽出画像IG1を得る肺野領域抽出処理(所定部位抽出処理)を実施する。
Then, the rough
なお、被写体固有情報IOの属性情報にマッチするテンプレート情報TOが複数のテンプレートを指示する場合は、粗抽出決定部130は該当する(属性情報にマッチする)上記複数のテンプレート全てを用いてそれぞれテンプレートマッチング処理を行い、粗抽出領域をそれぞれ仮決定する。そして、粗抽出決定部130が、テンプレート情報TOで指示される複数のテンプレート毎に決定した複数の粗抽出領域の中から、予め定められた判断基準に従い被写体Mに最も適合すると判断された粗抽出領域を粗抽出画像IG1として精密抽出決定部140に出力する。
When the template information TO matching the attribute information of the subject unique information IO indicates a plurality of templates, the rough
また、テンプレート情報TOが指示するテンプレートが複数存在する場合、予め定められた判断基準を用いることなく、上記複数のテンプレートのうち単純に任意の1つのテンプレートのみを用いてテンプレートマッチング処理を行っても良い。 Further, when there are a plurality of templates indicated by the template information TO, the template matching process may be performed using only one arbitrary template among the plurality of templates without using a predetermined criterion. good.
具体的に、例えば、撮影情報取得部115が被写体固有情報IOとして「性別・年齢・胸囲」に相当する「男性・30代・90cm代」の情報を取得した場合について説明すると、データベース51が「男性・30代・90cm代」の属性情報が付与された少なくとも1つのテンプレートを検索し、少なくとも1つの検索結果からなるテンプレート情報TOをモデル選択部125に出力する。このテンプレート情報TOがテンプレートマッチングに使用するテンプレートの種類を指示する情報となる。そして、モデル選択部125から該テンプレート情報TOが入力された粗抽出決定部130では、該テンプレート情報TOで指示されるテンプレート毎にテンプレートマッチング処理を行い、各々仮決定した粗抽出領域の中から、前述した判断基準に従い被写体Mに最も適合すると判断された粗抽出領域を粗抽出画像IG1として精密抽出決定部140に出力する。
Specifically, for example, a case where the photographing
このように、モデル情報制御部135と情報蓄積装置5(データベース51)とが連動することにより、被写体固有情報IOに基づいてテンプレート情報TOを決定するモデル情報決定処理を実行している。
As described above, the model
<2−1−7−2.モデル情報決定処理(2)及び(3)>
一方、モデル情報決定処理の(2)及び(3)の処理では、モデル情報制御部135が、該被写体固有情報IOに基づいて形状モデルFの形状を変更し形状モデル情報FOを決定する。なお、形状モデルFは予め設定された初期状態から、モデル決定処理(2)及び(3)により順次変更されていく。すなわち、モデル情報決定処理(2)及び(3)は直近に決定された形状モデルFに対して行われる。そして、モデル情報制御部135が、該形状モデル情報FOを後処理部150に入力した後、後処理部150が、該形状モデル情報FOに基づいて上述のフィッティング処理を行うことで、フレーム画像IG0から肺野領域を抽出する肺野領域抽出処理(具体的には、精密抽出画像IG2に形状モデルFOを付した形状モデル付精密抽出画像IG3を得る処理)を実施する。
<2-1-7-2. Model information determination process (2) and (3)>
On the other hand, in the processes (2) and (3) of the model information determination process, the model
ただし、モデル情報決定処理の(2)及び(3)の処理では形状モデルFの変更する手法が異なる。以下、前述の被写体固有情報IOが「性別」である場合を例に説明する。図5(a)で示される女性の場合は、肋横角付近W1,W2に虚偽の線L1,L2が入る傾向にあるため、粗抽出処理や精密抽出処理では正確にエッジが検出されない可能性がある。そのため、後処理部150のフィッティング処理においても、虚偽の線L1,L2に依存して形状モデルFが決定されることになり、フィッティング関数の数が、例えば、通常より“2”少ない“11”で決定されることもあり得る。そこで、モデル情報決定処理の(3)の処理を用いて、フィッティング関数の数を“11”から“13”に増やす処理を行う。そして、フィッティング関数を“2”追加してもなお、肋横角付近W1,W2の形状を表現しきれていない場合には、モデル情報決定処理の(2)の処理を用いて、肋横角付近W1,W2のフィッティング関数の次数の調整を行うことで、形状モデルFO決定することになる。
However, the method of changing the shape model F is different between the processes (2) and (3) of the model information determination process. Hereinafter, a case where the subject specific information IO is “sex” will be described as an example. In the case of the woman shown in FIG. 5 (a), false lines L1 and L2 tend to enter W1 and W2 in the vicinity of the heel lateral angle, so that the edge may not be accurately detected by the rough extraction process or the precise extraction process. There is. Therefore, also in the fitting process of the
このように、粗抽出処理や精密抽出処理にて表現しきれなかった抽出境界(通常と異なった形状に見える抽出境界)であっても、適切にフィッティング関数(形状モデルFO)を決定することにより抽出精度の向上が図れる。 As described above, by appropriately determining a fitting function (shape model FO) even for an extraction boundary (extraction boundary that looks different from a normal shape) that could not be expressed by rough extraction processing or precise extraction processing. The extraction accuracy can be improved.
<2−1−8.粗抽出処理内容制御部160>
粗抽出処理内容制御部160では、肺野領域の少なくとも一部の動き量を考慮して、第i(2≦i≦nの何れかの整数)の粗抽出領域の決定に関し、前述の粗抽出処理内容を変更することにより、粗抽出決定部130を制御可能である。
<2-1-8. Coarse Extraction Processing
The rough extraction processing
粗抽出処理内容制御部160が制御可能な粗抽出処理内容は、例えば、第iのテンプレートを第(i−1)の精密抽出領域(すなわち、第(i−1)の精密抽出画像IG3における肺野領域RA)の一部領域(例えば、肺尖部、大動脈弓、横隔膜、心臓等)を用いて設定する処理内容である。
The rough extraction processing content that can be controlled by the rough extraction processing
すなわち、粗抽出処理内容制御部160は、第iのテンプレートのうち該一部領域のテンプレートに関しては、第(i−1)の精密抽出画像IG3の一部である該一部領域を用い(後述の図33(c)参照)、該一部領域以外のテンプレートに関しては、第1のテンプレートと同じテンプレートを用いるように粗抽出決定部130に指令を与える。
That is, the rough extraction processing
<2−1−9.対象部位抽出部170>
対象部位抽出部170では、後処理部150において後処理を実施した第1の精密抽出画像IG3(1)〜第nの精密抽出画像IG3(n)から肺野領域RAを抽出し、記憶部32へ記憶する。
<2-1-9. Target
The target
<2−2.画像処理装置3の基本動作>
図34は、第1実施形態に係る画像処理装置3において実現される基本動作を説明するフローチャートであり、図33は、横隔膜領域に対する抽出処理の流れを示す概念図である。既に各部の個別機能の説明は行ったため(図2参照)、ここでは全体の流れのみ説明する。
<2-2. Basic Operation of
FIG. 34 is a flowchart for explaining a basic operation realized in the
図31に示すように、まず、ステップS11において、制御部31の画像取得部110が、撮像装置1の読取制御装置14によって撮影された動画像を、撮影制御装置2を介して取得する。そして、ステップS12では、画像補正部120が、ステップS11において取得された動画像における第1のフレーム画像G0に対して、強調処理による画像補正を実施することで、第1のフレーム画像IG0を生成し、粗抽出決定部130に出力する(図7及び図33(a)参照)。
As shown in FIG. 31, first, in step S <b> 11, the
ステップS11,S12と並行して、ステップS21,S22が実施される。すなわち、ステップS21では、制御部31の撮影情報(被写体固有情報)取得部115が、情報蓄積装置4のカルテ情報記憶部41から被写体固有情報IOを取得し、モデル情報制御部135におけるモデル選択部125に入力する。
In parallel with steps S11 and S12, steps S21 and S22 are performed. That is, in
ステップS22では、ステップS21において入力された被写体固有情報IOに基づいて、モデル情報制御部135が上記(1)のモデル情報決定処理を実施する。
In step S22, the model
ステップS3では、粗抽出決定部130が、ステップS12において補正されたフレーム画像IG0に対して、ステップS22において入力されたテンプレート情報TOを用いてテンプレートマッチングを行い(例えば、横隔膜領域の場合は図33(b)参照)、粗抽出領域(初期値)を決定し、粗抽出画像IG1を精密抽出決定部140に出力する(図11参照)。なお、該テンプレート情報TOが複数存在する場合は、該テンプレート情報TOで指示されるテンプレート毎にテンプレートマッチング処理を行い、各々仮決定した粗抽出領域の中から、前述した判断基準に従い被写体Mに最も適合すると判断された粗抽出領域を粗抽出画像IG1として精密抽出決定部140に出力する。
In step S3, the rough
このように、ステップS3においては、第1の粗抽出領域を決定する際には、第1のフレーム画像IG0(1)に対して、データベース51に既存の第1のテンプレート(予め生成されたテンプレート)を用いてテンプレートマッチングを行う。
Thus, in step S3, when the first rough extraction region is determined, the first template existing in the database 51 (the template generated in advance) is stored in the
そして、粗抽出決定部130が行う第1の粗抽出領域(初期値)の決定は、各回ごとのテンプレートマッチングの結果に加え、初期値設定を行うための前処理の結果(図29(e)の相関分布図参照)をも考慮して行う(図30(f)参照)。
Then, the determination of the first rough extraction region (initial value) performed by the rough
ステップS4では、精密抽出決定部140が、ステップS3において決定された初期値を用いて、精密抽出領域(肺野領域RA)を決定し、精密抽出画像IG2を後処理部150に出力する(図31(c)参照)。
In step S4, the precise
ステップS5では、モデル情報制御部135が、被写体固有情報IOに基づいて形状モデルFの形状を変更し形状モデル情報FOを決定し、上記の(2)及び(3)のモデル情報決定処理により決定された形状モデル情報FOを後処理部150に入力する。そして、後処理部150が、ステップS4において決定された精密抽出画像IG2における肺野領域RA0の輪郭部SM0に対して、該形状モデル情報FOに基づいてフィッティング処理(後処理)を実施し、精密抽出画像IG3を生成する(図32(b)参照)。
In step S5, the model
ステップS6では、対象部位抽出部170が、ステップS5において後処理された精密抽出画像IG3の肺野領域RAを対象領域として抽出し、記憶部32へ記憶する。
In step S <b> 6, the target
ステップS7では、制御部31が、全てのフレーム画像において肺野領域RAを抽出したか否かを判定し、未処理がある場合にはステップS8に移り、未処理がない場合には本動作フローが終了される。
In step S7, the
ステップS8では、粗抽出処理内容制御部160が、第2のテンプレートの設定において、第2のテンプレートのうち横隔膜テンプレートに関しては、第1の精密抽出画像IG3の一部領域を用い(図33(c)参照)、該一部領域以外のテンプレートに関しては、第1のテンプレートと同じテンプレートを用いるように粗抽出決定部130に指令を与え、ステップS3に移る。
In step S8, the rough extraction processing
そして、ステップS3においては、第2の粗抽出領域を決定する際には、第2のフレーム画像IG0(1)に対して、第1の精密抽出画像IG3の一部を用いて、粗抽出処理内容制御部160にて作成された第2のテンプレートを用いてテンプレートマッチングを行う。
In step S3, when the second rough extraction region is determined, a rough extraction process is performed using a part of the first fine extraction image IG3 for the second frame image IG0 (1). Template matching is performed using the second template created by the
このように、第1のフレーム画像IG0に対して、ステップS3〜ステップS8を終えた後、第2のフレーム画像IG0に対して、ステップS3〜ステップS8を行うという具合に、ステップS3〜ステップS8のループが1,2,・・・,nの順で繰り返され、最終的に第nのフレーム画像IG0の処理に対してまで行われる。 As described above, after completing Step S3 to Step S8 for the first frame image IG0, Step S3 to Step S8 are performed for the second frame image IG0. Are repeated in the order of 1, 2,..., N, and the process is finally performed for the processing of the nth frame image IG0.
但し、第2の粗抽出領域以降の第i(i≧2の何れか)の粗抽出領域を決定する際には、第iのフレーム画像IG0(i)に対して、第iのテンプレートを用いてテンプレートマッチングを行う。第1のテンプレートとしては、予め準備されたテンプレートを用い、第i(i≧2)のテンプレートにおいては、第(i−1)の精密抽出画像IG3の一部を用いる。 However, when determining the i th (any of i ≧ 2) rough extraction areas after the second rough extraction area, the i th template is used for the i th frame image IG0 (i). Template matching. A template prepared in advance is used as the first template, and a part of the (i-1) -th precision extraction image IG3 is used in the i-th (i ≧ 2) template.
このように、全てのフレーム画像IG0において肺野領域RAを抽出するまで、ステップS3〜ステップS8の工程が繰り返され、全てのフレーム画像IG0において肺野領域を抽出した後、本動作フローが終了される。 As described above, the steps S3 to S8 are repeated until the lung field region RA is extracted from all the frame images IG0. After the lung field regions are extracted from all the frame images IG0, this operation flow is ended. The
以上のように第1実施形態に係る画像処理装置3では、放射線撮影前に予め入力された被写体Mに関する情報である撮影情報(被写体固有情報)IOに基づいて、肺野領域の境界を示すモデル情報を決定し、該モデル情報に基づいて、医用画像(フレーム画像IG0)から肺野領域を抽出する肺野領域抽出処理を実施する。これにより、撮影情報IOに応じた最適なモデル情報を決定することが可能となる。このため、通常と異なる撮影状況(例えば、図5(a)で示されるように通常と異なった形状に見える抽出境界など)であっても、安定的且つ高速に肺野領域の抽出精度の向上を実現する。
As described above, in the
また、医用画像が動画像に含まれるフレーム画像IG0であるため、最初の段階(第1のフレーム画像IG0)で精度の良いモデル情報を決定することができる。このため、該モデル情報(例えば、第1の精密抽出画像IG3の一部)を用いることで、時間方向においても安定して肺野領域抽出処理を実施することが可能となる。 In addition, since the medical image is the frame image IG0 included in the moving image, accurate model information can be determined in the first stage (first frame image IG0). For this reason, by using the model information (for example, a part of the first precise extraction image IG3), it is possible to stably perform the lung field region extraction processing in the time direction.
また、肺野領域抽出処理は、フレーム画像IG0に対してテンプレート情報TOを用いてテンプレートマッチングを行い、肺野領域を含む領域を粗く抽出し粗抽出領域を決定する粗抽出処理と、該粗抽出領域に基づく領域に対して、肺野領域の境界を近似する所定数のフィッティング関数で表現された形状モデルFOをフィッティングさせるフィッティング処理と、を含み、モデル情報は、テンプレート情報TOおよび形状モデル情報FOであることにより、テンプレートマッチング精度及びフィッティング精度が向上する。このため、撮影情報IOに対応して、より安定的に肺野領域の抽出精度の向上を実現することが可能となる。 The lung field extraction process performs template matching on the frame image IG0 using the template information TO, roughly extracts a region including the lung field and determines a rough extraction region, and the rough extraction. And a fitting process for fitting a shape model FO expressed by a predetermined number of fitting functions that approximate the boundary of the lung field region to the region based on the region, and the model information includes template information TO and shape model information FO As a result, the template matching accuracy and the fitting accuracy are improved. For this reason, it is possible to more stably improve the extraction accuracy of the lung field region corresponding to the imaging information IO.
また、撮影情報は、被写体Mの固有の情報を示す被写体固有情報IOであることにより、該被写体固有情報IOを考慮してテンプレート情報TOおよび形状モデル情報FO(モデル情報)を効率的に決定することができる。これにより、テンプレートマッチング精度及びフィッティング精度が向上するため、肺野領域の抽出精度がより向上する。 Further, since the shooting information is subject unique information IO indicating information unique to the subject M, the template information TO and the shape model information FO (model information) are efficiently determined in consideration of the subject unique information IO. be able to. Thereby, since the template matching accuracy and the fitting accuracy are improved, the extraction accuracy of the lung field region is further improved.
また、被写体固有情報IOは、性別、年齢、胸囲、体重、身長、肺活量のうち少なくとも何れか1つの情報を含むことにより、これらの情報のうち少なくとも何れか1つの情報を考慮してモデル情報(テンプレート情報TOおよび形状モデル情報FO)を効率的に決定することができる。これにより、テンプレートマッチング精度及びフィッティング精度が向上するため、より安定的且つ高速に所定部位の抽出精度の向上を実現する。 In addition, the subject-specific information IO includes at least one information among gender, age, chest circumference, weight, height, and vital capacity, so that model information ( Template information TO and shape model information FO) can be determined efficiently. Thereby, since the template matching accuracy and the fitting accuracy are improved, the extraction accuracy of the predetermined part is improved more stably and at high speed.
また、モデル情報決定処理は、予め準備された複数種のテンプレートのうち、テンプレートマッチングに使用するテンプレートの種類を決定する処理と、所定数のフィッティング関数のうち少なくとも1つの関数の次数を決定する処理と、所定数の増減を決定する処理と、を含むことにより、肺野領域の形状が複雑な場合においても、肺野領域の境界をより近似的に表現したモデル情報(テンプレート情報TOおよび形状モデル情報FO)を決定することが可能となる。このため、より安定的に肺野領域の抽出精度の向上を実現することが可能となる。 The model information determination process includes a process for determining a template type used for template matching among a plurality of types of templates prepared in advance, and a process for determining the order of at least one function among a predetermined number of fitting functions. And a process for determining a predetermined number of increases / decreases, even when the shape of the lung field region is complicated, model information (template information TO and shape model) that more closely represents the boundary of the lung field region Information FO) can be determined. For this reason, it becomes possible to improve the extraction accuracy of the lung field region more stably.
さらに、抽出する所定部位が肺野領域であることにより、肺野領域の抽出精度の向上を実現することが可能となる。また、モデル情報(テンプレート情報TOおよび形状モデル情報FO)は、全体の肺形状、肺尖部形状、横隔膜形状、心臓の形状、大動脈弓の形状のうち少なくとも1つの形状が考慮されることにより、肺野領域においてより適切なテンプレート情報TOおよび形状モデル情報FOを決定することができる。これにより、より安定的に肺野領域の抽出精度の向上を実現する。 Furthermore, since the predetermined part to be extracted is the lung field region, it is possible to improve the extraction accuracy of the lung field region. In addition, the model information (template information TO and shape model information FO) takes into account at least one of the overall lung shape, lung apex shape, diaphragm shape, heart shape, and aortic arch shape, More appropriate template information TO and shape model information FO can be determined in the lung field region. As a result, the lung field region extraction accuracy can be improved more stably.
<3.第2実施形態>
図35は、本発明の第2実施形態として構成された画像処理装置3A(図1参照)で用いられる制御部31Aの機能構成を示す図である。この制御部31Aは、第1実施形態の画像処理装置3における制御部31(図2参照)の代替として使用される。第1実施形態と異なる点は、撮影情報(被写体固有情報)取得部115が撮影情報(被写体状態情報)取得部115Aに置換されることにより、情報蓄積装置4Aのカルテ情報記憶部41A、情報蓄積装置5Aのデータベース(テンプレート記憶部)51A、モデル選択部125A、モデル情報制御部135Aが変更される点である。なお、残余の構成は画像処理装置3と同様である。
<3. Second Embodiment>
FIG. 35 is a diagram showing a functional configuration of a
<3−1.撮影情報取得部115A、カルテ情報記憶部41A>
撮影情報(被写体状態情報)取得部115Aでは、放射線撮影前に予め入力された被写体Mに関する情報である撮影情報を、情報蓄積装置4Aにおけるカルテ情報記憶部41Aから取得する(図35参照)。本実施形態におけるカルテ情報記憶部41Aに記憶された撮影情報とは、被写体Mの過去及び現在の状態を示す被写体状態情報IS(図35参照)を指し、具体的に被写体状態情報ISとは、手術歴、病歴、過去の撮影時の情報、体の状態、診断対象、問診による判定結果、喫煙歴等のうち少なくとも何れか1つの情報を指す。
<3-1. Imaging
The imaging information (subject state information)
そして、撮影情報取得部115Aは、該被写体状態情報ISをモデル情報制御部135Aにおけるモデル選択部125Aに入力する。
The photographing
以下では、カルテ情報記憶部41Aに格納された被写体固有情報ISについて具体的に説明する。図36は被写体状態情報ISを説明するためのフレーム画像IG0を例示する図であり、手術歴(図36(a)〜(c)参照)や病歴(図36(d)〜(f)参照)によって肺野の状態や形状が異なることを例示する模式図である。
Hereinafter, the subject unique information IS stored in the medical chart
<3−1−1.手術歴情報(肺切除有無、ペースメーカ有無)>
図36(a)〜(c)では、手術歴のある被写体の肺野形状を例示している。図36(a)及び図36(b)では、肺切除術により通常の右肺野領域の下半分の領域P1(図36(a)参照)及び上半分の領域P2(図36(b)参照)がそれぞれ切除されている。肺切除術には、切除範囲の広いものから順に肺全摘術・肺葉切除術・肺区域切除術・肺部分切除術に分けられるため、肺切除場所の情報は、手術方法から決定することも可能である(例えば、岐阜大学がんセンター、“がん治療について”[平成24年6月25日(月)検索]、インターネット<URL:http://hosp.gifu-u.ac.jp/center/gan/about/lungs.html>等参照)。
<3-1-1. Surgery history information (with or without lung resection, with or without pacemaker)>
36A to 36C illustrate the lung field shape of a subject with a history of surgery. 36 (a) and 36 (b), the lower half region P1 (see FIG. 36 (a)) and the upper half region P2 (see FIG. 36 (b)) of the normal right lung field region are obtained by pneumonectomy. ) Have been excised. Pulmonary resection can be divided into total pneumonectomy, lobectomy, pulmonary segmental resection, and partial pulmonary resection in order from the wide resection range, so the information on the pulmonary resection location can also be determined from the surgical method (For example, Gifu University Cancer Center, “Cancer Treatment” [Monday, June 25, 2012 search], Internet <URL: http://hosp.gifu-u.ac.jp/center /gan/about/lungs.html> etc.)
図36(c)では、左肺野領域の上側領域P3にペースメーカが埋め込まれている。 In FIG. 36 (c), a pacemaker is embedded in the upper region P3 of the left lung field region.
このように、被写体状態情報取得部115Aでは、肺野領域のどの位置を切除しているのか、何処にペースメーカがあるのか、などの情報を取得することが好ましい。
As described above, the subject state
<3−1−2.病歴情報(疾患の有無)>
図36(d)〜(f)では、現在の病気も含む病歴をもつ被写体Mの肺野形状を例示している。図36(d)では、領域P4,P5に“もや”が入っており、図36(e)では、領域P6に影が入っている様子が見て取れる。何れも病気に起因して生じる現象であり、これによりエッジが不鮮明になるため、肺野領域を正確に抽出できない。
<3-1-2. Medical history information (presence or absence of disease)>
36D to 36F illustrate the lung field shape of the subject M having a medical history including the current disease. In FIG. 36D, “haze” is included in the areas P4 and P5, and in FIG. 36E, it can be seen that a shadow is included in the area P6. Both of these phenomena are caused by illness, and the edges become unclear, so that the lung field region cannot be accurately extracted.
図36(f)では、被写体Mが心肥大を患っているため領域P7の左肺野形状が健常者と比較して異なる。すなわち、健常者の場合は領域P7において、上述のフィッティング関数f7,f8(図32参照)のように2つの関数に明瞭に分けられるが、心肥大を患っている被験者Mの場合は、1つの関数で形状を表現できる点で異なる。 In FIG. 36 (f), since the subject M suffers from cardiac hypertrophy, the shape of the left lung field in the region P7 is different from that of a healthy person. That is, in the case of a healthy person, in the region P7, it can be clearly divided into two functions like the above-described fitting functions f7 and f8 (see FIG. 32), but in the case of the subject M suffering from cardiac hypertrophy, there is one It differs in that the shape can be expressed with a function.
ここで、病歴情報は、現状かかっている疾患(肺がん、肺炎、心肥大、COPD、肺塞栓など)情報のほか、過去の撮影時の情報から決定可能である。 Here, the medical history information can be determined from information at the time of past imaging in addition to information on diseases (lung cancer, pneumonia, cardiac hypertrophy, COPD, pulmonary embolism, etc.) that are currently affected.
このように、被写体状態情報取得部115Aでは、肺野領域の疾患の有無情報などを取得することが好ましい。
As described above, it is preferable that the subject state
<3−1−3.その他の情報>
被写体状態情報取得部115Aでは、上記以外の情報として、過去の撮影時の情報、空腹の有無といった体の状態を示す情報、診断対象に関する情報、問診による判定結果、喫煙歴等の情報をも取得可能である。
<3-1-3. Other information>
In addition to the above information, the subject state
例えば、過去の撮影時の情報に関しては、以前に撮影したフレーム画像IG0(G0)の情報を基に、肺野の形状や状態を推定することができる。具体的には、対象病気の程度(重度・軽度など)に応じて肺野の形状や状態を推定可能である。このため、過去の撮影時の情報も肺野の形状や状態の推定に考慮することが好ましい。 For example, regarding information at the time of past imaging, the shape and state of the lung field can be estimated based on the information of the previously captured frame image IG0 (G0). Specifically, the shape and state of the lung field can be estimated according to the degree of the target disease (severe, mild, etc.). For this reason, it is preferable to consider information at the time of past imaging in estimating the shape and state of the lung field.
体の状態(空腹の有無)に関しては、食後の場合は、胃が大きくなり、その他の臓器を圧迫することから、空腹時と比較して肺野の形状も小さくなる傾向にある。このため、空腹の有無も肺野形状の推定に考慮することが好ましい。 Regarding the state of the body (presence or absence of hunger), after eating, the stomach becomes larger and the other organs are compressed, so the shape of the lung field tends to be smaller than when fasting. For this reason, it is preferable to consider the presence or absence of hunger in the estimation of the lung field shape.
診断対象、問診による判定結果に関しては、例えば、上記の肺がん、肺炎、心肥大、COPD、肺塞栓などの疑いがある場合は肺野の形状や状態が異なる。このため、診断対象、問診による判定結果も肺野の形状や状態の推定に考慮することが好ましい。 With regard to the diagnosis target and the determination result by the inquiry, for example, when there is a suspicion of the above-mentioned lung cancer, pneumonia, cardiac hypertrophy, COPD, pulmonary embolism, the shape and state of the lung field are different. For this reason, it is preferable to consider the diagnosis target and the determination result based on the inquiry in estimating the shape and state of the lung field.
喫煙歴に関しては、喫煙の影響で被験者Mが肺気腫や気管支拡張症という病気を患うと、フレーム画像IG0(G0)に異常所見として出現する。肺気腫の場合は肺が正常より黒っぽく写り、気管支拡張症の場合は、相対的に気管支や血管の影が目立つようになることから、喫煙歴等も考慮することが好ましい。 Regarding the smoking history, when subject M suffers from diseases such as emphysema and bronchiectasis due to the influence of smoking, it appears as an abnormal finding in frame image IG0 (G0). In the case of emphysema, the lungs appear darker than normal, and in the case of bronchiectasis, the shadows of bronchi and blood vessels become relatively conspicuous, so it is preferable to consider smoking history and the like.
<3−2.データベース51A>
また、データベース(テンプレート記憶部)51Aでは、本実施形態に係るテンプレートが被写体状態情報ISに基づいてグループ分けされて格納されている。すなわち、上述の被写体状態情報取得部115Aにて取得される被写体状態情報ISを考慮したテンプレートが予め準備され、各テンプレートには、手術歴、病歴、過去の撮影時の情報、体の状態、診断対象、問診による判定結果、喫煙歴等に関係する情報を示す属性情報が予め付されてグループ別にデータベース51Aに格納されている。
<3-2.
Further, in the database (template storage unit) 51A, the templates according to the present embodiment are stored in groups based on the subject state information IS. That is, templates that take into account the subject state information IS acquired by the subject state
例えば、被写体状態情報ISが「手術歴情報」の場合については、手術歴を基に作成したテンプレートを準備する。前述の図36の例で説明すると、図36(a)を表現するテンプレートには「右肺下切除有」という属性が予め付され、図36(b)を表現するテンプレートには「右肺上切除有」という属性が予め付されてデータベース51Aにそれぞれグループ別に格納されている。また、図36(c)で示されるようにペースメーカが肺野領域の一部に埋め込まれた場合には、ペースメーカにより肺野の一部の領域が欠如したテンプレートを複数準備し、該テンプレートに「左肺上ペースメーカ有」等という属性を付してデータベース51Aに格納することが好ましい。また、ペースメーカのみの形状を表現するテンプレートを準備し、「ペースメーカ形状」等という属性を付してデータベース51Aに格納することも可能である。
For example, when the subject state information IS is “surgical history information”, a template created based on the surgical history is prepared. In the example of FIG. 36 described above, the template representing FIG. 36A is pre-assigned with the attribute “with right lung resection”, and the template representing FIG. The attribute “with excision” is assigned in advance and stored in the
また、被写体状態情報ISが「病歴情報」の場合については、過去の撮影時の情報や同じ病歴を持つ患者等により肺野形状が共通するため、病歴を基に作成したテンプレートを準備する。グループ分けとしては、病歴情報(肺がん、肺炎、心肥大、COPD、肺塞栓等)により用意することが好ましい。この際、「肺がん」「肺炎」「心肥大」「COPD」「肺塞栓」などの属性が予め付されてデータベース51Aにそれぞれグループ別に格納されている。
In addition, when the subject state information IS is “medical history information”, a template created based on the medical history is prepared because the lung field shape is common among information at the time of past imaging, patients with the same medical history, and the like. The grouping is preferably prepared based on medical history information (lung cancer, pneumonia, cardiac hypertrophy, COPD, pulmonary embolism, etc.). At this time, attributes such as “lung cancer”, “pneumonia”, “cardiac hypertrophy”, “COPD”, and “pulmonary embolism” are added in advance and stored in the
また、被写体状態情報ISが「過去の撮影時の情報」の場合についても、以前に撮影された情報を基に作成したテンプレートを準備する。グループ分けとしては、例えば、対象の病気の重度から軽度までを用意し、前回の状態の疾患ありのテンプレート、病気が改善しているテンプレートなどを複数用意することが好ましい。この際、「疾患有・重度」「疾患有・軽度」「病気改善」などの属性が予め付されてデータベース51Aにそれぞれグループ別に格納されている。
Also, when the subject state information IS is “information at the time of past photographing”, a template created based on previously photographed information is prepared. As the grouping, for example, it is preferable to prepare from severe to mild of the target disease, and to prepare a plurality of templates with the disease in the previous state, templates with improved disease, and the like. At this time, attributes such as “disease presence / severity”, “disease presence / mildness”, “disease improvement”, etc. are assigned in advance and stored in the
また、被写体状態情報ISが「体の状態情報」の場合については、例えば、空腹の有無などを基に作成したテンプレートを準備する。グループ分けとしては、例えば、食後の経過時間毎に複数のテンプレートを用意することが好ましい。この際、「食後1時間」「空腹」などの属性が予め付されてデータベース51Aにそれぞれグループ別に格納されている。
When the subject state information IS is “body state information”, for example, a template created based on the presence or absence of hunger is prepared. As grouping, for example, it is preferable to prepare a plurality of templates for each elapsed time after eating. At this time, attributes such as “1 hour after meal” and “hungry” are assigned in advance and stored in the
また、被写体状態情報ISが「診断対象情報」「問診による判定結果」の場合については、ターゲット(対象の病気、問診)を基に作成したテンプレートを準備する。グループ分けと属性付与とについては、被写体状態情報ISが「病歴」の場合と同様に行う。 When the subject state information IS is “diagnosis target information” or “judgment result by inquiry”, a template created based on the target (target disease, inquiry) is prepared. Grouping and attribute assignment are performed in the same manner as when the subject state information IS is “medical history”.
さらに、被写体状態情報ISが「喫煙歴」の場合については、喫煙歴を基に作成したテンプレートを準備する。グループ分けとしては、例えば、喫煙中、喫煙歴無し、禁煙中等のテンプレートを用意することが好ましい。この際、「喫煙中」「喫煙歴無」「禁煙中」などの属性が予め付されてデータベース51Aにそれぞれグループ別に格納されている。
Further, when the subject state information IS is “smoking history”, a template created based on the smoking history is prepared. As grouping, for example, it is preferable to prepare templates such as during smoking, no smoking history, and during smoking cessation. At this time, attributes such as “smoking”, “no smoking history”, and “no smoking” are assigned in advance and stored in the
以上のように、データベース51Aには、手術歴、病歴、過去の撮影時の情報、体の状態、診断対象、問診による判定結果、喫煙歴等の複数のファクタによる属性情報が付与されたテンプレートがそれぞれのグループ毎に格納されている。なお、上記では属性を個別に説明したが、各テンプレートには複数の属性が付与されてもよい。
As described above, in the
<3−3.モデル情報制御部135A、モデル選択部125A>
モデル情報制御部135Aでは、被写体状態取得部115Aにて取得した被写体状態情報(撮影情報)ISに基づいて、肺野領域の境界を示すモデル情報を決定するモデル情報決定処理を実施する(図35参照)。本実施形態にいうモデル情報とは、上述のテンプレート情報TSおよび形状モデル情報FSであり、全体の肺形状、肺尖部形状、横隔膜形状、心臓の形状、大動脈弓の形状のうち少なくとも1つの形状が考慮される。
<3-3. Model
The model
ここで、モデル情報制御部135Aにおけるモデル情報決定処理とは、テンプレート情報TSを決定する処理としては、(1a)予め準備された複数種のテンプレートのうち、テンプレートマッチングに使用するテンプレートの種類を決定する処理であり、形状モデル情報FSを決定する処理としては、直近に決定された上記所定数のフィッティング関数に対し、(2a)所定数のフィッティング関数のうち少なくとも1つの関数の次数を決定する処理と、(3a)所定数の増減を決定する処理との2つがある。なお、取得画像が静止画像の場合は、予め定められた所定数のフィッティング関数に対し、(2a)あるいは(3a)の処理を行うことになる。
Here, the model information determination process in the model
<3−3−1.モデル情報決定処理(1a)>
モデル情報決定処理の(1a)の処理では、モデル情報制御部135Aにおけるモデル選択部125A(図35参照)が、データベース51Aに該被写体状態情報ISを入力し、データベース51Aが、該被写体状態情報ISの属性情報にマッチする種類の少なくとも1つのテンプレートを指示する情報であるテンプレート情報TSをモデル選択部125Aに出力した後、モデル選択部125Aが、該テンプレート情報TSを粗抽出決定部130に入力する。
<3-3-1. Model Information Determination Process (1a)>
In the process (1a) of the model information determination process, the
そして、該テンプレート情報TSが入力された粗抽出決定部130では、該テンプレート情報(モデル情報)TSを用いてテンプレートマッチングを行うことで、フレーム画像IG0に対して粗抽出領域を決定し、粗抽出画像IG1を得る肺野領域抽出処理を実施する。
Then, the rough
なお、被写体状態情報ISの属性情報にマッチするテンプレート情報TSが複数のテンプレートを指示する場合は、粗抽出決定部130は該当する(属性情報にマッチする)上記複数のテンプレート全てを用いてそれぞれテンプレートマッチング処理を行い、粗抽出領域をそれぞれ仮決定する。そして、粗抽出決定部130が、テンプレート情報TSで指示される複数のテンプレート毎に決定した複数の粗抽出領域の中から、予め定められた判断基準に従い被写体Mに最も適合すると判断された粗抽出領域を粗抽出画像IG1として精密抽出決定部140に出力する。
When the template information TS matching the attribute information of the subject state information IS indicates a plurality of templates, the rough
また、テンプレート情報TSが指示するテンプレートが複数存在する場合、予め定められた判断基準を用いることなく、上記複数のテンプレートのうち単純に任意の1つのテンプレートのみを用いてテンプレートマッチング処理を行っても良い。 Further, when there are a plurality of templates designated by the template information TS, template matching processing may be performed using only one arbitrary template among the plurality of templates without using a predetermined criterion. good.
具体的に、例えば、撮影情報取得部115Aが被写体状態情報ISとして「手術歴・病歴・体の状態」に相当する「右肺下切除有・肺がん・空腹」の情報を取得した場合について説明すると、データベース51Aが「右肺下切除有・肺がん・空腹」の属性情報が付与された少なくとも1つのテンプレートを検索し、少なくとも1つの検索結果からなるテンプレート情報TSをモデル選択部125Aに出力する。このテンプレート情報TSがテンプレートマッチングに使用するテンプレートの種類を指示する情報となる。そして、モデル選択部125から該テンプレート情報TSが入力された粗抽出決定部130では、該テンプレート情報TSで指示されるテンプレート毎にテンプレートマッチング処理を行い、各々仮決定した粗抽出領域の中から、前述した判断基準に従い被写体Mに最も適合すると判断された粗抽出領域を粗抽出画像IG1として精密抽出決定部140に出力する。
Specifically, for example, the case where the imaging
このように、モデル情報制御部135Aと情報蓄積装置5A(データベース51A)とが連動することにより、被写体状態情報ISに基づいてテンプレート情報TSを決定するモデル情報決定処理を実行している。
As described above, the model
<3−3−2.モデル情報決定処理(2a)及び(3a)>
一方、モデル情報決定処理の(2a)及び(3a)の処理では、モデル情報制御部135Aが、被写体状態情報ISに基づいて形状モデルFの形状を変更し形状モデル情報FSを決定する。なお、形状モデルFは予め設定された初期状態から、モデル決定処理(2a)及び(3a)により順次変更されていく。すなわち、モデル情報決定処理(2a)及び(3a)は直近に決定された形状モデルFに対して行われる。
<3-3-2. Model information determination processing (2a) and (3a)>
On the other hand, in the process (2a) and (3a) of the model information determination process, the model
そして、モデル情報制御部135Aが、該形状モデル情報FSを後処理部150に入力した後、後処理部150が、該形状モデル情報FSに基づいて上述のフィッティング処理を行うことで、フレーム画像IG0から肺野領域を抽出する肺野領域抽出処理(具体的には、精密抽出画像IG2に形状モデルFSを付した形状モデル付精密抽出画像IG3を得る処理)を実施する。
Then, after the model
ただし、モデル情報決定処理の(2a)及び(3a)の処理では形状モデルFの変更する手法が異なる。例えば、前述の図36(f)の被写体状態情報ISが「病歴有・心肥大」である場合を例に説明すると、領域P7の肺野形状は通常は、図32で示されるようにフィッティング関数f7,f8の2つの関数を必要とするが、図36(f)の場合は1つの関数で表現可能であるため、モデル情報決定処理の(3a)の処理を用いて、形状モデルFを構成するフィッティング関数の数を13から12に減らす処理を行う。ここで、フィッティング関数f7を仮に削除した場合、フィッティング関数f8を用いて図36(f)の領域P7の形状を表現することになるため、モデル情報決定処理の(2a)の処理を用いて、フィッティング関数f8の次数の調整を行うことで、形状モデルFSを決定することになる。 However, the method of changing the shape model F is different between the processes (2a) and (3a) of the model information determination process. For example, in the case where the subject state information IS in FIG. 36 (f) is “presence of history / hypertrophy”, the shape of the lung field in the region P7 is usually a fitting function as shown in FIG. Although two functions f7 and f8 are required, in the case of FIG. 36 (f), the function can be expressed by one function. Therefore, the shape model F is configured using the process (3a) of the model information determination process. A process of reducing the number of fitting functions to be performed from 13 to 12 is performed. Here, if the fitting function f7 is temporarily deleted, the shape of the region P7 in FIG. 36 (f) is expressed using the fitting function f8. Therefore, by using the process (2a) of the model information determination process, The shape model FS is determined by adjusting the order of the fitting function f8.
このように、粗抽出処理や精密抽出処理にて表現しきれなかった抽出境界(異常な形状をもつ抽出境界)であっても、適切にフィッティング関数(形状モデルFS)を決定することにより抽出精度の向上が図れる。 Thus, even if the extraction boundary (extraction boundary having an abnormal shape) that could not be expressed by the rough extraction processing or the precise extraction processing, the extraction accuracy is determined by appropriately determining the fitting function (shape model FS). Can be improved.
<3−4.画像処理装置3Aの変形例>
続いて、第2実施形態に係る画像処理装置3Aの変形例である画像処理装置3A’について説明する。図37は、画像処理装置3A’の基本的な機能構成を示すブロック図である。図37で示されるように、画像処理装置3Aと異なる点は、画像処理装置3A’では、モデル情報制御部135A’にテンプレート加工部126A’が付加されることにより、モデル選択部125A’が変更される点である。なお、残余の構成は画像処理装置3Aと同様である。
<3-4. Modification of
Next, an
画像処理装置3A’の機能構成は、被写体状態情報取得部115Aにて取得される被写体状態情報ISの属性にマッチするテンプレートがデータベース51Aに存在しない場合や、所望の形状を表現したテンプレートが存在しない場合において効果的である。
The functional configuration of the
すなわち、テンプレート加工部126A’では、モデル選択部125A’から出力されたテンプレート情報TS’をベースに、被写体状態取得部115Aにて取得した被写体状態情報ISに基づく所望の形状にテンプレートを加工するテンプレート加工処理を実施する。
That is, the
ここで、上記(1a)のモデル情報決定処理におけるテンプレートの「種類」とは、テンプレート加工処理によってテンプレートの形状が変更されたテンプレートの「形状」をも包含する概念で用いている。 Here, the “type” of the template in the model information determination process of (1a) is used as a concept including the “shape” of the template whose shape has been changed by the template processing process.
以下、画像処理装置3A’の特徴的な工程について具体的に説明する。まず、画像処理装置3A’では、モデル選択部125A’が被写体状態情報ISの属性により近いもしくは肺野形状により近いテンプレート情報TS’を選択し、テンプレート加工部126A’に入力する。
Hereinafter, specific steps of the
テンプレート加工部126A’では、入力されたテンプレート情報TS’をベースにテンプレートを所望の肺野形状に加工することで、新たにテンプレート(すなわち、テンプレート情報)TSを生成し、該テンプレートTSを粗抽出決定部130に入力する。
The
図38は、テンプレート加工部126A’によるテンプレート加工処理を例示する図である。図38で示されるように、図38(a)では、ペースメーカが埋め込まれた領域を考慮して、テンプレートT4L(図22参照)の領域D1を削除する加工を行うことでテンプレートT4L’を生成している。また、図38(b)では、肺切除術により右肺野領域の下部領域が切除されていることを考慮してテンプレートT2R(図18参照)の領域D2を削除する加工を行うことでテンプレートT2R’を生成している。さらに、図38(c)では、肺切除術により右肺野領域の上部領域が切除されていることを考慮してテンプレートT4R(図22参照)の領域D3を削除する加工を行うことでテンプレートT4R’を生成している。
FIG. 38 is a diagram illustrating template processing by the
このように、画像処理装置3A’では、テンプレート加工部126A’において新たにテンプレート情報TS’を生成する機能を備えるため、データベース51Aに膨大なテンプレートを記憶せずとも、必要最小限のテンプレートを記憶されるだけで済む。
As described above, since the
<3−3.画像処理装置3Aの基本動作>
続いて、図39は、第2実施形態に係る画像処理装置3Aの動作フローを例示した図である。なお、図39のうち、ステップSA11,SA12,SA4,SA6〜SA8は図34のステップS11,S12,S4,S6〜S8と同様であるため、その説明は省略する。
<3-3. Basic Operation of
Subsequently, FIG. 39 is a diagram illustrating an operation flow of the
この第2実施形態では、第1実施形態の被写体固有情報取得部115が被写体状態情報取得部115Aに置換されたことで、下記の工程が変更される。
In the second embodiment, the following process is changed by replacing the subject unique
すなわち、第1実施形態と同様の工程として、ステップSA11,SA12と並行して、図39で示されるように、ステップSA21,SA22が実施される。すなわち、ステップSA21では、制御部31Aの被写体状態情報取得部115Aが、情報蓄積装置4Aのカルテ情報記憶部41Aから被写体状態情報ISを取得し、モデル情報制御部135Aにおけるモデル選択部125Aに入力する。
That is, as steps similar to the first embodiment, steps SA21 and SA22 are performed in parallel with steps SA11 and SA12 as shown in FIG. That is, in step SA21, the subject state
ステップSA22では、ステップSA21において入力された被写体状態情報ISに基づいて、モデル情報制御部135Aが上記(1a)のモデル情報決定処理を実施する。
In step SA22, the model
ステップSA3では、粗抽出決定部130が、ステップSA12において補正されたフレーム画像IG0に対して、ステップSA22において入力されたテンプレート情報TSを用いてテンプレートマッチングを行う。なお、該テンプレート情報TSが複数存在する場合は、該テンプレート情報TSで指示されるテンプレート毎にテンプレートマッチング処理を行い、各々仮決定した粗抽出領域の中から、前述した判断基準に従い被写体Mに最も適合すると判断された粗抽出領域を粗抽出画像IG1として精密抽出決定部140に出力する。
In step SA3, the rough
そして、第1実施形態と同様の工程として、ステップSA4を経て、ステップSA5では、モデル情報制御部135Aが、被写体状態情報ISに基づいて形状モデルFの形状を変更し形状モデル情報FSを決定し、上記の(2a)及び(3a)のモデル情報決定処理により決定された形状モデル情報FSを後処理部150に入力する。そして、後処理部150が、ステップSA4において決定された精密抽出画像IG2における肺野領域RA0の輪郭部SM0に対して、該形状モデル情報FSに基づいてフィッティング処理(後処理)を実施し、精密抽出画像IG3を生成する。
Then, as a process similar to the first embodiment, after passing through step SA4, in step SA5, the model
以上のように第2実施形態に係る画像処理装置3Aでは、放射線撮影前に予め入力された被写体Mに関する情報である撮影情報(被写体状態情報)ISに基づいて、肺野領域の境界を示すモデル情報を決定し、該モデル情報に基づいて、医用画像(フレーム画像IG0)から肺野領域を抽出する肺野領域抽出処理を実施する。これにより、撮影情報ISに応じた最適なモデル情報を決定することが可能となる。このため、通常と異なる撮影状況(例えば、被験者Mが手術歴や病歴を有する場合など)であっても、安定的且つ高速に所定部位の抽出精度の向上を実現する。
As described above, in the
また、被写体状態情報ISは、手術歴、病歴、過去の撮影時の情報、体の状態、診断対象、問診による判定結果、喫煙歴のうち少なくとも何れか1つの情報を含むことにより、これらの情報のうち少なくとも何れか1つの情報を考慮してモデル情報(テンプレート情報TSおよび形状モデル情報FS)を効率的に決定することができる。これにより、テンプレートマッチング精度及びフィッティング精度が向上するため、非健常者または非健常動物の身体を被写体Mとする場合であっても、より安定的且つ高速に肺野領域の抽出精度の向上を実現する。 In addition, the subject state information IS includes at least one of the following information: surgery history, medical history, past photographing information, body state, diagnosis target, determination result by inquiry, and smoking history. Model information (template information TS and shape model information FS) can be efficiently determined in consideration of at least one of the information. As a result, template matching accuracy and fitting accuracy are improved, so that even when the body of a non-healthy person or non-healthy animal is the subject M, the extraction accuracy of the lung field is improved more stably and at high speed. To do.
また、モデル情報決定処理は、予め準備された複数種のテンプレートのうち、テンプレートマッチングに使用するテンプレートの種類を決定する処理と、所定数のフィッティング関数のうち少なくとも1つの関数の次数を決定する処理と、所定数の増減を決定する処理と、を含むことにより、肺野領域の形状が複雑な場合においても、肺野領域の境界をより近似的に表現したモデル情報(テンプレート情報TSおよび形状モデル情報FS)を決定することが可能となる。また、手術歴や病歴を有した被写体Mにおいて、肺野領域の形状あるいは位置が正常な被写体Mと比較して著しく異なる場合においても十分対応することが可能となる。このため、より安定的に肺野領域の抽出精度の向上を実現することが可能となる。 The model information determination process includes a process for determining a template type used for template matching among a plurality of types of templates prepared in advance, and a process for determining the order of at least one function among a predetermined number of fitting functions. And a process for determining a predetermined number of increase / decrease, even when the shape of the lung field region is complex, model information (template information TS and shape model) expressing the boundary of the lung field region more approximately Information FS) can be determined. In addition, in the subject M having a history of surgery or medical history, it is possible to sufficiently cope with a case where the shape or position of the lung field region is significantly different from that of the normal subject M. For this reason, it becomes possible to improve the extraction accuracy of the lung field region more stably.
なお、第2の実施形態に係る画像処理装置3Aは、他に、第1の実施形態に係る画像処理装置3と同様の効果を奏するが、説明は省略する。
The
<4.第3実施形態>
図40は、本発明の第3実施形態として構成された画像処理装置3B(図1参照)で用いられる制御部31Bの機能構成を示す図である。この制御部31Bは、第1実施形態の画像処理装置3における制御部31(図2参照)の代替として使用される。第1実施形態と異なる点は、撮影情報(被写体固有情報)取得部115が撮影情報(撮影環境情報)取得部115Bに置換されることにより、情報蓄積装置4のカルテ情報記憶部41を必要としない点、及び、情報蓄積装置5Bのデータベース(テンプレート記憶部)51B、モデル選択部125B、モデル情報制御部135Bが変更される点である。なお、残余の構成は画像処理装置3と同様である。
<4. Third Embodiment>
FIG. 40 is a diagram showing a functional configuration of the
<4−1.撮影情報取得部115B>
撮影情報(撮影環境情報)取得部115Bでは、放射線撮影環境に関する情報である撮影情報を、撮影制御装置2から取得する(図40参照)。本実施形態における撮影制御装置2から取得する撮影情報とは、動画像(医用画像)が撮影された環境を示す撮影環境情報IE(図40参照)を指し、具体的に撮影環境情報IEとは、撮影方向、被写体Mとなる対象者または対象動物の呼吸の有無、呼吸の強制有無等のうち少なくとも何れか1つの情報を指す。
<4-1. Shooting
The imaging information (imaging environment information)
そして、撮影情報取得部115Bは、該撮影環境情報IEをモデル情報制御部135Bにおけるモデル選択部125Bに入力する。
Then, the shooting
以下では、撮影制御装置2から取得される撮影環境情報IEを具体的に説明する。
Hereinafter, the shooting environment information IE acquired from the
<4−1−1.撮影方向情報>
図41は撮影環境情報IEを説明するためのサンプル画像SGを例示する図であり、図41(a)では、図1で示されるように撮影部13の前に被験者Mが立った状態(立位)で撮影されるのに対し、図41(b)では、診療台の上に被験者Mが寝ている状態(臥位)で撮影されている。
<4-1-1. Shooting direction information>
FIG. 41 is a diagram illustrating a sample image SG for explaining the shooting environment information IE. In FIG. 41A, the subject M stands in front of the shooting unit 13 as shown in FIG. In FIG. 41 (b), the image is taken in a state where the subject M is sleeping on the medical table (prone position).
図41で示されるように、被験者Mの姿勢が立位(図41(a)参照)と臥位(図41(b)参照)とによって肺野の形状が異なることが見て取れる。具体的には、被験者Mの姿勢が立位である場合は、臥位である場合と比較して肺野の形状が縦に細長い特徴を有する。これに対して、被験者Mの姿勢が臥位である場合は、立位である場合と比較して肺野の形状が重力の影響で横に広がる(臓器の位置が変わる)ため、全体としてのサイズが大きくなる特徴を有する。このように、被験者Mが同一であっても、被験者Mの姿勢、すなわち、撮影方向により肺野形状の見え方が大きく異なる。 As shown in FIG. 41, it can be seen that the posture of the subject M is different between the standing position (see FIG. 41 (a)) and the lying position (see FIG. 41 (b)). Specifically, when the posture of the subject M is in the standing position, the shape of the lung field has a vertically elongated feature as compared with the case where the subject M is in the standing position. On the other hand, when the posture of the subject M is in the supine position, the shape of the lung field spreads sideways due to the influence of gravity (the position of the organ changes) as compared with the case of the standing position. It has the feature of increasing the size. Thus, even if the subject M is the same, the appearance of the lung field shape varies greatly depending on the posture of the subject M, that is, the imaging direction.
また、図41では図示されていないが、被験者Mに対して斜め方向から撮影された場合においても、被験者Mに対するX線の入射方向が変わるため、肺野形状が立位及び臥位とは異なる形状となる。これは、光源の位置が変わると投影像(肺野形状)が変わる可能性が高いためである。 Although not shown in FIG. 41, the X-ray incident direction on the subject M changes even when the subject M is photographed from an oblique direction, so the lung field shape is different from the standing position and the supine position. It becomes a shape. This is because the projection image (lung field shape) is likely to change when the position of the light source changes.
したがって、撮影環境情報取得部115Bは、被験者Mの姿勢(立位、臥位、斜め)に起因した撮影方向の情報を取得することが好ましい。
Therefore, it is preferable that the shooting environment
<4−1−2.撮影時の呼吸状態情報>
また、肺野形状を決める他の要因として呼吸状態情報が挙げられる。図42は、自然呼吸と強制呼吸とについて説明する図である。図42で示されるように、被写体Mが通常行う自然呼吸の呼吸サイクルは、吸気と呼気とから構成される。吸気では、横隔膜が下がって息が吸い込まれるに連れて胸郭中の肺野の領域が大きくなり、息を最大限に吸い込んだとき(吸気と呼気の変換点)が最大吸気時となる。一方、呼気では、横隔膜が上がって息が吐き出されるに連れて肺野の領域が小さくなるが、息を最大限に排出したとき(呼気と吸気の変換点)が最大呼気時となる。このように、最大吸気時に肺野形状が最も大きくなり、最大呼気時に肺野形状が最も小さくなる特徴を有する。
<4-1-2. Respiratory state information at the time of photography>
Another factor that determines the lung field shape is respiratory state information. FIG. 42 is a diagram illustrating natural breathing and forced breathing. As shown in FIG. 42, the breathing cycle of natural breathing normally performed by the subject M includes inspiration and expiration. In inhalation, as the diaphragm descends and breaths are inhaled, the lung field in the thorax increases, and when inhaled to the maximum (conversion point between inspiration and expiration) is the time of maximum inspiration. On the other hand, in exhalation, the area of the lung field becomes smaller as the diaphragm rises and exhales, but the maximum exhalation time is when exhalation is maximized (conversion point between exhalation and inspiration). As described above, the lung field shape is the largest at the time of the maximum inspiration, and the lung field shape is the smallest at the time of the maximum expiration.
一方、自然呼吸に対する用語として、本実施形態における強制呼吸(呼吸の強制)とは、被験者Mに強制的に息止めさせた時をいう。強制的な息止め時は、一般的に、図42で示されるように、最大吸気時もしくは最大吸気時に最も近い状態(最大吸気時付近)となるが、強制呼吸では意識的に息を多く吸い込むため、自然呼吸時の最大吸気時付近と比較して、肺野形状が若干大きくなる傾向にある。このように、自然呼吸か強制呼吸かによっても肺野形状を考慮することが好ましい。 On the other hand, as a term for natural breathing, forced breathing (forced breathing) in the present embodiment refers to a time when the subject M is forced to hold his / her breath. As shown in FIG. 42, the forced breath holding is generally the closest state at the time of the maximum inspiration or the maximum inspiration (near the maximum inspiration), but in the forced breathing, a large amount of breath is intentionally inhaled. Therefore, the shape of the lung field tends to be slightly larger than near the maximum inspiration during natural breathing. Thus, it is preferable to consider the shape of the lung field depending on whether it is natural breathing or forced breathing.
この他、急患などで息切れがひどい場合、呼吸が浅く速くなる場合等は、呼吸による肺野の形状の変化は小さく、息止め時の肺形状と同視できる傾向にある。 In addition, when the shortness of breath is severe due to sudden illness, or when breathing is shallow and fast, the change in the shape of the lung field due to breathing is small, and it tends to be equated with the lung shape at the time of breath holding.
したがって、撮影環境情報取得部115Bは、被験者Mの様々な呼吸状態情報を取得することが好ましい。
Therefore, it is preferable that the imaging environment
<4−1−3.その他の情報>
撮影環境情報取得部115Bは上記以外に例えば、FPDのサイズ等も取得可能である。例えば、小さいFPDで、大きい被写体Mが撮影されたときにフレーム画像から対象部位がはみ出る可能性があるためであり、FPDのサイズ等も考慮することが好ましい。
<4-1-3. Other information>
In addition to the above, the shooting environment
<4−2.データベース51B>
また、データベース(テンプレート記憶部)51Bでは、本実施形態に係るテンプレートが撮影環境情報IEに基づいてグループ分けされて格納されている。すなわち、上述の撮影環境情報取得部115Bにて取得される撮影環境情報IEを考慮したテンプレートが予め準備され、各テンプレートには、撮影方向、被写体Mとなる対象者または対象動物の呼吸の有無、呼吸の強制有無等に関係する情報を示す属性情報が予め付されてグループ別にデータベース51Bに格納されている。
<4-2.
In the database (template storage unit) 51B, templates according to the present embodiment are stored in groups based on the shooting environment information IE. That is, templates that take into account the shooting environment information IE acquired by the shooting environment
例えば、撮影環境情報IEが「撮影方向情報」の場合については、撮影方向を基に作成したテンプレートを準備する。前述の図41の例においては、図41(a)を表現するテンプレートには「立位」という属性が予め付され、図41(b)を表現するテンプレートには「臥位」という属性が予め付されてデータベース51Bにそれぞれグループ別に格納されている。また、図41では図示されていないが、被写体Mに対して斜め方向から撮影された場合を表現するテンプレートを用意する場合には、「斜め(あるいは角度)」という属性を付し、データベース51Bの立位、臥位とは別のグループに格納することが好ましい。
For example, when the shooting environment information IE is “shooting direction information”, a template created based on the shooting direction is prepared. In the example of FIG. 41 described above, an attribute “standing position” is assigned in advance to the template representing FIG. 41A, and an attribute “prone position” is assigned in advance to the template expressing FIG. 41B. Attached and stored in the
また、撮影環境情報IEが「撮影時の呼吸状態情報」の場合については、呼吸状態を基に作成したテンプレートを準備する。グループ分けとしては、呼吸の有無により、肺野の形状の変化は大きく変わるため、強制的な息止め時、自然呼吸時等により使用するテンプレートを用意することが好ましい。この際、例えば、「最大呼気」「最大吸気」「息止め」などの属性が予め付されてデータベース51Bにそれぞれグループ別に格納されている。
When the imaging environment information IE is “respiration state information at the time of imaging”, a template created based on the respiratory state is prepared. As the grouping, since the change in the shape of the lung field varies greatly depending on the presence or absence of breathing, it is preferable to prepare a template to be used for forced breathing, natural breathing, or the like. At this time, for example, attributes such as “maximum expiration”, “maximum inspiration”, and “breath holding” are added in advance and stored in the
以上のように、データベース51Bには、撮影方向、被写体Mとなる対象者または対象動物の呼吸の有無、呼吸の強制有無等の複数のファクタによる属性情報が付与されたテンプレートがそれぞれのグループ毎に格納されている。なお、上記では属性を個別に説明したが、各テンプレートには複数の属性が付与されてもよい。
As described above, in the
<4−3.モデル情報制御部135B、モデル選択部125B>
モデル情報制御部135Bでは、撮影環境情報取得部115Bにて取得した撮影環境情報(撮影情報)IEに基づいて、肺野領域の境界を示すモデル情報を決定するモデル情報決定処理を実施する(図40参照)。本実施形態にいうモデル情報とは、テンプレート情報TEおよび形状モデル情報FEであり、全体の肺形状、肺尖部形状、横隔膜形状、心臓の形状、大動脈弓の形状のうち少なくとも1つの形状が考慮される。
<4-3. Model
The model
ここで、モデル情報制御部135Bにおけるモデル情報決定処理とは、テンプレート情報TEを決定する処理としては、(1b)予め準備された複数種のテンプレートのうち、テンプレートマッチングに使用するテンプレートの種類を決定する処理であり、形状モデル情報FEを決定する処理としては、直近に決定された上記所定数のフィッティング関数に対し、(2b)所定数のフィッティング関数のうち少なくとも1つの関数の次数を決定する処理と、(3b)所定数の増減を決定する処理との2つである。なお、取得画像が静止画像の場合は、予め定められた所定数のフィッティング関数に対し、(2b)あるいは(3b)の処理を行うことになる。
Here, the model information determining process in the model
<4−3−1.モデル情報決定処理(1b)>
モデル情報決定処理の(1b)の処理では、モデル情報制御部135Bにおけるモデル選択部125B(図40参照)が、データベース51Bに該撮影環境情報IEを入力し、データベース51Bが、該撮影環境情報IEの属性情報にマッチする種類の少なくとも1つのテンプレートを指示する情報であるテンプレート情報TEをモデル選択部125Bに出力した後、モデル選択部125Bが、該テンプレート情報TEを粗抽出決定部130に入力する。
<4-3-1. Model Information Determination Process (1b)>
In the process (1b) of the model information determination process, the
そして、該テンプレート情報TEが入力された粗抽出決定部130では、該テンプレート情報(モデル情報)TEを用いてテンプレートマッチングを行うことで、フレーム画像IG0に対して粗抽出領域を決定し、粗抽出画像IG1を得る肺野領域抽出処理を実施する。
Then, the rough
なお、撮影環境情報IEの属性情報にマッチするテンプレート情報TEが複数のテンプレートを指示する場合は、粗抽出決定部130は該当する(属性情報にマッチする)上記複数のテンプレート全てを用いてそれぞれテンプレートマッチング処理を行い、粗抽出領域をそれぞれ仮決定する。そして、粗抽出決定部130が、テンプレート情報TEで指示される複数のテンプレート毎に決定した複数の粗抽出領域の中から、予め定められた判断基準に従い被写体Mに最も適合すると判断された粗抽出領域を粗抽出画像IG1として精密抽出決定部140に出力する。
When the template information TE that matches the attribute information of the shooting environment information IE indicates a plurality of templates, the rough
また、テンプレート情報TEが指示するテンプレートが複数存在する場合、予め定められた判断基準を用いることなく、上記複数のテンプレートのうち単純に任意の1つのテンプレートのみを用いてテンプレートマッチング処理を行っても良い。 Further, when there are a plurality of templates indicated by the template information TE, the template matching process may be performed by using only one arbitrary template among the plurality of templates without using a predetermined determination criterion. good.
具体的に、例えば、撮影情報取得部115Bが撮影環境情報IEとして「撮影方向・撮影時の呼吸状態」に相当する「臥位・最大呼気」の情報を取得した場合について説明すると、データベース51Bが「臥位・最大呼気」の属性情報が付与された少なくとも1つのテンプレートを検索し、少なくとも1つの検索結果からなるテンプレート情報TEをモデル選択部125Bに出力する。このテンプレート情報TEがテンプレートマッチングに使用するテンプレートの種類を指示する情報となる。そして、モデル選択部125から該テンプレート情報TEが入力された粗抽出決定部130では、該テンプレート情報TEで指示されるテンプレート毎にテンプレートマッチング処理を行い、各々仮決定した粗抽出領域の中から、前述した判断基準に従い被写体Mに最も適合すると判断された粗抽出領域を粗抽出画像IG1として精密抽出決定部140に出力する。
Specifically, for example, the case where the imaging
このように、モデル情報制御部135Bと情報蓄積装置5B(データベース51B)とが連動することにより、撮影環境情報IEに基づいてテンプレート情報TEを決定するモデル情報決定処理を実行している。
As described above, the model
また、撮影環境情報IEにおける「撮影時の呼吸状態」が急患などで息切れがひどい場合には、上述の通り、息止め時の肺形状と同視可能であるため、「息止め」の属性情報が付与されたテンプレートを選択することが好ましい。 In addition, when the “breathing state at the time of photographing” in the photographing environment information IE is a sudden illness or the like and the shortness of breath is severe, as described above, it can be equated with the lung shape at the time of breath holding. It is preferable to select a given template.
<4−3−2.モデル情報決定処理(2b)及び(3b)>
一方、モデル情報決定処理の(2b)及び(3b)の処理では、モデル情報制御部135Bが、撮影環境情報IEに基づいて形状モデルFの形状を変更し形状モデル情報FEを決定する。なお、形状モデルFは予め設定された初期状態から、モデル決定処理(2b)及び(3b)により順次変更されていく。すなわち、モデル情報決定処理(2b)及び(3b)は直近に決定された形状モデルFに対して行われる。
<4-3-2. Model information determination processing (2b) and (3b)>
On the other hand, in the processes (2b) and (3b) of the model information determination process, the model
そして、モデル情報制御部135Bが、該形状モデル情報FEを後処理部150に入力した後、後処理部150が、該形状モデル情報FEに基づいて上述のフィッティング処理を行うことで、フレーム画像IG0から肺野領域を抽出する肺野領域抽出処理(具体的には、精密抽出画像IG2に形状モデルFEを付した形状モデル付精密抽出画像IG3を得る処理)を実施する。なお、モデル情報決定処理の(2b)及び(3b)の処理手法の違いは、上記モデル情報決定処理の(2)及び(3)の違いと同様である。
Then, after the model
このように、粗抽出処理や精密抽出処理にて表現しきれなかった抽出境界であっても、適切にフィッティング関数(形状モデルFE)を決定することにより抽出精度の向上が図れる。 As described above, even when the extraction boundary cannot be expressed by the rough extraction process or the precise extraction process, the extraction accuracy can be improved by appropriately determining the fitting function (shape model FE).
<4−4.画像処理装置3Bの基本動作>
続いて、図43は、第3実施形態に係る画像処理装置3Bの動作フローを例示した図である。なお、図43のうち、ステップSB11,SB12,SB4,SB6〜SB8は図34のステップS11,S12,S4,S6〜S8と同様であるため、その説明は省略する。
<4-4. Basic Operation of
Subsequently, FIG. 43 is a diagram illustrating an operation flow of the
この第3実施形態では、第1実施形態の被写体固有情報取得部115が撮影環境情報取得部115Bに置換されたことで、下記の工程が変更される。
In the third embodiment, the following process is changed by replacing the subject unique
すなわち、第1実施形態と同様の工程として、ステップSB11,SB12と並行して、図43で示されるように、ステップSB21,SB22が実施される。すなわち、ステップSB21では、制御部31Bの撮影環境情報取得部115Bが、撮影制御装置2から撮影環境情報IEを取得し、モデル情報制御部135Bにおけるモデル選択部125Bに入力する。
That is, as steps similar to the first embodiment, steps SB21 and SB22 are performed in parallel with steps SB11 and SB12 as shown in FIG. That is, in step SB21, the shooting environment
ステップSB22では、ステップSB21において入力された撮影環境情報IEに基づいて、モデル情報制御部135Bが上記(1b)のモデル情報決定処理を実施する。
In step SB22, the model
ステップSB3では、粗抽出決定部130が、ステップSB12において補正されたフレーム画像IG0に対して、ステップSB22において入力されたテンプレート情報TEを用いてテンプレートマッチングを行う。なお、該テンプレート情報TEが複数存在する場合は、該テンプレート情報TEで指示されるテンプレート毎にテンプレートマッチング処理を行い、各々仮決定した粗抽出領域の中から、前述した判断基準に従い被写体Mに最も適合すると判断された粗抽出領域を粗抽出画像IG1として精密抽出決定部140に出力する。
In step SB3, the rough
そして、第1実施形態と同様の工程として、ステップSB4を経て、ステップSB5では、モデル情報制御部135Bが、撮影環境情報IEに基づいて形状モデルFの形状を変更し形状モデル情報FEを決定し、上記の(2b)及び(3b)のモデル情報決定処理により決定された形状モデル情報FEを後処理部150に入力する。そして、後処理部150が、ステップSB4において決定された精密抽出画像IG2における肺野領域RA0の輪郭部SM0に対して、該形状モデル情報FEに基づいてフィッティング処理(後処理)を実施し、精密抽出画像IG3を生成する。
As a process similar to the first embodiment, after step SB4, in step SB5, the model
以上のように第3実施形態に係る画像処理装置3Bでは、放射線撮影前に予め入力された放射線撮影環境に関する情報である撮影情報(撮影環境情報)IEに基づいて、肺野領域の境界を示すモデル情報を決定し、該モデル情報に基づいて、医用画像(フレーム画像IG0)から肺野領域を抽出する肺野領域抽出処理を実施する。これにより、撮影情報IEに応じた最適なモデル情報を決定することが可能となる。このため、通常と異なる撮影状況(例えは、撮影時の呼吸状態が急患などで息切れがひどい場合など)であっても、安定的且つ高速に所定部位の抽出精度の向上を実現する。
As described above, in the
また、撮影環境情報IEは、撮影方向、被写体Mとなる対象者または対象動物の呼吸の有無、呼吸の強制有無のうち少なくとも何れか1つの情報を含むことにより、これらの情報のうち少なくとも何れか1つの情報を考慮してモデル情報(テンプレート情報TEおよび形状モデル情報FE)を効率的に決定することができる。これにより、テンプレートマッチング精度及びフィッティング精度が向上するため、特殊条件下における撮影であっても、より安定的且つ高速に所定部位の抽出精度の向上を実現する。 Further, the imaging environment information IE includes at least one of the imaging direction, the presence or absence of breathing of the subject or the target animal that is the subject M, and the presence or absence of forced breathing. Model information (template information TE and shape model information FE) can be efficiently determined in consideration of one piece of information. As a result, the template matching accuracy and the fitting accuracy are improved, so that the extraction accuracy of the predetermined part can be improved more stably and at a high speed even when photographing under special conditions.
なお、第3の実施形態に係る画像処理装置3Bは、他に、第1の実施形態に係る画像処理装置3と同様の効果を奏するが、説明は省略する。
The
<5.第4実施形態>
図44は、本発明の第4実施形態として構成された画像処理装置3C(図1参照)で用いられる制御部31Cの機能構成を示す図である。この制御部31Cは、第1〜第3実施形態の画像処理装置3,3A,3Bにおける制御部31,31A,31Bが組み合わされた構成を有する。第1実施形態と異なる点は、撮影情報(被写体固有情報)取得部115が撮影情報(被写体固有情報・被写体状態情報・撮影環境情報)取得部115Cに置換されることにより、情報蓄積装置4Cのカルテ情報記憶部41C、情報蓄積装置5Cのデータベース(テンプレート記憶部)51C、モデル選択部125C、モデル情報制御部135Cが変更される点である。なお、残余の構成は画像処理装置3と同様である。
<5. Fourth Embodiment>
FIG. 44 is a diagram illustrating a functional configuration of a control unit 31C used in the
<5−1.撮影情報取得部115C、カルテ情報記憶部41C>
撮影情報(被写体固有情報・被写体状態情報・撮影環境情報)取得部115Cでは、放射線撮影前に予め入力された被写体Mに関する情報である撮影情報(被写体固有情報IO、被写体状態情報IS)を、情報蓄積装置4Cにおけるカルテ情報記憶部41Cから取得するとともに、放射線撮影環境に関する情報である撮影情報(撮影環境情報IE)を、撮影制御装置2から取得する(図44参照)。したがって、本実施形態における撮影情報とは、上述と同様の被写体固有情報IO、被写体状態情報IS、及び、撮影環境情報IEを指す。そして、撮影情報取得部115Cは、モデル情報制御部135Cにおけるモデル選択部125Cにこれら3種類の撮影情報IO,IS,IEを入力する。
<5-1. Imaging
The photographing information (subject unique information / subject state information / photographing environment information)
<5−2.データベース51C>
また、データベース(テンプレート記憶部)51Cでは、本実施形態に係るテンプレートが被写体固有情報IO、被写体状態情報IS、撮影環境情報IEに基づいてグループ分けされて格納されている。すなわち、上述の撮影情報取得部115Cにて取得されるこれら3種類の撮影情報を考慮したテンプレートが予め準備され、各テンプレートには、上述と同様の属性情報(第1〜第3実施形態にて説明済み)が予め付されてグループ別にデータベース51Cにて格納されている。
<5-2. Database 51C>
Further, in the database (template storage unit) 51C, templates according to the present embodiment are stored in groups based on the subject unique information IO, the subject state information IS, and the shooting environment information IE. That is, templates in consideration of these three types of shooting information acquired by the shooting
以下、データベース51Cの概念構造を説明するにあたって、被写体固有情報IOを「性別」、被写体状態情報ISを「肺切除有無」、撮影環境情報IEを「撮影方向」とした場合の最も簡略化された例を用いて説明する。 Hereinafter, in describing the conceptual structure of the database 51C, it is most simplified when the subject-specific information IO is “sex”, the subject state information IS is “pneumotomy”, and the imaging environment information IE is “imaging direction”. This will be described using an example.
図45は、データベース51Cにおける階層化されたテンプレート情報の一例を示す概念図である。図45で示されるように、被写体固有情報IOの「性別」、被写体状態情報ISの「肺切除有無」、撮影環境情報IEの「撮影方向」のうち、最も上位概念に位置するのは、撮影環境情報IEの「撮影方向」であるため、まず、「立位」「臥位」「斜め」の3つのテンプレート情報TE1〜TE3に大別され、各々テンプレートがグループ化され格納(蓄積)されている。次に、被写体固有情報IOの「性別」は被写体状態情報ISの「肺切除有無」より上位概念であるため、「男性」「女性」の2つのテンプレート情報TO1,TO2がテンプレート情報TE1〜TE3に各々格納される。さらに、「肺切除無」「肺切除有」の2つのテンプレート情報TS1,TS2がテンプレート情報TO1,TO2に各々格納される。したがって、例えば、被写体固有情報IOが「男性」、被写体状態情報ISが「肺切除有」、撮影環境情報IE「臥位」の場合のテンプレート情報は、テンプレート情報TO1S2E2(図45参照)が該当する。 FIG. 45 is a conceptual diagram showing an example of hierarchical template information in the database 51C. As shown in FIG. 45, the most significant concept among the “sex” of the subject specific information IO, the “presence / absence of lung excision” of the subject state information IS, and the “imaging direction” of the imaging environment information IE is the imaging. Since it is the “shooting direction” of the environmental information IE, first, it is roughly divided into three template information TE1 to TE3 of “standing position”, “prone position”, and “oblique”, and the templates are grouped and stored (accumulated). Yes. Next, since the “sex” of the subject unique information IO is a higher concept than the “presence / absence of pulmonary resection” of the subject state information IS, the two template information TO1 and TO2 of “male” and “female” become template information TE1 to TE3. Each is stored. Further, two template information TS1 and TS2 of “no lung resection” and “with lung resection” are stored in the template information TO1 and TO2, respectively. Therefore, for example, the template information TO1S2E2 (see FIG. 45) corresponds to the template information in the case where the subject unique information IO is “male”, the subject state information IS is “pneumonectomy present”, and the imaging environment information IE “recumbent position”. .
なお、ここでは撮影情報における最も簡略化された概念構造の一例について説明したが、実際は被写体固有情報IO、被写体状態情報IS、撮影環境情報IEがそれぞれ複数の属性情報から構成されるため、実際のデータベース51はかなり複雑な構造となる。また、ここでは、最も上位概念を撮影環境情報IE、最も下位概念を被写体状態情報ISとしたが、これに限られず、属性情報の組合せにより様々に変動することになる。
Although an example of the most simplified conceptual structure in the shooting information has been described here, the actual subject information IO, the subject state information IS, and the shooting environment information IE are each composed of a plurality of attribute information. The
<5−3.モデル情報制御部135C、モデル選択部125C>
モデル情報制御部135Cでは、撮影情報取得部115Cにて取得した被写体固有情報IO、被写体状態情報IS、撮影環境情報IEに基づいて、肺野領域の境界を示すモデル情報を決定するモデル情報決定処理を実施する(図44参照)。本実施形態にいうモデル情報とは、テンプレート情報TOSEおよび形状モデル情報FOSEであり、全体の肺形状、肺尖部形状、横隔膜形状、心臓の形状、大動脈弓の形状のうち少なくとも1つの形状が考慮される。
<5-3. Model Information Control Unit 135C, Model Selection Unit 125C>
In the model information control unit 135C, model information determination processing for determining model information indicating the boundary of the lung field region based on the subject unique information IO, the subject state information IS, and the imaging environment information IE acquired by the imaging
ここで、モデル情報制御部135Cにおけるモデル情報決定処理とは、テンプレート情報TOSEを決定する処理としては、(1c)予め準備された複数種のテンプレートのうち、テンプレートマッチングに使用するテンプレートの種類を決定する処理であり、形状モデル情報FOSEを決定する処理としては、直近に決定された上記所定数のフィッティング関数に対し、(2c)所定数のフィッティング関数のうち少なくとも1つの関数の次数を決定する処理と、(3c)所定数の増減を決定する処理との2つである。なお、取得画像が静止画像の場合は、予め定められた所定数のフィッティング関数に対し、(2c)あるいは(3c)の処理を行うことになる。 Here, the model information determination process in the model information control unit 135C includes (1c) determining a template type to be used for template matching among a plurality of types of templates prepared in advance. As a process for determining the shape model information FOSE, (2c) a process for determining the order of at least one of the predetermined number of fitting functions with respect to the predetermined number of fitting functions determined most recently. And (3c) a process for determining a predetermined number of increase / decrease. If the acquired image is a still image, the process (2c) or (3c) is performed on a predetermined number of fitting functions.
<5−3−1.モデル情報決定処理(1c)>
具体的に、モデル情報決定処理の(1c)の処理では、モデル情報制御部135Cにおけるモデル選択部125C(図44参照)が、データベース51Cに該被写体固有情報IO、該被写体状態情報IS、該撮影環境情報IEを入力し、データベース51Cが、これら3種類の属性情報にマッチする種類の少なくとも1つのテンプレートを指示する情報であるテンプレート情報TOSEをモデル選択部125Cに出力した後、モデル選択部125Cが、該テンプレート情報TOSEを粗抽出決定部130に入力する。
<5-3-1. Model Information Determination Process (1c)>
Specifically, in the process (1c) of the model information determination process, the model selection unit 125C (see FIG. 44) in the model information control unit 135C stores the subject unique information IO, the subject state information IS, and the shooting in the database 51C. After the environment information IE is input, the database 51C outputs template information TOSE, which is information indicating at least one template matching the three types of attribute information, to the model selection unit 125C, and then the model selection unit 125C The template information TOSE is input to the rough
そして、該テンプレート情報TOSEが入力された粗抽出決定部130では、該テンプレート情報(モデル情報)TOSEを用いてテンプレートマッチングを行うことで、フレーム画像IG0に対して粗抽出領域を決定し、粗抽出画像IG1を得る肺野領域抽出処理を実施する。
Then, the rough
なお、撮影情報IO,IS,IEの属性情報にマッチするテンプレート情報TOSEが複数のテンプレートを指示する場合は、粗抽出決定部130は該当する(属性情報にマッチする)上記複数のテンプレート全てを用いてそれぞれテンプレートマッチング処理を行い、粗抽出領域をそれぞれ仮決定する。そして、粗抽出決定部130が、テンプレート情報TOSEで指示される複数のテンプレート毎に決定した複数の粗抽出領域の中から、予め定められた判断基準に従い被写体Mに最も適合すると判断された粗抽出領域を粗抽出画像IG1として精密抽出決定部140に出力する。
When the template information TOSE that matches the attribute information of the shooting information IO, IS, and IE indicates a plurality of templates, the rough
また、テンプレート情報TOSEが指示するテンプレートが複数存在する場合、予め定められた判断基準を用いることなく、上記複数のテンプレートのうち単純に任意の1つのテンプレートのみを用いてテンプレートマッチング処理を行っても良い。 Further, when there are a plurality of templates indicated by the template information TOSE, template matching processing may be performed using only one arbitrary template among the plurality of templates without using a predetermined criterion. good.
例えば、上記と同様に、撮影情報取得部115Cが撮影環境情報IO,IS,IEとして「性別・肺切除有無・撮影方向」に相当する「男性・肺切除有・臥位」の情報を取得した場合(図45参照)について説明すると、データベース51Cが「男性・肺切除有・臥位」の属性情報が付与された少なくとも1つのテンプレートを検索し、少なくとも1つの検索結果からなるテンプレート情報TOSEをモデル選択部125Cに出力する。このテンプレート情報TOSEがテンプレートマッチングに使用するテンプレートの種類を指示する情報となる。そして、モデル選択部125から該テンプレート情報TOSEが入力された粗抽出決定部130では、該テンプレート情報TOSEで指示されるテンプレート毎にテンプレートマッチング処理を行い、各々仮決定した粗抽出領域の中から、前述した判断基準に従い被写体Mに最も適合すると判断された粗抽出領域を粗抽出画像IG1として精密抽出決定部140に出力する。
For example, in the same manner as described above, the imaging
このように、モデル情報制御部135Cと情報蓄積装置5C(データベース51C)とが連動することにより、撮影情報IO,IS,IEに基づいてテンプレート情報TOSEを決定するモデル情報決定処理を実行している。
As described above, the model information control unit 135C and the
<5−3−2.モデル情報決定処理(2c)及び(3c)>
一方、モデル情報決定処理の(2c)及び(3c)の処理では、モデル情報制御部135Cが、該被写体固有情報IO、該被写体状態情報IS、該撮影環境情報IEに基づいて形状モデルFの形状を変更し形状モデル情報FOSEを決定する。なお、形状モデルFは予め設定された初期状態から、モデル決定処理(2c)及び(3c)により順次変更されていく。すなわち、モデル情報決定処理(2c)及び(3c)は直近に決定された形状モデルFに対して行われる。
<5-3-2. Model information determination processing (2c) and (3c)>
On the other hand, in the processes (2c) and (3c) of the model information determination process, the model information control unit 135C determines the shape of the shape model F based on the subject unique information IO, the subject state information IS, and the shooting environment information IE. To change the shape model information FOSE. The shape model F is sequentially changed from the initial state set in advance by the model determination processes (2c) and (3c). That is, the model information determination processes (2c) and (3c) are performed on the shape model F determined most recently.
そして、モデル情報制御部135Cが、該形状モデル情報FOSEを後処理部150に入力した後、後処理部150が、該形状モデル情報FOSEに基づいて上述のフィッティング処理を行うことで、フレーム画像IG0から肺野領域を抽出する肺野領域抽出処理(具体的には、精密抽出画像IG2に形状モデルFOSEを付した形状モデル付精密抽出画像IG3を得る処理)を実施する。なお、モデル情報決定処理の(2c)及び(3c)の処理手法の違いは、上記モデル情報決定処理の(2a)及び(3a)の違いと同様である。
Then, after the model information control unit 135C inputs the shape model information FOSE to the
このように、粗抽出処理や精密抽出処理にて表現しきれなかった抽出境界であっても、適切にフィッティング関数(形状モデルFOSE)を決定することにより抽出精度の向上が図れる。 As described above, even when the extraction boundary cannot be expressed by the rough extraction process or the precise extraction process, the extraction accuracy can be improved by appropriately determining the fitting function (shape model FOSE).
<5−4.画像処理装置3Cの基本動作>
続いて、図46は、第4実施形態に係る画像処理装置3Cの動作フローを例示した図である。なお、図46のうち、ステップSC11,SC12,SC4,SC6〜SC8は図34のステップS11,S12,S4,S6〜S8と同様であるため、その説明は省略する。
<5-4. Basic Operation of
Subsequently, FIG. 46 is a diagram illustrating an operation flow of the
この第4実施形態では、第1実施形態の被写体固有情報取得部115が撮影情報取得部115Cに置換されたことで、下記の工程が変更される。
In the fourth embodiment, the following process is changed by replacing the subject unique
すなわち、第1実施形態と同様の工程として、ステップSC11,SC12と並行して、図43で示されるように、ステップSC21,SC22が実施される。すなわち、ステップSC21では、制御部31Cの撮影情報取得部115Cが、カルテ情報記憶部41Cから被写体固有情報IO、被写体状態情報ISを取得するとともに、撮影制御装置2から撮影環境情報IEを取得し、モデル情報制御部135Cにおけるモデル選択部125Cにこれら3種類の撮影情報IO,IS,IEを入力する。
That is, as a process similar to the first embodiment, steps SC21 and SC22 are performed in parallel with steps SC11 and SC12 as shown in FIG. That is, in step SC21, the shooting
ステップSC22では、ステップSC21において入力された3種類の撮影情報IO,IS,IEに基づいて、モデル情報制御部135Cが上記(1c)のモデル情報決定処理を実施する。 In step SC22, the model information control unit 135C performs the model information determination process (1c) based on the three types of shooting information IO, IS, and IE input in step SC21.
ステップSC3では、粗抽出決定部130が、ステップSC12において補正されたフレーム画像IG0に対して、ステップSC22において入力されたテンプレート情報TOSEを用いてテンプレートマッチングを行う。なお、該テンプレート情報TOSEが複数存在する場合は、該テンプレート情報TOSEで指示されるテンプレート毎にテンプレートマッチング処理を行い、各々仮決定した粗抽出領域の中から、前述した判断基準に従い被写体Mに最も適合すると判断された粗抽出領域を粗抽出画像IG1として精密抽出決定部140に出力する。
In step SC3, the rough
そして、第1実施形態と同様の工程として、ステップSC4を経て、ステップSC5では、モデル情報制御部135Cが、3種類の撮影情報(被写体固有情報IO、被写体状態情報IS、撮影環境情報IE)に基づいて形状モデルFの形状を変更し形状モデル情報FOSEを決定し、上記の(2c)及び(3c)のモデル情報決定処理により決定された形状モデル情報FOSEを後処理部150に入力する。そして、後処理部150が、ステップSC4において決定された精密抽出画像IG2における肺野領域RA0の輪郭部SM0に対して、該形状モデル情報FOSEに基づいてフィッティング処理(後処理)を実施し、精密抽出画像IG3を生成する。
As a process similar to that of the first embodiment, after passing through step SC4, in step SC5, the model information control unit 135C converts the three types of shooting information (subject specific information IO, subject state information IS, and shooting environment information IE). Based on this, the shape of the shape model F is changed to determine the shape model information FOSE, and the shape model information FOSE determined by the above-described model information determination processing (2c) and (3c) is input to the
以上のように第4実施形態に係る画像処理装置3Cでは、放射線撮影前に予め入力された被写体M及び放射線撮影環境に関する情報である撮影情報(被写体固有情報IO、被写体状態情報IS、撮影環境情報IE)に基づいて、肺野領域の境界を示すモデル情報を決定し、該モデル情報に基づいて、医用画像(フレーム画像IG0)から肺野領域を抽出する肺野領域抽出処理を実施する。これにより、撮影情報IO,IS,IEに応じた最適なモデル情報を決定することが可能となる。このため、通常と異なる撮影状況であっても、安定的且つ高速に所定部位の抽出精度の向上を実現する。
As described above, in the
また、撮影情報は、被写体Mの固有の情報を示す被写体固有情報IO、被写体Mの過去及び現在の状態を示す被写体状態情報IS、フレーム画像IG0が撮影された環境を示す撮影環境情報IEであることにより、3種類の撮影情報IO,IS,IEを考慮してテンプレート情報TOSEおよび形状モデル情報FOSE(モデル情報)を効率的に決定することができる。これにより、テンプレートマッチング精度及びフィッティング精度が向上するため、肺野領域の抽出精度がより向上する。このため、非健常者または非健常動物の身体を被写体とする場合や特殊条件下における撮影であっても、さらに安定的且つ高速に所定部位の抽出精度の向上を実現する。 The shooting information is subject unique information IO indicating unique information of the subject M, subject state information IS indicating the past and current states of the subject M, and shooting environment information IE indicating an environment in which the frame image IG0 is shot. As a result, the template information TOSE and the shape model information FOSE (model information) can be efficiently determined in consideration of the three types of shooting information IO, IS, and IE. Thereby, since the template matching accuracy and the fitting accuracy are improved, the extraction accuracy of the lung field region is further improved. For this reason, even when the body of a non-healthy person or non-healthy animal is used as a subject or when photographing is performed under special conditions, the extraction accuracy of a predetermined part can be improved more stably and at high speed.
なお、第4の実施形態に係る画像処理装置3Cは、他に、第1の実施形態に係る画像処理装置3と同様の効果を奏するが、説明は省略する。
The
<6.変形例>
以上、本発明の実施形態について説明してきたが、本発明は、上記実施形態に限定されるものではなく、様々な変形が可能である。
<6. Modification>
As mentioned above, although embodiment of this invention has been described, this invention is not limited to the said embodiment, A various deformation | transformation is possible.
※ 本実施形態では、画像処理装置3,3A,3A’,3Bを個別に実施されるように各実施形態に分けて記載したが、これらの個別機能は、互いに矛盾しない限り、相互に組み合わせてもよい。なお、組み合わせの一例として、第4実施形態の画像処理装置3Cが挙げられるが、組合せ方は画像処理装置3Cに限られない。
* In this embodiment, the
※ 本実施形態における画像処理装置3A’では、テンプレート加工部126’を被写体状態情報ISの場合に特化して採用しているが、これに限られない。すなわち、被写体固有情報IO,撮影環境情報IEの場合においても、必要に応じて採用することが可能である。
* In the
※ 本実施形態では、医用画像を動画像に含まれるフレーム画像IG0(G0)として説明したが、静止画像を対象としても良い。 * In the present embodiment, the medical image is described as the frame image IG0 (G0) included in the moving image, but a still image may be the target.
具体的に、医用画像を静止画像とした場合における一連の処理としては、粗抽出決定部130では、静止画像に対してテンプレートを用いてテンプレートマッチングを行い、肺野領域(所定部位を含む領域)を粗く抽出し粗抽出領域を決定する粗抽出処理を行うことになり、また、後処理部150では、該粗抽出領域に基づく領域(粗抽出領域に基づき所定の画像抽出処理が施された精密抽出領域)に対して、肺野領域(所定部位)の境界を近似する所定数のフィッティング関数で表現された形状モデルをフィッティングさせるフィッティング処理を行う。
Specifically, as a series of processes when a medical image is a still image, the rough
このため、静止画像の場合は、上述のステップS7(SA7,SB7,SC7)及びステップS8(SA8,SB8,SC8)の工程は行われない。 For this reason, in the case of a still image, the above-described steps S7 (SA7, SB7, SC7) and S8 (SA8, SB8, SC8) are not performed.
※ 本実施形態における画像処理装置3A(3A’),3B,3Cでは、モデル情報決定処理として、(1)の処理((1a)〜(1c)の処理)と、(2)の処理((2a)〜(2c)の処理)と、(3)の処理((3a)〜(3c)の処理)との3つの処理全てを実施するよう構成されていたが、これに限られない。すなわち、3つの処理のうち少なくとも何れか1つの処理を行う構成であればよい。
* In the
※ 被写体Mは、人体だけでなく、動物の身体であってもよい。 * Subject M may be not only a human body but also an animal body.
1 撮影装置
2 撮影制御装置
3,3A,3A’,3B,3C 画像処理装置
4,4A,4C,5,5A〜5C 情報蓄積装置
31,31A,31A’,31B,31C 制御部
41,41A,41C カルテ情報記憶部
51,51A〜51C データベース(テンプレート記憶部)
100,100A,100A’,100B,100C 放射線動態画像撮影システム
110 画像取得部
115,115A〜115C 撮影情報取得部
120 画像補正部
125,125A,125A’,125B,125C モデル選択部
126A’ テンプレート加工部
130 粗抽出決定部
135,135A,135A’,135B,135C モデル情報制御部
140 精密抽出決定部
150 後処理部
160 粗抽出処理内容制御部
170 対象部位抽出部
IO 被写体固有情報
IS 被写体状態情報
IE 撮影環境情報
TO,TS,TE,TOSE モデル情報(テンプレート情報)
FS,FE,FOSE モデル情報(形状モデル情報、形状モデル)
IG0 フレーム画像
IG1 粗抽出画像
IG2,IG3 精密抽出画像
M 被写体(被検者)
DESCRIPTION OF
100, 100A, 100A ′, 100B, 100C Radiation
FS, FE, FOSE Model information (shape model information, shape model)
IG0 Frame image IG1 Coarse extracted image IG2, IG3 Precision extracted image M Subject (subject)
Claims (9)
前記放射線撮影前に予め入力された前記被写体あるいは前記放射線撮影環境に関する情報である撮影情報を取得する撮影情報取得手段と、
前記撮影情報に基づいて、前記所定部位の境界を示すモデル情報を決定するモデル情報決定処理を実施するモデル情報制御手段と、
前記モデル情報決定処理において決定されたモデル情報に基づいて、前記医用画像から前記所定部位を抽出する所定部位抽出処理を実施する抽出手段と、
を備えることを特徴とする、
画像処理装置。 Image acquisition means for acquiring a medical image radiographed with a human body or animal body as a subject and including a predetermined portion of the subject in part;
Imaging information acquisition means for acquiring imaging information that is information related to the subject or the radiographic environment previously input before the radiation imaging;
Model information control means for performing model information determination processing for determining model information indicating the boundary of the predetermined part based on the imaging information;
Extraction means for performing a predetermined part extraction process for extracting the predetermined part from the medical image based on the model information determined in the model information determination process;
Characterized by comprising,
Image processing device.
前記所定部位抽出処理は、
前記医用画像に対してテンプレートを用いてテンプレートマッチングを行い、前記所定部位を含む領域を粗く抽出し粗抽出領域を決定する粗抽出処理と、
前記粗抽出領域に基づく領域に対して、前記所定部位の境界を近似する所定数のフィッティング関数で表現された形状モデルをフィッティングさせるフィッティング処理と、
を含み、
前記モデル情報は、
前記テンプレート及び前記形状モデルのうち少なくとも一方を指示する情報を含む、
画像処理装置。 The image processing apparatus according to claim 1,
The predetermined part extraction process includes:
Performing a template matching on the medical image using a template, roughly extracting a region including the predetermined part and determining a rough extraction region; and
A fitting process for fitting a shape model expressed by a predetermined number of fitting functions approximating a boundary of the predetermined portion to an area based on the rough extraction area;
Including
The model information is
Including information indicating at least one of the template and the shape model,
Image processing device.
前記撮影情報は、
前記被写体の固有の情報を示す被写体固有情報、
前記被写体の過去及び現在の状態を示す被写体状態情報、
前記医用画像が撮影された環境を示す撮影環境情報、
のうち少なくとも何れか1つの情報を含む、
画像処理装置。 The image processing apparatus according to claim 1 or 2,
The shooting information is
Subject-specific information indicating information specific to the subject,
Subject state information indicating past and present states of the subject;
Shooting environment information indicating the environment in which the medical image was shot;
Including at least one of the information,
Image processing device.
前記被写体固有情報は、
性別、年齢、胸囲、体重、身長、肺活量のうち少なくとも何れか1つの情報を含む、
画像処理装置。 The image processing apparatus according to claim 3,
The subject-specific information is
Including information on at least one of gender, age, chest circumference, weight, height, vital capacity,
Image processing device.
前記被写体状態情報は、
手術歴、病歴、過去の撮影時の情報、体の状態、診断対象、問診による判定結果、喫煙歴のうち少なくとも何れか1つの情報を含む、
画像処理装置。 The image processing apparatus according to claim 3,
The subject state information is
Including information on at least one of surgery history, medical history, information at the time of previous imaging, body condition, diagnosis target, judgment result by inquiry, smoking history,
Image processing device.
前記撮影環境情報は、
撮影方向、前記被写体となる対象者または対象動物の呼吸の有無、呼吸の強制有無のうち少なくとも何れか1つの情報を含む、
画像処理装置。 The image processing apparatus according to claim 3,
The shooting environment information is
Including information on at least one of a shooting direction, presence or absence of breathing of the subject or the target animal as the subject, and forced breathing,
Image processing device.
前記モデル情報決定処理は、
(a)予め準備された複数種のテンプレートのうち、前記テンプレートマッチングに使用する前記テンプレートの種類を決定する処理、
(b)直近に決定された前記所定数のフィッティング関数に対し、前記所定数のフィッティング関数のうち少なくとも1つの関数の次数を決定する処理、及び/あるいは、前記所定数の増減を決定する処理、
のうち少なくとも何れか1つの処理を含み、
前記モデル情報は前記処理(a)あるいは処理(b)で決定された内容を含む、
画像処理装置。 The image processing apparatus according to any one of claims 2 to 6,
The model information determination process includes:
(A) a process of determining a type of the template used for the template matching among a plurality of types of templates prepared in advance;
(B) Processing for determining the order of at least one of the predetermined number of fitting functions with respect to the predetermined number of fitting functions determined most recently, and / or processing for determining increase / decrease of the predetermined number,
Including at least one of the processes,
The model information includes the content determined in the process (a) or the process (b).
Image processing device.
前記所定部位は肺野領域を含み、
前記モデル情報は、
全体の肺形状、肺尖部形状、横隔膜形状、心臓の形状、大動脈弓の形状のうち少なくとも1つの形状が考慮されることを特徴とする、
画像処理装置。 The image processing apparatus according to any one of claims 1 to 7,
The predetermined site includes a lung field region,
The model information is
In consideration of at least one of the overall lung shape, apex shape, diaphragm shape, heart shape, and aortic arch shape,
Image processing device.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012165053A JP5880332B2 (en) | 2012-07-25 | 2012-07-25 | Image processing apparatus and program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012165053A JP5880332B2 (en) | 2012-07-25 | 2012-07-25 | Image processing apparatus and program |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2014023640A true JP2014023640A (en) | 2014-02-06 |
JP5880332B2 JP5880332B2 (en) | 2016-03-09 |
Family
ID=50197893
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2012165053A Expired - Fee Related JP5880332B2 (en) | 2012-07-25 | 2012-07-25 | Image processing apparatus and program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5880332B2 (en) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2017527788A (en) * | 2014-07-15 | 2017-09-21 | コーニンクレッカ フィリップス エヌ ヴェKoninklijke Philips N.V. | Statistical test of imaging data including localization regularization with individualized template images |
WO2020090246A1 (en) * | 2018-10-29 | 2020-05-07 | 富士フイルム株式会社 | Information processing device, information processing method, and program |
CN111144361A (en) * | 2019-12-31 | 2020-05-12 | 合肥湛达智能科技有限公司 | Road lane detection method based on binaryzation CGAN network |
JP2020171475A (en) * | 2019-04-10 | 2020-10-22 | コニカミノルタ株式会社 | Dynamic image analysis apparatus, dynamic image analysis method, and program |
JP2022013077A (en) * | 2020-07-03 | 2022-01-18 | キヤノン株式会社 | Information processing device, information processing method and program |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH07220076A (en) * | 1994-01-28 | 1995-08-18 | Sanyo Electric Co Ltd | Image processing device |
JPH07262370A (en) * | 1994-03-17 | 1995-10-13 | Fuji Photo Film Co Ltd | Template matching method for image |
JP2002253539A (en) * | 2001-03-05 | 2002-09-10 | Nippon Telegr & Teleph Corp <Ntt> | Medical image identification system, medical image identification processing method, program for medical image identification, and recording medium therefor |
JP2006034585A (en) * | 2004-07-27 | 2006-02-09 | Fuji Photo Film Co Ltd | Picture display device and picture display method, and program thereof |
JP2009050529A (en) * | 2007-08-28 | 2009-03-12 | Konica Minolta Medical & Graphic Inc | Radiological imaging system and support apparatus for radiological imaging |
JP2010075334A (en) * | 2008-09-25 | 2010-04-08 | Konica Minolta Medical & Graphic Inc | Medical image processor and program |
JP2011200549A (en) * | 2010-03-26 | 2011-10-13 | Fujitsu Ltd | Method and apparatus for deforming three-dimensional method and program |
-
2012
- 2012-07-25 JP JP2012165053A patent/JP5880332B2/en not_active Expired - Fee Related
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH07220076A (en) * | 1994-01-28 | 1995-08-18 | Sanyo Electric Co Ltd | Image processing device |
JPH07262370A (en) * | 1994-03-17 | 1995-10-13 | Fuji Photo Film Co Ltd | Template matching method for image |
JP2002253539A (en) * | 2001-03-05 | 2002-09-10 | Nippon Telegr & Teleph Corp <Ntt> | Medical image identification system, medical image identification processing method, program for medical image identification, and recording medium therefor |
JP2006034585A (en) * | 2004-07-27 | 2006-02-09 | Fuji Photo Film Co Ltd | Picture display device and picture display method, and program thereof |
JP2009050529A (en) * | 2007-08-28 | 2009-03-12 | Konica Minolta Medical & Graphic Inc | Radiological imaging system and support apparatus for radiological imaging |
JP2010075334A (en) * | 2008-09-25 | 2010-04-08 | Konica Minolta Medical & Graphic Inc | Medical image processor and program |
JP2011200549A (en) * | 2010-03-26 | 2011-10-13 | Fujitsu Ltd | Method and apparatus for deforming three-dimensional method and program |
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2017527788A (en) * | 2014-07-15 | 2017-09-21 | コーニンクレッカ フィリップス エヌ ヴェKoninklijke Philips N.V. | Statistical test of imaging data including localization regularization with individualized template images |
WO2020090246A1 (en) * | 2018-10-29 | 2020-05-07 | 富士フイルム株式会社 | Information processing device, information processing method, and program |
CN112970043A (en) * | 2018-10-29 | 2021-06-15 | 富士胶片株式会社 | Information processing apparatus, information processing method, and program |
JPWO2020090246A1 (en) * | 2018-10-29 | 2021-10-21 | 富士フイルム株式会社 | Information processing equipment, information processing methods, and programs |
US11925481B2 (en) | 2018-10-29 | 2024-03-12 | Fujifilm Corporation | Information processing device, information processing method, and program |
CN112970043B (en) * | 2018-10-29 | 2024-05-14 | 富士胶片株式会社 | Information processing apparatus, information processing method, and computer program product |
JP2020171475A (en) * | 2019-04-10 | 2020-10-22 | コニカミノルタ株式会社 | Dynamic image analysis apparatus, dynamic image analysis method, and program |
CN111144361A (en) * | 2019-12-31 | 2020-05-12 | 合肥湛达智能科技有限公司 | Road lane detection method based on binaryzation CGAN network |
JP2022013077A (en) * | 2020-07-03 | 2022-01-18 | キヤノン株式会社 | Information processing device, information processing method and program |
Also Published As
Publication number | Publication date |
---|---|
JP5880332B2 (en) | 2016-03-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6676655B2 (en) | Grading dual energy X-ray coronary calcium | |
JP5643304B2 (en) | Computer-aided lung nodule detection system and method and chest image segmentation system and method in chest tomosynthesis imaging | |
US10588589B2 (en) | Systems and methods for prediction of osteoporotic fracture risk | |
JP4728627B2 (en) | Method and apparatus for segmenting structures in CT angiography | |
CN111968070B (en) | Blood vessel detection method and device based on three-dimensional modeling | |
JP6570145B2 (en) | Method, program, and method and apparatus for constructing alternative projections for processing images | |
JP5510619B1 (en) | Image processing device | |
JP5880332B2 (en) | Image processing apparatus and program | |
JP6656910B2 (en) | Medical image processing device, medical image diagnostic device, and medical image processing program | |
JP2017510427A (en) | Radiation image lung segmentation technology and bone attenuation technology | |
US20130223711A1 (en) | Maching Learning Techniques for Pectoral Muscle Equalization and Segmentation in Digital Mammograms | |
CN111275755B (en) | Mitral valve orifice area detection method, system and equipment based on artificial intelligence | |
JP6361435B2 (en) | Image processing apparatus and program | |
US11475568B2 (en) | Method for controlling display of abnormality in chest x-ray image, storage medium, abnormality display control apparatus, and server apparatus | |
JP2014079312A (en) | Image processing apparatus and program | |
US11278257B2 (en) | Diagnostic auxiliary image generation apparatus, diagnostic auxiliary image generation method, and diagnostic auxiliary image generation program | |
Huang et al. | Joint spine segmentation and noise removal from ultrasound volume projection images with selective feature sharing | |
JP2021019714A (en) | Image processing device, image processing method, and x-ray ct device | |
JP5364009B2 (en) | Image generating apparatus, image generating method, and program thereof | |
US11080866B2 (en) | Dynamic image processing method and dynamic image processing device | |
JP4738970B2 (en) | Image processing apparatus, image processing method and program thereof | |
JP5051025B2 (en) | Image generating apparatus, program, and image generating method | |
JP2019165923A (en) | Diagnosis support system and diagnosis support method | |
JP6501569B2 (en) | IMAGE PROCESSING APPARATUS, IMAGE PROCESSING METHOD, AND PROGRAM | |
JP2020080913A (en) | Organ-of-interest image automatic segmentation device and automatic segmentation method based on three-dimensional medial axis model from non-contrast ct image |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20140918 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20150520 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20150602 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20150722 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20160105 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20160118 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5880332 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |