JP2014023640A - Image processing device and program - Google Patents
Image processing device and program Download PDFInfo
- Publication number
- JP2014023640A JP2014023640A JP2012165053A JP2012165053A JP2014023640A JP 2014023640 A JP2014023640 A JP 2014023640A JP 2012165053 A JP2012165053 A JP 2012165053A JP 2012165053 A JP2012165053 A JP 2012165053A JP 2014023640 A JP2014023640 A JP 2014023640A
- Authority
- JP
- Japan
- Prior art keywords
- information
- image
- template
- subject
- extraction
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012545 processing Methods 0.000 title claims abstract description 227
- 238000000605 extraction Methods 0.000 claims abstract description 337
- 210000004072 lung Anatomy 0.000 claims description 267
- 238000000034 method Methods 0.000 claims description 219
- 230000008569 process Effects 0.000 claims description 170
- 238000003384 imaging method Methods 0.000 claims description 149
- 210000002376 aorta thoracic Anatomy 0.000 claims description 44
- 230000029058 respiratory gaseous exchange Effects 0.000 claims description 40
- 230000005855 radiation Effects 0.000 claims description 37
- 238000003745 diagnosis Methods 0.000 claims description 19
- 230000000391 smoking effect Effects 0.000 claims description 18
- 241001465754 Metazoa Species 0.000 claims description 17
- 230000007423 decrease Effects 0.000 claims description 9
- 238000001356 surgical procedure Methods 0.000 claims description 9
- 238000012805 post-processing Methods 0.000 abstract description 37
- 238000005516 engineering process Methods 0.000 abstract description 3
- 238000010586 diagram Methods 0.000 description 78
- 210000000038 chest Anatomy 0.000 description 23
- 238000003702 image correction Methods 0.000 description 18
- 201000010099 disease Diseases 0.000 description 14
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 14
- 238000002271 resection Methods 0.000 description 14
- 238000004891 communication Methods 0.000 description 12
- 239000000284 extract Substances 0.000 description 12
- 230000002685 pulmonary effect Effects 0.000 description 12
- 238000001514 detection method Methods 0.000 description 9
- 230000008859 change Effects 0.000 description 8
- 230000033001 locomotion Effects 0.000 description 8
- 230000000241 respiratory effect Effects 0.000 description 8
- 206010007572 Cardiac hypertrophy Diseases 0.000 description 6
- 208000006029 Cardiomegaly Diseases 0.000 description 6
- 206010058467 Lung neoplasm malignant Diseases 0.000 description 6
- 102100024854 Taste receptor type 2 member 4 Human genes 0.000 description 6
- 108050000632 Taste receptor type 2 member 4 Proteins 0.000 description 6
- 230000017531 blood circulation Effects 0.000 description 6
- 201000005202 lung cancer Diseases 0.000 description 6
- 208000020816 lung neoplasm Diseases 0.000 description 6
- 102100024845 Taste receptor type 2 member 1 Human genes 0.000 description 5
- 101710129400 Taste receptor type 2 member 1 Proteins 0.000 description 5
- 230000001186 cumulative effect Effects 0.000 description 5
- 230000000694 effects Effects 0.000 description 5
- 238000002601 radiography Methods 0.000 description 5
- 230000009467 reduction Effects 0.000 description 5
- 206010006322 Breath holding Diseases 0.000 description 4
- 208000006545 Chronic Obstructive Pulmonary Disease Diseases 0.000 description 4
- 206010035664 Pneumonia Diseases 0.000 description 4
- 208000010378 Pulmonary Embolism Diseases 0.000 description 4
- 238000004458 analytical method Methods 0.000 description 4
- 238000012937 correction Methods 0.000 description 4
- 235000003642 hunger Nutrition 0.000 description 4
- 239000004065 semiconductor Substances 0.000 description 4
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 3
- 238000012935 Averaging Methods 0.000 description 3
- 208000000059 Dyspnea Diseases 0.000 description 3
- 206010013975 Dyspnoeas Diseases 0.000 description 3
- 238000009825 accumulation Methods 0.000 description 3
- 210000003109 clavicle Anatomy 0.000 description 3
- 230000006872 improvement Effects 0.000 description 3
- 238000005259 measurement Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000003672 processing method Methods 0.000 description 3
- 238000011946 reduction process Methods 0.000 description 3
- 208000013220 shortness of breath Diseases 0.000 description 3
- 230000009466 transformation Effects 0.000 description 3
- 206010014561 Emphysema Diseases 0.000 description 2
- 241000270295 Serpentes Species 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 210000004204 blood vessel Anatomy 0.000 description 2
- 201000009267 bronchiectasis Diseases 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000012790 confirmation Methods 0.000 description 2
- 239000003814 drug Substances 0.000 description 2
- 230000007613 environmental effect Effects 0.000 description 2
- 210000000056 organ Anatomy 0.000 description 2
- 238000007781 pre-processing Methods 0.000 description 2
- 210000000115 thoracic cavity Anatomy 0.000 description 2
- 238000009423 ventilation Methods 0.000 description 2
- 206010020880 Hypertrophy Diseases 0.000 description 1
- 125000002066 L-histidyl group Chemical group [H]N1C([H])=NC(C([H])([H])[C@](C(=O)[*])([H])N([H])[H])=C1[H] 0.000 description 1
- 206010028980 Neoplasm Diseases 0.000 description 1
- 230000005856 abnormality Effects 0.000 description 1
- 230000002411 adverse Effects 0.000 description 1
- 210000003484 anatomy Anatomy 0.000 description 1
- 210000000709 aorta Anatomy 0.000 description 1
- 210000000481 breast Anatomy 0.000 description 1
- 210000000621 bronchi Anatomy 0.000 description 1
- 201000011510 cancer Diseases 0.000 description 1
- 230000000747 cardiac effect Effects 0.000 description 1
- 238000011976 chest X-ray Methods 0.000 description 1
- 239000002872 contrast media Substances 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 210000004351 coronary vessel Anatomy 0.000 description 1
- 229940079593 drug Drugs 0.000 description 1
- 238000003708 edge detection Methods 0.000 description 1
- 230000002526 effect on cardiovascular system Effects 0.000 description 1
- 238000005206 flow analysis Methods 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 201000010759 hypertrophy of breast Diseases 0.000 description 1
- 230000001678 irradiating effect Effects 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 235000012054 meals Nutrition 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000000513 principal component analysis Methods 0.000 description 1
- 238000013538 segmental resection Methods 0.000 description 1
- 238000010187 selection method Methods 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 230000005586 smoking cessation Effects 0.000 description 1
- 238000013179 statistical model Methods 0.000 description 1
- 210000002784 stomach Anatomy 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 210000001835 viscera Anatomy 0.000 description 1
Images
Landscapes
- Apparatus For Radiation Diagnosis (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
Description
本発明は、人体または動物の身体が撮影された医用画像に対して、対象領域を抽出する画像処理技術に関する。 The present invention relates to an image processing technique for extracting a target area from a medical image obtained by photographing a human body or an animal body.
医療現場では、Ｘ線等を用いて内臓や骨格等に含まれる患部を撮影することにより、各種検査や診断が行われている。そして、近年では、デジタル技術の適用により、Ｘ線等を用いて患部の動きを捉えた動画像を比較的容易に取得することが可能となっている。 In a medical field, various examinations and diagnoses are performed by photographing an affected part included in an internal organ, a skeleton, or the like using X-rays or the like. In recent years, it has become possible to relatively easily acquire a moving image that captures the motion of an affected area using X-rays or the like by applying digital technology.
そこでは、ＦＰＤ（flat panel detector）等の半導体イメージセンサを利用し、対象部位を含む被写体領域に対し動態画像を撮影できるため、従来のＸ線撮影による静止画撮影及び診断では実施できなかった対象部位などの動き解析による診断を実施することが可能になってきた。例えば、胸部Ｘ線動態画像から肺野内の換気状態や血流状態から動態機能を定量解析することで疾病の診断や治療を支援（Ｘ線動画用ＣＡＤ）する検討も実施されている。 There, a semiconductor image sensor such as a flat panel detector (FPD) can be used to capture a dynamic image of a subject area including the target region. It has become possible to carry out diagnosis by analyzing the movement of a part or the like. For example, studies for supporting diagnosis and treatment of diseases (CAD for X-ray moving images) by quantitatively analyzing dynamic functions from the ventilation state and blood flow state in the lung field from chest X-ray dynamic images have been conducted.
そのため、動態画像を用いた医療診断において、対象領域の動き解析や診断を実施するにためには、対象領域である肺野領域を精度良く抽出する必要がある。 Therefore, in medical diagnosis using dynamic images, in order to perform motion analysis and diagnosis of the target region, it is necessary to accurately extract the lung field region that is the target region.
ところで、静止画像に対して対象領域を抽出する手法としては、下記のような手法が挙げられる。例えば、特許文献１及び特許文献２が開示する技術では、２値化処理やラベリング処理のような手法が提案されている。
By the way, as a method for extracting a target region from a still image, the following method can be cited. For example, techniques disclosed in
また、特許文献３が開示する放射線画像撮影装置では、入力画像をアフィン変換してモデル画像とテンプレートマッチを行い、テンプレートとの対応点をアフィン変換した画像にマークした後に、画像を逆アフィン変換することで、単純にテンプレートを使用した場合より安定して胸郭部の検出が可能となる。
In the radiographic imaging device disclosed in
また、特許文献４が開示する肺領域のための２次元の統計的形状モデルを自動構成するための方法では、撮影画像から肺領域の形状標本を抽出し、形状アライメントアルゴリズムを用いることによって、全ての形状標本を所定のテンプレート形状に可能な限り近づけて位置合わせし、位置合わせされた形状標本を用いて主成分分析によって肺領域の統計的モデル形状を生成する。
Further, in the method for automatically constructing a two-dimensional statistical shape model for a lung region disclosed in
さらに、特許文献５が開示する解剖学的構造物の構造検出技術では、部分構造情報抽出手段によって所定の構造物の一部分の構造を表す部分構造情報を抽出した後、構造変更モデルデータを作成し、該構造モデルデータを所定の構造物の全体的な構造を表す全体構造情報として取得する。
Further, in the structure detection technology for anatomical structures disclosed in
しかしながら、動態画像に上記特許文献１−４の従来技術を適用し、対象領域（肺野領域）を抽出する場合においては、下記のような問題がある。すなわち、動態画像は低線量であるがためにノイズが多く画像が不鮮明画像であるため、上記特許文献１及び２の技術では、境界ギリギリまで正確に抽出することは困難であり、また、上記特許文献３及び４の技術においても、形状を合わせ込む（フィッティングさせる）ためのポイントを抽出することが困難である。このように、上記特許文献１−４のような静止画像を対象とした対象領域の抽出方法を実施しても、精度良く対象領域の抽出を行うことはできない。
However, in the case where the conventional technique of Patent Documents 1-4 described above is applied to a dynamic image and a target region (lung field region) is extracted, there are the following problems. That is, since the dynamic image has a low dose and thus has a lot of noise and the image is unclear, it is difficult to accurately extract the boundary to the limit with the techniques of
また、一般的に抽出に用いられるテンプレート（例えば、上記特許文献３及び４等）は、単純に複数枚の画像から生成した平均画像や、単純なモデル画像を表現した画像（例えば白黒の画像）である。このため、動態画像に適用するにあたっては、少ないテンプレートで対応しようとすると、肺の大きさや心臓の大きさといった対象部位の形状に個人差があることにより、境界ギリギリまで抽出することは困難である。
Further, a template generally used for extraction (for example,
さらに、画像より構造物の構造情報を推定する場合や撮影環境や線量が変わった場合は、多くのチューニングが必要となる。ここで、上記特許文献５では、健常者を被写体とする場合には、単純な形状差を修正するだけでよいことから有効な手段ではある。しかしながら、撮影情報が特殊条件における場合や本来存在するはずの構造がないなどの手術歴や病歴をもつ非健常者を被写体とする場合に対しては、上記特許文献５では対応することができない。このため、診断を実施するにあたって重要な非健常者の診断をサポートできないという課題がある。
Furthermore, when the structure information of the structure is estimated from the image, or when the imaging environment or dose changes, a lot of tuning is required. Here, in
本発明は、このような事情に鑑みてなされたものであり、人体または動物の内部を捉えた医用画像（動態画像を含む）から対象部位を抽出する際、通常と異なる撮影状況であっても、安定的且つ高速に抽出精度の向上を実現する画像処理技術を提供することを目的とする。 The present invention has been made in view of such circumstances, and when extracting a target region from a medical image (including a dynamic image) that captures the inside of a human body or an animal, even if the imaging situation is different from normal, An object of the present invention is to provide an image processing technique that can improve the extraction accuracy stably and at high speed.
上記課題を解決するために、請求項１の発明は、人体または動物の身体を被写体とし該被写体における所定部位を一部に含ませて放射線撮影された医用画像を取得する画像取得手段と、前記放射線撮影前に予め入力された前記被写体あるいは前記放射線撮影環境に関する情報である撮影情報を取得する撮影情報取得手段と、前記撮影情報に基づいて、前記所定部位の境界を示すモデル情報を決定するモデル情報決定処理を実施するモデル情報制御手段と、前記モデル情報決定処理において決定されたモデル情報に基づいて、前記医用画像から前記所定部位を抽出する所定部位抽出処理を実施する抽出手段と、を備えることを特徴とする画像処理装置である。
In order to solve the above-mentioned problem, the invention of
また、請求項２の発明は、請求項１に記載の画像処理装置であって、前記所定部位抽出処理は、前記医用画像に対してテンプレートを用いてテンプレートマッチングを行い、前記所定部位を含む領域を粗く抽出し粗抽出領域を決定する粗抽出処理と、前記粗抽出領域に基づく領域に対して、前記所定部位の境界を近似する所定数のフィッティング関数で表現された形状モデルをフィッティングさせるフィッティング処理と、を含み、前記モデル情報は、前記テンプレート及び前記形状モデルのうち少なくとも一方を指示する情報を含む。
The invention according to
また、請求項３の発明は、請求項１または請求項２に記載の画像処理装置であって、前記撮影情報は、前記被写体の固有の情報を示す被写体固有情報、前記被写体の過去及び現在の状態を示す被写体状態情報、前記医用画像が撮影された環境を示す撮影環境情報、のうち少なくとも何れか１つの情報を含む。
The invention according to
また、請求項４の発明は、請求項３に記載の画像処理装置であって、前記被写体固有情報は、性別、年齢、胸囲、体重、身長、肺活量のうち少なくとも何れか１つの情報を含む。 According to a fourth aspect of the present invention, in the image processing apparatus according to the third aspect, the subject-specific information includes at least one of sex, age, chest circumference, weight, height, and vital capacity.
また、請求項５の発明は、請求項３に記載の画像処理装置であって、前記被写体状態情報は、手術歴、病歴、過去の撮影時の情報、体の状態、診断対象、問診による判定結果、喫煙歴のうち少なくとも何れか１つの情報を含む。
The image processing apparatus according to
また、請求項６の発明は、請求項３に記載の画像処理装置であって、前記撮影環境情報は、撮影方向、前記被写体となる対象者または対象動物の呼吸の有無、呼吸の強制有無のうち少なくとも何れか１つの情報を含む。
The invention of
また、請求項７の発明は、請求項２ないし請求項６のうち、いずれか１項記載の画像処理装置であって、前記モデル情報決定処理は、（ａ）予め準備された複数種のテンプレートのうち、前記テンプレートマッチングに使用する前記テンプレートの種類を決定する処理、（ｂ）直近に決定された前記所定数のフィッティング関数に対し、前記所定数のフィッティング関数のうち少なくとも１つの関数の次数を決定する処理、及び／あるいは、前記所定数の増減を決定する処理、のうち少なくとも何れか１つの処理を含み、前記モデル情報は前記処理（ａ）あるいは処理（ｂ）で決定された内容を含む。
The invention according to
また、請求項８の発明は、請求項１ないし請求項７のうち、いずれか１項記載の画像処理装置であって、前記所定部位は肺野領域を含み、前記モデル情報は、全体の肺形状、肺尖部形状、横隔膜形状、心臓の形状、大動脈弓の形状のうち少なくとも１つの形状が考慮されることを特徴とする。
The invention according to
また、請求項９の発明は、画像処理装置に含まれるコンピュータによって実行されることにより、前記コンピュータを、請求項１ないし請求項８のうち、いずれか１項記載の画像処理装置として機能させるプログラムである。 According to a ninth aspect of the invention, there is provided a program for causing a computer to function as the image processing apparatus according to any one of the first to eighth aspects when executed by a computer included in the image processing apparatus. It is.
請求項１ないし請求項８に記載の画像処理装置では、放射線撮影前に予め入力された前記被写体あるいは前記放射線撮影環境に関する情報である撮影情報に基づいて、所定部位の境界を示すモデル情報を決定し、該モデル情報に基づいて、医用画像から所定部位を抽出する所定部位抽出処理を実施する。これにより、撮影情報に応じた最適なモデル情報を決定することが可能となる。このため、通常と異なる撮影状況であっても、安定的且つ高速に所定部位の抽出精度の向上を実現する。
9. The image processing apparatus according to
また、医用画像が動画像に含まれるフレーム画像である場合においては、最初の段階で精度の良いモデル情報を決定することができる。このため、該モデル情報を用いることで、時間方向においても安定して肺野領域抽出処理を実施することが可能となる。 Further, when the medical image is a frame image included in a moving image, accurate model information can be determined at the first stage. For this reason, by using the model information, the lung field region extraction process can be stably performed in the time direction.
請求項２の発明によれば、所定部位抽出処理は、医用画像に対してテンプレートを用いてテンプレートマッチングを行い、所定部位を含む領域を粗く抽出し粗抽出領域を決定する粗抽出処理と、該粗抽出領域に基づく領域に対して、前記所定部位の境界を近似する所定数のフィッティング関数で表現された形状モデルをフィッティングさせるフィッティング処理と、を含み、モデル情報は、テンプレート及び形状モデルのうち少なくとも一方を指示する情報を含む。これにより、テンプレートマッチング精度及びフィッティング精度のうち少なくとも一方が向上するため、撮影情報に対応して、より安定的に所定部位の抽出精度の向上を実現することが可能となる。
According to the invention of
請求項３の発明によれば、撮影情報は、被写体の固有の情報を示す被写体固有情報、被写体の過去及び現在の状態を示す被写体状態情報、医用画像が撮影された環境を示す撮影環境情報、のうち少なくとも何れか１つの情報を含む。これにより、被写体固有情報、被写体状態情報、撮影環境情報のうち少なくとも何れか１つの情報を考慮してモデル情報を効率的に決定することができる。これにより、テンプレートマッチング精度及びフィッティング精度のうち少なくとも一方が向上するため、所定部位の抽出精度がより向上する。
According to the invention of
請求項４の発明によれば、被写体固有情報は、性別、年齢、胸囲、体重、身長、肺活量のうち少なくとも何れか１つの情報を含むことにより、これらの情報のうち少なくとも何れか１つの情報を考慮してモデル情報（テンプレート情報および形状モデル情報）を効率的に決定することができる。これにより、テンプレートマッチング精度及びフィッティング精度が向上するため、より安定的且つ高速に所定部位の抽出精度の向上を実現する。
According to the invention of
請求項５の発明によれば、被写体状態情報は、手術歴、病歴、過去の撮影時の情報、体の状態、診断対象、問診による判定結果、喫煙歴のうち少なくとも何れか１つの情報を含むことにより、これらの情報のうち少なくとも何れか１つの情報を考慮してモデル情報（テンプレート情報および形状モデル情報）を効率的に決定することができる。これにより、テンプレートマッチング精度及びフィッティング精度が向上するため、非健常者または非健常動物の身体を被写体とする場合であっても、より安定的且つ高速に所定部位の抽出精度の向上を実現する。
According to the invention of
請求項６の発明によれば、撮影環境情報は、撮影方向、前記被写体となる対象者または対象動物の呼吸の有無、呼吸の強制有無のうち少なくとも何れか１つの情報を含むことにより、これらの情報のうち少なくとも何れか１つの情報を考慮してモデル情報（テンプレート情報および形状モデル情報）を効率的に決定することができる。これにより、テンプレートマッチング精度及びフィッティング精度が向上するため、特殊条件下における撮影であっても、より安定的且つ高速に所定部位の抽出精度の向上を実現する。
According to the invention of
請求項７の発明によれば、モデル情報決定処理は、（ａ）予め準備された複数種のテンプレートのうち、前記テンプレートマッチングに使用する前記テンプレートの種類を決定する処理、（ｂ）直近に決定された前記所定数のフィッティング関数に対し、前記所定数のフィッティング関数のうち少なくとも１つの関数の次数を決定する処理、及び／あるいは、前記所定数の増減を決定する処理、のうち少なくとも何れか１つの処理を含み、前記モデル情報は前記処理（ａ）あるいは処理（ｂ）で決定された内容を含む。これにより、所定部位の形状が複雑な場合においても、所定部位の境界をより近似的に表現したモデル情報を決定することが可能となる。また、手術歴や病歴を有した被写体において、所定部位の形状あるいは位置が正常な被写体と比較して著しく異なる場合においても十分対応することが可能となる。このため、より安定的に所定部位の抽出精度の向上を実現することが可能となる。
According to the invention of
請求項８の発明によれば、所定部位は肺野領域であることにより、肺野領域の抽出精度の向上を実現することが可能となる。また、モデル情報は、全体の肺形状、肺尖部形状、横隔膜形状、心臓の形状、大動脈弓の形状のうち少なくとも１つの形状が考慮されることにより、肺野領域においてより適切なモデル情報を決定することができる。これにより、より安定的に肺野領域の抽出精度の向上を実現する。 According to the eighth aspect of the present invention, it is possible to improve the extraction accuracy of the lung field region because the predetermined part is the lung field region. In addition, model information is obtained by considering at least one of the entire lung shape, lung apex shape, diaphragm shape, heart shape, and aortic arch shape. Can be determined. As a result, the lung field region extraction accuracy can be improved more stably.
請求項９の発明によれば、請求項１から請求項８に記載の発明と同じ効果を得ることができる。 According to the ninth aspect of the invention, the same effect as that of the first to eighth aspects of the invention can be obtained.
＜１．放射線動態画像撮影システムの全体構成＞
本発明の実施の形態に係る放射線動態画像撮影システムは、人体または動物の身体を被写体として、被写体の放射線画像の撮影を行い、撮影された医用画像（放射線画像）から対象部位の抽出を行う。
<1. Overall Configuration of Radiation Dynamic Imaging System>
The radiation dynamic image capturing system according to the embodiment of the present invention captures a radiation image of a subject using a human or animal body as a subject, and extracts a target part from the medical image (radiation image).
以下の各実施形態では、「対象部位（所定部位）」を肺野領域として説明し、「医用画像」を後述の撮像装置１の読取制御装置１４によって撮影された肺野領域の物理的状態（幾何学的形状や血流の濃度など）が時間変化する状態を時間順次に捉えた動画像に含まれるフレーム画像として説明する。
In each of the following embodiments, a “target part (predetermined part)” will be described as a lung field area, and a “medical image” will be described as a physical state of the lung field area captured by a
図１は、本発明の一実施形態に係る放射線動態画像撮影システムの全体構成を示す図である。図１に示すように、放射線動態画像撮影システム１００（１００Ａ，１００Ａ’，１００Ｂ，１００Ｃ）は、撮影装置１と、撮影制御装置２（撮影用コンソール）と、画像処理装置３（３Ａ，３Ａ’，３Ｂ，３Ｃ）（診断用コンソール）と、心電計４とを備える。撮影装置１及び心電計４と、撮影制御装置２とが通信ケーブル等により接続され、撮影制御装置２と、画像処理装置３（３Ａ，３Ａ’，３Ｂ，３Ｃ）とがＬＡＮ（Local Area Network）等の通信ネットワークＮＴを介して接続されて構成されている。放射線動態画像撮影システム１００（１００Ａ，１００Ａ’，１００Ｂ，１００Ｃ）を構成する各装置は、ＤＩＣＯＭ（Digital Image and Communications in Medicine）規格に準じており、各装置間の通信は、ＤＩＣＯＭに則って行われる。
FIG. 1 is a diagram showing an overall configuration of a radiation dynamic image capturing system according to an embodiment of the present invention. As shown in FIG. 1, the dynamic radiographic imaging system 100 (100A, 100A ′, 100B, 100C) includes an
＜１−１．撮影装置１の構成＞
撮影装置１は、例えば、Ｘ線撮影装置等によって構成され、呼吸に伴う被写体Ｍの胸部の動態を撮影する装置である。動態撮影は、被写体Ｍの胸部に対し、Ｘ線等の放射線を繰り返して照射しつつ、時間順時に複数の画像を取得することにより行う。この連続撮影により得られた一連の画像を動態画像（動画像）と呼ぶ。また、動態画像を構成する複数の画像のそれぞれをフレーム画像と呼ぶ。
<1-1. Configuration of photographing
The
図１に示すように、撮影装置１は、照射部（放射線源）１１と、放射線照射制御装置１２と、撮像部（放射線検出部）１３と、読取制御装置１４と、サイクル検出部１５と、サイクル検出装置１６とを備えて構成されている。
As shown in FIG. 1, the
照射部１１は、放射線照射制御装置１２の制御に従って、被写体Ｍに対し放射線（Ｘ線）を照射する。図示例は人体用のシステムであり、被写体Ｍは検査対象者に相当する。以下では被写体Ｍを「被検者」とも呼ぶ。
The
放射線照射制御装置１２は、撮影制御装置２に接続されており、撮影制御装置２から入力された放射線照射条件に基づいて照射部１１を制御して放射線撮影を行う。
The radiation
撮像部１３は、ＦＰＤ等の半導体イメージセンサにより構成され、照射部１１から照射されて被検者Ｍを透過した放射線を電気信号（画像情報）に変換する。
The imaging unit 13 is configured by a semiconductor image sensor such as an FPD, and converts the radiation irradiated from the
読取制御装置１４は、撮影制御装置２に接続されている。読取制御装置１４は、撮影制御装置２から入力された画像読取条件に基づいて撮像部１３の各画素のスイッチング部を制御して、当該各画素に蓄積された電気信号の読み取りをスイッチングしていき、撮像部１３に蓄積された電気信号を読み取ることにより、画像データを取得する。そして、読取制御装置１４は、取得した画像データ（フレーム画像）を撮影制御装置２に出力する。画像読取条件は、例えば、フレームレート、フレーム間隔、画素サイズ、画像サイズ（マトリックスサイズ）等である。フレームレートは、１秒あたりに取得するフレーム画像数であり、パルスレートと一致している。フレーム間隔は、連続撮影において、１回のフレーム画像の取得動作開始から次のフレーム画像の取得動作開始までの時間であり、パルスレートと一致している。
The
ここで、放射線照射制御装置１２と読取制御装置１４とは互いに接続され、互いに同期信号をやりとりして放射線照射動作と画像の読み取りの動作を同調させるようになっている。
Here, the radiation
サイクル検出部１５は、被検者Ｍの呼吸サイクルを検出して撮影制御装置２の制御部２１に出力する。また、サイクル検出部１５は、被検者Ｍの呼吸サイクルを検出するサイクル検出センサ（不図示）と、サイクル検出センサにより検出された呼吸サイクルの時間を測定し制御部２１に出力する計時部（不図示）とを備える。
The
＜１−２．撮影制御装置２の構成＞
撮影制御装置２は、放射線照射条件や画像読取条件を撮影装置１に出力して撮影装置１による放射線撮影及び放射線画像の読み取り動作を制御するとともに、撮影装置１により取得された動態画像を撮影技師によるポジショニングの確認や診断に適した画像であるか否かの確認用に表示する。
<1-2. Configuration of
The
図１に示すように、撮影制御装置２は、制御部２１と、記憶部２２と、操作部２３と、表示部２４と、通信部２５とを備えて構成され、各部はバス２６により接続されている。
As shown in FIG. 1, the photographing
制御部２１は、ＣＰＵ（Central Processing Unit）やＲＡＭ（Random Access Memory）等により構成される。制御部２１のＣＰＵは、操作部２３の操作に応じて、記憶部２２に記憶されているシステムプログラムや各種処理プログラムを読み出してＲＡＭ内に展開し、展開されたプログラムに従って後述する撮影制御処理を始めとする各種処理を実行し、撮影制御装置２各部の動作や、撮影装置１の動作を集中制御する。
The
記憶部２２は、不揮発性の半導体メモリやハードディスク等により構成される。記憶部２２は、制御部２１で実行される各種プログラムやプログラムによる処理の実行に必要なパラメータ、或いは処理結果等のデータを記憶する。
The
操作部２３は、カーソルキー、数字入力キー、及び各種機能キー等を備えたキーボードと、マウス等のポインティングデバイスとを備えて構成され、キーボードに対するキー操作、マウス操作、あるいは、タッチパネルを介して入力された指示信号を制御部２１に出力する。
The
表示部２４は、カラーＬＣＤ（Liquid Crystal Display）等のモニタにより構成され、制御部２１から入力される表示信号の指示に従って、操作部２３からの入力指示やデータ等を表示する。
The
通信部２５は、ＬＡＮアダプタやモデムやＴＡ（Terminal Adapter）等を備え、通信ネットワークＮＴに接続された各装置との間のデータ送受信を制御する。
The
＜１−３．画像処理装置３（３Ａ，３Ａ’，３Ｂ，３Ｃ）の構成＞
画像処理装置３（３Ａ，３Ａ’，３Ｂ，３Ｃ）は、撮像装置１から送信された動態画像を、撮影制御装置２を介して取得し、医師等が読影診断するための画像を表示する。
<1-3. Configuration of Image Processing Device 3 (3A, 3A ′, 3B, 3C)>
The image processing device 3 (3A, 3A ′, 3B, 3C) acquires the dynamic image transmitted from the
図１に示すように、画像処理装置３（３Ａ，３Ａ’，３Ｂ，３Ｃ）は、制御部３１（３１Ａ，３１Ａ’，３１Ｂ，３１Ｃ）と、記憶部３２と、操作部３３と、表示部３４と、通信部３５とを備えて構成され、各部はバス３６により接続されている。
As shown in FIG. 1, the image processing apparatus 3 (3A, 3A ′, 3B, 3C) includes a control unit 31 (31A, 31A ′, 31B, 31C), a
制御部３１（３１Ａ，３１Ａ’，３１Ｂ，３１Ｃ）は、ＣＰＵ、ＲＡＭ等により構成される。制御部３１（３１Ａ，３１Ａ’，３１Ｂ，３１Ｃ）のＣＰＵは、操作部３３の操作に応じて、記憶部３２に記憶されているシステムプログラムや、各種処理プログラムを読み出してＲＡＭ内に展開し、展開されたプログラムに従って各種処理を実行し、画像処理装置３（３Ａ，３Ａ’，３Ｂ，３Ｃ）各部の動作を集中制御する（詳細は後述する）。
The control unit 31 (31A, 31A ', 31B, 31C) includes a CPU, a RAM, and the like. The CPU of the control unit 31 (31A, 31A ′, 31B, 31C) reads out the system program and various processing programs stored in the
記憶部３２は、不揮発性の半導体メモリやハードディスク等により構成される。記憶部３２は、制御部３１で実行される各種プログラムやプログラムによる処理の実行に必要なパラメータ、或いは処理結果等のデータを記憶する。例えば、記憶部３２は、後述する画像生成処理を実行するための画像生成処理プログラムを記憶している。これらの各種プログラムは、読取可能なプログラムコードの形態で格納され、制御部３１（３１Ａ，３１Ａ’，３１Ｂ，３１Ｃ）は、当該プログラムコードに従った動作を逐次実行する。
The
操作部３３は、カーソルキー、数字入力キー、及び各種機能キー等を備えたキーボードと、マウス等のポインティングデバイスを備えて構成され、キーボードに対するキー操作やマウス操作、あるいは、タッチパネルを介して入力された指示信号を制御部３１（３１Ａ，３１Ａ’，３１Ｂ，３１Ｃ）に出力する。
The
表示部３４は、カラーＬＣＤ等のモニタにより構成され、制御部３１（３１Ａ，３１Ａ’，３１Ｂ，３１Ｃ）から入力される表示信号の指示に従って、操作部３３からの入力指示、データ、及び、後述する表示用画像を表示する。
The
通信部３５は、ＬＡＮアダプタやモデムやＴＡ等を備え、通信ネットワークＮＴに接続された各装置との間のデータ送受信を制御する。
The
＜１−４．情報蓄積装置４の構成＞
図１に示すように、情報蓄積装置４（４Ａ，４Ｃ）は、例えばパーソナル・コンピュータまたはワークステーションを用いたデータベースサーバからなり、カルテ情報記憶部４１（４１Ａ，４１Ｃ）を備えて構成され、制御部３１（３１Ａ，３１Ａ’，３１Ｃ）とはバス３６を介してデータの送受信を行う。カルテ情報記憶部４１（４１Ａ，４１Ｃ）には、被写体Ｍに関する撮影情報が予め記憶されている（詳細は後述する）。
<1-4. Configuration of
As shown in FIG. 1, the information storage device 4 (4A, 4C) is composed of a database server using, for example, a personal computer or a workstation, and includes a chart information storage unit 41 (41A, 41C), and is controlled. The unit 31 (31A, 31A ′, 31C) transmits / receives data via the
＜１−５．情報蓄積装置５の構成＞
図１に示すように、情報蓄積装置５（５Ａ，５Ｂ，５Ｃ）は、例えばパーソナル・コンピュータまたはワークステーションを用いたデータベースサーバからなり、データベース（テンプレート記憶部）５１（５１Ａ，５１Ｂ，５１Ｃ）を備えて構成され、制御部３１（３１Ａ，３１Ａ’，３１Ｂ，３１Ｃ）とはバス３６を介してデータの送受信を行う。データベース５１（５１Ａ，５１Ｂ，５１Ｃ）には、想定される撮影情報を考慮したテンプレートが予め記憶されている（詳細は後述する）。
<1-5. Configuration of
As shown in FIG. 1, the information storage device 5 (5A, 5B, 5C) comprises a database server using, for example, a personal computer or a workstation, and stores a database (template storage unit) 51 (51A, 51B, 51C). The controller 31 (31A, 31A ′, 31B, 31C) transmits and receives data via the
＜２．第１実施形態＞
本発明の第１実施形態における放射線動態画像撮影システム１００の画像処理装置３は、撮影情報（被写体固有情報）を考慮して、肺野領域の抽出処理を行う。
<2. First Embodiment>
The
以下では、画像処理装置３で実現される機能的な構成について説明する。
Below, the functional structure implement | achieved by the
＜２−１．画像処理装置３の機能構成＞
図２は、放射線動態画像撮影システム１００における画像処理装置３において、ＣＰＵ等が各種プログラムに従って動作することにより制御部３１で実現される機能構成を他の構成とともに示す図である。この実施形態の画像処理装置３は、主として心臓および両肺を含む胸部が撮影された動態画像を使用する。
<2-1. Functional configuration of
FIG. 2 is a diagram showing a functional configuration realized by the
制御部３１は、主に、画像取得部１１０と、撮影情報（被写体固有情報）取得部１１５と、画像補正部１２０と、粗抽出決定部１３０と、モデル情報制御部１３５と、精密抽出決定部１４０と、後処理部１５０と、粗抽出処理内容制御部１６０と、対象部位抽出部１７０と、から構成される。
The
以下では、図２で示されたような制御部３１の機能的な構成が、あらかじめインストールされたプログラムの実行によって実現されるものとして説明するが、専用のハードウエア構成で実現されても良い。
In the following description, the functional configuration of the
以降、画像取得部１１０、撮影情報（被写体固有情報）取得部１１５、画像補正部１２０、粗抽出決定部１３０、精密抽出決定部１４０、後処理部１５０、モデル情報制御部１３５、粗抽出処理内容制御部１６０、対象部位抽出部１７０が行う各処理についての具体的内容を、図２を参照しながら順次説明する。
Thereafter, the
＜２−１−１．画像取得部１１０＞
画像取得部１１０では、人体または動物の身体を被写体とし該被写体における肺野領域（所定部位）を一部に含ませて放射線撮影された動画像（医用画像）を取得する。
<2-1-1.
The
なお、図２は、撮像装置１と画像処理装置３との間に、撮影制御装置２が介在し、撮影制御装置２の記憶部２２に記憶された検出データが通信部２５を介して、画像処理装置３の通信部３５に出力される。
In FIG. 2, the
図３は、呼吸に伴う被検者Ｍの胸部の動態に対し、放射線動態画像撮影によって撮影した動画像を例示する図である。図３で示されるように、画像取得部１１０により取得されたフレーム画像Ｇ０（１）〜Ｇ０（１０）は、呼吸サイクルの１周期を一定の撮影タイミングで連続撮影されたものである。具体的には、時刻 ｔ＝ｔ1, ｔ2, ｔ3, …, ｔ10 の撮影タイミングにおいて撮影された画像が、フレーム画像Ｇ０（１），Ｇ０（２），Ｇ０（３），…，Ｇ０（１０）にそれぞれ対応している。
FIG. 3 is a diagram illustrating an example of a moving image captured by radiodynamic image capturing with respect to the dynamics of the chest of the subject M accompanying breathing. As shown in FIG. 3, the frame images G0 (1) to G0 (10) acquired by the
従来は、肺野内の換気状態や血流状態を診断する目的で肺野内の動態機能データを定量的に解析するには、大掛かりな装置による造影撮影が必要であったが、近年は本発明に係る放射線動態画像撮影システム１００のように、造影剤無しの放射線動画像（図３参照）の取得が可能である。
Conventionally, in order to quantitatively analyze the dynamic function data in the lung field for the purpose of diagnosing the ventilation state and blood flow state in the lung field, contrast imaging with a large-scale device has been required. Like the radiation dynamic
しかしながら、これらのフレーム画像Ｇ０の精細な解析を行うためには、まず、肺野領域を正確に抽出し、肺野内を詳細に解析することが重要であるが、取得したフレーム画像Ｇ０の特徴としては、以下の問題がある。まず、（i）胸部単純撮影と比較して数枚分の被曝量であるというように低線量であるため、ノイズが多く不鮮明である。また、（ii）被写体は非健常者が中心であるため、異状が多く局所的な形状が様々である。さらに、（iii）動画が対象であるため、時間方向のバラつきが発生し、静止画像抽出処理のみでは安定しない。 However, in order to perform detailed analysis of these frame images G0, it is important to first extract the lung field region accurately and analyze the lung field in detail. As a feature of the acquired frame image G0, however, Has the following problems. First, (i) it is a low dose such as several exposures compared to the chest simple radiography, so there is a lot of noise and blur. (Ii) Since the subject is mainly a non-healthy person, there are many abnormalities and various local shapes. Further, (iii) since the target is a moving image, variations in the time direction occur, and the still image extraction process alone is not stable.
そこで、本発明の以下の工程（画像補正部１２０、粗抽出決定部１３０、精密抽出決定部１４０、後処理部１５０）では、動画像から肺野領域（対象部位）を抽出する際、強調処理による画像補正を行った後、テンプレートマッチングで大まかに抽出（粗抽出）する処理を実施し、抽出された候補領域に対し、詳細に解析（精密抽出）後、後処理（フィッティング処理）をすることで、抽出精度の向上を実現するようにする。
Therefore, in the following steps of the present invention (the
＜２−１−２．被写体固有情報取得部１１５＞
撮影情報（被写体固有情報）取得部１１５では、放射線撮影前に予め入力された被写体Ｍに関する情報である撮影情報を、情報蓄積装置４におけるカルテ情報記憶部４１から取得する（図２参照）。本実施形態におけるカルテ情報記憶部４１に記憶された撮影情報とは、被写体Ｍの固有の情報を示す被写体固有情報ＩＯを指し、具体的に被写体固有情報ＩＯとは、性別、年齢、胸囲、体重、身長、肺活量等のうち少なくとも何れか１つの情報を指す。
<2-1-2. Subject Specific
The imaging information (subject specific information)
そして、撮影情報取得部１１５は、該被写体固有情報ＩＯを後述のモデル情報制御部１３５におけるモデル選択部１２５に入力する。
The photographing
以下では、カルテ情報記憶部４１に格納された被写体固有情報ＩＯについて具体的に説明する。
Hereinafter, the subject specific information IO stored in the medical chart
＜２−１−２−１．性別情報＞
図４及び図５は、被写体固有情報ＩＯの一例を示す図であり、横隔膜形状の特徴が男性か女性かにより異なることを説明する模式図である。なお、図４（ａ）及び図５（ａ）は女性の場合のサンプル画像ＳＧを示し、図４（ｂ）及び図５（ｂ）は男性の場合のサンプル画像ＳＧを示す。
<2-1-2-1. Gender information>
4 and 5 are diagrams showing an example of the subject specific information IO, and are schematic diagrams for explaining that the feature of the diaphragm shape differs depending on whether it is male or female. 4A and 5A show a sample image SG for a woman, and FIGS. 4B and 5B show a sample image SG for a man.
ここで、一般的に、肺の重さは、男性が平均約１０６０ｇ、女性が平均約９３０ｇであることが知られており（例えば、“リウマチと友にリウマチとつきあう生活”[平成24年6月25日(月)検索]、インターネット<ＵＲＬ：http://www.amm55.com/zouki.html>等参照）、心臓に関しては、女性の心臓の大きさは男性の心臓のおよそ２／３であり、冠動脈も細いことが知られている （例えば、天野恵子、外１名、“循環器領域における性差医学”[平成24年6月25日(月)検索]、インターネット<ＵＲＬ：http://www.syg.co.jp/public/jcs_press05/pdf/round_05.pdf>等参照）。 Here, it is generally known that the average weight of lungs is about 1060 g for men and about 930 g for women (for example, “Life with Rheumatism and Friends with Rheumatology” [2012 6 Month 25 (Monday) search], Internet <URL: http://www.amm55.com/zouki.html>, etc.) Regarding the heart, the size of a female heart is about 2/3 that of a male heart. It is known that the coronary artery is also thin (for example, Keiko Amano, 1 other, “Gender difference medicine in the cardiovascular field” [Monday, June 25, 2012 search], Internet <URL: http: //www.syg.co.jp/public/jcs_press05/pdf/round_05.pdf> etc.)
図４で示されるように、図４（ａ）の女性の場合では、図４（ｂ）の男性の場合と比較して、肺野や心臓の大きさが小さいことが見て取れる。このため、男性の場合と比較して女性の場合は、肺野形状は小さく且つ左右の肺野間の距離が狭い特徴を有する（図４（ａ）及び図４（ｂ）参照）。 As shown in FIG. 4, it can be seen that the size of the lung field and the heart is smaller in the case of the female in FIG. 4A than in the case of the male in FIG. For this reason, in the case of a woman compared with the case of a man, the shape of the lung field is small and the distance between the left and right lung fields is narrow (see FIGS. 4A and 4B).
一方、女性の場合は男性と比較して、胸の大きさによる脂肪分により放射線が透過しにくく、図５（ａ）で示されるように、肋横角付近Ｗ１，Ｗ２に、虚偽の線Ｌ１，Ｌ２が入るためエッジ検出を誤る可能性がある。これに対して、一般的な男性の場合（ただし、胸の大きな力士や肥満体型等の男性を除く）は、上記のような点は問題とならず、図５（ｂ）で示されるように、肋横角付近Ｍ１，Ｍ２の適切な位置にエッジが立つため、正確にエッジが検出される。 On the other hand, in the case of a woman, compared to a man, radiation is less likely to be transmitted due to fat depending on the size of the breast, and as shown in FIG. , L2 may enter, so that edge detection may be erroneous. On the other hand, in the case of a general male (excluding males such as wrestlers with large breasts and obese bodies), the above points are not a problem, as shown in FIG. Since the edge stands at an appropriate position in the vicinity of the horizontal angle M1, M2, the edge is accurately detected.
このように、被写体固有情報取得部１１５では、肺野の形状や状態等に大きく依存する性別情報を取得することが好ましい。
Thus, it is preferable that the subject specific
＜２−１−２−２．年齢情報、胸囲情報、体重情報、身長情報、肺活量情報＞
性別以外にも肺野の形状や状態に大きく依存するファクタとして、年齢情報、胸囲情報、体重情報、身長情報、肺活量情報等が挙げられる。
<2-1-2-2. Age information, chest measurement information, weight information, height information, vital capacity information>
In addition to gender, factors that greatly depend on the shape and state of the lung field include age information, chest circumference information, weight information, height information, vital capacity information, and the like.
例えば、年齢に関しては、幼児と子供と大人とでは、肺野や心臓の大きさが異なり、また、年齢を積む毎に肺も固くなって膨らみにくくなる特徴がある。 For example, regarding the age, infants, children, and adults have different lung fields and heart sizes, and the lungs become harder and harder to swell as the age increases.
また、胸囲に関しては、胸廊の大きさの最も簡にして要を得た表現法であり（例えば、太田俊雄、“胸腔容積に関する研究”、[平成24年6月25日(月)検索]、インターネット<ＵＲＬ：http://dspace.lib.kanazawa-u.ac.jp/dspace/bitstream/2297/13348/1/AN00044397-061-046.pdf>参照）、胸囲の情報をもとに、肺野全体の大きさを推定することが可能である。 In addition, regarding chest circumference, it is the expression method that was most easily obtained for the size of the chest (for example, Toshio Ota, “Study on Thoracic Volume”, [Monday, June 25, 2012 search]] , Internet <URL: http://dspace.lib.kanazawa-u.ac.jp/dspace/bitstream/2297/13348/1/AN00044397-061-046.pdf>), based on chest information, It is possible to estimate the size of the entire lung field.
さらに、肺活量情報からも肺の大きさを推定することも可能であり、以下２つの方法が挙げられる。 Furthermore, it is also possible to estimate the size of the lung from the vital capacity information, and the following two methods can be mentioned.
（方法１）予測肺活量（体重・身長・性別・年齢）
年齢、性別、身長、体重により予測肺活量を算出し、肺の大きさを推定することが可能である。例えば、下記記載の予測肺活量の計算式を用いて推定することが可能である（例えば、“肺移植希望者（レシピエント）選択基準”[平成24年6月25日(月)検索]、インターネット<ＵＲＬ：http://www.jotnw.or.jp/jotnw/law_manual/pdf/rec-lungs.pdf>等参照）。
(Method 1) Predicted vital capacity (weight, height, gender, age)
The predicted vital capacity can be calculated from the age, sex, height and weight, and the size of the lung can be estimated. For example, it is possible to estimate using the formula for calculating the predicted vital capacity described below (for example, “Lung transplant applicant (recipient) selection criteria” [Monday, June 25, 2012 search]), Internet <URL: http://www.jotnw.or.jp/jotnw/law_manual/pdf/rec-lungs.pdf> etc.)
男性： 予測肺活量（L）＝0.045× 身長（cm）−0.023×年齢−2.258
女性： 予測肺活量（L）＝0.032× 身長（cm）−0.018×年齢−1.178
（方法２）肺活量
実際に肺活量の検査により、肺から出入りする空気の量を測って、肺の大きさを推定することができる（例えば、羽島市民病院、“肺の検査”[平成24年6月25日(月)検索]、インターネット<ＵＲＬ：http://www.hashima-hp.jp/bumon/kensa/link_kokyuu.htm>等参照）。
Male: Predicted vital capacity (L) = 0.045 x Height (cm)-0.023 x Age-2.258
Female: Predicted vital capacity (L) = 0.032 x Height (cm)-0.018 x Age-1.178
(Method 2) Vital capacity By examining the vital capacity, it is possible to estimate the size of the lung by measuring the amount of air entering and exiting the lung (for example, Hashima Municipal Hospital, “Lung Examination” [2012 6 Month 25 (Monday) search], Internet <URL: http://www.hashima-hp.jp/bumon/kensa/link_kokyuu.htm> etc.)
このように、被写体固有情報取得部１１５では、性別情報の他、年齢情報、胸囲情報、体重情報、身長情報、肺活量情報等も取得することが好ましい。
As described above, it is preferable that the subject-specific
＜２−１−３．画像補正部１２０＞
画像補正部１２０では、画像取得部１１０において取得される動画像におけるフレーム画像Ｇ０に対して補正処理を実施することで、次処理（粗抽出決定部１３０）で用いられる補正後のフレーム画像ＩＧ０を粗抽出決定部１３０に出力する（図２参照）。
<2-1-3.
The
図６は、フレーム画像Ｇ０の特徴を説明する図である。図６（ａ）はフレーム画像Ｇ０であり、図６（ｂ）は横軸のフレーム画像Ｇ０の背景領域Ｒ１（図６（ａ）参照）における濃淡値に対して、縦軸がその頻度（％）を示すヒストグラムであり、図６（ｃ）は横軸のフレーム画像Ｇ０のプロファイル領域Ｒ２（図６（ａ）参照）の縦方向の座標に対して、縦軸が濃淡値を示すグラフである。 FIG. 6 is a diagram illustrating the characteristics of the frame image G0. 6A shows the frame image G0, and FIG. 6B shows the frequency (%) of the grayscale value in the background region R1 (see FIG. 6A) of the horizontal frame image G0. 6 (c) is a graph in which the vertical axis indicates the gray value with respect to the vertical coordinate of the profile region R2 (see FIG. 6 (a)) of the frame image G0 on the horizontal axis. .
取得したフレーム画像Ｇ０の特徴としては、以下のような特徴がある。すなわち、(１) 図６（ｂ）で示されるように、対象物が何も存在しない背景領域Ｒ１においても、ノイズが多く存在しており、一般的な静止画像に比べ画像全体でノイズ多いという特徴がある。このため、画像全体（肺野内全体）においてＳ／Ｎ比が悪くなる傾向にある。(２) 一方、図６（ｃ）で示されるように、肺野内には、余分な情報（肋骨・血管といった構造物）が存在し、その肺野内の構造物にバラツキあるという特徴がある。このため、エッジが不鮮明となり、肺野領域の抽出処理に影響を与える可能性が高くなる。(３) また、肋横角領域（横隔膜の両端の領域）においては、肋横角付近の濃淡が、肺野内よりも肺野外の周辺濃淡値に近く、心臓領域においては、心臓領域と肺野の境界不鮮明であり、胸郭領域においては、胸郭付近の肺野内外の濃淡値が小さくなるという特徴を有する。 The acquired frame image G0 has the following characteristics. That is, (1) As shown in FIG. 6B, there is a lot of noise even in the background region R1 where there is no object, and it is said that there is a lot of noise in the entire image compared to a general still image. There are features. For this reason, the S / N ratio tends to deteriorate in the entire image (the entire lung field). (2) On the other hand, as shown in FIG. 6C, there is a feature that extra information (structures such as ribs and blood vessels) exists in the lung field, and the structures in the lung field vary. For this reason, the edge becomes unclear and the possibility of affecting the extraction process of the lung field region increases. (3) Further, in the lateral angle region (regions at both ends of the diaphragm), the shade near the lateral angle is closer to the peripheral shade value outside the lung field than in the lung field, and in the heart region, the heart region and the lung field In the thoracic region, there is a feature that the density value inside and outside the lung field near the rib cage becomes small.
そこで、これらの問題点を軽減する為に、上記ノイズを削減し、且つ、肺野内の構造物の影響を軽減するような処理として、肺野領域を明瞭にするいわゆる「強調処理」を実施する。 Therefore, in order to reduce these problems, so-called “enhancement processing” for clarifying the lung field region is performed as processing for reducing the noise and reducing the influence of the structure in the lung field. .
図７は、画像補正部１２０において実施する強調処理方法を説明する図である。図７（ａ）はフレーム画像Ｇ０を示し、図７（ｂ）はこのフレーム画像Ｇ０に対してノイズ削減処理を施した後のフレーム画像Ｇ１を示す。そして、図７（ｃ）はフレーム画像Ｇ１の所定の領域に対するエリア内強調処理を施した後のフレーム画像Ｇ２を示し、図７（ｄ）はフレーム画像Ｇ２の全体領域に対する全体強調処理を施した後のフレーム画像ＩＧ０を示す。また、図７（ｂ）〜図７（ｄ）の下段にはそれぞれ、横軸を肺野領域における濃淡値とし、縦軸をその頻度（％）とするヒストグラムを示している。
FIG. 7 is a diagram illustrating an enhancement processing method performed in the
図７（ｂ）〜図７（ｄ）で示されるヒストグラムからわかるように、図７（ｂ）ではノイズが多く、濃淡値が大きい白の領域が少ないものの、強調処理による画像処理を施すことで、図７（ｃ）、図７（ｄ）ではノイズが軽減され白（濃淡値が大）の領域が増加している様子がわかる。 As can be seen from the histograms shown in FIG. 7B to FIG. 7D, in FIG. 7B, although there is a lot of noise and a small white area with a large gray value, image processing by enhancement processing is performed. 7 (c) and 7 (d), it can be seen that the noise is reduced and the white area (large gray value) is increasing.
以下では、画像補正部１２０が行う工程について順次説明する。
Hereinafter, steps performed by the
＜２−１−３−１．ノイズ削減処理＞
画像補正部１２０が最初に行う工程は、画像全体に存在するノイズを削減する目的としてノイズ削減処理を実施する。ノイズ削減処理として、例えば、フレーム画像Ｇ０からフレーム画像Ｇ１に縮小する縮小処理（図７（ａ）から図７（ｂ）の処理）や平均値フィルタをかける処理等が挙げられる。例えば、縮小処理を実施する場合、その縮小方法は、選択エリア内の平均の画素値（濃淡値）でも良いが、選択エリア内の最大の画素値を選択して縮小するようにしても良い。なお、ここでいう最大の画素値とは、肺野内領域における画素値が用いられる。
<2-1-3-1. Noise reduction processing>
The first step performed by the
図８は、選択エリア内の最大の画素値を選択して縮小する処理内容を説明する図である。図８（ａ）はフレーム画像Ｇ０及び選択エリアＲ３を示す図であり、図８（ｂ）はフレーム画像Ｇ０の選択エリアＲ３の拡大図であり、選択エリアＲ３内の最大の画素値Ｐｍを示す図である。図８（ｃ）はフレーム画像Ｇ０及びエリアＲ４を示す図であり、図８（ｄ）はフレーム画像Ｇ０のエリアＲ４の拡大図であり、図８（ｅ）はフレーム画像Ｇ０のエリアＲ４に対する縮小処理後のフレーム画像Ｇ１のエリアＲ４を示す拡大図である。 FIG. 8 is a diagram for explaining the processing contents for selecting and reducing the maximum pixel value in the selection area. FIG. 8A is a diagram showing the frame image G0 and the selection area R3, and FIG. 8B is an enlarged view of the selection area R3 of the frame image G0, and shows the maximum pixel value Pm in the selection area R3. FIG. FIG. 8C is a diagram showing the frame image G0 and the area R4, FIG. 8D is an enlarged view of the area R4 of the frame image G0, and FIG. 8E is a reduction of the area R4 of the frame image G0. It is an enlarged view which shows area R4 of the frame image G1 after a process.
図８で示されるように、最大の画素値Ｐｍを選択することにより（図８（ｂ）参照）、肺野内の最小値側の画素値（すなわち、ノイズ）を削減することができるため、肺野内の濃度を強調可能にし、肺野内のノイズの影響を低減できる効果を奏する（図８（ｄ）及び図８（ｅ）参照）。なお、最大の画素値Ｐｍ側のノイズが拡大される場合は、スムージングを実施するようにしても良い。 As shown in FIG. 8, by selecting the maximum pixel value Pm (see FIG. 8B), the pixel value (that is, noise) on the minimum value side in the lung field can be reduced. The density in the field can be emphasized, and the effect of reducing the influence of noise in the lung field can be achieved (see FIGS. 8D and 8E). Note that when the noise on the maximum pixel value Pm side is enlarged, smoothing may be performed.
＜２−１−３−２．エリア内強調処理＞
続いて、画像補正部１２０は、肺野内の構造物の影響低減を実施する為ために、エリア内強調処理（図７（ｂ）から図７（ｃ）の処理）を実施する。具体的に、エリア内強調処理の方法としては、所望の固定領域に対してヒストグラムの強調処理を実施しても良いが、よりロバスト性を求める場合は、入力画像（フレーム画像Ｇ１）のプロファイルの特性に応じて矩形を変更しても良い。
<2-1-3-2. Area enhancement processing>
Subsequently, the
図９は、エリア内強調処理における矩形範囲の選択方法の一例を説明する図である。図９で示されるように、縦方向のプロファイルは、フレーム画像Ｇ１のＹ座標に対する累積濃淡値を示し、横方向のプロファイルは、フレーム画像Ｇ１のＸ座標に対する累積濃淡値を示す。それぞれのプロファイルにおける変化点Ｐｘ１，Ｐｘ２，Ｐｙ１，Ｐｙ２を抽出し、これらの変化点Ｐｘ１，Ｐｘ２，Ｐｙ１，ｐｙ２により矩形範囲Ｒ５を決定することができる。 FIG. 9 is a diagram illustrating an example of a rectangular range selection method in the in-area enhancement process. As shown in FIG. 9, the profile in the vertical direction indicates a cumulative gray value with respect to the Y coordinate of the frame image G1, and the profile in the horizontal direction indicates a cumulative gray value with respect to the X coordinate of the frame image G1. The change points Px1, Px2, Py1, and Py2 in each profile are extracted, and the rectangular range R5 can be determined based on these change points Px1, Px2, Py1, and py2.
＜２−１−３−３．全体強調処理＞
画像補正部１２０の最後の工程として、肺野内の構造物の影響を低減するために、画像全体の強調処理（図７（ｃ）から図７（ｄ）の処理）を実施する。
<2-1-3-3. Overall enhancement processing>
As the final step of the
例えば、固定の閾値を設け、その閾値により強調処理を実施する。図１０は、全体強調処理の一例を説明する図であり、図１０（ａ）はフレーム画像Ｇ２とヒストグラム（図７（ｃ）と同様）を示し、図１０（ｂ）は補正後のフレーム画像ＩＧ０とヒストグラム（図７（ｄ）と同様）を示す。図１０では、白の画素値を固定の閾値として強調処理を実施した場合の結果であり、図１０（ａ）のフレーム画像Ｇ２では、肺野領域を含め全体的に黒の領域が多かったのに対し、全体強調処理を施した図１０（ｂ）の補正後のフレーム画像ＩＧ０では、肺野領域を含め全体的に白の領域が強調されていることがわかる。また、図１０（ｂ）のヒストグラムにおいても、横軸の濃淡値が小さい黒側の頻度が図１０（ａ）のヒストグラムに比べて減少している様子が見て取れる。 For example, a fixed threshold value is provided, and enhancement processing is performed using the threshold value. 10A and 10B are diagrams for explaining an example of the overall enhancement processing. FIG. 10A shows a frame image G2 and a histogram (similar to FIG. 7C), and FIG. 10B shows a corrected frame image. IG0 and a histogram (similar to FIG. 7D) are shown. FIG. 10 shows a result when emphasis processing is performed with a white pixel value as a fixed threshold value. In the frame image G2 in FIG. 10A, the entire black region including the lung field region is large. On the other hand, in the corrected frame image IG0 of FIG. 10B subjected to the overall enhancement processing, it can be seen that the white area is entirely enhanced including the lung field area. Also, in the histogram of FIG. 10B, it can be seen that the frequency on the black side where the gray value on the horizontal axis is small is reduced compared to the histogram of FIG.
このような固定の閾値により全体強調処理を実施する方法だけでなく、別の方法により閾値を設定しても良い。例えば、フレーム画像Ｇ２全体の累積ヒストグラムを算出し、その累積率から閾値を決定してもよいし、また、算出した累積ヒストグラムに加え、上記で設定したエリアＲ５（図７参照）の面積に基づいて累積率の閾値を変動させる方法により実施してもよい。 The threshold value may be set not only by the method of performing the whole enhancement process with such a fixed threshold value but also by another method. For example, a cumulative histogram of the entire frame image G2 may be calculated, and a threshold value may be determined from the cumulative rate. In addition to the calculated cumulative histogram, based on the area of the area R5 (see FIG. 7) set above. Alternatively, the method may be performed by a method of changing the threshold value of the accumulation rate.
＜２−１−４．粗抽出決定部１３０＞
粗抽出決定部１３０では、動画像に基づく時間的に連続した第１〜第ｎのフレーム画像（ｎは２以上の整数）に対して、第１〜第ｎのテンプレートを用いてそれぞれテンプレートマッチングを行い、肺野領域（所定部位を含む領域）を粗く抽出し、第１〜第ｎの粗抽出領域を順次決定する粗抽出処理を行う。ここでいう動画像に基づく時間的に連続した第１〜第ｎのフレーム画像とは、画像補正部１２０において補正されたフレーム画像ＩＧ０を指す。すなわち、粗抽出決定部１３０における粗抽出処理は、先見的知識を用いて巨視的に捉えることで、大外れをなくす処理であり、部位候補位置をモデルベースの手法の１つであるテンプレートマッチングにより実施する。
<2-1-4. Coarse
The rough
図１１は、粗抽出決定部１３０における粗抽出処理について説明する図であり、図１１（ａ）は入力画像であるフレーム画像ＩＧ０を示し、図１１（ｂ）は出力画像である粗抽出画像ＩＧ１を示す。すなわち、粗抽出決定部１３０は、第１のフレーム画像ＩＧ０（１）〜第ｎのフレーム画像ＩＧ０（ｎ）に対して、第１の粗抽出画像ＩＧ１（１）〜第ｎの粗抽出画像ＩＧ１（ｎ）の出力画像を順次出力する。ここで、第１〜第ｎの粗抽出画像ＩＧ１（１）〜ＩＧ１（ｎ）における第１〜第ｎの粗抽出領域は、それぞれ、図１１（ｂ）で示されるように、肺野領域の内部であることが確定される領域の情報を含む肺野内確定領域（所定部位内確定領域）ＲＩと、肺野領域の外部であることが確定される領域の情報を含む肺野外確定領域（所定部位外確定領域）ＲＯと、肺野領域の内部または外部であることが未確定な領域の情報を含む肺野未確定領域（所定部位未確定領域）ＲＵと、を有する領域である。
11A and 11B are diagrams for explaining the rough extraction process in the rough
このように、粗抽出処理は、次工程の精密抽出決定部１４０にて実施する精密抽出処理を行うにあたり、肺野内確定領域ＲＩと肺野外確定領域ＲＯとをできるだけ増やすことで、肺野未確定領域ＲＵの切り分けを容易にすることを目的として実施する。
As described above, in the rough extraction process, in performing the precise extraction process performed by the precise
これにより、第１〜第ｎの粗抽出領域において肺野未確定領域ＲＵを可変設定することが可能となり、適切に肺野未確定領域ＲＵを設定することにより次工程の精密抽出処理を比較的短時間で行い、かつ、より正確な精密抽出領域を決定することを可能にする。 As a result, it is possible to variably set the lung field undetermined region RU in the first to nth coarse extraction regions. This makes it possible to determine a precise extraction region that is performed in a short time and is more accurate.
図１２は、粗抽出処理で用いられる肺野の形状や大きさを考慮したテンプレートの一覧を示す模式図である。また、図１３は、横隔膜及び心臓の形状や大きさの個人差を例示する模式図であり、図１４は、後処理部でとりわけ補正が必要となる領域（精密抽出処理が苦手とする領域）を例示する模式図である。本実施形態で抽出する肺野領域は、入力画像ＩＧ０において、次のような特徴を有する。 FIG. 12 is a schematic diagram showing a list of templates in consideration of the shape and size of the lung field used in the rough extraction process. FIG. 13 is a schematic diagram illustrating individual differences in the shape and size of the diaphragm and heart. FIG. 14 is a region that requires correction in the post-processing unit (region that is difficult to perform precise extraction processing). It is a schematic diagram which illustrates this. The lung field region extracted in the present embodiment has the following characteristics in the input image IG0.
すなわち、(I)肺野全体としては、肺野の縦サイズが大きく異なり（図１３（ａ）〜図１３（ｃ）参照）、肺野内部に境界候補が多く存在する。(II)横隔膜としては、左右位置のバリエーションが多く、心臓幅によって、横隔膜の見え幅が異なる（図１３（ｄ）〜図１３（ｆ）参照）。(III)心臓においては、境界が不鮮明であり（図１４（ａ）参照）、鎖骨や肋骨等の領域においては、エッジの強い部分を肺野境界(肺尖部)と誤認する恐れがある（図１４（ｂ）参照）。(IV)肋横角においては、境界が不鮮明で体表との距離が近く、(V)大動脈においては、人それぞれによる形状が異なる。 That is, (I) The lung field as a whole is greatly different in vertical size (see FIGS. 13A to 13C), and there are many boundary candidates inside the lung field. (II) The diaphragm has many variations in the left and right positions, and the visible width of the diaphragm varies depending on the heart width (see FIGS. 13 (d) to 13 (f)). (III) In the heart, the boundary is unclear (see FIG. 14 (a)), and in areas such as the collarbone and ribs, there is a possibility that a strong edge is mistaken as a lung field boundary (pulmonary apex) ( (Refer FIG.14 (b)). (IV) In the lateral angle, the boundary is unclear and the distance from the body surface is close, and in (V) the aorta, the shape of each person is different.
このような特徴があることから、本発明では、単純に肺野全体のテンプレート処理により抽出するのではなく、図１２で示されるように、各主要な部分毎にテンプレートマッチング処理を実施し、テンプレートと対象部位との形状違いや上述の肺野領域の特徴（図１３及び図１４参照）を考慮して、テンプレートで巨視的な形状を捉える。 Because of such characteristics, the present invention does not simply extract the entire lung field by template processing, but performs template matching processing for each major part as shown in FIG. The macroscopic shape is captured by the template in consideration of the difference in shape between the target region and the target region and the characteristics of the above-described lung field region (see FIGS. 13 and 14).
以上のように、本実施形態における第１〜第ｎのフレーム画像ＩＧ０で用いる第１〜第ｎのテンプレートは、それぞれ、領域Ｓ１，Ｓ２Ｒ，Ｓ２Ｌにおける横隔膜の形状を各々表現した横隔膜テンプレートＴ１，Ｔ２Ｒ，Ｔ２Ｌ（図１２（ａ）及び図１２（ｂ）参照）と、領域Ｓ３における心臓の形状を表現した心臓テンプレートＴ３（図１２（ｃ）参照）と、領域Ｓ４Ｒ，Ｓ４Ｌにおける肺尖部の形状を各々表現した肺尖部テンプレートＴ４Ｒ，Ｔ４Ｌ（図１２（ｄ）参照）と、領域Ｓ５における大動脈弓の形状を表現した大動脈弓テンプレートＴ５（図１２（ｅ）参照）と、の組合せで肺野領域の巨視的な形状を捉える。 As described above, the first to nth templates used in the first to nth frame images IG0 in the present embodiment are diaphragm templates T1, T2R respectively representing the shapes of the diaphragms in the regions S1, S2R, S2L. , T2L (see FIGS. 12A and 12B), a heart template T3 (see FIG. 12C) representing the shape of the heart in the region S3, and the shape of the lung apex in the regions S4R and S4L In combination with pulmonary apex templates T4R and T4L (see FIG. 12 (d)) and aortic arch template T5 (see FIG. 12 (e)) representing the shape of the aortic arch in region S5. Capture the macroscopic shape of the region.
なお、テンプレートマッチング処理を行う順番は、横隔膜テンプレートＴ１、横隔膜テンプレートＴ２Ｒ，Ｔ２Ｌまたは肺尖部テンプレート４Ｒ，Ｔ４Ｌ、心臓テンプレートＴ３または大動脈弓テンプレートＴ５の順番にてマッチングさせることが好ましい。これより、肺野領域の抽出をより正確に行うことが可能となる。
Note that the template matching process is preferably performed in the order of the diaphragm template T1, the diaphragm templates T2R, T2L, the
＜２−１−４−１．データベース（テンプレート記憶部）５１＞
続いて、粗抽出決定部１３０にて用いるテンプレートを格納するデータベース（テンプレート記憶部）５１について説明する。データベース５１では、本実施形態に係るテンプレートが上述した各部位ごとの形状の個人差に対して被写体固有情報ＩＯに基づいてグループ分けされて格納されている。すなわち、被写体固有情報取得部１１５にて取得される被写体固有情報ＩＯを考慮したテンプレートが予め準備され、各テンプレートには、性別、年齢、胸囲、体重、身長、肺活量等に関係する情報を示す属性情報が予め付されてグループ別にデータベース５１に格納されている。
<2-1-4-1. Database (Template Storage Unit) 51>
Next, the database (template storage unit) 51 that stores templates used in the rough
例えば、被写体固有情報ＩＯが「性別」の場合については、性別を基に作成したテンプレートを準備する。前述の図４及び図５の例で説明すると、横隔膜テンプレートＴ１のうち、図４（ａ）及び図５（ａ）には「女性」という属性が予め付されており、図４（ｂ）及び図５（ｂ）には「男性」という属性が予め付されてデータベース５１にそれぞれグループ別に格納されている。また、図５（ａ）で示されるように、女性の場合は、肋横角付近Ｗ１，Ｗ２に虚偽の線Ｌ１，Ｌ２が出現する可能性があるため、通常と異なる位置にエッジが立つことを想定したテンプレートを複数用意し、例えば「女性・エッジ」といった属性情報を予め付与してデータベース５１に格納することも可能である。
For example, when the subject specific information IO is “sex”, a template created based on the sex is prepared. In the example of FIGS. 4 and 5 described above, in the diaphragm template T1, FIGS. 4 (a) and 5 (a) have the attribute “female” attached in advance, and FIG. 4 (b) and FIG. In FIG. 5B, the attribute “male” is assigned in advance and stored in the
また、被写体固有情報ＩＯが「年齢」の場合については、上述の通り、年齢により心臓の大きさや肺そのものの大きさが異なることから、年齢情報を基に作成したテンプレートを準備する。グループ分けとしては、少なくとも幼児・子供・大人の３パターンは用意することが好ましく、３パターン以上詳細にグループ分けして用意することがより好ましい。この際、「幼児」「子供」「大人」のほか、「１０代」「２０代」などの属性が予め付されてデータベース５１にそれぞれグループ別に格納されている。
Further, when the subject specific information IO is “age”, as described above, since the size of the heart and the size of the lung itself differ depending on the age, a template created based on the age information is prepared. As for grouping, it is preferable to prepare at least three patterns of infants, children, and adults, and it is more preferable to prepare groups of three patterns or more in detail. At this time, in addition to “infant”, “child”, and “adult”, attributes such as “10's” and “20's” are added in advance and stored in the
また、被写体固有情報ＩＯが「胸囲」の場合についても、胸囲情報を基に作成したテンプレートを準備する。グループ分けとしては、例えば、７０ｃｍ代、８０ｃｍ代、９０ｃｍ代等にグループ分けして作成したテンプレートを用意することがより好ましい。この際、「７０ｃｍ代」「８０ｃｍ代」「９０ｃｍ代」などの属性が予め付されてデータベース５１にそれぞれグループ別に格納されている。
A template created based on the chest circumference information is also prepared when the subject unique information IO is “chest circumference”. As grouping, for example, it is more preferable to prepare templates created by grouping into 70 cm, 80 cm, 90 cm, and the like. At this time, attributes such as “70 cm generation”, “80 cm generation”, and “90 cm generation” are assigned in advance and stored in the
さらに、被写体固有情報ＩＯが「体重」「身長」「肺活量」等であり、これらの情報から肺の大きさを推定した場合についても、肺の大きさの推定結果をもとに、グループ分けして作成したテンプレートを用意することがより好ましい。この際、「推定結果１」「推定結果２」「推定結果３」などの属性が予め付されてデータベース５１にそれぞれグループ別に格納されている。
Furthermore, when the subject-specific information IO is “weight”, “height”, “spirit capacity”, etc., and the lung size is estimated from these pieces of information, it is divided into groups based on the estimation result of the lung size. It is more preferable to prepare a template created in this way. At this time, attributes such as “
以上のように、データベース５１には、性別、年齢、胸囲、体重、身長、肺活量等の複数のファクタによる属性情報が付与されたテンプレートがそれぞれのグループ毎に格納されている。例えば、後述する図４５に示すように、属性に基づき階層構造にグループ分類された領域に格納するようにしてもよい。なお、上記では属性を個別に説明したが、各テンプレートには複数の属性が付与されてもよい。
As described above, the
以下では、具体的な各部位のテンプレート及び粗抽出処理を部位毎に説明する。 Below, the specific template and rough extraction process of each part are demonstrated for every part.
＜２−１−４−２．横隔膜における粗抽出処理＞
横隔膜の位置及び形状の特徴としては、肺野や心臓の大きさが異なるため、横隔膜の形状が異なるとともに、横隔膜の位置が左右で異なるという課題がある。そこで、本実施形態では、横隔膜の形状の差異に対して、縦横変倍の複数テンプレートを用いることで対応し、横隔膜の左右の位置関係については、左右独立のテンプレートを用いることで対応を行う。そして、横隔膜のテンプレートマッチングにおいて、粗抽出決定部１３０が、縦横変倍の複数テンプレート及び左右独立のテンプレートを用いて、順次にそれぞれマッチングさせることで、テンプレートマッチング処理を行う（以下「２段階テンプレートマッチング」と称する）。
<2-1-4-2. Rough extraction process on diaphragm>
As features of the position and shape of the diaphragm, there are problems in that the sizes of the lung field and the heart are different, so that the shape of the diaphragm is different and the position of the diaphragm is different on the left and right. Therefore, in the present embodiment, the difference in the shape of the diaphragm is dealt with by using a plurality of templates of vertical and horizontal magnification, and the left and right positional relationship of the diaphragm is dealt with by using left and right independent templates. Then, in the template matching of the diaphragm, the rough
＜２−１−４−２−１．縦横変倍の複数テンプレートの生成方法＞
図１５は、本発明で予め準備する縦横変倍の複数テンプレートを例示する図である。図１５（ａ）〜図１５（ｄ）はサンプル画像ＳＧであり、図１５（ｅ）〜図１５（ｈ）は図１５（ａ）〜図１５（ｄ）のサンプル画像ＳＧの横隔膜の形状を各々表現した横隔膜テンプレートＴ１１〜Ｔ１４を模式的に示す図である。
<2-1-4-2-1. Generating multiple templates for vertical / horizontal scaling>
FIG. 15 is a diagram illustrating a plurality of templates for vertical / horizontal scaling prepared in advance in the present invention. 15A to 15D are sample images SG, and FIGS. 15E to 15H are the shapes of the diaphragms of the sample images SG of FIGS. 15A to 15D. It is a figure which shows typically the diaphragm template T11-T14 each represented.
図１５で示されるように、横隔膜の形状にはかなりの個人差があり、とりわけ心臓の大きさにより横隔膜の形状が異なる。したがって、サンプル画像ＳＧに対してパターンの分類を行うことにより作成する。作成ポイントとしては、心臓の大きさにより分類し、作成する。 As shown in FIG. 15, there are considerable individual differences in the shape of the diaphragm, and in particular, the shape of the diaphragm varies depending on the size of the heart. Therefore, it creates by classifying the pattern on the sample image SG. The creation points are classified and created according to the size of the heart.
図１６は、４種類の縦横変倍の複数テンプレートを生成する方法の一例を説明する概念図である。図１６で示されるように、まず、サンプル画像ＳＧの横隔膜を含む領域Ｓ１を指定し（図１６（ａ）参照）、指定した領域Ｓ１を手動で切り出す（図１６（ａ）参照）。そして、テンプレート生成用のサンプル画像ＳＧ（図１６（ｃ）参照）に対しても同様に、指定した領域Ｓ１を手動で各々切り出す（図１６（ｄ）参照）。図１６（ｄ）において指定した領域Ｓ１のグループ分けした４種類毎の平均画像（各種類毎に図１６（ｄ）で示す切り出し画像の平均により得られる画像）により４種類の横隔膜テンプレートＴ１１〜Ｔ１４を生成する（図１６（ｅ）参照）。 FIG. 16 is a conceptual diagram illustrating an example of a method for generating four types of vertical / horizontal scaling multiple templates. As shown in FIG. 16, first, the region S1 including the diaphragm of the sample image SG is designated (see FIG. 16A), and the designated region S1 is manually cut out (see FIG. 16A). Similarly, the designated region S1 is manually cut out for the sample image SG for template generation (see FIG. 16C) (see FIG. 16D). Four types of diaphragm templates T11 to T14 are obtained by averaging four types of average images (images obtained by averaging the cut-out images shown in FIG. 16D for each type) of the region S1 designated in FIG. Is generated (see FIG. 16E).
＜２−１−４−２−２．左右独立のテンプレートの生成方法＞
図１７は左右の肺野における高さの違いを説明する模式図である。図１７で示されるように、左右肺の高さに違いがある場合もあることから、上記の横隔膜テンプレートＴ１１〜Ｔ１４だけでは、正確に横隔膜の位置を特定することができない。
<2-1-4-2-2. How to generate independent left and right templates>
FIG. 17 is a schematic diagram for explaining the difference in height between the left and right lung fields. As shown in FIG. 17, there may be a difference in the heights of the left and right lungs. Therefore, the diaphragm position cannot be accurately specified only by the diaphragm templates T11 to T14.
そこで、本発明では、左右別々の横隔膜テンプレートを作成する。この時の作成ポイントとしては、肺野大きさが異なることを考慮し、切り出した横隔膜に対し、正規化処理により大きさを統一したものを作成する。 Therefore, in the present invention, left and right diaphragm templates are created. As the creation point at this time, in consideration of the fact that the lung field sizes are different, the cut out diaphragm is created by unifying the size by normalization processing.
図１８は左側横隔膜及び右側横隔膜テンプレートを生成する方法の一例を説明する概念図である。図１８で示されるように、まず、サンプル画像ＳＧの横隔膜を含む左側領域Ｓ２Ｌ及び右側領域Ｓ２Ｒを指定し（図１８（ａ）参照）、指定した左側領域Ｓ２Ｌ及び右側領域Ｓ２Ｒを手動で切り出す（図１８（ｂ）参照）。そして、図１８（ｃ）で示されるテンプレート生成用のサンプル画像ＳＧに対しても同様に、指定した左側領域Ｓ２Ｌ及び右側領域Ｓ２Ｒを手動で各々切り出す（図１８（ｄ）参照）。図１８（ｄ）において指定した、左側領域Ｓ２Ｌのグループ分けした４種類毎の平均画像により横隔膜テンプレートＴ２Ｌ１〜Ｔ２Ｌ４を生成し、右側領域Ｓ２Ｒのグループ分けした４種類毎の平均画像により横隔膜テンプレートＴ２Ｒ１〜Ｔ２Ｒ４を生成する（図１８（ｅ）参照）。 FIG. 18 is a conceptual diagram illustrating an example of a method for generating the left diaphragm and the right diaphragm template. As shown in FIG. 18, first, the left region S2L and the right region S2R including the diaphragm of the sample image SG are designated (see FIG. 18A), and the designated left region S2L and right region S2R are manually cut out (see FIG. 18). (Refer FIG.18 (b)). Similarly, the designated left region S2L and right region S2R are manually cut out from the template generation sample image SG shown in FIG. 18C (see FIG. 18D). The diaphragm templates T2L1 to T2L4 are generated from the average images for each of the four types grouped in the left region S2L and specified in FIG. T2R4 is generated (see FIG. 18E).
＜２−１−４−２−３．２段階テンプレートマッチング＞
粗抽出決定部１３０では、横隔膜のテンプレートマッチングにおいて、予め準備した、縦横変倍の複数の横隔膜テンプレートＴ１１〜Ｔ１４及び左右独立の横隔膜テンプレートＴ２Ｌ１〜Ｔ２Ｌ４，Ｔ２Ｒ１〜Ｔ２Ｒ４を用いて、フレーム画像ＩＧ０の横隔膜領域に対して順次にマッチングさせることで２段階テンプレートマッチングを行う。
<2-1-4-2-3.2 template matching>
The rough
図１９は、２段階テンプレートマッチングを説明する模式図である。図１９で示されるように、まず、図１９（ａ）の縦横変倍の複数の横隔膜テンプレートＴ１１〜Ｔ１４と、図１９（ｂ）の左右独立の横隔膜テンプレートＴ２Ｌ１〜Ｔ２Ｌ４及びＴ２Ｒ１〜Ｔ２Ｒ４とを予め準備する。次に、フレーム画像ＩＧ０に対して横隔膜テンプレートＴ１（Ｔ１１〜Ｔ１４）を用いて第１のテンプレートマッチングを行い、テンプレート一致結果に対し中心ラインＣＬを決定し、当該中心ラインＣＬで左右の肺野の切り分けを行う（図１９（ｃ）参照）。そして、切り分けられた左右の探索領域をベースにして、横隔膜テンプレートＴ２Ｌ（Ｔ２Ｌ１〜Ｔ２Ｌ４）及びＴ２Ｒ（Ｔ２Ｒ１〜Ｔ２Ｒ４）を用いて、第２のテンプレートマッチングを行う（図１９（ｄ）参照）。図１９で示されるような左右の肺野の高さが異なる場合は、第１のテンプレートだけでは精度が低いが、このような第２のテンプレートを活用することで一致度が高くなる。 FIG. 19 is a schematic diagram for explaining the two-step template matching. As shown in FIG. 19, first, a plurality of diaphragm templates T11 to T14 with vertical and horizontal scaling in FIG. 19A and left and right independent diaphragm templates T2L1 to T2L4 and T2R1 to T2R4 in FIG. prepare. Next, the first template matching is performed on the frame image IG0 using the diaphragm template T1 (T11 to T14), the center line CL is determined for the template matching result, and the left and right lung fields are determined by the center line CL. Carving is performed (see FIG. 19C). Then, second template matching is performed using the diaphragm templates T2L (T2L1 to T2L4) and T2R (T2R1 to T2R4) based on the cut left and right search regions (see FIG. 19D). When the left and right lung fields have different heights as shown in FIG. 19, the accuracy is low only with the first template, but the degree of coincidence is increased by using such a second template.
このように実施した２段階テンプレートマッチングの結果に基づいて、横隔膜領域に対して、肺野内確定領域ＲＩと肺野外確定領域ＲＯと肺野未確定領域ＲＵとの切り分けを行う。 Based on the result of the two-step template matching performed in this manner, the lung region confirmed region RI, the lung field confirmed region RO, and the lung field undetermined region RU are separated from the diaphragm region.
＜２−１−４−３．心臓における粗抽出処理＞
心臓の位置及び形状の特徴としては、呼吸と異なる時間的変化となるため、作成した横隔膜テンプレートと完全に一致するとは限らない。したがって、呼吸の周期と心拍の周期とを切り分け対応するために心臓テンプレートを予め準備しておく必要がある。
<2-1-4-3. Coarse extraction process in heart>
Since the heart position and shape are characterized by temporal changes different from those of respiration, they do not always match the created diaphragm template. Therefore, it is necessary to prepare a heart template in advance in order to separate and correspond to the respiratory cycle and the heartbeat cycle.
＜２−１−４−３−１．心臓テンプレートの生成方法＞
本発明の粗抽出処理で予め準備する心臓テンプレートは、横隔膜（図１５参照）と同様に、サンプル画像ＳＧに対してパターンの分類を行うことにより生成する。作成ポイントとしては、スケールは、変倍にしても良いが、上記横隔膜テンプレートＴ１１〜Ｔ１４で算出された倍率サイズを活用しても良い。
<2-1-4-3-1. Generation method of heart template>
The heart template prepared in advance by the rough extraction process of the present invention is generated by classifying the pattern on the sample image SG in the same manner as the diaphragm (see FIG. 15). As the creation point, the scale may be changed, but the magnification size calculated by the diaphragm templates T11 to T14 may be used.
図２０は、心臓テンプレートを生成する方法の一例を説明する概念図である。図２０で示されるように、まず、サンプル画像ＳＧの心臓を含む領域Ｓ３を指定し（図２０（ａ）参照）、指定した領域Ｓ３を手動で切り出す（図２０（ａ）参照）。そして、図２０（ｃ）で示されるテンプレート生成用のサンプル画像ＳＧに対しても同様に、指定した領域Ｓ３を手動で各々切り出す（図２０（ｄ）参照）。図２０（ｄ）において指定した領域Ｓ３のグループ分けした４種類毎の平均画像により心臓テンプレートＴ３１〜Ｔ３４を生成する（図２０（ｅ）参照）。 FIG. 20 is a conceptual diagram illustrating an example of a method for generating a heart template. As shown in FIG. 20, first, a region S3 including the heart of the sample image SG is designated (see FIG. 20A), and the designated region S3 is manually cut out (see FIG. 20A). Similarly, the designated region S3 is manually cut out for the template generation sample image SG shown in FIG. 20C (see FIG. 20D). Cardiac templates T31 to T34 are generated from the average images for each of the four types grouped in the region S3 designated in FIG. 20D (see FIG. 20E).
＜２−１−４−３−２．心臓テンプレートマッチング＞
図２１は、心臓テンプレートＴ３（Ｔ３１〜Ｔ３４）によるテンプレートマッチング方法を説明する模式図である。図２１で示されるように、心臓テンプレートマッチングの方法は、まず、上記の横隔膜テンプレートＴ１，Ｔ２Ｌ，Ｔ２Ｒを用いてマッチングを行い（図１９（ｃ）及び図１９（ｄ）参照）、抽出された左肺の横隔膜位置の情報をベースに、心臓テンプレートＴ３（Ｔ３１〜Ｔ３４）（図２０（ｅ）参照）を用いて心臓の位置及び形状を探索する。具体的には、横隔膜の位置に対し、オフセットを加えた範囲ＳＲに対してテンプレートマッチングを行う。つまり、横隔膜の探索結果とリンクした形で行うことで、より位置関係を精度よく抽出することができる。
<2-1-4-3-3-2. Heart template matching>
FIG. 21 is a schematic diagram for explaining a template matching method using the heart template T3 (T31 to T34). As shown in FIG. 21, in the heart template matching method, first, matching is performed using the diaphragm templates T1, T2L, and T2R (see FIGS. 19 (c) and 19 (d)) and extracted. Based on the information of the diaphragm position of the left lung, the position and shape of the heart are searched using the heart template T3 (T31 to T34) (see FIG. 20E). Specifically, template matching is performed for a range SR in which an offset is added to the position of the diaphragm. In other words, the positional relationship can be extracted with higher accuracy by linking with the search result of the diaphragm.
＜２−１−４−４．肺尖部における粗抽出処理＞
肺尖部の位置及び形状の特徴としては、鎖骨や肋骨等のエッジの強い部分の影響を受けやすいため、鎖骨を含むように、肺尖部のテンプレートを準備しておく必要がある。
<2-1-4-4. Rough extraction process at lung apex>
As a characteristic of the position and shape of the lung apex, since it is easily affected by a strong edge portion such as the clavicle or the rib, it is necessary to prepare a template of the lung apex so as to include the clavicle.
＜２−１−４−４−１．肺尖部テンプレートの生成方法＞
本発明の粗抽出処理で予め準備する肺尖部テンプレートは、上記横隔膜や心臓のように複数個のテンプレートを生成しても良いが、大きさの違いに関しては、縦横変倍のテンプレートで対応することができる。また、この領域で最も個人差のある鎖骨の傾きを考慮して複数のパターンのテンプレートを生成するようにしてもよい。
<2-1-4-4-1. Generating lung apex template>
The lung apex template prepared in advance by the rough extraction process of the present invention may generate a plurality of templates such as the diaphragm and the heart, but the size difference corresponds to the template of vertical / horizontal scaling. be able to. Further, a plurality of pattern templates may be generated in consideration of the inclination of the clavicle having the most individual difference in this region.
図２２は、肺尖部テンプレートを生成する方法の一例を説明する概念図である。図２２で示されるように、まず、サンプル画像ＳＧの肺尖部を含む左側領域Ｓ４Ｌ及び右側領域Ｓ４Ｒを指定し（図２２（ａ）参照）、指定した左側領域Ｓ４Ｌ及び右側領域Ｓ４Ｒを手動で切り出す（図２２（ｂ）参照）。そして、図２２（ｃ）で示されるテンプレート生成用のサンプル画像ＳＧに対しても同様に、指定した左側領域Ｓ４Ｌ及び右側領域Ｓ４Ｒを手動で各々切り出す（図２２（ｄ）参照）。図２２（ｄ）において指定した、左側領域Ｓ４Ｌの所定枚数（例えば５０枚）の平均画像により肺尖部テンプレートＴ４Ｌを生成し、右側領域Ｓ４Ｒの所定枚数（例えば５０枚）の平均画像により肺尖部テンプレートＴ４Ｒを生成する（図２２（ｅ）参照）。 FIG. 22 is a conceptual diagram illustrating an example of a method for generating a lung apex template. As shown in FIG. 22, first, the left region S4L and the right region S4R including the lung apex of the sample image SG are designated (see FIG. 22A), and the designated left region S4L and right region S4R are manually selected. Cut out (see FIG. 22B). Similarly, the designated left region S4L and right region S4R are manually cut out from the template generation sample image SG shown in FIG. 22C (see FIG. 22D). A lung apex template T4L is generated from a predetermined number (for example, 50) of average images of the left side region S4L specified in FIG. 22D, and the lung apex is determined from the predetermined number of images (for example, 50) of the right side region S4R. A template T4R is generated (see FIG. 22E).
＜２−１−４−４−２．肺尖部テンプレートマッチング＞
図２３は、肺尖部テンプレートＴ４Ｌ及びＴ４Ｒによるテンプレートマッチング方法を説明する模式図である。図２３で示されるように、肺尖部テンプレートマッチング方法は、まず、上記の横隔膜テンプレートＴ１，Ｔ２Ｌ，Ｔ２Ｒを用いてマッチングを行った後（図１９（ｃ）及び図１９（ｄ）参照）、抽出された左右横隔膜位置情報をベースに、肺尖部テンプレートＴ４Ｌ及びＴ４Ｒを用いて肺尖部の位置及び形状を探索する。具体的には、左右横隔膜位置より上部に、肺尖部テンプレートＴ４Ｌによる探索領域ＳＬ及び肺尖部テンプレートＴ４Ｒによる探索領域ＳＲを設け、テンプレートマッチングを行う。また左右の位置関係も横隔膜の位置関係により限定することで、より精度の高いマッチングを行うことができる。
<2-1-4-4-2. Lung apex template matching>
FIG. 23 is a schematic diagram for explaining a template matching method using lung apex templates T4L and T4R. As shown in FIG. 23, the pulmonary apex template matching method first performs matching using the diaphragm templates T1, T2L, and T2R (see FIG. 19 (c) and FIG. 19 (d)). Based on the extracted left and right diaphragm position information, the position and shape of the lung apex are searched using the lung apex templates T4L and T4R. Specifically, a search region SL by the lung apex template T4L and a search region SR by the lung apex template T4R are provided above the left and right diaphragm positions, and template matching is performed. Further, by limiting the positional relationship between the left and right by the positional relationship of the diaphragm, more accurate matching can be performed.
＜２−１−４−５．大動脈弓における粗抽出処理＞
肺野領域の抽出時に、大動脈弓が肺野内に含まれると、血流が多く流れていることから肺野内の血流の信号値に影響を与えるため、血流解析に悪影響を与える可能性が高い。
<2-1-4-5. Coarse extraction process in the aortic arch>
If the aortic arch is included in the lung field during the extraction of the lung field, the blood flow in the lung field is affected by the large amount of blood flow, which may adversely affect blood flow analysis. high.
図２４は大動脈弓を抽出する目的を説明する模式図であり、フレーム画像ＩＧ０と大動脈弓が含まれる領域Ｓ５を示す。図２４で示されるように、大動脈弓の上部Ｐ５にエッジが立っていることが多くあり、肺野抽出の精度に大きく影響を与える可能性があるが、大動脈弓の形状この特徴を抽出しきれないという問題がある。そこで、大動脈弓が肺野内に含まれないようにするため、大動脈弓テンプレートを用いてテンプレートマッチングにより肺野外の領域として設定する必要がある。 FIG. 24 is a schematic diagram for explaining the purpose of extracting the aortic arch, and shows a frame image IG0 and a region S5 including the aortic arch. As shown in FIG. 24, the upper part P5 of the aortic arch often has an edge, which may greatly affect the accuracy of lung field extraction, but the shape of the aortic arch can be extracted completely. There is no problem. Therefore, in order to prevent the aortic arch from being included in the lung field, it is necessary to set the region outside the lung field by template matching using the aortic arch template.
＜２−１−４−５−１．大動脈弓テンプレートの生成方法＞
図２５は大動脈弓の個人差を例示する模式図である。図２５で示されるように、大動脈弓の位置及び形状の特徴においても、人それぞれにより異なる傾向がある。そこで、本発明の粗抽出処理で予め準備する肺尖部テンプレートにおいても、スケールを変えたり、複数パターンを用意したりすることで対応することが望ましい。
<2-1-4-5-1. Generation method of aortic arch template>
FIG. 25 is a schematic view illustrating individual differences in the aortic arch. As shown in FIG. 25, the characteristics of the position and shape of the aortic arch also tend to vary from person to person. Therefore, it is desirable to cope with the apex template prepared in advance by the rough extraction processing of the present invention by changing the scale or preparing a plurality of patterns.
図２６は、大動脈弓テンプレートを生成する方法の一例を説明する概念図である。図２６で示されるように、まず、サンプル画像ＳＧの大動脈弓を含む領域Ｓ５を指定し（図２６（ａ）参照）、指定した領域Ｓ５を手動で切り出す（図２６（ｂ）参照）。そして、図２６（ｃ）で示されるテンプレート生成用のサンプル画像ＳＧに対しても同様に、指定した領域Ｓ５を手動で各々切り出す（図２６（ｄ）参照）。図２６（ｄ）において指定した領域Ｓ５の所定枚数の平均画像により大動脈弓テンプレートＴ５を生成する（図２６（ｅ）参照）。 FIG. 26 is a conceptual diagram illustrating an example of a method for generating an aortic arch template. As shown in FIG. 26, first, a region S5 including the aortic arch of the sample image SG is designated (see FIG. 26A), and the designated region S5 is manually cut out (see FIG. 26B). Similarly, the designated region S5 is manually cut out from the template generation sample image SG shown in FIG. 26C (see FIG. 26D). An aortic arch template T5 is generated from a predetermined number of average images in the region S5 designated in FIG. 26D (see FIG. 26E).
＜２−１−４−５−２．大動脈弓テンプレートマッチング＞
図２７は、大動脈弓テンプレートＴ５によるテンプレートマッチング方法を説明する模式図である。図２７で示されるように、大動脈弓テンプレートマッチング方法は、まず、上記の横隔膜テンプレートＴ１，Ｔ２Ｌ，Ｔ２Ｒ及び肺尖部テンプレートマッチング４Ｌ，４Ｒを用いてマッチングを行い（図１９および図２３参照）、抽出された左肺尖部位置情報をベースに、大動脈弓テンプレートＴ５を用いて大動脈弓の位置及び形状を探索する。具体的には、左肺尖部の位置に対し、オフセットを加えた範囲ＳＲＬに対してテンプレートマッチングを行う。
<2-1-4-5-2. Aortic arch template matching>
FIG. 27 is a schematic diagram for explaining a template matching method using the aortic arch template T5. As shown in FIG. 27, the aortic arch template matching method first performs matching using the diaphragm templates T1, T2L, T2R and the apex template matching 4L, 4R (see FIGS. 19 and 23), Based on the extracted left lung apex position information, the position and shape of the aortic arch are searched using the aortic arch template T5. Specifically, template matching is performed on a range SRL in which an offset is added to the position of the left lung apex.
一方、大動脈弓を抽出しない場合もあり得る。図２８は大動脈弓が不鮮明な場合を例示する模式図であり、領域Ｓ５ａは大動脈弓が含まれると予想される領域を示している。図２８で示されるように、人により大動脈弓が不鮮明な場合や、または背骨付近に隠れてしまい存在が見られない場合がある。このような大動脈弓が見当たらない場合には、大動脈弓テンプレートマッチングは実施しなくともよい。なお、大動脈弓の抽出可否の判定は、相関値などの結果により判定を行う。 On the other hand, the aortic arch may not be extracted. FIG. 28 is a schematic view illustrating a case where the aortic arch is unclear. A region S5a indicates a region where the aortic arch is expected to be included. As shown in FIG. 28, the aortic arch may be unclear by a person, or may be hidden near the spine and cannot be seen. If such an aortic arch is not found, aortic arch template matching may not be performed. Whether or not the aortic arch can be extracted is determined based on a result such as a correlation value.
＜２−１−４−６．粗抽出処理の全体の流れ＞
図１１で示したように、粗抽出決定部１３０による粗抽出処理は、精密抽出決定部１４０にて実施する精密抽出処理を行うために必要な情報である、肺野内確定領域ＲＩ、肺野外確定領域ＲＯ、及び、肺野未確定領域ＲＵ（以下、これらの情報の総称を「初期値」と呼ぶ。）を与えるために実施している処理である。したがって、粗抽出決定部１３０における最終のアウトプットは、初期値を与えた状態の結果を出力することになる。
<2-1-4-6. Overall flow of rough extraction process>
As shown in FIG. 11, the rough extraction processing by the rough
図２９は、粗抽出処理における初期値設定を行うため事前に行われている前処理を説明する模式図であり、図３０は、粗抽出処理の全体の流れを説明する模式図である。 FIG. 29 is a schematic diagram for explaining preprocessing performed in advance for setting initial values in the rough extraction processing, and FIG. 30 is a schematic diagram for explaining the overall flow of the rough extraction processing.
図２９で示されるように、まず、各テンプレートにおいて予め正解データＡＳが生成されており（図２９（ａ）参照）、テンプレートＴ４Ｒ，Ｔ４Ｌ，Ｔ２Ｒ，Ｔ２Ｌの各部位ごとにそれぞれ正解データＡＳ−１，ＡＳ−２，ＡＳ−３，ＡＳ−４との相関を計算する（図２９（ｂ）及び図２９（ｃ）参照）。例えば、テンプレートＴ２Ｒの場合は、図１６で示されるように４種類のテンプレートＴ２Ｒ１〜Ｔ２Ｒ４に対して正解データが４種類それぞれ存在するため、各々の相関を計算することになる。このようにして、テンプレート毎の相関値を積算して平均した累積率画像ＡＳ’が生成される（図２９（ｄ）参照）。図２９（ｅ）では、図２９（ｄ）の累積率画像ＡＳ’−１において、正解データＡＳ−１とテンプレートＴ４Ｒとの相関を示した相関分布画像ＣＲを示す。具体的には、図２９（ｅ）の左の相関分布画像ＣＲ１は正解データとの相関が最も低く、図２９（ｅ）の右の相関分布画像ＣＲ３は正解データとの相関が最も高く、図２９（ｅ）の中央の相関分布画像ＣＲ２は両者の中間の相関を示す。すなわち、図２９（ｅ）で示されるような相関分布画像ＣＲは、テンプレートと正解データとの一致度合いを判定した分布であり、図２９（ｅ）の場合、相関分布画像ＣＲ３が最も正解データに近いことを示している。 As shown in FIG. 29, first, correct data AS is generated in advance for each template (see FIG. 29A), and correct data AS-1 for each part of the templates T4R, T4L, T2R, and T2L. , AS-2, AS-3, and AS-4 are calculated (see FIGS. 29B and 29C). For example, in the case of the template T2R, as shown in FIG. 16, there are four types of correct answer data for the four types of templates T2R1 to T2R4. Therefore, the respective correlations are calculated. In this way, an accumulation rate image AS ′ obtained by accumulating and averaging the correlation values for each template is generated (see FIG. 29D). FIG. 29 (e) shows a correlation distribution image CR showing the correlation between the correct answer data AS-1 and the template T4R in the accumulation rate image AS'-1 in FIG. 29 (d). Specifically, the correlation distribution image CR1 on the left in FIG. 29 (e) has the lowest correlation with the correct data, and the correlation distribution image CR3 on the right in FIG. 29 (e) has the highest correlation with the correct data. The center correlation distribution image CR2 of 29 (e) shows an intermediate correlation between the two. That is, the correlation distribution image CR as shown in FIG. 29 (e) is a distribution in which the degree of matching between the template and the correct data is determined. In the case of FIG. 29 (e), the correlation distribution image CR3 is the most correct data. It is close.
以上の図２９で得られた判定結果は、図３０の粗抽出処理の初期値（すなわち、粗抽出決定部１３０で出力される粗抽出領域の肺野内確定領域ＲＩ、肺野外確定領域ＲＯ、及び、肺野未確定領域ＲＵ）の設定に用いられる。
The determination results obtained in FIG. 29 are the initial values of the rough extraction process of FIG. 30 (that is, the lung field determined region RI, the lung field determined region RO of the rough extraction region output by the rough
図３０で示されるように、フレーム画像ＩＧ０（図３０（ａ）参照）に対して、例えば、横隔膜の粗抽出処理を行う際、横隔膜テンプレートＴ１１〜Ｔ１４，Ｔ２Ｒ１〜Ｔ２Ｒ４，Ｔ２Ｌ１〜Ｔ２Ｌ４（図３０（ｂ）及び図３０（ｃ）参照）の中から選択したテンプレートを用いて、横隔膜のテンプレートマッチングを行う（図３０（ｄ）参照）。そして、そのテンプレートマッチングの結果と図２９で得られた判定結果（相関分布）とを考慮して、横隔膜領域の粗抽出画像ＩＧ１’が得られる（図３０（ｅ）参照）。他の部位についても、同様の処理を行うことで全体の粗抽出画像ＩＧ１が生成され（図３０（ｆ）参照）、精密抽出処理の入力画像とされる。すなわち、粗抽出決定部１３０が粗抽出画像ＩＧ１を精密抽出決定部１４０へ出力する。
As shown in FIG. 30, for example, when performing rough extraction processing of the diaphragm on the frame image IG0 (see FIG. 30A), diaphragm templates T11 to T14, T2R1 to T2R4, T2L1 to T2L4 (FIG. 30). Diaphragm template matching is performed using a template selected from (b) and FIG. 30 (c)) (see FIG. 30 (d)). Then, in consideration of the template matching result and the determination result (correlation distribution) obtained in FIG. 29, a rough extracted image IG1 'of the diaphragm region is obtained (see FIG. 30 (e)). By performing the same process for the other parts, the entire coarsely extracted image IG1 is generated (see FIG. 30 (f)) and used as the input image for the precise extraction process. That is, the rough
＜２−１−５．精密抽出決定部１４０＞
精密抽出決定部１４０では、第１〜第ｎの粗抽出領域から肺野領域を精密に抽出する精密抽出処理を行うことで、第１〜第ｎの精密抽出領域を順次決定する。すなわち、精密抽出決定部１４０による精密抽出処理は、肺野未確定領域ＲＵが肺野領域の内部であるか、外部であるかを決定する処理である。
<2-1-5. Precision
The precise
図３１は精密抽出決定部１４０における精密抽出処理について説明する図である。図３１（ａ）は粗抽出決定部１３０における入力画像ＩＧ０であり、図３１（ｂ）は粗抽出決定部１３０において出力された粗抽出画像ＩＧ１であり、精密抽出決定部１４０における入力画像に相当する。また、図３１（ｃ）は精密抽出決定部１４０において出力された精密抽出画像ＩＧ２である。
FIG. 31 is a diagram for explaining the precise extraction process in the precise
すなわち、精密抽出決定部１４０は、粗抽出決定部１３０において順次出力された第１の粗抽出画像ＩＧ１（１）〜第ｎの粗抽出画像ＩＧ１（ｎ）（図３１（ｂ）参照）を入力画像として第１の精密抽出画像ＩＧ２（１）〜第ｎの精密抽出画像ＩＧ２（ｎ）を順次出力する（図３１（ｃ）参照）。ここで、第１〜第ｎの精密抽出画像ＩＧ２（１）〜ＩＧ２（ｎ）における第１〜第ｎの精密抽出領域は、それぞれ、図３１（ｃ）で示されるような肺野領域ＲＡ０である。
That is, the fine
精密抽出決定部１４０では、形状に依存しない抽出技術により肺野領域ＲＡ０を抽出する。抽出技術においては、次のような手法であればいずれのような手法を用いても良い。
The precise
＜２−１−５−１．エッジを情報として抽出する手法＞
画像から肺野領域（対象物）の輪郭を抽出するためにエッジを情報とする抽出手法として、レベルセット（Level set）、スネーク（Snakes）（例えば、"Snakes: Active contour models.", M.Kass, A.Witkin, and D.Terzopoulos, International Journal of Computer Vision, Vol.1, No.4, pp.321-331, 1988.等参照）といった動的輪郭モデル（Active Contour Model）を用いた手法が知られている。動的輪郭モデルとは、所定の変形傾向に沿って変形を繰り返す曲線（動的曲線）によって、肺野領域の輪郭を動的に抽出する手法である。動的曲線の変形傾向は、曲線の状態を定量的に評価した値である「動的曲線のエネルギー」によって規定される。この「動的曲線のエネルギー」は、動的曲線が肺野領域の輪郭を抽出した時点で最小となるように予め定義される。したがって、動的曲線のエネルギーが最小となるように動的曲線を変形させてゆき、エネルギーが最小となる安定状態を見つけることによって、肺野領域ＲＡ０の輪郭部ＳＭ０を抽出することができる。
<2-1-5-1. Method for extracting edges as information>
Level set and Snakes (for example, "Snakes: Active contour models.", M.) are used as extraction methods to extract edges of lung field areas (objects) from images. A method using an active contour model such as Kass, A. Witkin, and D. Terzopoulos, International Journal of Computer Vision, Vol.1, No.4, pp.321-331, 1988. It has been known. The dynamic contour model is a method of dynamically extracting the contour of the lung field region by a curve (dynamic curve) that repeats deformation along a predetermined deformation tendency. The deformation tendency of the dynamic curve is defined by “dynamic curve energy” which is a value obtained by quantitatively evaluating the state of the curve. This “dynamic curve energy” is defined in advance so that the dynamic curve is minimized when the contour of the lung field is extracted. Therefore, the contour portion SM0 of the lung field region RA0 can be extracted by deforming the dynamic curve so that the energy of the dynamic curve is minimized and finding a stable state where the energy is minimized.
＜２−１−５−２．領域を情報として抽出する手法＞
画像から肺野領域（対象物）の輪郭を抽出するために領域を情報とする抽出手法として、領域拡張法（Region growing）などが挙げられる。領域拡張法では、２値化画像を用いて始点となるボクセルを決定し、２値化処理前の処理対象画像においてその始点と決定されたボクセルの近傍ボクセルを調べ、ある判定条件を満たす近傍ボクセルを肺野領域と判断する。そして、この肺野領域と判断された近傍ボクセルについても上記と同様の処理を繰り返す。このように、領域を拡張しながら判定条件を満たすボクセルを順次抽出することにより、肺野領域ＲＡ０の輪郭部ＳＭ０を抽出することができる。
<2-1-5-2. Method for extracting regions as information>
A region growing method (Region growing) or the like is an example of an extraction method that uses a region as information in order to extract a contour of a lung field region (object) from an image. In the region expansion method, a voxel as a starting point is determined using a binarized image, a voxel near the voxel determined as the starting point in a processing target image before binarization processing is examined, and neighboring voxels satisfying a certain determination condition Is determined to be a lung field region. Then, the same processing as described above is repeated for the neighboring voxels determined to be the lung field region. Thus, by sequentially extracting the voxels that satisfy the determination conditions while expanding the region, it is possible to extract the contour portion SM0 of the lung field region RA0.
＜２−１−５−３．エッジと領域とを情報として抽出する手法＞
画像から肺野領域（対象物）の輪郭を抽出するためにエッジと領域とを情報とする抽出手法として、グラフカット（Graph Cut）（例えば、"Fast Apporoximate Energy Minimization via Graph Cuts."，Y.Boykov,O. Veksler,R. Zabih. IEEE Transactions on Pattern Analysis and Machine Intelligence 23:1222-1239:2001.等参照）などが挙げられる。グラフカット法では、マルコフ確率場（Markov Random Field: MRF）などの確率モデルの最大事後確率推定問題として定式化してエネルギー最小化問題として効率的に解く方法であり、エネルギーを比較的効率良く最小化することにより、肺野領域ＲＡ０の輪郭部ＳＭ０を抽出することができる。
<2-1-5-3. Method for extracting edges and regions as information>
Graph Cut (for example, "Fast Apporoximate Energy Minimization via Graph Cuts.", Y.) is an extraction method that uses edges and regions as information to extract the contours of lung field regions (objects) from images. Boykov, O. Veksler, R. Zabih. See IEEE Transactions on Pattern Analysis and Machine Intelligence 23: 1222-1239: 2001). The graph cut method is a method that is formulated as a maximum a posteriori probability estimation problem of a stochastic model such as Markov Random Field (MRF) and efficiently solved as an energy minimization problem, and energy is minimized relatively efficiently. By doing so, the outline part SM0 of the lung field region RA0 can be extracted.
＜２−１−６．後処理部１５０＞
後処理部１５０では、第１の精密抽出画像ＩＧ２（１）〜第ｎの精密抽出画像ＩＧ２（ｎ）における不安定な精密抽出結果や抽出失敗に対し、モデル知識を使うことで、解析に必要な肺野に整形する。すなわち、後処理部１５０では、粗抽出領域に基づき上述の画像抽出処理が施された精密抽出領域（粗抽出領域に基づく領域）に対して、肺野領域の境界を近似する所定数のフィッティング関数で表現された形状モデルＦ（後述の図３２（ａ）を参照）をフィッティングさせるフィッティング処理を行う。なお、当該所定数のフィッティング関数は、肺野領域の境界に接する領域（とりわけ、肺尖部領域、横隔膜領域、心臓領域、及び、大動脈弓領域等）の境界部分が考慮されることが好ましい。これにより、不安定な精密抽出結果や抽出失敗した位置を精密抽出の結果から算出し補正を行うことが可能となる。
<2-1-6.
The
図３２はフィッティング処理について説明する図であり、図３２（ａ）は肺野領域のフィッティング関数の特徴を示す図であり、図３２（ｂ）は図３１（ｃ）で示される肺野領域ＲＡ０の輪郭部ＳＭ０に対してフィッティング処理が実施された結果を示す図である。 FIG. 32 is a diagram for explaining the fitting process, FIG. 32 (a) is a diagram showing characteristics of the lung field region fitting function, and FIG. 32 (b) is a lung field region RA0 shown in FIG. 31 (c). It is a figure which shows the result by which the fitting process was implemented with respect to this outline part SM0.
図３２（ａ）で示されるように、上記の所定数のフィッティング関数がここでは１３（＝所定数）のフィッティング関数から形状モデルＦを構成した例であり、肺野領域のような幾何学的形状においてもフィッティング関数ｆ１〜ｆ１３を用いると、より近似的に表現することが可能となる。このように、形状モデルＦは、曲線及び直線のみならず、スプライン曲線のように複数曲線で構成されてもよく、それぞれのフィッティング関数ｆの次数で表現される。 As shown in FIG. 32A, the above-mentioned predetermined number of fitting functions is an example in which the shape model F is constructed from 13 (= predetermined number) fitting functions, and a geometrical shape like a lung field region is shown. Even in the shape, if the fitting functions f1 to f13 are used, it can be expressed more approximately. As described above, the shape model F may be constituted by a plurality of curves such as a spline curve as well as a curve and a straight line, and is expressed by the order of each fitting function f.
具体的に、フィッティング関数ｆは、例えばＸ，Ｙ座標系における多項式の関数で表現できる。多項式の関数とは、Ｘを変数とするY=aX^n+bX^(n-1)+…の式、またはＹを変数とするX=aY^n+bY^(n-1)+…の式であり、係数a,b,….の最適な値を見つけることで、精密抽出画像ＩＧ２にフィッティングさせることができる。また、ＸとＹとは同時変数とすることで楕円形の関数などにしてもよい。 Specifically, the fitting function f can be expressed by a polynomial function in an X, Y coordinate system, for example. The polynomial function is the equation Y = aX ^ n + bX ^ (n-1) + ... with X as a variable, or X = aY ^ n + bY ^ (n-1) + ... with Y as a variable. By finding the optimum values of the coefficients a, b,..., It is possible to fit the precision extracted image IG2. Further, X and Y may be an elliptical function by setting them as simultaneous variables.
そして、形状モデルＦは、例えば、Ｘ、Ｙのどちらを変数とする関数であるか、この多項式の最大次数の値(上述の式ではnに相当する)、該当する関数は座標上のどの範囲に出現するか、といった情報で表現される。 The shape model F is, for example, a function having X or Y as a variable, the value of the maximum degree of this polynomial (corresponding to n in the above formula), and the corresponding function in which range on the coordinates It is expressed by information such as whether it appears in
また、実際にフィッティング関数ｆを算出するには、２値の領域情報やエッジに対し肺野領域の境界となる点をＸ=x1〜xnまで探索してゆくことで、(x1,y1),(x2,y2)…(xn,yn)の座標配列を取得し、この座標配列に最も近似する係数値a,b,….を見つけることで、関数を算出することができる。最も近似するとは、例えば最小二乗法などを使うことで、判断することができる。 Further, in order to actually calculate the fitting function f, (x1, y1), (x1, y1), A function can be calculated by obtaining a coordinate array of (x2, y2)... (xn, yn) and finding coefficient values a, b,. The closest approximation can be determined by using, for example, the least square method.
このように、後処理部１５０では、形状モデルＦのフィッティング処理を行い、精密抽出画像ＩＧ２に形状モデルＦを付した形状モデル付精密抽出画像ＩＧ３（図３２（ｂ）参照）を順次得る。図３２（ｂ）で示されるように、後処理部１５０の処理による形状モデル付精密抽出画像ＩＧ３は、精密抽出画像ＩＧ２の肺野領域ＲＡ０の輪郭部ＳＭ０（図３１（ｃ）参照）と比較して、肺野領域ＲＡの輪郭部ＳＭ（図３２（ｂ）参照）が平滑化されている様子がわかる。この処理により、精度の安定化や抽出失敗の補正を行う。
As described above, the
＜２−１−７．モデル情報制御部１３５＞
モデル情報制御部１３５では、撮影情報取得部１１５にて取得した被写体固有情報（撮影情報）ＩＯに基づいて、肺野領域の境界を示すモデル情報を決定するモデル情報決定処理を実施する（図２参照）。本実施形態にいうモデル情報とは、上述のテンプレートの種類等を指示する情報（以下、単に「テンプレート情報」と称する）ＴＯおよび形状モデルＦ（図３２参照）におけるフィッティング関数の総数（所定数）や次数等を指示する情報（以下、単に「形状モデル情報」または「形状モデル」と称する）ＦＯであり、全体の肺形状、肺尖部形状、横隔膜形状、心臓の形状、大動脈弓の形状のうち少なくとも１つの形状が考慮される。
<2-1-7. Model
The model
ここで、モデル情報制御部１３５におけるモデル情報決定処理とは、テンプレート情報ＴＯを決定する処理としては、（１）予め準備された複数種のテンプレートのうち、テンプレートマッチングに使用するテンプレートの種類を決定する処理であり、形状モデル情報ＦＯを決定する処理としては、直近に決定された上記所定数のフィッティング関数に対し、（２）所定数のフィッティング関数のうち少なくとも１つの関数の次数を決定する処理と、（３）所定数の増減を決定する処理との２つがある。なお、取得画像が静止画像の場合は、予め定められた所定数のフィッティング関数に対し、（２）あるいは（３）の処理を行うことになる。
Here, the model information determination process in the model
＜２−１−７−１．モデル情報決定処理（１）＞
モデル情報決定処理（１）では、モデル情報制御部１３５におけるモデル選択部１２５（図２参照）が、データベース５１に該被写体固有情報ＩＯを入力し、データベース５１が、該被写体固有情報ＩＯの属性情報にマッチする種類の少なくとも１つのテンプレートを指示する情報であるテンプレート情報ＴＯをモデル選択部１２５に出力した後、モデル選択部１２５が、該テンプレート情報ＴＯを粗抽出決定部１３０に入力する。
<2-1-7-1. Model information determination process (1)>
In the model information determination process (1), the model selection unit 125 (see FIG. 2) in the model
そして、該テンプレート情報ＴＯが入力された粗抽出決定部１３０では、該テンプレート情報（モデル情報）ＴＯを用いてテンプレートマッチングを行うことで、フレーム画像ＩＧ０に対して粗抽出領域を決定し、粗抽出画像ＩＧ１を得る肺野領域抽出処理（所定部位抽出処理）を実施する。
Then, the rough
なお、被写体固有情報ＩＯの属性情報にマッチするテンプレート情報ＴＯが複数のテンプレートを指示する場合は、粗抽出決定部１３０は該当する（属性情報にマッチする）上記複数のテンプレート全てを用いてそれぞれテンプレートマッチング処理を行い、粗抽出領域をそれぞれ仮決定する。そして、粗抽出決定部１３０が、テンプレート情報ＴＯで指示される複数のテンプレート毎に決定した複数の粗抽出領域の中から、予め定められた判断基準に従い被写体Ｍに最も適合すると判断された粗抽出領域を粗抽出画像ＩＧ１として精密抽出決定部１４０に出力する。
When the template information TO matching the attribute information of the subject unique information IO indicates a plurality of templates, the rough
また、テンプレート情報ＴＯが指示するテンプレートが複数存在する場合、予め定められた判断基準を用いることなく、上記複数のテンプレートのうち単純に任意の１つのテンプレートのみを用いてテンプレートマッチング処理を行っても良い。 Further, when there are a plurality of templates indicated by the template information TO, the template matching process may be performed using only one arbitrary template among the plurality of templates without using a predetermined criterion. good.
具体的に、例えば、撮影情報取得部１１５が被写体固有情報ＩＯとして「性別・年齢・胸囲」に相当する「男性・３０代・９０ｃｍ代」の情報を取得した場合について説明すると、データベース５１が「男性・３０代・９０ｃｍ代」の属性情報が付与された少なくとも１つのテンプレートを検索し、少なくとも１つの検索結果からなるテンプレート情報ＴＯをモデル選択部１２５に出力する。このテンプレート情報ＴＯがテンプレートマッチングに使用するテンプレートの種類を指示する情報となる。そして、モデル選択部１２５から該テンプレート情報ＴＯが入力された粗抽出決定部１３０では、該テンプレート情報ＴＯで指示されるテンプレート毎にテンプレートマッチング処理を行い、各々仮決定した粗抽出領域の中から、前述した判断基準に従い被写体Ｍに最も適合すると判断された粗抽出領域を粗抽出画像ＩＧ１として精密抽出決定部１４０に出力する。
Specifically, for example, a case where the photographing
このように、モデル情報制御部１３５と情報蓄積装置５（データベース５１）とが連動することにより、被写体固有情報ＩＯに基づいてテンプレート情報ＴＯを決定するモデル情報決定処理を実行している。
As described above, the model
＜２−１−７−２．モデル情報決定処理（２）及び（３）＞
一方、モデル情報決定処理の（２）及び（３）の処理では、モデル情報制御部１３５が、該被写体固有情報ＩＯに基づいて形状モデルＦの形状を変更し形状モデル情報ＦＯを決定する。なお、形状モデルＦは予め設定された初期状態から、モデル決定処理（２）及び（３）により順次変更されていく。すなわち、モデル情報決定処理（２）及び（３）は直近に決定された形状モデルＦに対して行われる。そして、モデル情報制御部１３５が、該形状モデル情報ＦＯを後処理部１５０に入力した後、後処理部１５０が、該形状モデル情報ＦＯに基づいて上述のフィッティング処理を行うことで、フレーム画像ＩＧ０から肺野領域を抽出する肺野領域抽出処理（具体的には、精密抽出画像ＩＧ２に形状モデルＦＯを付した形状モデル付精密抽出画像ＩＧ３を得る処理）を実施する。
<2-1-7-2. Model information determination process (2) and (3)>
On the other hand, in the processes (2) and (3) of the model information determination process, the model
ただし、モデル情報決定処理の（２）及び（３）の処理では形状モデルＦの変更する手法が異なる。以下、前述の被写体固有情報ＩＯが「性別」である場合を例に説明する。図５（ａ）で示される女性の場合は、肋横角付近Ｗ１，Ｗ２に虚偽の線Ｌ１，Ｌ２が入る傾向にあるため、粗抽出処理や精密抽出処理では正確にエッジが検出されない可能性がある。そのため、後処理部１５０のフィッティング処理においても、虚偽の線Ｌ１，Ｌ２に依存して形状モデルＦが決定されることになり、フィッティング関数の数が、例えば、通常より“２”少ない“１１”で決定されることもあり得る。そこで、モデル情報決定処理の（３）の処理を用いて、フィッティング関数の数を“１１”から“１３”に増やす処理を行う。そして、フィッティング関数を“２”追加してもなお、肋横角付近Ｗ１，Ｗ２の形状を表現しきれていない場合には、モデル情報決定処理の（２）の処理を用いて、肋横角付近Ｗ１，Ｗ２のフィッティング関数の次数の調整を行うことで、形状モデルＦＯ決定することになる。
However, the method of changing the shape model F is different between the processes (2) and (3) of the model information determination process. Hereinafter, a case where the subject specific information IO is “sex” will be described as an example. In the case of the woman shown in FIG. 5 (a), false lines L1 and L2 tend to enter W1 and W2 in the vicinity of the heel lateral angle, so that the edge may not be accurately detected by the rough extraction process or the precise extraction process. There is. Therefore, also in the fitting process of the
このように、粗抽出処理や精密抽出処理にて表現しきれなかった抽出境界（通常と異なった形状に見える抽出境界）であっても、適切にフィッティング関数（形状モデルＦＯ）を決定することにより抽出精度の向上が図れる。 As described above, by appropriately determining a fitting function (shape model FO) even for an extraction boundary (extraction boundary that looks different from a normal shape) that could not be expressed by rough extraction processing or precise extraction processing. The extraction accuracy can be improved.
＜２−１−８．粗抽出処理内容制御部１６０＞
粗抽出処理内容制御部１６０では、肺野領域の少なくとも一部の動き量を考慮して、第ｉ（２≦ｉ≦ｎの何れかの整数）の粗抽出領域の決定に関し、前述の粗抽出処理内容を変更することにより、粗抽出決定部１３０を制御可能である。
<2-1-8. Coarse Extraction Processing
The rough extraction processing
粗抽出処理内容制御部１６０が制御可能な粗抽出処理内容は、例えば、第ｉのテンプレートを第（ｉ−１）の精密抽出領域（すなわち、第（ｉ−１）の精密抽出画像ＩＧ３における肺野領域ＲＡ）の一部領域（例えば、肺尖部、大動脈弓、横隔膜、心臓等）を用いて設定する処理内容である。
The rough extraction processing content that can be controlled by the rough extraction processing
すなわち、粗抽出処理内容制御部１６０は、第ｉのテンプレートのうち該一部領域のテンプレートに関しては、第（ｉ−１）の精密抽出画像ＩＧ３の一部である該一部領域を用い（後述の図３３（ｃ）参照）、該一部領域以外のテンプレートに関しては、第１のテンプレートと同じテンプレートを用いるように粗抽出決定部１３０に指令を与える。
That is, the rough extraction processing
＜２−１−９．対象部位抽出部１７０＞
対象部位抽出部１７０では、後処理部１５０において後処理を実施した第１の精密抽出画像ＩＧ３（１）〜第ｎの精密抽出画像ＩＧ３（ｎ）から肺野領域ＲＡを抽出し、記憶部３２へ記憶する。
<2-1-9. Target
The target
＜２−２．画像処理装置３の基本動作＞
図３４は、第１実施形態に係る画像処理装置３において実現される基本動作を説明するフローチャートであり、図３３は、横隔膜領域に対する抽出処理の流れを示す概念図である。既に各部の個別機能の説明は行ったため（図２参照）、ここでは全体の流れのみ説明する。
<2-2. Basic Operation of
FIG. 34 is a flowchart for explaining a basic operation realized in the
図３１に示すように、まず、ステップＳ１１において、制御部３１の画像取得部１１０が、撮像装置１の読取制御装置１４によって撮影された動画像を、撮影制御装置２を介して取得する。そして、ステップＳ１２では、画像補正部１２０が、ステップＳ１１において取得された動画像における第１のフレーム画像Ｇ０に対して、強調処理による画像補正を実施することで、第１のフレーム画像ＩＧ０を生成し、粗抽出決定部１３０に出力する（図７及び図３３（ａ）参照）。
As shown in FIG. 31, first, in step S <b> 11, the
ステップＳ１１，Ｓ１２と並行して、ステップＳ２１，Ｓ２２が実施される。すなわち、ステップＳ２１では、制御部３１の撮影情報（被写体固有情報）取得部１１５が、情報蓄積装置４のカルテ情報記憶部４１から被写体固有情報ＩＯを取得し、モデル情報制御部１３５におけるモデル選択部１２５に入力する。
In parallel with steps S11 and S12, steps S21 and S22 are performed. That is, in
ステップＳ２２では、ステップＳ２１において入力された被写体固有情報ＩＯに基づいて、モデル情報制御部１３５が上記（１）のモデル情報決定処理を実施する。
In step S22, the model
ステップＳ３では、粗抽出決定部１３０が、ステップＳ１２において補正されたフレーム画像ＩＧ０に対して、ステップＳ２２において入力されたテンプレート情報ＴＯを用いてテンプレートマッチングを行い（例えば、横隔膜領域の場合は図３３（ｂ）参照）、粗抽出領域（初期値）を決定し、粗抽出画像ＩＧ１を精密抽出決定部１４０に出力する（図１１参照）。なお、該テンプレート情報ＴＯが複数存在する場合は、該テンプレート情報ＴＯで指示されるテンプレート毎にテンプレートマッチング処理を行い、各々仮決定した粗抽出領域の中から、前述した判断基準に従い被写体Ｍに最も適合すると判断された粗抽出領域を粗抽出画像ＩＧ１として精密抽出決定部１４０に出力する。
In step S3, the rough
このように、ステップＳ３においては、第１の粗抽出領域を決定する際には、第１のフレーム画像ＩＧ０（１）に対して、データベース５１に既存の第１のテンプレート（予め生成されたテンプレート）を用いてテンプレートマッチングを行う。
Thus, in step S3, when the first rough extraction region is determined, the first template existing in the database 51 (the template generated in advance) is stored in the
そして、粗抽出決定部１３０が行う第１の粗抽出領域（初期値）の決定は、各回ごとのテンプレートマッチングの結果に加え、初期値設定を行うための前処理の結果（図２９（ｅ）の相関分布図参照）をも考慮して行う（図３０（ｆ）参照）。
Then, the determination of the first rough extraction region (initial value) performed by the rough
ステップＳ４では、精密抽出決定部１４０が、ステップＳ３において決定された初期値を用いて、精密抽出領域（肺野領域ＲＡ）を決定し、精密抽出画像ＩＧ２を後処理部１５０に出力する（図３１（ｃ）参照）。
In step S4, the precise
ステップＳ５では、モデル情報制御部１３５が、被写体固有情報ＩＯに基づいて形状モデルＦの形状を変更し形状モデル情報ＦＯを決定し、上記の（２）及び（３）のモデル情報決定処理により決定された形状モデル情報ＦＯを後処理部１５０に入力する。そして、後処理部１５０が、ステップＳ４において決定された精密抽出画像ＩＧ２における肺野領域ＲＡ０の輪郭部ＳＭ０に対して、該形状モデル情報ＦＯに基づいてフィッティング処理（後処理）を実施し、精密抽出画像ＩＧ３を生成する（図３２（ｂ）参照）。
In step S5, the model
ステップＳ６では、対象部位抽出部１７０が、ステップＳ５において後処理された精密抽出画像ＩＧ３の肺野領域ＲＡを対象領域として抽出し、記憶部３２へ記憶する。
In step S <b> 6, the target
ステップＳ７では、制御部３１が、全てのフレーム画像において肺野領域ＲＡを抽出したか否かを判定し、未処理がある場合にはステップＳ８に移り、未処理がない場合には本動作フローが終了される。
In step S7, the
ステップＳ８では、粗抽出処理内容制御部１６０が、第２のテンプレートの設定において、第２のテンプレートのうち横隔膜テンプレートに関しては、第１の精密抽出画像ＩＧ３の一部領域を用い（図３３（ｃ）参照）、該一部領域以外のテンプレートに関しては、第１のテンプレートと同じテンプレートを用いるように粗抽出決定部１３０に指令を与え、ステップＳ３に移る。
In step S8, the rough extraction processing
そして、ステップＳ３においては、第２の粗抽出領域を決定する際には、第２のフレーム画像ＩＧ０（１）に対して、第１の精密抽出画像ＩＧ３の一部を用いて、粗抽出処理内容制御部１６０にて作成された第２のテンプレートを用いてテンプレートマッチングを行う。
In step S3, when the second rough extraction region is determined, a rough extraction process is performed using a part of the first fine extraction image IG3 for the second frame image IG0 (1). Template matching is performed using the second template created by the
このように、第１のフレーム画像ＩＧ０に対して、ステップＳ３〜ステップＳ８を終えた後、第２のフレーム画像ＩＧ０に対して、ステップＳ３〜ステップＳ８を行うという具合に、ステップＳ３〜ステップＳ８のループが１，２，・・・，ｎの順で繰り返され、最終的に第ｎのフレーム画像ＩＧ０の処理に対してまで行われる。 As described above, after completing Step S3 to Step S8 for the first frame image IG0, Step S3 to Step S8 are performed for the second frame image IG0. Are repeated in the order of 1, 2,..., N, and the process is finally performed for the processing of the nth frame image IG0.
但し、第２の粗抽出領域以降の第ｉ（ｉ≧２の何れか）の粗抽出領域を決定する際には、第ｉのフレーム画像ＩＧ０（ｉ）に対して、第ｉのテンプレートを用いてテンプレートマッチングを行う。第１のテンプレートとしては、予め準備されたテンプレートを用い、第ｉ（ｉ≧２）のテンプレートにおいては、第（ｉ−１）の精密抽出画像ＩＧ３の一部を用いる。 However, when determining the i th (any of i ≧ 2) rough extraction areas after the second rough extraction area, the i th template is used for the i th frame image IG0 (i). Template matching. A template prepared in advance is used as the first template, and a part of the (i-1) -th precision extraction image IG3 is used in the i-th (i ≧ 2) template.
このように、全てのフレーム画像ＩＧ０において肺野領域ＲＡを抽出するまで、ステップＳ３〜ステップＳ８の工程が繰り返され、全てのフレーム画像ＩＧ０において肺野領域を抽出した後、本動作フローが終了される。 As described above, the steps S3 to S8 are repeated until the lung field region RA is extracted from all the frame images IG0. After the lung field regions are extracted from all the frame images IG0, this operation flow is ended. The
以上のように第１実施形態に係る画像処理装置３では、放射線撮影前に予め入力された被写体Ｍに関する情報である撮影情報（被写体固有情報）ＩＯに基づいて、肺野領域の境界を示すモデル情報を決定し、該モデル情報に基づいて、医用画像（フレーム画像ＩＧ０）から肺野領域を抽出する肺野領域抽出処理を実施する。これにより、撮影情報ＩＯに応じた最適なモデル情報を決定することが可能となる。このため、通常と異なる撮影状況（例えば、図５（ａ）で示されるように通常と異なった形状に見える抽出境界など）であっても、安定的且つ高速に肺野領域の抽出精度の向上を実現する。
As described above, in the
また、医用画像が動画像に含まれるフレーム画像ＩＧ０であるため、最初の段階（第１のフレーム画像ＩＧ０）で精度の良いモデル情報を決定することができる。このため、該モデル情報（例えば、第１の精密抽出画像ＩＧ３の一部）を用いることで、時間方向においても安定して肺野領域抽出処理を実施することが可能となる。 In addition, since the medical image is the frame image IG0 included in the moving image, accurate model information can be determined in the first stage (first frame image IG0). For this reason, by using the model information (for example, a part of the first precise extraction image IG3), it is possible to stably perform the lung field region extraction processing in the time direction.
また、肺野領域抽出処理は、フレーム画像ＩＧ０に対してテンプレート情報ＴＯを用いてテンプレートマッチングを行い、肺野領域を含む領域を粗く抽出し粗抽出領域を決定する粗抽出処理と、該粗抽出領域に基づく領域に対して、肺野領域の境界を近似する所定数のフィッティング関数で表現された形状モデルＦＯをフィッティングさせるフィッティング処理と、を含み、モデル情報は、テンプレート情報ＴＯおよび形状モデル情報ＦＯであることにより、テンプレートマッチング精度及びフィッティング精度が向上する。このため、撮影情報ＩＯに対応して、より安定的に肺野領域の抽出精度の向上を実現することが可能となる。 The lung field extraction process performs template matching on the frame image IG0 using the template information TO, roughly extracts a region including the lung field and determines a rough extraction region, and the rough extraction. And a fitting process for fitting a shape model FO expressed by a predetermined number of fitting functions that approximate the boundary of the lung field region to the region based on the region, and the model information includes template information TO and shape model information FO As a result, the template matching accuracy and the fitting accuracy are improved. For this reason, it is possible to more stably improve the extraction accuracy of the lung field region corresponding to the imaging information IO.
また、撮影情報は、被写体Ｍの固有の情報を示す被写体固有情報ＩＯであることにより、該被写体固有情報ＩＯを考慮してテンプレート情報ＴＯおよび形状モデル情報ＦＯ（モデル情報）を効率的に決定することができる。これにより、テンプレートマッチング精度及びフィッティング精度が向上するため、肺野領域の抽出精度がより向上する。 Further, since the shooting information is subject unique information IO indicating information unique to the subject M, the template information TO and the shape model information FO (model information) are efficiently determined in consideration of the subject unique information IO. be able to. Thereby, since the template matching accuracy and the fitting accuracy are improved, the extraction accuracy of the lung field region is further improved.
また、被写体固有情報ＩＯは、性別、年齢、胸囲、体重、身長、肺活量のうち少なくとも何れか１つの情報を含むことにより、これらの情報のうち少なくとも何れか１つの情報を考慮してモデル情報（テンプレート情報ＴＯおよび形状モデル情報ＦＯ）を効率的に決定することができる。これにより、テンプレートマッチング精度及びフィッティング精度が向上するため、より安定的且つ高速に所定部位の抽出精度の向上を実現する。 In addition, the subject-specific information IO includes at least one information among gender, age, chest circumference, weight, height, and vital capacity, so that model information ( Template information TO and shape model information FO) can be determined efficiently. Thereby, since the template matching accuracy and the fitting accuracy are improved, the extraction accuracy of the predetermined part is improved more stably and at high speed.
また、モデル情報決定処理は、予め準備された複数種のテンプレートのうち、テンプレートマッチングに使用するテンプレートの種類を決定する処理と、所定数のフィッティング関数のうち少なくとも１つの関数の次数を決定する処理と、所定数の増減を決定する処理と、を含むことにより、肺野領域の形状が複雑な場合においても、肺野領域の境界をより近似的に表現したモデル情報（テンプレート情報ＴＯおよび形状モデル情報ＦＯ）を決定することが可能となる。このため、より安定的に肺野領域の抽出精度の向上を実現することが可能となる。 The model information determination process includes a process for determining a template type used for template matching among a plurality of types of templates prepared in advance, and a process for determining the order of at least one function among a predetermined number of fitting functions. And a process for determining a predetermined number of increases / decreases, even when the shape of the lung field region is complicated, model information (template information TO and shape model) that more closely represents the boundary of the lung field region Information FO) can be determined. For this reason, it becomes possible to improve the extraction accuracy of the lung field region more stably.
さらに、抽出する所定部位が肺野領域であることにより、肺野領域の抽出精度の向上を実現することが可能となる。また、モデル情報（テンプレート情報ＴＯおよび形状モデル情報ＦＯ）は、全体の肺形状、肺尖部形状、横隔膜形状、心臓の形状、大動脈弓の形状のうち少なくとも１つの形状が考慮されることにより、肺野領域においてより適切なテンプレート情報ＴＯおよび形状モデル情報ＦＯを決定することができる。これにより、より安定的に肺野領域の抽出精度の向上を実現する。 Furthermore, since the predetermined part to be extracted is the lung field region, it is possible to improve the extraction accuracy of the lung field region. In addition, the model information (template information TO and shape model information FO) takes into account at least one of the overall lung shape, lung apex shape, diaphragm shape, heart shape, and aortic arch shape, More appropriate template information TO and shape model information FO can be determined in the lung field region. As a result, the lung field region extraction accuracy can be improved more stably.
＜３．第２実施形態＞
図３５は、本発明の第２実施形態として構成された画像処理装置３Ａ（図１参照）で用いられる制御部３１Ａの機能構成を示す図である。この制御部３１Ａは、第１実施形態の画像処理装置３における制御部３１（図２参照）の代替として使用される。第１実施形態と異なる点は、撮影情報（被写体固有情報）取得部１１５が撮影情報（被写体状態情報）取得部１１５Ａに置換されることにより、情報蓄積装置４Ａのカルテ情報記憶部４１Ａ、情報蓄積装置５Ａのデータベース（テンプレート記憶部）５１Ａ、モデル選択部１２５Ａ、モデル情報制御部１３５Ａが変更される点である。なお、残余の構成は画像処理装置３と同様である。
<3. Second Embodiment>
FIG. 35 is a diagram showing a functional configuration of a
＜３−１．撮影情報取得部１１５Ａ、カルテ情報記憶部４１Ａ＞
撮影情報（被写体状態情報）取得部１１５Ａでは、放射線撮影前に予め入力された被写体Ｍに関する情報である撮影情報を、情報蓄積装置４Ａにおけるカルテ情報記憶部４１Ａから取得する（図３５参照）。本実施形態におけるカルテ情報記憶部４１Ａに記憶された撮影情報とは、被写体Ｍの過去及び現在の状態を示す被写体状態情報ＩＳ（図３５参照）を指し、具体的に被写体状態情報ＩＳとは、手術歴、病歴、過去の撮影時の情報、体の状態、診断対象、問診による判定結果、喫煙歴等のうち少なくとも何れか１つの情報を指す。
<3-1. Imaging
The imaging information (subject state information)
そして、撮影情報取得部１１５Ａは、該被写体状態情報ＩＳをモデル情報制御部１３５Ａにおけるモデル選択部１２５Ａに入力する。
The photographing
以下では、カルテ情報記憶部４１Ａに格納された被写体固有情報ＩＳについて具体的に説明する。図３６は被写体状態情報ＩＳを説明するためのフレーム画像ＩＧ０を例示する図であり、手術歴（図３６（ａ）〜（ｃ）参照）や病歴（図３６（ｄ）〜（ｆ）参照）によって肺野の状態や形状が異なることを例示する模式図である。
Hereinafter, the subject unique information IS stored in the medical chart
＜３−１−１．手術歴情報（肺切除有無、ペースメーカ有無）＞
図３６（ａ）〜（ｃ）では、手術歴のある被写体の肺野形状を例示している。図３６（ａ）及び図３６（ｂ）では、肺切除術により通常の右肺野領域の下半分の領域Ｐ１（図３６（ａ）参照）及び上半分の領域Ｐ２（図３６（ｂ）参照）がそれぞれ切除されている。肺切除術には、切除範囲の広いものから順に肺全摘術・肺葉切除術・肺区域切除術・肺部分切除術に分けられるため、肺切除場所の情報は、手術方法から決定することも可能である（例えば、岐阜大学がんセンター、“がん治療について”[平成24年6月25日(月)検索]、インターネット<ＵＲＬ：http://hosp.gifu-u.ac.jp/center/gan/about/lungs.html>等参照）。
<3-1-1. Surgery history information (with or without lung resection, with or without pacemaker)>
36A to 36C illustrate the lung field shape of a subject with a history of surgery. 36 (a) and 36 (b), the lower half region P1 (see FIG. 36 (a)) and the upper half region P2 (see FIG. 36 (b)) of the normal right lung field region are obtained by pneumonectomy. ) Have been excised. Pulmonary resection can be divided into total pneumonectomy, lobectomy, pulmonary segmental resection, and partial pulmonary resection in order from the wide resection range, so the information on the pulmonary resection location can also be determined from the surgical method (For example, Gifu University Cancer Center, “Cancer Treatment” [Monday, June 25, 2012 search], Internet <URL: http://hosp.gifu-u.ac.jp/center /gan/about/lungs.html> etc.)
図３６（ｃ）では、左肺野領域の上側領域Ｐ３にペースメーカが埋め込まれている。 In FIG. 36 (c), a pacemaker is embedded in the upper region P3 of the left lung field region.
このように、被写体状態情報取得部１１５Ａでは、肺野領域のどの位置を切除しているのか、何処にペースメーカがあるのか、などの情報を取得することが好ましい。
As described above, the subject state
＜３−１−２．病歴情報（疾患の有無）＞
図３６（ｄ）〜（ｆ）では、現在の病気も含む病歴をもつ被写体Ｍの肺野形状を例示している。図３６（ｄ）では、領域Ｐ４，Ｐ５に“もや”が入っており、図３６（ｅ）では、領域Ｐ６に影が入っている様子が見て取れる。何れも病気に起因して生じる現象であり、これによりエッジが不鮮明になるため、肺野領域を正確に抽出できない。
<3-1-2. Medical history information (presence or absence of disease)>
36D to 36F illustrate the lung field shape of the subject M having a medical history including the current disease. In FIG. 36D, “haze” is included in the areas P4 and P5, and in FIG. 36E, it can be seen that a shadow is included in the area P6. Both of these phenomena are caused by illness, and the edges become unclear, so that the lung field region cannot be accurately extracted.
図３６（ｆ）では、被写体Ｍが心肥大を患っているため領域Ｐ７の左肺野形状が健常者と比較して異なる。すなわち、健常者の場合は領域Ｐ７において、上述のフィッティング関数ｆ７，ｆ８（図３２参照）のように２つの関数に明瞭に分けられるが、心肥大を患っている被験者Ｍの場合は、１つの関数で形状を表現できる点で異なる。 In FIG. 36 (f), since the subject M suffers from cardiac hypertrophy, the shape of the left lung field in the region P7 is different from that of a healthy person. That is, in the case of a healthy person, in the region P7, it can be clearly divided into two functions like the above-described fitting functions f7 and f8 (see FIG. 32), but in the case of the subject M suffering from cardiac hypertrophy, there is one It differs in that the shape can be expressed with a function.
ここで、病歴情報は、現状かかっている疾患（肺がん、肺炎、心肥大、ＣＯＰＤ、肺塞栓など）情報のほか、過去の撮影時の情報から決定可能である。 Here, the medical history information can be determined from information at the time of past imaging in addition to information on diseases (lung cancer, pneumonia, cardiac hypertrophy, COPD, pulmonary embolism, etc.) that are currently affected.
このように、被写体状態情報取得部１１５Ａでは、肺野領域の疾患の有無情報などを取得することが好ましい。
As described above, it is preferable that the subject state
＜３−１−３．その他の情報＞
被写体状態情報取得部１１５Ａでは、上記以外の情報として、過去の撮影時の情報、空腹の有無といった体の状態を示す情報、診断対象に関する情報、問診による判定結果、喫煙歴等の情報をも取得可能である。
<3-1-3. Other information>
In addition to the above information, the subject state
例えば、過去の撮影時の情報に関しては、以前に撮影したフレーム画像ＩＧ０（Ｇ０）の情報を基に、肺野の形状や状態を推定することができる。具体的には、対象病気の程度（重度・軽度など）に応じて肺野の形状や状態を推定可能である。このため、過去の撮影時の情報も肺野の形状や状態の推定に考慮することが好ましい。 For example, regarding information at the time of past imaging, the shape and state of the lung field can be estimated based on the information of the previously captured frame image IG0 (G0). Specifically, the shape and state of the lung field can be estimated according to the degree of the target disease (severe, mild, etc.). For this reason, it is preferable to consider information at the time of past imaging in estimating the shape and state of the lung field.
体の状態（空腹の有無）に関しては、食後の場合は、胃が大きくなり、その他の臓器を圧迫することから、空腹時と比較して肺野の形状も小さくなる傾向にある。このため、空腹の有無も肺野形状の推定に考慮することが好ましい。 Regarding the state of the body (presence or absence of hunger), after eating, the stomach becomes larger and the other organs are compressed, so the shape of the lung field tends to be smaller than when fasting. For this reason, it is preferable to consider the presence or absence of hunger in the estimation of the lung field shape.
診断対象、問診による判定結果に関しては、例えば、上記の肺がん、肺炎、心肥大、ＣＯＰＤ、肺塞栓などの疑いがある場合は肺野の形状や状態が異なる。このため、診断対象、問診による判定結果も肺野の形状や状態の推定に考慮することが好ましい。 With regard to the diagnosis target and the determination result by the inquiry, for example, when there is a suspicion of the above-mentioned lung cancer, pneumonia, cardiac hypertrophy, COPD, pulmonary embolism, the shape and state of the lung field are different. For this reason, it is preferable to consider the diagnosis target and the determination result based on the inquiry in estimating the shape and state of the lung field.
喫煙歴に関しては、喫煙の影響で被験者Ｍが肺気腫や気管支拡張症という病気を患うと、フレーム画像ＩＧ０（Ｇ０）に異常所見として出現する。肺気腫の場合は肺が正常より黒っぽく写り、気管支拡張症の場合は、相対的に気管支や血管の影が目立つようになることから、喫煙歴等も考慮することが好ましい。 Regarding the smoking history, when subject M suffers from diseases such as emphysema and bronchiectasis due to the influence of smoking, it appears as an abnormal finding in frame image IG0 (G0). In the case of emphysema, the lungs appear darker than normal, and in the case of bronchiectasis, the shadows of bronchi and blood vessels become relatively conspicuous, so it is preferable to consider smoking history and the like.
＜３−２．データベース５１Ａ＞
また、データベース（テンプレート記憶部）５１Ａでは、本実施形態に係るテンプレートが被写体状態情報ＩＳに基づいてグループ分けされて格納されている。すなわち、上述の被写体状態情報取得部１１５Ａにて取得される被写体状態情報ＩＳを考慮したテンプレートが予め準備され、各テンプレートには、手術歴、病歴、過去の撮影時の情報、体の状態、診断対象、問診による判定結果、喫煙歴等に関係する情報を示す属性情報が予め付されてグループ別にデータベース５１Ａに格納されている。
<3-2.
Further, in the database (template storage unit) 51A, the templates according to the present embodiment are stored in groups based on the subject state information IS. That is, templates that take into account the subject state information IS acquired by the subject state
例えば、被写体状態情報ＩＳが「手術歴情報」の場合については、手術歴を基に作成したテンプレートを準備する。前述の図３６の例で説明すると、図３６（ａ）を表現するテンプレートには「右肺下切除有」という属性が予め付され、図３６（ｂ）を表現するテンプレートには「右肺上切除有」という属性が予め付されてデータベース５１Ａにそれぞれグループ別に格納されている。また、図３６（ｃ）で示されるようにペースメーカが肺野領域の一部に埋め込まれた場合には、ペースメーカにより肺野の一部の領域が欠如したテンプレートを複数準備し、該テンプレートに「左肺上ペースメーカ有」等という属性を付してデータベース５１Ａに格納することが好ましい。また、ペースメーカのみの形状を表現するテンプレートを準備し、「ペースメーカ形状」等という属性を付してデータベース５１Ａに格納することも可能である。
For example, when the subject state information IS is “surgical history information”, a template created based on the surgical history is prepared. In the example of FIG. 36 described above, the template representing FIG. 36A is pre-assigned with the attribute “with right lung resection”, and the template representing FIG. The attribute “with excision” is assigned in advance and stored in the
また、被写体状態情報ＩＳが「病歴情報」の場合については、過去の撮影時の情報や同じ病歴を持つ患者等により肺野形状が共通するため、病歴を基に作成したテンプレートを準備する。グループ分けとしては、病歴情報（肺がん、肺炎、心肥大、ＣＯＰＤ、肺塞栓等）により用意することが好ましい。この際、「肺がん」「肺炎」「心肥大」「ＣＯＰＤ」「肺塞栓」などの属性が予め付されてデータベース５１Ａにそれぞれグループ別に格納されている。
In addition, when the subject state information IS is “medical history information”, a template created based on the medical history is prepared because the lung field shape is common among information at the time of past imaging, patients with the same medical history, and the like. The grouping is preferably prepared based on medical history information (lung cancer, pneumonia, cardiac hypertrophy, COPD, pulmonary embolism, etc.). At this time, attributes such as “lung cancer”, “pneumonia”, “cardiac hypertrophy”, “COPD”, and “pulmonary embolism” are added in advance and stored in the
また、被写体状態情報ＩＳが「過去の撮影時の情報」の場合についても、以前に撮影された情報を基に作成したテンプレートを準備する。グループ分けとしては、例えば、対象の病気の重度から軽度までを用意し、前回の状態の疾患ありのテンプレート、病気が改善しているテンプレートなどを複数用意することが好ましい。この際、「疾患有・重度」「疾患有・軽度」「病気改善」などの属性が予め付されてデータベース５１Ａにそれぞれグループ別に格納されている。
Also, when the subject state information IS is “information at the time of past photographing”, a template created based on previously photographed information is prepared. As the grouping, for example, it is preferable to prepare from severe to mild of the target disease, and to prepare a plurality of templates with the disease in the previous state, templates with improved disease, and the like. At this time, attributes such as “disease presence / severity”, “disease presence / mildness”, “disease improvement”, etc. are assigned in advance and stored in the
また、被写体状態情報ＩＳが「体の状態情報」の場合については、例えば、空腹の有無などを基に作成したテンプレートを準備する。グループ分けとしては、例えば、食後の経過時間毎に複数のテンプレートを用意することが好ましい。この際、「食後１時間」「空腹」などの属性が予め付されてデータベース５１Ａにそれぞれグループ別に格納されている。
When the subject state information IS is “body state information”, for example, a template created based on the presence or absence of hunger is prepared. As grouping, for example, it is preferable to prepare a plurality of templates for each elapsed time after eating. At this time, attributes such as “1 hour after meal” and “hungry” are assigned in advance and stored in the
また、被写体状態情報ＩＳが「診断対象情報」「問診による判定結果」の場合については、ターゲット（対象の病気、問診）を基に作成したテンプレートを準備する。グループ分けと属性付与とについては、被写体状態情報ＩＳが「病歴」の場合と同様に行う。 When the subject state information IS is “diagnosis target information” or “judgment result by inquiry”, a template created based on the target (target disease, inquiry) is prepared. Grouping and attribute assignment are performed in the same manner as when the subject state information IS is “medical history”.
さらに、被写体状態情報ＩＳが「喫煙歴」の場合については、喫煙歴を基に作成したテンプレートを準備する。グループ分けとしては、例えば、喫煙中、喫煙歴無し、禁煙中等のテンプレートを用意することが好ましい。この際、「喫煙中」「喫煙歴無」「禁煙中」などの属性が予め付されてデータベース５１Ａにそれぞれグループ別に格納されている。
Further, when the subject state information IS is “smoking history”, a template created based on the smoking history is prepared. As grouping, for example, it is preferable to prepare templates such as during smoking, no smoking history, and during smoking cessation. At this time, attributes such as “smoking”, “no smoking history”, and “no smoking” are assigned in advance and stored in the
以上のように、データベース５１Ａには、手術歴、病歴、過去の撮影時の情報、体の状態、診断対象、問診による判定結果、喫煙歴等の複数のファクタによる属性情報が付与されたテンプレートがそれぞれのグループ毎に格納されている。なお、上記では属性を個別に説明したが、各テンプレートには複数の属性が付与されてもよい。
As described above, in the
＜３−３．モデル情報制御部１３５Ａ、モデル選択部１２５Ａ＞
モデル情報制御部１３５Ａでは、被写体状態取得部１１５Ａにて取得した被写体状態情報（撮影情報）ＩＳに基づいて、肺野領域の境界を示すモデル情報を決定するモデル情報決定処理を実施する（図３５参照）。本実施形態にいうモデル情報とは、上述のテンプレート情報ＴＳおよび形状モデル情報ＦＳであり、全体の肺形状、肺尖部形状、横隔膜形状、心臓の形状、大動脈弓の形状のうち少なくとも１つの形状が考慮される。
<3-3. Model
The model
ここで、モデル情報制御部１３５Ａにおけるモデル情報決定処理とは、テンプレート情報ＴＳを決定する処理としては、（１ａ）予め準備された複数種のテンプレートのうち、テンプレートマッチングに使用するテンプレートの種類を決定する処理であり、形状モデル情報ＦＳを決定する処理としては、直近に決定された上記所定数のフィッティング関数に対し、（２ａ）所定数のフィッティング関数のうち少なくとも１つの関数の次数を決定する処理と、（３ａ）所定数の増減を決定する処理との２つがある。なお、取得画像が静止画像の場合は、予め定められた所定数のフィッティング関数に対し、（２ａ）あるいは（３ａ）の処理を行うことになる。
Here, the model information determination process in the model
＜３−３−１．モデル情報決定処理（１ａ）＞
モデル情報決定処理の（１ａ）の処理では、モデル情報制御部１３５Ａにおけるモデル選択部１２５Ａ（図３５参照）が、データベース５１Ａに該被写体状態情報ＩＳを入力し、データベース５１Ａが、該被写体状態情報ＩＳの属性情報にマッチする種類の少なくとも１つのテンプレートを指示する情報であるテンプレート情報ＴＳをモデル選択部１２５Ａに出力した後、モデル選択部１２５Ａが、該テンプレート情報ＴＳを粗抽出決定部１３０に入力する。
<3-3-1. Model Information Determination Process (1a)>
In the process (1a) of the model information determination process, the
そして、該テンプレート情報ＴＳが入力された粗抽出決定部１３０では、該テンプレート情報（モデル情報）ＴＳを用いてテンプレートマッチングを行うことで、フレーム画像ＩＧ０に対して粗抽出領域を決定し、粗抽出画像ＩＧ１を得る肺野領域抽出処理を実施する。
Then, the rough
なお、被写体状態情報ＩＳの属性情報にマッチするテンプレート情報ＴＳが複数のテンプレートを指示する場合は、粗抽出決定部１３０は該当する（属性情報にマッチする）上記複数のテンプレート全てを用いてそれぞれテンプレートマッチング処理を行い、粗抽出領域をそれぞれ仮決定する。そして、粗抽出決定部１３０が、テンプレート情報ＴＳで指示される複数のテンプレート毎に決定した複数の粗抽出領域の中から、予め定められた判断基準に従い被写体Ｍに最も適合すると判断された粗抽出領域を粗抽出画像ＩＧ１として精密抽出決定部１４０に出力する。
When the template information TS matching the attribute information of the subject state information IS indicates a plurality of templates, the rough
また、テンプレート情報ＴＳが指示するテンプレートが複数存在する場合、予め定められた判断基準を用いることなく、上記複数のテンプレートのうち単純に任意の１つのテンプレートのみを用いてテンプレートマッチング処理を行っても良い。 Further, when there are a plurality of templates designated by the template information TS, template matching processing may be performed using only one arbitrary template among the plurality of templates without using a predetermined criterion. good.
具体的に、例えば、撮影情報取得部１１５Ａが被写体状態情報ＩＳとして「手術歴・病歴・体の状態」に相当する「右肺下切除有・肺がん・空腹」の情報を取得した場合について説明すると、データベース５１Ａが「右肺下切除有・肺がん・空腹」の属性情報が付与された少なくとも１つのテンプレートを検索し、少なくとも１つの検索結果からなるテンプレート情報ＴＳをモデル選択部１２５Ａに出力する。このテンプレート情報ＴＳがテンプレートマッチングに使用するテンプレートの種類を指示する情報となる。そして、モデル選択部１２５から該テンプレート情報ＴＳが入力された粗抽出決定部１３０では、該テンプレート情報ＴＳで指示されるテンプレート毎にテンプレートマッチング処理を行い、各々仮決定した粗抽出領域の中から、前述した判断基準に従い被写体Ｍに最も適合すると判断された粗抽出領域を粗抽出画像ＩＧ１として精密抽出決定部１４０に出力する。
Specifically, for example, the case where the imaging
このように、モデル情報制御部１３５Ａと情報蓄積装置５Ａ（データベース５１Ａ）とが連動することにより、被写体状態情報ＩＳに基づいてテンプレート情報ＴＳを決定するモデル情報決定処理を実行している。
As described above, the model
＜３−３−２．モデル情報決定処理（２ａ）及び（３ａ）＞
一方、モデル情報決定処理の（２ａ）及び（３ａ）の処理では、モデル情報制御部１３５Ａが、被写体状態情報ＩＳに基づいて形状モデルＦの形状を変更し形状モデル情報ＦＳを決定する。なお、形状モデルＦは予め設定された初期状態から、モデル決定処理（２ａ）及び（３ａ）により順次変更されていく。すなわち、モデル情報決定処理（２ａ）及び（３ａ）は直近に決定された形状モデルＦに対して行われる。
<3-3-2. Model information determination processing (2a) and (3a)>
On the other hand, in the process (2a) and (3a) of the model information determination process, the model
そして、モデル情報制御部１３５Ａが、該形状モデル情報ＦＳを後処理部１５０に入力した後、後処理部１５０が、該形状モデル情報ＦＳに基づいて上述のフィッティング処理を行うことで、フレーム画像ＩＧ０から肺野領域を抽出する肺野領域抽出処理（具体的には、精密抽出画像ＩＧ２に形状モデルＦＳを付した形状モデル付精密抽出画像ＩＧ３を得る処理）を実施する。
Then, after the model
ただし、モデル情報決定処理の（２ａ）及び（３ａ）の処理では形状モデルＦの変更する手法が異なる。例えば、前述の図３６（ｆ）の被写体状態情報ＩＳが「病歴有・心肥大」である場合を例に説明すると、領域Ｐ７の肺野形状は通常は、図３２で示されるようにフィッティング関数ｆ７，ｆ８の２つの関数を必要とするが、図３６（ｆ）の場合は１つの関数で表現可能であるため、モデル情報決定処理の（３ａ）の処理を用いて、形状モデルＦを構成するフィッティング関数の数を１３から１２に減らす処理を行う。ここで、フィッティング関数ｆ７を仮に削除した場合、フィッティング関数ｆ８を用いて図３６（ｆ）の領域Ｐ７の形状を表現することになるため、モデル情報決定処理の（２ａ）の処理を用いて、フィッティング関数ｆ８の次数の調整を行うことで、形状モデルＦＳを決定することになる。 However, the method of changing the shape model F is different between the processes (2a) and (3a) of the model information determination process. For example, in the case where the subject state information IS in FIG. 36 (f) is “presence of history / hypertrophy”, the shape of the lung field in the region P7 is usually a fitting function as shown in FIG. Although two functions f7 and f8 are required, in the case of FIG. 36 (f), the function can be expressed by one function. Therefore, the shape model F is configured using the process (3a) of the model information determination process. A process of reducing the number of fitting functions to be performed from 13 to 12 is performed. Here, if the fitting function f7 is temporarily deleted, the shape of the region P7 in FIG. 36 (f) is expressed using the fitting function f8. Therefore, by using the process (2a) of the model information determination process, The shape model FS is determined by adjusting the order of the fitting function f8.
このように、粗抽出処理や精密抽出処理にて表現しきれなかった抽出境界（異常な形状をもつ抽出境界）であっても、適切にフィッティング関数（形状モデルＦＳ）を決定することにより抽出精度の向上が図れる。 Thus, even if the extraction boundary (extraction boundary having an abnormal shape) that could not be expressed by the rough extraction processing or the precise extraction processing, the extraction accuracy is determined by appropriately determining the fitting function (shape model FS). Can be improved.
＜３−４．画像処理装置３Ａの変形例＞
続いて、第２実施形態に係る画像処理装置３Ａの変形例である画像処理装置３Ａ’について説明する。図３７は、画像処理装置３Ａ’の基本的な機能構成を示すブロック図である。図３７で示されるように、画像処理装置３Ａと異なる点は、画像処理装置３Ａ’では、モデル情報制御部１３５Ａ’にテンプレート加工部１２６Ａ’が付加されることにより、モデル選択部１２５Ａ’が変更される点である。なお、残余の構成は画像処理装置３Ａと同様である。
<3-4. Modification of
Next, an
画像処理装置３Ａ’の機能構成は、被写体状態情報取得部１１５Ａにて取得される被写体状態情報ＩＳの属性にマッチするテンプレートがデータベース５１Ａに存在しない場合や、所望の形状を表現したテンプレートが存在しない場合において効果的である。
The functional configuration of the
すなわち、テンプレート加工部１２６Ａ’では、モデル選択部１２５Ａ’から出力されたテンプレート情報ＴＳ’をベースに、被写体状態取得部１１５Ａにて取得した被写体状態情報ＩＳに基づく所望の形状にテンプレートを加工するテンプレート加工処理を実施する。
That is, the
ここで、上記（１ａ）のモデル情報決定処理におけるテンプレートの「種類」とは、テンプレート加工処理によってテンプレートの形状が変更されたテンプレートの「形状」をも包含する概念で用いている。 Here, the “type” of the template in the model information determination process of (1a) is used as a concept including the “shape” of the template whose shape has been changed by the template processing process.
以下、画像処理装置３Ａ’の特徴的な工程について具体的に説明する。まず、画像処理装置３Ａ’では、モデル選択部１２５Ａ’が被写体状態情報ＩＳの属性により近いもしくは肺野形状により近いテンプレート情報ＴＳ’を選択し、テンプレート加工部１２６Ａ’に入力する。
Hereinafter, specific steps of the
テンプレート加工部１２６Ａ’では、入力されたテンプレート情報ＴＳ’をベースにテンプレートを所望の肺野形状に加工することで、新たにテンプレート（すなわち、テンプレート情報）ＴＳを生成し、該テンプレートＴＳを粗抽出決定部１３０に入力する。
The
図３８は、テンプレート加工部１２６Ａ’によるテンプレート加工処理を例示する図である。図３８で示されるように、図３８（ａ）では、ペースメーカが埋め込まれた領域を考慮して、テンプレートＴ４Ｌ（図２２参照）の領域Ｄ１を削除する加工を行うことでテンプレートＴ４Ｌ’を生成している。また、図３８（ｂ）では、肺切除術により右肺野領域の下部領域が切除されていることを考慮してテンプレートＴ２Ｒ（図１８参照）の領域Ｄ２を削除する加工を行うことでテンプレートＴ２Ｒ’を生成している。さらに、図３８（ｃ）では、肺切除術により右肺野領域の上部領域が切除されていることを考慮してテンプレートＴ４Ｒ（図２２参照）の領域Ｄ３を削除する加工を行うことでテンプレートＴ４Ｒ’を生成している。
FIG. 38 is a diagram illustrating template processing by the
このように、画像処理装置３Ａ’では、テンプレート加工部１２６Ａ’において新たにテンプレート情報ＴＳ’を生成する機能を備えるため、データベース５１Ａに膨大なテンプレートを記憶せずとも、必要最小限のテンプレートを記憶されるだけで済む。
As described above, since the
＜３−３．画像処理装置３Ａの基本動作＞
続いて、図３９は、第２実施形態に係る画像処理装置３Ａの動作フローを例示した図である。なお、図３９のうち、ステップＳＡ１１，ＳＡ１２，ＳＡ４,ＳＡ６〜ＳＡ８は図３４のステップＳ１１，Ｓ１２，Ｓ４,Ｓ６〜Ｓ８と同様であるため、その説明は省略する。
<3-3. Basic Operation of
Subsequently, FIG. 39 is a diagram illustrating an operation flow of the
この第２実施形態では、第１実施形態の被写体固有情報取得部１１５が被写体状態情報取得部１１５Ａに置換されたことで、下記の工程が変更される。
In the second embodiment, the following process is changed by replacing the subject unique
すなわち、第１実施形態と同様の工程として、ステップＳＡ１１，ＳＡ１２と並行して、図３９で示されるように、ステップＳＡ２１，ＳＡ２２が実施される。すなわち、ステップＳＡ２１では、制御部３１Ａの被写体状態情報取得部１１５Ａが、情報蓄積装置４Ａのカルテ情報記憶部４１Ａから被写体状態情報ＩＳを取得し、モデル情報制御部１３５Ａにおけるモデル選択部１２５Ａに入力する。
That is, as steps similar to the first embodiment, steps SA21 and SA22 are performed in parallel with steps SA11 and SA12 as shown in FIG. That is, in step SA21, the subject state
ステップＳＡ２２では、ステップＳＡ２１において入力された被写体状態情報ＩＳに基づいて、モデル情報制御部１３５Ａが上記（１ａ）のモデル情報決定処理を実施する。
In step SA22, the model
ステップＳＡ３では、粗抽出決定部１３０が、ステップＳＡ１２において補正されたフレーム画像ＩＧ０に対して、ステップＳＡ２２において入力されたテンプレート情報ＴＳを用いてテンプレートマッチングを行う。なお、該テンプレート情報ＴＳが複数存在する場合は、該テンプレート情報ＴＳで指示されるテンプレート毎にテンプレートマッチング処理を行い、各々仮決定した粗抽出領域の中から、前述した判断基準に従い被写体Ｍに最も適合すると判断された粗抽出領域を粗抽出画像ＩＧ１として精密抽出決定部１４０に出力する。
In step SA3, the rough
そして、第１実施形態と同様の工程として、ステップＳＡ４を経て、ステップＳＡ５では、モデル情報制御部１３５Ａが、被写体状態情報ＩＳに基づいて形状モデルＦの形状を変更し形状モデル情報ＦＳを決定し、上記の（２ａ）及び（３ａ）のモデル情報決定処理により決定された形状モデル情報ＦＳを後処理部１５０に入力する。そして、後処理部１５０が、ステップＳＡ４において決定された精密抽出画像ＩＧ２における肺野領域ＲＡ０の輪郭部ＳＭ０に対して、該形状モデル情報ＦＳに基づいてフィッティング処理（後処理）を実施し、精密抽出画像ＩＧ３を生成する。
Then, as a process similar to the first embodiment, after passing through step SA4, in step SA5, the model
以上のように第２実施形態に係る画像処理装置３Ａでは、放射線撮影前に予め入力された被写体Ｍに関する情報である撮影情報（被写体状態情報）ＩＳに基づいて、肺野領域の境界を示すモデル情報を決定し、該モデル情報に基づいて、医用画像（フレーム画像ＩＧ０）から肺野領域を抽出する肺野領域抽出処理を実施する。これにより、撮影情報ＩＳに応じた最適なモデル情報を決定することが可能となる。このため、通常と異なる撮影状況（例えば、被験者Ｍが手術歴や病歴を有する場合など）であっても、安定的且つ高速に所定部位の抽出精度の向上を実現する。
As described above, in the
また、被写体状態情報ＩＳは、手術歴、病歴、過去の撮影時の情報、体の状態、診断対象、問診による判定結果、喫煙歴のうち少なくとも何れか１つの情報を含むことにより、これらの情報のうち少なくとも何れか１つの情報を考慮してモデル情報（テンプレート情報ＴＳおよび形状モデル情報ＦＳ）を効率的に決定することができる。これにより、テンプレートマッチング精度及びフィッティング精度が向上するため、非健常者または非健常動物の身体を被写体Ｍとする場合であっても、より安定的且つ高速に肺野領域の抽出精度の向上を実現する。 In addition, the subject state information IS includes at least one of the following information: surgery history, medical history, past photographing information, body state, diagnosis target, determination result by inquiry, and smoking history. Model information (template information TS and shape model information FS) can be efficiently determined in consideration of at least one of the information. As a result, template matching accuracy and fitting accuracy are improved, so that even when the body of a non-healthy person or non-healthy animal is the subject M, the extraction accuracy of the lung field is improved more stably and at high speed. To do.
また、モデル情報決定処理は、予め準備された複数種のテンプレートのうち、テンプレートマッチングに使用するテンプレートの種類を決定する処理と、所定数のフィッティング関数のうち少なくとも１つの関数の次数を決定する処理と、所定数の増減を決定する処理と、を含むことにより、肺野領域の形状が複雑な場合においても、肺野領域の境界をより近似的に表現したモデル情報（テンプレート情報ＴＳおよび形状モデル情報ＦＳ）を決定することが可能となる。また、手術歴や病歴を有した被写体Ｍにおいて、肺野領域の形状あるいは位置が正常な被写体Ｍと比較して著しく異なる場合においても十分対応することが可能となる。このため、より安定的に肺野領域の抽出精度の向上を実現することが可能となる。 The model information determination process includes a process for determining a template type used for template matching among a plurality of types of templates prepared in advance, and a process for determining the order of at least one function among a predetermined number of fitting functions. And a process for determining a predetermined number of increase / decrease, even when the shape of the lung field region is complex, model information (template information TS and shape model) expressing the boundary of the lung field region more approximately Information FS) can be determined. In addition, in the subject M having a history of surgery or medical history, it is possible to sufficiently cope with a case where the shape or position of the lung field region is significantly different from that of the normal subject M. For this reason, it becomes possible to improve the extraction accuracy of the lung field region more stably.
なお、第２の実施形態に係る画像処理装置３Ａは、他に、第１の実施形態に係る画像処理装置３と同様の効果を奏するが、説明は省略する。
The
＜４．第３実施形態＞
図４０は、本発明の第３実施形態として構成された画像処理装置３Ｂ（図１参照）で用いられる制御部３１Ｂの機能構成を示す図である。この制御部３１Ｂは、第１実施形態の画像処理装置３における制御部３１（図２参照）の代替として使用される。第１実施形態と異なる点は、撮影情報（被写体固有情報）取得部１１５が撮影情報（撮影環境情報）取得部１１５Ｂに置換されることにより、情報蓄積装置４のカルテ情報記憶部４１を必要としない点、及び、情報蓄積装置５Ｂのデータベース（テンプレート記憶部）５１Ｂ、モデル選択部１２５Ｂ、モデル情報制御部１３５Ｂが変更される点である。なお、残余の構成は画像処理装置３と同様である。
<4. Third Embodiment>
FIG. 40 is a diagram showing a functional configuration of the
＜４−１．撮影情報取得部１１５Ｂ＞
撮影情報（撮影環境情報）取得部１１５Ｂでは、放射線撮影環境に関する情報である撮影情報を、撮影制御装置２から取得する（図４０参照）。本実施形態における撮影制御装置２から取得する撮影情報とは、動画像（医用画像）が撮影された環境を示す撮影環境情報ＩＥ（図４０参照）を指し、具体的に撮影環境情報ＩＥとは、撮影方向、被写体Ｍとなる対象者または対象動物の呼吸の有無、呼吸の強制有無等のうち少なくとも何れか１つの情報を指す。
<4-1. Shooting
The imaging information (imaging environment information)
そして、撮影情報取得部１１５Ｂは、該撮影環境情報ＩＥをモデル情報制御部１３５Ｂにおけるモデル選択部１２５Ｂに入力する。
Then, the shooting
以下では、撮影制御装置２から取得される撮影環境情報ＩＥを具体的に説明する。
Hereinafter, the shooting environment information IE acquired from the
＜４−１−１．撮影方向情報＞
図４１は撮影環境情報ＩＥを説明するためのサンプル画像ＳＧを例示する図であり、図４１（ａ）では、図１で示されるように撮影部１３の前に被験者Ｍが立った状態（立位）で撮影されるのに対し、図４１（ｂ）では、診療台の上に被験者Ｍが寝ている状態（臥位）で撮影されている。
<4-1-1. Shooting direction information>
FIG. 41 is a diagram illustrating a sample image SG for explaining the shooting environment information IE. In FIG. 41A, the subject M stands in front of the shooting unit 13 as shown in FIG. In FIG. 41 (b), the image is taken in a state where the subject M is sleeping on the medical table (prone position).
図４１で示されるように、被験者Ｍの姿勢が立位（図４１（ａ）参照）と臥位（図４１（ｂ）参照）とによって肺野の形状が異なることが見て取れる。具体的には、被験者Ｍの姿勢が立位である場合は、臥位である場合と比較して肺野の形状が縦に細長い特徴を有する。これに対して、被験者Ｍの姿勢が臥位である場合は、立位である場合と比較して肺野の形状が重力の影響で横に広がる（臓器の位置が変わる）ため、全体としてのサイズが大きくなる特徴を有する。このように、被験者Ｍが同一であっても、被験者Ｍの姿勢、すなわち、撮影方向により肺野形状の見え方が大きく異なる。 As shown in FIG. 41, it can be seen that the posture of the subject M is different between the standing position (see FIG. 41 (a)) and the lying position (see FIG. 41 (b)). Specifically, when the posture of the subject M is in the standing position, the shape of the lung field has a vertically elongated feature as compared with the case where the subject M is in the standing position. On the other hand, when the posture of the subject M is in the supine position, the shape of the lung field spreads sideways due to the influence of gravity (the position of the organ changes) as compared with the case of the standing position. It has the feature of increasing the size. Thus, even if the subject M is the same, the appearance of the lung field shape varies greatly depending on the posture of the subject M, that is, the imaging direction.
また、図４１では図示されていないが、被験者Ｍに対して斜め方向から撮影された場合においても、被験者Ｍに対するＸ線の入射方向が変わるため、肺野形状が立位及び臥位とは異なる形状となる。これは、光源の位置が変わると投影像（肺野形状）が変わる可能性が高いためである。 Although not shown in FIG. 41, the X-ray incident direction on the subject M changes even when the subject M is photographed from an oblique direction, so the lung field shape is different from the standing position and the supine position. It becomes a shape. This is because the projection image (lung field shape) is likely to change when the position of the light source changes.
したがって、撮影環境情報取得部１１５Ｂは、被験者Ｍの姿勢（立位、臥位、斜め）に起因した撮影方向の情報を取得することが好ましい。
Therefore, it is preferable that the shooting environment
＜４−１−２．撮影時の呼吸状態情報＞
また、肺野形状を決める他の要因として呼吸状態情報が挙げられる。図４２は、自然呼吸と強制呼吸とについて説明する図である。図４２で示されるように、被写体Ｍが通常行う自然呼吸の呼吸サイクルは、吸気と呼気とから構成される。吸気では、横隔膜が下がって息が吸い込まれるに連れて胸郭中の肺野の領域が大きくなり、息を最大限に吸い込んだとき（吸気と呼気の変換点）が最大吸気時となる。一方、呼気では、横隔膜が上がって息が吐き出されるに連れて肺野の領域が小さくなるが、息を最大限に排出したとき（呼気と吸気の変換点）が最大呼気時となる。このように、最大吸気時に肺野形状が最も大きくなり、最大呼気時に肺野形状が最も小さくなる特徴を有する。
<4-1-2. Respiratory state information at the time of photography>
Another factor that determines the lung field shape is respiratory state information. FIG. 42 is a diagram illustrating natural breathing and forced breathing. As shown in FIG. 42, the breathing cycle of natural breathing normally performed by the subject M includes inspiration and expiration. In inhalation, as the diaphragm descends and breaths are inhaled, the lung field in the thorax increases, and when inhaled to the maximum (conversion point between inspiration and expiration) is the time of maximum inspiration. On the other hand, in exhalation, the area of the lung field becomes smaller as the diaphragm rises and exhales, but the maximum exhalation time is when exhalation is maximized (conversion point between exhalation and inspiration). As described above, the lung field shape is the largest at the time of the maximum inspiration, and the lung field shape is the smallest at the time of the maximum expiration.
一方、自然呼吸に対する用語として、本実施形態における強制呼吸（呼吸の強制）とは、被験者Ｍに強制的に息止めさせた時をいう。強制的な息止め時は、一般的に、図４２で示されるように、最大吸気時もしくは最大吸気時に最も近い状態（最大吸気時付近）となるが、強制呼吸では意識的に息を多く吸い込むため、自然呼吸時の最大吸気時付近と比較して、肺野形状が若干大きくなる傾向にある。このように、自然呼吸か強制呼吸かによっても肺野形状を考慮することが好ましい。 On the other hand, as a term for natural breathing, forced breathing (forced breathing) in the present embodiment refers to a time when the subject M is forced to hold his / her breath. As shown in FIG. 42, the forced breath holding is generally the closest state at the time of the maximum inspiration or the maximum inspiration (near the maximum inspiration), but in the forced breathing, a large amount of breath is intentionally inhaled. Therefore, the shape of the lung field tends to be slightly larger than near the maximum inspiration during natural breathing. Thus, it is preferable to consider the shape of the lung field depending on whether it is natural breathing or forced breathing.
この他、急患などで息切れがひどい場合、呼吸が浅く速くなる場合等は、呼吸による肺野の形状の変化は小さく、息止め時の肺形状と同視できる傾向にある。 In addition, when the shortness of breath is severe due to sudden illness, or when breathing is shallow and fast, the change in the shape of the lung field due to breathing is small, and it tends to be equated with the lung shape at the time of breath holding.
したがって、撮影環境情報取得部１１５Ｂは、被験者Ｍの様々な呼吸状態情報を取得することが好ましい。
Therefore, it is preferable that the imaging environment
＜４−１−３．その他の情報＞
撮影環境情報取得部１１５Ｂは上記以外に例えば、ＦＰＤのサイズ等も取得可能である。例えば、小さいＦＰＤで、大きい被写体Ｍが撮影されたときにフレーム画像から対象部位がはみ出る可能性があるためであり、ＦＰＤのサイズ等も考慮することが好ましい。
<4-1-3. Other information>
In addition to the above, the shooting environment
＜４−２．データベース５１Ｂ＞
また、データベース（テンプレート記憶部）５１Ｂでは、本実施形態に係るテンプレートが撮影環境情報ＩＥに基づいてグループ分けされて格納されている。すなわち、上述の撮影環境情報取得部１１５Ｂにて取得される撮影環境情報ＩＥを考慮したテンプレートが予め準備され、各テンプレートには、撮影方向、被写体Ｍとなる対象者または対象動物の呼吸の有無、呼吸の強制有無等に関係する情報を示す属性情報が予め付されてグループ別にデータベース５１Ｂに格納されている。
<4-2.
In the database (template storage unit) 51B, templates according to the present embodiment are stored in groups based on the shooting environment information IE. That is, templates that take into account the shooting environment information IE acquired by the shooting environment
例えば、撮影環境情報ＩＥが「撮影方向情報」の場合については、撮影方向を基に作成したテンプレートを準備する。前述の図４１の例においては、図４１（ａ）を表現するテンプレートには「立位」という属性が予め付され、図４１（ｂ）を表現するテンプレートには「臥位」という属性が予め付されてデータベース５１Ｂにそれぞれグループ別に格納されている。また、図４１では図示されていないが、被写体Ｍに対して斜め方向から撮影された場合を表現するテンプレートを用意する場合には、「斜め（あるいは角度）」という属性を付し、データベース５１Ｂの立位、臥位とは別のグループに格納することが好ましい。
For example, when the shooting environment information IE is “shooting direction information”, a template created based on the shooting direction is prepared. In the example of FIG. 41 described above, an attribute “standing position” is assigned in advance to the template representing FIG. 41A, and an attribute “prone position” is assigned in advance to the template expressing FIG. 41B. Attached and stored in the
また、撮影環境情報ＩＥが「撮影時の呼吸状態情報」の場合については、呼吸状態を基に作成したテンプレートを準備する。グループ分けとしては、呼吸の有無により、肺野の形状の変化は大きく変わるため、強制的な息止め時、自然呼吸時等により使用するテンプレートを用意することが好ましい。この際、例えば、「最大呼気」「最大吸気」「息止め」などの属性が予め付されてデータベース５１Ｂにそれぞれグループ別に格納されている。
When the imaging environment information IE is “respiration state information at the time of imaging”, a template created based on the respiratory state is prepared. As the grouping, since the change in the shape of the lung field varies greatly depending on the presence or absence of breathing, it is preferable to prepare a template to be used for forced breathing, natural breathing, or the like. At this time, for example, attributes such as “maximum expiration”, “maximum inspiration”, and “breath holding” are added in advance and stored in the
以上のように、データベース５１Ｂには、撮影方向、被写体Ｍとなる対象者または対象動物の呼吸の有無、呼吸の強制有無等の複数のファクタによる属性情報が付与されたテンプレートがそれぞれのグループ毎に格納されている。なお、上記では属性を個別に説明したが、各テンプレートには複数の属性が付与されてもよい。
As described above, in the
＜４−３．モデル情報制御部１３５Ｂ、モデル選択部１２５Ｂ＞
モデル情報制御部１３５Ｂでは、撮影環境情報取得部１１５Ｂにて取得した撮影環境情報（撮影情報）ＩＥに基づいて、肺野領域の境界を示すモデル情報を決定するモデル情報決定処理を実施する（図４０参照）。本実施形態にいうモデル情報とは、テンプレート情報ＴＥおよび形状モデル情報ＦＥであり、全体の肺形状、肺尖部形状、横隔膜形状、心臓の形状、大動脈弓の形状のうち少なくとも１つの形状が考慮される。
<4-3. Model
The model
ここで、モデル情報制御部１３５Ｂにおけるモデル情報決定処理とは、テンプレート情報ＴＥを決定する処理としては、（１ｂ）予め準備された複数種のテンプレートのうち、テンプレートマッチングに使用するテンプレートの種類を決定する処理であり、形状モデル情報ＦＥを決定する処理としては、直近に決定された上記所定数のフィッティング関数に対し、（２ｂ）所定数のフィッティング関数のうち少なくとも１つの関数の次数を決定する処理と、（３ｂ）所定数の増減を決定する処理との２つである。なお、取得画像が静止画像の場合は、予め定められた所定数のフィッティング関数に対し、（２ｂ）あるいは（３ｂ）の処理を行うことになる。
Here, the model information determining process in the model
＜４−３−１．モデル情報決定処理（１ｂ）＞
モデル情報決定処理の（１ｂ）の処理では、モデル情報制御部１３５Ｂにおけるモデル選択部１２５Ｂ（図４０参照）が、データベース５１Ｂに該撮影環境情報ＩＥを入力し、データベース５１Ｂが、該撮影環境情報ＩＥの属性情報にマッチする種類の少なくとも１つのテンプレートを指示する情報であるテンプレート情報ＴＥをモデル選択部１２５Ｂに出力した後、モデル選択部１２５Ｂが、該テンプレート情報ＴＥを粗抽出決定部１３０に入力する。
<4-3-1. Model Information Determination Process (1b)>
In the process (1b) of the model information determination process, the
そして、該テンプレート情報ＴＥが入力された粗抽出決定部１３０では、該テンプレート情報（モデル情報）ＴＥを用いてテンプレートマッチングを行うことで、フレーム画像ＩＧ０に対して粗抽出領域を決定し、粗抽出画像ＩＧ１を得る肺野領域抽出処理を実施する。
Then, the rough
なお、撮影環境情報ＩＥの属性情報にマッチするテンプレート情報ＴＥが複数のテンプレートを指示する場合は、粗抽出決定部１３０は該当する（属性情報にマッチする）上記複数のテンプレート全てを用いてそれぞれテンプレートマッチング処理を行い、粗抽出領域をそれぞれ仮決定する。そして、粗抽出決定部１３０が、テンプレート情報ＴＥで指示される複数のテンプレート毎に決定した複数の粗抽出領域の中から、予め定められた判断基準に従い被写体Ｍに最も適合すると判断された粗抽出領域を粗抽出画像ＩＧ１として精密抽出決定部１４０に出力する。
When the template information TE that matches the attribute information of the shooting environment information IE indicates a plurality of templates, the rough
また、テンプレート情報ＴＥが指示するテンプレートが複数存在する場合、予め定められた判断基準を用いることなく、上記複数のテンプレートのうち単純に任意の１つのテンプレートのみを用いてテンプレートマッチング処理を行っても良い。 Further, when there are a plurality of templates indicated by the template information TE, the template matching process may be performed by using only one arbitrary template among the plurality of templates without using a predetermined determination criterion. good.
具体的に、例えば、撮影情報取得部１１５Ｂが撮影環境情報ＩＥとして「撮影方向・撮影時の呼吸状態」に相当する「臥位・最大呼気」の情報を取得した場合について説明すると、データベース５１Ｂが「臥位・最大呼気」の属性情報が付与された少なくとも１つのテンプレートを検索し、少なくとも１つの検索結果からなるテンプレート情報ＴＥをモデル選択部１２５Ｂに出力する。このテンプレート情報ＴＥがテンプレートマッチングに使用するテンプレートの種類を指示する情報となる。そして、モデル選択部１２５から該テンプレート情報ＴＥが入力された粗抽出決定部１３０では、該テンプレート情報ＴＥで指示されるテンプレート毎にテンプレートマッチング処理を行い、各々仮決定した粗抽出領域の中から、前述した判断基準に従い被写体Ｍに最も適合すると判断された粗抽出領域を粗抽出画像ＩＧ１として精密抽出決定部１４０に出力する。
Specifically, for example, the case where the imaging
このように、モデル情報制御部１３５Ｂと情報蓄積装置５Ｂ（データベース５１Ｂ）とが連動することにより、撮影環境情報ＩＥに基づいてテンプレート情報ＴＥを決定するモデル情報決定処理を実行している。
As described above, the model
また、撮影環境情報ＩＥにおける「撮影時の呼吸状態」が急患などで息切れがひどい場合には、上述の通り、息止め時の肺形状と同視可能であるため、「息止め」の属性情報が付与されたテンプレートを選択することが好ましい。 In addition, when the “breathing state at the time of photographing” in the photographing environment information IE is a sudden illness or the like and the shortness of breath is severe, as described above, it can be equated with the lung shape at the time of breath holding. It is preferable to select a given template.
＜４−３−２．モデル情報決定処理（２ｂ）及び（３ｂ）＞
一方、モデル情報決定処理の（２ｂ）及び（３ｂ）の処理では、モデル情報制御部１３５Ｂが、撮影環境情報ＩＥに基づいて形状モデルＦの形状を変更し形状モデル情報ＦＥを決定する。なお、形状モデルＦは予め設定された初期状態から、モデル決定処理（２ｂ）及び（３ｂ）により順次変更されていく。すなわち、モデル情報決定処理（２ｂ）及び（３ｂ）は直近に決定された形状モデルＦに対して行われる。
<4-3-2. Model information determination processing (2b) and (3b)>
On the other hand, in the processes (2b) and (3b) of the model information determination process, the model
そして、モデル情報制御部１３５Ｂが、該形状モデル情報ＦＥを後処理部１５０に入力した後、後処理部１５０が、該形状モデル情報ＦＥに基づいて上述のフィッティング処理を行うことで、フレーム画像ＩＧ０から肺野領域を抽出する肺野領域抽出処理（具体的には、精密抽出画像ＩＧ２に形状モデルＦＥを付した形状モデル付精密抽出画像ＩＧ３を得る処理）を実施する。なお、モデル情報決定処理の（２ｂ）及び（３ｂ）の処理手法の違いは、上記モデル情報決定処理の（２）及び（３）の違いと同様である。
Then, after the model
このように、粗抽出処理や精密抽出処理にて表現しきれなかった抽出境界であっても、適切にフィッティング関数（形状モデルＦＥ）を決定することにより抽出精度の向上が図れる。 As described above, even when the extraction boundary cannot be expressed by the rough extraction process or the precise extraction process, the extraction accuracy can be improved by appropriately determining the fitting function (shape model FE).
＜４−４．画像処理装置３Ｂの基本動作＞
続いて、図４３は、第３実施形態に係る画像処理装置３Ｂの動作フローを例示した図である。なお、図４３のうち、ステップＳＢ１１，ＳＢ１２，ＳＢ４,ＳＢ６〜ＳＢ８は図３４のステップＳ１１，Ｓ１２，Ｓ４,Ｓ６〜Ｓ８と同様であるため、その説明は省略する。
<4-4. Basic Operation of
Subsequently, FIG. 43 is a diagram illustrating an operation flow of the
この第３実施形態では、第１実施形態の被写体固有情報取得部１１５が撮影環境情報取得部１１５Ｂに置換されたことで、下記の工程が変更される。
In the third embodiment, the following process is changed by replacing the subject unique
すなわち、第１実施形態と同様の工程として、ステップＳＢ１１，ＳＢ１２と並行して、図４３で示されるように、ステップＳＢ２１，ＳＢ２２が実施される。すなわち、ステップＳＢ２１では、制御部３１Ｂの撮影環境情報取得部１１５Ｂが、撮影制御装置２から撮影環境情報ＩＥを取得し、モデル情報制御部１３５Ｂにおけるモデル選択部１２５Ｂに入力する。
That is, as steps similar to the first embodiment, steps SB21 and SB22 are performed in parallel with steps SB11 and SB12 as shown in FIG. That is, in step SB21, the shooting environment
ステップＳＢ２２では、ステップＳＢ２１において入力された撮影環境情報ＩＥに基づいて、モデル情報制御部１３５Ｂが上記（１ｂ）のモデル情報決定処理を実施する。
In step SB22, the model
ステップＳＢ３では、粗抽出決定部１３０が、ステップＳＢ１２において補正されたフレーム画像ＩＧ０に対して、ステップＳＢ２２において入力されたテンプレート情報ＴＥを用いてテンプレートマッチングを行う。なお、該テンプレート情報ＴＥが複数存在する場合は、該テンプレート情報ＴＥで指示されるテンプレート毎にテンプレートマッチング処理を行い、各々仮決定した粗抽出領域の中から、前述した判断基準に従い被写体Ｍに最も適合すると判断された粗抽出領域を粗抽出画像ＩＧ１として精密抽出決定部１４０に出力する。
In step SB3, the rough
そして、第１実施形態と同様の工程として、ステップＳＢ４を経て、ステップＳＢ５では、モデル情報制御部１３５Ｂが、撮影環境情報ＩＥに基づいて形状モデルＦの形状を変更し形状モデル情報ＦＥを決定し、上記の（２ｂ）及び（３ｂ）のモデル情報決定処理により決定された形状モデル情報ＦＥを後処理部１５０に入力する。そして、後処理部１５０が、ステップＳＢ４において決定された精密抽出画像ＩＧ２における肺野領域ＲＡ０の輪郭部ＳＭ０に対して、該形状モデル情報ＦＥに基づいてフィッティング処理（後処理）を実施し、精密抽出画像ＩＧ３を生成する。
As a process similar to the first embodiment, after step SB4, in step SB5, the model
以上のように第３実施形態に係る画像処理装置３Ｂでは、放射線撮影前に予め入力された放射線撮影環境に関する情報である撮影情報（撮影環境情報）ＩＥに基づいて、肺野領域の境界を示すモデル情報を決定し、該モデル情報に基づいて、医用画像（フレーム画像ＩＧ０）から肺野領域を抽出する肺野領域抽出処理を実施する。これにより、撮影情報ＩＥに応じた最適なモデル情報を決定することが可能となる。このため、通常と異なる撮影状況（例えは、撮影時の呼吸状態が急患などで息切れがひどい場合など）であっても、安定的且つ高速に所定部位の抽出精度の向上を実現する。
As described above, in the
また、撮影環境情報ＩＥは、撮影方向、被写体Ｍとなる対象者または対象動物の呼吸の有無、呼吸の強制有無のうち少なくとも何れか１つの情報を含むことにより、これらの情報のうち少なくとも何れか１つの情報を考慮してモデル情報（テンプレート情報ＴＥおよび形状モデル情報ＦＥ）を効率的に決定することができる。これにより、テンプレートマッチング精度及びフィッティング精度が向上するため、特殊条件下における撮影であっても、より安定的且つ高速に所定部位の抽出精度の向上を実現する。 Further, the imaging environment information IE includes at least one of the imaging direction, the presence or absence of breathing of the subject or the target animal that is the subject M, and the presence or absence of forced breathing. Model information (template information TE and shape model information FE) can be efficiently determined in consideration of one piece of information. As a result, the template matching accuracy and the fitting accuracy are improved, so that the extraction accuracy of the predetermined part can be improved more stably and at a high speed even when photographing under special conditions.
なお、第３の実施形態に係る画像処理装置３Ｂは、他に、第１の実施形態に係る画像処理装置３と同様の効果を奏するが、説明は省略する。
The
＜５．第４実施形態＞
図４４は、本発明の第４実施形態として構成された画像処理装置３Ｃ（図１参照）で用いられる制御部３１Ｃの機能構成を示す図である。この制御部３１Ｃは、第１〜第３実施形態の画像処理装置３，３Ａ，３Ｂにおける制御部３１，３１Ａ，３１Ｂが組み合わされた構成を有する。第１実施形態と異なる点は、撮影情報（被写体固有情報）取得部１１５が撮影情報（被写体固有情報・被写体状態情報・撮影環境情報）取得部１１５Ｃに置換されることにより、情報蓄積装置４Ｃのカルテ情報記憶部４１Ｃ、情報蓄積装置５Ｃのデータベース（テンプレート記憶部）５１Ｃ、モデル選択部１２５Ｃ、モデル情報制御部１３５Ｃが変更される点である。なお、残余の構成は画像処理装置３と同様である。
<5. Fourth Embodiment>
FIG. 44 is a diagram illustrating a functional configuration of a control unit 31C used in the
＜５−１．撮影情報取得部１１５Ｃ、カルテ情報記憶部４１Ｃ＞
撮影情報（被写体固有情報・被写体状態情報・撮影環境情報）取得部１１５Ｃでは、放射線撮影前に予め入力された被写体Ｍに関する情報である撮影情報（被写体固有情報ＩＯ、被写体状態情報ＩＳ）を、情報蓄積装置４Ｃにおけるカルテ情報記憶部４１Ｃから取得するとともに、放射線撮影環境に関する情報である撮影情報（撮影環境情報ＩＥ）を、撮影制御装置２から取得する（図４４参照）。したがって、本実施形態における撮影情報とは、上述と同様の被写体固有情報ＩＯ、被写体状態情報ＩＳ、及び、撮影環境情報ＩＥを指す。そして、撮影情報取得部１１５Ｃは、モデル情報制御部１３５Ｃにおけるモデル選択部１２５Ｃにこれら３種類の撮影情報ＩＯ，ＩＳ，ＩＥを入力する。
<5-1. Imaging
The photographing information (subject unique information / subject state information / photographing environment information)
＜５−２．データベース５１Ｃ＞
また、データベース（テンプレート記憶部）５１Ｃでは、本実施形態に係るテンプレートが被写体固有情報ＩＯ、被写体状態情報ＩＳ、撮影環境情報ＩＥに基づいてグループ分けされて格納されている。すなわち、上述の撮影情報取得部１１５Ｃにて取得されるこれら３種類の撮影情報を考慮したテンプレートが予め準備され、各テンプレートには、上述と同様の属性情報（第１〜第３実施形態にて説明済み）が予め付されてグループ別にデータベース５１Ｃにて格納されている。
<5-2. Database 51C>
Further, in the database (template storage unit) 51C, templates according to the present embodiment are stored in groups based on the subject unique information IO, the subject state information IS, and the shooting environment information IE. That is, templates in consideration of these three types of shooting information acquired by the shooting
以下、データベース５１Ｃの概念構造を説明するにあたって、被写体固有情報ＩＯを「性別」、被写体状態情報ＩＳを「肺切除有無」、撮影環境情報ＩＥを「撮影方向」とした場合の最も簡略化された例を用いて説明する。 Hereinafter, in describing the conceptual structure of the database 51C, it is most simplified when the subject-specific information IO is “sex”, the subject state information IS is “pneumotomy”, and the imaging environment information IE is “imaging direction”. This will be described using an example.
図４５は、データベース５１Ｃにおける階層化されたテンプレート情報の一例を示す概念図である。図４５で示されるように、被写体固有情報ＩＯの「性別」、被写体状態情報ＩＳの「肺切除有無」、撮影環境情報ＩＥの「撮影方向」のうち、最も上位概念に位置するのは、撮影環境情報ＩＥの「撮影方向」であるため、まず、「立位」「臥位」「斜め」の３つのテンプレート情報ＴＥ１〜ＴＥ３に大別され、各々テンプレートがグループ化され格納（蓄積）されている。次に、被写体固有情報ＩＯの「性別」は被写体状態情報ＩＳの「肺切除有無」より上位概念であるため、「男性」「女性」の２つのテンプレート情報ＴＯ１，ＴＯ２がテンプレート情報ＴＥ１〜ＴＥ３に各々格納される。さらに、「肺切除無」「肺切除有」の２つのテンプレート情報ＴＳ１，ＴＳ２がテンプレート情報ＴＯ１，ＴＯ２に各々格納される。したがって、例えば、被写体固有情報ＩＯが「男性」、被写体状態情報ＩＳが「肺切除有」、撮影環境情報ＩＥ「臥位」の場合のテンプレート情報は、テンプレート情報ＴＯ１Ｓ２Ｅ２（図４５参照）が該当する。 FIG. 45 is a conceptual diagram showing an example of hierarchical template information in the database 51C. As shown in FIG. 45, the most significant concept among the “sex” of the subject specific information IO, the “presence / absence of lung excision” of the subject state information IS, and the “imaging direction” of the imaging environment information IE is the imaging. Since it is the “shooting direction” of the environmental information IE, first, it is roughly divided into three template information TE1 to TE3 of “standing position”, “prone position”, and “oblique”, and the templates are grouped and stored (accumulated). Yes. Next, since the “sex” of the subject unique information IO is a higher concept than the “presence / absence of pulmonary resection” of the subject state information IS, the two template information TO1 and TO2 of “male” and “female” become template information TE1 to TE3. Each is stored. Further, two template information TS1 and TS2 of “no lung resection” and “with lung resection” are stored in the template information TO1 and TO2, respectively. Therefore, for example, the template information TO1S2E2 (see FIG. 45) corresponds to the template information in the case where the subject unique information IO is “male”, the subject state information IS is “pneumonectomy present”, and the imaging environment information IE “recumbent position”. .
なお、ここでは撮影情報における最も簡略化された概念構造の一例について説明したが、実際は被写体固有情報ＩＯ、被写体状態情報ＩＳ、撮影環境情報ＩＥがそれぞれ複数の属性情報から構成されるため、実際のデータベース５１はかなり複雑な構造となる。また、ここでは、最も上位概念を撮影環境情報ＩＥ、最も下位概念を被写体状態情報ＩＳとしたが、これに限られず、属性情報の組合せにより様々に変動することになる。
Although an example of the most simplified conceptual structure in the shooting information has been described here, the actual subject information IO, the subject state information IS, and the shooting environment information IE are each composed of a plurality of attribute information. The
＜５−３．モデル情報制御部１３５Ｃ、モデル選択部１２５Ｃ＞
モデル情報制御部１３５Ｃでは、撮影情報取得部１１５Ｃにて取得した被写体固有情報ＩＯ、被写体状態情報ＩＳ、撮影環境情報ＩＥに基づいて、肺野領域の境界を示すモデル情報を決定するモデル情報決定処理を実施する（図４４参照）。本実施形態にいうモデル情報とは、テンプレート情報ＴＯＳＥおよび形状モデル情報ＦＯＳＥであり、全体の肺形状、肺尖部形状、横隔膜形状、心臓の形状、大動脈弓の形状のうち少なくとも１つの形状が考慮される。
<5-3. Model Information Control Unit 135C, Model Selection Unit 125C>
In the model information control unit 135C, model information determination processing for determining model information indicating the boundary of the lung field region based on the subject unique information IO, the subject state information IS, and the imaging environment information IE acquired by the imaging
ここで、モデル情報制御部１３５Ｃにおけるモデル情報決定処理とは、テンプレート情報ＴＯＳＥを決定する処理としては、（１ｃ）予め準備された複数種のテンプレートのうち、テンプレートマッチングに使用するテンプレートの種類を決定する処理であり、形状モデル情報ＦＯＳＥを決定する処理としては、直近に決定された上記所定数のフィッティング関数に対し、（２ｃ）所定数のフィッティング関数のうち少なくとも１つの関数の次数を決定する処理と、（３ｃ）所定数の増減を決定する処理との２つである。なお、取得画像が静止画像の場合は、予め定められた所定数のフィッティング関数に対し、（２ｃ）あるいは（３ｃ）の処理を行うことになる。 Here, the model information determination process in the model information control unit 135C includes (1c) determining a template type to be used for template matching among a plurality of types of templates prepared in advance. As a process for determining the shape model information FOSE, (2c) a process for determining the order of at least one of the predetermined number of fitting functions with respect to the predetermined number of fitting functions determined most recently. And (3c) a process for determining a predetermined number of increase / decrease. If the acquired image is a still image, the process (2c) or (3c) is performed on a predetermined number of fitting functions.
＜５−３−１．モデル情報決定処理（１ｃ）＞
具体的に、モデル情報決定処理の（１ｃ）の処理では、モデル情報制御部１３５Ｃにおけるモデル選択部１２５Ｃ（図４４参照）が、データベース５１Ｃに該被写体固有情報ＩＯ、該被写体状態情報ＩＳ、該撮影環境情報ＩＥを入力し、データベース５１Ｃが、これら３種類の属性情報にマッチする種類の少なくとも１つのテンプレートを指示する情報であるテンプレート情報ＴＯＳＥをモデル選択部１２５Ｃに出力した後、モデル選択部１２５Ｃが、該テンプレート情報ＴＯＳＥを粗抽出決定部１３０に入力する。
<5-3-1. Model Information Determination Process (1c)>
Specifically, in the process (1c) of the model information determination process, the model selection unit 125C (see FIG. 44) in the model information control unit 135C stores the subject unique information IO, the subject state information IS, and the shooting in the database 51C. After the environment information IE is input, the database 51C outputs template information TOSE, which is information indicating at least one template matching the three types of attribute information, to the model selection unit 125C, and then the model selection unit 125C The template information TOSE is input to the rough
そして、該テンプレート情報ＴＯＳＥが入力された粗抽出決定部１３０では、該テンプレート情報（モデル情報）ＴＯＳＥを用いてテンプレートマッチングを行うことで、フレーム画像ＩＧ０に対して粗抽出領域を決定し、粗抽出画像ＩＧ１を得る肺野領域抽出処理を実施する。
Then, the rough
なお、撮影情報ＩＯ，ＩＳ，ＩＥの属性情報にマッチするテンプレート情報ＴＯＳＥが複数のテンプレートを指示する場合は、粗抽出決定部１３０は該当する（属性情報にマッチする）上記複数のテンプレート全てを用いてそれぞれテンプレートマッチング処理を行い、粗抽出領域をそれぞれ仮決定する。そして、粗抽出決定部１３０が、テンプレート情報ＴＯＳＥで指示される複数のテンプレート毎に決定した複数の粗抽出領域の中から、予め定められた判断基準に従い被写体Ｍに最も適合すると判断された粗抽出領域を粗抽出画像ＩＧ１として精密抽出決定部１４０に出力する。
When the template information TOSE that matches the attribute information of the shooting information IO, IS, and IE indicates a plurality of templates, the rough
また、テンプレート情報ＴＯＳＥが指示するテンプレートが複数存在する場合、予め定められた判断基準を用いることなく、上記複数のテンプレートのうち単純に任意の１つのテンプレートのみを用いてテンプレートマッチング処理を行っても良い。 Further, when there are a plurality of templates indicated by the template information TOSE, template matching processing may be performed using only one arbitrary template among the plurality of templates without using a predetermined criterion. good.
例えば、上記と同様に、撮影情報取得部１１５Ｃが撮影環境情報ＩＯ，ＩＳ，ＩＥとして「性別・肺切除有無・撮影方向」に相当する「男性・肺切除有・臥位」の情報を取得した場合（図４５参照）について説明すると、データベース５１Ｃが「男性・肺切除有・臥位」の属性情報が付与された少なくとも１つのテンプレートを検索し、少なくとも１つの検索結果からなるテンプレート情報ＴＯＳＥをモデル選択部１２５Ｃに出力する。このテンプレート情報ＴＯＳＥがテンプレートマッチングに使用するテンプレートの種類を指示する情報となる。そして、モデル選択部１２５から該テンプレート情報ＴＯＳＥが入力された粗抽出決定部１３０では、該テンプレート情報ＴＯＳＥで指示されるテンプレート毎にテンプレートマッチング処理を行い、各々仮決定した粗抽出領域の中から、前述した判断基準に従い被写体Ｍに最も適合すると判断された粗抽出領域を粗抽出画像ＩＧ１として精密抽出決定部１４０に出力する。
For example, in the same manner as described above, the imaging
このように、モデル情報制御部１３５Ｃと情報蓄積装置５Ｃ（データベース５１Ｃ）とが連動することにより、撮影情報ＩＯ，ＩＳ，ＩＥに基づいてテンプレート情報ＴＯＳＥを決定するモデル情報決定処理を実行している。
As described above, the model information control unit 135C and the
＜５−３−２．モデル情報決定処理（２ｃ）及び（３ｃ）＞
一方、モデル情報決定処理の（２ｃ）及び（３ｃ）の処理では、モデル情報制御部１３５Ｃが、該被写体固有情報ＩＯ、該被写体状態情報ＩＳ、該撮影環境情報ＩＥに基づいて形状モデルＦの形状を変更し形状モデル情報ＦＯＳＥを決定する。なお、形状モデルＦは予め設定された初期状態から、モデル決定処理（２ｃ）及び（３ｃ）により順次変更されていく。すなわち、モデル情報決定処理（２ｃ）及び（３ｃ）は直近に決定された形状モデルＦに対して行われる。
<5-3-2. Model information determination processing (2c) and (3c)>
On the other hand, in the processes (2c) and (3c) of the model information determination process, the model information control unit 135C determines the shape of the shape model F based on the subject unique information IO, the subject state information IS, and the shooting environment information IE. To change the shape model information FOSE. The shape model F is sequentially changed from the initial state set in advance by the model determination processes (2c) and (3c). That is, the model information determination processes (2c) and (3c) are performed on the shape model F determined most recently.
そして、モデル情報制御部１３５Ｃが、該形状モデル情報ＦＯＳＥを後処理部１５０に入力した後、後処理部１５０が、該形状モデル情報ＦＯＳＥに基づいて上述のフィッティング処理を行うことで、フレーム画像ＩＧ０から肺野領域を抽出する肺野領域抽出処理（具体的には、精密抽出画像ＩＧ２に形状モデルＦＯＳＥを付した形状モデル付精密抽出画像ＩＧ３を得る処理）を実施する。なお、モデル情報決定処理の（２ｃ）及び（３ｃ）の処理手法の違いは、上記モデル情報決定処理の（２ａ）及び（３ａ）の違いと同様である。
Then, after the model information control unit 135C inputs the shape model information FOSE to the
このように、粗抽出処理や精密抽出処理にて表現しきれなかった抽出境界であっても、適切にフィッティング関数（形状モデルＦＯＳＥ）を決定することにより抽出精度の向上が図れる。 As described above, even when the extraction boundary cannot be expressed by the rough extraction process or the precise extraction process, the extraction accuracy can be improved by appropriately determining the fitting function (shape model FOSE).
＜５−４．画像処理装置３Ｃの基本動作＞
続いて、図４６は、第４実施形態に係る画像処理装置３Ｃの動作フローを例示した図である。なお、図４６のうち、ステップＳＣ１１，ＳＣ１２，ＳＣ４,ＳＣ６〜ＳＣ８は図３４のステップＳ１１，Ｓ１２，Ｓ４,Ｓ６〜Ｓ８と同様であるため、その説明は省略する。
<5-4. Basic Operation of
Subsequently, FIG. 46 is a diagram illustrating an operation flow of the
この第４実施形態では、第１実施形態の被写体固有情報取得部１１５が撮影情報取得部１１５Ｃに置換されたことで、下記の工程が変更される。
In the fourth embodiment, the following process is changed by replacing the subject unique
すなわち、第１実施形態と同様の工程として、ステップＳＣ１１，ＳＣ１２と並行して、図４３で示されるように、ステップＳＣ２１，ＳＣ２２が実施される。すなわち、ステップＳＣ２１では、制御部３１Ｃの撮影情報取得部１１５Ｃが、カルテ情報記憶部４１Ｃから被写体固有情報ＩＯ、被写体状態情報ＩＳを取得するとともに、撮影制御装置２から撮影環境情報ＩＥを取得し、モデル情報制御部１３５Ｃにおけるモデル選択部１２５Ｃにこれら３種類の撮影情報ＩＯ，ＩＳ，ＩＥを入力する。
That is, as a process similar to the first embodiment, steps SC21 and SC22 are performed in parallel with steps SC11 and SC12 as shown in FIG. That is, in step SC21, the shooting
ステップＳＣ２２では、ステップＳＣ２１において入力された３種類の撮影情報ＩＯ，ＩＳ，ＩＥに基づいて、モデル情報制御部１３５Ｃが上記（１ｃ）のモデル情報決定処理を実施する。 In step SC22, the model information control unit 135C performs the model information determination process (1c) based on the three types of shooting information IO, IS, and IE input in step SC21.
ステップＳＣ３では、粗抽出決定部１３０が、ステップＳＣ１２において補正されたフレーム画像ＩＧ０に対して、ステップＳＣ２２において入力されたテンプレート情報ＴＯＳＥを用いてテンプレートマッチングを行う。なお、該テンプレート情報ＴＯＳＥが複数存在する場合は、該テンプレート情報ＴＯＳＥで指示されるテンプレート毎にテンプレートマッチング処理を行い、各々仮決定した粗抽出領域の中から、前述した判断基準に従い被写体Ｍに最も適合すると判断された粗抽出領域を粗抽出画像ＩＧ１として精密抽出決定部１４０に出力する。
In step SC3, the rough
そして、第１実施形態と同様の工程として、ステップＳＣ４を経て、ステップＳＣ５では、モデル情報制御部１３５Ｃが、３種類の撮影情報（被写体固有情報ＩＯ、被写体状態情報ＩＳ、撮影環境情報ＩＥ）に基づいて形状モデルＦの形状を変更し形状モデル情報ＦＯＳＥを決定し、上記の（２ｃ）及び（３ｃ）のモデル情報決定処理により決定された形状モデル情報ＦＯＳＥを後処理部１５０に入力する。そして、後処理部１５０が、ステップＳＣ４において決定された精密抽出画像ＩＧ２における肺野領域ＲＡ０の輪郭部ＳＭ０に対して、該形状モデル情報ＦＯＳＥに基づいてフィッティング処理（後処理）を実施し、精密抽出画像ＩＧ３を生成する。
As a process similar to that of the first embodiment, after passing through step SC4, in step SC5, the model information control unit 135C converts the three types of shooting information (subject specific information IO, subject state information IS, and shooting environment information IE). Based on this, the shape of the shape model F is changed to determine the shape model information FOSE, and the shape model information FOSE determined by the above-described model information determination processing (2c) and (3c) is input to the
以上のように第４実施形態に係る画像処理装置３Ｃでは、放射線撮影前に予め入力された被写体Ｍ及び放射線撮影環境に関する情報である撮影情報（被写体固有情報ＩＯ、被写体状態情報ＩＳ、撮影環境情報ＩＥ）に基づいて、肺野領域の境界を示すモデル情報を決定し、該モデル情報に基づいて、医用画像（フレーム画像ＩＧ０）から肺野領域を抽出する肺野領域抽出処理を実施する。これにより、撮影情報ＩＯ，ＩＳ，ＩＥに応じた最適なモデル情報を決定することが可能となる。このため、通常と異なる撮影状況であっても、安定的且つ高速に所定部位の抽出精度の向上を実現する。
As described above, in the
また、撮影情報は、被写体Ｍの固有の情報を示す被写体固有情報ＩＯ、被写体Ｍの過去及び現在の状態を示す被写体状態情報ＩＳ、フレーム画像ＩＧ０が撮影された環境を示す撮影環境情報ＩＥであることにより、３種類の撮影情報ＩＯ，ＩＳ，ＩＥを考慮してテンプレート情報ＴＯＳＥおよび形状モデル情報ＦＯＳＥ（モデル情報）を効率的に決定することができる。これにより、テンプレートマッチング精度及びフィッティング精度が向上するため、肺野領域の抽出精度がより向上する。このため、非健常者または非健常動物の身体を被写体とする場合や特殊条件下における撮影であっても、さらに安定的且つ高速に所定部位の抽出精度の向上を実現する。 The shooting information is subject unique information IO indicating unique information of the subject M, subject state information IS indicating the past and current states of the subject M, and shooting environment information IE indicating an environment in which the frame image IG0 is shot. As a result, the template information TOSE and the shape model information FOSE (model information) can be efficiently determined in consideration of the three types of shooting information IO, IS, and IE. Thereby, since the template matching accuracy and the fitting accuracy are improved, the extraction accuracy of the lung field region is further improved. For this reason, even when the body of a non-healthy person or non-healthy animal is used as a subject or when photographing is performed under special conditions, the extraction accuracy of a predetermined part can be improved more stably and at high speed.
なお、第４の実施形態に係る画像処理装置３Ｃは、他に、第１の実施形態に係る画像処理装置３と同様の効果を奏するが、説明は省略する。
The
＜６．変形例＞
以上、本発明の実施形態について説明してきたが、本発明は、上記実施形態に限定されるものではなく、様々な変形が可能である。
<6. Modification>
As mentioned above, although embodiment of this invention has been described, this invention is not limited to the said embodiment, A various deformation | transformation is possible.
※ 本実施形態では、画像処理装置３，３Ａ，３Ａ’，３Ｂを個別に実施されるように各実施形態に分けて記載したが、これらの個別機能は、互いに矛盾しない限り、相互に組み合わせてもよい。なお、組み合わせの一例として、第４実施形態の画像処理装置３Ｃが挙げられるが、組合せ方は画像処理装置３Ｃに限られない。
* In this embodiment, the
※ 本実施形態における画像処理装置３Ａ’では、テンプレート加工部１２６’を被写体状態情報ＩＳの場合に特化して採用しているが、これに限られない。すなわち、被写体固有情報ＩＯ，撮影環境情報ＩＥの場合においても、必要に応じて採用することが可能である。
* In the
※ 本実施形態では、医用画像を動画像に含まれるフレーム画像ＩＧ０（Ｇ０）として説明したが、静止画像を対象としても良い。 * In the present embodiment, the medical image is described as the frame image IG0 (G0) included in the moving image, but a still image may be the target.
具体的に、医用画像を静止画像とした場合における一連の処理としては、粗抽出決定部１３０では、静止画像に対してテンプレートを用いてテンプレートマッチングを行い、肺野領域（所定部位を含む領域）を粗く抽出し粗抽出領域を決定する粗抽出処理を行うことになり、また、後処理部１５０では、該粗抽出領域に基づく領域（粗抽出領域に基づき所定の画像抽出処理が施された精密抽出領域）に対して、肺野領域（所定部位）の境界を近似する所定数のフィッティング関数で表現された形状モデルをフィッティングさせるフィッティング処理を行う。
Specifically, as a series of processes when a medical image is a still image, the rough
このため、静止画像の場合は、上述のステップＳ７（ＳＡ７，ＳＢ７，ＳＣ７）及びステップＳ８（ＳＡ８，ＳＢ８，ＳＣ８）の工程は行われない。 For this reason, in the case of a still image, the above-described steps S7 (SA7, SB7, SC7) and S8 (SA8, SB8, SC8) are not performed.
※ 本実施形態における画像処理装置３Ａ（３Ａ’），３Ｂ，３Ｃでは、モデル情報決定処理として、（１）の処理（（１ａ）〜（１ｃ）の処理）と、（２）の処理（（２ａ）〜（２ｃ）の処理）と、（３）の処理（（３ａ）〜（３ｃ）の処理）との３つの処理全てを実施するよう構成されていたが、これに限られない。すなわち、３つの処理のうち少なくとも何れか１つの処理を行う構成であればよい。
* In the
※ 被写体Ｍは、人体だけでなく、動物の身体であってもよい。 * Subject M may be not only a human body but also an animal body.
１ 撮影装置
２ 撮影制御装置
３，３Ａ，３Ａ’，３Ｂ，３Ｃ 画像処理装置
４，４Ａ，４Ｃ，５，５Ａ〜５Ｃ 情報蓄積装置
３１，３１Ａ，３１Ａ’，３１Ｂ，３１Ｃ 制御部
４１，４１Ａ，４１Ｃ カルテ情報記憶部
５１，５１Ａ〜５１Ｃ データベース（テンプレート記憶部）
１００，１００Ａ，１００Ａ’，１００Ｂ，１００Ｃ 放射線動態画像撮影システム
１１０ 画像取得部
１１５，１１５Ａ〜１１５Ｃ 撮影情報取得部
１２０ 画像補正部
１２５，１２５Ａ，１２５Ａ’，１２５Ｂ，１２５Ｃ モデル選択部
１２６Ａ’ テンプレート加工部
１３０ 粗抽出決定部
１３５，１３５Ａ，１３５Ａ’，１３５Ｂ，１３５Ｃ モデル情報制御部
１４０ 精密抽出決定部
１５０ 後処理部
１６０ 粗抽出処理内容制御部
１７０ 対象部位抽出部
ＩＯ 被写体固有情報
ＩＳ 被写体状態情報
ＩＥ 撮影環境情報
ＴＯ，ＴＳ，ＴＥ，ＴＯＳＥ モデル情報（テンプレート情報）
ＦＳ，ＦＥ，ＦＯＳＥ モデル情報（形状モデル情報、形状モデル）
ＩＧ０ フレーム画像
ＩＧ１ 粗抽出画像
ＩＧ２，ＩＧ３ 精密抽出画像
Ｍ 被写体（被検者）
DESCRIPTION OF
100, 100A, 100A ′, 100B, 100C Radiation
FS, FE, FOSE Model information (shape model information, shape model)
IG0 Frame image IG1 Coarse extracted image IG2, IG3 Precision extracted image M Subject (subject)
Claims (9)
前記放射線撮影前に予め入力された前記被写体あるいは前記放射線撮影環境に関する情報である撮影情報を取得する撮影情報取得手段と、
前記撮影情報に基づいて、前記所定部位の境界を示すモデル情報を決定するモデル情報決定処理を実施するモデル情報制御手段と、
前記モデル情報決定処理において決定されたモデル情報に基づいて、前記医用画像から前記所定部位を抽出する所定部位抽出処理を実施する抽出手段と、
を備えることを特徴とする、
画像処理装置。 Image acquisition means for acquiring a medical image radiographed with a human body or animal body as a subject and including a predetermined portion of the subject in part;
Imaging information acquisition means for acquiring imaging information that is information related to the subject or the radiographic environment previously input before the radiation imaging;
Model information control means for performing model information determination processing for determining model information indicating the boundary of the predetermined part based on the imaging information;
Extraction means for performing a predetermined part extraction process for extracting the predetermined part from the medical image based on the model information determined in the model information determination process;
Characterized by comprising,
Image processing device.
前記所定部位抽出処理は、
前記医用画像に対してテンプレートを用いてテンプレートマッチングを行い、前記所定部位を含む領域を粗く抽出し粗抽出領域を決定する粗抽出処理と、
前記粗抽出領域に基づく領域に対して、前記所定部位の境界を近似する所定数のフィッティング関数で表現された形状モデルをフィッティングさせるフィッティング処理と、
を含み、
前記モデル情報は、
前記テンプレート及び前記形状モデルのうち少なくとも一方を指示する情報を含む、
画像処理装置。 The image processing apparatus according to claim 1,
The predetermined part extraction process includes:
Performing a template matching on the medical image using a template, roughly extracting a region including the predetermined part and determining a rough extraction region; and
A fitting process for fitting a shape model expressed by a predetermined number of fitting functions approximating a boundary of the predetermined portion to an area based on the rough extraction area;
Including
The model information is
Including information indicating at least one of the template and the shape model,
Image processing device.
前記撮影情報は、
前記被写体の固有の情報を示す被写体固有情報、
前記被写体の過去及び現在の状態を示す被写体状態情報、
前記医用画像が撮影された環境を示す撮影環境情報、
のうち少なくとも何れか１つの情報を含む、
画像処理装置。 The image processing apparatus according to claim 1 or 2,
The shooting information is
Subject-specific information indicating information specific to the subject,
Subject state information indicating past and present states of the subject;
Shooting environment information indicating the environment in which the medical image was shot;
Including at least one of the information,
Image processing device.
前記被写体固有情報は、
性別、年齢、胸囲、体重、身長、肺活量のうち少なくとも何れか１つの情報を含む、
画像処理装置。 The image processing apparatus according to claim 3,
The subject-specific information is
Including information on at least one of gender, age, chest circumference, weight, height, vital capacity,
Image processing device.
前記被写体状態情報は、
手術歴、病歴、過去の撮影時の情報、体の状態、診断対象、問診による判定結果、喫煙歴のうち少なくとも何れか１つの情報を含む、
画像処理装置。 The image processing apparatus according to claim 3,
The subject state information is
Including information on at least one of surgery history, medical history, information at the time of previous imaging, body condition, diagnosis target, judgment result by inquiry, smoking history,
Image processing device.
前記撮影環境情報は、
撮影方向、前記被写体となる対象者または対象動物の呼吸の有無、呼吸の強制有無のうち少なくとも何れか１つの情報を含む、
画像処理装置。 The image processing apparatus according to claim 3,
The shooting environment information is
Including information on at least one of a shooting direction, presence or absence of breathing of the subject or the target animal as the subject, and forced breathing,
Image processing device.
前記モデル情報決定処理は、
（ａ）予め準備された複数種のテンプレートのうち、前記テンプレートマッチングに使用する前記テンプレートの種類を決定する処理、
（ｂ）直近に決定された前記所定数のフィッティング関数に対し、前記所定数のフィッティング関数のうち少なくとも１つの関数の次数を決定する処理、及び／あるいは、前記所定数の増減を決定する処理、
のうち少なくとも何れか１つの処理を含み、
前記モデル情報は前記処理（ａ）あるいは処理（ｂ）で決定された内容を含む、
画像処理装置。 The image processing apparatus according to any one of claims 2 to 6,
The model information determination process includes:
(A) a process of determining a type of the template used for the template matching among a plurality of types of templates prepared in advance;
(B) Processing for determining the order of at least one of the predetermined number of fitting functions with respect to the predetermined number of fitting functions determined most recently, and / or processing for determining increase / decrease of the predetermined number,
Including at least one of the processes,
The model information includes the content determined in the process (a) or the process (b).
Image processing device.
前記所定部位は肺野領域を含み、
前記モデル情報は、
全体の肺形状、肺尖部形状、横隔膜形状、心臓の形状、大動脈弓の形状のうち少なくとも１つの形状が考慮されることを特徴とする、
画像処理装置。 The image processing apparatus according to any one of claims 1 to 7,
The predetermined site includes a lung field region,
The model information is
In consideration of at least one of the overall lung shape, apex shape, diaphragm shape, heart shape, and aortic arch shape,
Image processing device.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2012165053A JP5880332B2 (en) | 2012-07-25 | 2012-07-25 | Image processing apparatus and program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2012165053A JP5880332B2 (en) | 2012-07-25 | 2012-07-25 | Image processing apparatus and program |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2014023640A true JP2014023640A (en) | 2014-02-06 |
| JP5880332B2 JP5880332B2 (en) | 2016-03-09 |
Family
ID=50197893
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2012165053A Expired - Fee Related JP5880332B2 (en) | 2012-07-25 | 2012-07-25 | Image processing apparatus and program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP5880332B2 (en) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2017527788A (en) * | 2014-07-15 | 2017-09-21 | コーニンクレッカ フィリップス エヌ ヴェＫｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ． | Statistical test of imaging data including localization regularization with individualized template images |
| WO2020090246A1 (en) * | 2018-10-29 | 2020-05-07 | 富士フイルム株式会社 | Information processing device, information processing method, and program |
| CN111144361A (en) * | 2019-12-31 | 2020-05-12 | 合肥湛达智能科技有限公司 | Road lane detection method based on binaryzation CGAN network |
| JP2020171475A (en) * | 2019-04-10 | 2020-10-22 | コニカミノルタ株式会社 | Dynamic image analysis apparatus, dynamic image analysis method, and program |
| JP2022013077A (en) * | 2020-07-03 | 2022-01-18 | キヤノン株式会社 | Information processing device, information processing method and program |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH07220076A (en) * | 1994-01-28 | 1995-08-18 | Sanyo Electric Co Ltd | Image processing device |
| JPH07262370A (en) * | 1994-03-17 | 1995-10-13 | Fuji Photo Film Co Ltd | Template matching method for image |
| JP2002253539A (en) * | 2001-03-05 | 2002-09-10 | Nippon Telegr & Teleph Corp <Ntt> | Medical image identification system, medical image identification processing method, program for medical image identification, and recording medium therefor |
| JP2006034585A (en) * | 2004-07-27 | 2006-02-09 | Fuji Photo Film Co Ltd | Picture display device and picture display method, and program thereof |
| JP2009050529A (en) * | 2007-08-28 | 2009-03-12 | Konica Minolta Medical & Graphic Inc | Radiological imaging system and support apparatus for radiological imaging |
| JP2010075334A (en) * | 2008-09-25 | 2010-04-08 | Konica Minolta Medical & Graphic Inc | Medical image processor and program |
| JP2011200549A (en) * | 2010-03-26 | 2011-10-13 | Fujitsu Ltd | Method and apparatus for deforming three-dimensional method and program |
-
2012
- 2012-07-25 JP JP2012165053A patent/JP5880332B2/en not_active Expired - Fee Related
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH07220076A (en) * | 1994-01-28 | 1995-08-18 | Sanyo Electric Co Ltd | Image processing device |
| JPH07262370A (en) * | 1994-03-17 | 1995-10-13 | Fuji Photo Film Co Ltd | Template matching method for image |
| JP2002253539A (en) * | 2001-03-05 | 2002-09-10 | Nippon Telegr & Teleph Corp <Ntt> | Medical image identification system, medical image identification processing method, program for medical image identification, and recording medium therefor |
| JP2006034585A (en) * | 2004-07-27 | 2006-02-09 | Fuji Photo Film Co Ltd | Picture display device and picture display method, and program thereof |
| JP2009050529A (en) * | 2007-08-28 | 2009-03-12 | Konica Minolta Medical & Graphic Inc | Radiological imaging system and support apparatus for radiological imaging |
| JP2010075334A (en) * | 2008-09-25 | 2010-04-08 | Konica Minolta Medical & Graphic Inc | Medical image processor and program |
| JP2011200549A (en) * | 2010-03-26 | 2011-10-13 | Fujitsu Ltd | Method and apparatus for deforming three-dimensional method and program |
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2017527788A (en) * | 2014-07-15 | 2017-09-21 | コーニンクレッカ フィリップス エヌ ヴェＫｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ． | Statistical test of imaging data including localization regularization with individualized template images |
| WO2020090246A1 (en) * | 2018-10-29 | 2020-05-07 | 富士フイルム株式会社 | Information processing device, information processing method, and program |
| CN112970043A (en) * | 2018-10-29 | 2021-06-15 | 富士胶片株式会社 | Information processing apparatus, information processing method, and program |
| JPWO2020090246A1 (en) * | 2018-10-29 | 2021-10-21 | 富士フイルム株式会社 | Information processing equipment, information processing methods, and programs |
| US11925481B2 (en) | 2018-10-29 | 2024-03-12 | Fujifilm Corporation | Information processing device, information processing method, and program |
| CN112970043B (en) * | 2018-10-29 | 2024-05-14 | 富士胶片株式会社 | Information processing apparatus, information processing method, and computer program product |
| JP2020171475A (en) * | 2019-04-10 | 2020-10-22 | コニカミノルタ株式会社 | Dynamic image analysis apparatus, dynamic image analysis method, and program |
| CN111144361A (en) * | 2019-12-31 | 2020-05-12 | 合肥湛达智能科技有限公司 | Road lane detection method based on binaryzation CGAN network |
| JP2022013077A (en) * | 2020-07-03 | 2022-01-18 | キヤノン株式会社 | Information processing device, information processing method and program |
Also Published As
| Publication number | Publication date |
|---|---|
| JP5880332B2 (en) | 2016-03-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6676655B2 (en) | Grading dual energy X-ray coronary calcium | |
| JP5643304B2 (en) | Computer-aided lung nodule detection system and method and chest image segmentation system and method in chest tomosynthesis imaging | |
| US10588589B2 (en) | Systems and methods for prediction of osteoporotic fracture risk | |
| JP4728627B2 (en) | Method and apparatus for segmenting structures in CT angiography | |
| CN111968070B (en) | Blood vessel detection method and device based on three-dimensional modeling | |
| JP6570145B2 (en) | Method, program, and method and apparatus for constructing alternative projections for processing images | |
| JP5510619B1 (en) | Image processing device | |
| JP5880332B2 (en) | Image processing apparatus and program | |
| JP6656910B2 (en) | Medical image processing device, medical image diagnostic device, and medical image processing program | |
| JP2017510427A (en) | Radiation image lung segmentation technology and bone attenuation technology | |
| US20130223711A1 (en) | Maching Learning Techniques for Pectoral Muscle Equalization and Segmentation in Digital Mammograms | |
| CN111275755B (en) | Mitral valve orifice area detection method, system and equipment based on artificial intelligence | |
| JP6361435B2 (en) | Image processing apparatus and program | |
| US11475568B2 (en) | Method for controlling display of abnormality in chest x-ray image, storage medium, abnormality display control apparatus, and server apparatus | |
| JP2014079312A (en) | Image processing apparatus and program | |
| US11278257B2 (en) | Diagnostic auxiliary image generation apparatus, diagnostic auxiliary image generation method, and diagnostic auxiliary image generation program | |
| Huang et al. | Joint spine segmentation and noise removal from ultrasound volume projection images with selective feature sharing | |
| JP2021019714A (en) | Image processing device, image processing method, and x-ray ct device | |
| JP5364009B2 (en) | Image generating apparatus, image generating method, and program thereof | |
| US11080866B2 (en) | Dynamic image processing method and dynamic image processing device | |
| JP4738970B2 (en) | Image processing apparatus, image processing method and program thereof | |
| JP5051025B2 (en) | Image generating apparatus, program, and image generating method | |
| JP2019165923A (en) | Diagnosis support system and diagnosis support method | |
| JP6501569B2 (en) | IMAGE PROCESSING APPARATUS, IMAGE PROCESSING METHOD, AND PROGRAM | |
| JP2020080913A (en) | Organ-of-interest image automatic segmentation device and automatic segmentation method based on three-dimensional medial axis model from non-contrast ct image |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20140918 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20150520 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20150602 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20150722 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20160105 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20160118 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 5880332 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| LAPS | Cancellation because of no payment of annual fees |