JP5197140B2 - Ｘ線透視装置、動画処理方法、プログラム及び記憶媒体 - Google Patents

Description

本発明は、例えば、放射線透視撮影のような動画撮影において得られた透視撮影画像に基づく画像処理技術に関するものである。

近年では、ディジタル技術の進歩により、例えば、医療用のX線透視撮影で得られる画像においてもディジタル処理を施すことが一般的となっている。従来のX線診断用のフィルムを用いたX線撮影に代わって、X線画像をディジタルデータとして出力可能な2次元X線センサも開発されている。2次元X線センサのようなセンサを用いたX線透視装置においては、階調処理等のディジタル画像処理は不可欠なものとなっている。

X線透視撮影においては、被写体を透過するX線量を検出して、X線量を過不足無く制御する放射線露出制御（AEC=Auto Exposre Control）が行われている。この放射線露出制御では、まず、X線発生部101から照射されるパルス状の波形を有するX線によって得られるX線透視像の平均値等の特徴量が取得される。そして、その特徴量のレベルと、基準値と、の比較に基づき所望の露出となるようにX線照射条件（X線発生部の管電圧、管電流、X線パルス幅）が制御される。

X線透視撮影装置における画像処理や放射線露出制御は、診断上、最も重要な画像部分である人体の解剖学的構造に対応した関心領域を適切に表示することを目的とするものである。

X線透視撮影装置における画像処理や放射線露出制御では撮影した画像から関心領域を抽出し、抽出した関心領域から画像処理や放射線露出制御に用いる特徴量を算出する。関心領域は、撮影対象部位や撮影目的によって異なる。例えば、バリウムを使用した胃の透視では胃壁に生じているポリープを検出するために胃壁が、胸部の動画撮影であれば肺野領域が、心臓カテーテル法においてはカテーテルの先端及びその周辺領域がそれぞれ関心領域となる。

コリメータにより照射野が絞られている場合の照射野外領域や、X線が被写体を通過せず直接センサに入射している素抜け領域は、適切な特徴量算出の弊害となるため、関心領域からは除かれるべきである。また、金属片等X線吸収率が被写体と大きく異なる領域を関心領域に含めてしまうと適切な特徴量算出の弊害となるため、関心領域からは除かれるべきである。

ある画像から関心領域を抽出する方法としては、従来、関心領域とその他の領域とを区別する閾値を設定し、この閾値をもとに関心領域を抽出する閾値処理や、画像の濃淡分布形状に基づき物体の輪郭形状を抽出するエッジ抽出処理などが広く用いられてきた。

例えば、特許文献1では、放射線画像中の被写体領域の濃度ヒストグラムを求め、濃度ヒストグラムより算出される画像の特徴量に基づいて放射線画像の階調補正やダイナミックレンジを行う手法が開示されている。素抜け除去やヒストグラム形状を用いた被写体の骨や軟部組織に相当する画像成分情報を抽出することで、画像中の被写体領域における特徴量を安定して抽出することができる。例えば、放射線画像中の被写体領域における最大画素濃度値が所定の画素濃度値よりも小さい場合でも、効果的な画像処理が可能になる。

また、特許文献2では、画像処理パラメータを最適化するために照射野領域を抽出する手法が開示されている。この手法では円形または多角形などのコリメータ形状に対応するために、注目画素とその近傍画素パターンから照射野端らしさを点数化して照射野候補領域を算出する。照射野候補領域に関して円形度等の形状特徴量を求めて形状を判定し、判定した形状に特化した照射野認識アルゴリズムによって照射野を抽出している。形状に特化したアルゴリズムとしては、多角形に対してハフ変換等の直線検出処理、円形状に対して、円形状とのテンプレートマッチング等が採用されており、精度を高めている。

特許文献3では、毎秒3〜5フレームの比較的遅いレートで画像を発生する透視撮影において放射線露出制御及び画像濃度変換の少なくとも一方に関する処理を適切に行うために、特徴量算出に用いる関心領域の抽出を行っている。この手法では、まず、矩形の照射野領域を、画像データを画像の上下左右方向に投影（累積）して、各方向の1次元アレイを作成し、このアレイに対して2次微分演算を行う。そして、最大値となる位置を各方向についての照射野の外接線（境界線）として切り出すことで抽出し、得られた照射野切り出し結果に対して関心領域の抽出処理を行う。関心領域の抽出処理は、撮影対象部位情報又はオーダ（依頼）情報に基づいて関心領域毎に抽出アルゴリズムを切替えて行う。予め決められた領域として設定する手法、バリウム塊の輪郭周辺領域として胃壁を検出する手法、胸部動画撮影時の肺野領域を検出する手法について、画像のヒストグラム解析、モルフォロジ演算、二値画像の論理演算等を用いるアルゴリズムが開示されている。
特開2000-10840号公報 特開2005-218581号公報 特開2003-250789号公報

しかし、関心領域を抽出するアルゴリズムは一般に複雑である。特に、X線透視撮影のような大量のデータを処理する装置において、要求されている高いフレームレート（25fpsから30fps）で、X線照射から表示までに関心領域を高い精度で抽出することは困難である。上述した従来の技術は静止画撮影や比較的低いフレームレートでの透視撮影で得られる画像に対して関心領域の抽出を行うものであり、高フレームレートでの透視撮影で得られる動画像に対して適切な関心領域を抽出する手法の検討はなされていない。

そこで本発明は、特にX線透視撮影のような高フレームレートの動画撮影において、特徴量の算出に用いる関心領域を、リアルタイムに抽出することが可能なX線透視装置の提供を目的とする。

上記の目的を達成する本発明にかかるX線透視装置は、X線照射された被写体の動画像を撮像する撮像手段と、
前記動画像を構成する各フレームに対して異なる解析処理を並列に行い、前記X線照射により前記被写体を透視する部位として定められた関心領域を、当該各フレームから抽出する解析処理手段と、
前記異なる解析処理に基づき抽出された複数の関心領域に対して評価演算を施し、当該評価演算の結果に基づき、前記解析処理手段により抽出された前記複数の関心領域から一の関心領域を選択し、出力する選択手段と、
を備えることを特徴とする。

あるいは、本発明にかかる動画処理方法は、X線照射された被写体の動画像を処理するX線透視装置における動画処理方法であって、
前記X線透視装置の解析処理手段が、動画像を構成する各フレームに対して異なる解析処理を並列に行い、X線照射により被写体を透視する部位として定められた関心領域を、当該各フレームから抽出する解析処理工程と、
前記X線透視装置の選択手段が、前記異なる解析処理に基づき抽出された複数の関心領域に対して評価演算を施し、当該評価演算の結果に基づき、前記解析処理工程により抽出された前記複数の関心領域から一の関心領域を選択し、出力する選択工程と、
を有することを特徴とする。

本発明によれば、X線透視撮影のような動画撮影において、画像処理やX線制御に用いる特徴量の算出を行う関心領域をリアルタイムに抽出することができる。

以下、図面を参照して、本発明の好適な実施形態を例示的に詳しく説明する。ただし、この実施の形態に記載されている構成要素はあくまで例示であり、本発明の技術的範囲は、特許請求の範囲によって確定されるのであって、以下の個別の実施形態によって限定されるわけではない。

＜第1実施形態＞
本発明の第１実施形態にかかるX線透視装置を図１Ａの参照により説明する。X線透視装置100は、毎秒3〜30パルスのX線パルスを発生することが可能なX線発生部101と、被写体103を透過したX線102を受けてX線パルスに同期した動画像を撮像する2次元X線センサ104を有する。2次元X線センサ104は、X線照射された被写体の動画像を撮像する撮像手段として機能する。

X線透視装置100は2次元X線センサ104から出力される動画像の各フレームに対して前処理を行う前処理部105と、前処理部105にて前処理が行われた動画像の各フレームから関心領域を抽出する関心領域出力部106を有する。関心領域出力部106は、例えば、処理対象のフレームに対して、ヒストグラム解析、空間フィルタリングによるエッジ検出、ハフ変換、モルフォロジ演算、パターンマッチングのうち少なくとも一つを用いて関心領域の抽出を行うことが可能である。

X線透視装置100は関心領域出力部106で抽出された関心領域に基づいて特徴量を算出する特徴量算出部107を有する。特徴量算出部107は、例えば、抽出された関心領域に基づいて、当該関心領域の位置、大きさ、形状、平均輝度値、最大輝度値、最小輝度値、重心位置、分散、標準偏差の少なくとも1つを表す特徴量を算出することが可能である。

また、X線透視装置100は特徴量算出部107で算出された特徴量を用いて、前処理部105にて前処理が行われた動画像の各フレームに対し画像処理を行う画像処理装置（画像処理部108）を有する。画像処理部108は、例えば、特徴量に基づいて、階調変換処理、鮮鋭化処理、ノイズ抑制処理、関心領域切り出し処理の少なくとも1つを画像処理として行うことが可能である。

X線透視装置100は画像処理部108にて画像処理が行われた動画像等をX線透視像として表示する画像表示部109を有する。

X線透視装置100は、外部から関心領域出力部106へ各種設定パラメータを入力する外部パラメータ入力部110を有する。また、X線透視装置100は、特徴量算出部107で算出された特徴量に基づいてX線発生部101の次回照射時の照射条件制御を行うX線制御部111を有する。

図１Ｂは、関心領域出力部106の具体的な構成を示すブロック図である。関心領域出力部106は、動画像の各フレームに対して異なる解析処理を並列に行う複数の解析処理部（第１の解析処理部１０６ａ、第２の解析処理部１０６ｂ）を有する。また、関心領域出力部106は、特徴量算出部107が特徴量を算出するタイミングで前記複数の解析処理部が出力する結果に基づいて適切な関心領域を選択する選択部を備える。関心領域出力部106の構成は、本実施の形態で最も特徴となる構成である。

関心領域出力部106の第1の解析処理部106aは、処理に長時間を要するが、1枚（１フレーム）の画像を詳細に解析して関心領域を高い精度で抽出することが可能である。また、関心領域出力部106の第2の解析処理部106bは、前フレームまでの解析情報を用いて解析範囲を限定することで、現フレームからの関心領域抽出処理に要する時間を短縮することが可能である。

関心領域出力部106は、第1の解析処理部106aと第2の解析処理部106bと、の2つの解析処理部を有する。選択部106cは、2つの解析処理部が出力する関心領域抽出結果を点数化し、より関心領域らしいものを関心領域として選択保持する。

第１の解析処理部106aに適用されるアルゴリズムは、撮影対象部位、撮影目的によって決まる関心領域によって様々なアルゴリズムが考えられる。本実施の形態では、撮影対象を胸部とし、例えば、図３に示すような胸部画像300（図３（ａ））を解析対象画像として説明する。図３において、"301（図３（ｂ））"はX線発生部101に取り付けられたコリメータ（図示せず）によって絞られた照射野領域を示す。"302（図３（ｃ）"はX線が被写体103を通過せず直接、2次元X線センサ104に入射した素抜け領域を示す。"303（図３（ｃ））”はこの胸部画像300の関心領域である肺野領域を示す。"304（図３（ｄ））"は外部パラメータ入力部110から入力される所定領域の一例を示す。ここでは、胸部画像300から関心領域である肺野領域303を抽出する処理を図４に示されるフローチャートを参照しつつ説明する。

ステップS401において、第1の解析処理部106aは、胸部画像300から照射野領域301を抽出する。一般に、照射野領域の内外では輝度値は大きく違うことを利用し、空間フィルタリング等によりエッジの検出後、ハフ変換で直線成分を検出すれば矩形照射野のエッジは容易に抽出することが可能である。胸部画像300から照射野エッジの上下左右端を抽出し、その内側を照射野とし、胸部画像300から照射野領域301を切り出す。

ステップS402において、第１の解析処理部106aは、切り出された照射野領域から素抜け領域302を除去する。素抜け領域302は、X線が被写体を通過せず直接センサに入射した領域であるため、素抜け領域の輝度値は画像上で最大値をとり、その分散値は非常に小さい。また、胸部の撮影では、照射野端に隣接する領域となる。これらの特性を利用して素抜け領域を抽出してマスクを作成し、今後の解析に用いない領域とする。

ステップS403において、第１の解析処理部106aは、照射野領域301から素抜け領域302をマスクした領域のヒストグラムを作成する。胸部画像のヒストグラムは、一般に図７のようになる。このヒストグラムにおいて、素抜け領域302はステップS402によりマスクされ、解析範囲から除かれているため、関心領域である肺野領域303は、このヒストグラム上の最大輝度値側から最初の谷を閾値として二値化すればおおまかに抽出することができる。

ステップS404において、第１の解析処理部106aは、二値画像処理により抽出した領域を整形する。モルフォロジ演算の膨張・収縮処理を施すことで、細かな抽出漏れや過抽出領域を取り除き、肺野領域303を一つの連結領域として抽出できる。こうして得られた領域を関心領域とする。

尚、ここでは、関心領域を胸部画像300の肺野領域とした時の関心領域抽出アルゴリズムを説明しているが、本発明の趣旨は、これに限られるものではない。例えば、バリウムを使用した胃の透視で、胃壁を関心領域として抽出するのであれば、抽出対象に合わせて適切なアルゴリズムを選択すれば良い。また、要求される精度によっても処理は変わる。例えば、二値化するための閾値のみを必要とするのであれば、ステップS404の二値画像処理は不要である。より高い精度を求めるのであれば、抽出した領域の面積や位置情報を求め、一般的な胸部組織の面積や位置情報をデータベースとして保持しておき比較する等の手法も考えられる。

第2の解析処理部106bに適用されるアルゴリズムは、1フレーム目のX線画像を解析対象フレームとして関心領域を抽出する場合、外部パラメータ入力部110にて設定される所定領域304を用いて解析範囲を限定する。

2フレーム目以降のX線画像を解析対象フレームとして関心領域を抽出する場合は選択部106cが選択、保持している関心領域抽出結果を用いて解析対象フレーム上の解析範囲を限定する。そして、X線照射から画像表示までに解析を終了するアルゴリズムである。

以下、第2の解析処理部106bに適用するアルゴリズムを、図５、図６Ａ、Ｂを参照しつつ説明する。

ステップS501において、第2の解析処理部106bは、n(n＝１，２，３，4，・・・)フレーム目のX線画像を解析対象フレーム620（図６Ａ（ｂ））として関心領域の抽出を行う。

関心領域の抽出を行うために、n=1の時は所定領域304の関心領域抽出結果をエッジ位置情報611として解析対象フレーム620上に投影する。n＞1の時は選択部106cが保持しているｎフレーム以前のｎ−１フレーム610（図６Ａ（ａ））の関心領域抽出結果をエッジ位置情報611として解析対象フレーム620上に投影する。

ここでは、エッジ位置情報611を、関心領域のエッジ画素を5画素毎にサンプリングしたN個の制御点Ｃ_i=(X_i,Ｙ_i)で表す。投影とは、このN個の制御点Ｃ_i=(X_i,Ｙ_i)の座標を次の解析範囲決定のために解析対象フレーム上に読み出すことを意味する。尚、関心領域が閉曲線であるとき、制御点Ｃ_ＮとＣ_iとは隣接するものとする。

ステップS502において、第2の解析処理部106bは、解析対象フレーム620（図６Ａ（ｂ））上に投影されたエッジ位置情報611の各制御点Ｃ_iに関する解析範囲を求める。図６Ａ（ｃ）は、図６Ａ（ｂ）の部分領域620Aを拡大する図であり、図６Ａ（ｄ）は、図６Ａ（ｃ）の部分領域620Bを拡大する図である。ここでは、Ｃ_i=(X_i,Ｙ_i)に関する解析範囲は、制御点C_３に対応する画素（ｘ_i、ｙ_i ）を通り、Ｃ_i-1=(x_i-1,y_i-1)とＣ_i+1＝（ｘ_i+1、ｙ_i+1）を結ぶ直線に直交する直線上の画素(x_i,y_i)を中心とする7画素とする（図６A（ｄ））。

ステップS503において、第2の解析処理部106bは、各制御点Ｃ_iに関する解析範囲621上の画素(x,y)における輝度勾配絶対値Ｇ(x,y)を算出する。ここでは、実験的に求まる閾値Ｔ_edgeを用いて、（１）式により算出する。

G(x,y)＞T_edge・・・（１）
第2の解析処理部106bは、(1)式の関係を満たす画素(x,y)を求め、複数ある場合はその最大値を持つ画素を解析対象フレーム620におけるエッジ点とし、その座標で制御点Ｃ_iを更新する。図６Bは、図６A（ｄ）の７画素について、輝度勾配絶対値Ｇ(x,y)と、T_edgeと、の比較結果を示す図である。"+2"番目の画素の輝度勾配絶対値Ｇが閾値Ｔ_edgeを超えている。

n-1フレーム610から解析対象フレーム620の間に大きな被写体動が発生した場合や、1フレーム目のエッジ位置情報611が外部パラメータ入力部により与えられた所定領域304である場合、制御点Ｃ_iに関する解析範囲621上に（１）式を満たす画素が一つも存在しないことがある。

この時は制御点Ｃ_iを新たな画素の座標で更新しないでおく。N個全ての制御点Ｃ_iに対して解析対象フレーム620におけるエッジ点を求め、更新すべき制御点については更新がなされたN個の制御点Ｃ_iを直線補間したものを解析対象フレーム620の抽出結果622とする。

探索範囲のエッジの輝度勾配絶対値のみを用いて解析対象フレームでのエッジを抽出しているがエッジ形状やエッジ成分の作る関心領域の面積、予想されうる関心領域の変形を考慮した外部パラメータによる設定等を利用しても良い。また、上述の説明では、処理時間を考慮して各制御点間を直線補間するとしたが、処理時間に余裕があり、より良い抽出結果を求めるのであれば、スプライン補間などにより曲線で補間しても良い。

第1の解析処理部106aは、1枚の画像に対し詳細な解析を行うことができ、関心領域を高精度で抽出することができる。しかし、一般に関心領域抽出結果を出力するまでに長い処理時間を要する。例えば、30fpsのX線透視装置においてX線照射から画像表示までに解析は終了しないことがある。そこで、第1の解析処理部106aの解析が終了するまでは、リアルタイムに解析結果を出力する第2の解析処理部106bの結果を利用することが望ましいものとなる。

第2の解析処理部106bは、高速に関心領域を抽出し、被写体の微小な動きに対応して関心領域を抽出することができる。一方、限られた範囲を簡易なアルゴリズムで解析するため、第2の解析処理部106bに適用されるアルゴリズムでは抽出できないような関心領域も存在し、誤抽出が生じる可能性がある。したがって、処理に時間を要する場合であっても、高精度の抽出結果を必要とする場合には、第1の解析処理部106aの結果が好適なものとなる。

選択部106cは、1つの関心領域抽出結果を常に保持している。選択部106cは、複数の解析処理部から新しい関心領域抽出結果が出力されると、保持していた関心領域抽出結果と、新しい関心領域抽出結果のその時点での処理対象フレームにおける関心領域らしさを点数化した評価値を算出する。

ここでは、評価値Sを、関心領域抽出結果のエッジに含まれる画素の座標を(x,y)∈E、エッジに含まれる画素の数をNum、処理対象フレームの座標(x,y)に関する輝度勾配の絶対値をG(x,y)として、（２）式が定義される。

（２）式は、処理対象フレームにおける関心領域抽出結果の平均エッジ強度を表している。この評価値Sを用いて選択部106cが関心領域抽出結果を選択する処理を図８の参照により説明する。

ステップS801において、選択部106cは、第1の解析処理部106aあるいは第2の解析処理部106bにて関心領域抽出結果が出力されるタイミングで、出力される関心領域抽出結果のエッジに含まれる画素(x,y)∈E_outから上記の評価値S_outを算出する。また、選択部106cに保持されている関心領域抽出結果のエッジに含まれる画素(x,y)∈E _mem から、その時点の処理対象フレームにおける評価値S _mem を算出する。

ステップS802において、先のステップS８０１で算出された評価値S_outと、S _mem と、を比較する。

ステップS803において、先のステップS802の比較結果が、（３）式の関係を満たす場合、選択部106cは、保持してある関心領域抽出結果を新しく出力された関心領域抽出結果で置き換える。

S_out≧S _mem ・・・（３）
関心領域のエッジは一般に強い強度を持つと考えられるため、平均エッジ強度を評価値として用いて大きい方を選択することにより、解析対象フレームにおいてより関心領域らしい関心領域抽出結果を選択することが出来る。選択部106cが保持する関心領域抽出結果は、第2の解析処理部106bの動作時と特徴量算出部107の動作時に読み出され、それぞれの処理に用いられる。

尚、選択部106cでは、関心領域らしさを点数化した評価値を、関心領域抽出結果の平均エッジ強度として定義した。この他、評価演算として、関心領域抽出結果のエッジ強度、エッジの長さ、エッジの輝度、エッジの位置、関心領域の輝度、形状、重心位置、面積、平均輝度値、関心領域の分散値のうち少なくとも1つを用いることが可能である。

以上に述べた本実施形態における各部の動作を4フレーム目までを例として、図２と図９とを参照しながら説明する。尚、第1の解析処理部106aは解析結果の出力までに2フレームの遅延が生ずると仮定する。

図２のステップS200において、X線透視撮影開始の前に、外部パラメータ入力部110にて所定領域304を設定する（図９（ａ））。所定領域304は、医師がマウス等の操作によって直接関心領域形状を入力しても良いし、画像中央部のある形状・大きさを持つ領域として指定しても良い。X線透視撮影のような被写体に動きの発生する動画撮像において、毎フレームの動きに応じた適切な関心領域を外部入力により更新することは不可能である。通常は、例えば、透視開始時に画像中央部の画像全体の50％を占める矩形領域といった設定がなされ、透視撮影中リアルタイムに更新されることはない。一般にX線撮影では、診断上重要な部位は画像の中心に位置するよう行われるため、この所定領域は関心領域から大きく外れることは無いが、最適なものにはならない。ここでは、図９（ａ）のように、画像中央部の矩形領域として所定領域304が選択部106cに保持されるものとする。

ステップS211において、X線透視が撮影開始されると、X線発生部101は、被写体103に対して1パルス目のX線102（図１Ａ）を照射する。X線102は、被写体103を減衰しながら透過し、2次元X線センサ104に到達し、２次元X線センサ104にて1フレーム目のX線画像が出力される。前処理部105は、この2次元X線センサ104から出力されたX線画像に対し、オフセット補正処理やゲイン補正処理等の前処理を行う。これをX線画像310とする（図９（ａ））。

ステップS212において、関心領域出力部106は、前処理部105において前処理がなされたX線画像310からの関心領域抽出処理を開始する。第1の解析処理部106aは解析処理を開始するが、関心領域抽出結果が出力されるのは2フレーム後である。

第2の解析処理部106bは、図６Ａ、Ｂを用いて説明したアルゴリズムに従い、1フレーム目であるため所定領域304のエッジ位置情報を用いて解析処理を行い、関心領域抽出結果314を出力する（図９（ｂ））。この時、第2の解析処理部106bが用いるエッジ位置情報は外部パラメータ入力部にて設定される所定領域304であるため、各制御点の解析範囲に抽出すべきエッジがあることは保証されず、多くの場合、制御点の座標は更新されない。その結果、図９（ｂ）の314で示すような所定領域304のエッジの内、肺野エッジ近傍のエッジのみ修正され、肺野エッジから離れたエッジは所定領域304のエッジから移動していない関心領域抽出結果314が出力される（図９（ｂ））。

ステップS213において、選択部106cは、選択部106cが保持していた関心領域抽出結果314と第2の解析処理部106bから出力される関心領域抽出結果314のX線画像310における評価値S_memとS_outを算出する。第2の解析処理部106bに適用するアルゴリズムに従えば、一般に、S_mem≦S_outと考えられる。従って、選択部106cが保持していた所定領域304は、関心領域抽出結果314に置き換えられる。関心領域抽出結果314は選択部106cに保持される。

ステップS214において、特徴量算出部107は、動作開始のタイミングで選択部106cが保持している関心領域抽出結果314を読出し、特徴量を算出する。この特徴量を用いて、画像処理部108はX線画像310を画像処理して画像表示部109により処理済画像310'として出力し、X線制御部111は、2パルス目のX線条件を算出し、1フレーム目の処理を終える。

ステップS221において、X線発生部101は、被写体103に対して2パルス目のX線102を照射し、ステップS211と同様の処理により前処理までが行われ、X線画像320が出力される（図９（ｃ））。

ステップS222において、関心領域出力部106は、X線画像320からの関心領域抽出処理を開始する。第1の解析処理部106aはX線画像310に対する解析処理が終了していないため、その処理を続行する。第2の解析処理部106bは、図６Ａ、Ｂを用いて説明したアルゴリズムに従い、選択部106cが保持する関心領域抽出結果314のエッジ位置情報を用いて解析処理を行い、関心領域抽出結果324を出力する（図９（ｄ））。

ステップS223において、選択部106cは、選択部106cが保持していた関心領域抽出結果314と第2の解析処理部106bから出力される関心領域抽出結果324のX線画像320における評価値S_memとS_outを算出する。ここで、S_mem≦S_outと仮定すれば、選択部106cが保持する関心領域抽出結果314は、関心領域抽出結果324で置き換えられる。関心領域抽出結果324は選択部106cに保持される。

ステップS224において、特徴量算出部107は、動作開始のタイミングで選択部106cが保持している関心領域抽出結果324を読み出し、特徴量を算出する。この特徴量を用いて、画像処理部108はX線画像320を画像処理して画像表示部109により処理済画像320'として出力し、X線制御部111は、3パルス目のX線条件を算出し、2フレーム目の処理を終える。

ステップS230において、第1の解析処理部106aが処理を終了し、関心領域抽出結果313を出力する。選択部106cは、保持していた関心領域抽出結果324と第1の解析処理部106aから出力される関心領域抽出結果313のX線画像320における評価値S_memとS_outを算出する。この関心領域抽出結果は313の全画素に対して詳細な解析を行ったものである。一般に、関心領域抽出結果313は、所定領域304のエッジ位置情報近傍に限定した解析処理結果である関心領域抽出結果314、324より望ましい結果が得られていると考えられる。この場合、S_mem≦S_outとなる。従って、選択部106cが保持する関心領域抽出結果324は、第1の解析処理部106aが出力した関心領域抽出結果313により置き換えられる。関心領域抽出結果313は選択部106cに保持される。

ステップS231において、X線発生部101は、3パルス目のX線条件により被写体103に対してX線102を照射して3フレーム目の画像を生成する。前処理部105が生成された画像に前処理を施したものをX線画像330とする（図９（ｅ））。

ステップS232において、関心領域出力部106において、X線画像310の解析処理を終えた第1の解析処理部106aがX線画像330に対する解析処理を開始する。第2の解析処理部は、選択部106cが保持する関心領域抽出結果313を用いた解析処理によりX線画像330から関心領域抽出結果333を出力する。

ステップS233において、選択部106cは、保持していた関心領域抽出結果313と第2の解析処理部106bが出力した関心領域抽出結果333のX線画像330における評価値S_memとS_outを算出する。関心領域抽出結果313は1フレーム目のX線画像310の解析結果、関心領域抽出結果333は現在の処理対象である3フレーム目のX線画像330の解析結果であることを考慮すれば、一般に、S_mem≦S_outとなる。従って、選択部106cが保持する関心領域抽出結果313は、第2の解析処理部106bが出力した関心領域抽出結果333により更新される（図９（ｆ））。そして、関心領域抽出結果333は選択部106cに保持される。

ステップS234において、特徴量算出部107は、動作開始のタイミングで選択部106cが保持している関心領域抽出結果333を読み出し、特徴量を算出する。この特徴量を用いて、画像処理部108はX線画像330を画像処理して画像表示部109により処理済画像330'として出力する。X線制御部111は、4パルス目のX線条件を算出し、3フレーム目の処理を終える。

ステップS241において、X線発生部101は、被写体103に対して4パルス目のX線102を照射し、前処理部105が生成された画像に前処理を行い、X線画像340を出力する。

ステップS242において、関心領域出力部106は、X線画像340からの関心領域抽出処理を開始する。第1の解析処理部106aはX線画像330に対する解析処理が終了していないため、その処理を続行する。第2の解析処理部106bは、図６で説明したアルゴリズムに従い、選択部106cが保持する関心領域抽出結果333のエッジ位置情報を用いて解析処理を行い、関心領域抽出結果343を出力する（図９（ｇ））。

ステップS243において、選択部106cは、選択部106cが保持していた関心領域抽出結果333と第2の解析処理部106bから出力される関心領域抽出結果343のX線画像340における評価値S_memとS_outを算出する。ここで、S_mem≦S_outと仮定すれば、選択部106cが保持する関心領域抽出結果333は、関心領域抽出結果343で置き換えられる（図９（ｈ））。関心領域抽出結果343は選択部106cに保持される。

ステップS244において、特徴量算出部107は、動作開始のタイミングで選択部106cが保持している関心領域抽出結果343を読み出し、特徴量を算出する。この特徴量を用いて、画像処理部108はX線画像340を画像処理して画像表示部109により処理済画像340'として出力し、X線制御部111は、5パルス目のX線条件を算出し、4フレーム目の処理を終える。

ステップS250において、第1の解析処理部106aは処理を終了し、関心領域抽出結果353を出力する。選択部106cは、保持していた関心領域抽出結果343と第1の解析処理部106aから出力される関心領域抽出結果353のX線画像340における評価値S_memとS_outを算出する。ここで、関心領域抽出結果333は、X線画像330に対する解析結果であり遅延を生じている。一方、関心領域抽出結果343は、X線画像340に対する解析結果であり、遅延はない。従って、第2の解析処理部106bが正常に処理を終了し、良好な抽出結果が得られているのであれば、S_mem＞S_outとなっており、ここでは選択部106cが保持する関心領域抽出結果の更新は発生しない。しかし、X線画像330とX線画像340間で被写体動がほとんど発生していない場合や、第2の解析処理部106bが誤抽出を生じている場合は、S_mem≦S_outとなり、選択部106cが保持する関心領域抽出結果343は、関心領域抽出結果353で置き換えられる。

本実施形態に拠れば、X線透視撮影のような動画撮影において、画像処理やX線制御に用いる特徴量の算出を行う関心領域をリアルタイムに抽出することができる。

処理時間の異なる第1の解析処理部106aと第2の解析処理部106bによる2つの解析処理を並列に行う。そして、それぞれの解析結果が出力されるタイミングで、選択部106cは、出力された解析結果と保持している関心領域抽出結果とを評価し、より適切な方を選択し、保持する。これにより、高フレームレートの動画の各フレームで関心領域抽出結果が必要とされる処理の実行時に、より適切な関心領域を選択することが可能になる。

ここで、図１Ａ、Ｂに示した各部は専用のハードウエアにより構成しても良いが、ハードウエアの機能構成をソフトウエアにより実現することも可能である。この場合、図１Ａ、Ｂに示す各部の機能は、情報処理装置にソフトウエアをインストールし、ソフトウエアの実行による動画処理方法を情報処理装置の演算機能を利用して実現することができる。ソフトウエアの実行により、例えば、動画像を構成する各フレームに対して異なる解析処理を並列に行い、X線照射により被写体を透視する部位として定められた関心領域を、各フレームから抽出する解析処理工程が実行される。そして、異なる解析処理に基づき抽出された複数の関心領域に対して評価演算を施し、評価演算の結果に基づき、解析処理工程により抽出された複数の関心領域から一の関心領域を選択し、出力する選択工程と、が実行される。

図１２は、情報処理装置のハードウエア構成、及びその周辺機器の構成を示すブロック図である。情報処理装置1000は、撮像装置2000と接続しており、互いにデータ通信が可能な構成となっている。

（情報処理装置について）
CPU1010は、RAM1020やROM1030に格納されているプログラムやデータを用いて情報処理装置1000全体的な制御を行うとともに、プログラムの実行により予め定められた画像処理に関する演算処理を実行することが可能である。

RAM1020は、光磁気ディスク1068やハードディスク1050からロードされたプログラムやデータを一時的に記憶するためのエリアを備える。更にRAM1020は、撮像装置2000から取得した画像データ等を一時的に記憶するためのエリアを備える。また、RAM1020は、CPU1010が各種の処理を実行する際に用いるワークエリアも備える。ROM1030は、情報処理装置1000の設定データや、ブートプログラムなどを格納する。

ハードディスク1050は、OS（オペレーティングシステム）や、図１Ａ、Ｂに示した各部が行う各処理をCPU1010に実行させるためのプログラムやデータを保持している。そして、これらはCPU1010による制御に従って適宜、RAM1020にロードされ、CPU1010による処理対象となる。また、動画像のデータをこのハードディスク1050に保存することも可能である。

光磁気ディスク1068は、情報記憶媒体としての一例であり、ハードディスク1050に保存されているプログラムやデータの一部若しくは全部をこの光磁気ディスク1068に格納することが可能である。

マウス1070、キーボード1080は、情報処理装置1000の操作者が操作することで、各種の指示をCPU1010に対して入力することができる。例えば、図１Ａに示した外部パラメータ入力部110に対する所定領域304の入力指示は、マウス1070、またはキーボード1080を用いて行うことが可能である。

プリンタ1090は、画像表示部109に表示された画像を記録媒体上に印刷出力することが可能である。

表示装置1100は、CRTや液晶画面などにより構成されており、CPU1010による処理結果を画像や文字などでもって表示することが可能である。例えば、図１Ａ、Ｂに示した各部により処理され、最終的に画像表示部109から出力された画像を表示することが可能である。この場合、画像表示部109は、表示装置1100に画像を表示するための表示制御手段として機能する。バス1040は、情報処理装置1000内の各部を繋ぎ、各部の間でデータの送受信を行うことを可能にする。

（撮像装置2000について）
次に、撮像装置2000について説明する。撮像装置2000は、例えば、X線透視装置のような、動画像を撮像することが可能であり、撮像された画像データは情報処理装置1000に送信される。なお、画像データは複数をまとめて情報処理装置1000に送信するようにしても良いし、撮像の都度、順次、画像データの送信を行うようにしてもよい。また、情報処理装置1000からは、図１Ａに示したX線制御部111よる次フレームのX線照射条件の設定や撮影コマンドが送られる。撮像装置2000は、受信した次フレームのX線照射条件の設定や撮影コマンドに基づき、設定されている撮像条件の更新を行い、画像データの撮像を行うことが可能である。

＜第2実施形態＞
次に、本発明の第２実施形態を図１０の参照により説明する。図１０において、前処理部105、外部パラメータ入力部110に関しては、第1実施形態で説明した内容と同様であるため、重複した説明を避けるため、ここでは説明を省略する。

本実施形態にかかる関心領域出力部1060は、処理に長時間を要するが、1枚の画像を詳細に解析して関心領域を高い精度で抽出する第1の解析処理部106aを有する。また、関心領域出力部1060は、前フレームまでの解析情報を用いて解析範囲を限定することで、現フレームからの関心領域抽出処理に要する時間を短縮する第2の解析処理部106bを有する。また、関心領域出力部1060は、第1の解析処理部106aの解析結果を保持する第1の解析結果記憶部106dと、第2の解析処理部106bの解析結果を保持する第2の解析結果記憶部106eと、を有する。関心領域出力部1060は関心領域抽出結果を必要とするタイミングで、第1の解析結果記憶部106dと第2の解析結果記憶部106eからデータを読出し、データの比較により関心領域らしい結果を選択し出力する選択部106cを有する。

第1の解析結果記憶部106dは、第1の解析処理部106aが解析結果を出力するたびに、保持していた解析結果を新しい解析結果で置き換えて保持する。また、第2の解析結果記憶部106eは、第2の解析処理部106bが解析結果を出力するたびに、保持していた解析結果を新しい解析結果で置き換えて保持する。選択部106cは、第2の解析処理部106bまたは特徴量算出部107が関心領域抽出結果を必要とするタイミングで、第1の解析結果記憶部106dと第2の解析結果記憶部106eが保持するデータを読み出す。そして、選択部106cは、読み出したデータに基づき関心領域らしさを点数化した評価値S1とS2を算出する。選択部106cは、算出結果の比較を行い、評価値の高い方を関心領域として選択して第2の解析処理部106bまたは特徴量算出部107に出力する。

本実施形態に拠れば、X線透視撮影のような動画撮影において、画像処理やX線制御に用いる特徴量の算出を行う関心領域をリアルタイムに抽出することができる。

処理時間の異なる第1の解析処理部106aと第2の解析処理部106bによる2つの解析処理を並列に行い、それぞれの解析結果は第1の解析結果記憶部106dと第2の解析結果記憶部106eにて保持する。これらの解析結果は、選択部106cにて必要とされるタイミングで読み出され、評価値の比較に基づき、より適切な方を関心領域として選択して出力する。これにより、高フレームレートの動画の各フレームで関心領域抽出結果が必要とされる処理の実行時に、より適切な関心領域を用いることが可能となる。

＜第3実施形態＞
次に、本発明の第3実施形態を図１１の参照により説明する。図１１において、前処理部105、外部パラメータ入力部110に関しては、第1実施形態で説明した内容と同様であるため、重複した説明を避けるため、ここでは説明を省略する。

本実施形態にかかる関心領域出力部1061は、第２実施形態の関心領域出力部1060に、被写体の動きの検出を行う第3の解析処理部106fと、解析結果を保持する第3の解析結果記憶部106gと、を加えた構成になっている。選択部106cの関心領域選択時に動きの検出結果が反映される。

現在の解析対象をnフレーム目の画像としたとき、前フレームn-1に対する被写体の動きMnは、（４）式で表すことができる。ここで、ｎフレーム目の画像における動き検出範囲（例えば画像の中心50×50画素）をAnとし、nフレーム目の画像上の座標（x,y）における輝度値をIn(x,y)で表すものとする。

（４）式は、動き検出範囲における輝度値がフレーム間でどれだけ変化しているかを表しており、Mnは被写体の動きの度合を示している。ここで、実験的に求まる閾値をT1、T2（T1＜T2）を用いて、（５）式の関係が成り立つとき、フレーム間で被写体動はほとんど生じていないものとする。

Mn＜Ｔ1 ・・・（５）
この時、第1の解析処理部106aに生じる出力結果の遅延が影響しないと考えられるため、選択部106cは第1の解析処理部106aの結果を用いれば良い。

Ｔ1≦Mn＜T2 ・・・（６）
（６）式の関係が成り立つとき、第2の解析処理部106bで抽出可能なフレーム間の微小な被写体動が生じているものとする。この時は第1の解析処理部106aの結果よりも第2の解析処理部106bの結果がより適切である。

T2≦Mn ・・・（７）
（７）式の関係が成り立つとき、第2の解析処理部106bでも関心領域抽出が不可能な大きな被写体動がnフレーム目に発生したものとする。また、第1の解析処理部106aがn-1フレーム以前の画像に対して解析処理を実行中である時、大きな被写体動が起きたnフレーム目以降、その結果は意味をなさず、場合によっては大きな誤りを生じている。従って選択部106cに保持している関心領域抽出結果は、外部パラメータ入力部110にて入力される所定領域304で更新することが望ましい。

選択部106cでは、上記のような動き検出結果による判定を第1の解析処理部106a、第2の解析処理部106ｂによる解析結果と合わせて用いることにより関心領域抽出結果の選択精度を向上させることが可能になる。

また、被写体の大きな動きを検知した時は、選択部の保持する関心領域を、外部パラメータ入力部110により設定される所定領域で書き換える。これにより、大きな誤抽出が発生した可能性のある関心領域抽出や、不適切な特徴量の算出を行ったために起こり得る画像処理やX線制御の誤作動を抑制することが出来る。

（他の実施形態）
なお、本発明の目的は、前述した実施形態の機能を実現するソフトウエアのプログラムを記録したコンピュータ可読の記憶媒体を、システムあるいは装置に供給することによっても、達成されることは言うまでもない。また、システムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムを読出し実行することによっても、達成されることは言うまでもない。

この場合、記憶媒体から読出されたプログラム自体が前述した実施形態の機能を実現することになり、そのプログラムを記憶した記憶媒体は本発明を構成することになる。

プログラムを供給するための記憶媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、不揮発性のメモリカード、ＲＯＭなどを用いることができる。

また、コンピュータが読出したプログラムを実行することにより、前述した実施形態の機能が実現される。また、プログラムの指示に基づき、コンピュータ上で稼働しているＯＳ（オペレーティングシステム）などが実際の処理の一部または全部を行い、その処理によって前述した実施形態が実現される場合も含まれることは言うまでもない。

第１実施形態にかかるX線透視装置の構成を説明する図である。 関心領域出力部の具体的な構成を示す図である。 第1実施形態における処理の流れを説明するタイミングチャートである。 関心領域の抽出例を示す図である。 第1の解析処理部の処理の流れを説明する図である。 第2の解析処理部の処理の流れを説明する図である。 第2の解析処理部の動作を説明する図である。 第2の解析処理部の動作を説明する図である。 第１の解析処理部106aの処理により作成されるヒストグラムの一例を示す図である。 選択部の処理の流れを説明する図である。 第1実施形態における関心領域抽出処理を説明する図である。 第２実施形態にかかるX線透視装置の構成を説明する図である。 第３実施形態にかかるX線透視装置の構成を説明する図である。 本発明を実現可能なコンピュータシステムの一例を示す図である。

符号の説明

101 X線発生部
102 X線
103 被写体
104 2次元X線センサ
105 前処理部
106 関心領域出力部
107 特徴量抽出部
108 画像処理部
109 画像表示部
110 外部パラメータ入力部
111 X線制御部
106a 第1の解析処理部
106b 第2の解析処理部
106c 選択部

Claims (20)

1. X線照射された被写体の動画像を撮像する撮像手段と、
   前記動画像を構成する各フレームに対して異なる解析処理を並列に行い、前記X線照射により前記被写体を透視する部位として定められた関心領域を、当該各フレームから抽出する解析処理手段と、
   前記異なる解析処理に基づき抽出された複数の関心領域に対して評価演算を施し、当該評価演算の結果に基づき、前記解析処理手段により抽出された前記複数の関心領域から一の関心領域を選択し、出力する選択手段と、
   を備えることを特徴とするX線透視装置。
2. 前記解析処理手段は、前記異なる解析処理を並列に行うために、
   処理の対象となるフレームにおける関心領域を抽出する第1の解析処理手段と、
   前記処理の対象となるフレームの前フレームまでの解析情報を用いて解析範囲を限定することで、抽出に要する時間を、前記第1の解析処理手段の処理に要する時間に比べて短縮して、関心領域を抽出する第２の解析処理手段と、
   を備えることを特徴とする請求項１に記載のX線透視装置。
3. 前記解析処理手段は、前記被写体の動きの検出を行う第3の解析処理手段を更に備え、
   前記第3の解析処理手段の検出結果に基づき、前記選択手段は、前記第1の解析処理手段による抽出結果、または前記第２の解析処理手段による抽出結果を選択することを特徴とする請求項２に記載のX線透視装置。
4. 前記選択手段により選択された前記関心領域の特徴量を算出する特徴量算出手段と、
   前記特徴量を用いて、対応するフレームの画像処理を行う画像処理手段と、
   前記画像処理の結果を表示する表示手段と、を
   更に備えることを特徴とする請求項１に記載のX線透視装置。
5. 前記特徴量算出手段により算出された前記特徴量に基づいて、X線発生手段の制御を行うX線制御手段を更に備えることを特徴とする請求項４に記載のX線透視装置。
6. 前記解析処理手段は、処理対象のフレームに対して、ヒストグラム解析、空間フィルタリングによるエッジ検出、ハフ変換、モルフォロジ演算、パターンマッチングのうち少なくとも１つを用いて前記関心領域の抽出を行うことを特徴とする請求項１に記載のX線透視装置。
7. 前記選択手段は、前記評価演算として、関心領域抽出結果のエッジ強度、エッジの長さ、エッジの輝度、エッジの位置、関心領域の輝度、関心領域の形状、関心領域の重心位置、関心領域の平均輝度値、関心領域の分散値のうち少なくとも1つを用いることを特徴とする請求項１に記載のX線透視装置。
8. 前記特徴量算出手段は、抽出された関心領域に基づいて、当該関心領域の位置、大きさ、形状、平均輝度値、最大輝度値、最小輝度値、重心位置、分散、標準偏差の少なくとも1つを表す特徴量を算出することを特徴とする請求項４に記載のX線透視装置。
9. 前記画像処理手段は、前記特徴量に基づいて、階調変換処理、鮮鋭化処理、ノイズ抑制処理、関心領域切り出し処理の少なくとも1つを前記画像処理として行うことを特徴とする請求項４に記載のX線透視装置。
10. X線照射された被写体の動画像を処理するX線透視装置における動画処理方法であって、
    前記X線透視装置の解析処理手段が、動画像を構成する各フレームに対して異なる解析処理を並列に行い、X線照射により被写体を透視する部位として定められた関心領域を、当該各フレームから抽出する解析処理工程と、
    前記X線透視装置の選択手段が、前記異なる解析処理に基づき抽出された複数の関心領域に対して評価演算を施し、当該評価演算の結果に基づき、前記解析処理工程により抽出された前記複数の関心領域から一の関心領域を選択し、出力する選択工程と、
    を有することを特徴とする動画処理方法。
11. 前記解析処理工程は、前記異なる解析処理を並列に行うために、
    処理の対象となるフレームにおける関心領域を抽出する第1の解析処理工程と、
    前記処理の対象となるフレームの前フレームまでの解析情報を用いて解析範囲を限定することで、抽出に要する時間を、前記第1の解析処理工程の処理に要する時間に比べて短縮して、関心領域を抽出する第２の解析処理工程と、
    を有することを特徴とする請求項１０に記載の動画処理方法。
12. 前記解析処理工程は、前記被写体の動きの検出を行う第3の解析処理工程を更に有し、
    前記第3の解析処理工程の検出結果に基づき、前記選択工程は、前記第1の解析処理工程による抽出結果、または前記第２の解析処理工程による抽出結果を選択することを特徴とする請求項１１に記載の動画処理方法。
13. 前記X線透視装置の特徴量算出手段が、前記選択工程により選択された前記関心領域の特徴量を算出する特徴量算出工程と、
    前記X線透視装置の画像処理手段が、前記特徴量を用いて、対応するフレームの画像処理を行う画像処理工程と、
    前記X線透視装置の表示手段が、前記画像処理の結果を表示する表示工程と、を
    更に有することを特徴とする請求項１０に記載の動画処理方法。
14. 前記X線透視装置のX線制御手段が、前記特徴量算出工程により算出された前記特徴量に基づいて、X線発生手段の制御を行うX線制御工程を更に有することを特徴とする請求項１３に記載の動画処理方法。
15. 前記解析処理工程は、処理対象のフレームに対して、ヒストグラム解析、空間フィルタリングによるエッジ検出、ハフ変換、モルフォロジ演算、パターンマッチングのうち少なくとも１つを用いて前記関心領域の抽出を行うことを特徴とする請求項１０に記載の動画処理方法。
16. 前記選択工程は、前記評価演算として、関心領域抽出結果のエッジ強度、エッジの長さ、エッジの輝度、エッジの位置、関心領域の輝度、関心領域の形状、関心領域の重心位置、関心領域の平均輝度値、関心領域の分散値のうち少なくとも1つを用いることを特徴とする請求項１０に記載の動画処理方法。
17. 前記特徴量算出工程は、抽出された関心領域に基づいて、当該関心領域の位置、大きさ、形状、平均輝度値、最大輝度値、最小輝度値、重心位置、分散、標準偏差の少なくとも1つを表す特徴量を算出することを特徴とする請求項１３に記載の動画処理方法。
18. 前記画像処理工程は、前記特徴量に基づいて、階調変換処理、鮮鋭化処理、ノイズ抑制処理、関心領域切り出し処理の少なくとも1つを前記画像処理として行うことを特徴とする請求項１３に記載の動画処理方法。
19. コンピュータを、請求項１乃至９のいずれか１項に記載のX線透視装置の各手段として機能させるためのプログラム。
20. 請求項１９に記載のプログラムを記憶したコンピュータにより読み取りが可能な記憶媒体。

Images