JP6429548B2

JP6429548B2 - 画像処理装置及びその制御方法、コンピュータプログラム

Info

Publication number: JP6429548B2
Application number: JP2014189441A
Authority: JP
Inventors: 裕行近江
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2014-09-17
Filing date: 2014-09-17
Publication date: 2018-11-28
Anticipated expiration: 2034-09-17
Also published as: JP2016062271A

Description

本発明は画像処理装置及びその制御方法、コンピュータプログラムに関し、特に、撮像素子の飽和によるコントラスト低下を改善する技術に関する。

Ｘ線センサ（撮像素子）を用いた医療診断用のＸ線撮影装置が知られている。図１に、センサに到達するＸ線線量とセンサ出力値との関係を示す。Ｘ線線量とセンサ出力値との間には通常、線形性が保持されている。しかし、到達する線量がある閾値を超えると、Ｘ線線量とセンサ出力値の関係は線形性を失う。この閾値を飽和線量と呼び、飽和線量を超えるＸ線線量が到達した画素を飽和画素と呼ぶ。飽和線量を超えると、センサ出力値は徐々に一定値に近づいていく。これはセンサ内部にある増幅器、フォトダイオード（間接型センサの場合）等の出力がＸ線線量の増加と共に徐々に線形性を失うためである。センサ出力値が徐々に一定値に近づくということは、Ｘ線線量に対するセンサ出力値の感度が徐々に低下することを意味する。すなわち、飽和線量を超えた画素を使って構成された画像は、コントラストが低下した画像となり、診断に適していないことになる。したがって、飽和画素に対して何らかの対策が必要とされる。

特許文献１には、飽和画素については出力値を一定値に固定して画像を形成することが記載されている。特許文献２には、飽和画素の値を周辺の飽和していない画素の出力値に基づき補正することが記載されている。特許文献２の構成では、周辺画素のうち飽和画素と相関の高い画素に大きな重みづけをして、補正を行っている。特許文献３には、動画の撮影画像について、あるフレームの飽和画素を飽和していない前フレームの同じ位置の画素や後フレームの同じ位置の画素を使用して補間することが記載されている。

特開２００３−０００５７６号公報特開２０１２−０２４３４４号公報特開２０１０−０４５２９４号公報

特許文献１のように飽和線量以上の画素を一定値に固定してしまうと、飽和線量以上の情報が全くなくなってしまう。診断領域が含まれていた場合は診断情報がなくなり、診断に必要な情報を取得することができなくなる恐れがある。特許文献２の構成では周辺画素から画素値を補間して補正するため、その画素が持っている特有の情報は画像に反映されなくなってしまう。特許文献３の構成も特許文献１と特許文献２のよう情報が欠落するだけではなく、前フレームの情報を利用するため、複数のフレームバッファが必要となる。このため、システムメモリが圧迫されてしまい、システムの安定性が低下する可能性がある。また、複数のフレームに亘って飽和状態であると、補間のためのデータを取得することができず、補間すること自体ができなくなってしまう。

本発明は上記課題に鑑みなされたものであり、飽和線量を超えて撮影された領域を含む画像を、当該領域に含まれる情報を視覚的に読み取ることが可能な画像に変換する効率的な技術を提供することを目的とする。

上記目的を達成するため、本発明による画像処理装置は以下の構成を備える。即ち、
複数の撮像素子を用いて撮影された撮影画像に対して画像処理を行う画像処理装置であって、
前記撮影画像を、それぞれ異なる周波数帯域に制限された複数の帯域制限画像に分解する分解手段と、
前記撮影画像について、撮像素子に対する入射線量が所定値以上の画素を飽和画素として検出する検出手段と、
前記帯域制限画像の飽和画素からなる部分画像のコントラストを調整する調整手段と、
コントラストが調整された複数の前記帯域制限画像を用いて画像を再構成する再構成手段と
を備える。

本発明によれば、飽和線量を超えて撮影された領域を含む画像を、当該領域に含まれる情報を視覚的に読み取ることが可能な画像に変換する効率的な技術を提供することができる。

撮像素子に到達するＸ線線量とセンサ出力値との関係を示す図Ｘ線画像処理装置の機能構成例を模式的に示すブロック図Ｘ線画像処理装置を備えたシステム構成例を示すブロック図Ｘ線画像処理装置が実行する処理手順を示すフローチャート飽和画素値の算出原理を示す模式図飽和画素の検出原理を示す模式図Ｘ線画像処理装置の機能構成例を模式的に示すブロック図Ｘ線画像処理装置が実行する処理手順を示すフローチャートＸ線画像処理装置の機能構成例を模式的に示すブロック図Ｘ線画像処理装置が実行する処理手順を示すフローチャートフレーム数と、センサ出力値及びオフセット成分量との関係を示す図

以下、添付図面を参照して本発明の実施の形態を詳細に説明する。

（Ｘ線画像処理装置の構成）
図２は、本発明の一実施形態に係るＸ線画像処理装置の機能構成例を模式的に示すブロック図である。複数の撮像素子を用いて撮影された撮影画像に対して画像処理を行う画像処理装置としてのＸ線画像処理装置は、検出部２０１、分解部２０２、調整部２０３、再構成部２０４を備えている。検出部２０１は、Ｘ線センサ（撮像素子）にて取得されたＸ線画像に所定の前処理を施した画像を入力し、飽和画素である画素（非線形画素）を検出して、検出結果を出力する。後述するように、検出部２０１は、撮像素子に対する入射線量が所定値以上の画素を飽和画素として検出する。分解部２０２は、Ｘ線センサにて取得されたＸ線画像に所定の前処理を施した画像を入力し、それぞれ異なる周波数帯域に制限された周波数成分を表す複数の帯域制限画像に分解し、出力する。調整部２０３は、帯域制限画像と飽和画素の検出結果を入力し、帯域制限画像を飽和画素検出結果に基づいて調整し、調整された帯域制限画像を出力する。具体的には、調整部２０３は、帯域制限画像の各々について、当該帯域制限画像の飽和画素からなる部分画像のコントラストを調整する。再構成部２０４はコントラストが調整された帯域制限画像を入力し、再構成を行い、再構成結果を出力する。

図２に示したＸ線画像処理装置は、ＰＣ（Personal Computer）、ワークステーション、タブレット端末等の情報処理装置により実現することができる。図３はＰＣにより実現されたＸ線画像処理装置を備えたＸ線画像処理システムのハードウェア構成例を示すブロック図である。図３では、コントロールＰＣ３０１、Ｘ線センサ３０２、及び、Ｘ線発生装置３１０が光ファイバー３１３により接続されている。もっとも、これらの機器を接続する信号線は光ファイバーに限られず、ＣＡＮ（Controller Area Network）やギガビットイーサなど、情報を伝送可能な任意のネットワークを用いることができる。Ｘ線発生装置３１０はＸ線管を備えており、Ｘ線センサ３０２へ向けてＸ線を照射する。Ｘ線センサ３０２はＸ線発生装置３１０から照射されたＸ線を検出する複数の撮像素子を備え、撮影画像を形成する。光ファイバー３１３には、さらに、表示装置３０９、記憶装置３１１、及び、ネットワークインタフェース（Ｉ／Ｆ）３１２が接続されている。コントロールＰＣ３０１は、例えば、ＣＰＵ３０３、ＲＡＭ（Random Access Memory）３０４、ＲＯＭ（Read Only Memory）３０５、入力部３０６、記憶部３０７等の構成要素を備える。これらの構成要素はバス３０８により互いに接続される。ＣＰＵ３０３は中央演算装置（Central Processing Unit）であり、ＲＡＭ３０４、ＲＯＭ３０５、記憶部３０７等に格納されたデータ、コンピュータプログラム等に基づき装置全体の制御を行う。ＲＡＭ３０４は書込み可能メモリ（Random Access Memory）であり、記憶部３０７等から読み出したデータ、プログラムを一時的に保持するワークエリア等として利用される。ＲＯＭ３０５は読出し専用メモリ（Read Only Memory）であり、基本Ｉ／Ｏプログラム等のコンピュータプログラム、基本処理に使用するデータ等を記憶する。入力部３０６はユーザから指示を入力する構成要素であり、キーボード、ポインティング装置、タッチパネル等の指示装置により実現される。記憶部３０７は大容量メモリとして機能する装置であり、ハードディスク装置、ＳＳＤ、ＵＳＢメモリ、フラッシュメモリ等により実現される。

コントロールＰＣ３０１は、ユーザからの指示や処理プロセス等に応じて、Ｘ線センサ３０２や表示装置３０９などにコマンドを送信する。コントロールＰＣ３０１では、撮影モードごとの処理内容がソフトウェアモジュールとして記憶部３０７に格納される。このソフトウェアモジュールは、指示装置に対する指示入力に応じてＲＡＭ３０４に読み込まれ、実行される。図２に示した機能構成における機能要素２０１〜２０４は、それぞれソフトウェアモジュールとして記憶部３０７に格納されている。もちろん図２に示した２０１〜２０４の機能要素はソフトウェアとして実装するのではなく、専用の画像処理ボード等のハードウェアにより実装してもよい。用途や目的に応じて最適な実装を行うことができる。

以下、Ｘ線画像処理装置の詳細に関して５つの実施形態例を説明する。

（実施形態１）
図２の構成図と図４を参照して、Ｘ線画像処理装置の処理の流れを説明する。図４は、Ｘ線画像処理装置が実行する処理手順を示すフローチャートである。図４の各ステップはＣＰＵ３０３の制御に基づき実行される。

まず、Ｓ４０１、Ｓ４０２により、検出部２０１および分解部２０２に入力される原画像を作成する。すなわち、図３のＸ線センサ３０２がＸ線画像を取得する（Ｓ４０１）。取得されたＸ線画像に対しコントロールＰＣ３０１が前処理を行う（Ｓ４０２）。前処理には、オフセット補正、Ｌｏｇ変換、ゲイン補正、欠陥補正などのセンサの特性を補正する処理と、グリッドモアレを抑制するグリッド縞抑制処理等が含まれうる。必要であれば、ランダムノイズを低減する処理などのＳ／Ｎを向上させる処理を行ってもよい。このように前処理を行った画像が原画像となる。

次に、検出部２０１が、原画像から非線形画素を検出する。非線形画素とは到達したＸ線線量とセンサ出力値とが線形関係にない画素をいう。前述の飽和画素は非線形画素の一例である。ここでは、まず、飽和画素と判断するための飽和画素値を決定する（Ｓ４０３）。飽和画素値は、撮像素子に当該飽和画素値以上の線量が入射されると、当該撮像素子が入射線量と出力値との間に非線形の特性を示す値である。飽和画素値はセンサ出力値をＸ線線量で微分した値を閾値処理することで算出する。図５に飽和画素値を決定する手法を示す。センサ出力値ＦとＸ線線量ｕの関係が図５（ａ）のようなとき、低線量域（線形性が確実に維持される領域）にて、線形近似をし、近似式を求める。ここで近似式の傾きをＭとする。次に図５（ｂ）のようにセンサ出力値をＸ線線量で微分すると、線形性を維持できなくなったＸ線線量域では微分値が低下する。したがって、数１を満たす最小のｕを飽和線量ｕ_sとして検出する。

なお、必要に応じて、図５（ｃ）のように飽和線量ｕ_sに対するセンサ出力値を算出し、その値を飽和画素値Ｆ_sとして算出してもよい。飽和画素値は撮影毎に変化する値ではなく、また、撮影中に算出することは困難であるため、実運用上は予め算出して記憶部３０７等に記憶しておき、画像処理の際にその値を読み出すようにしてもよい。飽和画素値Ｆ_sが決定すると、原画像内で飽和画素値以上の画素値を持つ画素を全て飽和画素として検出する（Ｓ４０４）。

次に、分解部２０２は、原画像から複数の周波数（空間周波数）の帯域制限画像を作成する（Ｓ４０５）。複数の帯域制限画像を作成する手法としては、ラプラシアンピラミッド分解を用いた手法、ウェーブレット変換を用いた手法、アンシャープマスクを利用する手法等がある。アンシャープマスクを利用した場合、原画像をＳ_org、ボケ画像をＳ_UsLvとすると、帯域制限画像Ｈ_Lvは、数２のようになる。

Lvは帯域制限画像のインデックスである。周波数応答特性の異なるボケ画像を作成することで、様々な帯域制限画像を得ることができる。

次に、調整部２０３は、Ｓ４０４の飽和画素の検出結果を用いて、帯域制限画像上での飽和画素を検出する（Ｓ４０６）。帯域制限画像上での飽和画素とは、原画像の飽和画素の画素値を利用して生成されたボケ画像における画素値の位置にある、帯域制限画像上の画素である。本実施形態では、帯域制限画像を作成するためにボケ画像を使用する。

ボケ画像のフィルタサイズをＮとすると、飽和画素は、原画像の飽和画素を中心としたＮ×Ｎの領域となる。図６は帯域制限画像上での飽和画素を検出する手順を模式的に示す図である。図６ではボケ画像として３×３のフィルタを適用した例を示している。原画像６０１の飽和画素に対して３×３フィルタを適用した場合、飽和画素の影響を受けた画素位置はボケ画像６０２上で図６の通りである。これら画素を全て帯域制限画像６０３上の飽和画素として扱う。

調整部２０３は、Ｓ４０６の帯域制限画像の飽和画素検出結果を用いて、各帯域での平均パワーを計算する（Ｓ４０７）。平均パワーとは帯域制限画像の画素値の二乗平均である。平均パワーとして、本実施形態では、飽和画素領域での平均パワーＰ_Lvsと、正常画素領域（飽和画素領域である部分画像以外の画像）での平均パワーＰ_Lvnとの二種類を算出する。ここで、飽和画素領域とは、帯域制限画像の飽和画素からなる部分画像をいう。また、sb_Lv(x,y)を座標（ｘ，ｙ）における飽和画素検出結果を表す関数とする。sb_Lv(x,y)は、飽和画素について１、正常画素について０の値をとる。帯域制限画像の画像サイズをｗ_Lv×ｈ_Lvとすると、平均パワーは数３と数４のように表わされる。

ただし、Ｎ_sはsb_Lv＝１となる画素の総数、Ｎ_nはsb_Lv＝０となる画素の総数である。

次に、調整部２０３は、Ｓ４０７で得られた平均パワー用いて、帯域制限画像の飽和画素を調整する（Ｓ４０８）。飽和画素領域のコントラストは正常画素領域のコントラストよりも低下しているため、正常画素領域と同等のコントラストを保つように、飽和画素の値を整える。具体的には、調整後の帯域制限画像をＨ_Lv'とすると、数６に基づき帯域制限画像のコントラストを調整する。

すなわち、調整部２０３は、帯域制限画像の飽和画素からなる部分画像の各画素値に対してＰ_Lvn／Ｐ_Lvsを乗じることにより該画素値を調整する。

次に、再構成部２０４は、Ｓ４０８にて調整された帯域制限画像Ｈ_Lv'を利用して、画像全体を再構成する(Ｓ４０９)。具体的には、分解された帯域制限画像を加算していくことで原画像を再構成する。すなわち、調整された帯域制限画像を加算していくことで、飽和画素の影響が軽減された原画像Ｓ_org'に再構成する。帯域制限をした周波数が最も低い画像をＬとすると、飽和画素の影響が軽減された原画像Ｓ_org'との関係は、数６のようになる。

ただし、LvMaxは最大分解レベルである。再構成された画像Ｓ_org'は、図３に示すコントロールＰＣ３０１が幾何変換等の後処理を行い（Ｓ４１０）、表示装置３０９やネットーワークＩ／Ｆ３１２を介して外部装置等へ出力する（Ｓ４１１）。

上記のように、本実施形態のＸ線画像処理装置は、撮影画像について、撮像素子に対する入射線量が所定値以上の画素を飽和画素として検出し、撮像がその飽和画素からなる部分画像のコントラストを調整する。本実施形態では、撮影画像を、それぞれ異なる周波数帯域に制限された複数の帯域制限画像に分解し、帯域制限画像の各々（周波数が最も低い画像は除く）についてコントラストを調整して、画像を再構成する。このように、本実施形態では帯域制限画像ごとに飽和画素領域のコントラストを調整するため、コントラスト調整を効率的かつ効果的に行うことができる。したがって、各帯域制限画像にて飽和画素のコントラストを正常画素のコントラストに調整をした結果、飽和画素によるコントラストの低下が軽減された画像が生成される。

（実施形態２）
実施形態１ではＳ４０４にて画素の種類を飽和画素と正常画素の２つに分類したが、本実施形態では飽和画素をより細かく分類することで、より画素の特性に適合した適切な補正を実現する。本実施形態の処理手順を、図２の構成図と図４の全体フローを使い、処理の流れにそって説明する。

Ｓ４０１、Ｓ４０２の処理は実施形態１と同様である。Ｓ４０３にて、検出部２０１は、飽和画素値を決定する。実施形態１では飽和画素値を１つ検出したが、本実施形態では複数の飽和画素値を検出する。実施形態１と同様に、センサ出力値ＦとＸ線線量ｕとの関係を近似し、傾きＭの近似式を求める。そして、センサ出力値をＸ線線量で微分する。検出する飽和画素値の数をＮ_maxとし、Ｎ＝１，２，．．．，Ｎ_maxについて、数７を満たす最小のｕを飽和線量ｕ_s（Ｎ）とする。

Ｎ＝１，２，．．．，Ｎ_maxの各々について飽和線量ｕ_s（Ｎ）に対するセンサ出力値を算出し、その値を飽和画素値Ｆｓ（Ｎ）とする。ここで、センサ出力値Ｆは一般にＸ線線量ｕに対して単調増加するので、Ｎが大きいほど、Ｆｓ（Ｎ）の値は大きくなる。複数の飽和画素値を決定すると、原画像内で飽和画素値Ｆｓ（Ｎ）以上Ｆｓ（Ｎ＋１）未満の値を持つ画素値を飽和画素Ｎとして検出する（Ｓ４０４）。最大のＮ（Ｎ_max）に関しては上限はなしとする。すなわち、Ｆｓ（Ｎ_max）以上の画素値を有する画素を飽和画素Ｎ_maxとして検出する。例えば、Ｎ＝２の場合、飽和画素値として第１、第２の所定値を予め決定しておき、入射線量が第１の所定値以上で第２の所定値未満の画素を第１の飽和画素として検出し、入射線量が第２の所定値以上の画素を第２の飽和画素として検出することになる。

Ｓ４０５は実施形態１と同様である。Ｓ４０６では、調整部２０３がＮ_max種類の飽和画素毎に帯域制限画像上の飽和画素を検出する。検出手法は実施形態１と同様であるが、本実施形態では、複数の種類の飽和画素の影響を受けたボケ画像の画素が存在する場合は、影響度の最も大きい飽和画素を選択する。例えば、フィルタ内に存在する最大数の種類のものを選択したり、コントラストに最も影響する最も大きいＮを選択したりすればよい。

Ｓ４０７では、調整部２０３が、Ｎ_max種類の飽和画素毎に各飽和画素領域の平均パワーＰ_Lvs（Ｎ）を算出する。そして、Ｓ４０８では、調整部２０３が、Ｎ_max種類の飽和画素領域毎に正常画素領域と同様のコントラストを保つように、各飽和画素の値を整える。Ｓ４０９からＳ４１１は実施形態１と同様である。

図１のセンサ特性に示すように飽和画素領域における傾きは一定ではないため、コントラストの低下も一律ではない。そこで、一律にコントラストを補正するのではなく、このように複数の飽和画素範囲に分割して補正をすることで、より適切な補正をすることができる。

（実施形態３）
図７は、本実施形態におけるＸ線画像処理装置の機能構成を示すブロック図である。本実施形態のＸ線画像処理装置は、検出部７０１、分解部７０２、調整部７０３、再構成部７０４、領域分割部７０５を備える。７０１から７０４の各機能要素の機能は、図２の２０１から２０４と同様である。領域分割部７０５は、図３のＸ線センサ３０２にて取得されたＸ線画像に所定の前処理を施した画像を入力とし、複数の領域に分割し、分割結果を出力する。領域分割部７０５は、７０１から７０４と同様にソフトウェアモジュールとして記憶部３０７に格納されている。もちろん７０１〜７０５の全部または一部を専用の画像処理ボードとして実装してもよい。用途や目的に応じて適切な実装を行うようにすればよい。

実施形態１および実施形態２では、Ｓ４０７にて飽和画素領域の平均パワーを算出し、Ｓ４０８にて正常画素領域と同様のコントラストを保つように飽和画素の値を整えた。本実施形態では、飽和画素領域と正常画素領域を画像の特性に応じてより詳細に分割することで、さらに適切な補正を実現する。本実施形態における処理手順を図７の構成図と図８の全体フローを参照して、処理の流れにそって説明する。

Ｓ８０１からＳ８０４は実施形態１のＳ４０１からＳ４０４と同様である。Ｓ８０５では、領域分割部７０５が原画像を複数の領域に分割する。分割される領域としては、コリメーション領域、素抜け領域、被写体領域を基本とし、さらに被写体領域を画素値に基づき解剖学的に分割する。画像の解剖学的な分割とは、被写体たる人体を構成する器官（例えば、肺野、縦隔、骨、臓器など）に合わせて分割領域を画定し、器官ごとに画像を分割することをいう。領域分割の手法は特に限定はされず、任意の手法を利用することが可能である。

コリメーション領域の認識する手法の一例が、特公平５−０４９１４３号公報に記載されている。コリメーション領域とは、Ｘ線がコリメータによって照射されていない領域（照射野外）をいう。この手法は、矩形照射野の輪郭の隣り合う２辺に沿ってＸ軸とＹ軸を設定し、画像データを設定したＸ軸方向およびＹ軸方向に加算集計する。ここで、照射野内の加算集計データはＸ線が殆ど照射されない照射野外に比べ高くなる。そこで、Ｘ軸方向の加算集計データが所定の閾値ＴＨ以上となるＹ軸上の位置と、Ｙ軸方向の加算集計データが所定の閾値ＴＨ以上となるＸ軸上の位置とを算出する。そして、算出したＹ軸上の位置にあるＸ軸方向の直線と、Ｘ軸上の位置にあるＹ軸方向の直線で囲まれる矩形領域を照射野内とし、その他をコリメーション領域とする。

次に、素抜け領域を抽出する例を説明する。素抜け領域とは、照射されたＸ線が被写体を通過せず、直接センサに到達した領域のことである。例えば画像ヒストグラムを算出すると、素抜け領域は高画素値領域に集中する。そこで、ヒストグラムレンジの高画素値側から数％の領域が素抜け領域にあたる。このような領域を除去することで、素抜け領域を除去することできる。このように原画像から、得られたコリメーション領域と素抜け領域とを除いた残りが被写体領域となる。

さらに、被写体領域は画素値に基づき解剖学的に分割することができる。例えば、大津の判別分析法（大津の二値化）などを用いて画素値に依存して分割してもよい。または、画像特徴量からk-means等のクラスタリングを行う手法や学習型のアルゴリズムを用いた手法などにより被写体領域を分割してもよい。

Ｓ８０６、Ｓ８０７は、実施形態１のＳ４０５からＳ４０６と同様のため省略する。Ｓ８０８では、調整部７０３がＳ８０５の領域分割結果とＳ８０７の帯域制限画像の飽和画素検出結果とを用いて、各帯域での平均パワーを計算する。すなわち、分割された領域毎にその領域内の飽和画素領域での平均パワーＰ_Lvs（Ｋ，Ｎ）と正常画素領域（飽和画素領域外）での平均パワーＰ_Lvn（Ｋ，Ｎ）を算出する。ここで、領域分割数をＫ_max、飽和画素値の検出数をＮ_maxとするとＫ＝１，２，．．．，Ｋ_max、Ｎ＝１，２，．．．，Ｎ_maxである。

そして、Ｓ８０９では、調整部７０３が、分割数Ｋ_max、検出数Ｎ_maxの飽和画素領域毎に正常画素領域と同様のコントラストを保つように、各飽和画素の値を整える。Ｓ８１０からＳ８１２は実施形態１の４０９から４１１と同様のため省略する。

画像内におけるコントラストは画像内における照射野や被写体の位置、人体を構成する器官が占める領域によって異なる。そこで、一律にコントラストを補正するのではなく、本実施形態のように入力画像を複数の領域に分割し、領域ごとに帯域制限画像のコントラストを調整することで、より適切な補正をすることができる。

（実施形態４）
図９は、本実施形態におけるＸ線画像処理装置の機能構成を示すブロック図である。本実施形態のＸ線画像処理装置は、検出部９０１、分解部９０２、調整部９０３、再構成部９０４、差分部９０５を備える。９０１から９０４は図２の構成図における２０１から２０４と同様である。差分部９０５は、図３のＸ線センサ３０２にて取得されたＸ線画像に所定の前処理を施した画像を２枚入力とし、画像間の差分処理を行い、差分画像を出力する。差分部９０５は、９０１から９０４と同様にソフトウェアモジュールとして記憶部３０７に格納されている。もちろん９０１〜９０５を専用の画像処理ボードとして実装してもよい。目的に応じて最適な実装を行うようにすればよい。

実施形態１から実施形態３では、原画像に対する処理を説明したが、本実施形態では差分画像を用いた画像処理を説明する。差分画像とは、経時差分画像やＤＳＡ（Digital Subtraction Angiography）画像である。差分画像による画像処理を図９の構成図と図１０の全体フローを使い、処理の流れにそって説明する。本実施形態では、同一被写体について短時間の間隔をおいて取得された２つの画像に基づき、差分画像を取得する場合を説明する。例えば、ＤＳＡにおけるマスク画像とライブ画像から差分画像を取得することができる。

Ｓ１００１からＳ１００４は実施形態１のＳ４０１からＳ４０４と同様の処理を行うが、Ｓ１００１ではＸ線センサ３０２にて２枚の画像が取得され、各画像に個別の処理がなされる。Ｓ１００２により、原画像１、原画像２が出力されると、Ｓ１００５では、差分部９０５が原画像１から原画像２を差分し、差分画像を生成する。原画像１をＳ_org1、原画像２をＳ_org2とすると、差分画像Ｄは、数８のようになる。

Ｓ１００６では、分解部９０２がＳ１００５で算出した差分画像Ｄから複数の周波数の帯域制限画像を作成する。この処理はＳ４０５と同様である。Ｓ１００７では、調整部９０３がＳ１００４の飽和画素の検出結果を用いて、帯域制限画像上での飽和画素を検出する。帯域制限画像上での飽和画素とは、帯域制限画像を作成するために使用したボケ画像において、差分画像の飽和画素を利用して生成された画素が同じ位置にある画素である。差分画像の飽和画素とは、原画像１の飽和画素と原画像２の飽和画素との論理和をとったものとする。すなわち、原画像１の画素又は原画像２の画素のうち、入射線量が所定値以上の画素を飽和画素として検出する。ボケ画像のフィルタサイズをＮとすると、差分画像の飽和画素を中心としたＮ×Ｎの領域を飽和画素とする。Ｓ１００８からＳ１０１２は実施形態１のＳ４０７からＳ４１１と同様の処理を、原画像１または原画像２の一方に対して行う。

差分画像における飽和画素の影響は２枚の画像の飽和画素の影響を受ける。したがって本実施形態のように、連続する２つの撮影画像の差分画像に基づき複数の帯域制限画像を生成し、当該複数の帯域制限画像の各々において、２つの撮影画像の飽和画素につきコントラストを調整する。このように、本実施形態では、２枚の画像の影響を考慮することで、より最適な補正をすることができる。

（実施形態５）
実施形態４ではＳ１００９にて全ての帯域制限画像に対して、正常画素領域と同様のコントラストを保つように各飽和画素の値を整えたが、本実施形態では帯域制限画像毎に補正度合いを変更する。本実施形態の処理手順について、図９の構成図と図１０の全体フローを参照して、処理の流れにそって説明する。

Ｓ１００１からＳ１００８は実施形態４と同様のため省略する。Ｓ１００９にて調整部９０３が、飽和画素領域毎に正常画素領域と同様のコントラストを保つように、各飽和画素の値を整える。

動画のように連続してＸ線画像が取得される場合、Ｎ−１フレーム目に蓄積された電荷が全て解放されずにＮフレーム目に残ってしまうことがある。図３のＸ線センサ３０２が間欠型のダーク補正を行う必要があるセンサである場合、この残電荷はＮフレーム目のダーク画像に加算される。本実施形態では、この加算分をオフセット成分とする。ダーク画像にオフセット成分が存在すると、ダーク補正後に出力されるＸ線画像の値はオフセット成分の分だけ小さくなる。オフセット成分が存在しない場合のセンサ出力値をセンサ出力値１、オフセット成分が存在する場合のセンサ出力値をセンサ出力値２とすると、その関係は図１１のようになる。図１１の横軸はフレーム数、縦軸はセンサ出力値を表わしている。図１１の例では、フレーム数が増すにつれてＸ線線量が一定量で増加している。したがって、センサ出力値１はＸ線線量が飽和線量を超えたフレームから一定値へと近づく。一方、センサ出力値２は飽和線量を超えて暫くすると、センサ出力値が減少している。これは、オフセット成分が増加する一方で増幅器やフォトダイオードが飽和してしまうため、結果としてセンサ出力値が低下するためである。このような場合、飽和線量を超えた出力値は診断上利用することが困難である。しかし、ＤＳＡ画像のような差分画像を利用する場合、出力値そのものの情報を利用するのではなく、差分値の情報を利用するため、補正することで利用することができる。

そこで、本実施形態では、Ｓ１００９にてコントラストを調整する際に、出力値の影響を受けにくいように帯域制限画像毎に重みづけてコントラストの調整をする。重みをwgtとすると数９のようになる。

重みwgtは、例えば、Lvの値が小さいほど１に近づき、Lvの値が大きいほど０に近づく関数であって、上下を反転したシグモイド関数のような形状を有する関数を用いることができる。詳細な位置情報を含む高周波成分ほど大きくし、画素値情報の影響を受けやすい低周波成分ほど小さくしている。低周波成分は０でもよい。そのときはＳ１０１０で再構成部が低周波帯域の帯域制限画像を除いて再構成するという方法でもよい。Ｓ１０１０からＳ１０１２は実施形態４と同様のため省略する。

間欠型ダーク補正を必要とするＸ線センサの場合はオフセット成分の影響を受ける。したがって帯域制限画像でコントラストを調整する際にその影響を考慮することで、より適切な補正をすることができる。すなわち、本実施形態では、より大きな周波数帯域の帯域制限画像について、より大きな度合いでコントラストを調整することで、飽和画素領域に含まれる情報をより視覚的に読み取りやすくすることが可能となる。

以上のように、本発明の各実施形態では飽和線量を超えた画素のコントラストを適宜調整することで、診断に適した画像を出力することが可能となる。

＜＜その他の実施形態＞＞
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

２０１：検出部、２０２：分解部、２０３：調整部、２０４：再構成部

Claims

複数の撮像素子を用いて撮影された撮影画像に対して画像処理を行う画像処理装置であって、
前記撮影画像を、それぞれ異なる周波数帯域に制限された複数の帯域制限画像に分解する分解手段と、
前記撮影画像について、撮像素子に対する入射線量が所定値以上の画素を飽和画素として検出する検出手段と、
前記帯域制限画像の飽和画素からなる部分画像のコントラストを調整する調整手段と、
コントラストが調整された複数の前記帯域制限画像を用いて画像を再構成する再構成手段と
を備えることを特徴とする画像処理装置。
前記所定値は、前記撮像素子に当該所定値以上の線量が入射されると、当該撮像素子が入射線量と出力値との間に非線形の特性を示す値であることを特徴とする請求項１に記載の画像処理装置。
前記調整手段は、前記帯域制限画像の飽和画素からなる部分画像の平均パワーＰ_Lvsと当該帯域制限画像の当該部分画像以外の画像の平均パワーＰ_Lvnとに基づいて、該飽和画素からなる部分画像の画素値を調整することを特徴とする請求項１又は２に記載の画像処理装置。
前記調整手段は、前記帯域制限画像の飽和画素からなる部分画像の各画素値に対してＰ_Lvn／Ｐ_Lvsを乗じることにより該画素値を調整することを特徴とする請求項３に記載の画像処理装置。
前記検出手段は、撮像素子に対する入射線量が第１の所定値以上で第２の所定値未満の画素を第１の飽和画素として検出するとともに、入射線量が第２の所定値以上の画素を第２の飽和画素として検出し、
前記調整手段は、前記第１の飽和画素からなる部分画像と、前記第２の飽和画素からなる部分画像とのそれぞれについて、コントラストを調整する
ことを特徴とする請求項１から４のいずれか１項に記載の画像処理装置。
前記撮影画像を被写体たる人体を構成する器官に合わせて複数の領域に分割する分割手段を更に備え、
前記調整手段は前記領域ごとに前記帯域制限画像のコントラストを調整する
ことを特徴とする請求項１から５のいずれか１項に記載の画像処理装置。
前記調整手段は、より大きな周波数帯域の帯域制限画像について、より大きな度合いでコントラストを調整することを特徴とする請求項１から６のいずれか１項に記載の画像処理装置。
前記分解手段は、連続して撮影された第１及び第２の撮影画像の差分に基づき、該第１の撮影画像を複数の帯域制限画像に分解し、
前記検出手段は、前記第１の撮影画像の画素または前記第２の撮影画像の画素のうち、入射線量が前記所定値以上の画素を飽和画素として検出し、
前記調整手段は、前記第１の撮影画像の帯域制限画像について、前記飽和画素からなる部分画像のコントラストを調整し、
前記再構成手段は、コントラストが調整された前記第１の撮影画像の前記帯域制限画像を用いて画像を再構成する
ことを特徴とする請求項１から７のいずれか１項に記載の画像処理装置。
前記再構成手段は、コントラストが調整された複数の前記帯域制限画像を加算して画像を再構成することを特徴とする請求項１から８のいずれか１項に記載の画像処理装置。
Ｘ線を照射するＸ線発生装置と、
Ｘ線発生装置から照射されたＸ線を検出する複数の撮像素子を備え、撮影画像を形成するＸ線センサと、
前記Ｘ線センサにおいて形成された撮影画像に対して画像処理を行う請求項１から８のいずれか１項に記載の画像処理装置と
を備えることを特徴とする画像処理システム。
複数の撮像素子を用いて撮影された撮影画像に対して画像処理を行う画像処理装置の制御方法であって、
分解手段が、前記撮影画像を、それぞれ異なる周波数帯域に制限された複数の帯域制限画像に分解する分解工程と、
検出手段が、前記撮影画像について、撮像素子に対する入射線量が所定値以上の画素を飽和画素として検出する検出工程と、
調整手段が、前記帯域制限画像の飽和画素からなる部分画像のコントラストを調整する調整工程と、
再構成手段が、コントラストが調整された複数の前記帯域制限画像を用いて画像を再構成する再構成工程と
を備えることを特徴とする画像処理装置の制御方法。
コンピュータを請求項１から９のいずれか１項に記載の画像処理装置が備える各手段として機能させるためのコンピュータプログラム。