JP7451239B2 - 画像処理装置、ｘ線撮像装置及び画像処理方法 - Google Patents

Description

本発明は、マンモグラフィ装置、ＣＴ装置等の医用Ｘ線撮像装置に係り、特にＸ線撮像装置で取得したノイズを多く含む低線量画像に対し、学習済モデルを用いて低線量画像から高線量画像を予測する技術に関する。

医用Ｘ線撮像装置は、撮像対象にＸ線を照射し、撮像対象を通過したＸ線量を検出して、撮像対象の組織のＸ線吸収量の差異を利用して画像化する装置であり、組織の内部形態を観察可能とし、病気の検出や経過観察に用いられる。一般に、照射するＸ線量が多いほど診断画像の画質はよくなる。特に、Ｘ線発生装置から発生するＸ線は、発生自体が時間軸に沿って一様ではなくランダム性を有しているため、Ｘ線の照射時間を制御して線量を多くすることで、Ｘ線発生のランダム性の影響が緩和され、画質のよい診断画像が得られる。

一方、線量が多くなると、人体への被ばくが多くなるため、被ばくを抑えつつ良好な画質が得られる適切な線量を用いた撮像が求められている。このため、近年の診断装置では、患者と観察部位に合わせて、一定の画像の品質基準を保った上で、適切な撮像線量を自動制御する機能を搭載するようになっている（特許文献１等）。

また、医用画像から病変の有無及び状態を観察しやすいように、画像処理システムにおいて様々な改良がなされている。例えば、深層学習（ＤＬ：Ｄｅｅｐ Ｌｅａｒｎｉｎｇ）技術を適用して、画質の向上や特定疾患の判定などが行うことが提案されている（特許文献２等）。

特開２０１３－２３３４２０号公報 特開２０１９－１８１２２６号公報

特許文献２に開示された技術は、ＭＲ診断装置の画像処理に学習済モデルを導入し、データ欠損のある画像から画像の復元を試みている。しかし、Ｘ線はＭＲ装置が計測する磁気信号とは異なり、Ｘ線の発生にランダム性があり、強度（線量）に応じてノイズレベルのばらつきの程度が異なる。それによって、撮像した画像にも輝度に応じたノイズのばらつきを生じる。従って、単に低線量画像と高線量画像とをセットとして学習したモデルを用いても、良好な学習効果を得ることができない。また、撮像対象毎の厚みや硬さ等に合わせて撮像電圧や電流などを制御しているため、学習済モデルをそのまま適用すると、予測不足や過予測が発生しやすい。

本発明は、低被ばく且つ高画質の診断画像を得られるＸ線診断装置を提供することを課題とする。具体的には、画像処理によって、Ｘ線医用撮像装置で取得した低線量画像から高線量相当の画像を精度よく予測し、それによりＸ線検査の際の被ばくの低減を図ることを課題とする。

上記課題を解決するため、本発明は、Ｘ線の特性に特化した補正処理と学習済モデルとを用いて、低線量画像から高線量画像を予測する。補正処理は、輝度に応じたノイズレベルを揃える処理を含む。

すなわち、本発明の画像処理装置は、Ｘ線撮像装置で取得したＸ線画像を補正する補正処理部と、補正処理部による補正後の画像を入力し、低線量画像と高線量画像とを学習データとして用いて学習した学習済モデルを用いて、入力画像を撮像した際の線量よりも高線量で撮像可能な画像を出力する高線量画像予測部と、を備え、補正処理部は、前記入力画像に対し、低線量画像と高線量画像との線量の相違に起因するノイズレベルの差を補正する。
この学習済モデルは、学習データとして、入力画像と同じ補正処理を施した低線量画像を用いて学習した学習済モデルである。

また本発明のＸ線撮像装置は、被検体の画像データを収集する撮像部と、撮像部における撮像モードに応じて撮像部を制御する制御部と、前記撮像部が収集した画像データを用いて画像処理を行う画像処理部とを備え、画像処理部は、本発明の画像処理装置の機能を含んでいる。

具体的には、本発明のＸ線撮像装置は、Ｘ線を照射するＸ線照射部、及び前記Ｘ線照射部から照射され被検体と透過したＸ線を検出するＸ線検出部を有するＸ線撮像部と、前記Ｘ線検出部が検出したＸ線データを用いてＸ線画像を作成する画像処理部と、Ｘ線の線量が異なる複数の撮像モードのいずれかを設定するモード設定部と、前記モード設定部が設定した撮像モードに従って、前記Ｘ線照射部、前記Ｘ線検出部及び前記画像処理部を制御する自動制御部と、を備え、画像処理部は、上述した画像処理装置であって、自動制御部は、撮像モードが低線量撮像モードに設定されたときに、補正処理部及び高線量画像予測部による処理を行うよう画像処理部を制御する。

さらに本発明の画像処理方法は、Ｘ線撮像装置において標準として設定された線量よりも低線量で撮像されたＸ線画像から、標準線量または前記標準線量よりも線量が高い撮像で得られるＸ線画像を予測する画像処理方法であって、処理対象のＸ線画像に対し、低線量画像と高線量画像との線量の相違に起因するノイズレベルの差を補正する処理を行った後、低線量画像と高線量画像とを学習データとして用いて学習した学習済モデルを用いて、前記補正処理後のＸ線画像を入力し、画像を撮像した際の線量よりも高線量で撮像可能な画像を出力することを特徴とする。

本発明によれば、現状の標準撮影モードのＸ線量より低い線量で高線量相当の画像を予測し、被検者の被ばく量の低減、期診断や早期発見が期待できる。また、線量の制御は時間による制御が多いため、低線量の撮像は撮影の時間の短縮にもつながり、撮像際の患者の圧迫による痛みの緩和、検査技師の効率化を図ることができる。

Ｘ線撮像装置の全体構成を示す図 Ｘ線撮像装置の一例としてマンモグラフィ装置の構成を示す図 画像処理装置の構成を示す図 第１の実施形態の画像処理部の要部の構成と処理の流れを示す図 Ｘ線撮像装置の処理工程を示すフローチャート 学習済モデルの構造を示す図 （Ａ）～（Ｃ）は、補正処理によるノイズレベルを揃える処理を説明する図 補正処理部の処理を説明する図 第１の実施形態の変形例の処理を示す図 第２の実施形態のＸ線検出部の検出タイミングを説明する図 第２の実施形態の補正及び高画質化処理の一例を説明する図 第２の実施形態の補正及び高画質化処理の別の例を説明する図 Ｘ線撮像装置の一例としてＣＴ装置の構成を示す図

以下、本発明の実施形態を、図面を用いて説明する。
＜第１の実施形態＞
最初に、本発明の画像処理装置が適用されるＸ線撮像装置の実施形態を説明する。Ｘ線撮像装置としては、マンモグラフィ、Ｘ線ＣＴ装置、Ｘ線撮影装置など、被検体を透過したＸ線を用いて画像化する装置であればすべて適用することができる。

図１に示すように、Ｘ線撮像装置１０は、被検体２０に対しＸ線を照射するＸ線照射部１１、被検体２０を透過したＸ線を検出するＸ線検出部１２、Ｘ線照射部１１及びＸ線検出部１２の動作をそれぞれ制御する照射制御部１３及び検出制御部１４、Ｘ線の線量が異なる複数の撮像モードのいずれかを設定するモード設定部１６、モード設定部１６が設定したモードに従って照射制御部１３及び検出制御部１４を制御する自動制御部１５、及び、Ｘ線検出部１２が検出したＸ線信号を入力し、Ｘ線画像を作成する画像処理部３０を備えている。照射部１１、Ｘ線検出部１２及びそれらの制御部１３，１４を総称して、撮像部ともいう。

Ｘ線撮像装置１０は、さらに、Ｘ線画像を表示する表示部１７やユーザが所望の撮像条件の設定やモード選択を行うための操作入力部１８を備えている。さらに図示を省略しているが、画像処理に必要なプログラムやデータを格納する記憶装置を備えていてもよい。

撮像部の構成は、Ｘ線撮像装置１０の種類によって異なるが、それぞれ、公知のＸ線撮像装置の構成と同様である。

例えば、Ｘ線撮像装置１０がマンモグラフィ装置１０Ａの場合には、図２に示すように、Ｘ線照射部１１は、電子ビームを発生する陰極１１１、陰極１１１からの電子ビームが衝突することによりＸ線が発生する陽極（ターゲット）１１２、照射角度や照射パターンを制御するフィルタ１１３等を備えたＸ線発生装置であり、Ｘ線検出部１２は、シンチレータと光電変換素子を組み合わせたＦＰＤ（Ｆｌａｔ Ｐａｎｅｌ Ｄｅｔｅｃｔｏｒ）やＩＩ（Ｉｍａｇｅ Ｉｎｔｅｎｓｉｆｉｅｒ）などで構成される。図２では自動露出制御ＡＥＣ（Ａｕｔｏｍａｔｉｃ Ｅｘｐｏｓｕｒｅ Ｃｏｎｔｒｏｌ）機能を備えたＦＰＤを例示しているが、これに限定されるものではない。またＦＰＤの被検体（***）側には、Ｘ線の入射方向を制限するグリッド１２２が固定されている。さらにＸ線照射部１１とＸ線検出部１２との間には、被検体である***を検出器側に押圧する圧迫板１２１が図中上下方向に移動可能に取り付けられている。

マンモグラフィは乳がん検査の重要な手法であり、交わった乳腺の中から腫瘤や石灰化の有無を診断する必要があるため、画質の要求が非常に高い。本実施形態は、このような高い画質が要求されるマンモグラフィに好適である。

モード設定部１６は、操作入力部１８からの指示に従い、たとえば標準の撮像モードのほかに、自動低線量撮像モードを設定することができる。標準の撮像モードは、被検体２０の厚み（Ｘ線が透過する部分の厚み）や被検体の大きさ、年齢等に応じて適切な線量を自動的に決定し、撮像するモードであり、この標準撮像モードで決まる線量を、ここでは１００％線量とし、それに対する所定の割合（５０％、３０％など）で低線量撮像モードの線量が決定される。低線量撮像モードは、割合の異なる複数の低線量モードを設定可能にしてもよい。なお、低線量撮像モードはユーザ操作による設定でもよいし、デフォルトで設定されていてもよい。

画像処理部３０は、Ｘ線検出部１２が検出した信号を用いて、医師が診断可能な組織の内部構造を表す診断画像を作成し、表示部１７に表示させる。このため、画像処理部３０には、Ｘ線検出部１２の検出信号を用いて画像データ等を作成するデータ構成部３１、データ構成部３１が作成した画像データ等を保存するデータ保存部３２、データ保存部３２に保存された画像データから表示あるいはさらなる画像処理が必要な画像データを選出する画像データ選出部３３、画像データ選出部３３から送られる画像データ（低線量画像データ）を入力し、高画質化のための処理を行う高画質処理部３４、画像データを表示用画像に変換する表示変換部３５、及び、操作入力部１８からのユーザ指定に従い、表示変換のパラメータ、例えば、表示の明るさ、大きさ、角度等や、表示形態を調整する調整処理部３６を備えている。なお図示する画像処理部３０の構成は、一例であり、いくつかの要素を省略したり、図示していない別の要素を追加する場合もあり得る。

このような画像処理部３０の機能の一部又は全部は、ＣＰＵが実行するソフトウェアとして実現することができる。また画像データ作成に係る部分や画像処理部３０の一部はＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）やＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍａｂｌｅ Ｇａｔｅ Ａｒｒｙ）などのハードウェアで実現してもよい。

本実施形態のＸ線撮像装置１０は、自動低線量撮像モードを設定するモード設定部１６を備えること、および、低線量撮像モードで取得した画像に対し画像処理部３０の高画質処理部３４が、標準撮像モードで得られるであろう画像（高線量画像）を予測すること、が特徴であり、それ以外の構成は公知の医用撮像装置１０とそれに付随する画像処理部３０と同様である。

なお図１では、画像処理部３０がＸ線撮像装置１０の一部に組み込まれている構成を示したが、図３に示すように、画像処理部３０はＸ線撮像装置１０とは独立した画像処理装置であってもよく、その場合には、インターネット、イントラネット等のネットワークや専用の通信手段等を介してＸ線撮像装置１０と画像処理装置３０とが接続される構成としてもよい。この場合、画像処理装置３０には、専用のユーザーインターフェイス（ＵＩ）５０や記憶装置４０が接続されていてもよい。ＵＩには、画像処理結果を表示する表示部５１や画像処理に必要な条件等を入力するための操作入力部５２が備えられている。記憶装置４０には、画像処理装置３０が用いることのできる各種プログラムや学習モデル（学習済モデルを含む）が格納されている。以下、図１に示す画像処理部３０の機能を説明するが、特記しない限り、その機能は図３に示す画像処理装置も同様であり、図１の表示部１７や操作入力部１８の参照は、図３の表示部５１や操作入力部５２も含むものとする。

次に、高画質処理部３４の詳細を含む画像処理部３０の構成について、図３及び図４を参照して説明する。図３及び図４では、画像処理部３０の諸機能のうち、主に高画質処理にかかわる要素のみを示し、図１に示す要素の一部は省略している。

高画質処理部３４は、図３及び図４に示すように、画像選出部３３が選出した画像に対し、Ｘ線画像特有の輝度依存ノイズを平準化する補正処理部３４１、学習モデルを導入するモデル導入部３４２、及びモデル導入部３４２が導入した学習モデルの出力をもとに高線量画像を予測する高画像予測部３４３を備えている。学習モデルは、画像処理部３０に接続された記憶装置４０に格納されている。記憶装置４０は、画像処理部３０を構成するＣＰＵに接続された外部記憶装置、ＨＤＤ、可搬性媒体、或いはインターネット上のクラウド内に設けられた記憶装置でもよい。高画質処理部３４の処理の詳細は後述する。

次にＸ線撮像装置１０の低線量撮像モード時の動作の概要を、図５のフローを参照して説明する。モード設定部１６により自動低線量モードが設定されると（Ｓ５０１）、自動制御部１５は設定モードに応じて、被検体に応じた標準撮影モードより低い照射線量を算出し、照射線量に関与する照射電圧、照射電流、照射時間、フィルタ種類などパラメータを照射制御部１３に引き渡す（Ｓ５０２）。また、自動制御部１５は検出のタイミングや回数などパラメータを検出制御部１４に引き渡す。照射制御部１３は受け取った撮像条件でＸ線照射部１１を制御し、Ｘ線を発生させ、被検体にＸ線を照射する。Ｘ線検出部１２は検出制御部１４の制御のもと、被検体を透過したＸ線を検出する。

画像処理部３０のデータ構成部３１は、Ｘ線検出部１２が検出したデータをデジタル画像に構成し、データ保存部３２に保存する。それに伴い、画像選出部３３はデータ保存部３２から処理対象となる1枚、または複数枚の画像、すなわち低線量で撮像された画像を選出し、高画質処理部３３に渡す（Ｓ５０３）。高画質処理部３３は、学習モデルの読み出し（Ｓ５０４）、データ選出部３３から受け取った画像の補正処理（Ｓ５０５）及び学習モデルを用いた高線量画像の予測（Ｓ５０６）を行い、高画質化する。

表示変換部３６は高画質化した画像を、表示モニタ上で確認しやすい画像に変換する（Ｓ５０７）。この際、操作入力部１８に対するユーザ操作を受け付けた場合は、調整処理部３６により、表示変換のパラメータや表示形態の変更を行う（Ｓ５０８、Ｓ５０９）。画像処理部３０は以上のような各処理を経た診断画像を、必要に応じて、処理前の画像やその他の付帯情報とともに表示部１７を表示する。

次に上記処理Ｓ５０４～Ｓ５０６の詳細、すなわち画像処理部３０の高画質処理部３３の処理の詳細を説明する。

［Ｓ５０４：学習済モデルの導入］
モデル導入部３４１は、記憶装置４０から学習済モデルを読み出す。学習済モデルは、低線量画像と高線量画像とのセットを学習データとして学習されたモデルである。学習済モデルは、基本的に畳み込み層やプーリング層などを組み合わせたものであり、学習後に各層のパラメータが確定する。

図６に学習モデルの構造の一例を示す。図示するように、学習モデルの構築には、ＣＮＮ（Ｃｏｍｖｏｌｕｔｉｏｎａｌｏ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｄ）を基本とするアーキテクチュアが用いられる。ＣＮＮでは、入力画像を多数のパッチに分けて、パッチ毎に処理し、複数次元からなる低線量画像の特徴量を非線形マッピングにより高線量画像の特徴量に変換し、高線量画像を出力する。出力と学習データの高線量画像との誤差が所定のレベル以下になるようにＣＮＮの各層のパラメータを決定する。但し、学習データに用いる画像データは、線量の違いに起因するノイズレベルや分散の違いを補正したデータである。

Ｘ線画像は、輝度に依存してノイズのばらつきが変化し、線量の低い画像と高い画像とでは、ノイズレベルやその分散が異なる。Ｘ線画像のノイズのばらつきは、図７（Ａ）に示すように、輝度値を横軸、ノイズの分散を縦軸にとってみると、輝度値によって変化し、輝度値が高いほどばらつきが多い。このようなノイズのばらつきが輝度値によって異なる画像を用いて、例えば、低線量画像から高線量画像を予測するように学習した学習済モデルを用いて高線量画像を予測しても、画像おける位置毎に過補正や補正不足を生じ、有効な学習を行うことができない。また学習する際に用いる真値である高線量画像にもノイズがあり、それは低線量画像のノイズとは異なるばらつきを持っているため、両者の関係性自体がランダムに変化してしまい、学習がうまくいかない。

本実施形態では、まず、学習モデルの学習の際に、Ｘ線画像（低線量画像及び高線量画像）を直接予測の入力画像とせず、ぼかし補正と傾き補正の二つの補正処理で、両画像の画像信号のノイズを揃えた後、入力画像とする。同様に、学習済モデルを用いた予測の際にも、低線量画像に対し、同じぼかし補正と傾き補正を行った上で、学習済モデルに入力画像し、高線量画像の予測を行う。

これにより、予測の過不足を抑え、高線量画像に相当の画像を予測することができる。学習データに対する補正処理は、学習済モデルを用いて高線量画像の予測を行う際に、補正処理部３４２が入力データに対して行う補正処理と同じ処理であり、Ｘ線撮像装置１０内の、或いはＸ線撮像装置１０と接続された画像処理部３０の補正処理部３４２で行ってもよいし、そのような画像処理部３０とは別の計算機等を用いて行ってもよい。また、学習に用いる低線量画像は、画像選出部３３が選出する低線量画像と、線量（通常モードの線量に対する％）が同じであることが好ましい。

モデル導入部３４１が記憶装置４０から読みだした学習済モデルは、高画質画像予測部３４３において、高画質画像を予測する際に用いられる。

［Ｓ５０５：補正処理］
補正処理部３４２は、画像選出部３３から低線量撮像で取得した画像を受け取ると、低線量画像に対し、学習データの補正処理と同様の補正処理を行う。

補正処理部３４２における処理は、上述したように、低線量画像と高線量画像とのノイズレベルの違いを揃えるための処理である。具体的には、図８に示すように、低線量画像８０に対し、ローパスフィルタ等の平滑フィルタを用いてぼかし処理Ｓ８０１を行い、低線量画像のぼかし画像８１を形成する。次いで、元の低線量画像８０をぼかし画像８１で割り（Ｓ８０２）、ノイズとエッジを抽出した画像（特徴画像）８２を得る。このようなぼかし補正後の画像のノイズ特性は、図７（Ｂ）に示すように、処理前（図７（Ａ））に比べると、低輝度におけるノイズのばらつきが多くなるが、高輝度におけるノイズのばらつきが大幅に改善され、全体として輝度に依存したノイズのばらつきが解消される。

またＸ線画像の信号値には、線量に応じた傾きがあることが知られており、その傾きは統計的に求められている。補正処理部３４２は、線量に応じた信号値の傾きを補正し（Ｓ８０３）、入力される画像と予測する高線量画像との間で傾きの不整合に起因する予測精度の低下を防止する。傾きの補正は、統計的に求められている傾きを表す関数の逆関数を、ぼかし処理後に抽出した特徴画像（ノイズとエッジを抽出した画像）８２にかけて、信号の中央値を中心として逆の傾きとする処理である。傾き補正後の画像のノイズ特性（輝度値分散値）は、図７（Ｃ）のようになる。
以上のステップＳ８０１～Ｓ８０３が低線量画像に対し補正処理部３４２が行う補正処理Ｓ５０５である。

［Ｓ５０６：高線量画像の予測］
高線量画像予測部３４３は、まず、上述したステップＳ５０３で読みだした学習済モデル４５を用いて、補正処理後の画像を入力として、ノイズを除去した予測画像８３を出力する（Ｓ８０４）。予測画像は、主としてエッジのみが抽出された高線量特徴画像である。この予測結果に対し、ぼかし補正Ｓ８０１によって得たぼかし画像８１（直流の信号成分）を乗算することで（Ｓ８０５）ノイズが低減された高画質の予測画像（高線量予測画像）８４が得られる。

［Ｓ５０７、Ｓ５０８：画像表示］
画像処理部３０は、高画質処理部３４が作成した高線量予測画像８４を表示部１７に表示させる。表示の態様は、特に限定されるものではないが、例えば、高線量予測画像のみを表示してもよいし、予測に用いた低線量画像と並べて表示してもよい。画像以外の情報、例えばノイズやその輝度特性などを表示してもよい。さらに、表示された画像に対するユーザ変更等を、操作入力部１８を介して受け付けてもよい。その場合には、調整処理部３６が操作入力部１８から入力された指令に従い、調整するパラメータを算出して表示変換部３７に渡し、表示変換部３７が表示の変更を行う。

本実施形態によれば、異なる線量で撮像した画像間のノイズレベルの違いを除いた特徴量のみの画像を用いて、学習済モデルを用いた画像予測を行うので、学習モデルの構築において高い学習効果を得ることができる。そのような学習済モデルを用いることにより、予測の精度を向上することができる。

さらに、Ｘ線画像は線量によって信号値の傾斜が異なるが、本実施形態によれば、 補正処理において傾斜補正を行うことにより、標準線量以外の条件で撮像した画像であっても補正の過不足を生じることなく予測の精度を向上することができる。本実施形態を、マンモグラフィに適用することにより、その高い画質の要求に応えることができ、乳腺中の腫瘤や石灰化の有無の診断に資する情報を提供することができる。

＜変形例＞
第１実施形態では、高画質処理部３４の処理対象は、Ｘ線検出部が検出した信号をデータ構成部３１において散乱線補正やビームハードニング補正などの補正を施した後の画像データであったが、このような補正処理を行っていない未処理の画像データ（Ｒａｗデータ）であってもよい。この場合には、図９に示すように、Ｒａｗデータを用いて学習した学習済モデル４５Ｂを用いるとともに、学習済モデル４５Ｂを用いた高画質処理部３４の出力である高線量予測Ｒａｗ画像に対し、表示変換部３５においてＲａｗデータを補正後の画像データとする処理を行う。あるいは学習済モデルに補正自体を組み込むことも可能である。すなわち学習データとして、Ｒａｗデータと補正後の高線量画像とのセットを用いることで、予測高線量画像を得ることができる。

＜第２の実施形態＞
第１の実施形態では、一つの低線量画像から高線量画像を予測したが、本実施形態では線量の異なる複数の低線量画像を用いて高線量画像を予測する。装置の構成は、図１及び図３に示す構成と同様であり、以下、第１の実施形態と異なる点を中心に本実施形態を説明する。

本実施形態では、モード設定部１６において低線量撮像モードが設定されると、自動制御部１５は検出制御部１４を介してＸ線検出部１２を制御し、Ｘ線検出部１２が複数の異なるタイミングでＸ線信号を検出するように検出時間を制御する。例えば、図１０に示すように、標準線量に対し５０％の低線量を検出する時点がｔｎだとすると、それより早い複数の時点ｔ１、ｔ２・・・で、それまでにＸ線検出器に蓄積されたデータを読み出し、中間蓄積データｄ１、ｄ２・・・を取得する。中間蓄積データは、例えば、線量が１０％、２０％、３０％、・・・など最終蓄積データ（５０％）よりも低線量である。

データ構成部３１は、これら中間蓄積データを用いて、それぞれの画像を作成し、データ保存部３２に渡す。画像選出部３３は、これら線量が異なる複数の低線量画像を選出し、高画質処理部３４に渡す。この際、画像選出部３３が高画質処理部３４に渡す低線量画像は、データ保存部３２に蓄積された複数の低線量画像すべてでもよいが、所定の低線量画像を組み合わせたものでもよい。例えば、２０％と３０％の低線量画像の組み合わせ、２０％、３０％及び５０％の低線量画像の組み合わせなどを選出する。選出の基準は、予めデフォルトで設定しておいてもよいし、ユーザが低線量撮像モードを選択する際に、複数の組み合わせから選択可能にしたり、任意に選択可能にしたりユーザ設定するようにしてもよい。

モデル導入部３４１が導入する学習済モデルは、第１の実施形態と同様の学習済モデルであって、線量の異なる複数の低線量画像をそれぞれ入力学習データとして学習させた複数の学習済モデルでもよいし、複数の低線量画像を入力学習データとして一つの高線量画像を出力するように学習させた学習済モデル（複数の入力チャンネルを持つ学習モデル）でもよい。このような学習済モデル４５Ａを記憶装置４０に格納しておき、モデル導入部３４１はこの学習済モデル４５Ａを高画質処理部３４（高線量画像予測部３４３）に読み込んでおく。

高画質処理部３４は、画像選出部３３から複数の画像を受け取ると、図１１に示すように、まず補正処理部３４１が、それぞれの画像Ｉ１、Ｉ２、・・・Ｉｎに対し、補正処理を実行する。すなわち、図８に示したような、ぼかし処理及び傾き補正を行い、エッジとノイズのみの低線量特徴画像を形成する。高画像予測部３４５は、学習済モデル４５Ａに補正処理後の複数の画像データ（低線量特徴画像）を入力し、エッジのみが抽出された画像データ（高線量特徴画像）を出力し、それにぼかし処理で得られたぼかし画像をかけて高線量予測画像を得る。

なお、線量が異なる低線量画像毎に学習した学習済モデルが用意されている場合には、高画質処理部３４は、図１２に示すように、補正処理後の低線量画像Ｉ１、Ｉ２、・・・Ｉｎを、それぞれ、対応する学習済モデル４５ａ、４５ｂ、・・・に入力し、複数の学習済モデルの出力を融合した後、例えば最も線量の高い画像から得たぼかし画像をかけて最終的な予測高線量画像とする。あるいは、各学習済モデルの出力であるエッジ画像にそれぞれのぼかし画像をかけたのち、それらを融合して最終的な予測高線量画像とする。

画像処理部３０は、予測した高線量画像を表示部１７に表示させる。表示の態様は第１実施形態と同様であるが、予測高線量画像の表示とともに、予測に用いた低線量画像を併せて表示したり、何％の低線量画像を予測に用いたのかを表示したりしてもよい。この結果を見てユーザは、組み合わせる低線量画像を変えて、画像処理のみを繰り返し、最も画質の良い画像が得られるようにすることも可能である。すなわち、本実施形態によれば、再度撮像を行わなくても、画像の組み合わせを異ならせるという画像処理のみで高画質化を実現できる。

なお図１０では、検出時点を異ならせて線量の異なる複数の画像を取得する例を示したが、線量の異なる複数の画像を取得する制御は、検出時間の制御だけでなく、例えば、照射制御部１３を介した照射量の制御や、フィルタ（１１３：図２）による一時遮断と検出制御部１４との組み合わせた制御や、撮像時間内で連続記録した検出線量をデジタル処理により再分割する制御なども可能である。

また低線量画像の組み合わせとして、異なる低線量画像を組み合わせる場合を説明したが、一つの低線量画像（補正処理後）を複数用いてもよいし、複数の同一線量画像とそれ以外の線量画像とを組み合わせてもよい。このような組み合わせは、複数の入力チャンネルの学習済モデル４５Ａの場合、学習済モデル４５Ａへの入力時に行うことができ、また図１２に示したように、線量ごとに異なる学習済モデルを用いた場合には、その出力を合成する際に、適宜重み付けを行うことで実現できる。

本実施形態によれば、複数の線量が異なる低線量画像データを用いることにより、さらに予測の精度を高めることができる。また予測結果に応じて、画像処理のみを繰り返すことで、高画質化を図ることができる。

＜第３の実施形態＞
第１の実施形態では、主としてマモンモグラフィを例に挙げて、本発明を適用したＸ線撮像装置を説明したが、本実施形態は、ＣＴ装置に適用した実施形態である。

ＣＴ装置１０Ｃは、図１３に示すように、であるＸ線発生器（Ｘ線照射部１１）１１Ｃと、円弧状に検出素子を配列したＸ線検出器（Ｘ線照射部１２）１２Ｃとを対向配置し、中央に被検体２０を挿入する開口が形成された回転板１９と、回転板１９を回転させる機構（不図示）や被検体２０が寝かせられたベッド２１と回転板１９との相対位置を変化させる移動機構（不図示）とを備えている。

ＣＴ装置１０Ｃでは、回転板１９を回転させて、被検体２０の撮像範囲を少しずつ変えながらＸ線を照射し、得られる透過Ｘ線データをコンボリューション等の演算を用いて融合することで被検体の断面の画像（ＣＴ）画像を撮像できる。また、回転板１９の回転とともにベッド２１を前後に進行させることで、スライド方向の撮像を行うことができ、三次元の画像データが得られる。

このようなＣＴ装置１０Ｃでは、Ｘ線発生器１１Ｃからの照射量のほかに、時間当たりの回転数（回転速度）やベッド２１の移動速度を制御することで、被検体２０に照射されるＸ線の線量を制御することができる。自動制御部１５は、低線量モードでは、例えばベッド移動速度を通常モードよりも速く設定する。これにより得られるＣＴ画像は、スライド方向の断面の密度が低くなるため画質が低下する。

学習モデルは、このような低画質ＣＴ画像と、通常モードの高画質ＣＴ画像とを学習データとして用いて学習させたものを用意しておく。その他の処理は、第１の実施形態と同様であり、線量の違いに起因するノイズレベルを平準化する補正処理を行った上で、学習モデルを用いた高画質化を行う。なお学習データについても同様の補正処理を行ったものを用いることは第１の実施形態と同様である。

またＣＴ画像ではなく、ＣＴ画像に再構成する前の投影データに対し処理を行うことも可能である。この場合には、低線量の投影データを高線量化した後、コンボリューション等によりＣＴ画像を再構成する。

１０ Ｘ線撮像装置
１１ Ｘ線照射部
１２ Ｘ線検出部
１３ 照射制御部
１４ 検出制御部
１５ 自動制御部
１６ モード設定部
１７ 表示部
１６ 操作入力部
２０ 被検体
３０ 画像処理部（画像処理装置）
３１ データ選出部
３２ データ保存部
３３ 画像選出部
３４ 高画質処理部
３４１ モデル導入部
３４２ 補正処理部
３４３ 高線量画像予測部
３５ 表示変換部
３６ 調整処理部
４０ 記憶装置
４５ 学習済モデル
５０ ＵＩ
５１ 表示部
５２ 操作入力部

Claims (13)

1. Ｘ線撮像装置で取得したＸ線画像を補正する補正処理部と、
   前記補正処理部による補正後の画像を入力し、低線量画像と高線量画像とを学習データとして用いて学習した学習済モデルを用いて、入力画像を撮像した際の線量よりも高線量で撮像可能な画像を出力する高線量画像予測部と、を備え、
   前記補正処理部は、前記入力画像に対し、低線量画像と高線量画像との線量の相違に起因するノイズレベルの差を補正することを特徴とする画像処理装置。
2. 請求項１に記載の画像処理装置であって、
   前記学習済モデルは、前記学習データとして、前記入力画像と同じ補正処理を施した低線量画像を用いて学習した学習済モデルであることを特徴とする画像処理装置。
3. 請求項１に記載の画像処理装置であって、
   前記補正処理部が行う処理は、前記入力画像に対しぼかし処理を施し、ぼかし画像を作成する処理と、前記ぼかし画像と前記入力画像とを用いて、前記入力画像のエッジとノイズを抽出した特徴画像を作成する処理と、を含み、
   前記高線量画像予測部は、前記特徴画像を、前記学習済モデルに入力して、高線量特徴画像を得、当該高線量特徴画像と前記ぼかし画像とを用いて高線量予測画像を作成することを特徴とする画像処理装置。
4. 請求項１に記載の画像処理装置であって、
   前記高線量画像予測部は、撮像時の線量が異なる複数の画像を入力画像として、一つの高線量予測画像を作成することを特徴とする画像処理装置。
5. 請求項４に記載の画像処理装置であって、
   前記学習済モデルは、複数の低線量画像と一つの高線量画像とを学習データとして学習した学習済モデルであることを特徴とする画像処理装置。
6. 請求項４に記載の画像処理装置であって、
   前記高線量画像予測部は、前記学習データとして、線量の異なる低線量画像を用いて、それぞれ学習した複数の学習済モデルを用い、複数の前記入力画像をそれぞれ対応する学習済モデルで処理し、処理結果を融合することにより、一つの高線量予測画像を作成することを特徴とする画像処理装置。
7. 請求項１に記載の画像処理装置であって、
   前記Ｘ線画像は、前記Ｘ線撮像装置が取得したロー（Ｒａｗ）画像データまたは前記Ｘ線撮像装置において補正処理された画像データのいずれかであることを特徴とする画像処理装置。
8. 請求項１に記載の画像処理装置であって、
   前記Ｘ線撮像装置がマンモグラフィ装置であることを特徴とする画像処理装置。
9. Ｘ線を照射するＸ線照射部、及び前記Ｘ線照射部から照射され被検体と透過したＸ線を検出するＸ線検出部を有するＸ線撮像部と、
   前記Ｘ線検出部が検出したＸ線データを用いてＸ線画像を作成する画像処理部と、
   Ｘ線の線量が異なる複数の撮像モードのいずれかを設定するモード設定部と、
   前記モード設定部が設定した撮像モードに従って、前記Ｘ線照射部、前記Ｘ線検出部及び前記画像処理部を制御する自動制御部と、
   を備えたＸ線撮像装置であって、
   前記画像処理部は、請求項１ないし５のいずれか一項に記載の画像処理装置であって、前記自動制御部は、前記撮像モードが低線量撮像モードに設定されたときに、前記補正処理部及び前記高線量画像予測部による処理を行うよう前記画像処理部を制御することを特徴とするＸ線撮像装置。
10. 請求項９に記載のＸ線撮像装置であって、
    前記自動制御部は、前記撮像モードが低線量撮像モードに設定されたときに、前記Ｘ線検出部が、設定された低線量の画像データを収集するまでに、複数の異なるタイミングで中間データを出力する制御を行い、
    前記画像処理部は、前記低線量の画像データ及び前記中間データの少なくとも２以上のデータを用いて、高線量画像を予測する処理を行うことを特徴とするＸ線撮像装置。
11. 請求項９に記載のＸ線撮像装置であって、
    前記画像処理部は、前記高線量画像予測部が作成した高線量予測画像を、表示用画像に変換する表示変換部をさらに備えることを特徴とするＸ線撮像装置。
12. Ｘ線撮像装置において標準として設定された線量よりも低線量で撮像されたＸ線画像から、標準線量または前記標準線量よりも線量が高い撮像で得られるＸ線画像を予測する画像処理方法であって、
    処理対象のＸ線画像に対し、低線量画像と高線量画像との線量の相違に起因するノイズレベルの差を補正する処理を行った後、
    低線量画像と高線量画像とを学習データとして用いて学習した学習済モデルを用いて、前記補正する処理を行った後のＸ線画像を入力し、画像を撮像した際の線量よりも高線量で撮像可能な画像を出力することを特徴とする画像処理方法。
13. 請求項１２に記載の画像処理方法であって、
    前記補正する処理は、前記処理対象のＸ線画像を入力画像として、当該入力画像に対しぼかし処理を施し、ぼかし画像を作成する処理と、前記ぼかし画像と前記入力画像とを用いて、前記入力画像のエッジとノイズを抽出した抽出画像を作成する処理とを含むことを特徴とする画像処理方法。

Images