JP7451748B2 - 画像処理装置、画像処理装置の作動方法、画像処理装置の作動プログラム - Google Patents

Description

本開示の技術は、画像処理装置、画像処理装置の作動方法、画像処理装置の作動プログラムに関する。

異なる複数の照射角度から被写体に放射線を照射するトモシンセシス撮影等、被写体の任意の断層面における複数の断層画像を得る技術が知られている。断層画像によれば、断層面が並ぶ深さ方向に延在する被写体の構造を断層画像毎に分離して描出することができる。このため、単純２次元画像では描出が困難であった病変等の関心構造を描出することが可能となる。単純２次元画像とは、放射線検出器に対して放射線源を正対させた１つの照射角度から被写体に対して放射線を照射して得られる投影像である。

また、被写体として***を撮影するマンモグラフィ撮影装置において、トモシンセシス撮影により取得された複数の断層画像を、加算法、平均法、最大値投影法または最小値投影法等によって、***の深さ方向に合成することにより、単純２次元画像に相当する疑似的な２次元画像である合成２次元画像を生成する技術が知られている（特開２０１４－１２８７１６号公報参照）。

一方、画像を高解像度化することが様々な分野で行われている。例えば＜Ｄａｎｉｅｌ Ｇｌａｓｎｅｒ， ｅｔ ａｌ．“Ｓｕｐｅｒ－Ｒｅｓｏｌｕｔｉｏｎ ｆｒｏｍ ａ Ｓｉｎｇｌｅ Ｉｍａｇｅ”、ＩＣＣＶ， ２９ Ｓｅｐｔ．－２ Ｏｃｔ． ２００９＞には、画像を高解像度化する手法として、対象となる１枚の画像を用いて高解像度化する超解像の手法が提案されている。

上述した合成２次元画像を高解像度化することにより、例えば、***内の腫瘤、スピキュラ、および石灰化等の関心構造の細部の形態を精細に表現することが検討されている。しかしながら、合成２次元画像を高解像度化する方法には、次のような問題があった。すなわち、関心構造が被写体の深さ方向に延在する場合、合成２次元画像においては、異なる断層画像に分離した状態で描出されている関心構造の細部の形態が、合成によって重なり合う。そのため、各断層画像では描出されている細部の形態の情報が、合成２次元画像においては一部失われてしまう。このような合成２次元画像を高解像度化しても、断層画像に写る関心構造の細部の形態を精細に表現することができない場合があった。

このため、合成２次元画像ではなく、断層画像を高解像度化し、高解像度化した断層画像を用いて高解像度の合成２次元画像を生成することが考えられる。断層画像を高解像度化することで、断層画像に描出される関心構造の細部の形態を精細に表現することができる。

しかしながら、撮影毎に得られた複数の断層画像の全部を高解像度化すると、高解像度化のための処理時間などのデータ処理の負荷が増大する。また、複数の断層画像の全部を高解像度化すると、データ量が大きくなるため、データ処理におけるメモリの容量の増大および転送時間の長時間化などのデータ処理の負荷も増大する。

本開示の技術に係る１つの実施形態は、複数の断層画像の全てを高解像度化する場合と比べてデータ処理の負荷を抑制しつつ、精細な合成２次元画像を得ることが可能な画像処理装置、画像処理装置の作動方法、画像処理装置の作動プログラムを提供する。

本開示の技術に係る画像処理装置は、プロセッサと、プロセッサに内蔵または接続されたメモリとを備え、プロセッサは、被写体の複数の断層面をそれぞれ表し、かつ、第１の解像度を有する複数の断層画像の一部を、第１の解像度より高い第２の解像度にする対象領域として選択する領域選択処理と、対象領域を第２の解像度に高解像度化することにより高解像度部分画像を生成する高解像度化処理と、高解像度部分画像を用いることにより、第２の解像度を有する高解像度合成２次元画像を生成する合成２次元画像生成処理と、を実行する。

プロセッサは、領域選択処理において、断層画像内の関心構造を含む領域を対象領域として選択することが好ましい。

被写体は***であり、関心構造は、腫瘤、石灰化、スピキュラ、および線構造のうち少なくとも１つを含むことが好ましい。

断層画像内の１つの画素を注目画素として、注目画素を中心とする予め設定された大きさの領域を注目領域とした場合において、プロセッサは、領域選択処理において、複数の断層画像のそれぞれにおいて、注目領域の特徴量を表す代表値を導出し、断層画像間で、座標位置が対応する注目領域毎に代表値を比較し、代表値の比較結果に基づいて、１つ以上の断層画像を選択し、選択した断層画像内において、注目画素を中心に対象領域を選択することが好ましい。

プロセッサは、領域選択処理において、代表値の順位に基づいて予め定められた数の断層画像を選択し、選択した断層画像毎に対象領域を選択することが好ましい。

プロセッサは、領域選択処理において、断層画像内において、少なくとも被写体が存在する領域に対して注目領域を設定することが好ましい。

プロセッサは、領域選択処理において、画素毎に注目領域を設定することが好ましい。

ｎを１以上の自然数、ｍを３以上の自然数、かつ、ｍ＞ｎとした場合において、プロセッサは、領域選択処理において、断層画像に含まれる画素のうち、注目画素の間隔としてｎ個以上の画素の間隔を空けて、ｍ×ｍ個の大きさの注目領域を設定することが好ましい。

プロセッサは、第１の解像度の複数の断層画像を、断層面が並ぶ深さ方向に合成することにより、第１の解像度を有する低解像度合成２次元画像を生成し、合成２次元画像生成処理において、低解像度合成２次元画像の画素数を第２の解像度に応じた画素数に増加させた拡大画像と、高解像度部分画像とを合成することにより、高解像度合成２次元画像を生成することが好ましい。

プロセッサは、合成２次元画像生成処理において、低解像度合成２次元画像を第２の解像度に高解像度化することにより、拡大画像として、仮の高解像度合成２次元画像を生成し、仮の高解像度合成２次元画像と、高解像度部分画像とを合成することにより、高解像度合成２次元画像を生成することが好ましい。

プロセッサは、領域選択処理において、断層画像内の関心構造を含む領域を対象領域として選択する場合は、断層画像、低解像度合成２次元画像、および仮の高解像度合成２次元画像のうちのいずれかを用いて関心構造を検出することが好ましい。

プロセッサは、低解像度合成２次元画像を用いて関心構造を検出することが好ましい。

拡大画像の画素値を仮の画素値とした場合において、プロセッサは、拡大画像と高解像度部分画像の各画素を合成する場合は、仮の画素値を高解像度部分画像の画素値に置換する方法、仮の画素値と高解像度部分画像の画素値との平均値を算出し、平均値を仮の画素値と置換する方法、および仮の画素値に高解像度部分画像の画素値を加算する方法のうちのいずれかの方法で合成することが好ましい。

プロセッサは、高解像度化処理において、対象領域毎に高解像度部分画像を生成し、合成２次元画像生成処理において、複数の高解像度部分画像のみを用いて、高解像度合成２次元画像を生成することが好ましい。

プロセッサは、合成２次元画像生成処理において、断層面の深さが異なる複数の高解像度部分画像が、断層面の深さ方向で重なる重複部分については、断層面内の座標位置が対応する複数の画素を合成することにより、高解像度合成２次元画像の画素値を導出し、重複部分以外については、複数の高解像度部分画像のいずれかの画素値を、高解像度合成２次元画像の画素値とすることが好ましい。

プロセッサは、重複部分において、対応する複数の画素については、画素値の単純加算、加算平均、および重み付き加算平均のいずれかの方法で合成することが好ましい。

高解像度部分画像が、注目領域に基づいて選択された対象領域について生成されている場合は、プロセッサは、合成２次元画像生成処理において、高解像度部分画像内の各画素について、注目領域内の注目画素に対応する中心の画素から周辺の画素に向かって小さくなる第１の重み、および注目領域毎の特徴量を表す代表値に応じた第２の重みの少なくとも１つの重みを設定し、第１の重みおよび第２の重みの少なくとも１つに基づいて、重み付き加算平均をすることが好ましい。

プロセッサは、高解像度化処理において、断層画像を利用する超解像の手法を適用して高解像度部分画像を生成することが好ましい。

プロセッサは、高解像度化処理において、複数の断層画像の再構成に利用した複数の投影画像を利用する手法を適用して高解像度部分画像を生成することが好ましい。

本開示の技術に係る画像処理装置の作動方法は、被写体の複数の断層面をそれぞれ表し、かつ、第１の解像度を有する複数の断層画像の一部を、第１の解像度より高い第２の解像度にする対象領域として選択する領域選択処理と、対象領域を第２の解像度に高解像度化することにより高解像度部分画像を生成する高解像度化処理と、高解像度部分画像を用いることにより、第２の解像度を有する高解像度合成２次元画像を生成する合成２次元画像生成処理と、を実行する。

本開示の技術に係る画像処理装置の作動プログラムは、被写体の複数の断層面をそれぞれ表し、かつ、第１の解像度を有する複数の断層画像の一部を、第１の解像度より高い第２の解像度にする対象領域として選択する領域選択処理と、対象領域を第２の解像度に高解像度化することにより高解像度部分画像を生成する高解像度化処理と、高解像度部分画像を用いることにより、第２の解像度を有する高解像度合成２次元画像を生成する合成２次元画像生成処理と、をコンピュータに実行させる。

本開示の技術によれば、複数の断層画像の全てを高解像度化する場合と比べてデータ処理の負荷を抑制しつつ、精細な合成２次元画像を得ることができる。

画像処理装置を含む放射線画像撮影システムの概略構成図である。 マンモグラフィ撮影装置を図１の矢印Ａ方向から見た側面図である。 画像処理装置のハードウェア構成図である。 画像処理装置の機能的な構成を示すブロック図である。 投影画像の取得方法の説明図である。 断層画像の生成方法の説明図である。 低解像度合成２次元画像の生成方法の説明図である。 低解像度合成２次元画像における画素毎の断層面情報の説明図である。 第１実施形態の対象領域の選択方法の説明図である。 ***における関心構造の説明図である。 高解像度化処理の説明図である。 高解像度化と単純拡大との違いを説明するための図である。 逆投影法による高解像度化の手法を説明するための図である。 第１実施形態の高解像度合成２次元画像の生成方法の説明図である。 高解像度部分画像と拡大画像との合成方法の説明図である。 図１５の合成方法の詳細を示す図である。 高解像度合成２次元画像の表示画面を示す図である。 第１実施形態の処理のメインフローチャートである。 第１実施形態の領域選択処理のサブフローチャートである。 第１実施形態の合成２次元画像生成処理のサブフローチャートである。 第２実施形態の合成２次元画像生成処理のサブフローチャートである。 第２実施形態の対象領域の選択方法の説明図である。 第３実施形態の注目領域の説明図である。 第３実施形態の対象領域が選択される断層画像の選択方法の説明図である。 第３実施形態の対象領域の選択方法の説明図である。 第３実施形態の高解像度化処理の説明図である。 第３実施形態の高解像度合成２次元画像の生成方法の説明図である。 第３実施形態の領域選択処理のサブフローチャートである。 第３実施形態の高解像度合成２次元画像の生成方法の変形例の説明図である。 図２９の処理のサブフローチャートである。 第１の重みの説明図である。 複数の高解像度部分画像の重み付き加算の説明図である。 第２の重みの説明図である。 注目画素の間隔を空けて注目領域を設定する場合の一例を示す図である。 図３４とは別の例を示す図である。 図３４の例で重み付き加算を行う場合の説明図である。 被写体が存在する領域とそれ以外の領域で注目領域の設定方法を変える例である。

［第１実施形態］
以下、図面を参照して本開示の実施形態について説明する。図１は本開示の実施形態による画像処理装置４を適用した放射線画像撮影システム１００の概略構成図、図２は放射線画像撮影システム１００におけるマンモグラフィ撮影装置１を図１の矢印Ａ方向から見た図である。図１に示すように、本実施形態による放射線画像撮影システム１００は、本開示の技術に係る「被写体」の一例である***Ｍのトモシンセシス撮影を行って***Ｍの断層画像を生成するために、異なる複数の照射角度から***Ｍを撮影して、複数の放射線画像、すなわち複数の投影画像を取得するためのものである。本実施形態による放射線画像撮影システム１００は、マンモグラフィ撮影装置１、コンソール２、画像保存システム３、および画像処理装置４を備える。

マンモグラフィ撮影装置１は、不図示の基台に対して回転軸１１により連結されたアーム部１２を備えている。アーム部１２の一方の端部には撮影台１３が、その他方の端部には撮影台１３と対向するように放射線照射部１４が取り付けられている。アーム部１２は、撮影台１３を固定して放射線照射部１４が取り付けられた端部のみを回転することが可能に構成されている。

撮影台１３の内部には、フラットパネルディテクタ等の放射線検出器１５が備えられている。放射線検出器１５は放射線の検出面１５Ａを有する。また、撮影台１３の内部には、放射線検出器１５から読み出された電荷信号を電圧信号に変換するチャージアンプ、チャージアンプから出力された電圧信号をサンプリングする相関２重サンプリング回路、および電圧信号をデジタル信号に変換するＡＤ(Ａｎａｌｏｇ Ｄｉｇｉｔａｌ)変換部等が設けられた回路基板等も設置されている。

放射線照射部１４の内部には、放射線源１６が収納されている。放射線源１６は、例えばγ線、Ｘ線等の放射線を出射する。放射線源１６から放射線を照射するタイミングおよび放射線源１６における放射線発生条件、すなわちターゲットおよびフィルタの材質の選択、管電圧並びに照射時間等は、コンソール２により制御される。

また、アーム部１２には、撮影台１３の上方に配置されて***Ｍを押さえつけて圧迫する圧迫板１７、圧迫板１７を支持する支持部１８、および支持部１８を図１および図２の上下方向に移動させる移動機構１９が設けられている。なお、圧迫板１７と撮影台１３との間隔、すなわち圧迫厚はコンソール２に入力される。

コンソール２は、無線通信ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）等のネットワークを介して、不図示のＲＩＳ（Ｒａｄｉｏｌｏｇｙ Ｉｎｆｏｒｍａｔｉｏｎ Ｓｙｓｔｅｍ）等から取得した撮影オーダおよび各種情報と、技師等により直接行われた指示等とを用いて、マンモグラフィ撮影装置１の制御を行う機能を有している。具体的には、コンソール２は、マンモグラフィ撮影装置１に***Ｍのトモシンセシス撮影を行わせることにより、後述するように複数の投影画像を取得し、複数の投影画像を再構成して複数の断層画像を生成する。一例として、本実施形態では、サーバコンピュータをコンソール２として用いている。

画像保存システム３は、マンモグラフィ撮影装置１により撮影された放射線画像、投影画像、および断層画像等の画像データを保存するシステムである。画像保存システム３は、保存している画像から、コンソール２および画像処理装置４等からの要求に応じた画像を取り出して、要求元の装置に送信する。画像保存システム３の具体例としては、ＰＡＣＳ（Ｐｉｃｔｕｒｅ Ａｒｃｈｉｖｉｎｇ ａｎｄ Ｃｏｍｍｕｎｉｃａｔｉｏｎ Ｓｙｓｔｅｍｓ）が挙げられる。

次に、第１の実施形態に係る画像処理装置４について説明する。まず、図３を参照して、第１の実施形態に係る画像処理装置４のハードウェア構成を説明する。図３に示すように、画像処理装置４は、ワークステーション、サーバコンピュータおよびパーソナルコンピュータ等のコンピュータであり、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）２１、不揮発性のストレージ２３、および一時記憶領域としてのメモリ２６を備える。また、画像処理装置４は、液晶ディスプレイ等のディスプレイ２４、キーボードおよびマウス等の入力デバイス２５、不図示のネットワークに接続されるネットワークＩ／Ｆ（Ｉｎｔｅｒｆａｃｅ）２７を備える。ＣＰＵ２１、ストレージ２３、ディスプレイ２４、入力デバイス２５、メモリ２６およびネットワークＩ／Ｆ２７は、バス２８に接続される。なお、ＣＰＵ２１は、本開示の技術に係る「プロセッサ」の一例である。また、メモリ２６は、本開示の技術に係る「メモリ」の一例である。なお、メモリ２６は、ＣＰＵ２１に内蔵されていてもよい。

ストレージ２３は、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）、およびフラッシュメモリ等によって実現される。記憶媒体としてのストレージ２３には、画像処理装置４にインストールされた画像処理プログラム２２が記憶される。ＣＰＵ２１は、ストレージ２３から画像処理プログラム２２を読み出してからメモリ２６に展開し、展開した画像処理プログラム２２を実行する。画像処理プログラム２２は、本開示の技術に係る「画像処理装置の作動プログラム」の一例である。

なお、画像処理プログラム２２は、ネットワークに接続されたサーバコンピュータの記憶装置、あるいはネットワークストレージに、外部からアクセス可能な状態で記憶され、要求に応じて画像処理装置４を構成するコンピュータにダウンロードされ、インストールされる。または、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ）、ＣＤ－ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｃ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）等の記録媒体に記録されて配布され、その記録媒体から画像処理装置４を構成するコンピュータにインストールされる。

次いで、第１の実施形態による画像処理装置４の機能的な構成を説明する。図４は、第１の実施形態による画像処理装置４の機能的な構成を示す図である。図４に示すように、画像処理装置４は、画像取得部３０、第１合成部３１、領域選択部３２、高解像度化部３３、第２合成部３４、および表示制御部３５を備える。ＣＰＵ２１が画像処理プログラム２２を実行することにより、画像処理装置４は、画像取得部３０、第１合成部３１、領域選択部３２、高解像度化部３３、第２合成部３４、および表示制御部３５として機能する。

画像取得部３０は、コンソール２または画像保存システム３からネットワークＩ／Ｆ２７を介して断層画像を取得する。また、画像取得部３０は、コンソール２または画像保存システム３からネットワークＩ／Ｆ２７を介して投影画像を取得する場合もある。

ここで、図５を参照しながら、断層画像を生成するためのトモシンセシス撮影について説明する。コンソール２は、マンモグラフィ撮影装置１を制御することにより、マンモグラフィ撮影装置１にトモシンセシス撮影を行わせる。トモシンセシス撮影において、マンモグラフィ撮影装置１は、アーム部１２（図１参照）を回転軸１１の周りに回転させることにより放射線源１６をＳ１、Ｓ２、・・・、Ｓｎの各線源位置に移動させる。こうして放射線源１６を各線源位置に移動させることで、***Ｍに対する放射線の照射角度が変化する。そして、放射線源１６の移動軌跡上の複数の線源位置において、トモシンセシス撮影用の予め定められた撮影条件により被写体である***Ｍに放射線を照射する。***Ｍを透過した放射線は放射線検出器１５により検出され、放射線検出器１５は、検出した放射線に基づく投影画像Ｇｉ（ｉ＝１～ｎ、ｎは線源位置の数であり、例えばｎ＝１５）をコンソール２に出力する。こうして、コンソール２は、複数の線源位置Ｓ１～Ｓｎに対応する複数の投影画像Ｇ１、Ｇ２、・・・、Ｇｎを取得する。なお、各線源位置Ｓ１～Ｓｎにおいては、一例として、同一の線量の放射線が***Ｍに照射される。

また、図５において、線源位置Ｓｃは、放射線源１６から出射された放射線の光軸Ｘ０が放射線検出器１５の検出面１５Ａと直交する線源位置である。つまり、線源位置Ｓｃは、放射線源１６を放射線検出器１５に正対させて放射線を照射する単純撮影の位置である。

コンソール２は、トモシンセシス撮影によって取得した複数の投影画像Ｇｉを再構成することにより、***Ｍの所望とする断層面を強調した断層画像を生成する。具体的には、コンソール２は、単純逆投影法あるいはフィルタ逆投影法等の周知の逆投影法等を用いて、複数の投影画像Ｇｉから、図６に示すように***Ｍの複数の断層面のそれぞれにおける複数の断層画像Ｄｊ（ｊ＝１～ｍ、ｍは断層画像の枚数で例えば５０）を再構成する。再構成の際、***Ｍを含む３次元空間における３次元の座標位置を有する画素が設定され、複数の投影画像Ｇｉの対応する画素の画素値が逆投影されて、設定された３次元の画素に対して画素値が算出される。複数の断層画像Ｄｊは、設定された３次元空間内における３次元ボリュームデータである断層画像群ＳＤを構成する。なお、一例として、断層画像Ｄｊの画素値は、輝度が高い（すなわち白い）ほど大きく、輝度が低い（すなわち黒い）ほど小さい値を有する。

断層画像群ＳＤにおいて、複数の断層画像Ｄｊは、***Ｍにおける断層面の深さ方向に沿って並んでいる。複数の断層画像Ｄｊにおいて、各断層面内における各画素の座標位置は対応している。ここで、複数の断層画像Ｄｊにおいて、断層面内における座標位置が一致している画素同士を対応する画素と呼ぶ。また、断層画像Ｄｊは、第１の解像度を有している。第１の解像度は、放射線検出器１５が出力する投影画像Ｇｉの解像度、および逆投影法等によって投影画像Ｇｉから断層画像群ＳＤを再構成する際に設定される３次元空間における断層面内の座標位置の数に応じて決定される。

コンソール２は、生成された断層画像群ＳＤを画像処理装置４に直接転送するか、画像保存システム３に転送する。画像処理装置４の画像取得部３０は、コンソール２から直接または間接的に転送された断層画像群ＳＤを取得する取得処理を実行する。

第１合成部３１は、断層画像群ＳＤの複数の断層画像Ｄｊを合成して合成２次元画像ＣＧ１を生成する生成処理を実行する。図７は合成２次元画像ＣＧ１の生成方法を説明するための図である。図７に示すように、第１合成部３１は、複数の断層画像Ｄｊの対応する画素を、断層画像Ｄｊの断層面が並ぶ深さ方向（すなわち***Ｍの深さ方向）に合成することにより、合成２次元画像ＣＧ１を生成する。合成の手法は、複数の断層画像Ｄｊにおける対応する画素の画素値に対する加算法、平均法、最大値投影法、または最小値投影法等の周知の合成２次元画像生成技術を用いることができる。ここで、断層画像Ｄｊは第１の解像度を有するため、合成２次元画像ＣＧ１も第１の解像度を有する。第１の解像度を有する合成２次元画像ＣＧ１は、本開示の技術において、「低解像度合成２次元画像」の一例である。後述するように、画像処理装置４は、合成２次元画像ＣＧ１に加えて、合成２次元画像ＣＧ１よりも解像度の高い高解像度合成２次元画像ＣＧ２を生成する。そのため、以下において、第１合成部３１が生成する合成２次元画像ＣＧ１を、低解像度合成２次元画像ＣＧ１という。

低解像度合成２次元画像ＣＧ１の各画素の合成において、合成に使用する断層画像Ｄｊについては、例えば、すべての断層面の断層画像Ｄｊの対応する画素を使用し、これらの画素の平均値等を算出してもよい。すべての断層画像Ｄｊではなく、一部の断層画像Ｄｊの対応する画素を使用し、一部の画素の画素値の平均値等を使用することも可能である。例えば、すべての断層画像Ｄｊの中から選択された３つの断層面の３つの断層画像Ｄ１、Ｄ２、およびＤ３の画素のみを使用し、これらの平均値を画素値としてもよい。また、低解像度合成２次元画像ＣＧ１の画素毎に、画素値の算出に使用する断層面を変化させてもよい。例えば、ある画素については、３つの断層面の３つの断層画像Ｄ１、Ｄ２、およびＤ３の画素のみを使用し、これらの平均値等を画素値とし、別の画素については、２つの断層面の２つの断層画像Ｄ２、およびＤ３の画素のみを使用し、これらの平均値等を画素値とする。

図８に示すように、第１の実施形態においては、断層画像群ＳＤ内において、関心構造４０が存在する部分については、第１合成部３１は、関心構造４０が存在する断層画像Ｄｊを選択する。そして、第１合成部３１は、選択された断層画像Ｄｊの画素のみを用いて合成する。例えば、図８においては、複数の断層画像Ｄ１～Ｄ６のうち、３つの断層面の断層画像Ｄ２～Ｄ４においてのみ、関心構造４０Ａ～４０Ｃが存在する。この場合は、第１合成部３１は、３つの断層画像Ｄ２～Ｄ４の中から、関心構造４０Ａ～４０Ｃが存在する画素を抽出し、抽出した画素のみを用いて合成を行う。一方、第１合成部３１は、関心構造４０が存在しない***Ｍの部分および***Ｍ以外の素抜け部分については、例えばすべての断層画像Ｄｊの画素を用いて合成する。

また、第１合成部３１は、低解像度合成２次元画像ＣＧ１の各画素について、どの断層面の断層画像Ｄｊを使用したかという画素毎の断層面情報ＤＰＩを、生成した低解像度合成２次元画像ＣＧ１と対応付けて記録する。画素毎の断層面情報ＤＰＩは、例えば、低解像度合成２次元画像ＣＧ１の付帯情報として記録される。

図９に示すように、領域選択部３２は、断層画像群ＳＤに含まれる複数の断層画像Ｄｊの一部を、対象領域ＯＲとして選択する領域選択処理を実行する。領域選択部３２は、断層画像群ＳＤの中から１つ以上の対象領域ＯＲを選択する。対象領域ＯＲは、第１の解像度よりも高い第２の解像度にする領域であり、各断層画像Ｄｊ内において、１つ以上の画素を含む領域である。領域選択部３２は、断層画像Ｄｊ内の少なくとも一部を対象領域ＯＲとして選択する。対象領域ＯＲは、１つの断層画像Ｄｊ内において２つ以上選択されてもよいし、また、深さが異なる２つ以上の断層画像Ｄｊにおいてそれぞれ選択されてもよい。また、対象領域ＯＲは、複数の断層画像Ｄｊの一部であればよいので、複数の断層画像Ｄｊに含まれる一部の断層画像Ｄｊ（例えば、１０枚の断層画像Ｄｊの中の２枚）については、断層画像Ｄｊの全域に対象領域ＯＲが設定されてもよい。

第１実施形態においては、領域選択部３２は、断層画像Ｄｊ内の関心構造４０を含む領域を対象領域ＯＲとして選択する。領域選択部３２は、低解像度合成２次元画像ＣＧ１を用いて***Ｍの関心構造４０を検出する。関心構造４０は、具体的には図１０に示すように、***Ｍに含まれる腫瘤４１、スピキュラ４２、石灰化４３、および線構造４４などである。線構造４４は、例えば小葉、乳管といった乳腺である。領域選択部３２は、腫瘤４１、スピキュラ４２、石灰化４３、および線構造４４のすべてを検出してもよいし、これらのうちの少なくとも１つを検出してもよい。どの関心構造４０を検出対象とするかは、適宜設定される。

領域選択部３２は、公知のコンピュータ支援画像診断（すなわちＣＡＤ；Ｃｏｍｐｕｔｅｒ－Ａｉｄｅｄ Ｄｉａｇｎｏｓｉｓ）のアルゴリズムを用いて、低解像度合成２次元画像ＣＧ１から関心構造４０を検出する。ＣＡＤによるアルゴリズムにおいては、低解像度合成２次元画像ＣＧ１における画素が関心構造であることを表す確率（尤度）が導出され、その確率が予め定められたしきい値以上となる画素が関心構造として検出される。なお、ＣＡＤによるアルゴリズムは関心構造４０の種類毎に用意される。本実施形態においては、腫瘤４１の検出用のＣＡＤアルゴリズム、スピキュラ４２の検出用のＣＡＤアルゴリズム、石灰化４３の検出用のＣＡＤアルゴリズム、および線構造４４の検出用のＣＡＤアルゴリズムが用意される。

なお、関心構造４０の検出は、ＣＡＤを用いるものに限定されない。関心構造４０を検出するためのフィルタによるフィルタリング処理、関心構造を検出するようにディープラーニング等により機械学習がなされた検出モデルなどによって、低解像度合成２次元画像ＣＧ１から関心構造４０を検出するものであってもよい。

図９に示すように、領域選択部３２は、低解像度合成２次元画像ＣＧ１において関心構造４０を検出した場合は、低解像度合成２次元画像ＣＧ１の付帯情報から、画素毎の断層面情報ＤＰＩを読み出す。上述のとおり、画素毎の断層面情報ＤＰＩは、低解像度合成２次元画像ＣＧ１の各画素について、どの断層面の断層画像Ｄｊを使用したかという情報である。領域選択部３２は、画素毎の断層面情報ＤＰＩに基づいて、断層画像群ＳＤの中から、低解像度合成２次元画像ＣＧ１から検出した関心構造４０に対応する断層面の断層画像Ｄｊを特定する。そして、領域選択部３２は、特定した断層画像Ｄｊのそれぞれにおける関心構造４０を含む領域を対象領域ＯＲとして選択する。

図９の例では、関心構造４０に対応する断層面の断層画像Ｄｊは、断層画像Ｄ２～Ｄ４である。領域選択部３２は、各断層画像Ｄ２～Ｄ４のそれぞれの関心構造４０Ａ～４０Ｃを含む領域を、対象領域ＯＲとして選択する。

図１１に概念的に示すように、高解像度化部３３は、領域選択部３２が選択した対象領域ＯＲを、第１の解像度よりも高い第２の解像度に高解像度化することにより、対象領域ＯＲ毎に高解像度部分画像ＨＲＰを生成する高解像度化処理を実行する。第２の解像度は、第１の解像度よりも高い解像度であり、画素数にして例えば４倍である。高解像度化部３３は、対象領域ＯＲ以外の断層画像Ｄｊの領域については、高解像度化処理を行わない。こうして高解像度化部３３は高解像度化処理を対象領域ＯＲのみに施すことにより、対象領域ＯＲの高解像度部分画像ＨＲＰを生成する。高解像度部分画像ＨＲＰは、元の対象領域ＯＲの画像よりも画素数が多く、かつ、関心構造４０（図１１においては一例として関心構造４０Ａ）の細部の形態が精細に表現された画像である。

図１１においては、断層画像Ｄ２の対象領域ＯＲに対して高解像度化処理が施された場合を例示している。図示は省略したが、図９に示したように、断層画像Ｄ３およびＤ４においても対象領域ＯＲが選択されている場合は、断層画像Ｄ３およびＤ４の対象領域ＯＲに対しても高解像度化処理が施される。

高解像度化処理としては、本例では、１つの対象領域ＯＲを高解像度化する場合に、断層画像Ｄｊを利用する超解像の手法が適用される。超解像の手法としては、例えば、特開２０２０－０２５７８６号公報に記載された手法を挙げることができる。特開２０２０－０２５７８６号公報に記載された超解像の手法は、入力画像を超解像画像とするように機械学習された学習済みモデルを用いる処理である。学習済みモデルは、入力画像の画素の間に新たに画素を追加し、追加した新たな画素の画素値を補間することで、超解像画像を出力する。このような学習済みモデルは、例えば畳み込みニューラルネットワーク、リカレントニューラルネットワーク、およびサポートベクタマシン等のいずれかを用いて構築される。

なお、超解像の手法は、上記の特開２０２０－０２５７８６号公報に記載された手法に限定されるものではない。例えば、最近傍補間、バイリニア補間、およびバイキューブリック補間のような任意の高次の補間法を用いることができる。また、＜Ｄａｎｉｅｌ Ｇｌａｓｎｅｒ， ｅｔ ａｌ．“Ｓｕｐｅｒ－Ｒｅｓｏｌｕｔｉｏｎ ｆｒｏｍ ａ Ｓｉｎｇｌｅ Ｉｍａｇｅ”、ＩＣＣＶ， ２９ Ｓｅｐｔ．－２ Ｏｃｔ． ２００９＞に記載されているように、繰り返し出現する小領域（パッチと呼ばれる）を画像から抽出し、抽出した小領域の画素値を用いて元の画像を超解像化する手法も用いることができる。

また、断層画像Ｄｊを利用する場合において、対象領域ＯＲが選択された１つの断層画像Ｄｊに加えて、深さ方向において上下に隣り合う断層画像Ｄｊを用いて高解像度部分画像ＨＲＰを生成してもよい。例えば図９の断層画像Ｄ３内に選択された対象領域ＯＲについて、断層画像Ｄ２内に選択された対象領域ＯＲおよび断層画像Ｄ４内に選択された対象領域ＯＲも用いる。この場合、断層画像Ｄ２～Ｄ４における対象領域ＯＲの画像を３次元画像と見なし、断層画像Ｄ３の対象領域ＯＲの補間する画素に最も近い位置にあるｋ個の画素を用いたｋ近傍補間を行う。なお、ｋの値は６あるいは２６等の任意の値を用いることができる。

ここで、図１２を参照して、単純拡大と高解像度化との相違について説明する。図１２においては、４×４画素を８×８画素とする場合を例示している。このように画像を拡大した場合、１つの画素は２×２画素に増える。単純拡大した画像（以下、単純拡大画像と略す）ＭＧＰは、増えた画素の画素値に元の画素の画素値を単に宛がった画像である。対して高解像度部分画像ＨＲＰは、増えた画素の画素値に元の画素の画素値を単に宛がうことはせず、増えた画素の画素値を周囲の画素の画素値で補間することで、構造の輪郭がより精細に表現された画像である。例えば対象領域ＯＲの１つの画素６１は、単純拡大画像ＭＧＰおよび高解像度部分画像ＨＲＰにおいては２×２画素の領域６２が対応するが、単純拡大画像ＭＧＰの領域６２の画素はすべて、画素６１と同じ画素値である。対して高解像度部分画像ＨＲＰの領域６２の画素は、画素６１と同じ画素値のものもあれば、異なる画素値のものもある。これらの画素値は、隣接する画素の濃度に応じて変化する。

また、高解像度化の手法には、断層画像Ｄｊに基づいて高解像度化する超解像の手法の他にも、図１３に示すような、断層画像群ＳＤを再構成する際に使用した投影画像Ｇｉを利用する方法がある。対象領域ＯＲを高解像度化する手法として、超解像の手法の代わりに投影画像Ｇｉを利用する方法を適用してもよい。

投影画像Ｇｉを利用する方法は、単純逆投影法等の周知の逆投影法等を用いて、投影画像Ｇｉから、断層画像Ｄｊ内において選択された対象領域ＯＲの画像を、高解像度部分画像ＨＲＰとして再構成する手法である。図１３に示す例では、４つの投影画像Ｇ１～Ｇ４を用いた逆投影について説明する。***Ｍにおけるある断層面Ｔｊ上の座標位置Ｐ１００の画素値は、投影画像Ｇ１～Ｇ４における対応する座標位置の画素値を逆投影することにより算出される。こうした逆投影が、断層面Ｔｊ内の各座標位置について行われることで、断層面Ｔｊを表す断層画像Ｄｊが再構成される。なお、断層面Ｔｊ（ｊ＝１～ｍ、ｍは再構成の際に設定される断層面の数）は、***Ｍの任意の断層面であり、断層画像Ｄｊの深さ方向の位置に対応する。

高解像度化部３３は、第１の解像度の断層画像Ｄｊを再構成する際に設定された断層面Ｔｊにおいて、座標位置Ｐ１００、Ｐ１０１、Ｐ１０２・・・の間に、さらに座標位置Ｐｓ１、Ｐｓ２、・・・を追加し、追加した座標位置Ｐｓ１、Ｐｓ２、・・・に対して、投影画像Ｇ１～Ｇ４における対応する座標位置の画素値を逆投影する。これにより、断層面Ｔｊ内に追加した座標位置Ｐｓ１、Ｐｓ２、・・・についても画素値が算出される。高解像度化部３３は、このように投影画像Ｇｉを利用することにより、対象領域ＯＲに対応する第２の解像度の高解像度部分画像ＨＲＰを生成する。

上述のとおり、高解像度化部３３は、本例においては、高解像度化処理に超解像の手法を適用するが、図１３に示す投影画像Ｇｉを利用する手法を適用してもよい。

図１４に示すように、第２合成部３４は、高解像度部分画像ＨＲＰを用いることにより、第２の解像度を有する高解像度合成２次元画像ＣＧ２を生成する合成２次元画像生成処理を実行する。第１実施形態においては、第２合成部３４は、第１の解像度の低解像度合成２次元画像ＣＧ１の画素数を第２の解像度に応じた画素数に増加させた拡大画像ＣＧＭと、高解像度部分画像ＨＲＰとを合成することにより、高解像度合成２次元画像ＣＧ２を生成する。拡大画像ＣＧＭは、高解像度部分画像ＨＲＰと合成されるため、第２の解像度を有する。

本例では、拡大画像ＣＧＭは、第１の解像度を有する低解像度合成２次元画像ＣＧ１を用いて生成される。すなわち、第２合成部３４は、合成２次元画像生成処理において、低解像度合成２次元画像ＣＧ１を、超解像の手法により第２の解像度に高解像度化することにより、拡大画像ＣＧＭとして、仮の高解像度合成２次元画像を生成する。そして、第２合成部３４は、仮の高解像度合成２次元画像である拡大画像ＣＧＭと、高解像度部分画像ＨＲＰとを合成することにより、第２の解像度を有する高解像度合成２次元画像ＣＧ２を生成する。

図１５および図１６に示すように、第２合成部３４は、断層面Ｔｊの深さが異なる複数の高解像度部分画像ＨＲＰが、断層面Ｔｊの深さ方向で重なる重複部分については、断層面Ｔｊ内の座標位置が対応する複数の画素を合成することにより、高解像度合成２次元画像ＣＧ２の画素値ＰＶＣＧ２（図１６参照）を導出する。図１６においては、断層面Ｔ１、Ｔ２、Ｔ３、およびＴ４を例示している。図１６は、断層面Ｔｊの深さが異なり、かつ、座標位置が対応する複数の画素を合成する方法を概念的に示した図である。また、図１６において、各画素値ＰＶａ、ＰＶｂ、ＰＶｃの大きさは、厚みで示されている。厚みが厚いほど画素値は大きく、加算されると画素値が大きくなるため、厚みも厚くなる。

図１６において、座標位置Ｐ４およびＰ５を重複部分とすると、第２合成部３４は、座標位置Ｐ４およびＰ５において、各画素の画素値ＰＶａ、ＰＶｂ、ＰＶｃを加算平均することにより、画素値ＰＶＨを導出する。なお、各画素の合成の方法としては、加算平均に代えて、各画素の画素値ＰＶａ、ＰＶｂ、ＰＶｃを飽和しない範囲で単純加算してもよい。また、各高解像度部分画像ＨＲＰのそれぞれの画素に対して重みを付けて、重み付きの画素値を加算平均する重み付き加算平均でもよい。

図１５および図１６に示すように、拡大画像ＣＧＭにおいて、対象領域ＯＲに対応する拡大対象領域ＯＲＭの画素値を仮の画素値ＰＶｐとした場合において、第２合成部３４は、拡大画像ＣＧＭの仮の画素値ＰＶｐを、高解像度部分画像ＨＲＰから導出した画素値ＰＶＨに置換することにより、高解像度合成２次元画像ＣＧ２の画素値ＰＶＣＧ２とする。

なお、拡大画像ＣＧＭと高解像度部分画像ＨＲＰの各画素を合成する方法、すなわち、画素値ＰＶＣＧ２の導出方法としては、図１５および図１６に示した置換する方法以外の方法を用いてもよい。置換する方法以外の方法としては、仮の画素値ＰＶｐと高解像度部分画像ＨＲＰの画素値ＰＶＨとの平均値を算出し、平均値を仮の画素値ＰＶｐと置換する方法、または仮の画素値ＰＶｐに高解像度部分画像ＨＲＰの画素値ＰＶｐを加算する方法などを用いることができる。これらの中では、図１５および図１６に示した置換する方法が、高精細な高解像度部分画像ＨＲＰを最も反映できると考えられるため好ましい。仮の画素値ＰＶｐを有する仮の高解像度合成２次元画像は、高解像度部分画像ＨＲＰと比べて画質が劣る。置換する方法は、高解像度合成２次元画像ＣＧ２において、画質が劣る仮の画素値ＰＶｐを使用しないことになるためである。

また、複数の高解像度部分画像ＨＲＰは、それぞれの大きさ及び形状が異なる場合がある。その場合には、複数の高解像度部分画像ＨＲＰが断層面Ｔｊの深さ方向で重ならない部分が生じる。このような重複部分以外については、複数の高解像度部分画像ＨＲＰのうちのいずれかの画素値を、高解像度合成２次元画像ＣＧ２の画素値ＰＶＣＧ２とする。例えば、図１６において、座標位置Ｐ１では、断層面Ｔ１の高解像度部分画像ＨＲＰしかなく、断層面Ｔｊの深さ方向において、他の高解像度部分画像ＨＲＰとの重複はないものとする。この場合には、断層面Ｔ１の高解像度部分画像ＨＲＰの画素値ＰＶａを、座標位置Ｐ１における、高解像度合成２次元画像ＣＧ２の画素値ＰＶＣＧ２とする。

また、図１４および図１５で示したとおり、本例においては、対象領域ＯＲは、関心構造４０を含む領域であるので、高解像度部分画像ＨＲＰは、関心構造４０を含む領域のみについて生成され、それ以外の領域については生成されない。そのため、図１５に示す拡大領域ＲＭなど、拡大画像ＣＧＭにおいて高解像度部分画像ＨＲＰが合成されない領域については、拡大画像ＣＧＭの仮の画素値ＰＶｐが、高解像度合成２次元画像ＣＧ２の画素値ＰＶＣＧ２となる。

図１７に示すように、表示制御部３５は、第２合成部３４が生成した高解像度合成２次元画像ＣＧ２をディスプレイ２４に表示する。符号５０は、ディスプレイ２４において、高解像度合成２次元画像ＣＧ２が表示される表示画面５０の一例である。

上記第１実施形態の構成による作用について、図１８～図２０に示すフローチャートを参照しながら説明する。図１８は、メインフローチャートであり、図１９および図２０は、メインフローチャートの一部のステップの詳細を示すサブフローチャートである。断層画像群ＳＤを読影する場合、医師などの操作者は、画像処理装置４を操作することにより、読影を開始する。入力デバイス２５を通じて操作者からの指示を受け付けると、画像処理装置４の画像取得部３０は、画像保存システム３などから、読影対象の断層画像群ＳＤを取得する（ステップＳ１０００）。

さらに、第１の解像度の低解像度合成２次元画像ＣＧ１の生成指示が入力されると、第１合成部３１は、断層画像群ＳＤ内の複数の断層画像Ｄｊを合成することにより、低解像度合成２次元画像ＣＧ１を生成し、生成した低解像度合成２次元画像ＣＧ１をディスプレイ２４に表示する（ステップＳ２０００）。さらに、低解像度合成２次元画像ＣＧ１よりも高精細な表示の要求である高精細表示指示が入力された場合は（ステップＳ３０００でＹＥＳ）、画像処理装置４は、第１の解像度よりも高い第２の解像度の高解像度合成２次元画像ＣＧ２を生成するための処理を開始する。まず、領域選択部３２は、高解像度化する対象領域ＯＲを選択する領域選択処理を実行する（ステップＳ４０００）。

図１９に示すように、領域選択処理において、領域選択部３２は、低解像度合成２次元画像ＣＧ１を用いて関心構造４０を検出する（ステップＳ４１１０）。領域選択部３２は、検出した関心構造４０を含む断層画像Ｄｊを特定する（ステップＳ４１２０）。領域選択部３２は、図９に示したように、関心構造４０を含む断層画像Ｄｊの特定を、低解像度合成２次元画像ＣＧ１の付帯情報として記録される画素毎の断層面情報ＤＰＩを参照することにより行う。そして、領域選択部３２は、断層画像Ｄｊ内の関心構造４０を含む領域を対象領域ＯＲとして選択する（ステップＳ４１３０）。

図１８において、対象領域ＯＲが選択されると、高解像度化部３３は、対象領域ＯＲを第２の解像度に高解像度化することにより対象領域ＯＲ毎に高解像度部分画像ＨＲＰを生成する高解像度化処理を実行する（ステップＳ５０００）。高解像度化の手法は、本例では断層画像Ｄｊを利用する超解像の手法が用いられる。

次に、第２合成部３４は、高解像度部分画像ＨＲＰを用いることにより、第２の解像度を有する高解像度合成２次元画像ＣＧ２を生成する合成２次元画像生成処理を実行する（ステップＳ６０００）。図２０に示すように、ステップＳ６０００の処理において、第２合成部３４は、低解像度合成２次元画像ＣＧ１を用いて拡大画像ＣＧＭを生成する（ステップＳ６１１０）。本例のステップＳ６１１０において、第２合成部３４は、図１４で示したように、低解像度合成２次元画像ＣＧ１を第２の解像度に高解像度化することにより、拡大画像ＣＧＭとして、仮の高解像度合成２次元画像を生成する。高解像度化の手法は、低解像度合成２次元画像ＣＧ１に基づく超解像の手法を用いる。なお、図１８に示す手順では、ステップＳ５０００で高解像度部分画像ＨＲＰを生成後に、拡大画像ＣＧＭを生成しているが、拡大画像ＣＧＭの生成タイミングは、高解像度部分画像ＨＲＰの生成前（すなわち、ステップＳ５０００よりも前）でもよい。

第２合成部３４は、ステップＳ６１２０において、図１４～図１６に示した方法で、仮の高解像度合成２次元画像である拡大画像ＣＧＭと、高解像度部分画像ＨＲＰとを合成する。これにより、高解像度合成２次元画像ＣＧ２が生成される。

図１８のステップＳ７０００で、表示制御部３５は、生成された高解像度合成２次元画像ＣＧ２を、図１７に示したようにディスプレイ２４に表示する。高解像度合成２次元画像ＣＧ２においては、高解像度部分画像ＨＲＰが用いられているため、少なくとも高解像度部分画像ＨＲＰが用いられている部分については、低解像度合成２次元画像ＣＧ１よりも高精細な画質が得られる。ステップＳ８０００で読影が終了するまで、ステップＳ３０００以降の処理が繰り返される。

以上のとおり、本開示の技術において、画像処理装置４は、被写体の複数の断層面Ｔｊをそれぞれ表し、かつ、第１の解像度を有する複数の断層画像Ｄｊを含む断層画像群ＳＤの一部を、第１の解像度より高い第２の解像度にする対象領域ＯＲとして選択する領域選択処理と、対象領域ＯＲを第２の解像度に高解像度化することにより高解像度部分画像ＨＲＰを生成する高解像度化処理と、高解像度部分画像ＨＲＰを用いることにより、第２の解像度を有する高解像度合成２次元画像ＣＧ２を生成する合成２次元画像生成処理とを実行する。

このように、断層画像群ＳＤに含まれる複数の断層画像Ｄｊの一部を対象領域ＯＲとして選択し、選択した対象領域ＯＲの高解像度部分画像ＨＲＰを生成しているため、断層画像群ＳＤに含まれる複数の断層画像Ｄｊの全部を高解像度化する場合と比べて、高解像度化のための処理時間、記憶容量、および転送時間などのデータ処理の負荷を抑制することができる。

また、断層画像Ｄｊ内で選択された対象領域ＯＲの画像が高解像度化されるため、第１の解像度を有する低解像度合成２次元画像ＣＧ１を高解像度化する場合と比べて、精細な高解像度合成２次元画像ＣＧ２が得られる。

すなわち、断層画像Ｄｊにおいては、深さ方向に延在する関心構造４０が分離されて描出されるため、第１の解像度を有する断層画像Ｄｊを第２の解像度に高解像度化した高解像度部分画像ＨＲＰでは、低解像度合成２次元画像ＣＧ１を高解像度化する場合と比べて、関心構造４０の細部の形態を精細に表現することができる。というのも、低解像度合成２次元画像ＣＧ１では、第１の解像度を有する複数の断層画像Ｄｊを合成しているため、各断層画像Ｄｊにおいて描出されている関心構造４０の細部の形態情報が失われてしまう。そのため、その状態で高解像度化しても、関心構造４０の細部を精細に再現できない場合があった。本開示の技術によれば、合成される前の断層画像Ｄｊを高解像度化した高解像度部分画像ＨＲＰを用いて高解像度合成２次元画像ＣＧ２を生成するため、関心構造４０の細部を精細に再現することができる。

なお、断層画像Ｄｊを高解像度化した高解像度部分画像ＨＲＰを用いる場合でも、複数の高解像度部分画像ＨＲＰが、深さ方向において重なり合っている場合は、深さ方向で画素が合成されるため、各高解像度部分画像ＨＲＰのそれぞれにおいて描出されている関心構造４０の細部の精細な形態情報は、一部失われる。

しかしながら、高解像度化された断層画像である高解像度部分画像ＨＲＰにおいては、低解像度の断層画像Ｄｊと比べて、関心構造４０の細部の形態が精細に表現されている。そのため、高解像度部分画像ＨＲＰを合成して高解像度合成２次元画像ＣＧ２を生成した方が、低解像度合成２次元画像ＣＧ１を直接高解像度化する場合と比べて、合成前の元の画像の情報量が多い分、関心構造４０の細部の形態をより正確に表現することができる。そのため、上述のとおり、低解像度合成２次元画像ＣＧ１を高解像度化する場合と比べて、精細な高解像度合成２次元画像ＣＧ２が得られる。

より具体的には、関心構造４０として、深さが異なる複数の断層面Ｔｊに渡って石灰化４３が存在する場合において、各断層面Ｔｊの断層画像Ｄｊを合成すると、複数の断層面Ｔｊに存在する複数の石灰化４３の形状が重なって、低解像度合成２次元画像ＣＧ１上で１つの石灰化４３の塊として描出されてしまう場合がある。本開示の技術のように、断層画像Ｄｊを高解像度化した後に合成を行えば、各断層面Ｔｊの石灰化４３の形状が高精細に再現された後に合成が行われることになる。そのため、複数の高解像度部分画像ＨＲＰを合成する過程で失われる形態情報があるとしても、低解像度合成２次元画像ＣＧ１を高解像度化する場合と比べて、各断層面Ｔｊの石灰化４３の形状をより正確に表現することができる。

また、本例では、領域選択部３２は、高解像度部分画像ＨＲＰを生成する対象領域ＯＲとして、関心構造４０を含む領域を選択している。関心構造４０は、読影等の診断において注目度が高いため、関心構造４０を精細に表示した高解像度合成２次元画像ＣＧ２は、診断において有用性が高い。

図１０で示したように、被写体が***である場合は、検出する関心構造４０として、腫瘤４１、石灰化４３、スピキュラ４２、および線構造４４のうちの少なくとも１つが設定される。腫瘤４１は数％程度が悪性の可能性がある。スピキュラ４２は、硬癌や浸潤性小葉癌に特徴的な所見である。石灰化４３は癌化する可能性がある。線構造４４は、腫瘤４１、スピキュラ４２、および石灰化４３といった病変が発生しやすい。このため、これら腫瘤５１、スピキュラ４２、石灰化４３、および線構造４４のうちの少なくとも１つを関心構造４０とすれば、***の診断に有用な高解像度合成２次元画像ＣＧ２が得られる。

また、本例では、領域選択部３２は、領域選択処理において、低解像度合成２次元画像ＣＧ１を用いて関心構造４０を検出している。断層画像群ＳＤの読影を行う場合は、一例として図１８のフローチャートで示したように、読影作業の初期の段階で、低解像度合成２次元画像ＣＧ１の生成及び表示が行われる場合が多いと考えられる。そのため、読影のワークフローとしては、例えば、低解像度合成２次元画像ＣＧ１を観察して、関心構造４０の有無を判断し、関心構造４０がある場合は、その部分の精細な画像を観察するというワークフローが考えられる。そのため、関心構造４０の検出元として、低解像度合成２次元画像ＣＧ１を用いることは、こうしたワークフローに適合的である。また、低解像度合成２次元画像ＣＧ１は、断層画像群ＳＤと比較してデータ量が少ないため、断層画像群ＳＤを用いて関心構造４０を検出する場合と比較して、関心構造４０の検出を短時間で行うことができる。

なお、関心構造４０の検出は、断層画像群ＳＤを用いて行ってもよいし、拡大画像ＣＧＭとして生成される仮の高解像度合成２次元画像を用いて行ってもよい。なお、仮の高解像度合成２次元画像を用いて関心構造４０を検出する場合は、仮の高解像度合成２次元画像が拡大画像ＣＧＭであるため、検出された関心構造４０の座標位置を断層画像Ｄｊの解像度に合わせて変換する必要がある。低解像度合成２次元画像ＣＧ１は断層画像Ｄｊと解像度が同じであるため、座標位置の変換処理が不要である。この意味でも、低解像度合成２次元画像ＣＧ１を用いて関心構造４０を検出することが好ましい。

また、本例では、第２合成部３４は、合成２次元画像生成処理において、低解像度合成２次元画像ＣＧ１の画素数を第２の解像度に応じた画素数に増加させた拡大画像ＣＧＭと、高解像度部分画像ＨＲＰとを合成することにより、高解像度合成２次元画像ＣＧ２を生成している。この方法によれば、高解像度部分画像ＨＲＰ以外の他の領域については、低解像度合成２次元画像ＣＧ１に基づく拡大画像ＣＧＭを用いることができるため、他の領域を断層画像Ｄｊから生成する場合と比べて、処理時間を削減できる。

また、本例では、第２合成部３４は、合成２次元画像生成処理において、拡大画像ＣＧＭとして、低解像度合成２次元画像ＣＧ１を第２の解像度に高解像度化した仮の高解像度合成２次元画像を生成し、仮の高解像度合成２次元画像と高解像度部分画像ＨＲＰとを合成することにより、高解像度合成２次元画像ＣＧ２を生成する。そのため、高解像度合成２次元画像ＣＧ２において、高解像度部分画像ＨＲＰ以外の領域についても、低解像度合成２次元画像ＣＧ１を単純拡大した画像と比べて、精細に表現することができる。

なお、拡大画像ＣＧＭとしては、仮の高解像度合成２次元画像の代わりに、図１２に示した単純拡大画像ＭＧＰのように、低解像度合成２次元画像ＣＧ１を単純拡大した画像を用いてもよい。この場合でも、高解像度部分画像ＨＲＰが用いられる部分については精細な表現が得られる。

「第２実施形態」
図２１および図２２に示す第２実施形態は、高解像度合成２次元画像ＣＧ２の生成に、第１実施形態のように拡大画像ＣＧＭを用いずに、高解像度部分画像ＨＲＰのみを用いる例である。第２実施形態のメインフローチャートは、図１８に示す第１実施形態と同様であり、第１実施形態のステップＳ６０００の合成２次元画像生成処理の内容が第１実施形態と相違する。第２実施形態においては、図２０に示すステップＳ６０００の代わりに、図２１に示すステップＳ６０００Ａを実行する。図２１に示すように、第２合成部３４は、合成２次元画像生成処理（ステップＳ６０００Ａ）において、複数の高解像度部分画像ＨＲＰのみを用いて高解像度合成２次元画像ＣＧ２を生成する（ステップＳ６２１０）。

また、第２実施形態では、第１実施形態のように拡大画像ＣＧＭを用いないため、関心構造４０が検出されない未検出領域については、図２２に示すように、いずれかの断層画像Ｄｊ内の一部の領域を対象領域ＯＲ２として選択する。未検出領域の各画素について１つ以上の断層画像Ｄｊを選択する方法は、一例として次のとおりである。領域選択部３２は、複数の断層画像Ｄｊにおいて関心構造４０が検出されない未検出領域については、断層面Ｔｊの深さが異なりかつ断層面Ｔｊ内における座標位置が対応する複数の画素の画素値を比較する。そして、比較結果に基づいて抽出された１つの画素を、座標位置における対象領域ＯＲ２として選択する。例えば、比較結果は、画素値が最大の画素はどれか、あるいは、画素値が最小の画素はどれかという結果である。このような比較結果に基づいて、画素値が最大または最小の画素が１つ抽出される。この処理を、未検出領域内の画素毎に行う。

図２２の例では、ある対象領域ＯＲ２については、断層画像Ｄ４の一部が選択され、別の対象領域ＯＲ２については、断層画像Ｄ５の一部が選択される。また、図２２の例では、対象領域ＯＲ２について、複数の画素を含む領域として示しているが、対象領域ＯＲ２の選択は、画素毎に行われる。

そして、高解像度化部３３は、関心構造４０が検出された対象領域ＯＲ１に加えて、対象領域ＯＲ２に対しても、第２の解像度に高解像度化することにより、対象領域ＯＲ２に対応する高解像度部分画像ＨＲＰを生成する。対象領域ＯＲ２の選択は画素毎に行われるため、対象領域ＯＲ２の最小サイズは１画素であるが、複数の画素を含む場合と同様に、上述した超解像の手法または投影画像Ｇｉを利用する手法のいずれかを用いて高解像度化を行うことができる。第２合成部３４は、関心構造４０が検出された対象領域ＯＲ１と、未検出領域の対象領域ＯＲ２とのそれぞれの高解像度部分画像ＨＲＰを用いて、高解像度合成２次元画像ＣＧ２を生成する。

なお、本例のように、未検出領域の各画素について、画素値の比較結果に基づいて断層画像Ｄｊを１つだけ選択した場合は、選択した１つの断層画像Ｄｊ内に対象領域ＯＲ２が選択される。しかしながら、画素値の比較結果に基づいて断層画像Ｄｊを複数選択してもよい。例えば、画素値が最大の画素を有する断層画像Ｄｊと、２番目に大きな画素値の画素を有する断層画像Ｄｊの２つを選択する場合である。この場合の処理は例えば次のようになる。未検出領域の各画素について、複数の断層画像Ｄｊを選択した場合は、選択した複数の断層画像Ｄｊのそれぞれにおいて対象領域ＯＲ２を選択する。そして、対象領域ＯＲ２毎に高解像度部分画像ＨＲＰが生成される。この場合は未検出領域についても、座標位置が対応し、かつ深さが異なる複数の高解像度部分画像ＨＲＰが生成されることになる。

この場合は、図１６において示した複数の高解像度部分画像ＨＲＰの各画素の合成の方法と同様に、座標位置が対応する画素の画素値を加算平均することにより、合成後の画素値ＰＶＨを導出する。そして、導出した画素値ＰＶＨを高解像度合成２次元画像ＣＧ２の画素値ＰＶＣＧ２とする。また、上述したとおり、各画素の合成の方法としては、加算平均に代えて、各画素の画素値を飽和しない範囲で単純加算してもよい。また、各高解像度部分画像ＨＲＰのそれぞれの画素に対して重みを付けて、重み付きの画素値を加算平均する重み付き加算平均でもよい。

第２実施形態では、複数の断層画像Ｄｊの一部を高解像度化した複数の高解像度部分画像ＨＲＰを用いて高解像度合成２次元画像ＣＧ２の全域が生成される。そのため、未検出領域について拡大画像ＣＧＭを用いた第１実施形態と比べて、未検出領域を含む全域が精細な画質の高解像度合成２次元画像ＣＧ２が得られる。

また、未検出領域については、画素毎に断層画像Ｄｊが選択されて、選択された画素が対象領域ＯＲ２として選択されるため、全ての断層画像Ｄｊを高解像度化する処理が無い分、処理の負荷が減る。

「第３実施形態」
第３実施形態は、主として対象領域ＯＲの選択方法が第１実施形態及び第２実施形態と異なる。第３実施形態では、各断層画像Ｄｊに対して、注目領域５６を設定することにより、対象領域ＯＲの選択を行う。

図２３は、断層画像Ｄｊの一部を例に、断層画像Ｄｊ内に設定された注目領域５６を示す。注目領域５６は、断層画像Ｄｊ内の１つの画素を注目画素５６Ａとして、注目画素５６Ａを中心とする予め設定された大きさの領域である。図２３の例では、注目領域５６のサイズは、注目画素５６Ａを中心とする５×５画素のサイズが設定されている。注目領域５６は、各断層画像Ｄｊ内の局所的な特徴量を抽出するための領域であり、注目領域５６毎の特徴量の抽出は、例えば、注目領域５６と同サイズのフィルタを適用するフィルタ処理によって行われる。本例の注目領域５６のサイズは、一例であり、他のサイズでもよい。

領域選択部３２は、１つの断層画像Ｄｊ内において、注目画素５６Ａを１画素ずつシフトさせながら、断層画像Ｄｊ内の画素毎に注目領域５６を設定する。そして、設定した注目領域５６毎の特徴量を表す代表値ＲＶを導出する。領域選択部３２は、代表値ＲＶを導出する処理を、断層画像群ＳＤに含まれるすべての断層画像Ｄｊについて行う。これにより、各断層画像Ｄｊの全域について、注目領域５６毎に局所的な特徴量を表す代表値ＲＶが導出される。代表値ＲＶとしては、例えば、注目領域５６に含まれる画素の画素値の分散値である。

そして、図２４に示すように、領域選択部３２は、複数の断層画像Ｄｊ間で、１つの座標位置Ｐｊが対応する注目領域５６毎に代表値ＲＶを比較し、代表値ＲＶの比較結果に基づいて、１つ以上の断層画像Ｄｊを選択する。図２４の例では、複数の断層画像Ｄ１、Ｄ２、Ｄ３、Ｄ４、Ｄ５・・・のそれぞれにおいて、注目画素５６Ａが座標位置Ｐｊに位置する注目領域５６のそれぞれの代表値ＲＶａ、ＲＶｂ、ＲＶｃ、ＲＶｄ、ＲＶｅ・・・が導出されている。領域選択部３２は、これらの代表値ＲＶａ、ＲＶｂ、ＲＶｃ、ＲＶｄ、ＲＶｅ・・・を比較して、本例の代表値ＲＶである分散値が最大の断層画像Ｄｊとして、本例では断層画像Ｄ２を１つ選択する。領域選択部３２は、断層面Ｔｊ内の座標位置Ｐｊ毎に、代表値ＲＶに基づく断層画像Ｄｊの選択処理を実行する。

図２５に示すように、領域選択部３２は、代表値ＲＶに基づいて選択した断層画像Ｄ２内において、注目画素５６Ａを中心に対象領域ＯＲを選択する。図２５の例では、注目領域５６のサイズが５×５画素に対して、対象領域ＯＲのサイズは７×７画素で注目領域５６よりも大きいサイズが設定されている。なお、対象領域ＯＲのサイズは、注目領域５６と同じサイズでもよい。ただし、対象領域ＯＲは高解像度化の対象であるため、高解像度化に必要な程度のサイズが必要である。断層画像Ｄｊは、座標位置Ｐｊ毎に選択されているので、領域選択部３２は、座標位置Ｐｊ毎に対象領域ＯＲを選択する。

本例において、注目領域５６の代表値ＲＶとして分散値を使用する理由は、分散値が大きいほど、注目領域５６内の濃度変化が大きく、関心構造４０などの構造が描出されている領域である可能性が高いためである。そして、座標位置Ｐｊ毎に注目領域５６の分散値が大きい断層画像Ｄｊを選択することで、関心構造４０などが描出されている領域を対象領域ＯＲとして選択することが可能となる。その一方、関心構造４０が検出されない未検出の断層画像Ｄｊを、対象領域ＯＲの選択対象から除外することができる。

次に、図２６に示すように、高解像度化部３３は、選択された対象領域ＯＲを、上述した超解像の手法などを用いて、第２の解像度に高解像度化することにより、高解像度部分画像ＨＲＰを生成する。図２６に示す例では、７×７画素のサイズの対象領域ＯＲから、１４×１４画素のサイズの高解像度部分画像ＨＲＰを生成している。高解像度化にともない、対象領域ＯＲ内の注目画素５６Ａは、高解像度部分画像ＨＲＰにおいては、４画素分のサイズを持つ領域となり、ここでは、この領域を拡大注目画素５６ＡＭと呼ぶ。

図２７に示すように、第２合成部３４は、生成された複数の高解像度部分画像ＨＲＰを用いることにより、高解像度合成２次元画像ＣＧ２を生成する。本例では、注目領域５６の代表値ＲＶに基づいて選択された断層画像Ｄｊは１つであるため、高解像度部分画像ＨＲＰは、拡大注目画素５６ＡＭ毎に１つずつ存在する。第２合成部３４は、第１実施形態及び第２実施形態と同様に、深さが異なる複数の高解像度部分画像ＨＲＰが、断層面Ｔｊの深さ方向で重なる部分については、断層面Ｔｊ内の座標位置Ｐｊが対応する複数の画素を合成することにより、高解像度合成２次元画像ＣＧ２の画素値ＰＶＣＧ２を導出する。各画素の合成は、例えば加算平均によって行われる。

第３実施形態の処理をまとめると、図２８に示すフローチャートのようになる。第３実施形態においても、メインフローについては、図１８とほぼ同様である。第３実施形態においては、対象領域ＯＲを選択する領域選択処理が、図１９に示すステップＳ４０００に代えて、図２８に示すステップＳ４０００Ａとなる。以下、相違点を中心に説明する。

図２８において、領域選択部３２は、複数の断層画像Ｄｊのそれぞれにおいて注目領域５６を設定する（ステップＳ４３１０）。次に、領域選択部３２は、複数の断層画像Ｄｊのそれぞれにおいて、設定した注目領域５６毎の特徴量を表す代表値ＲＶを導出する（ステップＳ４３２０）。次に、ステップＳ４３３０で、領域選択部３２は、図２４に示したように、複数の断層画像Ｄｊ間で、座標位置Ｐｊが対応する注目領域５６毎に代表値ＲＶを比較する。次に、ステップＳ４３４０で、領域選択部３２は、代表値ＲＶの比較結果に基づいて、１つ以上の断層画像Ｄｊ（本例では１つ）を選択する。次に、ステップＳ４３５０で、領域選択部３２は、図２５に示したように、選択した断層画像Ｄｊ内において、注目領域５６を含む領域を、対象領域ＯＲとして選択する。こうした対象領域ＯＲの選択を、すべての座標位置Ｐｊについて繰り返す（ステップＳ４３６０）。

対象領域ＯＲの選択が終了した後、高解像度化部３３は、図１８のステップＳ５０００と同様の処理を実行する。本例では、図２６に示す対象領域ＯＲに対応する高解像度部分画像ＨＲＰを生成する。第２合成部３４は、第２実施形態の図２１のステップＳ６０００Ａと同様の処理を実行する。図２７に示したように、第２合成部３４は、生成された複数の高解像度部分画像ＨＲＰのみを用いて、これらを合成することにより、高解像度合成２次元画像ＣＧ２を生成する。

以上のとおり、第３実施形態においては、断層画像Ｄｊ内に注目領域５６を設定し、注目領域５６の特徴量を表す代表値ＲＶを導出し、導出した代表値ＲＶに基づいて、対象領域ＯＲを選択する断層画像Ｄｊを選択する。注目領域５６の代表値ＲＶを導出する処理は、単純なフィルタ処理によって行うことができるため、ＣＡＤによる関心構造４０を検出する方法と比較して、対象領域ＯＲを選択する処理を簡単に行うことができる。

また、本例では、断層画像Ｄｊ内の画素毎に注目領域５６を設定するため、断層画像Ｄｊ内の全域に渡って特徴量を表す代表値ＲＶを導出することができる。そのため、断層画像Ｄｊ内の特徴量を漏れなく、対象領域ＯＲの選択に利用することができる。

また、代表値ＲＶとして、注目領域５６の分散値を用いているため、上述のとおり、関心構造４０が描出されている領域を対象領域ＯＲとして選択しやすい。なお、代表値ＲＶとしては、分散値の代わりに、平均値を用いてもよい。また、代表値ＲＶとしては、最小値、最大値および中間値等を用いてもよい。

［代表値に基づいて複数の断層画像を選択する変形例］
上記例において、注目領域５６毎に分散値が最大の断層画像Ｄｊを１つ選択するというように、代表値ＲＶに基づいて１つの断層画像Ｄｊを選択したが、１つではなく、複数選択してもよい。すなわち、領域選択部３２は、領域選択処理において、代表値ＲＶの順位に基づいて予め定められた数の断層画像Ｄｊを選択し、選択した断層画像Ｄｊ毎に対象領域ＯＲを選択してもよい。例えば、領域選択部３２は、代表値ＲＶの上位２位までの２つの断層画像Ｄｊを選択する。この場合は、１つの座標位置Ｐｊに対応する注目領域５６毎に２つの断層画像Ｄｊが選択される。

図２９に示す例では、１つの座標位置Ｐｊに対応する注目領域５６毎に２つの断層画像Ｄｊが選択されている。図２９においては、対象領域ＯＲについて高解像度部分画像ＨＲＰが生成された後の状態を示しているため、注目領域５６の中心である注目画素５６Ａは、拡大注目画素５６ＡＭとなっている。また、図２９においては、一例として、座標位置Ｐ７およびＰ８の拡大注目画素５６ＡＭについては、断層面Ｔ１および断層面Ｔ２の２つの断層画像Ｄｊが選択され、選択した断層画像Ｄｊ毎に対象領域ＯＲ（図２９においては高解像度部分画像ＨＲＰで示される）が選択されている。また、座標位置Ｐ３およびＰ４の拡大注目画素５６ＡＭについては、断層面Ｔ３および断層面Ｔ４の断層画像Ｄｊが選択され、選択された断層画像Ｄｊ毎に対象領域ＯＲが選択されている。

このように、代表値ＲＶの順位に基づいて予め定められた数の断層画像Ｄｊを選択し、選択した断層画像Ｄｊ毎に対象領域ＯＲを選択してもよい。予め定められた数が２以上の場合は複数の断層画像Ｄｊが選択されることになる。こうすることで、注目領域５６毎に１つの断層画像Ｄｊを選択する場合と比べて、断層面Ｔｊの深さ方向に延在する関心構造４０の特徴を抽出しやすくなる。

［重み付け加算の変形例］
また、上記例では、図２７に示したように、第２合成部３４は、複数の高解像度部分画像ＨＲＰを単純に加算平均しているが、図３０～図３２に示す変形例のように、高解像度部分画像ＨＲＰの各画素に重みを付けた上で、重み付き加算平均を行ってもよい。

この変形例において、第２合成部３４は、図２０に示すステップＳ６０００の代わりに、図３０に示すステップＳ６０００Ｂの合成２次元画像生成処理を実行することにより、高解像度合成２次元画像ＣＧ２を生成する。

図３０において、第２合成部３４は、ステップＳ６３１０で、高解像度部分画像ＨＲＰの各画素に重みを設定する。重みとしては、例えば、図３１に示すように重みを表す係数が設定される。図３１に示すように、第２合成部３４は、高解像度部分画像ＨＲＰ内の各画素について、注目領域５６内の注目画素５６Ａに対応する中心の画素である拡大注目画素５６ＡＭから周辺の画素に向かって小さくなる重みを設定する。

図３１に示す重みは、本開示の技術に係る「第１の重み」の一例である。図３１の例では、中心の拡大注目画素５６ＡＭの重みの係数が最大で、値が「１．００」、周辺に向かって小さくなり、４つの角部の画素の重みの係数は最小で、値が「０．０５」となる。こうした重みを設定した状態で、第２合成部３４は、図３０のステップＳ６３２０で、重み付き加算平均により、複数の高解像度部分画像ＨＲＰの画素を合成する。

図３２に示すように、重み付き加算平均では、各画素の画素値にそれぞれに設定されている重みの係数を乗じた値を算出し、座標位置Ｐｊに対応する複数の画素について、算出した値を加算平均する。例えば、座標位置Ｐ８においては、断層面Ｔ１に対応する画素の重みの係数は「１．００」、断層面Ｔ２に対応する画素の重みの係数は「０．３０」、断層面Ｔ３に対応する画素の重みの係数は「０．７０」であり、断層面Ｔ４に対応する画素の重みの係数も「０．７０」である。座標位置Ｐ８においては、これらの画素の画素値に対してそれぞれの重みの係数を乗じた値を加算平均する。例えば、座標位置Ｐ８における各断層面Ｔ１～Ｔ４の各画素の画素値をＰＶＴ１～ＰＶＴ４とすると、座標位置Ｐ８における高解像度合成２次元画像ＣＧ２の画素値ＰＶＣＧ２は、ＰＶＣＧ２＝１／４×（１．００×ＰＶＴ１＋０．３０×ＰＶＴ２＋０．７０×ＰＶＴ３＋０．７０×ＰＶＴ４）の式により算出される。

図３２に示すように、重みは、注目画素５６Ａに対応する拡大注目画素５６ＡＭが最大であり、拡大注目画素５６ＡＭを中心とすると、周辺に向かって小さくなる。各高解像度部分画像ＨＲＰは、注目領域５６の代表値ＲＶに基づいて選択されている。そのため、深さが異なる複数の高解像度合成２次元画像ＣＧ２が重なる重複部分においては、注目領域５６に近い部分の特徴が、周辺の特徴よりも多く、高解像度合成２次元画像ＣＧ２に反映されることが好ましい。例えば、座標位置Ｐ８において、断層面Ｔ１は注目領域５６に対応する拡大注目画素５６ＡＭであるが、断層面Ｔ１以外の断層面Ｔ２～Ｔ４では、拡大注目画素５６ＡＭではなく、その周辺の画素が対応している。そのため、座標位置Ｐ８における高解像度合成２次元画像ＣＧ２の画素値ＰＶＣＧ２に対しては、断層面Ｔ１における拡大注目画素５６ＡＭの画素値がより多く反映されることが好ましい。本例のような重み付き加算を行うことにより、注目領域５６に近い部分の特徴を、周辺の特徴よりも多く、高解像度合成２次元画像ＣＧ２に反映させることができる。

また、図３１の重みに代えてまたは加えて、図３３のような重みを設定してもよい。図３３の重みは、注目領域５６毎の特徴量を表す代表値ＲＶに応じた重みであり、本開示の技術に係る「第２の重み」の一例である。高解像度部分画像ＨＲＰは、注目領域５６の代表値ＲＶに基づいて選択された対象領域ＯＲ毎に生成される。図３３に示す重みは、代表値ＲＶの大きさに応じて設定される。例えば、代表値ＲＶとして分散値を使用した場合は、分散値が大きいほど、重みも大きくなる。図３３の重みは、図３１に示す重みのように画素毎ではなく、高解像度部分画像ＨＲＰに対して１つだけ設定される。図３３の例では、代表値ＲＶが「１０」に対して、重みが「１０」、代表値ＲＶが「５」に対して、重みが「５」となっている。第２合成部３４は、高解像度部分画像ＨＲＰの各画素にこうした重みを付けて、加算平均することにより、高解像度合成２次元画像ＣＧ２を生成する。

図３３のような第２の重みを設定することで、代表値ＲＶが大きい高解像度部分画像ＨＲＰの特徴を高解像度合成２次元画像ＣＧ２により多く反映させることができる。なお、図３１に示す第１の重みと図３３に示す第２の重みは、いずれか一方を使用してもよいし、両方を使用してもよい。

［注目画素を間引く変形例］
上記例では、断層画像Ｄｊの画素毎に注目領域５６を設定した例を示したが、図３４～図３６に示すように、領域選択部３２は、領域選択処理において、注目画素５６Ａの間隔としてｎ個以上の画素の間隔を空けて、ｍ×ｍ個の大きさの注目領域５６を設定してもよい。ここで、ｎは１以上の自然数であり、ｍは３以上の自然数であり、かつ、ｍ＞ｎの条件を満足するものとする。

図３４に示す例は、断層画像Ｄｊにおいて、注目画素５６Ａの画素の間隔として２個の画素の間隔を空けて、５×５画素の大きさの注目領域５６を設定する例である。図３４の例では、ｎは２であり、ｍは５であり、５＞２であり、ｍ＞ｎの条件を満たしている。図３５に示す例は、断層画像Ｄｊにおいて、注目画素５６Ａの画素の間隔として４個の画素の間隔を空けて、５×５画素の大きさの注目領域５６を設定する例である。図３５の例では、ｎは４であり、ｍは５であり、５＞４であり、ｍ＞ｎの条件を満たしている。

このように設定された注目領域５６に基づいて、対象領域ＯＲの選択および高解像度部分画像ＨＲＰの生成が行われる。本例において、高解像度部分画像ＨＲＰを用いた高解像度合成２次元画像ＣＧ２を生成する合成２次元画像生成処理は、図３６のようになる。

図３６の例は、図３４に示したように２画素の間隔を空けて注目画素５６Ａを設定した場合の例である。この場合は、高解像度部分画像ＨＲＰは、注目画素５６Ａに対応する拡大注目画素５６ＡＭ毎に生成されず、画素の間隔を空けて生成される。しかし、ｍ＞ｎという条件を満足するように注目領域５６が設定されているため、すべての座標位置Ｐｊにおいていずれかの高解像度部分画像ＨＲＰが存在している。つまり、高解像度合成２次元画像ＣＧ２において、高解像度部分画像ＨＲＰが存在しない画素の隙間部分は生じない。また、ｍ＞ｎという条件を満足するように注目領域５６が設定されているため、図３５に示したように、注目画素５６Ａの間に画素の間隔が空いている場合でも、隣接する注目領域５６間においては隙間が生じない。そのため、断層画像Ｄｊ内の全画素がいずれかの注目領域５６に含まれることになるため、対象領域ＯＲの選択において、断層画像Ｄｊの全画素の特徴を反映させることができる。

本例のように、注目画素５６Ａの間隔を空けて注目領域５６を設定することで、対象領域ＯＲの数が減るため、高解像度部分画像ＨＲＰを生成する処理量を低減しつつ、精細な高解像度合成２次元画像ＣＧ２を生成することができる。

［被写体が存在する領域とそれ以外で注目領域の設定方法を変える変形例］
また、図３７に示すように、断層画像Ｄｊ内において、例えば、被写体の一例である***Ｍが存在する領域（ハッチングで示す）については注目領域５６を設定し、素抜け領域などそれ以外の領域については注目領域５６を設定しなくてもよい。少なくとも被写体が存在する領域に対して注目領域５６が設定されていれば、必要最小限の領域を高精細化することができる。注目領域５６を設定する領域が減る分、データ処理の負荷も減る。

また、断層画像Ｄｊ内において、***Ｍが存在する領域については、画素毎に注目領域５６を設定し、素抜け領域などのそれ以外の領域については、注目画素５６Ａの間隔を空けて注目領域５６を設定してもよい。これにより、相対的に高精細な画質が求められる***Ｍが存在する領域については画素毎に処理を行うことで高画質を維持しつつ、素抜け領域などのそれ以外の領域の処理を一部省略することで、処理時間を短縮することがきる。

また、上記各実施形態においては、対象領域ＯＲを矩形の領域としているが、これに限定されるものではない。対象領域ＯＲは円形等の矩形以外の形状であってもよい。また、関心構造４０の検出を行う場合は、対象領域ＯＲの形状を、検出した関心構造４０の外形に一致させてもよい。

上記各実施形態では、トモシンセシス撮影で得られた断層画像Ｄｊを例示したが、これに限らない。例えばＣＴ（Ｃｏｍｐｕｔｅｄ Ｔｏｍｏｇｒａｐｈｙ）撮影、ＰＥＴ（Ｐｏｓｉｔｒｏｎ Ｅｍｉｓｓｉｏｎ Ｔｏｍｏｇｒａｐｈｙ）撮影、ＳＰＥＣＴ（Ｓｉｎｇｌｅ Ｐｈｏｔｏｎ Ｅｍｉｓｓｉｏｎ Ｃｏｍｐｕｔｅｄ Ｔｏｍｏｇｒａｐｈｙ）撮影、あるいはＭＲＩ（Ｍａｇｎｅｔｉｃ Ｒｅｓｏｎａｎｃｅ Ｉｍａｇｉｎｇ）撮影で得られた断層画像でもよい。

上記各実施形態において、例えば、画像取得部３０、第１合成部３１、領域選択部３２、高解像度化部３３、第２合成部３４、および表示制御部３５といった各種の処理を実行する処理部（Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）のハードウェア的な構造としては、次に示す各種のプロセッサ（Ｐｒｏｃｅｓｓｏｒ）を用いることができる。各種のプロセッサには、上述したように、ソフトウェア（画像処理プログラム２２）を実行して各種の処理部として機能する汎用的なプロセッサであるＣＰＵ２１に加えて、ＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）等の製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス（Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ｄｅｖｉｃｅ:ＰＬＤ）、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）等の特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路等が含まれる。

１つの処理部は、これらの各種のプロセッサのうちの１つで構成されてもよいし、同種または異種の２つ以上のプロセッサの組み合わせ（例えば、複数のＦＰＧＡの組み合わせ、及び／または、ＣＰＵとＦＰＧＡとの組み合わせ）で構成されてもよい。また、複数の処理部を１つのプロセッサで構成してもよい。

複数の処理部を１つのプロセッサで構成する例としては、第１に、複数台のコンピュータで画像処理装置４を構成する場合のように、１つ以上のＣＰＵとソフトウェアの組み合わせで１つのプロセッサを構成し、このプロセッサが複数の処理部として機能する形態がある。第２に、システムオンチップ（Ｓｙｓｔｅｍ Ｏｎ Ｃｈｉｐ:ＳｏＣ）等に代表されるように、複数の処理部を含むシステム全体の機能を１つのＩＣ（Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）チップで実現するプロセッサを使用する形態がある。このように、各種の処理部は、ハードウェア的な構造として、上記各種のプロセッサの１つ以上を用いて構成される。

さらに、これらの各種のプロセッサのハードウェア的な構造としては、より具体的には、半導体素子等の回路素子を組み合わせた電気回路（ｃｉｒｃｕｉｔｒｙ）を用いることができる。

また、これらの各種のプロセッサは、プロセッサに内蔵又は接続されたメモリと協働して、各種の処理を実行する。

本開示の技術は、上述の種々の実施形態と種々の変形例を適宜組み合わせることも可能である。また、上記各実施形態に限らず、要旨を逸脱しない限り種々の構成を採用し得ることはもちろんである。さらに、本開示の技術は、プログラムに加えて、プログラムを非一時的に記憶し、かつ、コンピュータで読み取り可能な記憶媒体にも及ぶ。

以上に示した記載内容及び図示内容は、本開示の技術に係る部分についての詳細な説明であり、本開示の技術の一例に過ぎない。例えば、上記の構成、機能、作用、及び効果に関する説明は、本開示の技術に係る部分の構成、機能、作用、及び効果の一例に関する説明である。よって、本開示の技術の主旨を逸脱しない範囲内において、以上に示した記載内容及び図示内容に対して、不要な部分を削除したり、新たな要素を追加したり、置き換えたりしてもよいことはいうまでもない。また、錯綜を回避し、本開示の技術に係る部分の理解を容易にするために、以上に示した記載内容及び図示内容では、本開示の技術の実施を可能にする上で特に説明を要しない技術常識等に関する説明は省略されている。

本明細書において、「Ａ及び／またはＢ」は、「Ａ及びＢのうちの少なくとも１つ」と同義である。つまり、「Ａ及び／またはＢ」は、Ａだけであってもよいし、Ｂだけであってもよいし、Ａ及びＢの組み合わせであってもよい、という意味である。また、本明細書において、３つ以上の事柄を「及び／または」で結び付けて表現する場合も、「Ａ及び／またはＢ」と同様の考え方が適用される。

本明細書に記載された全ての文献、特許出願及び技術規格は、個々の文献、特許出願及び技術規格が参照により取り込まれることが具体的かつ個々に記された場合と同程度に、本明細書中に参照により取り込まれる。

Claims (20)

1. プロセッサと、
   前記プロセッサに内蔵または接続されたメモリとを備え、
   前記プロセッサが、
   被写体の複数の断層面をそれぞれ表し、かつ、第１の解像度を有する複数の断層画像の一部を、前記第１の解像度より高い第２の解像度にする対象領域として選択する領域選択処理と、
   前記対象領域を前記第２の解像度に高解像度化することにより高解像度部分画像を生成する高解像度化処理と、
   前記高解像度部分画像を用いることにより、前記第２の解像度を有する高解像度合成２次元画像を生成する合成２次元画像生成処理と、を実行する画像処理装置であって、
   前記断層画像内の１つの画素を注目画素として、前記注目画素を中心とする予め設定された大きさの領域を注目領域とした場合において、
   前記プロセッサは、
   前記領域選択処理において、
   複数の前記断層画像のそれぞれにおいて、前記注目領域の特徴量を表す代表値を導出し、
   前記断層画像間で、座標位置が対応する前記注目領域毎に前記代表値を比較し、
   前記代表値の比較結果に基づいて、１つ以上の前記断層画像を選択し、
   選択した前記断層画像内において、前記注目画素を中心に前記対象領域を選択する画像処理装置。
2. 前記プロセッサは、
   前記領域選択処理において、
   前記代表値の順位に基づいて予め定められた数の前記断層画像を選択し、選択した前記断層画像毎に前記対象領域を選択する請求項１に記載の画像処理装置。
3. 前記プロセッサは、
   前記領域選択処理において、
   前記断層画像内において、少なくとも前記被写体が存在する領域に対して前記注目領域を設定する請求項１または請求項２に記載の画像処理装置。
4. 前記プロセッサは、
   前記領域選択処理において、
   前記画素毎に前記注目領域を設定する請求項１から請求項３のうちのいずれか１項に記載の画像処理装置。
5. ｎを１以上の自然数、ｍを３以上の自然数、かつ、ｍ＞ｎとした場合において、
   前記プロセッサは、
   前記領域選択処理において、
   前記断層画像に含まれる画素のうち、前記注目画素の間隔としてｎ個以上の画素の間隔を空けて、ｍ×ｍ個の大きさの前記注目領域を設定する請求項１から請求項３のうちのいずれか１項に記載の画像処理装置。
6. プロセッサと、
   前記プロセッサに内蔵または接続されたメモリとを備え、
   前記プロセッサが、
   被写体の複数の断層面をそれぞれ表し、かつ、第１の解像度を有する複数の断層画像の一部を、前記第１の解像度より高い第２の解像度にする対象領域として選択する領域選択処理と、
   前記対象領域を前記第２の解像度に高解像度化することにより高解像度部分画像を生成する高解像度化処理と、
   前記高解像度部分画像を用いることにより、前記第２の解像度を有する高解像度合成２次元画像を生成する合成２次元画像生成処理と、を実行する画像処理装置であって、
   前記プロセッサは、
   前記第１の解像度の複数の断層画像を、前記断層面が並ぶ深さ方向に合成することにより、前記第１の解像度を有する低解像度合成２次元画像を生成し、
   前記合成２次元画像生成処理において、
   前記低解像度合成２次元画像の画素数を前記第２の解像度に応じた画素数に増加させた拡大画像と、前記高解像度部分画像とを合成することにより、前記高解像度合成２次元画像を生成する画像処理装置。
7. 前記プロセッサは、
   前記合成２次元画像生成処理において、
   前記低解像度合成２次元画像を前記第２の解像度に高解像度化することにより、前記拡大画像として、仮の高解像度合成２次元画像を生成し、
   前記仮の高解像度合成２次元画像と、前記高解像度部分画像とを合成することにより、前記高解像度合成２次元画像を生成する請求項６に記載の画像処理装置。
8. 前記プロセッサは、
   前記領域選択処理において、前記断層画像内の関心構造を含む領域を前記対象領域として選択する場合は、前記断層画像、前記低解像度合成２次元画像、および前記仮の高解像度合成２次元画像のうちのいずれかを用いて前記関心構造を検出する請求項７に記載の画像処理装置。
9. 前記プロセッサは、
   前記低解像度合成２次元画像を用いて前記関心構造を検出する請求項８に記載の画像処理装置。
10. 前記拡大画像の画素値を仮の画素値とした場合において、
    前記プロセッサは、
    前記拡大画像と前記高解像度部分画像の各画素を合成する場合は、
    前記仮の画素値を前記高解像度部分画像の画素値に置換する方法、前記仮の画素値と前記高解像度部分画像の画素値との平均値を算出し、前記平均値を前記仮の画素値と置換する方法、および前記仮の画素値に前記高解像度部分画像の画素値を加算する方法のうちのいずれかの方法で合成する請求項６から請求項９のうちのいずれか１項に記載の画像処理装置。
11. プロセッサと、
    前記プロセッサに内蔵または接続されたメモリとを備え、
    前記プロセッサが、
    被写体の複数の断層面をそれぞれ表し、かつ、第１の解像度を有する複数の断層画像の一部を、前記第１の解像度より高い第２の解像度にする対象領域として選択する領域選択処理と、
    前記対象領域を前記第２の解像度に高解像度化することにより高解像度部分画像を生成する高解像度化処理と、
    前記高解像度部分画像を用いることにより、前記第２の解像度を有する高解像度合成２次元画像を生成する合成２次元画像生成処理と、を実行し、
    前記高解像度化処理において、前記対象領域毎に前記高解像度部分画像を生成し、
    前記合成２次元画像生成処理において、複数の前記高解像度部分画像のみを用いて、高解像度合成２次元画像を生成する画像処理装置であって、
    前記プロセッサは、
    前記合成２次元画像生成処理において、
    前記断層面の深さが異なる複数の前記高解像度部分画像が、前記断層面の深さ方向で重なる重複部分については、前記断層面内の座標位置が対応する複数の画素を合成することにより、前記高解像度合成２次元画像の画素値を導出し、
    前記重複部分以外については、複数の前記高解像度部分画像のいずれかの画素値を、前記高解像度合成２次元画像の画素値とする画像処理装置。
12. 前記プロセッサは、前記重複部分において、前記対応する複数の画素については、画素値の単純加算、加算平均、および重み付き加算平均のいずれかの方法で合成する請求項１１に記載の画像処理装置。
13. 前記プロセッサは、
    前記高解像度化処理において、
    前記断層画像を利用する超解像の手法を適用して前記高解像度部分画像を生成する請求項１から請求項１２のうちのいずれか１項に記載の画像処理装置。
14. 前記プロセッサは、
    前記高解像度化処理において、
    前記断層画像の再構成に利用した複数の投影画像を利用する手法を適用して前記高解像度部分画像を生成する請求項１から請求項１３のうちのいずれか１項に記載の画像処理装置。
15. 被写体の複数の断層面をそれぞれ表し、かつ、第１の解像度を有する複数の断層画像の一部を、前記第１の解像度より高い第２の解像度にする対象領域として選択する領域選択処理と、
    前記対象領域を前記第２の解像度に高解像度化することにより高解像度部分画像を生成する高解像度化処理と、
    前記高解像度部分画像を用いることにより、前記第２の解像度を有する高解像度合成２次元画像を生成する合成２次元画像生成処理と、を実行する画像処理装置の作動方法であって、
    前記断層画像内の１つの画素を注目画素として、前記注目画素を中心とする予め設定された大きさの領域を注目領域とした場合において、
    前記領域選択処理において、
    複数の前記断層画像のそれぞれにおいて、前記注目領域の特徴量を表す代表値を導出し、
    前記断層画像間で、座標位置が対応する前記注目領域毎に前記代表値を比較し、
    前記代表値の比較結果に基づいて、１つ以上の前記断層画像を選択し、
    選択した前記断層画像内において、前記注目画素を中心に前記対象領域を選択することを含む処理を実行する画像処理装置の作動方法。
16. 被写体の複数の断層面をそれぞれ表し、かつ、第１の解像度を有する複数の断層画像の一部を、前記第１の解像度より高い第２の解像度にする対象領域として選択する領域選択処理と、
    前記対象領域を前記第２の解像度に高解像度化することにより高解像度部分画像を生成する高解像度化処理と、
    前記高解像度部分画像を用いることにより、前記第２の解像度を有する高解像度合成２次元画像を生成する合成２次元画像生成処理と、をコンピュータに実行させる画像処理装置の作動プログラムであって、
    前記断層画像内の１つの画素を注目画素として、前記注目画素を中心とする予め設定された大きさの領域を注目領域とした場合において、
    前記領域選択処理において、
    複数の前記断層画像のそれぞれにおいて、前記注目領域の特徴量を表す代表値を導出し、
    前記断層画像間で、座標位置が対応する前記注目領域毎に前記代表値を比較し、
    前記代表値の比較結果に基づいて、１つ以上の前記断層画像を選択し、
    選択した前記断層画像内において、前記注目画素を中心に前記対象領域を選択することを含む処理を前記コンピュータに実行させる画像処理装置の作動プログラム。
17. 被写体の複数の断層面をそれぞれ表し、かつ、第１の解像度を有する複数の断層画像の一部を、前記第１の解像度より高い第２の解像度にする対象領域として選択する領域選択処理と、
    前記対象領域を前記第２の解像度に高解像度化することにより高解像度部分画像を生成する高解像度化処理と、
    前記高解像度部分画像を用いることにより、前記第２の解像度を有する高解像度合成２次元画像を生成する合成２次元画像生成処理と、を実行する画像処理装置の作動方法であって、
    前記第１の解像度の複数の断層画像を、前記断層面が並ぶ深さ方向に合成することにより、前記第１の解像度を有する低解像度合成２次元画像を生成し、
    前記合成２次元画像生成処理において、
    前記低解像度合成２次元画像の画素数を前記第２の解像度に応じた画素数に増加させた拡大画像と、前記高解像度部分画像とを合成することにより、前記高解像度合成２次元画像を生成することを含む処理を実行する画像処理装置の作動方法。
18. 被写体の複数の断層面をそれぞれ表し、かつ、第１の解像度を有する複数の断層画像の一部を、前記第１の解像度より高い第２の解像度にする対象領域として選択する領域選択処理と、
    前記対象領域を前記第２の解像度に高解像度化することにより高解像度部分画像を生成する高解像度化処理と、
    前記高解像度部分画像を用いることにより、前記第２の解像度を有する高解像度合成２次元画像を生成する合成２次元画像生成処理と、をコンピュータに実行させる画像処理装置の作動プログラムであって、
    前記第１の解像度の複数の断層画像を、前記断層面が並ぶ深さ方向に合成することにより、前記第１の解像度を有する低解像度合成２次元画像を生成し、
    前記合成２次元画像生成処理において、
    前記低解像度合成２次元画像の画素数を前記第２の解像度に応じた画素数に増加させた拡大画像と、前記高解像度部分画像とを合成することにより、前記高解像度合成２次元画像を生成することを含む処理を前記コンピュータに実行させる画像処理装置の作動プログラム。
19. 被写体の複数の断層面をそれぞれ表し、かつ、第１の解像度を有する複数の断層画像の一部を、前記第１の解像度より高い第２の解像度にする対象領域として選択する領域選択処理と、
    前記対象領域を前記第２の解像度に高解像度化することにより高解像度部分画像を生成する高解像度化処理と、
    前記高解像度部分画像を用いることにより、前記第２の解像度を有する高解像度合成２次元画像を生成する合成２次元画像生成処理と、を実行し、
    前記高解像度化処理において、前記対象領域毎に前記高解像度部分画像を生成し、
    前記合成２次元画像生成処理において、複数の前記高解像度部分画像のみを用いて、高解像度合成２次元画像を生成する画像処理装置の作動方法であって、
    前記合成２次元画像生成処理において、
    前記断層面の深さが異なる複数の前記高解像度部分画像が、前記断層面の深さ方向で重なる重複部分については、前記断層面内の座標位置が対応する複数の画素を合成することにより、前記高解像度合成２次元画像の画素値を導出し、
    前記重複部分以外については、複数の前記高解像度部分画像のいずれかの画素値を、前記高解像度合成２次元画像の画素値とすることを含む処理を実行する画像処理装置の作動方法。
20. 被写体の複数の断層面をそれぞれ表し、かつ、第１の解像度を有する複数の断層画像の一部を、前記第１の解像度より高い第２の解像度にする対象領域として選択する領域選択処理と、
    前記対象領域を前記第２の解像度に高解像度化することにより高解像度部分画像を生成する高解像度化処理と、
    前記高解像度部分画像を用いることにより、前記第２の解像度を有する高解像度合成２次元画像を生成する合成２次元画像生成処理と、を実行し、
    前記高解像度化処理において、前記対象領域毎に前記高解像度部分画像を生成し、
    前記合成２次元画像生成処理において、複数の前記高解像度部分画像のみを用いて、高解像度合成２次元画像を生成する処理をコンピュータに実行させる画像処理装置の作動プログラムであって、
    前記合成２次元画像生成処理において、
    前記断層面の深さが異なる複数の前記高解像度部分画像が、前記断層面の深さ方向で重なる重複部分については、前記断層面内の座標位置が対応する複数の画素を合成することにより、前記高解像度合成２次元画像の画素値を導出し、
    前記重複部分以外については、複数の前記高解像度部分画像のいずれかの画素値を、前記高解像度合成２次元画像の画素値とすることを含む処理を前記コンピュータに実行させる画像処理装置の作動プログラム。