JP7479494B2 - 画像処理装置、画像処理装置の作動方法、画像処理装置の作動プログラム - Google Patents

画像処理装置、画像処理装置の作動方法、画像処理装置の作動プログラム Download PDF

Info

Publication number
JP7479494B2
JP7479494B2 JP2022553471A JP2022553471A JP7479494B2 JP 7479494 B2 JP7479494 B2 JP 7479494B2 JP 2022553471 A JP2022553471 A JP 2022553471A JP 2022553471 A JP2022553471 A JP 2022553471A JP 7479494 B2 JP7479494 B2 JP 7479494B2
Authority
JP
Japan
Prior art keywords
image
resolution
tomographic
interest
images
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2022553471A
Other languages
English (en)
Other versions
JPWO2022070532A1 (ja
JPWO2022070532A5 (ja
Inventor
有加里 奥村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Publication of JPWO2022070532A1 publication Critical patent/JPWO2022070532A1/ja
Publication of JPWO2022070532A5 publication Critical patent/JPWO2022070532A5/ja
Application granted granted Critical
Publication of JP7479494B2 publication Critical patent/JP7479494B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • G06T11/003Reconstruction from projections, e.g. tomography
    • G06T11/008Specific post-processing after tomographic reconstruction, e.g. voxelisation, metal artifact correction
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/40Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/02Arrangements for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
    • A61B6/025Tomosynthesis
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/46Arrangements for interfacing with the operator or the patient
    • A61B6/461Displaying means of special interest
    • A61B6/463Displaying means of special interest characterised by displaying multiple images or images and diagnostic data on one display
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/50Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications
    • A61B6/502Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications for diagnosis of breast, i.e. mammography
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/52Devices using data or image processing specially adapted for radiation diagnosis
    • A61B6/5211Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
    • A61B6/5217Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data extracting a diagnostic or physiological parameter from medical diagnostic data
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00General purpose image data processing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • G06T11/003Reconstruction from projections, e.g. tomography
    • G06T11/006Inverse problem, transformation from projection-space into object-space, e.g. transform methods, back-projection, algebraic methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00Indexing scheme for image data processing or generation, in general
    • G06T2200/28Indexing scheme for image data processing or generation, in general involving image processing hardware
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10072Tomographic images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20092Interactive image processing based on input by user
    • G06T2207/20104Interactive definition of region of interest [ROI]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20212Image combination
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30068Mammography; Breast
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30096Tumor; Lesion
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2211/00Image generation
    • G06T2211/40Computed tomography
    • G06T2211/436Limited angle
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2211/00Image generation
    • G06T2211/40Computed tomography
    • G06T2211/441AI-based methods, deep learning or artificial neural networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Medical Informatics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Surgery (AREA)
  • Veterinary Medicine (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Optics & Photonics (AREA)
  • Pathology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Algebra (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Mathematical Physics (AREA)
  • Pure & Applied Mathematics (AREA)
  • Physiology (AREA)
  • Human Computer Interaction (AREA)
  • Dentistry (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Description

本開示の技術は、画像処理装置、画像処理装置の作動方法、画像処理装置の作動プログラムに関する。
異なる複数の照射角度から被写体に放射線を照射するトモシンセシス撮影等、被写体の任意の断層面における複数の断層画像を得る技術が知られている。断層画像によれば、断層面が並ぶ深さ方向に延在する被写体の構造を断層画像毎に分離して描出することができる。このため、被写体の単純な投影像である2次元画像では描出が困難であった病変等の関心構造を描出することが可能となる。
断層画像の詳細な読影を支援するために、例えば米国特許出願公開第2015/0201890号明細書には、全領域を高解像度化した断層画像(以下、高解像度断層画像と略す)を生成する技術が記載されている。
例えばトモシンセシス撮影で得られた断層画像の読影に際しては、読影医は、すぐに断層画像を読影するのではなく、まずは2次元画像を読影する。そして、2次元画像で病変の箇所の大体の見当をつける。その後、見当をつけた病変が存在していそうな断層面の断層画像を探索し、探索した断層画像を詳細に読影する。こうした読影手順とするのは、最初に何の当てもなく複数の断層画像を手当たり次第に読影すると、効率が悪いためである。
米国特許出願公開第2015/0201890号明細書に記載の技術によれば、高解像度断層画像によって病変が高精細に表現されるため、読影が捗る。しかしながら、高解像度断層画像は生成に時間が掛かる。このため、読影医が高解像度断層画像の表示を指示した際に高解像度断層画像の生成を開始する場合、指示してから実際に高解像度断層画像が表示されるまでに、実用上問題視される程の長いタイムラグが生じるおそれがあった。
上記の表示タイムラグの問題を解決する方法としては、事前にすべての断層面の高解像度断層画像を生成してストレージに記憶しておき、表示の際にストレージから読み出す方法が考えられる。しかしながら、この方法では、比較的データ量が多い高解像度断層画像によってストレージの記憶容量が圧迫されるといった別の問題が生じる。
本開示の技術に係る1つの実施形態は、事前にすべての断層面の断層画像を高解像度化することなく、高解像度の断層画像の表示に掛かる時間を短縮化することが可能な画像処理装置、画像処理装置の作動方法、画像処理装置の作動プログラムを提供する。
本開示の技術に係る画像処理装置は、プロセッサと、プロセッサに接続または内蔵されたメモリと、を備え、プロセッサは、被写体の複数の断層面をそれぞれ表し、第1の解像度を有する複数の断層画像を取得し、ユーザからの読影に関する操作指示を受け付けた場合に、断層画像の一部の領域を対象領域として設定し、第1の解像度よりも高い第2の解像度とする処理を対象領域のみに施すことにより、対象領域の高解像度部分画像を生成し、高解像度部分画像を表示する。
プロセッサは、操作指示として、被写体の投影像である2次元画像に対する指定領域の入力指示を受け付け、指定領域に基づいて対象領域を設定することが好ましい。
プロセッサは、指定領域に対して関心構造を検出する処理を行い、関心構造を検出した場合、断層画像において関心構造を含む領域を、対象領域として設定することが好ましい。
プロセッサは、指定領域に対して関心構造を検出する処理を行い、関心構造を検出しなかった場合、予め定められた設定断層面の断層画像において指定領域に対応する領域を、対象領域として設定することが好ましい。
被写体は***であり、関心構造は、腫瘤、スピキュラ、石灰化、および線構造のうち少なくとも1つであることが好ましい。
複数の断層画像は、異なる複数の照射角度から被写体に放射線を照射するトモシンセシス撮影により得られたものであり、2次元画像は、放射線源を放射線検出器に正対させて放射線を照射する単純撮影により得られた単純2次元画像、および合成画像生成技術を用いて複数の断層画像から合成された疑似的な単純2次元画像である合成2次元画像のうちのいずれかであることが好ましい。
プロセッサは、操作指示として、被写体の投影像である2次元画像の第1表示指示を受け付けた場合に、2次元画像に対して関心構造を検出する処理を行い、関心構造を検出した場合、断層画像において検出した関心構造を含む領域を、対象領域として設定することが好ましい。
被写体は***であり、関心構造は、腫瘤、スピキュラ、石灰化、および線構造のうち少なくとも1つであることが好ましい。
複数の断層画像は、異なる複数の照射角度から被写体に放射線を照射するトモシンセシス撮影により得られたものであり、2次元画像は、放射線源を放射線検出器に正対させて放射線を照射する単純撮影により得られた単純2次元画像、および合成画像生成技術を用いて複数の断層画像から合成された疑似的な単純2次元画像である合成2次元画像のうちのいずれかであることが好ましい。
プロセッサは、第1の解像度を第2の解像度とする処理に、超解像の手法を適用することが好ましい。
プロセッサは、対象領域を複数設定し、かつ高解像度部分画像を複数生成する場合、ユーザからの高解像度部分画像の第2表示指示を受け付ける度に高解像度部分画像を生成することが好ましい。
プロセッサは、対象領域を複数設定し、かつ高解像度部分画像を複数生成する場合、ユーザからの高解像度部分画像の第2表示指示を受け付ける前に、複数の対象領域の各々の高解像度部分画像を生成することが好ましい。
プロセッサは、対象領域を設定した断層画像とは別に高解像度部分画像を表示することが好ましい。
プロセッサは、対象領域を設定した断層画像の対象領域以外の領域を、第2の解像度に合わせて単純拡大した拡大画像に、高解像度部分画像を合成して表示することが好ましい。
プロセッサは、対象領域を設定していない断層画像よりも、高解像度部分画像を先に表示することが好ましい。
プロセッサは、対象領域を複数設定し、かつ高解像度部分画像を複数生成する場合、複数の高解像度部分画像のうち、予め定められた表示条件を満たす1つの高解像度部分画像を最初に表示することが好ましい。
プロセッサは、操作指示を受け付けた後に、グラフィカルユーザインターフェースを通じて高解像度部分画像の第2表示指示を受け付けた場合に、高解像度部分画像を表示することが好ましい。
本開示の技術に係る画像処理装置の作動方法は、被写体の複数の断層面をそれぞれ表し、第1の解像度を有する複数の断層画像を取得すること、ユーザからの読影に関する操作指示を受け付けた場合に、断層画像の一部の領域を対象領域として設定すること、第1の解像度よりも高い第2の解像度とする処理を対象領域のみに施すことにより、対象領域の高解像度部分画像を生成すること、および、高解像度部分画像を表示すること、を含む。
本開示の技術に係る画像処理装置の作動プログラムは、被写体の複数の断層面をそれぞれ表し、第1の解像度を有する複数の断層画像を取得すること、ユーザからの読影に関する操作指示を受け付けた場合に、断層画像の一部の領域を対象領域として設定すること、第1の解像度よりも高い第2の解像度とする処理を対象領域のみに施すことにより、対象領域の高解像度部分画像を生成すること、および、高解像度部分画像を表示すること、を含む処理をコンピュータに実行させる。
本開示の技術によれば、事前にすべての断層面の断層画像を高解像度化することなく、高解像度の断層画像の表示に掛かる時間を短縮化することが可能な画像処理装置、画像処理装置の作動方法、画像処理装置の作動プログラムを提供することができる。
本開示の画像処理装置を適用した放射線画像撮影システムの概略構成図である。 マンモグラフィ撮影装置を図1の矢印A方向から見た図である。 画像処理装置のハードウェア構成を示す図である。 画像処理装置の機能的な構成を示す図である。 投影画像の取得を説明するための図である。 断層画像群を示す図である。 合成2次元画像の成り立ちを示す図である。 合成2次元画像の成り立ちを詳細に説明するための図である。 断層画像群を指定するための画面、および合成2次元画像を含む画面を示す図である。 指定領域が設定される様子を示す図である。 関心構造の例を示す図である。 指定領域から関心構造を検出した場合の対象領域設定部の処理を示す図である。 指定領域から関心構造を検出しなかった場合の対象領域設定部の処理を示す図である。 高解像度化部の処理を示す図である。 単純拡大と高解像度化との相違を説明するための図である。 逆投影法を用いた高解像度化を示す図である。 指定領域から関心構造を検出した場合の表示条件および表示順を示す図である。 指定領域から関心構造を検出しなかった場合の表示条件および表示順を示す図である。 合成2次元画像、断層画像、および高解像度部分画像を含む画面を示す図である。 送りボタンが操作される度に、高解像度部分画像を生成して表示する態様を示す図である。 戻しボタンが操作される度に、高解像度部分画像を生成して表示する態様を示す図である。 画像処理装置の処理手順を示す図である。 事前にすべての高解像度部分画像を生成して表示する態様を示す図である。 対象領域以外の領域を単純拡大した単純拡大断層画像に、高解像度部分画像を合成する処理を示す図である。 図24で示した高解像度部分画像が合成された単純拡大断層画像を含む画面を示す図である。 アノテーション付与ボタンおよび高解像度化ボタンが設けられた画面を示す図である。 アノテーション付与ボタンを選択し、カーソルを合わせてクリックした箇所にアノテーションを付与する様子を示す図である。 高解像度化ボタンを選択し、カーソルを合わせてクリックした箇所に指定領域を設定する様子を示す図である。 第2実施形態の関心構造検出部および対象領域設定部の処理を示す図である。 合成2次元画像を含み、高解像度画像表示ボタンが設けられた第2実施形態の画面を示す図である。 第2実施形態における画像処理装置の処理手順を示す図である。
[第1実施形態]
以下、図面を参照して本開示の実施形態について説明する。図1は本開示の実施形態による画像処理装置4を適用した放射線画像撮影システム100の概略構成図、図2は放射線画像撮影システム100におけるマンモグラフィ撮影装置を図1の矢印A方向から見た図である。図1に示すように、本実施形態による放射線画像撮影システム100は、本開示の技術に係る「被写体」の一例である***Mのトモシンセシス撮影を行って***Mの断層画像を生成するために、異なる複数の線源位置から***Mを撮影して、複数の放射線画像、すなわち複数の投影画像を取得するためのものである。本実施形態による放射線画像撮影システム100は、マンモグラフィ撮影装置1、コンソール2、画像保存システム3、および画像処理装置4を備える。
マンモグラフィ撮影装置1は、不図示の基台に対して回転軸11により連結されたアーム部12を備えている。アーム部12の一方の端部には撮影台13が、その他方の端部には撮影台13と対向するように放射線照射部14が取り付けられている。アーム部12は、撮影台13を固定して放射線照射部14が取り付けられた端部のみを回転することが可能に構成されている。
撮影台13の内部には、フラットパネルディテクタ等の放射線検出器15が備えられている。放射線検出器15は放射線の検出面15Aを有する。また、撮影台13の内部には、放射線検出器15から読み出された電荷信号を電圧信号に変換するチャージアンプ、チャージアンプから出力された電圧信号をサンプリングする相関2重サンプリング回路、および電圧信号をデジタル信号に変換するAD(Analog Digital)変換部等が設けられた回路基板等も設置されている。
放射線照射部14の内部には、放射線源16が収納されている。放射線源16は、例えばγ線、X線等の放射線を出射する。放射線源16から放射線を照射するタイミングおよび放射線源16における放射線発生条件、すなわちターゲットおよびフィルタの材質の選択、管電圧並びに照射時間等は、コンソール2により制御される。
また、アーム部12には、撮影台13の上方に配置されて***Mを押さえつけて圧迫する圧迫板17、圧迫板17を支持する支持部18、および支持部18を図1および図2の上下方向に移動させる移動機構19が設けられている。なお、圧迫板17と撮影台13との間隔、すなわち圧迫厚はコンソール2に入力される。
コンソール2は、無線通信LAN(Local Area Network)等のネットワークを介して、不図示のRIS(Radiology Information System)等から取得した撮影オーダおよび各種情報と、技師等により直接行われた指示等とを用いて、マンモグラフィ撮影装置1の制御を行う機能を有している。具体的には、コンソール2は、マンモグラフィ撮影装置1に***Mのトモシンセシス撮影を行わせることにより、後述するように複数の投影画像を取得し、複数の投影画像を再構成して複数の断層画像を生成する。一例として、本実施形態では、サーバコンピュータをコンソール2として用いている。
画像保存システム3は、マンモグラフィ撮影装置1により撮影された放射線画像、投影画像、および断層画像等の画像データを保存するシステムである。画像保存システム3は、保存している画像から、コンソール2および画像処理装置4等からの要求に応じた画像を取り出して、要求元の装置に送信する。画像保存システム3の具体例としては、PACS(Picture Archiving and Communication Systems)が挙げられる。
次に、第1実施形態に係る画像処理装置4について説明する。まず、図3を参照して、第1実施形態に係る画像処理装置4のハードウェア構成を説明する。図3に示すように、画像処理装置4は、ワークステーション、サーバコンピュータ、およびパーソナルコンピュータ等のコンピュータであり、CPU(Central Processing Unit)21、不揮発性のストレージ23、および一時記憶領域としてのメモリ26を備える。また、画像処理装置4は、液晶ディスプレイ等のディスプレイ24、キーボードおよびマウス等の入力デバイス25、不図示のネットワークに接続されるネットワークI/F(InterFace)27を備える。CPU21、ストレージ23、ディスプレイ24、入力デバイス25、メモリ26、およびネットワークI/F27は、バス28に接続される。CPU21は、本開示の技術に係る「プロセッサ」の一例である。また、メモリ26は、本開示の技術に係る「メモリ」の一例である。なお、メモリ26は、CPU21に内蔵されていてもよい。
ストレージ23は、HDD(Hard Disk Drive)、SSD(Solid State Drive)、およびフラッシュメモリ等によって実現される。記憶媒体としてのストレージ23には、画像処理装置4にインストールされた画像処理プログラム22が記憶される。CPU21は、ストレージ23から画像処理プログラム22を読み出してからメモリ26に展開し、展開した画像処理プログラム22を実行する。画像処理プログラム22は、本開示の技術に係る「画像処理装置の作動プログラム」の一例である。
なお、画像処理プログラム22は、ネットワークに接続されたサーバコンピュータの記憶装置、あるいはネットワークストレージに、外部からアクセス可能な状態で記憶され、要求に応じて画像処理装置4を構成するコンピュータにダウンロードされ、インストールされる。または、DVD(Digital Versatile Disc)、CD-ROM(Compact Disc Read Only Memory)等の記録媒体に記録されて配布され、その記録媒体から画像処理装置4を構成するコンピュータにインストールされる。
次いで、第1実施形態による画像処理装置4の機能的な構成を説明する。図4は、第1実施形態による画像処理装置4の機能的な構成を示す図である。図4に示すように、画像処理装置4は、画像取得部30、合成部31、指示受付部32、関心構造検出部33、対象領域設定部34、高解像度化部35、および表示制御部36を備える。CPU21が画像処理プログラム22を実行することにより、画像処理装置4は、画像取得部30、合成部31、指示受付部32、関心構造検出部33、対象領域設定部34、高解像度化部35、および表示制御部36として機能する。
画像取得部30は、コンソール2または画像保存システム3からネットワークI/F27を介して断層画像を取得する。また、画像取得部30は、コンソール2または画像保存システム3からネットワークI/F27を介して投影画像を取得する場合もある。
ここで、図5を参照しながら、断層画像を生成するためのトモシンセシス撮影について説明する。コンソール2は、マンモグラフィ撮影装置1を制御することにより、マンモグラフィ撮影装置1にトモシンセシス撮影を行わせる。トモシンセシス撮影において、マンモグラフィ撮影装置1は、アーム部12(図1参照)を回転軸11の周りに回転させることにより放射線源16をS1、S2、・・・、Snの各線源位置に移動させる。こうして放射線源16を各線源位置に移動させることで、***Mに対する放射線の照射角度が変化する。そして、放射線源16の移動軌跡上の複数の線源位置において、トモシンセシス撮影用の予め定められた撮影条件により被写体である***Mに放射線を照射する。***Mを透過した放射線は放射線検出器15により検出され、放射線検出器15は、検出した放射線に基づく投影画像Gi(i=1~n、nは線源位置の数であり、例えばn=15)をコンソール2に出力する。こうして、コンソール2は、複数の線源位置S1~Snに対応する複数の投影画像G1、G2、・・・、Gnを取得する。なお、各線源位置S1~Snにおいては、一例として、同一の線量の放射線が***Mに照射される。
また、図5において、線源位置Scは、放射線源16から出射された放射線の光軸X0が放射線検出器15の検出面15Aと直交する線源位置である。つまり、線源位置Scは、放射線源16を放射線検出器15に正対させて放射線を照射する単純撮影の位置である。本実施形態においては、この線源位置Scにおいて、他の線源位置より高い線量の放射線を***Mに照射することにより、単純2次元画像Gc0を取得するようにしてもよい。単純2次元画像Gc0は、本開示の技術に係る「2次元画像」の一例である。
コンソール2は、トモシンセシス撮影によって取得した複数の投影画像Giを再構成することにより、***Mの所望とする断層面を強調した断層画像を生成する。具体的には、コンソール2は、単純逆投影法あるいはフィルタ逆投影法等の周知の逆投影法等を用いて、複数の投影画像Giから、図6に示すように***Mの複数の断層面のそれぞれにおける複数の断層画像Dj(j=1~m、mは断層画像の枚数で例えば50)を再構成する。再構成の際、***Mを含む3次元空間における3次元の座標を有する画素が設定され、複数の投影画像Giの対応する画素の画素値が逆投影されて、設定された3次元の画素に対して画素値が算出される。複数の断層画像Djは、設定された3次元空間内における3次元ボリュームデータである断層画像群SDを構成する。なお、第1実施形態においては、断層画像Djの画素値は、輝度が高い(すなわち白い)ほど大きく、輝度が低い(すなわち黒い)ほど小さい値を有するものとする。
断層画像群SDにおいて、複数の断層画像Djは、***Mにおける断層面の深さ方向に沿って並んでいる。複数の断層画像Djにおいて、各断層面内における各画素の座標位置は対応している。ここで、複数の断層画像Djにおいて、断層面内における座標位置が一致している画素同士を対応する画素と呼ぶ。また、断層画像Djは、第1の解像度を有している。第1の解像度は、放射線検出器15が出力する投影画像Giの解像度、および逆投影法等によって投影画像Giから断層画像群SDを再構成する際に設定される3次元空間における断層面内の座標位置の数に応じて決定される。
コンソール2は、生成した断層画像群SDを画像処理装置4に直接転送するか、画像保存システム3に転送する。
合成部31は、断層画像群SDの複数の断層画像Djを合成して合成2次元画像CG1を生成する。図7は合成2次元画像CG1の生成方法を説明するための図である。図7に示すように、合成部31は、複数の断層画像Djの対応する画素を、断層画像Djの断層面が並ぶ深さ方向(すなわち***Mの深さ方向)に合成することにより、合成2次元画像CG1を生成する。合成の手法は、複数の断層画像Djにおける対応する画素の画素値に対する加算法、平均法、最大値投影法、または最小値投影法等の周知の合成画像生成技術を用いることができる。ここで、断層画像Djは第1の解像度を有するため、合成2次元画像CG1も第1の解像度を有する。合成2次元画像CG1は、上記の単純2次元画像Gc0と同じく、本開示の技術に係る「2次元画像」の一例である。
合成2次元画像CG1の各画素の合成において、合成に使用する断層画像Djについては、例えば、すべての断層面の断層画像Djの対応する画素を使用し、これらの画素の平均値等を算出してもよい。すべての断層画像Djではなく、一部の断層画像Djの対応する画素を使用し、一部の画素の画素値の平均値等を使用することも可能である。例えば、すべての断層画像Djの中から選択された3つの断層面の3つの断層画像D1、D2、およびD3の画素のみを使用し、これらの平均値を画素値としてもよい。また、合成2次元画像CG1の画素毎に、画素値の算出に使用する断層面を変化させてもよい。例えば、ある画素については、3つの断層面の3つの断層画像D1、D2、およびD3の画素のみを使用し、これらの平均値等を画素値とし、別の画素については、2つの断層面の2つの断層画像D2、およびD3の画素のみを使用し、これらの平均値等を画素値とする。
図8に示すように、断層画像群SD内において、関心構造40が存在する部分については、合成部31は、複数の断層画像Djの中から、関心構造40が存在する一部の断層画像Djを選択する。そして、合成部31は、選択された断層画像Djの画素のみを用いて合成する。図8においては、複数の断層画像D1~D6のうち、3つの断層面の断層画像D2~D4においてのみ、関心構造40A、40B、および40Cが存在する。この場合、合成部31は、3つの断層画像D2~D4のうち、関心構造40に対応する関心構造40A~40Cが存在する画素のみを用いて、合成2次元画像CG1の各画素のうち、関心構造40が存在する座標位置の画素の合成を行う。関心構造40が存在しない***Mの部分についても同様に、複数の断層画像Djの画素を用いて合成する。なお、***M以外の素抜け部分については、例えばすべての断層画像Djの画素を用いて合成する。
また、合成部31は、合成2次元画像CG1の***Mの各画素について、どの断層面の断層画像Djを使用したかという画素毎の断層面情報DPIを、生成した合成2次元画像CG1と対応付けて記録する。
指示受付部32は、読影医等のユーザにより入力デバイス25を通じて入力される様々な指示を受け付ける。例えば、指示受付部32は、ユーザからの合成2次元画像CG1および断層画像Djの読影に関する操作指示を受け付ける。読影に関する操作指示は、本実施形態においては、合成2次元画像CG1に対する指定領域SR(図10参照)の入力指示である。指示受付部32は、入力指示を受け付けた場合、指定領域SRの画像情報を関心構造検出部33に出力する。
図9に示すように、表示制御部36は、コンソール2または画像保存システム3から受け取る断層画像群SDを指定するための画面45をディスプレイ24に表示する。画面45には、断層画像群SDのファイルパスの入力ボックス46、エクスプローラを表示するための参照ボタン47、および表示ボタン48が設けられている。入力ボックス46に所望の断層画像群SDのファイルパスが入力され、表示ボタン48が選択された場合、画像取得部30は、入力ボックス46にファイルパスが入力された断層画像群SDの配信要求をコンソール2または画像保存システム3に送信する。そして、画像取得部30は、配信要求に応じてコンソール2または画像保存システム3から配信された断層画像群SDを取得する。合成部31は、断層画像群SDから合成2次元画像CG1を生成する。表示制御部36は、画面45から、合成2次元画像CG1を含む画面49に表示を切り替える。すなわち、表示ボタン48の操作は、本開示の技術に係る「2次元画像の第1表示指示」の一例である。
図10に示すように、ユーザは、画面49の合成2次元画像CG1に写る***Mの関心のある箇所に、マウスのカーソル50を合わせてクリックする。これにより、クリックされた点を含む指定領域SRが合成2次元画像CG1上に設定される。つまり、***Mの関心のある箇所にマウスのカーソル50を合わせてクリックする操作は、本開示の技術に係る「指定領域の入力指示」の一例である。同時に、***Mの関心のある箇所にマウスのカーソル50を合わせてクリックする操作は、本開示の技術に係る「高解像度部分画像の第2表示指示」の一例でもある。なお、合成2次元画像CG1の代わりに単純2次元画像Gc0を表示し、単純2次元画像Gc0に対する指定領域SRの入力指示を受け付けてもよい。
指定領域SRは、クリックされた点を中心とする正方形であり、例えば500画素×500画素のサイズを有する。なお、指定領域SRの形状は矩形に限定されるものではなく、円形等の任意の形状としてもよい。また、関心構造検出部33で検出した関心構造40の大きさに応じて、指定領域SRのサイズを変更してもよい。同様に、関心構造検出部33で検出した関心構造40の種類に応じて、指定領域SRのサイズを変更してもよい。例えば関心構造40が腫瘤51(図11参照)であった場合は、指定領域SRのサイズを500画素×500画素とし、関心構造40が石灰化53(図11参照)であった場合は、指定領域SRのサイズを50画素×50画素とする。あるいは、関心構造検出部33で検出した関心構造40の輪郭で取り囲まれる領域を、指定領域SRとしてもよい。さらには、ユーザがフリーハンドで取り囲んだ領域であって、形状およびサイズが任意の領域を、指定領域SRとしてもよい。
関心構造検出部33は、指定領域SRに対して関心構造40を検出する処理を行う。具体的には図11に示すように、関心構造検出部33は、***Mに含まれる腫瘤51、スピキュラ52、石灰化53、および線構造54を、関心構造40として検出する。線構造は、例えば小葉、乳管といった乳腺である。指定領域SRから関心構造40を検出した場合、関心構造検出部33は、検出した関心構造40の画素の座標といった関心構造40の情報を対象領域設定部34に出力する。一方、指定領域SRから関心構造40を検出しなかった場合、関心構造検出部33は、関心構造40を検出しなかった旨を対象領域設定部34に出力する。なお、関心構造検出部33は、腫瘤51、スピキュラ52、石灰化53、および線構造54のすべてを検出するものであってもよいが、これらのうちの少なくとも1つを検出するものであってもよい。
関心構造検出部33は、公知のコンピュータ支援診断(CAD;Computer-Aided Diagnosis)のアルゴリズムを用いて、指定領域SRから関心構造40を検出する。CADによるアルゴリズムにおいては、指定領域SRにおける画素が関心構造40であることを表す確率(尤度)が導出され、その確率が予め定められたしきい値以上となる画素が関心構造40として検出される。なお、CADによるアルゴリズムは関心構造40の種類毎に用意される。本実施形態においては、腫瘤51の検出用のCADアルゴリズム、スピキュラ52の検出用のCADアルゴリズム、石灰化53の検出用のCADアルゴリズム、および線構造54の検出用のアルゴリズムが用意される。
なお、関心構造40を検出するための技術は、CADを用いるものに限定されない。CAD以外の技術としては、関心構造40を検出するためのフィルタによるフィルタリング処理、関心構造40を検出するようにディープラーニング等により機械学習がなされた検出モデル等によって、指定領域SRから関心構造40を検出するものであってもよい。
図12および図13に示すように、対象領域設定部34は、断層画像Djの一部の領域を対象領域ORとして設定する。対象領域ORは、第1の解像度よりも高い第2の解像度とする処理、すなわち高解像度化処理を施す領域であり、各断層画像Dj内において、1つ以上の画素を含む領域である。
図12は、関心構造検出部33が指定領域SRから関心構造40を検出した場合を示す。この場合、対象領域設定部34は、断層画像Djにおいて関心構造40を含む領域を、対象領域ORとして設定する。より詳しくは、対象領域設定部34は、関心構造検出部33から関心構造40の情報を受信する。そして、関心構造40の情報で表される関心構造40の画素の断層面情報DPIを読み出す。対象領域設定部34は、読み出した断層面情報DPIで表される断層面の断層画像Djの指定領域SRと同じ領域を、対象領域ORとして設定する。図12においては、合成2次元画像CG1の関心構造40に対応する関心構造40A~40Cが存在する、3つの断層面の3つの断層画像D2~D4に対して、対象領域ORが設定された場合を例示している。なお、指定領域SRと同じ領域ではなく、関心構造40の輪郭で取り囲まれる領域を、対象領域ORとして設定してもよい。
一方、図13は、関心構造検出部33が指定領域SRから関心構造40を検出しなかった場合を示す。この場合、対象領域設定部34は、予め定められた設定断層面の断層画像Djにおいて指定領域SRに対応する領域を、対象領域ORとして設定する。より詳しくは、対象領域設定部34は、関心構造検出部33から関心構造40を検出しなかった旨を受信する。対象領域設定部34は、設定断層面の断層画像Djの指定領域SRと同じ領域を、対象領域ORとして設定する。図13においては、複数の断層面のうちの中心の断層面の断層画像DCと、断層画像DCの上下の断層面の断層画像DC-1およびDC+1に対して、対象領域ORが設定された場合を例示している。すなわち、これら断層画像DC、DC-1、およびDC+1は、本開示の技術に係る「設定断層面の断層画像」の一例である。なお、本例では、断層面において「上」とは頭部側、「下」とは腹部側を表す。
設定断層面としては、例示の中心の断層面とその上下の1面ずつの断層面に限らない。中心の断層面とその上下のd(dは2以上の整数)面ずつの断層面でもよい。また、最上段の断層面とその下のd+1面の断層面でもよいし、最下段の断層面とその上のd-1面の断層面でもよい。さらには、すべての断層面を設定断層面としてもよい。
なお、関心構造検出部33が指定領域SRから関心構造40を検出しない例としては、以下が考えられる。例えば、関心構造40があるとユーザが考えてカーソル50を合わせてクリックした領域に、実際は関心構造40がなかった場合である。あるいは、関心構造40は認められないが、ユーザが確認のために一応見ておこうとしてクリックした場合である。
図14に示すように、高解像度化部35は、対象領域ORを第1の解像度から第2の解像度に高解像度化する処理を行う。第2の解像度は、第1の解像度よりも高い解像度であり、画素数にして例えば4倍である。高解像度化部35は、対象領域OR以外の断層画像Djの領域については、高解像度化の処理を行わない。こうして高解像度化部35は高解像度化の処理を対象領域ORのみに施すことにより、対象領域ORの高解像度部分画像HRPを生成する。高解像度部分画像HRPは、元の対象領域ORの画像よりも画素数が多く、かつ、関心構造40等の細部が精細に表現された画像である。高解像度化部35は、高解像度部分画像HRPを表示制御部36に出力する。
図14においては、図12で示した断層画像D2の対象領域ORに対して高解像度化の処理が施された場合を例示している。なお、図示は省略したが、図12の場合は、断層画像D3およびD4の対象領域ORに対しても高解像度化の処理が施される。また、図13の場合は、断層画像DC、DC-1、およびDC+1のそれぞれの対象領域ORに対して高解像度化の処理が施される。
高解像度化の処理としては、超解像の手法を適用する。超解像は、投影画像Giに基づいて断層画像Djの再構成時に設定される解像度を超える解像度とする処理である。超解像の手法としては、例えば、特開2020-025786号公報に記載された手法を挙げることができる。特開2020-025786号公報に記載された超解像の手法は、入力画像を超解像画像とするように機械学習された学習済みモデルを用いる処理である。学習済みモデルは、入力画像の画素の間に新たに画素を追加し、追加した新たな画素の画素値を補間することで、超解像画像を出力する。このような学習済みモデルは、例えば畳み込みニューラルネットワーク、リカレントニューラルネットワーク、およびサポートベクタマシン等のいずれかを用いて構築される。
なお、超解像の手法は、上記の特開2020-025786号公報に記載された手法に限定されるものではない。例えば、最近傍補間、バイリニア補間、およびバイキューブリック補間のような任意の高次の補間法を用いることができる。また、<Daniel Glasner, et al.“Super-Resolution from a Single Image”、ICCV, 29 Sept.-2 Oct. 2009>に記載されているように、繰り返し出現する小領域(パッチと呼ばれる)を画像から抽出し、抽出した小領域の画素値を用いて元の画像を超解像化する手法も用いることができる。
また、上下に隣り合う断層画像Djを用いて高解像度部分画像HRPを生成してもよい。例えば図12の断層画像D3に設定した対象領域ORについて、断層画像D2に設定した対象領域ORおよび断層画像D4に設定した対象領域ORも高解像度化に用いる。この場合、断層画像D2~D4における対象領域ORの画像を3次元画像と見なし、断層画像D3の対象領域ORの補間する画素に最も近い位置にあるk個の画素を用いたk近傍補間を行う。なお、kの値は6あるいは26等の任意の値を用いることができる。
ここで、図15を参照して、単純拡大と高解像度化との相違について説明する。図15においては、4×4画素を8×8画素とする場合を例示している。このように画像を拡大した場合、1つの画素は2×2画素に増える。単純拡大した画像(以下、単純拡大画像と略す)MGPは、増えた画素の画素値に元の画素の画素値を単に宛がった画像である。対して高解像度部分画像HRPは、増えた画素の画素値に元の画素の画素値を単に宛がうことはせず、増えた画素の画素値を周囲の画素の画素値で補間することで、構造の輪郭をより精細に表現した画像である。例えば対象領域ORの画素61は、単純拡大画像MGPおよび高解像度部分画像HRPにおいては2×2画素の領域62が対応するが、単純拡大画像MGPの領域62の画素は、画素61と同じ画素値である。対して高解像度部分画像HRPの領域62の画素は、画素61と同じ画素値のものもあれば、異なる画素値のものもある。
また、高解像度化の手法には、上述した断層画像Djに基づいて高解像度化する超解像の手法の他にも、図16に示すような、断層画像群SDを再構成する際に使用した投影画像Giを利用する方法がある。投影画像Giを利用する方法は、単純逆投影法等の周知の逆投影法を用いて、投影画像Giから、断層画像Dj内において選択された対象領域ORの画像を、高解像度部分画像HRPとして再構成する手法である。
図16に示す例では、4つの投影画像G1~G4を用いた逆投影について説明する。***Mにおけるある断層面Tj上の座標位置P100の画素値は、投影画像G1~G4における対応する座標位置の画素値を逆投影することにより算出される。こうした逆投影が、断層面Tj内の各座標位置について行われることで、断層面Tjを表す断層画像Djが再構成される。
高解像度化部35は、第1の解像度の断層画像Djを再構成する際に設定された断層面Tjにおいて、座標位置P100、P101、P102・・・の間に、さらに座標位置Ps1、Ps2、・・・を追加し、追加した座標位置Ps1、Ps2、・・・に対して、投影画像G1~G4における対応する座標位置の画素値を逆投影する。これにより、断層面Tj内に追加した座標位置Ps1、Ps2、・・・についても画素値が算出される。高解像度化部35は、このように投影画像Giを利用することにより、対象領域ORに対応する第2の解像度の高解像度部分画像HRPを生成する。
図17および図18に示すように、表示制御部36は、表示条件66Aまたは66Bにしたがって、高解像度部分画像HRPおよび断層画像Djの表示順を決定する。
図17は、図12の場合と同じく、関心構造検出部33が指定領域SRから関心構造40を検出した場合を示す。この場合、表示制御部36は、表示条件66Aにしたがって表示順を決定する。表示条件66Aは、「関心構造の面積最大」という内容である。このため、表示制御部36は、複数の高解像度部分画像HRPのうち、写っている関心構造40の面積が最大、すなわち写っている関心構造40の画素数が最も多い高解像度部分画像HRPの表示順を1位に決定する。表示制御部36は、写っている関心構造40の画素数が最も多い高解像度部分画像HRP以外の高解像度部分画像HRPについては、写っている関心構造40の面積が大きい順に表示順を決定する。また、表示制御部36は、対象領域ORを設定しておらず、高解像度部分画像HRPを生成しなかった他の断層画像Djについては、高解像度部分画像HRPよりも表示順を劣後させ、かつ上の断層面の断層画像Djほど表示順を上にする。
図17においては、断層画像D3から生成された高解像度部分画像HRP(D3)に写る関心構造40Bの面積が最大である。次いで面積が大きいのは、断層画像D4から生成された高解像度部分画像HRP(D4)に写る関心構造40Cである。そして、面積が最も小さいのは、断層画像D2から生成された高解像度部分画像HRP(D2)に写る関心構造40Aである。このため、表示制御部36は、高解像度部分画像HRP(D3)の表示順を1位に決定する。以降の高解像度部分画像HRPの表示順は、一例として、関心構造40の面積が大きい順である。そして、高解像度部分画像HRPを生成しなかった他の断層画像Djの表示順には、高解像度部分画像HRPよりも後の順位であって、上の断層面の断層画像Djほど前の順位が設定される。なお、表示条件66Aは、関心構造40の3次元的な中心が存在する高解像度部分画像HRPの表示順を1位とする、という内容であってもよい。あるいは、表示条件66Aは、同じ関心構造40が存在する複数の断層画像Djのうち、最上段または最下段の断層面の断層画像Djから生成した高解像度部分画像HRPの表示順を1位とする、という内容であってもよい。
一方、図18は、図13の場合と同じく、関心構造検出部33が指定領域SRから関心構造40を検出しなかった場合を示す。この場合、表示制御部36は、表示条件66Bにしたがって表示順を決定する。表示条件66Bは、「設定断層面のうちの基準断層面」という内容である。このため、表示制御部36は、複数の高解像度部分画像HRPのうち、基準断層面の断層画像Djから生成した高解像度部分画像HRPの表示順を1位に決定する。表示制御部36は、基準断層面の断層画像Djから生成した高解像度部分画像HRP以外の高解像度部分画像HRPについては、上の断層面の断層画像Djから生成した高解像度部分画像HRPほど表示順を上にする。また、表示制御部36は、図17の場合と同じく、対象領域ORを設定しておらず、高解像度部分画像HRPを生成しなかった他の断層画像Djについては、高解像度部分画像HRPよりも表示順を劣後させ、かつ上の断層面の断層画像Djほど表示順を上にする。
図18においては、表示制御部36は、基準断層面である中心の断層面の断層画像DCから生成された高解像度部分画像HRP(DC)の表示順を1位に決定する。以降の高解像度部分画像HRPの表示順には、上の断層面ほど前の順位が設定される。また、高解像度部分画像HRPを生成しなかった他の断層画像Djの表示順には、高解像度部分画像HRPよりも後の順位であって、上の断層面の断層画像Djほど前の順位が設定される。なお、基準断層面は、最上段の断層面、または最下段の断層面であってもよい。
表示制御部36は、表示順が1位に決定された高解像度部分画像HRPが高解像度化部35から入力された際に、図19に示す画面71をディスプレイ24に表示する。画面71には、合成2次元画像CG1、断層画像Dj、および高解像度部分画像HRPが並べて表示される。対象領域ORを指定して高解像度部分画像HRPを生成した断層画像Djには、対象領域ORが表示される。断層画像Djの下部には、複数の断層面の断層画像Djを1つずつ順に表示するための送りボタン72Aおよび戻しボタン73Aが設けられている。また、高解像度部分画像HRPの下部にも、複数の高解像度部分画像HRPを1つずつ順に表示するための送りボタン72Bおよび戻しボタン73Bが設けられている。指示受付部32は、送りボタン72Aおよび戻しボタン73Aの操作による断層画像Djの表示切替指示、および送りボタン72Bおよび戻しボタン73Bの操作による高解像度部分画像HRPの表示切替指示を受け付ける。送りボタン72Bおよび戻しボタン73Bの操作による高解像度部分画像HRPの表示切替指示は、本開示の技術に係る「高解像度部分画像の第2表示指示」の一例である。図19においては、断層画像D3、および断層画像D3から生成された高解像度部分画像HRP(D3)が表示された例を示している。なお、断層画像Djは表示せず、合成2次元画像CG1と高解像度部分画像HRPだけを表示してもよい。この場合は合成2次元画像CG1に対象領域ORが表示される。
図20および図21に示すように、高解像度化部35は、送りボタン72Bおよび戻しボタン73Bの操作による高解像度部分画像HRPの表示切替指示を指示受付部32で受け付ける度に高解像度部分画像HRPを生成する。
図20は、図12および図17で示した例において、送りボタン72Bが操作された場合を示す。この場合、表示制御部36は、最初に高解像度部分画像HRP(D3)を画面71に表示する。高解像度部分画像HRP(D3)が表示された状態で送りボタン72Bが操作された場合、高解像度化部35は高解像度部分画像HRP(D4)を生成し、表示制御部36は、高解像度部分画像HRP(D4)を画面71に表示する。高解像度部分画像HRP(D4)が表示された状態で送りボタン72Bが操作された場合、高解像度化部35は高解像度部分画像HRP(D2)を生成し、表示制御部36は、高解像度部分画像HRP(D2)を画面71に表示する。
図21は、高解像度部分画像HRP(D2)が表示された状態において、戻しボタン73Bが操作された場合を示す。この場合、高解像度化部35は、高解像度部分画像HRP(D4)を生成し、表示制御部36は、高解像度部分画像HRP(D4)を画面71に表示する。高解像度部分画像HRP(D4)が表示された状態で戻しボタン73Bが操作された場合、高解像度化部35は高解像度部分画像HRP(D3)を生成し、表示制御部36は、高解像度部分画像HRP(D3)を画面71に表示する。
次に、上記構成による作用について、図22のフローチャートを参照して説明する。まず、画像処理装置4において画像処理プログラム22が起動されると、図4で示したように、画像処理装置4のCPU21は、画像取得部30、合成部31、指示受付部32、関心構造検出部33、対象領域設定部34、高解像度化部35、および表示制御部36として機能される。
表示制御部36の制御の下、図9で示した画面45がディスプレイ24に表示される。画面45において、入力ボックス46に所望の断層画像群SDのファイルパスが入力され、表示ボタン48が操作された場合、指示受付部32において合成2次元画像CG1の第1表示指示が受け付けられる(ステップST100でYES)。
入力ボックス46にファイルパスが入力された断層画像群SDの配信要求が、画像取得部30からコンソール2または画像保存システム3に送信される。そして、配信要求に応じてコンソール2または画像保存システム3から配信された断層画像群SDが、画像取得部30により取得される(ステップST110)。断層画像群SDは、画像取得部30から合成部31に出力される。
図7および図8で示したように、合成部31により、断層画像群SDから合成2次元画像CG1が生成される(ステップST120)。もしくは、画像保存システム3に合成部31が設けられており、画像保存システム3から配信された合成2次元画像CG1が、画像取得部30で取得されてもよい。合成2次元画像CG1は、合成部31から表示制御部36に出力される。そして、図9で示したように、表示制御部36の制御の下、合成2次元画像CG1を含む画面49がディスプレイ24に表示される(ステップST130)。ユーザは、画面49を通じて合成2次元画像CG1を読影する。
画面49において、合成2次元画像CG1に写る***Mの関心のある箇所に、ユーザによりマウスのカーソル50が合わされてクリックされた場合、指定領域SRの入力指示が指示受付部32で受け付けられる(ステップST140でYES)。これにより、合成2次元画像CG1上に指定領域SRが設定される。指定領域SRの情報は、指示受付部32から対象領域設定部34に出力される。
図12または図13で示したように、対象領域設定部34により、断層画像Djにおいて指定領域SRに応じた対象領域ORが設定される(ステップST150)。対象領域ORの画像は、対象領域設定部34から高解像度化部35に出力される。
図14等で示したように、高解像度化部35により、対象領域ORの画像が高解像度化され、対象領域ORの高解像度部分画像HRPが生成される(ステップST160)。高解像度部分画像HRPは、高解像度化部35から表示制御部36に出力される。
表示制御部36の制御の下、合成2次元画像CG1、断層画像Dj、および高解像度部分画像HRPを含む図19で示した画面71がディスプレイ24に表示される(ステップST170)。ユーザは、画面71を通じて、断層画像Djおよび高解像度部分画像HRPを詳細に読影する。
以上説明したように、画像処理装置4のCPU21は、画像取得部30、指示受付部32、対象領域設定部34、高解像度化部35、および表示制御部36として機能する。画像取得部30は、***Mの複数の断層面をそれぞれ表し、第1の解像度を有する複数の断層画像Djを取得する。指示受付部32は、ユーザからの読影に関する操作指示として、指定領域SRの入力指示を受け付ける。対象領域設定部34は、指示受付部32において指定領域SRの入力指示を受け付けた場合に、断層画像Djの一部の領域であって、指定領域SRに応じた領域を、対象領域ORとして設定する。高解像度化部35は、第1の解像度よりも高い第2の解像度とする処理を対象領域ORのみに施すことにより、対象領域ORの高解像度部分画像HRPを生成する。表示制御部36は、高解像度部分画像HRPを表示する。
このように、高解像度化する領域は対象領域ORのみに限られる。このため、断層画像Djの全領域を高解像度化する場合と比べて、高解像度の断層画像(この場合は高解像度部分画像HRP)の表示に掛かる時間を短縮化することが可能となる。また、事前にすべての断層面の断層画像Djを高解像度化する必要がないため、ストレージ23の記憶容量が圧迫される等の問題も生じない。
指示受付部32は、読影に関する操作指示として、***Mの投影像である2次元画像の一例である合成2次元画像CG1に対する指定領域SRの入力指示を受け付ける。対象領域設定部34は、指定領域SRに基づいて対象領域ORを設定する。このため、ユーザが関心のある箇所をピンポイントで高解像度化することができる。
図12で示したように、関心構造検出部33は、指定領域SRに対して関心構造40を検出する処理を行う。関心構造40を検出した場合、対象領域設定部34は、断層画像Djにおいて関心構造40を含む領域を、対象領域ORとして設定する。このため、関心構造40を高解像度化して詳細に読影することができる。
一方、図13で示したように、関心構造検出部33において関心構造40を検出しなかった場合、予め定められた設定断層面の断層画像Djにおいて指定領域SRに対応する領域を、対象領域ORとして設定する。このため、関心構造40は認められないが、ユーザが確認のために一応見ておこうとして、合成2次元画像CG1の***Mの部分をクリックした場合等にも対応することができる。なお、関心構造検出部33において関心構造40を検出しなかった場合は、対象領域ORの設定、高解像度部分画像HRPの生成、および高解像度部分画像HRPの表示を行わずに、「関心構造が見つかりません。他の部分を指定して下さい。」といった警告メッセージの表示画面を画面49上に表示する等してもよい。
図11で示したように、関心構造40は、腫瘤51、スピキュラ52、石灰化53、および線構造54のうち少なくとも1つである。腫瘤51は数%程度が悪性の可能性がある。スピキュラ52は、硬癌や浸潤性小葉癌に特徴的な所見である。石灰化53は癌化する可能性がある。線構造54は、腫瘤51、スピキュラ52、および石灰化53といった病変が発生しやすい。このため、これら腫瘤51、スピキュラ52、石灰化53、および線構造54のうちの少なくとも1つを関心構造40とすれば、より効率的な読影を行うことができる。
図14で示したように、高解像度化部35は、第1の解像度を第2の解像度とする処理に、超解像の手法を適用する。このため、細部が非常に高精細に表現された画像で読影を行うことができる。
図20および図21で示したように、対象領域設定部34において対象領域ORを複数設定し、かつ高解像度化部35において高解像度部分画像HRPを複数生成する場合、ユーザからの高解像度部分画像HRPの第2表示指示(送りボタン72Bおよび戻しボタン73Bの操作)を受け付ける度に高解像度部分画像HRPを生成する。高解像度部分画像HRPは比較的短時間で生成することができる。このため、高解像度部分画像HRPの第2表示指示があってから実際に高解像度部分画像HRPが表示されるまでに、実用上問題視される程の長いタイムラグが生じるおそれはない。
図19の画面71で示したように、表示制御部36は、対象領域ORを設定した断層画像Djとは別に高解像度部分画像HRPを表示する。このため、断層画像Djで***Mの全体を観察しつつ、高解像度部分画像HRPで対象領域ORを詳細に観察することができる。
図17および図18で示したように、表示制御部36は、対象領域ORを設定していない断層画像Djよりも、高解像度部分画像HRPを先に表示する。このため、より優先順位が高い高解像度部分画像HRPを先んじて読影することができる。
図17および図18で示したように、対象領域設定部34において対象領域ORを複数設定し、かつ高解像度化部35において高解像度部分画像HRPを複数生成する場合、表示制御部36は、複数の高解像度部分画像HRPのうち、予め定められた表示条件66Aまたは66Bを満たす1つの高解像度部分画像HRPを最初に表示する。このため、最も重要と考えられる高解像度部分画像HRPを最初に読影することができる。
図14の説明では、図12の場合、断層画像D2、D3、およびD4のすべての対象領域ORの高解像度部分画像HRPを生成するとしたが、これに限らない。面積が最大の関心構造40Bが写る断層画像D3の対象領域ORの高解像度部分画像HRP(D3)のみを生成してもよい。同様に、図13の場合、断層画像DC、DC-1、およびDC+1のすべての対象領域ORの高解像度部分画像HRPを生成するとしたが、これに限らない。例えば中心の断層面の断層画像DCの対象領域ORの高解像度部分画像HRP(DC)のみを生成してもよい。
複数の放射線源16を各線源位置Siに並べ、複数の放射線源16から順次放射線を照射させて投影画像Giを撮影してもよい。
なお、図23に示すように、ユーザによる高解像度部分画像HRPの第2表示指示を受け付ける度ではなく、高解像度部分画像HRPの第2表示指示を受け付ける前に、複数の対象領域ORの各々の高解像度部分画像HRPを生成してもよい。
図23は、図12および図17で示した例において、送りボタン72Bが操作された場合を示す。この場合、高解像度化部35は、高解像度部分画像HRP(D2)、HRP(D3)、およびHRP(D4)を事前に生成する。表示制御部36は、最初に高解像度部分画像HRP(D3)を画面71に表示する。高解像度部分画像HRP(D3)が表示された状態で送りボタン72Bが操作された場合、表示制御部36は、高解像度部分画像HRP(D4)を画面71に表示する。高解像度部分画像HRP(D4)が表示された状態で送りボタン72Bが操作された場合、表示制御部36は、高解像度部分画像HRP(D2)を画面71に表示する。
図23で示した態様によれば、すべての高解像度部分画像HRPを先に生成しておくので、高解像度部分画像HRPの第2表示指示があってから実際に高解像度部分画像HRPが表示されるまでに、ほとんど時間が掛からない。また、断層画像Djの全領域を高解像度化した画像よりも高解像度部分画像HRPはデータ量が少ないため、ストレージ23の記憶容量が圧迫されるおそれもない。なお、図23は、図12および図17で示した例に適用した場合を示したが、図13および図18で示した例に適用して、事前に高解像度部分画像HRP(DC)、HRP(DC-1)、およびHRP(DC+1)を生成してもよい。
図24および図25に示す表示態様を採用してもよい。
図24に示すように、表示制御部36は、対象領域ORを設定した断層画像Djの対象領域OR以外の領域を、第2の解像度に合わせて単純拡大し、断層画像Djを単純拡大断層画像Dj_MGPとする。そして、表示制御部36は、単純拡大断層画像Dj_MGPに、高解像度部分画像HRPを合成する。図24においては、関心構造40Bに対象領域ORが設定された断層画像D3の単純拡大断層画像D3_MGPに、関心構造40Bを含む高解像度部分画像HRPを合成する様子を例示している。
この場合、表示制御部36は、図19で示した画面71に代えて、図25に示す画面81をディスプレイ24に表示する。画面81には、合成2次元画像CG1と、高解像度部分画像HRPが合成された単純拡大断層画像Dj_MGPとが並べて表示される。図25では、単純拡大断層画像D3_MGPが表示された例を示している。
図24および図25で示した表示態様によれば、断層画像Dj上で高解像度部分画像HRPを観察することができる。なお、図19で示した画面71と同様に、画面81において高解像度部分画像HRPも並べて表示してもよい。
図10で示した画面49においては、ユーザが関心のある箇所にカーソル50を合わせてクリックすることで指定領域SRが指定され、その後諸々の処理が行われて高解像度部分画像HRPが生成され、図19で示した画面71によって高解像度部分画像HRPが表示されるが、これに限らない。図26~図28に示す態様を採用してもよい。
図26において、図10で示した画面49に代えてディスプレイ24に表示される画面86には、アノテーション付与ボタン87および高解像度化ボタン88が設けられている。合成2次元画像CG1に写る***Mの関心のある箇所にアノテーション89を付与したい場合、ユーザは、図27に示すように、関心のある箇所にマウスのカーソル50を合わせてクリックしたうえで、アノテーション付与ボタン87を選択する。これにより、カーソル50を合わせた箇所にアノテーション89を付与することができる。
一方、関心のある箇所の高解像度部分画像HRPを見たい場合、ユーザは、図28に示すように、関心のある箇所にマウスのカーソル50を合わせてクリックしたうえで、高解像度化ボタン88を選択する。これにより、カーソル50を合わせた箇所に指定領域SRが設定され、その後諸々の処理が行われて高解像度部分画像HRPが表示される。高解像度化ボタン88は、本開示の技術に係る「グラフィカルユーザインターフェース」の一例である。また、高解像度化ボタン88の操作は、本開示の技術に係る「高解像度部分画像の第2表示指示」の一例である。
図26~図28で示した態様によれば、アノテーション89の付与といった高解像度化以外の処理を関心のある箇所に対して行うことができる。高解像度化以外の処理としては、アノテーション89の付与に限らず、例えばカーソル50を合わせてクリックした箇所に病変の種類を推定するCADを適用する処理等でもよい。なお、マウスのクリックと高解像度化ボタン88の選択の順序を逆にしてもよい。つまり、高解像度化ボタン88を選択したうえで、関心のある箇所にマウスのカーソル50を合わせてクリックしてもよい。
[第2実施形態]
上記第1実施形態では、ユーザの操作により設定された指定領域SRに基づいて対象領域ORを設定しているが、これに限らない。図29~図31に示す第2実施形態を採用してもよい。
図29において、関心構造検出部33は、合成2次元画像CG1の第1表示指示を指示受付部32で受け付けた場合に、合成2次元画像CG1に対して関心構造40を検出する処理を行う。合成2次元画像CG1の第1表示指示は、図9で示したように、表示ボタン48の操作である。また、関心構造検出部33が検出する関心構造40は、上記第1実施形態と同じく、腫瘤51、スピキュラ52、石灰化53、および線構造54である。なお、合成2次元画像CG1に代えて、単純2次元画像Gc0に対して関心構造40を検出する処理を行ってもよい。
関心構造検出部33は、検出した関心構造40を含む検出領域DRを設定する。検出領域DRは、検出した関心構造40を囲み、関心構造40の中心と中心が一致する矩形である。検出領域DRは、関心構造40よりも一回り、例えば2割~3割程度大きいサイズを有する。関心構造検出部33は、検出領域DRの画像情報を対象領域設定部34に出力する。図29においては、関心構造40_1および40_2が検出され、関心構造40_1に対して検出領域DR_1が設定され、関心構造40_2に対して検出領域DR_2が設定された場合を例示している。なお、検出領域DRは、指定領域SRと同様に、予め定められたサイズであってもよい。また、円形等の任意の形状であってもよいし、関心構造40の種類に応じたサイズであってもよい。また、検出領域DRは、関心構造検出部33で検出した関心構造40の輪郭で取り囲まれる領域であってもよい。
対象領域設定部34は、断層画像Djにおいて、検出した関心構造40を含む領域、すなわち検出領域DRを、対象領域ORとして設定する。より詳しくは、対象領域設定部34は、上記第1実施形態と同様に、断層面情報DPIを参照して関心構造40が存在する断層面を特定し、特定した断層面の断層画像Djの検出領域DRと同じ領域を、対象領域ORとして設定する。図29においては、関心構造40_1の検出領域DR_1に対して、関心構造40_1に対応する関心構造40_1A、40_1B、40_1C、および40_1Dの対象領域OR_1を設定し、関心構造40_2の検出領域DR_2に対して、関心構造40_2に対応する関心構造40_2A、40_2B、および40_2Cの対象領域OR_2を設定した場合を例示している。なお、検出領域DRと同じ領域ではなく、関心構造40の輪郭で取り囲まれる領域を、対象領域ORとして設定してもよい。
本第2実施形態では、図30に示すように、合成2次元画像CG1を含む画面91に、高解像度画像表示ボタン92が設けられる。この高解像度画像表示ボタン92が選択された場合に、図19で示した高解像度部分画像HRPを含む画面71、あるいは図25で示した高解像度部分画像HRPが合成された単純拡大断層画像Dj_MGPを含む画面81が表示される。すなわち、高解像度画像表示ボタン92は、本開示の技術に係る「グラフィカルユーザインターフェース」の一例である。また、高解像度画像表示ボタン92の操作は、本開示の技術に係る「高解像度部分画像の第2表示指示」の一例である。なお、最初に表示する高解像度部分画像HRPは、例えば図17の場合と同じく、関心構造40の面積が最大の高解像度部分画像HRPである。
図31は、本第2実施形態の作用を説明するためのフローチャートである。上記第1実施形態と同じく、指示受付部32において合成2次元画像CG1の第1表示指示が受け付けられ(ステップST100でYES)、画像取得部30において断層画像群SDが取得される(ステップST110)。そして、合成部31により合成2次元画像CG1が生成され(ステップST120)、表示制御部36の制御の下、合成2次元画像CG1を含む画面91がディスプレイ24に表示される(ステップST130)。
画面91において合成2次元画像CG1の読影が行われている間に、図29で示したように、関心構造検出部33により、合成2次元画像CG1に対して関心構造40を検出する処理が行われる(ステップST200)。そして、対象領域設定部34により、断層画像Djにおいて、関心構造40を含む検出領域DRに応じた対象領域ORが設定される(ステップST210)。続いて、高解像度化部35により、対象領域ORの画像が高解像度化され、対象領域ORの高解像度部分画像HRPが生成される(ステップST160)。
画面91において、高解像度画像表示ボタン92が選択された場合、高解像度部分画像HRPの第2表示指示が指示受付部32で受け付けられる(ステップST220でYES)。そして、表示制御部36の制御の下、高解像度部分画像HRPがディスプレイ24に表示される(ステップST170)。
このように、第2実施形態では、合成2次元画像CG1の第1表示指示を受け付けた場合に、関心構造検出部33により、合成2次元画像CG1に対して関心構造40を検出する処理を行う。そして、対象領域設定部34により、断層画像Djにおいて、検出した関心構造40を含む領域を、対象領域ORとして設定する。このため、上記第1実施形態のように関心のある箇所にマウスのカーソル50を合わせてクリックするという操作を行うことなく、高解像度部分画像HRPを表示することができる。また、関心構造検出部33の検出精度が高ければ、ユーザの目では見落とすかもしれない関心構造40を余すところなく検出して、高解像度部分画像HRPを生成、表示することができる。
なお、高解像度画像表示ボタン92を設けることなく、高解像度部分画像HRPが生成され次第、画面91に高解像度部分画像HRPを表示してもよい。また、高解像度画像表示ボタン92が選択された場合に、関心構造40を検出する処理を行ってもよい。
上記第1実施形態の関心のある箇所にマウスのカーソル50を合わせてクリックする操作をユーザに行わせる態様と、本第2実施形態の態様とを、ユーザが選択可能に構成してもよい。
合成2次元画像CG1に代えて単純2次元画像Gc0を用いる場合は、断層面情報DPIを以下の方法で生成してもよい。すなわち、単純2次元画像Gc0および断層画像Djを複数の領域(例えば2画素×2画素の領域)に分割する。そして、単純2次元画像Gc0の領域と各断層画像Djの領域との相関を求め、相関が相対的に大きい領域を有する断層画像Djの断層面を、単純2次元画像Gc0の当該領域の画素に対応する断層面として記録する。なお、合成2次元画像CG1の場合においても同様に、上記の相関を求める手法を適用して断層面情報DPIを生成してもよい。
複数の断層面の断層画像Djを1つずつ順に表示するための操作として、送りボタン72Aおよび戻しボタン73Aの操作を例示し、複数の高解像度部分画像HRPを1つずつ順に表示するための操作として、送りボタン72Bおよび戻しボタン73Bの操作を例示したが、これに限らない。マウスのスクロールボタンの操作に応じて、複数の断層面の断層画像Dj、および/または、複数の高解像度部分画像HRPを順に表示してもよい。
上記各実施形態では、トモシンセシス撮影で得られた断層画像Djを例示したが、これに限らない。例えばCT(Computed Tomography)撮影、PET(Positron Emission Tomography)撮影、SPECT(Single Photon Emission Computed Tomography)撮影、あるいはMRI(Magnetic Resonance Imaging)撮影で得られた断層画像でもよい。
上記各実施形態において、例えば、画像取得部30、合成部31、指示受付部32、関心構造検出部33、対象領域設定部34、高解像度化部35、および表示制御部36といった各種の処理を実行する処理部(Processing Unit)のハードウェア的な構造としては、次に示す各種のプロセッサ(Processor)を用いることができる。各種のプロセッサには、上述したように、ソフトウェア(画像処理プログラム22)を実行して各種の処理部として機能する汎用的なプロセッサであるCPU21に加えて、FPGA(Field Programmable Gate Array)等の製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス(Programmable Logic Device:PLD)、ASIC(Application Specific Integrated Circuit)等の特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路等が含まれる。
1つの処理部は、これらの各種のプロセッサのうちの1つで構成されてもよいし、同種または異種の2つ以上のプロセッサの組み合わせ(例えば、複数のFPGAの組み合わせ、および/または、CPUとFPGAとの組み合わせ)で構成されてもよい。また、複数の処理部を1つのプロセッサで構成してもよい。
複数の処理部を1つのプロセッサで構成する例としては、第1に、クライアントおよびサーバ等のコンピュータに代表されるように、1つ以上のCPUとソフトウェアの組み合わせで1つのプロセッサを構成し、このプロセッサが複数の処理部として機能する形態がある。第2に、システムオンチップ(System On Chip:SoC)等に代表されるように、複数の処理部を含むシステム全体の機能を1つのIC(Integrated Circuit)チップで実現するプロセッサを使用する形態がある。このように、各種の処理部は、ハードウェア的な構造として、上記各種のプロセッサの1つ以上を用いて構成される。
さらに、これらの各種のプロセッサのハードウェア的な構造としては、より具体的には、半導体素子等の回路素子を組み合わせた電気回路(circuitry)を用いることができる。
本開示の技術は、上述の種々の実施形態および/または種々の変形例を適宜組み合わせることも可能である。また、上記各実施形態に限らず、要旨を逸脱しない限り種々の構成を採用し得ることはもちろんである。
以上に示した記載内容および図示内容は、本開示の技術に係る部分についての詳細な説明であり、本開示の技術の一例に過ぎない。例えば、上記の構成、機能、作用、および効果に関する説明は、本開示の技術に係る部分の構成、機能、作用、および効果の一例に関する説明である。よって、本開示の技術の主旨を逸脱しない範囲内において、以上に示した記載内容および図示内容に対して、不要な部分を削除したり、新たな要素を追加したり、置き換えたりしてもよいことはいうまでもない。また、錯綜を回避し、本開示の技術に係る部分の理解を容易にするために、以上に示した記載内容および図示内容では、本開示の技術の実施を可能にする上で特に説明を要しない技術常識等に関する説明は省略されている。
本明細書において、「Aおよび/またはB」は、「AおよびBのうちの少なくとも1つ」と同義である。つまり、「Aおよび/またはB」は、Aだけであってもよいし、Bだけであってもよいし、AおよびBの組み合わせであってもよい、という意味である。また、本明細書において、3つ以上の事柄を「および/または」で結び付けて表現する場合も、「Aおよび/またはB」と同様の考え方が適用される。
本明細書に記載されたすべての文献、特許出願および技術規格は、個々の文献、特許出願および技術規格が参照により取り込まれることが具体的かつ個々に記された場合と同程度に、本明細書中に参照により取り込まれる。

Claims (14)

  1. プロセッサと、
    前記プロセッサに接続または内蔵されたメモリと、を備え、
    前記プロセッサ
    被写体の複数の断層面をそれぞれ表し、第1の解像度を有する複数の断層画像を取得し、
    ユーザからの読影に関する操作指示として、前記被写体の投影像である2次元画像に対する指定領域の入力指示を受け付けた場合に、前記指定領域に基づいて前記断層画像の一部の領域を対象領域として設定し、
    前記第1の解像度よりも高い第2の解像度とする処理を前記対象領域のみに施すことにより、前記対象領域の高解像度部分画像を生成し、
    前記高解像度部分画像を表示する、
    画像処理装置であって、
    前記プロセッサは、
    前記対象領域を複数設定し、かつ前記高解像度部分画像を複数生成する場合、ユーザからの前記高解像度部分画像の表示指示を受け付ける度に、複数の前記高解像度部分画像を1つずつ順に生成して表示する
    画像処理装置。
  2. 前記プロセッサは、
    前記指定領域に対して関心構造を検出する処理を行い、
    前記関心構造を検出した場合、前記断層画像において前記関心構造を含む領域を、前記対象領域として設定する請求項1に記載の画像処理装置。
  3. 前記プロセッサは、
    前記指定領域に対して関心構造を検出する処理を行い、
    前記関心構造を検出しなかった場合、予め定められた設定断層面の断層画像において前記指定領域に対応する領域を、前記対象領域として設定する請求項1または請求項2に記載の画像処理装置。
  4. 前記被写体は***であり、
    前記関心構造は、腫瘤、スピキュラ、石灰化、および線構造のうち少なくとも1つである請求項2または請求項3に記載の画像処理装置。
  5. 前記複数の断層画像は、異なる複数の照射角度から被写体に放射線を照射するトモシンセシス撮影により得られたものであり、
    前記2次元画像は、放射線源を放射線検出器に正対させて前記放射線を照射する単純撮影により得られた単純2次元画像、および合成画像生成技術を用いて前記複数の断層画像から合成された疑似的な単純2次元画像である合成2次元画像のうちのいずれかである請求項1から請求項4のいずれか1項に記載の画像処理装置。
  6. 前記プロセッサは、
    前記第1の解像度を前記第2の解像度とする処理に、超解像の手法を適用する請求項1から請求項5のいずれか1項に記載の画像処理装置。
  7. 前記プロセッサは、
    前記対象領域を設定した断層画像とは別に前記高解像度部分画像を表示する請求項1から請求項のいずれか1項に記載の画像処理装置。
  8. 前記プロセッサは、
    前記対象領域を設定した断層画像の前記対象領域以外の領域を、前記第2の解像度に合わせて単純拡大した拡大画像に、前記高解像度部分画像を合成して表示する請求項1から請求項のいずれか1項に記載の画像処理装置。
  9. 前記プロセッサは、
    前記対象領域を設定していない前記断層画像よりも、前記高解像度部分画像を先に表示する請求項1から請求項のいずれか1項に記載の画像処理装置。
  10. 前記プロセッサは、
    前記対象領域を複数設定し、かつ前記高解像度部分画像を複数生成する場合、複数の前記高解像度部分画像のうち、予め定められた表示条件を満たす1つの前記高解像度部分画像を最初に表示する請求項1から請求項のいずれか1項に記載の画像処理装置。
  11. 前記プロセッサは、
    前記操作指示を受け付けた後に、グラフィカルユーザインターフェースを通じて前記高解像度部分画像の表示指示を受け付けた場合に、前記高解像度部分画像を表示する請求項1から請求項10のいずれか1項に記載の画像処理装置。
  12. 被写体の複数の断層面をそれぞれ表し、第1の解像度を有する複数の断層画像を取得すること、
    ユーザからの読影に関する操作指示として、前記被写体の投影像である2次元画像に対する指定領域の入力指示を受け付けた場合に、前記指定領域に基づいて前記断層画像の一部の領域を対象領域として設定すること、
    前記第1の解像度よりも高い第2の解像度とする処理を前記対象領域のみに施すことにより、前記対象領域の高解像度部分画像を生成すること、および、
    前記高解像度部分画像を表示すること、
    を含む画像処理装置の作動方法であって、
    前記対象領域を複数設定し、かつ前記高解像度部分画像を複数生成する場合、ユーザからの前記高解像度部分画像の表示指示を受け付ける度に、複数の前記高解像度部分画像を1つずつ順に生成して表示することを含む
    画像処理装置の作動方法。
  13. 被写体の複数の断層面をそれぞれ表し、第1の解像度を有する複数の断層画像を取得すること、
    ユーザからの読影に関する操作指示として、前記被写体の投影像である2次元画像に対する指定領域の入力指示を受け付けた場合に、前記指定領域に基づいて前記断層画像の一部の領域を対象領域として設定すること、
    前記第1の解像度よりも高い第2の解像度とする処理を前記対象領域のみに施すことにより、前記対象領域の高解像度部分画像を生成すること、および、
    前記高解像度部分画像を表示すること、
    を含む処理をコンピュータに実行させる画像処理装置の作動プログラムであって、
    前記対象領域を複数設定し、かつ前記高解像度部分画像を複数生成する場合、ユーザからの前記高解像度部分画像の表示指示を受け付ける度に、複数の前記高解像度部分画像を1つずつ順に生成して表示することを含む処理を前記コンピュータに実行させる
    画像処理装置の作動プログラム。
  14. プロセッサと、
    前記プロセッサに接続または内蔵されたメモリと、を備え、
    前記プロセッサは、
    被写体の複数の断層面をそれぞれ表し、第1の解像度を有する複数の断層画像を取得し、
    ユーザからの読影に関する操作指示として、前記被写体の投影像である2次元画像に対する指定領域の入力指示を受け付けた場合に、前記指定領域に基づいて前記断層画像の一部の領域を対象領域として設定し、
    前記第1の解像度よりも高い第2の解像度とする処理を前記対象領域のみに施すことにより、前記対象領域の高解像度部分画像を生成し、
    前記高解像度部分画像を表示する、
    画像処理装置であって、
    前記2次元画像は、前記第1の解像度の複数の断層画像を、前記断層面が並ぶ深さ方向に加算又は平均化することにより生成された合成2次元画像である、
    画像処理装置。
JP2022553471A 2020-09-29 2021-06-22 画像処理装置、画像処理装置の作動方法、画像処理装置の作動プログラム Active JP7479494B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2020163981 2020-09-29
JP2020163981 2020-09-29
PCT/JP2021/023596 WO2022070532A1 (ja) 2020-09-29 2021-06-22 画像処理装置、画像処理装置の作動方法、画像処理装置の作動プログラム

Publications (3)

Publication Number Publication Date
JPWO2022070532A1 JPWO2022070532A1 (ja) 2022-04-07
JPWO2022070532A5 JPWO2022070532A5 (ja) 2023-05-31
JP7479494B2 true JP7479494B2 (ja) 2024-05-08

Family

ID=80949848

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022553471A Active JP7479494B2 (ja) 2020-09-29 2021-06-22 画像処理装置、画像処理装置の作動方法、画像処理装置の作動プログラム

Country Status (4)

Country Link
US (1) US20230206397A1 (ja)
EP (1) EP4224414A4 (ja)
JP (1) JP7479494B2 (ja)
WO (1) WO2022070532A1 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006087921A (ja) 2004-09-21 2006-04-06 General Electric Co <Ge> 対象領域情報を用いて連続的に多重解像度3次元画像を再構成する方法およびシステム
JP2009276163A (ja) 2008-05-14 2009-11-26 Shimadzu Corp X線断層像撮影装置
JP2010011964A (ja) 2008-07-02 2010-01-21 Toshiba Corp 医用画像処理装置および医用画像処理プログラム
JP2015006324A (ja) 2013-05-27 2015-01-15 株式会社東芝 X線ct装置及び画像診断装置

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8634622B2 (en) * 2008-10-16 2014-01-21 Icad, Inc. Computer-aided detection of regions of interest in tomographic breast imagery
US9743891B2 (en) 2012-07-09 2017-08-29 The Trustees Of The University Of Pennsylvania Super-resolution tomosynthesis imaging systems and methods
WO2014145452A1 (en) * 2013-03-15 2014-09-18 Real Time Tomography, Llc Enhancements for displaying and viewing tomosynthesis images
JP2020025786A (ja) 2018-08-14 2020-02-20 富士フイルム株式会社 画像処理装置、方法及びプログラム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006087921A (ja) 2004-09-21 2006-04-06 General Electric Co <Ge> 対象領域情報を用いて連続的に多重解像度3次元画像を再構成する方法およびシステム
JP2009276163A (ja) 2008-05-14 2009-11-26 Shimadzu Corp X線断層像撮影装置
JP2010011964A (ja) 2008-07-02 2010-01-21 Toshiba Corp 医用画像処理装置および医用画像処理プログラム
JP2015006324A (ja) 2013-05-27 2015-01-15 株式会社東芝 X線ct装置及び画像診断装置

Also Published As

Publication number Publication date
JPWO2022070532A1 (ja) 2022-04-07
EP4224414A4 (en) 2024-03-13
WO2022070532A1 (ja) 2022-04-07
EP4224414A1 (en) 2023-08-09
US20230206397A1 (en) 2023-06-29

Similar Documents

Publication Publication Date Title
JP6208731B2 (ja) トモシンセシスデータセットから2d画像を生成するためのシステムおよび方法
JP7326070B2 (ja) 画像表示装置、方法およびプログラム、画像管理装置、方法およびプログラム
JP7479494B2 (ja) 画像処理装置、画像処理装置の作動方法、画像処理装置の作動プログラム
JP7270781B2 (ja) 画像設定装置、画像設定装置の作動方法および画像設定プログラム
JP7203705B2 (ja) 画像処理装置、方法およびプログラム、並びに画像表示装置、方法およびプログラム
JP7451748B2 (ja) 画像処理装置、画像処理装置の作動方法、画像処理装置の作動プログラム
JP7384990B2 (ja) 画像管理装置、方法およびプログラム
US20230146430A1 (en) Image processing device, image processing method, and image processing program
JP7209599B2 (ja) 画像処理装置、方法およびプログラム
US20220392064A1 (en) Image processing device, image processing method, and image processing program
JP7446410B2 (ja) 画像処理装置、方法およびプログラム
US20220309671A1 (en) Image processing device, image processing method, and image processing program
WO2022097524A1 (ja) 画像処理装置、方法およびプログラム、並びに画像表示装置、方法およびプログラム
WO2022070570A1 (ja) 画像処理装置、画像処理方法、及び画像処理プログラム
JP7321299B2 (ja) 画像設定装置、画像設定装置の作動方法および画像設定プログラム
JP7270782B2 (ja) 画像設定装置、画像設定装置の作動方法および画像設定プログラム
US20220309657A1 (en) Image processing device, image processing method, and image processing program

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230308

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230308

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20231121

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240115

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240402

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240423

R150 Certificate of patent or registration of utility model

Ref document number: 7479494

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150