JP6667231B2 - 情報処理装置、画像処理装置、情報処理システム、情報処理方法、及びプログラム。 - Google Patents

情報処理装置、画像処理装置、情報処理システム、情報処理方法、及びプログラム。 Download PDF

Info

Publication number
JP6667231B2
JP6667231B2 JP2015171258A JP2015171258A JP6667231B2 JP 6667231 B2 JP6667231 B2 JP 6667231B2 JP 2015171258 A JP2015171258 A JP 2015171258A JP 2015171258 A JP2015171258 A JP 2015171258A JP 6667231 B2 JP6667231 B2 JP 6667231B2
Authority
JP
Japan
Prior art keywords
projection
image
image data
information processing
processing apparatus
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2015171258A
Other languages
English (en)
Other versions
JP2017046814A (ja
Inventor
秀謙 溝部
秀謙 溝部
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2015171258A priority Critical patent/JP6667231B2/ja
Priority to US15/240,323 priority patent/US10304182B2/en
Priority to EP16185730.5A priority patent/EP3136338B1/en
Priority to CN201610737693.1A priority patent/CN106485691B/zh
Publication of JP2017046814A publication Critical patent/JP2017046814A/ja
Priority to US16/286,439 priority patent/US10650516B2/en
Application granted granted Critical
Publication of JP6667231B2 publication Critical patent/JP6667231B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • G06T11/003Reconstruction from projections, e.g. tomography
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • G06T11/003Reconstruction from projections, e.g. tomography
    • G06T11/006Inverse problem, transformation from projection-space into object-space, e.g. transform methods, back-projection, algebraic methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • G06T11/003Reconstruction from projections, e.g. tomography
    • G06T11/008Specific post-processing after tomographic reconstruction, e.g. voxelisation, metal artifact correction
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/003D [Three Dimensional] image rendering
    • G06T15/08Volume rendering
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/50Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00Indexing scheme for image data processing or generation, in general
    • G06T2200/04Indexing scheme for image data processing or generation, in general involving 3D image data
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10072Tomographic images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10072Tomographic images
    • G06T2207/10081Computed x-ray tomography [CT]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20212Image combination
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20212Image combination
    • G06T2207/20224Image subtraction
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Graphics (AREA)
  • Mathematical Analysis (AREA)
  • Algebra (AREA)
  • Mathematical Optimization (AREA)
  • Mathematical Physics (AREA)
  • Pure & Applied Mathematics (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)
  • Image Analysis (AREA)
  • Nuclear Medicine (AREA)
  • Image Processing (AREA)

Description

本発明は、情報処理装置、画像処理装置、情報処理システム、情報処理方法、及びプログラムに関する。
医師が医用画像を用いて診療を行う際に、病変部位の発見や経過観察のために、複数の時点で同一の領域を撮影して得られた複数の医用画像を観察することがある。その場合に、病態に変化のあった領域を強調するために、撮影された時点の異なる2枚の3次元画像間の差分を表す画像、すなわち経時差分画像を作成することがある。
特許文献1には過去に撮影された画像と現在の画像とを差分して差分画像を生成することが開示されている。
特開2002―190010号公報
異なる時点で撮影された医用画像においては、全ての条件が必ずしも完全に同一ではない場合がある。したがって、経時差分画像において、異なる時点で病態に変化のあった領域が強調される以外に、ランダムノイズや条件の違いによるアーティファクトが含まれるおそれがある。3次元画像である経時差分画像に対して、ある方向から投影する投影処理により、経時差分画像に含まれるアーティファクトを低減し得る。同時に、この投影処理によって、病態に変化のあった領域として強調されている領域が重複してしまうおそれがある。
本発明の実施形態の一つに係る情報処理装置は、異なる複数の時点で被検体を撮影して得られる複数の3次元画像データに基づいて、前記複数の時点のうち第一の時点に対して第二の時点で画素値が増加した3次元部分領域と、画素値が減少した3次元部分領域とに応じた投影画像であって、異なる複数の投影方向から投影した複数の投影画像を取得する取得手段と、前記複数の投影画像を表示部に表示させる表示制御手段と、を有することを特徴とする。
本発明によれば、異なる時点で撮影された3次元画像データ間で変化があった領域に応じた投影画像を表示させることにより、病態に変化があった領域を、アーティファクトの影響を少なくして提示することができる。そして、異なる複数の投影方向から投影した複数の投影画像を表示させることにより、ある投影方向において重複していた領域を、別の投影方向からの投影画像に表示させることができる。よって、ユーザは病態に変化があった領域を見落としてしまう可能性を低減することができる。
第一の実施形態にかかる情報処理装置を含むシステムの一例を示す図である。 第一の実施形態にかかる画像処理装置及び情報処理装置のハードウェアの構成の一例を示す図である。 第一の実施形態にかかる位置合わせ処理に含まれる処理の一例を示すフローチャートである。 第一の実施形態にかかる差分処理の一例を示す図である。 第一の実施形態にかかる差分処理の一例を示す図である。 第一の実施形態にかかる差分処理の一例を示す図である。 第一の実施形態にかかる投影処理の一例を示す図である。 第一の実施形態にかかる投影処理の一例を示す図である。 第一の実施形態にかかる投影処理の一例を示す図である。 第一の実施形態にかかる画像処理装置の処理の一例を示すフローチャートである。 第一の実施形態にかかる情報処理装置の処理の一例を示すフローチャートである。 第一の実施形態にかかる情報処理装置の表示部に表示される画面の一例を示す図である。 第一の実施形態にかかる投影処理の一例を示す図である。 第二の実施形態にかかる画像処理装置の処理の一例を示すフローチャートである。 第二の実施形態にかかる情報処理装置の処理の一例を示すフローチャートである。
以下、図面を参照して本発明の実施形態を説明する。
[第一の実施形態]
本発明の第一の実施形態にかかる情報処理装置は、異なる複数の時点で被検体を撮影して得られる複数の3次元画像データに基づく経時差分画像について、複数の方向から投影した投影画像を取得し、表示部に表示させる。
図1は、第一の実施形態にかかる情報処理装置を含むシステムの一例を示す図である。当該システムは、医用画像撮影装置30、PACS40,画像処理装置50、情報処理装置60を含み、ネットワーク20によりそれぞれ接続されている。
ネットワーク20は、当該システムに含まれる各装置を接続する。ネットワーク20は、たとえばローカルエリアネットワーク(LAN)である。ネットワーク20は、たとえばリピータ、ハブ、ブリッジ、ルータといった機器と、インターネットといった回線により構成される。
医用画像撮影装置30は、診断に用いられる医用画像を撮影するための装置である。たとえば、磁気共鳴イメージング(MRI)撮影装置、X線コンピュータ断層(CT)撮影装置、ポジトロン断層(PET)撮影装置である。当該システムには複数の医用画像撮影装置30が含まれ得る。
PACS40は、画像保存通信システム(Picture Archiving and Communication System)である。医用画像撮影装置30により撮影された画像を受信して保存し、接続された装置の要求に応じて画像を各装置に送信する。また、受信した画像とともに、その画像に関連付けられた各種データを保存可能なデータベースを備える。
画像処理装置50は、第一の実施形態にかかる画像処理を行う装置である。画像処理装置50は、たとえば医用画像を処理する画像処理ワークステーションである。画像処理装置50は、取得部51、生成部52、出力部53を含む。取得部51は、画像処理装置50において画像処理を施す画像を取得する。取得部51は、ネットワーク20を介して医用画像撮影装置30やPACS40から画像を取得する。生成部52は第一の実施形態にかかる画像処理を行う。生成部52は、位置合わせ部521、差分処理部522、投影処理部523、合成処理部524を含む。位置合わせ部521は、異なる複数の時点で被検体を撮影して得られる複数の3次元画像データに含まれる被検体の位置を一致させる処理を行う。差分処理部522は、位置合わせ部521によって被検体の位置が一致した3次元画像データ間の差分を取得する処理を行う。これにより、異なる複数の時点で被検体を撮影して得られる複数の3次元画像データの経時差分画像が得られる。投影処理部523は、差分処理部522により取得された経時差分画像に対して、ある方向から投影した投影画像を取得する。投影処理部523は、一つの経時差分画像に対して異なる複数の投影方向から投影した複数の投影画像を取得することができる。投影処理部523は、たとえば最大値投影処理や最小値投影処理を行うことができる。合成処理部524は、投影処理部523により取得された複数の投影画像を合成する処理を行う。第一の実施形態にかかる画像処理については、後に詳述する。
情報処理装置60は、第一の実施形態にかかる情報処理を行う装置である。情報処理装置60は、たとえば電子計算機である。情報処理装置60には、表示部61と操作部62が接続されていてもよい。表示部61は、たとえば液晶モニタである。操作部62は、たとえばキーボードやマウスである。表示部61と操作部62はタッチパネルモニタに統合されていてもよい。
情報処理装置60は、制御部63を含む。制御部63は、情報処理装置60及び情報処理装置60と接続されている各装置を統合的に制御する。制御部63は、取得部633と、表示制御部634と、指定部635を含む。取得部633は、表示部61に表示させる画像を取得する。取得部633は、ネットワーク20を介して、医用画像撮影装置30、PACS40、画像処理装置50から画像を取得する。表示制御部634は、表示部61に表示させる画面を制御する。たとえば、取得部633は投影処理部523により取得された複数の投影画像を取得する。表示制御部634は、取得部633が取得した複数の投影画像を表示部61に表示させる。指定部635は、投影処理部523が行う投影処理の投影方向を指定する。たとえば、操作部62を介したユーザの操作入力に基づいて、指定部635は投影方向を指定する。情報処理装置60が行う処理については、後に後述する。
図2は、画像処理装置50及び情報処理装置60のハードウェアの構成の一例を示す図である。画像処理装置50及び情報処理装置60は、CPU201、RAM202、SSD203、通信回路204、USB205、HDMI(登録商標)206を含む。CPU(Central Processing Unit)201は、SSD203に保存されているプログラムをRAM202に一時的に保存させる。さらに、CPU201は、RAM202に一時的に保存したプログラムを実行することで装置を統合的に制御する。CPU201は表示部61の表示を制御する。RAM(Random Access Memory)202は、一次記憶装置である。SSD(Solid State Drive)203は、画像処理装置50若しくは情報処理装置60を動作させるために必要なプログラムが保存されている。SSD203は、たとえばフラッシュメモリなどその他の記憶媒体でもよい。また、SSD203にはデータが保存される。通信回路204は、ネットワーク20に接続し、システムに含まれる各装置と通信を行うための回路である。USB(Universal Serial Bus)205及びHDMI(登録商標)(High Definition Multimedia Interface)206は接続部である。情報処理装置60のUSB205は操作部62と接続している。情報処理装置60のHDMI(登録商標)206は、表示部61と接続している。
以下では、第一の実施形態における3次元画像データとして、医用画像撮影装置30によって取得された断層画像を例に説明する。断層画像の具体例としては、MRI撮影装置により取得されるMR画像、CT撮影装置により取得されたCT画像、PET撮影装置により取得されたPET画像が挙げられる。なお、MR画像にはいくつかの異なる撮影方法があり、たとえばT1強調画像、T2強調画像、拡散強調画像といった、異なる特徴を有する断層画像を得ることができる。断層画像は1つ以上の二次元画像である断層面画像で構成されており、異なる撮影位置の断層面画像を積層することで、三次元的に人体といった被検体を表現している。
医師が断層画像を観察して患者の異常の有無を診断する際には、断層画像を構成する断層面画像群を表示する装置を用いて、表示する断層面画像を1つ1つ切り替えながら異常を探す操作が行われる。断層画像は、二次元画像である断層面画像を積層して三次元的に被検体を表現したものであるので、三次元の直交座標系によって、任意の画素の座標を特定できる。具体的には、断層像を構成するZ番目の断層面画像の、横方向X番目、縦方向Y番目の画素を示す座標(X,Y,Z)により画素を特定できる。断層画像を観察した医師が発見した病変を表現する際には、たとえば「座標(X,Y,Z)に病変がある」と記録する。また、断層画像の座標群に対応する画素群により、病変領域や、「大脳領域」といった解剖学的領域を特定することができる。
次に、位置合わせ部521が行う画像処理について説明する。位置合わせ部521は、画像レジストレーション処理を行う。画像レジストレーション処理とは、2つの異なる画像中の被検体をなるべく一致させるように一方、もしくは、双方の画像を変形する処理である。ある患者の断層画像と、それよりも過去に撮影された断層画像とを医師が見比べ、問題のある変化があるかどうか観察する。その際に、同じ医用画像撮影装置30で撮影した断層画像であっても、撮影時の患者の姿勢が異なっていると、それぞれの断層面画像を比較しにくい場合がある。新しく撮影された断層画像に画像レジストレーション処理を行い、一方もしくは双方の断層画像を変形させて同じ部位を観察する際の断層面画像の様相を類似させることにより、観察が容易になる。双方の断層画像を変形させる場合は、たとえば2つの断層画像とは別に基準となる同じ撮影対象を含む基準断層画像に基づいて変形の処理を行う。つまり、基準断層画像に2つの断層画像それぞれがなるべく一致するように、2つの断層画像を変形させる。
基準断層画像を用いた変形の処理では、複数の断層画像を一致させる変形を行う際に、処理の回数を少なくすることができる。たとえば、4つの断層画像のうち任意の2つをなるべく一致するように変形させる場合には、最大6通りの組み合わせがある。一方を変形させる方法により全ての断層画像の位置合わせを行う場合には、画像レジストレーション処理を6回行う必要がある。基準断層画像を利用する方法により全ての断層画像の位置合わせを行う場合には、画像レジストレーション処理を4回行えばよい。さらに、基準断層画像を利用する方法では、画像レジストレーション処理を行った断層画像からユーザは観察を行うことができ、待ち時間を減らすことができる。
画像レジストレーション処理においては、断層画像の変形を制御するための変形情報を生成する。そして、変形情報に従って断層画像を変形させる。変形情報とは、ある座標の画素を移動させるための情報である。変形情報に従い、断層画像を構成する各画素を移動させることにより、変形後の断層画像が取得される。変形情報に含まれていない画素がある場合には、変形後の断層画像に画素値が設定されていない画素が生じる。その場合、画素値が設定されていない画素に対し、線形補間等の画素値補間手法によって、その他の画素値が設定されている画素の値と位置に基づいて画素値を設定することができる。
位置合わせ部521は、たとえば非剛体レジストレーション(Nonrigid Registration)による処理を行う。ここでは、LDDMM(Large Deformation Diffeomorphic Metric Mapping)(Miller 他 1993,Proceedings of the National Academy of Sciences of the United States of America,90,1 194−1 1948; Joshi 他,1995,Geometric methods in Applied Imaging,San Diego,CA;Granander and Miller,1996,Statistical computing and graphics newsletter 7,3−8)と呼ばれるアルゴリズムを用いた画像レジストレーション処理を例として説明する。
たとえば、第一の断層画像I(χ)と第二の断層画像J(χ)の画像レジストレーション処理を行うとする。ここで、χは3次元座標(x,y,z)で表される位置ベクトルであり、3次元画像において各格子点を構成するボクセル(voxel)に相当する。χ=(x,y,z)Tであり、Tは転置を表す。第一の断層画像I(χ)と第二の断層画像J(χ)のそれぞれにおいて、断層画像中の撮影対象に対応する点の集合の族Γ={γ1,γ2,γ3,・・・,γn}を定義する。断層画像中の撮影対象とは、たとえば被検体の特定の解剖学的構造である。
第一の断層画像I(χ)と第二の断層画像J(χ)の撮影対象が正確に位置合わせされているならば、それぞれの断層画像群に含まれる撮影対象に対応する画素群γ(γはΓに属する)は、I(χ)とJ(χ)において同時確率P(i,j|γ)で、それぞれ濃度値i,jで現れると仮定する。つまり、第一の断層画像I(χ)および第二の断層画像J(χ)のそれぞれに含まれる撮影対象に対応する画素群γが持つ濃度値を、各標本値とする確率変数IまたはJをそれぞれの断層画像に設定する。そして、それぞれの断層画像の確率変数を組としてなる多次元確率ベクトル、ここでは2次元確率ベクトル(I,J)が所定の同時分布P(I(χ),J(χ)|γ)に従うと仮定する。
次に、位置合わせされてない、すなわち画像レジストレーション処理が行われていない第一の断層画像I(χ)および第二の断層画像J(χ)について検討する。第二の断層画像J(χ)を構成する第一の画素群を第一の断層画像I(χ)を構成する第二の画素群に位置合わせする非剛体レジストレーション変換をT(χ)とする。この変換T(χ)により、第一の画素群と第二の画素群とが、第一の断層画像I(χ)と第二の断層画像J(χ)との間で適正に対応づけられたならば、第一の画素群と第二の画素群において各濃度値を組としてなる2次元ベクトル(i,j)は上述した同時分布に従うと仮定する。2次元ベクトル(i,j)が観測される尤度を示す尤度関数を式1および式2により定義する。
Figure 0006667231
Figure 0006667231

なお、このような形式の尤度関数は、統計解析の分野における尤度解析法、特に最尤推定法において一般的に用いられるものである。最尤推定法では、母集団の分布における平均や共分散等を未知とし、これらを母数として尤度関数に組み込んでその最尤推定量を求めるのが一般的である。第一の実施形態においては、母集団の分布は予め推定しておき、非剛体レジストレーション変換T(χ)のパラメータφを母数として尤度関数に組み込んでその最尤推定量を求める。パラメータφについては後述する。なお、予め推定しておいた母集団の分布に対して最尤推定法を適用することもできる。
断層画像中の撮影対象である解剖学的構造の集合族Γは、2つの組織すなわち位置合わせの対象となる標的組織と、その他の周辺組織とからなるものとする。式1を式3のように変形する。
Figure 0006667231

また、最大対数尤度変換TMLを、式4により定義する。
Figure 0006667231

式4の尤度関数を類似性の尺度として、式5のように定義される画像レジストレーション評価関数(目的関数)中に組み込む。
Figure 0006667231

ただし、Csimilarity(φ)は上述の尤度として定義された類似性尺度項を表す。Csmooth(φ)は平滑制限項を表す。λは2つの項のバランスを取るための、重みづけのパラメータである。Csimilarity(φ)およびCsmooth(φ)は、それぞれ各局所領域における類似性尺度項および平滑制限項であり、式6および式7によって与えられる。
Figure 0006667231
Figure 0006667231

Vはφが関係する局所領域を表す。また、Φは式8で与えられるレジストレーション変換を記述するパラメータを表す。
Figure 0006667231

δ(x;Φ)はB−スプライン(曲面)で記述される自由曲面の変形(FFD)を表す。ΦはB−スプライン制御点の全体集合を表す。φはΦに属しており、各局所領域に関係する制御点の部分集合を表す。
式5で定義されるレジストレーション評価関数を最小化するため、例えば下記に示すような階層グリッドを用いる最急降下アルゴリズムを使用する。図3は位置合わせ部521により行われる位置合わせ処理に含まれる処理を例示するフローチャートである。最急降下アルゴリズムにより処理を、図3を参照しながら説明する。
ステップS301において、制御点Φ(m=0)を初期化する。すなわち、上述した処理におけるΦの初期値を設定する。
ステップS302において、式5の勾配ベクトルを式9に基づいて取得する。
Figure 0006667231

ステップS303において、||∇C||>ε(εは小さな正の数)の間で、制御点Φを式10に基づいて更新し、勾配ベクトル▽Cを再取得する。これにより、制御点Φを更新する。
Figure 0006667231

ステップS304において、制御点Φの階層を細かくする。式10より得たΦm+1に基づいて、ステップS302に進んで、上述した処理を繰り返す。ただし、Φはm番目の階層レベルのB−スプライン制御点グリッドを示す。
上述したステップS302からステップS304の処理を、最高階層度に達するまで繰り返して終了する。最高階層度に達するのは、Φが収束した時点である。あるいは、所定の回数を繰り返すと終了するようにしてもよい。
なお、上述の例では自由曲面を表現するモデリング手法としてB−スプラインを用いているが、ベツィエの手法やその他のモデリング手法を用いてもよい。また、上述の例ではレジストレーション評価関数を最小化するためのアルゴリズムとして最急降下法を用いているが、共役勾配法やニュートン・ラフソン法、準ニュートン法、レーベンベルグ・マルカート法といった最適化法を用いてもよい。
次に、第一の実施形態にかかる画像処理における画像サブトラクション処理について説明する。画像サブトラクション処理とは、図4に示すように、2つの断層画像群において位置関係が対応している画素同士で画素値を減算し、差分画像を得る処理である。たとえば、撮影対象が同じで、撮影時期の異なる2つの断層画像群を用いて画像サブトラクション処理を行うこと。これにより、撮影時期の異なる2つの断層画像間の差、すなわち変化が描出された強調画像である差分断層画像が得られる。このような差分断層画像を経時差分画像、または、経時差分断層画像と呼ぶ。なお、第一の実施形態における画像サブトラクション処理においては、特に明記しない限り、撮影時期の新しい断層画像を構成する画素値群から、撮影時期の古い断層画像を構成する画素値群を減算するものとする。
また、撮影時期の異なる断層画像群においては、それぞれの断層画像中で撮影対象の位置がずれている場合がある。したがって、同じ医用画像撮影装置30により撮影され、同じパラメータ設定により取得された断層画像群であっても、同じ座標の画素同士を減算するだけでは、変化のあった部分だけを描出した経時差分断層画像が得られない場合がある。そのため、撮影時期の異なる断層画像群を対象に画像サブトラクション処理を行う場合には、断層画像群間で撮影対象の位置関係を一致させるため、画像サブトラクション処理の前に、上述したような画像レジストレーション処理を行う。
具体例として、図5に示すような2枚の画像の経時差分断層画像を得る場合について説明する。左辺第1項は、ある被検体の第一のCT画像であり、撮影対象は肺である。第一のCT画像には肺胞領域に囲まれた孤立性肺がんの領域が示されている。左辺第2項は、第一のCT画像が撮影された時期よりも前に撮影された第二のCT画像であり、撮影対象は肺である。第一のCT画像から第二のCT画像を差分した経時差分断層画像を得る。簡単のため、第一のCT画像と第二のCT画像において、変化の合った部分は肺がん領域のみとする。
まず、第一のCT画像と第二のCT画像における肺領域が一致するように、第二のCT画像を画像レジストレーション処理によって変形させる。つぎに、第一のCT画像と変形させた第二のCT画像とを画像サブトラクション処理することによって、経時差分断層画像を得る。結果として、変化のあった肺がん領域のみが経時差分断層画像において正値の画素値を有し、その他の領域の画素値は0である画像が得られる。通常、CT撮影において肺がん領域は周囲の肺胞領域よりもX線の吸収率が高い。そのため、CT画像においては、たとえば肺がん領域の画素値は高く、肺胞領域の画素値は低く表現される。第一のCT画像における肺がんのある画素値の高い領域から、第二のCT画像における肺がんの無い画素値の低い領域が減算されることとなる。したがって、図5の右辺に示す経時差分断層画像においては、肺がんのある領域だけが正値として描出される。図5に示した例では肺がん領域以外の部分は変化が無く、画素値が一致するものとして仮定しているため、肺がん領域以外の画素値同士の減算結果は0として描出される。
別の経時差分断層画像の例を図6に示す。図6の左辺第1項は、被検体である患者の溶骨性がんによって骨が一部溶けてしまった状態を表す第一のCT画像である。図6の左辺第2項は、第一のCT画像よりも前に撮影され、骨が溶けてしまう前の状態を表す第二のCT画像である。上述した例と同様にして、第一のCT画像から第二のCT画像を差分して、図6の右辺に示すような経時差分断層画像が取得される。CT撮影において、骨の領域は骨がとけてしまった領域よりもX線の吸収率が高い。そのため、CT画像においては、たとえば骨の領域の画素値は高く、骨が溶けてしまった領域の画素値は低く表現される。したがって、経時差分断層画像においては骨が溶けてなくなってしまった領域が、特に画素値の低い負値として表現される。
上記の具体例より、新しく撮影された第一の断層画像と過去に撮影した第二の断層画像を対象に、画像サブトラクション処理によって得られる経時差分断層画像の特徴をまとめる。第一の断層画像に第二の断層画像と比べ画素値が高い領域があると、その領域は経時差分断層画像において画素値の高い領域(正値)として描出される。また、第一の断層画像に第二の断層画像と比べ画素値の低い領域があると、その領域は経時差分断層画像において画素値の低い領域(負値)として描出される。
次に、第一の実施形態にかかる画像処理における投影処理について説明する。投影処理とは、3次元画像である断層画像から、二次元画像である投影画像を生成する処理である。投影画像とは、たとえばMIP(Maximum Intensity Projection)画像やMinIP(Minimum Intensity Projection)画像、ボリュームレンダリング画像、サーフェスレンダリング画像などである。MIP画像とは、最大値投影処理により得られる最大値投影画像である。最大値投影処理とは、三次元画像の任意の視点方向の投影経路における最大値を投影面に表示する処理である。MinIP画像とは、最小値投影処理により得られる最小値投影画像である。最小値投影処理とは、三次元画像の任意の視点方向の投影経路における最小値を投影面に表示する処理である。
特に、経時差分断層画像より生成したMIP画像は、視線方向の最大画素値を描出するため、過去の断層画像と比べ画素値の高くなった領域を描出するのに有効である。たとえば、新たに肺がん領域や造骨性がん(骨が硬くなるがん)領域が現れた場合などに有効である。図7に示すような断層面画像群で構成される断層画像において、視線方向ベクトルを(0,0,1)とした場合にMIP画像を生成すると図8に示すような二次元画像が得られる。また、経時差分断層画像のMinIP画像は、視線方向の最小画素値を描出するため、過去の断層画像と比べ画素値の低くなった領域を描出するのに有効である。たとえば、新たに溶骨性がんや骨折の亀裂・剥離領域が現れた場合などに有効である。図7に示すような断層面画像群で構成される断層画像において、視線方向ベクトルを(0,0,1)とした場合にMinIP画像を生成すると図9に示すような二次元画像が得られる。
次に、第一の実施形態に係る画像処理装置50における処理について、図10を用いて説明する。画像処理装置50は、取得部51により複数の断層画像を取得し、生成部52により経時差分断層画像とその投影画像を生成し、出力部53により情報処理装置60に投影画像を出力する。さらに、情報処理装置60から入力された任意の画素の座標を指定する情報に基づいて、当該座標に対応する断層面画像を生成部52は生成し、出力部53は情報処理装置60に出力する。これにより、断層画像を比較して観察するのに好適な画像を生成して出力することができる。以下では、同じ被検体の同じ部位を、同じ医用画像撮影装置30で撮影した、2つの断層画像を比較して観察する場合を例に説明する。
ステップS1001において、取得部51は、比較して観察したい少なくとも2つ以上の断層画像群を取得する。ここでは、第一の断層画像と、第一の断層画像と同じ被検体を過去に撮影した第二の断層画像の2つの断層画像を取得する。取得部51は、ネットワーク20を介してPACS40から断層画像を取得する。あるいは、取得部51は画像処理装置50のSSD203に保存されている断層画像を取得する。取得部51はユーザの操作入力に応じて断層画像を取得する。別の例では、取得部51はPACS40に断層画像が保存された時点で自動的に画像処理装置50に送信させるように制御する。さらに、取得部51はPACS40から同じ被検体の過去の断層画像を自動的に検索して画像処理装置50に送信させるように制御してもよい。同様に、取得部51は医用画像撮影装置30で断層画像が撮影された時点で自動的に画像処理装置50に出力するように制御してもよい。
ステップS1002において、位置合わせ部521はステップS101において取得した2つの断層画像を画像レジストレーション処理し、2つの断層画像がなるべく一致するように変形する。ここでは、位置合わせ部521は第二の断層画像を変形させ、第三の断層画像を得たとする。つまり、ステップS1002の処理により、第一の断層画像と撮影対象の位置関係がほぼ一致している第三の断層画像が取得される。出力部53は、位置合わせ部521により生成された第三の断層画像をSSD203またはPACS40に出力して保存させる。たとえば図10に示すような処理をステップS1002で中断した場合に、取得部51はSSD203またはPACS40から第三の断層画像を取得し、続く処理を再開することができる。
ステップS1003において、差分処理部522は第一の断層画像と第三の断層画像を用いて画像サブトラクション処理を行い、経時差分断層画像を生成する。
ステップS1004において、投影処理部523は複数の投影方向を特定する。投影方向は、3次元の直交座標系(X,Y,Z)において視線上方向ベクトルと視線方向ベクトルにより定義できる。視線上方向ベクトルは、たとえば、Axial画像が積層される方向をZ軸とした場合、経時差分断層画像を構成する断層面画像の積層方向軸に垂直な視線上方向ベクトルは(X、Y、Z)=(0、0、−1)と表現される。投影画像は、視線上方向ベクトルを保ったまま、視線方向ベクトルを(X、Y、Z)=(−sinθ、−cosθ、0)として、θを0以上、2π(πは円周率)未満の間で、全画素を投影することにより得られる。この例においては、θが0のとき、Coronal画像方向の投影画像となる。また、θがπ/2のとき、Sagittal方向の投影画像となる。第一の実施形態においては、投影処理部523は視線方向ベクトルにおけるθを一定の間隔で変化させながら、複数の投影画像を生成する。つまり、投影処理部523により生成された、複数の投影方向による投影画像を情報処理装置60の表示部61に出力すると、回転表示の動画として表示させることができる。
さらに、ステップS1004ではユーザの操作入力により指定された投影方向を特定する。ユーザの操作入力は、たとえば情報処理装置60の操作部62を介して行われ、情報処理装置60の指定部635により画像処理装置50に入力される。また、投影方向はユーザが予め設定しておくことができる。たとえば、特に投影方向を指定する入力がなければのための複数の投影方向を特定することとする。そして、投影方向を指定する入力があれば、指定された投影方向を特定することとする。
ステップS1005において、投影処理部523は画素値の増加領域を反映した投影画像を生成する。たとえば、投影処理部523はステップS1003で生成された経時差分断層画像のMIP画像を生成する。これにより、異なる複数の時点で被検体を撮影して得られる複数の3次元画像データについて、画素値が増加した3次元部分領域に応じた投影画像が得られる。
ステップS1006において、投影処理部523は画素値の減少領域を反映した投影画像を生成する。たとえば、投影処理部523はステップS1003で生成された経時差分断層画像のMinIP画像を生成する。これにより、異なる複数の時点で被検体を撮影して得られる複数の3次元画像データについて、画素値が減少した3次元部分領域に応じた投影画像が得られる。
ステップS1005およびステップS1006において、画素値が増加したり減少したりした領域を反映した投影画像を生成することにより、経時差分断層画像よりもアーティファクトの影響を低減した画像を得ることができる。これにより、ユーザが画像を観察する際に、変化が生じた部分をより容易に知ることができる。
なお、第一の断層画像と第三の断層画像の撮影対象の位置関係が完全に一致していれば、ステップS103において生成される経時差分断層画像において変化が生じた領域以外の画素の画素値は0となる。実際には、画像レジストレーション処理を行っても、ずれが発生する場合がある。したがって、ステップS1005及びステップS1006において経時差分断層画像の投影画像を生成した際に、変化が生じた領域以外の領域においても、おおまかな形状が描出されることがある。
ステップS1007において、合成処理部524はステップS1005およびステップS1006において生成された投影画像を合成する。これにより、画素値が高くなった変化と画素値が低くなった変化を同時に観察可能な画像を得ることができる。ステップS1005及びS1006において、同じ視線方向からMIP画像とMinIP画像を生成するとそれぞれ同じ大きさ、すなわち同じ画素数の画像が生成される。ステップS1007では、ステップS1005及びステップS1006で得られたMIP画像とMinIP画像の同じ座標の画素同士の画素値を加算した投影画像を生成する。
ステップS1008では、ステップS1004乃至ステップS1007において生成される、合成された投影画像を含む複数の投影画像を、出力部53が情報処理装置60に出力する。
すなわち、第一の実施形態にかかる画像処理装置50は、異なる複数の時点で被検体を撮影して得られる複数の3次元画像データを取得する取得手段である取得部51を有する。また、画像処理装置50は、複数の3次元画像データに基づいて、複数の時点のうち第一の時点に対して第二の時点で画素値が増加した3次元部分領域と、画素値が減少した3次元部分領域とを示す投影画像であって、異なる複数の投影方向から投影した複数の投影画像を生成する生成手段である生成部52を有する。さらに、複数の投影画像を表示部に表示させるために外部に出力する出力手段である出力部53を有する。
続いて、第一の実施形態にかかる情報処理装置60における処理を、図11を用いて説明する。情報処理装置60は、取得部633により投影画像を取得し、表示制御部634により投影画像を表示部61に表示させ、指定部635により投影方向を指定する。これにより、画像を比較して観察するのに好適な画像を生成して出力することができる。
ステップS1101において、情報処理装置60は、表示部61に表示させる画像を指示する入力を受け付ける。たとえば、操作部62を介して、表示部61に表示させる画像を指示するユーザの操作入力を受け付ける。ユーザは情報処理装置60のSSD203や、PACS40に保存されている画像から、表示部61に表示させる画像を選択して指示することができる。あるいは、医用画像撮影装置30で画像が撮影されたことを示す情報が情報処理装置60に入力されることにより、当該撮影された画像を表示する指示として受け付ける。
ステップS1102において、取得部633は投影画像を画像処理装置50から取得する。
ステップS1103において、指定部635は投影方向を指定する。第一の実施形態においては、初期設定として回転表示のための複数の投影方向を指定するものとする。指定部635は、指定された投影方向に対応する投影画像をステップS1102において取得していない場合には、取得部633に画像処理装置50から取得させる。
ステップS1104において、表示制御部634は投影画像を表示部61に表示させる。図12はステップS1104において表示部61に表示される画面の例である。図12では、右側の「Projection Image」と示される領域に、投影画像が表示される。ここでは、回転表示の動画が表示されているものとする。たとえば、全身を撮影したCT画像の経時差分断層画像の投影画像は、被検体のおおまかな形状が、画面の縦方向を回転軸として横方向に回転し続けている回転表示の動画が表示される。図12に示した例では、人体が回転しているように見えるため人体の形状が把握しやすい。さらに、ステップS1102において、図10に示すステップS1007で生成された合成画像を取得して表示部61に表示させる。すなわち、複数の投影画像を表示部61に表示させる。これにより、変化のあった領域として強調して表示される領域が、人体のどの位置にあるのかを把握しやすい。
ステップS1105において、指定部635は投影方向の指定があるか否かを判定する。投影方向が指定されるとステップS1103に進む。投影方向が指定されなければ、ステップS1106に進む。ユーザは、操作部62を介して投影方向を指定することができる。第一の実施形態では、初期設定として一定間隔で視線方向ベクトルのθを変化させた回転表示の動画が表示部61に表示されている。その場合に、たとえば投影画像の表示部分に、操作部62の一例であるマウスの指示位置を示すマウスポインタが重ねられた時点でのθを、指定部635は投影方向として指定する。ステップS1103では、マウスポインタが重ねられた時点でのθを投影方向として指定する。ステップS1104では、表示制御部634は指定された投影方向に対応する投影画像を表示部61に表示させる。これにより、投影画像にマウスポインタが重ねられた時点で、回転表示を停止する。回転表示されている場合に投影方向を指定するための操作入力として、投影画像上の領域をクリックしてもよい。投影画像上で、マウスのホイール操作やキーボードのキー操作により、投影方向を指定してもよい。ユーザは、投影画像の視線方向ベクトルを操作し、回転表示の位置を調整することができる。
また、ステップS1105において、ユーザの操作入力により表示部61に表示させる投影画像の種類を変更できる。たとえば、ユーザはMIP画像と、MinIP画像と、MIP画像とMinIP画像を合成した投影画像のうち所望の投影画像を、表示部61に表示させることができる。情報処理装置60は、投影画像のもととなる断層画像を撮影した目的に応じて、表示部61に表示させる投影画像を決定してもよい。たとえば、被検体である患者に疑われる疾病に関連する病変部位を検出するのに適した投影画像を表示制御部634は表示部61に表示させる。肺がんが疑われるのであれば、画素値が増加した領域を表現することができるMIP画像を表示制御部634は表示部61に表示させる。
ステップS1106において、情報処理装置は表示部61に投影画像を表示させるのを終了する操作入力を受け付ける。たとえば、表示を終了させる操作入力は、表示制御部634により表示部61の画面に表示されているアイコン(不図示)への操作により行われる。終了の操作入力があれば、表示を終了する。終了の操作入力がなければ、ステップS1104に進み、投影画像の表示を継続する。
MIP画像とMinIP画像を合成した投影画像は、ある投影方向においては、それぞれの画像で強調される領域が重なって表示される場合が考えられる。たとえば、図13に示すように、ある領域における同じ視線直線上に画素値が高くなった変化と低くなった変化があると、MIP画像に記録されている正値とMinIP画像に記録されている負値とが重なる場合である。このとき、MIP画像とMinIP画像を合成するための加算の過程で打ち消しあい、合成画像において0に近い画素値となってしまうことがある。比較したい断層画像群において変化があったにも関わらず、投影画像には特徴が描出されないおそれがある。ステップS1102乃至ステップS1104の処理において、たとえば回転表示のように複数の投影方向の投影画像を表示することにより、強調された領域の重なりが解消された投影画像を表示することができる。ユーザは、変化のあった領域をより正確に知ることができる。また、たとえば回転表示のように、投影画像の視線方向を切り替え表示させることで、ユーザが手動で視線方向を切り替える手間を低減することができる。
第一の実施形態にかかる情報処理装置60は、異なる複数の時点で被検体を撮影して得られる複数の3次元画像データに基づいて、前記複数の時点のうち第一の時点に対して第二の時点で画素値が増加した3次元部分領域と、画素値が減少した3次元部分領域とに応じた投影画像であって、異なる複数の投影方向から投影した複数の投影画像を取得する取得手段である取得部633を有する。また、複数の投影画像を表示部に表示させる表示制御手段である表示制御部634を有する。
すなわち、第一の実施形態にかかる情報処理装置60は、2つ以上の断層画像群間の変化を三次元的に把握しやすく提示できる。変化が生じた3次元部分領域を、アーティファクトの影響を少なくして表示することができる。これにより、ユーザは、変化が生じた3次元部分領域を、より容易に知ることができる。特に、経時差分断層画像の投影画像表示によって変化のあった領域を容易に知ることができ、病変を見落としてしまう可能性を低減でき、病変部位を目視で探索する手間を軽減することができる。
[第二の実施形態]
次に本発明の第二の実施形態について説明する。第一の実施形態では投影処理において最大値投影処理や最小値投影処理を行う例を説明した。第二の実施形態にかかる情報処理装置は、異なる時点で撮影された複数の3次元画像データについて、閾値以上に画素値が増加又は減少した領域や、閾値以上に大きさが変化した領域についての情報である領域表示の情報を取得する。
図14は、第二の実施形態にかかる画像処理装置50における処理を例示するフローチャートである。図14に示すステップS1001乃至ステップS1004は、図10に示すステップS1001乃至ステップS1004と同様であるため、上述した説明を援用して詳しい説明を省略する。
ステップS1401において、投影処理部523は、経時差分断層画像に含まれる領域のうち、閾値以上の大きさだけ変化した領域と、画素値が閾値以上変化した領域とを取得する。閾値は、ユーザが予め設定しておくことができる。また、医用画像を撮影する検査の目的に応じて設定することができる。ここで、大きさとは3次元画像データの場合にはボクセル数や体積である。ステップS1401で取得した領域についての情報を、以下では領域情報と称する。領域情報は、病変領域の経時変化が生じた領域を、その他のアーティファクトと区別するのに有用であると考えられる。たとえば、ある癌の領域が経時変化において大きくなったならば、その領域が全体として拡大するように変化すると考えられ、アーティファクトとは区別される。また、癌の領域が発生したならば、その領域の画素値の変化は、アーティファクトが発生した領域よりも大きいと考えられる。
ステップS1402において、投影処理部523は、複数の投影画像を生成する。ステップS1402での処理は、図10に示すステップS1004乃至ステップS1007までの処理と同様である。
ステップS1403において、出力部53は、ステップS1401で取得した領域情報と、ステップS1402で生成した複数の投影画像とを情報処理装置60に出力する。
これにより、第一の実施形態と同様に、変化の生じた領域を強調しつつアーティファクトの少ない投影画像を生成することができる。
図15は、第二の実施形態にかかる情報処理装置60における処理を例示するフローチャートである。図15に示すステップS1101乃至ステップS1106は図11に示すステップS1101乃至ステップS1106と同様であるため、上述した説明を援用して詳しい説明を省略する。以下に説明する情報処理装置60の処理においては、図14に示すような処理により、画像処理装置50で生成される投影画像を用いることとする。図15に示す情報処理装置60の処理を、第一の実施形態にかかる画像処理装置50で生成される投影画像に適用してもよい。
ステップS1501において、表示制御部634は、領域表示を重畳表示する。まず、取得部633は、図14に示すステップS1401で取得した領域情報を取得する。表示制御部634は、領域情報で示される領域の表示を、ステップS1104で表示部61に表示されている投影画像に、重畳して表示させる。たとえば、MIP画像やMinIP画像により経時変化のあった領域が強調表示されるが、アーティファクトが含まれる場合がある。
ステップS1502では、ステップS1103で指定された投影方向により、ステップS1104において表示されている投影画像において、表示制御部634はステップS1501において重畳表示した領域表示が重複するか否かを判定する。領域表示が重畳している領域は、がん領域など、ユーザが着目したい領域であると考えられる。たとえば図13に示すように、MIP画像やMinIP画像のそれぞれにおいて強調される領域が、ある投影方向において重なる場合がある。さらに、MIP画像やMinIP画像において強調された領域が領域表示と重畳している領域が重複する場合には、ユーザが着目したい領域が、ある投影方向に置いて重複していると考えられる。ユーザが着目したい領域が、ステップS1104において表示されている投影画像において重複している場合には、どちらか一方しか描出されなかったり、MIP画像とMinIP画像を合成した結果、画素値が相殺されて描出されなかったりするおそれがある。よって、ユーザは着目したい領域を見落としてしまうおそれがある。ステップS1502において、表示制御部634が重複すると判定した場合、ステップS1503に進む。表示制御部634が重複しないと判定した場合、ステップS1105に進む。
ステップS1503において、表示制御部634は、「重複します」というアラートを表示部61の画面に表示させる。これにより、ユーザは表示部61に表示されている投影画像において、着目したい領域を見落としてしまう可能性を低減することができる。表示制御部634がアラートを表示すると、ステップS1105に進む。
図15に示すステップS1105及びステップS1106は、図11に示すステップS1105及びステップS1106と同様の処理であるため、上述した説明を援用して詳しい説明を省略する。
このように、第二の実施形態にかかる情報処理装置により、異なる時点で撮影された3次元画像データの中で経時変化のあった領域のうち、ユーザが着目したい領域をよりわかりやすく表示することができる。これにより、ユーザが着目したい領域を見落とす可能性が少なくなる。
[変形例]
続いて、第一の実施形態及び第二の実施形態の変形例を説明する。図12に表示部61に投影画像を表示させる画面を例示しているが、表示制御部634は、同時に当該投影画像に関わる断層画像又は断層面画像を表示させてもよい。たとえば、図12には「Projection Image」において強調されている領域すなわち経時変化のあった領域に対応する位置の、断層面画像を左から古い順に表示している。ユーザが投影画像上の位置を操作部62を介して指定することにより、表示制御部634は指定された位置に対応する断層面画像を表示させることもできる。具体的には、投影画像は二次元画像であり、投影画像を構成する画素群の縦方向であるY座標は、投影画像の生成元である断層画像群のZ座標に相当する。そのため、投影画像の表示部分である座標が指定されれば、投影画像におけるY座標および上記断層画像群のZ座標が特定される。表示制御部634は、特定された第一の断層画像の前記Z座標を通る断層面画像、または、第三の断層画像の前記Z座標を通る断層面画像、もしくはその両方を表示部61に表示させることができる。ユーザは病変の可能性のある領域を発見すると、同時に断層面画像を観察することが多く行われている。そのような場合に、投影画像と断層面画像を切り替えたり、病変と対応する位置の断層面画像を探したりする手間を軽減することができる。つまり、ユーザはたとえばMIP画像による投影画像上で濃く表示された部分をマウスクリックすることで、瞬時に画素値が高くなるような変化のあった断層面画像に切り替え、観察することができるため、従来の断層面画像の切り替え操作の手間が軽減される。
第一の実施形態及び第二の実施形態の別の変形例としては、表示制御部634は複数の断層面画像を同時に若しくは切り替えて表示部61に表示させる。第一の断層画像と第二の断層画像、第三の断層画像、経時差分断層画像といった断層画像群においては、それらを構成する断層面画像(たとえばAxial画像など)が表示するのが一般的である。表示制御部634は、Coronal画像やSagittal画像などの別の断層面に再構成した断層面画像をAxial画像と同時に若しくは切り替えて表示部61に表示させる。第一の断層画像と第三の断層画像は画像レジストレーション処理によって撮影対象の位置関係がほぼ一致するように処理されている。一方の断層画像に対して表示操作が行われた場合に、もう一方の断層画像にも同様の表示操作を適用することによって、双方の断層画像における同じ位置の断層面画像を同期させながら表示することが可能である。さらに、ある断層面画像に対する表示操作を、別の断層面画像に対する表示操作に変換して適用すれば、その他の断層面画像を同期させながら表示させたり、即座に切り替えて表示させたりすることが可能である。つまり、過去の断層画像で病変が含まれる断層面画像を表示すると、新しい断層画像における病変があった位置を含む断層面画像が自動的に同期表示される。これにより、ユーザは容易に病変の変化が確認でき、断層面画像を切り替える操作の手間が軽減される。また、同じ位置の投影画像については、ユーザの操作によって投影画像の種類や氏線方向といった表示条件を変更することができる。表示条件が変更されるたびに情報処理装置60は、表示条件を画像処理装置50に出力する。画像処理装置50は、入力された表示条件に対応する経時差分断層画像の投影画像を生成し、情報処理装置60に出力する。
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
上述の各実施形態における情報処理装置は、単体の装置として実現してもよいし、複数の装置を互いに通信可能に組合せて上述の処理を実行する形態としてもよく、いずれも本発明の実施形態に含まれる。共通のサーバ装置あるいはサーバ群で、上述の処理を実行することとしてもよい。情報処理装置および情報処理システムを構成する複数の装置は所定の通信レートで通信可能であればよく、また同一の施設内あるいは同一の国に存在することを要しない。
本発明の実施形態には、前述した実施形態の機能を実現するソフトウェアのプログラムを、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータが該供給されたプログラムのコードを読みだして実行するという形態を含む。
したがって、実施形態に係る処理をコンピュータで実現するために、該コンピュータにインストールされるプログラムコード自体も本発明の実施形態の一つである。また、コンピュータが読みだしたプログラムに含まれる指示に基づき、コンピュータで稼働しているOSなどが、実際の処理の一部又は全部を行い、その処理によっても前述した実施形態の機能が実現され得る。
上述の実施形態を適宜組み合わせた形態も、本発明の実施形態に含まれる。

Claims (17)

  1. 異なる複数の時点で被検体を撮影して得られる複数の3次元画像データに基づいて、差分画像データを取得する差分処理手段と、
    前記差分画像データに対して最大値投影処理及び最小値投影処理を行い、前記複数の時点のうち第一の時点に対して第二の時点で画素値が増加し、正値として描出される第一の領域と、前記第一の時点に対して第二の時点で画素値が減少し、負値として描出される第二の領域とを含む投影画像であって、異なる複数の投影方向から投影した複数の投影画像を取得する取得手段と、
    前記複数の投影画像を表示部に表示させる表示制御手段と、を有することを特徴とする情報処理装置。
  2. 前記取得手段により取得される投影画像は、前記第一の時点及び第二の時点で得られる3次元画像データを差分処理して得られる差分画像データを最大値投影処理して得られる最大値投影画像と、最小値投影処理して得られる最小値投影画像と、を合成することにより得られる投影画像であることを特徴とする請求項1に記載の情報処理装置。
  3. 前記複数の投影画像は、前記差分画像データを第一の方向に最大値投影処理及び最小値投影して得られる第一の最大値投影画像と第一の最小値投影画像を合成することにより得られる投影画像と、前記差分画像データを第二の方向に最大値投影処理及び最小値投影して得られる第二の最大値投影画像と第二の最小値投影画像を合成することにより得られる投影画像と、を含むことを特徴とする請求項2に記載の情報処理装置。
  4. 前記表示制御手段は、前記表示部に前記複数の投影画像を、前記投影方向を変えながら切り替え表示させることを特徴とする請求項1乃至請求項3のいずれか1項に記載の情報処理装置。
  5. 前記表示制御手段は、前記投影方向が回転するように前記複数の投影画像を切り替え表示させることを特徴とする請求項1乃至請求項4のいずれか1項に記載の情報処理装置。
  6. 投影方向を指定する指定手段をさらに有し、
    前記表示制御手段は、指定された投影方向で投影した前記投影画像を前記表示部に表示させることを特徴とする請求項1乃至請求項5のいずれか1項に記載の情報処理装置。
  7. 前記表示制御手段は、前記取得された複数の投影画像の1つにおいて、前記3次元画像データに含まれる領域のうち、閾値以上に画素値が増加又は減少した領域か、閾値以上の大きさを有する領域の少なくともいずれかが前記1つの投影画像の投影方向から見て重複している場合には、前記1つの投影画像と共に当該重複していることを示す情報を前記表示部に表示させることを特徴とする請求項1乃至請求項6のいずれか1項に記載の情報処理装置。
  8. 前記取得手段により取得される投影画像は、前記第一の時点で撮影して得られた3次元画像データと、前記第二の時点で撮影して得られた3次元画像データとの位置合わせのために、前記第一の時点で撮影してられた3次元画像データと前記第二の時点で撮影して得られた3次元画像データのうち少なくとも一方を変形して得られる3次元画像データに基づいて得られる投影画像であることを特徴とする請求項1乃至請求項7のいずれか一項に記載の情報処理装置。
  9. 前記取得手段により取得される投影画像は、前記第一の時点で撮影して得られた3次元画像データと、前記第二の時点で撮影して得られた3次元画像データとの差分画像データに基づいて得られる投影画像であることを特徴とする請求項1乃至請求項8のいずれか一項に記載の情報処理装置。
  10. 前記表示制御手段は、前記投影画像とともに、前記複数の3次元画像データと、前記差分画像データの少なくともいずれかを表示させることを特徴とする請求項9に記載の情報処理装置。
  11. 前記3次元画像データは、前記被検体の複数の断層画像であることを特徴とする請求項1乃至請求項10のいずれか1項に記載の情報処理装置。
  12. 前記第一の領域は、閾値以上に画素値が増加した領域であり、前記第二の領域は、閾値以上に画素値が減少した領域であることを特徴とする請求項1に記載の情報処理装置。
  13. 前記投影画像において、造骨性がんが発生した領域が正値として描出され、溶骨性がんが発生した領域が負値として描出されることを特徴とする請求項1に記載の情報処理装置。
  14. 異なる複数の時点で被検体を撮影して得られる複数の3次元画像データに基づいて、差分画像データを取得する差分処理手段と、
    前記差分画像データに対して最大値投影処理及び最小値投影処理を行い、前記複数の時点のうち第一の時点に対して第二の時点で画素値が増加し、正値として描出される第一の領域と、前記第一の時点に対して第二の時点で画素値が減少し、負値として描出される第二の領域とを含む投影画像であって、異なる複数の投影方向から投影した複数の投影画像を生成する生成手段と、
    前記複数の投影画像を表示部に表示させるために外部に出力する出力手段と、
    を有することを特徴とする画像処理装置。
  15. 異なる複数の時点で被検体を撮影して得られる複数の3次元画像データに基づいて、差分画像データを取得する差分処理手段と、
    前記差分画像データに対して最大値投影処理及び最小値投影処理を行い、前記複数の時点のうち第一の時点に対して第二の時点で画素値が増加し、正値として描出される第一の領域と、前記第一の時点に対して第二の時点で画素値が減少し、負値として描出される第二の領域とを含む投影画像であって、異なる複数の投影方向から投影した複数の投影画像を取得する取得手段と、
    前記複数の投影画像を表示部に表示させる表示制御手段と、
    を有することを特徴とする情報処理システム。
  16. 異なる複数の時点で被検体を撮影して得られる複数の3次元画像データに基づいて、差分画像データを取得するステップと、
    前記差分画像データに対して最大値投影処理及び最小値投影処理を行い、前記複数の時点のうち第一の時点に対して第二の時点で画素値が増加し、正値として描出される第一の領域と、前記第一の時点に対して第二の時点で画素値が減少し、負値として描出される第二の領域とを含む投影画像であって、異なる複数の投影方向から投影した複数の投影画像を取得する取得ステップと、
    前記複数の投影画像を表示部に表示させる表示制御ステップと、
    を有することを特徴とする情報処理方法。
  17. 請求項16に記載の情報処理方法をコンピュータに実行させるためのプログラム。
JP2015171258A 2015-08-31 2015-08-31 情報処理装置、画像処理装置、情報処理システム、情報処理方法、及びプログラム。 Active JP6667231B2 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2015171258A JP6667231B2 (ja) 2015-08-31 2015-08-31 情報処理装置、画像処理装置、情報処理システム、情報処理方法、及びプログラム。
US15/240,323 US10304182B2 (en) 2015-08-31 2016-08-18 Information processing apparatus, information processing method, and recording medium
EP16185730.5A EP3136338B1 (en) 2015-08-31 2016-08-25 Projection images processing apparatus, projection images processing method, and program
CN201610737693.1A CN106485691B (zh) 2015-08-31 2016-08-26 信息处理装置、信息处理***和信息处理方法
US16/286,439 US10650516B2 (en) 2015-08-31 2019-02-26 Information processing apparatus, information processing method, and recording medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2015171258A JP6667231B2 (ja) 2015-08-31 2015-08-31 情報処理装置、画像処理装置、情報処理システム、情報処理方法、及びプログラム。

Publications (2)

Publication Number Publication Date
JP2017046814A JP2017046814A (ja) 2017-03-09
JP6667231B2 true JP6667231B2 (ja) 2020-03-18

Family

ID=56802331

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015171258A Active JP6667231B2 (ja) 2015-08-31 2015-08-31 情報処理装置、画像処理装置、情報処理システム、情報処理方法、及びプログラム。

Country Status (4)

Country Link
US (2) US10304182B2 (ja)
EP (1) EP3136338B1 (ja)
JP (1) JP6667231B2 (ja)
CN (1) CN106485691B (ja)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6996203B2 (ja) * 2017-03-17 2022-01-17 株式会社リコー 情報処理装置、情報処理方法、プログラムおよび生体信号計測システム
JP6885896B2 (ja) * 2017-04-10 2021-06-16 富士フイルム株式会社 自動レイアウト装置および自動レイアウト方法並びに自動レイアウトプログラム
US10891711B2 (en) * 2017-04-13 2021-01-12 Samsung Electronics Co., Ltd. Image processing method and apparatus
JP6656207B2 (ja) * 2017-05-31 2020-03-04 キヤノン株式会社 情報処理装置、その制御方法、及びプログラム
JP6286606B1 (ja) * 2017-09-14 2018-02-28 日本メジフィジックス株式会社 画像処理プログラム、画像処理装置、および画像処理方法
JP7022554B2 (ja) * 2017-10-03 2022-02-18 キヤノン株式会社 画像処理装置およびその制御方法、プログラム
JP7102121B2 (ja) * 2017-10-06 2022-07-19 キヤノン株式会社 情報処理装置、情報処理方法、及びプログラム
JP7143599B2 (ja) * 2018-03-09 2022-09-29 オムロン株式会社 メタデータ評価装置、メタデータ評価方法、およびメタデータ評価プログラム
US11475571B2 (en) 2019-03-13 2022-10-18 Canon Kabushiki Kaisha Apparatus, image processing apparatus, and control method
JP7451098B2 (ja) * 2019-06-26 2024-03-18 キヤノン株式会社 画像処理装置、画像処理方法及びプログラム

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5594772A (en) * 1993-11-26 1997-01-14 Kabushiki Kaisha Toshiba Computer tomography apparatus
JPH08147496A (ja) * 1994-11-21 1996-06-07 Hitachi Medical Corp 回転像の作成方法および装置
JP2002190010A (ja) 2000-12-22 2002-07-05 Mitsubishi Space Software Kk 形状変化を検出する差分画像の補正法と装置
US7085343B2 (en) * 2001-10-18 2006-08-01 Kabushiki Kaisha Toshiba X-ray computed tomography apparatus
US7653263B2 (en) * 2005-06-30 2010-01-26 General Electric Company Method and system for volumetric comparative image analysis and diagnosis
JP4807830B2 (ja) * 2005-11-04 2011-11-02 株式会社日立メディコ 画像診断装置及び治療支援システム
JP5366370B2 (ja) * 2006-09-06 2013-12-11 株式会社東芝 磁気共鳴イメージング装置
EP1923836A1 (en) 2006-11-20 2008-05-21 Agfa HealthCare NV Picking on fused 3D volume rendered images and updating corresponding views according to a picking action.
US20090074276A1 (en) * 2007-09-19 2009-03-19 The University Of Chicago Voxel Matching Technique for Removal of Artifacts in Medical Subtraction Images
EP2486548B1 (en) 2009-10-05 2017-11-22 Koninklijke Philips N.V. Interactive selection of a volume of interest in an image
WO2011091300A2 (en) * 2010-01-24 2011-07-28 Mistretta Medical, Llc System and method for implementation of 4d time-energy subtraction computed tomography
JP5551957B2 (ja) * 2010-03-31 2014-07-16 富士フイルム株式会社 投影画像生成装置およびその作動方法、並びに投影画像生成プログラム
WO2012063653A1 (ja) 2010-11-12 2012-05-18 株式会社 日立メディコ 医用画像表示装置及び医用画像表示方法
JP2013169392A (ja) 2012-02-22 2013-09-02 Toshiba Corp X線ct装置、画像表示方法
WO2013145010A1 (ja) * 2012-03-29 2013-10-03 株式会社島津製作所 医療用x線装置
JP5528518B2 (ja) 2012-09-28 2014-06-25 富士フイルム株式会社 放射線画像生成装置および方法
JP6208243B2 (ja) * 2013-08-27 2017-10-04 株式会社日立製作所 罹患率評価装置、罹患率評価方法及び罹患率評価プログラム
US10991137B2 (en) * 2015-06-11 2021-04-27 Canon Kabushiki Kaisha Information processing apparatus, information processing method, and information processing system for display of medical images

Also Published As

Publication number Publication date
EP3136338B1 (en) 2020-10-28
CN106485691A (zh) 2017-03-08
US20190197685A1 (en) 2019-06-27
US10304182B2 (en) 2019-05-28
JP2017046814A (ja) 2017-03-09
US10650516B2 (en) 2020-05-12
EP3136338A1 (en) 2017-03-01
US20170061612A1 (en) 2017-03-02
CN106485691B (zh) 2020-10-09

Similar Documents

Publication Publication Date Title
JP6667231B2 (ja) 情報処理装置、画像処理装置、情報処理システム、情報処理方法、及びプログラム。
US20190355174A1 (en) Information processing apparatus, information processing system, information processing method, and computer-readable recording medium
EP3447733B1 (en) Selective image reconstruction
JP6918528B2 (ja) 医用画像処理装置及び医用画像処理プログラム
JP6316671B2 (ja) 医療画像処理装置および医用画像処理プログラム
CN104000655B (zh) 用于腹腔镜外科手术的组合的表面重构和配准
JP2011125568A (ja) 画像処理装置、画像処理方法、プログラム及び画像処理システム
EP3550515A1 (en) Cross-modality image synthesis
US20190197723A1 (en) Image processing apparatus, image processing method, and program
JP2009106530A (ja) 医用画像処理装置、医用画像処理方法、及び医用画像診断装置
JP6772123B2 (ja) 画像処理装置、画像処理方法、画像処理システムおよびプログラム
JP6145870B2 (ja) 画像表示装置および方法、並びにプログラム
JP6429958B2 (ja) 画像処理装置、画像処理方法、及びプログラム
JP4493436B2 (ja) 画像読影支援方法および装置ならびにプログラム
US9224188B2 (en) Image processing device, method and program
US9585569B2 (en) Virtual endoscopic projection image generating device, method and program
US10810717B2 (en) Image processing apparatus, image processing method, and image processing system
US20190251691A1 (en) Information processing apparatus and information processing method
JP2006247293A (ja) 画像処理方法および画像処理装置ならびにプログラム
JP6391544B2 (ja) 医用画像処理装置、医用画像処理方法、及びプログラム
JP7086630B2 (ja) 情報処理装置、情報処理方法、及びプログラム
JP6357049B2 (ja) 画像処理装置、医用画像診断システム、画像処理方法およびプログラム
WO2021194895A1 (en) Systems and methods for registering visual representations of a surgical space
JP5751993B2 (ja) 画像処理装置、画像処理方法及びプログラム
JP2018106560A (ja) 画像処理装置、画像処理方法、画像処理システム及びプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180702

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190402

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20190329

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190513

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190903

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20191023

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200128

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200225

R151 Written notification of patent or utility model registration

Ref document number: 6667231

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151