[第1の実施の形態]
まず、この発明の第1の実施形態に係る画像処理装置について、図1乃至図18を参照しつつ説明する。
(構成)
この発明の第1の実施形態に係る画像処理装置の構成について、図1及び図2を参照しつつ説明する。図1は、この発明の第1の実施形態に係る画像処理装置を備えた医用画像システムの概略構成を示すブロック図である。医用画像システムは、医用画像診断装置1、位置情報収集部6、生体情報収集部7、画像処理装置20及び記憶装置40を備えて構成されている。
医用画像診断装置1は、例えば、X線CT装置や超音波診断装置等で構成されている。図1には、X線CT装置の例が示されている。照射部2は、X線源、高電圧発生装置及びX線源制御装置等で構成され、被検体である撮影対象に向けてX線ビームを曝射するものである。X線源は、例えば、チャンネル方向とスライス方向(被検体の体軸方向)との2方向に広がるいわゆるコーンビームX線を発生する。検出器3は、照射部2から曝射され、被検体を透過したX線ビームを検出するX線検出器からなる。また、検出器3は、例えば、X線検出素子を互いに直交する2方向それぞれにアレイ状に複数個配列され、これにより2次元のX線検出器を成している。
データ収集部4(DAS)は、検出器3の各X線検出素子と同様にアレイ状に配列されたデータ収集素子を有し、検出器3により検出されたX線ビームを、スキャン制御部(図示しない)により出力されたデータ収集制御信号に対応させて収集する。この収集されたデータがX線投影データとなる。
画像再構成部5は、データ収集部4から出力されるX線投影データを逆投影処理することにより、画像データを再構成する。この逆投影の方法は公知の方法と同じであり、例えばFeldkamp法と呼ばれる方法に代表される3次元画像再構成アルゴリズムによる再構成を行い、スライス方向に広い対象領域(ボリューム)内におけるX線吸収係数の3次元的分布データ(以下、ボリュームデータと称する)を再構成する。再構成されたボリュームデータは、データ処理装置(図示しない)にて、操作者の指示に基づき、任意断面の断層像、任意方向からの投影像、レンダリング処理による特定臓器の3次元表面画像等のいわゆる擬似3次元画像データに変換され、画像処理装置20に送られる。
位置情報収集部6は、例えば、磁気的又は光学的な原理により動作する3次元位置センサからなり、被検体(撮影対象)Pの3次元位置情報を収集し、その3次元位置情報を時間ごとに位置制御部33に出力する。つまり、位置情報収集部6は時系列的な3次元位置情報を収集して位置制御部33に出力する。なお、後述するが、3次元画像データから抽出される解剖学的特徴点も3次元位置情報とする。
生体情報収集部7は、医用画像診断装置1にてスキャン中に、被検体の心電信号(ECG信号)、筋電信号(EMG信号)又は関節の動作情報等の生体情報を取得するものである。例えば心電計が用いられる場合は、生体情報収集部7は、被検体の心電信号(ECG信号)を検出し、検出された心電信号(ECG信号)をデジタル信号に変換する。そして、時系列的な3次元画像データと同時に得られる心電信号(ECG信号)は、時間ごとに収集される複数の3次元画像データの付帯情報として時間制御部34に出力され、更に生体情報記憶部43に保存される。なお、筋電信号(EMG信号)とは、筋の活動電位を皮膚表面から測定した信号である、また、関節の動作情報とは、意図的に被検体の関節を動かしたときのその関節がなす角度等を示すものであり、動かすことにより、時間ごとに変化して異なる角度となる。
画像処理装置20は、操作入力部21、画像表示部22及び制御部30を備えて構成されている。画像表示部22は、医用画像診断装置1にて収集された時系列的な3次元画像を表示する。操作入力部21は、画像表示部22に表示された時系列的な3次元画像に対する画像処理、計測、領域抽出等の操作を行うものであり、その操作に対応する信号がシステム制御部31に出力される。
制御部30は、システム制御部31、画像制御部32、位置制御部33、時間制御部34、領域制御部35及び操作制御部36を備えて構成されている。システム制御部31は、画像処理装置20の各部に接続されて、画像処理装置20全体の動作を制御するものである。
画像制御部32は、医用画像診断装置1から出力される時系列的な3次元画像データを制御するものである。具体的には、医用画像診断装置1にてスキャン中に、画像再構成部5から出力される時系列的な3次元画像データを読み込み、それと同時に、記憶装置40の画像記憶部41に記憶され、予め収集されている時系列的な3次元画像データを読み込んで、それらを位置制御部33に出力する。
位置制御部33は、医用画像診断装置1にて収集されている時系列的な3次元画像データの座標系と、画像記憶部41に保存されている時系列的な3次元画像データの座標系を一致させるものである。位置制御部33は、画像に表示されたマーカや解剖学的特徴点等の、時間ごとに少しずつ異なる時系列的な3次元位置情報を抽出し、その3次元位置情報を基準として各時間に収集された画像内にローカル座標を定義し、比較する3次元画像同士のローカル座標を一致させる。例えば、予め撮影時に被検体Pに補助具等を装着させ、その状態で撮像すると、画像中にマーカが表示されるため、このマーカを3次元位置情報として、位置制御部33は各画像においてローカル座標系を定義する。なお、解剖学的特徴点とは、例えば図4に示すような骨格上の特徴点を意味する。
具体的には、位置制御部33は、スキャン中の時系列的な3次元画像から3次元位置情報を抽出し、更に、画像記憶部41に保存されている3次元画像内の3次元位置情報を読み込む。そして、位置制御部33は、それら時系列的な3次元位置情報から各時間における3次元画像のローカル座標系を定義し、ローカル座標系を一致させる。
また、位置制御部33は、3次元位置センサを備えた位置情報収集部6により収集された被検体(撮影対象)Pの時系列的な3次元位置情報を読み込み、その3次元位置情報を基準に各時間に収集された画像においてローカル座標系を定義して、各画像のローカル座標を一致させても良い。
時間制御部34は、生体情報収集部7により収集された生体情報と、生体情報記憶部43に記憶されている生体情報とを読み込む。この生体情報は、時間ごとに変化する情報であり、上述した心電信号(ECG信号)や筋電信号(EMG信号)等が該当する。そして、時間制御部34は、読み込んだ生体情報に基づいて、スキャンにより得られている時系列的な3次元画像データと、画像記憶部41に保存されている時系列的な3次元画像データとを同期させる。つまり、同じ時刻(時相)に収集された3次元画像データを画像表示部22に同時に表示させるために、3次元画像データの付帯情報としての生体情報に基づいて、スキャンにより得られている時系列的な3次元画像データ及び予め収集されている時系列的な3次元画像データのうち、同じ時刻(時相)に収集された3次元画像データ同士を同期させ、画像表示部22は、同期させられた3次元画像データを同時に表示する。
さらに、スキャンにより得られている3次元画像データと予め収集された3次元画像データとで、単位時間当たり(例えば1秒当たり)の画像数が異なる場合は、単位時間当たりの画像数が少ない画像データに対して補間処理を行って、スキャンにより得られている3次元画像データと予め収集された3次元画像データとを同期させる。
領域制御部35は、3次元画像データから所望の観察領域に含まれる3次元画像データを抽出するものである。例えば、領域制御部35は、3次元画像のうち、所望の観察領域の範囲内の3次元画像を出力し、画像表示部22にて抽出された観察領域に含まれる3次元画像を表示するものである。この実施形態においては、領域制御部35は、領域情報記憶部44に記憶されている、予め収集された時系列的な3次元画像データから所望の観察領域に含まれる3次元画像データを抽出した際の、その観察領域を示す情報(抽出領域情報)を読み込み、スキャンにより得られている時系列的な3次元画像データからその抽出領域情報に対応する領域に含まれる3次元画像データの抽出を行う。この抽出領域情報も時系列的なものであり、時間ごとに異なるものである。
なお、観察領域の指定は操作入力部21により行われる。例えば、操作入力部21に備えられているマウス等を操作者が操作することにより、画像表示部22に表示されている画像の観察したい領域(範囲)を指定すると、領域制御部35は、その指定された観察領域(範囲)に含まれる画像を抽出して画像表示部22に表示させる。そして、指定された観察領域を示す情報(抽出領域情報)は領域情報記憶部44に記憶される。このようにして、予め収集された時系列的な3次元画像データから所望の観察領域に含まれる3次元画像データが抽出される。
操作制御部36は、操作情報記憶部45に記憶されている操作情報や画像処理のパラメータを読み込み、その操作情報や画像処理のパラメータを、スキャンにより得られている時系列的な3次元画像データに反映させる。この操作情報は、画像表示部22で表示される画像に対して行われる回転操作、移動又は拡大等の操作を示す情報である。また、画像処理のパラメータは、画像の不透明度を決定する係数であるオパシティ(Opacity)やコントラストや明るさ等を決定する係数であるパラメータ(WL/WW)等である。予め収集された時系列的な3次元画像データに対して行われた回転操作等の操作や画像処理を、スキャン中の時系列的な3次元画像データに対しても行い、画像表示部22に表示される画像の、回転角度や大きさや不透明度やコントラスト等を統一する。つまり、画像表示部22の画面上において、3次元画像の観察角度や拡大率や位置や不透明度やコントラスト等を統一して、観察を容易にするものである。この操作情報及び画像処理のパラメータも時系列的なものであり、時間ごとに異なるものである。
また、操作制御部36は、操作入力部21から入力された操作情報を、スキャンにより得られている時系列的な3次元画像データに反映するだけでなく、予め収集された時系列的な3次元画像データに対しても反映する。つまり、操作入力部21から操作情報が入力されると、操作制御部36は、画像表示部22に表示されている、スキャンにより得られている時系列的な3次元画像データ及び予め収集された時系列的な3次元画像データに、その操作情報を反映する。例えば、回転操作を示す情報が操作入力部21から入力されると、操作制御部36は、画像表示部22においてスキャンにより得られている時系列的な3次元画像データを回転させるとともに、予め収集された時系列的な3次元画像データを同じように回転させる。同様に、予め収集された時系列的な3次元画像データを回転させると、操作制御部36は、スキャンにより得られている時系列的な3次元画像データも回転させる。このように、画像表示部22に表示される画像の、観察角度や拡大率等を統一する。
さらに、操作制御部36は、スキャンにより得られている時系列的な3次元画像データに対してある画像処理が施されると、同じ画像処理を予め収集された時系列的な3次元画像データに施す。例えば、画像の不透明度やコントラストや明るさ等を統一するために、スキャンにより得られている時系列的な3次元画像データに対して施された画像処理のパラメータ(オパシティ等)と同じパラメータを用いて、予め収集された時系列的な3次元画像データに対して画像処理を施す。このように、画像表示部22に表示される画像の不透明度やコントラスト等を統一する。
画像表示部22は、画像制御部32、位置制御部33、時間制御部34、領域制御部35又は操作制御部36によって処理が施された時系列的な3次元画像データを表示する。
また、システム制御部31は、操作入力部21からの指示に従って、画像制御部32、位置制御部33、時間制御部34、領域制御部35及び操作制御部36の処理を個別に解除することもできる。つまり、システム制御部31の制御により、ある画像データに対しては、位置制御部33による処理のみを行い、その他の時間制御部34、領域制御部35等による処理を行わないようにしても良い。また、システム制御部31の制御により、ある画像データに対しては、位置制御部33、時間制御部34及び領域制御部35による処理を行い、操作制御部36による処理を行わないようにしても良い。この実施形態に係る画像処理装置20によると、このように全ての処理を行わず、指定された処理の情報のみを共有させて画像表示部22に画像を表示することができる。
また、記憶装置40は、画像記憶部41、位置情報記憶部42、生体情報記憶部43、領域情報記憶部44及び操作情報記憶部45を備えて構成されている。
画像記憶部41には、医用画像診断装置1により予め所定時間ごとに収集された時系列的な3次元画像データが保存されている。例えば、X線CT装置、超音波診断装置又はMRI装置等により収集された、時間ごとに少しずつ異なる時系列的な3次元画像データが保存されている。この実施形態に係る医用画像診断装置1はX線CT装置を想定しているが、画像記憶部41には、X線CT装置により収集された画像データの他、別の装置、例えば、超音波診断装置やMRI装置等により収集された画像データが保存されていても良い。つまり、同じ診断装置で収集された画像データのみならず、別の診断装置で収集された画像データが保存されていても構わないことになる。例えば、異なる診断装置で収集された画像同士を比較するために、異なる診断装置で収集された画像データを保存しておく。
位置情報記憶部42には、解剖学的特徴点や予め撮像時に被検体に装着された補助具によるマーカ等により表される、時間ごとに少しずつ異なる時系列的な3次元位置情報が記憶されている。または、位置情報収集部6により収集された被検体Pの3次元位置情報が記憶されている。
生体情報記憶部43には、心電信号(ECG)、筋電信号(EMG)又は関節動作情報等からなる時間ごとに変化する生体情報が記憶されている。この生体情報は、医用画像診断装置1によるスキャン中に同時に被検体Pから収集される情報であり、時間ごとに収集される複数の3次元画像データの付帯情報を成すものである。
領域情報記憶部44には、予め医用画像診断装置1により収集された時系列的な3次元画像データから所望の観察領域に含まれる3次元画像データを抽出した際の、その観察領域の範囲を示す、時間ごとに異なる情報(領域抽出情報)が記憶されている。
操作情報記憶部45には、予め医用画像診断装置1により収集された時系列的な3次元画像データに対して、画像表示部22の画面上で行われた操作を示す、時間ごとに異なる操作情報が記憶されている。
なお、図1に示す例においては、X線CT装置としての医用画像診断装置1の外部に、この実施形態の特徴部分である画像処理装置20を設け、医用画像診断装置1から送られてくる画像データを処理しているが、この発明はその例に限定されることはない。例えば、医用画像診断装置1内(X線CT装置内)に画像処理装置20を設け、医用画像診断装置1の内部にて画像処理を行っても良い。つまり、医用画像診断装置1(X線CT装置)自体に画像処理装置20の機能を持たせて、医用画像診断装置1が画像処理を行っても良い。
従って、医用画像診断装置1と画像処理装置20とをネットワーク等を介して接続し、医用画像診断装置1にて収集された画像データを画像処理装置20に送信して、画像処理装置20にて画像処理を行っても良く、また、医用画像診断装置1内に画像処理装置20を設け、医用画像診断装置1自体が画像処理を行っても良い。さらに、画像処理装置20ととともに記憶装置40も医用画像診断装置1に設けても良い。
上述した例においては、医用画像診断装置1としてX線CT装置を用いているが、この他、超音波診断装置やMRI装置等を用いても良い。図2に、医用画像診断装置として超音波診断装置を用いた例を示す。図2のブロック図に示す医用画像システムにおいては、医用画像診断装置の構成のみが異なっている。図2に示す医用画像診断装置10は、超音波診断装置からなり、超音波プローブ11、送受信部12、信号処理部13及びDSC(デジタルスキャンコンバータ)14を備えて構成されている。
超音波プローブ11は、超音波を送受信する超音波振動子がマトリックス(格子)状に配置された2次元超音波プローブからなる。そして、走査(スキャン)することによって3次元的に超音波を送受信し、プローブの表面から放射状に広がる形状の3次元データをエコー信号として受信する。また、超音波プローブ2として1次元超音波プローブを用いた場合は、超音波プローブ2を機械的に走査することで3次元データを収集する。
送受信部12は送信部と受信部とからなり、超音波プローブ11に電気信号を供給して超音波を発生させるとともに、超音波プローブ11が受信したエコー信号を受信する。
送受信部12内の送信部は、図示しないクロック発生回路、送信遅延回路及びパルサ回路を備えている。クロック発生回路は、超音波信号の送信タイミングや送信周波数を決めるクロック信号を発生する回路である。送信遅延回路は、超音波の送信時に遅延を掛けて送信フォーカスを実施する回路である。パルサ回路は、各超音波振動子に対応した個別経路(チャンネル)の数分のパルサを内蔵し、遅延が掛けられた送信タイミングで駆動パルスを発生し、超音波プローブ12の各超音波振動子に供給するようになっている。
また、送受信部12内の受信部は、図示しないプリアンプ回路、A/D変換回路及び受信遅延・加算回路を備えている。プリアンプ回路は、超音波プローブ11の各超音波振動子から出力されるエコー信号を受信チャンネルごとに増幅する。A/D変換回路は、増幅されたエコー信号をA/D変換する。受信遅延・加算回路は、A/D変換後のエコー信号に対して受信指向性を決定するのに必要な遅延時間を与え、加算する。その加算により、受信指向性に応じた方向からの反射成分が強調される。この受信部から出力される信号をRFデータと称する。
信号処理部13は、Bモード処理部、ドプラ処理部及びカラーモード処理部を備えている。送受信部12から出力されたRFデータは、いずれかの処理部にて所定の処理を施される。
Bモード処理部は、エコーの振幅情報の映像化を行い、エコー信号からBモード超音波ラスタデータを生成する。具体的には、RFデータに対してバンドパスフィルタ処理を行い、その後、出力信号の包絡線を検波し、検波されたデータに対して対数変換による圧縮処理を施す。その他、エッジ強調等の処理が行われる場合もある。このBモード処理部で生成されるデータをBモード超音波ラスタデータという。
ドプラ処理部は、位相検波回路及びFFT演算回路等から構成され、RFデータからドプラ偏移周波数成分を取り出し、更にFFT処理等を施して血流情報を有するデータを生成する
カラーモード処理部は、動いている血流情報の映像化を行い、カラー超音波ラスタデータを生成する。血流情報には、速度、分散、パワー等の情報があり、血流情報は2値化情報として得られる。具体的には、カラーモード処理部は、位相検波回路、MTIフィルタ、自己相関器、及び流速・分散演算器から構成されている。このカラーモード処理部は、組織信号と血流信号とを分離するためのハイパスフィルタ処理(MTIフィルタ処理)が行われ、自己相関処理により血流の移動速度、分散、パワー等の血流情報を多点について求める。その他、組織信号を低減及び削減するための非線形処理が行われる場合もある。
DSC14(Digital Scan Converter:デジタルスキャンコンバータ)は、直交座標系で表される画像を得るために、超音波ラスタデータを直交座標で表されるボクセルデータに変換する。DSC14は、上述した信号処理部13から出力された走査線信号列で表される信号処理後のデータを空間情報に基づいた座標系のデータに変換する(スキャンコンバージョン処理)。つまり、超音波走査に同期した信号列をテレビ走査方式の画像表示部22で表示できるようにするために、標準のテレビ走査に同期して読み出すことにより走査方式を変換している。
DSC14から出力されたボクセルデータは、ボリュームレンダリング処理回路(図示しない)によりボリュームレンダリング処理が施されて3次元画像データが生成される。この3次元画像データは画像制御部32を介して画像記憶部41に記憶されるとともに、画像表示部22により表示される。
なお、医用画像診断装置10として超音波診断装置を用いた場合も、上述したX線CT装置の例と同様に、医用画像診断装置10(超音波診断装置)内に画像処理装置20を設け、医用画像診断装置10(超音波診断装置)内で画像処理を行っても良い。
(動作)
次に、この発明の第1の実施形態に係る画像処理装置に動作について、図3乃至図18を参照しつつ説明する。まず、スキャンにより得られている時系列的な3次元画像データと、予め収集されて画像記憶部41に保存されている時系列的な3次元画像データとの座標系を一致させるための制御について、図3及び図4を参照しつつ説明する。図3は、この発明の第1の実施形態に係る画像処理装置による座標変換処理を順番に示すフローチャートである。図4は、この発明の第1の実施形態に係る画像処理装置による座標変換処理を説明するための図である。
まず、X線CT装置又は超音波診断装置等からなる医用画像診断装置1(10)により、時間的に少しずつ異なる時系列的な3次元画像データが収集され、図1又は図2に示す画像制御部32を介して画像記憶部41に保存される。この時系列的な3次元画像データは、画像制御部32からシステム制御部31を介して画像表示部22に出力され、画像表示部22にて時間ごとに少しずつ異なる3次元画像データが表示される。これにより、操作者は、3次元画像データを動画としていわゆるリアルタイムに観察することが可能となる。この画像記憶部41に保存されている時系列的な3次元画像データを、予め収集された時系列的な3次元画像データ(過去に収集された時系列的な3次元画像データ)とし、便宜的に「時系列的な3次元画像データA」と称する場合もある。
そして、医用画像診断装置1(10)により、時間ごとに少しずつ異なる、新たな時系列的な3次元画像データを収集する。ここで、今現在スキャンにより得られている時系列的な3次元画像データを、便宜的に「時系列的な3次元画像データB」と称する場合もある。この新たな時系列的な3次元画像データBは、逐次、医用画像診断装置1(10)から画像処理装置20の画像制御部32に出力される。
そして、スキャンにより新たな時系列的な3次元画像データBを収集しているときに、画像制御部32は、画像記憶部41から予め収集された時系列的な3次元画像データAを読み込む。そして、画像制御部32は、予め収集された時系列的な3次元画像データAと、スキャンにより得られている時系列的な3次元画像データBとを位置制御部33に出力する。
位置制御部33は、位置情報記憶部42に記憶されている、予め収集された時系列的な3次元画像データAにおける、時間ごとに少しずつ異なる時系列的な3次元位置情報を読み込む(ステップS01)。位置制御部33は、例えば図4に示すような、解剖学的特徴点(骨格上の特徴点)で表される時系列的な3次元位置情報を読み込む。この解剖学的特徴点で表される3次元位置情報は時間ごとに少しずつ異なるものである。
さらに、位置制御部33は、スキャンにより得られている時系列的な3次元画像データBにおける、時間ごとに少しずつ異なる時系列的な3次元位置情報を抽出する(ステップS02)。例えば、位置制御部33は、画像制御部32から送られるスキャンにより得られている時系列的な3次元画像データBから解剖学的特徴点(骨格上の特徴点)を抽出し、その解剖学的特徴点を3次元位置情報とする。この解剖学的特徴点で表される3次元位置情報も時間ごとに少しずつ異なるものである。
そして、位置制御部33は、予め収集された時系列的な3次元画像データAの解剖学的特徴点と、スキャンにより得られている時系列的な3次元画像データBの解剖学的特徴点とを比較し、それらが一致しているか否かの判断を行う(ステップS03)。位置制御部33により、解剖学的特徴点が一致していないと判断された場合は(ステップS03、No)、例えば、スキャンにより得られている3次元画像データBから新たな解剖学的特徴点を抽出し、予め収集された3次元画像データAの解剖学的特徴点と一致させる(ステップS04)。
位置制御部33により、解剖学的特徴点が一致すると判断された場合は(ステップS03、Yes)、位置制御部33は、各3次元画像データにおけるローカル座標系を定義する(ステップS05)。例えば、図4に示すように、位置制御部33により3点の解剖学的特徴点が抽出された場合、その3点で表される座標系をローカル座標系と定義する。図4(a)には、予め収集された3次元画像データAとその解剖学的特徴点が示され、図4(b)には、スキャンにより得られている3次元画像データBとその解剖学的特徴点が示されている。そして、位置制御部33は、図4(a)、(b)に示すように、3点の解剖学的特徴点に従ってローカル座標系を定義する。なお、複数の3次元画像の位置合わせを行う場合、一致させたい診断部位によって定義するローカル座標は異なる。
そして、位置制御部33は、スキャンにより得られている3次元画像データBのローカル座標系を座標変換して、予め収集された3次元画像データAのローカル座標系に一致させる(ステップS06)。例えば、図4(c)に示すように、位置制御部33は、スキャンにより得られている時系列的な3次元画像データBのローカル座標系を座標変換して回転させ、更に移動させることにより、両者のローカル座標系を一致させる。これにより、そのローカル座標系で表される3次元画像データBも回転させられ、3次元画像データAと3次元画像データBの向き及び位置が一致することになる。
このように両画像データの向き及び位置を一致させることができるため、スキャンにより得られている時系列的な3次元画像データBと、予め収集された時系列的な3次元画像データAとを画像表示部22に表示させると、両画像の向き及び位置が一致しているため、両画像の比較が容易になる。
また、3次元位置情報として解剖学的特徴点を用いずに、3次元位置センサからなる位置情報収集部6により収集された被検体Pの3次元位置情報や、予め撮像時に被検体に装着させた補助具により撮像されたマーカ等により表される3次元位置情報を用いても良い。この場合、位置制御部33は、位置情報記憶部42に記憶されている、予め収集された時系列的な3次元画像データAにおける、3次元位置センサにより収集された被検体Pの3次元位置情報や、マーカ等により表される3次元位置情報を読み込む。
さらに、位置制御部33は、位置情報収集部6から、スキャンにより得られている時系列的な3次元画像データBにおける、3次元位置センサにより収集された被検体Pの3次元位置情報や、マーカ等により表される3次元位置情報を読み込む。
そして、位置制御部33は、3次元画像データAのマーカ等と3次元画像データBのマーカ等の位置及び向きを一致させる。このように、マーカ等の3次元位置情報を基準にして向き及び位置を調整することにより、3次元画像データAと3次元画像データBの向き及び位置が一致することになり、両画像の観察、比較が容易になる。
このように各3次元画像データの向き及び位置が一致させられた後、各3次元画像データは時間制御部34に出力される。時間制御部34は、生体情報収集部7により収集される心電波形(ECG信号)等の生体情報に基づいて、スキャンにより得られている時系列的な3次元画像データBと、予め収集された時系列的な3次元画像データAとを同期させる。この時間制御部34による制御について、図5乃至図11を参照しつつ説明する。図5は、この発明の第1の実施形態に係る画像処理装置により、2つの時系列的な3次元画像データを同期させて表示する処理を順番に示すフローチャートである。
まず、時間制御部34は、位置制御部33から出力された3次元画像データAと3次元画像データBとを受け、更に、生体情報記憶部43に記憶されている、予め収集された3次元画像データAの付帯情報である生体情報を読み込む(ステップS10)。次に、時間制御部34は、生体情報収集部7から、スキャンにより得られている3次元画像データBの付帯情報である生体情報を読み込む(ステップS11)。
生体情報収集部7として、心電計を用いた場合は、被検体(撮影対象)Pの心電信号(ECG信号)が収集されるため、その心電信号(ECG信号)が生体情報となる。また、筋電計を用いた場合は、EMG信号が収集されるため、そのEMG信号が生体情報となる。その他、意図的に被検体の関節を動かしたときのその動きを示す関節動作情報を生体情報とすることもできる。
時間制御部34は、3次元画像データAの付帯情報としての生体情報と、3次元画像データBの付帯情報としての生体情報とが一致しているか否かの判断を行い(ステップS12)、生体情報が異なっている場合は(ステップS12、No)、時間制御部34は、生体情報を一致させる(ステップS13)。例えば、3次元画像データAの生体情報として筋電信号(EMG信号)が読み込まれ、3次元画像データBの生体情報として心電信号(ECG信号)が読み込まれた場合は、生体情報が異なっている。この場合、時間制御部34は、例えば、3次元画像データAの生体情報として心電信号(ECG信号)を生体情報記憶部43から読み込み、生体情報を一致させる。
この実施形態においては、生体情報収集部7に心電計を用いて、被検体Pの心電信号(ECG信号)を収集する場合について説明する。生体情報が一致している場合は(ステップS12、Yes)、時間制御部34は、その生体情報のタイムスケールを一致させ、互いの生体情報の時刻(時相)を一致させる(ステップS14)。ここで、生体情報として心電信号(ECG信号)を用いた場合において、タイムスケールを一致させる処理について図6及び図7を参照しつつ説明する。図6は、心電信号(ECG信号)を示す図である。図7は、この発明の第1の実施形態に係る画像処理装置により、2つの時系列的な3次元画像を同期させて表示する処理を説明するための図である。
図6に示す、ECG1は、予め収集された時系列的な3次元画像データAを収集する際に、同時に収集された心電信号(ECG信号)である。また、ECG2は、スキャンにより得られている時系列的な3次元画像データBを収集している際に、同時に収集されている心電信号(ECG信号)である。この例においては、ECG2よりもECG1の方が心拍の間隔が短い。なお、図6に示すように、心電信号(ECG信号)には、「P」、「Q」、「R」、「S」、「T」、「U」と命名されたピークがある。
時間制御部34は、ECG1とECG2とを利用して、3次元画像データAと3次元画像データBのタイムスケールを一致させる。時間制御部34は、例えば、ECG信号のR波(ピークR)のみを抽出して、R波(ピークR)を一致させることにより、タイムスケールを一致させる。例えば図7に示すように、ECG1のR波(ピークR)が、ECG2のR波(ピークR)に一致するようにECG1の時間軸を延ばしてECG1’とする。また、R波(ピークR)のみならず、他のピークも使用してタイムスケールを一致させても良い。例えば、時間制御部34は、ECG1の各ピークが、ECG2の各ピークにそれぞれ一致するようにECG1の時間軸を延ばしてECG1’としても良い。このように、3次元画像データAと3次元画像データBのタイムスケールを一致させ、同じ時刻(時相)における3次元画像データ同士を同期させ、それらを画像表示部22に出力して画像表示部22にて同時に表示することで、同じ時刻(時相)にて収集された3次元画像同士の比較が可能となる。
そして、時間制御部34は、3次元画像データA及び3次元画像データBの単位時間当たり(例えば1秒当たり)の画像数をそれぞれ算出し、単位時間当たりの画像数が少ない方の画像データに対して補間処理を施して所定の時刻(時相)の3次元画像データを生成する。例えば、単位時間当たりの画像数が、3次元画像データAよりも3次元画像データBの方が多い場合は(ステップS15、Yes)、3次元画像データAに対して補間処理を施して、単位時間当たりの画像数を3次元画像データBに一致させる(ステップS17)。一方、単位時間当たりの画像数が、3次元画像データBよりも3次元画像データAの方が多い場合は(ステップS15、No)、3次元画像データBに対して補間処理を施して、単位時間当たりの画像数を3次元画像データAに一致させる(ステップS16)。
ここでは、まず、3次元画像データAと3次元画像データBの単位時間当たりの画像数が同じ場合であって、補間処理を行わない場合について説明する。
図7に示すように、予め収集された時系列的な3次元画像データAのうち、ピークPにて収集された3次元画像データを、画像データg11とし、ピークRにて収集された3次元画像データを、画像データg12とし、ピークTにて収集された3次元画像データを、画像データg13とする。さらに続けて、ピークRにて収集された3次元画像データを、画像データg14とし、ピークTにて収集された3次元画像データを、画像データg15とし、ピークPにて収集された3次元画像データを、画像データg16とする。
また、スキャンにより得られている時系列的な3次元画像データBのうち、ピークPにて収集された3次元画像データを、画像データg21とし、ピークRにて収集された3次元画像データを、画像データg22とし、ピークTにて収集された3次元画像データを、画像データg23とする。さらに続けて、ピークRにて収集された3次元画像データを、画像データg24とし、ピークTにて収集された3次元画像データを、画像データg25とし、ピークPにて収集された3次元画像データを、画像データg26とする。
そして、ECG1’とECG2の時刻(時相)が一致する3次元画像データA及び3次元画像データBを、画像表示部22にて同時に表示することで、同じ時刻(時相)の3次元画像データを表示して比較することが可能となる。このように同期表示することにより、予め収集された時系列的な3次元画像データAと、スキャンにより得られている時系列的な3次元画像データBとの比較が容易になる。
例えば、ピークRにて収集された画像データg12と画像データg22とを同時に表示することで、つまり、スキャンにより得られている画像データg22の表示のタイミングに合わせて予め収集された画像データg12を表示することで、ピークRにおける画像同士の比較が可能となる。
次に、単位時間当たりの画像数が、3次元画像データAよりも3次元画像データBの方が多い場合(ステップS15、Yes)について説明する。この場合においては、ある時刻(時相)において収集された3次元画像データBに対応する3次元画像データAが欠けて存在しないため、3次元画像データAに対して補間処理を施して、その時刻(時相)における欠けている3次元画像データを生成して、その時刻(時相)の3次元画像データBに一致させる。
予め収集された時系列的な3次元画像データAを補間する場合について、図8及び図9を参照しつつ説明する。図8及び図9は、この発明の第1の実施形態に係る画像処理装置による画像補間処理を説明するための図である。
図8に示すように、時間制御部34によりタイムスケールが延ばされた状態において、画像データg23に対応する画像データg13が存在しない。つまり、時刻(時相)t3(ピークT)における3次元画像データAが欠けて存在しない。従って、3次元画像データAと3次元画像データBとを比較する場合に、時刻(時相)t3(ピークT)における画像データ同士の比較が不可能となってしまう。そこで、時間制御部34は、時刻(時相)t3の前後の時刻(時相)t2、t4にて収集された画像データg12及びg14を用いて、時刻(時相)t3の欠けている画像データg13を補間して求める。
図9(a)に、時刻(時相)t2、t4におけるボリュームデータ内のボクセル位置とボクセル値との関係を示す。横軸は、ボリュームデータのボクセル位置を示し、縦軸はそのボクセル位置におけるボクセル値を示している。例えば、任意のボクセル位置nにおける時刻(時相)t2のボクセル値はv2となり、時刻(時相)t4のボクセル値はv4となる。
図9(b)に、任意のボクセル位置nにおける、時刻(時相)t2のボクセル値と、時刻(時相)t4のボクセル値とを示す。時刻(時相)t3におけるボクセル値v3は、ボクセル値v2とv4との間にあると推測されるため、ボクセル値v2とv4を結ぶ、ユーザ指定の関数「v=f(t)」により、時間制御部34は、時刻(時相)t3におけるボクセル値v3を算出する。この関数「v=f(t)」は、線形又は非線形の関数の指定が可能である。そして、時間制御部34は、全てのボクセル位置におけるボクセル値を算出し、時刻(時相)t3における欠けている画像データg13を生成する。
このように、画像データを補間して3次元画像データA及び3次元画像データBを、画像表示部22にて同時に表示することで、同じ時刻(時相)の3次元画像データを表示して比較することが可能となる。
次に、単位時間当たりの画像数が、3次元画像データBよりも3次元画像データAの方が多い場合(ステップS15、No)について説明する。この場合においては、ある時刻(時相)において収集された3次元画像データAに対応する3次元画像データBが欠けて存在しないため、3次元画像データBに対して補間処理を施して、その時刻(時相)における画像データを生成して、3次元画像データAに一致させる。
スキャンにより得られている時系列的な3次元画像データBを補間する場合について、図10及び図11を参照しつつ説明する。図10及び図11は、この発明の第1の実施形態に係る画像処理装置による画像補間処理を説明するための図である。
例えば図10に示すように、画像データg13に対応する画像データg23が欠けて存在しないものとする。つまり、時刻(時相)t3における3次元画像データBが欠けて存在しない。この場合も上述した補間方法により補間して時刻t3における3次元画像データBを生成すれば良いが、3次元画像データBは今現在、スキャンにより収集しているデータであるため、時刻t3における3次元画像データを表示するまでに、時刻t4における3次元画像データが収集されていなければ、時刻t3における3次元画像データを補間することができない。つまり、図10に時刻t0で表す現在の時刻においては、画像データg24以降のデータが存在しないため、時刻t0の段階においては、上述したように時刻t2と時刻t4における3次元画像データを用いて補間処理を行って、時刻(時相)t3における欠けている画像データg23を生成することはできない。
そこで、スキャンにより現在得られている時系列的な3次元画像データBを補間する場合は、画像表示部22の表示更新のタイミングをずらすことによって、補間処理を完了して画像データを生成し、補完された画像データを表示する。
この画像表示更新タイミングについて、図11を参照しつつ説明する。横軸を時間tとする。医用画像診断装置1のスキャンにより、所定時間ごとにデータ収集部4によりデータが収集され、画像再構成部5により次々とボリュームデータV1〜が再構成される。そして、例えばボリュームデータV1とV2との間の3次元画像データを補間して求める場合は、ボリュームデータV1、V2が再構成されると、時間制御部34はそのボリュームデータV1、V2を用いて、ボリュームデータV1とボリュームデータV2が収集される間のボリュームデータを補間して生成する。また、ボリュームデータV3が再構成され、ボリュームデータV2とV3と間の3次元画像データを補間して求める場合は、時間制御部34は、ボリュームデータV2、V3を用いて、ボリュームデータV2とV3の間のボリュームデータを補間して生成する。
そして、画像表示部22は、ボリュームデータV1に対応する3次元画像データを表示した後、ボリュームデータV2に対応する3次元画像データを表示する前に、補間されたボリュームデータに対応する3次元画像データを表示する。画像表示部22は、補間された3次元画像データが表示された一定時間後に、ボリュームデータV2に対応する3次元画像データを表示する。画像表示部22は表示更新の間隔を一定に保ちつつ、ボリュームデータV1に対応する3次元画像、V1とV2の補間により生成された3次元画像、ボリュームデータV2に対応する3次元画像、V2とV3の補間により生成された3次元画像、ボリュームデータV3に対応する3次元画像、・・・の順番で、3次元画像を表示する。
つまり、3次元画像V1が表示されてから次の画像が表示されるまでの間に、3次元画像V2を再構成し、3次元画像V1とV2を用いて補間し、それから補間された3次元画像の表示を行い、その後、3次元画像V2を表示する。
図10に示す画像データで説明すると、画像データg22を再構成し、画像データg22を表示している間に、スキャン及び再構成を行って画像データg24を再構成し、さらに、画像データg22と画像データg24と用いて補間された画像データg23を生成し、画像データg22の表示に続いて画像データg23を表示し、次に画像データg24を表示する。このように、表示更新のタイミングをずらすことで、補間された画像を表示することが可能となり、画像データg13との比較が可能となる。なお、画像表示部22は、一定時間後に表示を行うために必要なメモリ及びカウンタ等を備えている。
時間制御部34により、予め収集された時系列的な3次元画像データAと、スキャンにより得られている3次元画像データBとが、同期させられて、領域制御部35に出力される。次に、この領域制御部35による制御について、図12乃至図15を参照しつつ説明する。図12は、この発明の第1の実施形態に係る画像処理装置により、時系列的な3次元画像から所望の領域を抽出する処理を順番に示すフローチャートである。図13乃至図15は、この発明の第1の実施形態に係る画像処理装置により、時系列的な3次元画像から所望の領域を抽出する処理を説明するための図である。
まず、領域制御部35は、予め収集された時系列的な3次元画像データAに対して施された領域抽出の範囲を示す情報(領域抽出情報)を領域情報記憶部44から読み込み(ステップS20)、さらに、スキャンにより得られている3次元画像データBを読み込む(ステップS21)。そして、領域制御部35は、読み込んだ領域抽出情報から3次元画像データBに対する領域抽出情報を算出し(ステップS22)、算出された領域抽出情報の範囲を3次元画像データBから抽出する(ステップS23)。なお、読み込まれた領域抽出情報は、時間ごとに少しずつ異なるものである。また、3次元画像データAと3次元画像データBとでは、抽出する観察領域にずれが生じる場合があるため、領域制御部35は、観察領域の範囲を微調整してそのずれを修正し、3次元画像データBに適合する領域抽出情報を算出する(ステップS22)。そして、領域制御部35は、微調整した領域抽出情報に基づいて、3次元画像データBからその微調整後の範囲に含まれる3次元画像データを抽出する(ステップS23)。
例えば、予め収集された時系列的な3次元画像データAが被検体の上半身(胸部)の画像を表している場合であって、過去において、その上半身の画像から心臓の部分を抽出して表示したものとする。その抽出した範囲を示す情報(領域抽出情報)が時間ごとに抽出情報記憶部44に記憶され、領域制御部35は各時間における領域抽出情報を読み込む。そして、領域制御部35は、その読み込んだ領域抽出情報をスキャンにより得られている時系列的な3次元画像データBに対して適用し、領域抽出情報を反映した範囲の3次元画像データを抽出する。
例えば、図13(a)に示すように、領域制御部35は、予め領域情報記憶部44に保存されている、各時刻(時相)の領域抽出情報を読み込む。そして、領域制御部35は、図13(b)に示す、時刻(時相)t1に収集された3次元画像データAに対してその領域抽出情報を適用して、図13(c)に示すように、その領域抽出情報の範囲の3次元画像データを抽出する。これと同様に、領域制御部35は、図13(b)に示す、時刻(時相)t1に収集されている3次元画像データBに対してその領域抽出情報を適用して、図13(c)に示すように、その領域抽出情報の範囲の3次元画像データを抽出する。時刻(時相)t2及びt3においても、同様に、それぞれの時刻(時相)において施された領域抽出の情報に従って、3次元画像データを抽出する。
時系列的な3次元画像データに対して、時間ごとに異なる範囲の領域抽出が行われている場合は、領域抽出情報も時系列的に記憶されている。例えば、時刻(時相)t1における領域抽出情報と、時刻(時相)t2における領域抽出情報とは、その範囲が異なる場合がある。従って、領域制御部35は、時間ごとに異なる領域抽出情報を3次元画像データA、Bに適用して所望の観察領域の画像を抽出する。これにより、各時刻(時相)における観察領域に含まれる3次元画像同士の比較が可能となる。
また、領域制御部35は、予め収集された時系列的な3次元画像データAから抽出された時系列的な3次元画像データから、その抽出領域を示すマスク(抽出領域情報)を生成して、そのマスクをスキャンにより得られている時系列的な3次元画像データBに適用して所望の観察領域に含まれる3次元画像データを抽出しても良い。図14に示すように、領域制御部35は、予め収集された時系列的な3次元画像データAの各時刻において抽出された3次元画像データg31、g32、g33、g34・・・から、各時刻(時相)におけるマスク(抽出領域情報)m1、m2、m3、m4、・・・を生成し、各時刻(時相)に対応する3次元画像データBにそのマスク(抽出領域情報)m1、m2、m3、m4、・・・を適用して所望の観察領域に含まれる3次元画像データg41、g42、g43、g44、・・・を抽出する。これにより、各時刻(時相)における観察領域に含まれる3次元画像同士の比較が可能となる。
予め収集された時系列的な3次元画像データAに対して施された領域抽出の範囲と同じ範囲の観察領域を、スキャンにより得られている時系列的な3次元画像データBから抽出する場合について説明したが、全く同じ範囲の観察領域を抽出することが適していない場合がある。例えば、心臓の画像を抽出する場合、心臓の収縮率により、図14に示すように、抽出する観察領域にずれが生じる場合がある。つまり、時刻t1、t2において予め収集された3次元画像データAの範囲よりも、スキャンにより得られている3次元画像データBの方が、大きさが小さいため、そのまま過去の観察領域を適用すると、ずれが生じる。具体的には、時刻(時相)t1における画像データg31よりも画像データg41の方が小さく、また、時刻(時相)t2における画像データg32よりも画像データg42の方が小さい。従って、3次元画像データAに適用したマスク(領域抽出情報)をそのまま3次元画像データBに適用すると、抽出領域のずれが生じる。
この場合、領域制御部35は、3次元画像データBに適合するマスク(領域抽出情報)を生成し(ステップS22)、その生成されたマスク(領域抽出情報)をスキャンにより得られている3次元画像データBに適用して所望の観察領域の3次元画像を抽出する(ステップS23)。領域制御部35は、例えば、観察対象である心臓の変化(例えば収縮率等)に追従して抽出領域の範囲(マスクの形状)を微調整して、3次元画像データBに適合するマスク(領域抽出情報)を生成する。例えば、モルフォロジカル・フィルタ処理を行うことにより、領域制御部35は心臓の収縮率等に基づいて、図15に示すように抽出領域の範囲(マスクの形状)を微調整(収縮又は拡張)して、3次元画像データBに適合するマスク(領域抽出情報)を生成する。そして、領域制御部35は、微調整された抽出領域の範囲を、スキャンにより得られている3次元画像データBに適用して所望の観察領域に含まれる3次元画像データを抽出する。このように、領域抽出情報を微調整してずれを補正し、その補正後の領域抽出情報を3次元画像データBに適用することで、3次元画像データBに適合した観察領域に含まれる画像を抽出することが可能となる。
このように、領域制御部35により、予め収集された時系列的な3次元画像データAに対して施された領域抽出の範囲に対応する領域を、スキャンにより得られている時系列的な3次元画像データBに適用して3次元画像データを抽出することにより、各時刻(時相)における観察領域に含まれる3次元画像同士の比較が可能となる。
領域制御部35により抽出された3次元画像データは、操作制御部36に出力される。この操作制御部36による制御について、図16及び図17を参照しつつ説明する。図16は、この発明の第1の実施形態に係る画像処理装置により、操作状態を一致させる処理を順番に示すフローチャートである。図17は、この発明の第1の実施形態に係る画像処理装置により、操作状態を一致させる処理を説明するための図である。
操作制御部36は、操作情報記憶部45に記憶されている、予め収集された時系列的な3次元画像データAに対して行われた操作の内容を示す情報(操作情報)を読み込む(ステップS30)。さらに、操作制御部36は、スキャンにより得られている時系列的な3次元画像データBを読み込む(ステップS31)。この操作情報や画像処理のパラメータは時系列的なものであり、時間ごとに異なるものである。
そして、操作制御部36は、読み込んだ操作情報を、予め収集された3次元画像データAに反映して、画像表示部22上の表示を変更する(ステップS32)。さらに、操作制御部36は、読み込んだ操作情報を、スキャンにより得られている3次元画像データBに反映して、画像表示部22上の表示を変更する(ステップS33)。この操作情報には、例えば、画像表示部22の画面上で画像を回転させる情報等が含まれており、操作制御部35は、例えばその回転させる情報を受けると、予め収集された3次元画像データA及びスキャンにより得られている3次元画像データBにその回転操作を反映させる。そして、操作制御部35から出力された3次元画像データA及び3次元画像データBは、システム制御部31を介して画像表示部22に出力され、3次元画像データAと3次元画像データBは、画面上で、同じように回転させられて表示される。このように、各3次元画像データに同じ操作を適用して向き及び位置を一致させることで、画像の比較、観察が容易になる。
また、図17に示すように、操作入力部21から入力された、回転、移動又はズーム等の操作情報を3次元画像データA、Bに反映させても良い。例えば、3次元画像データAを回転させた場合、操作制御部35は、その回転操作を3次元画像データBに対しても行い、同じように3次元画像データBも回転させる。このように、各時刻における3次元画像データごとに同じ操作を適用することで、画像の比較、観察が容易になる。
また、3次元画像データA、Bの画像処理の内容を一致させる場合は、操作制御部36は、操作情報記憶部45に記憶されている、予め収集された時系列的な3次元画像データAに対して行われた画像処理のパラメータ(オパシティやWL/WW等)を読み込み、そのパラメータを用いて3次元画像データA、Bに対して画像処理を施す。これにより、3次元画像データA、Bの不透明度やコントラストや明るさ等が統一されるため、画像の比較、観察が容易になる。また、操作制御部36は、スキャンにより得られている3次元画像データBに対して施される画像処理を、予め収集された3次元画像データAに対して施しても良い。つまり、3次元画像データA、Bに対して同じパラメータを用いて画像処理を行っても良い。
以上のように、各制御部により処理が施されて、予め収集された時系列的な3次元画像データAと、スキャンにより得られている時系列的な3次元画像データBとが画像表示部22に出力される。この画像表示部22における表示の内容を図18に示す。図18において、画像表示部22の画面上には、時間ごとに、予め収集された3次元画像データAと、スキャンにより得られている3次元画像データBとが同時に表示される。この表示内容は、上述した位置制御部33による処理により、ローカル座標系が一致しているものである。さらに、時間制御部34による処理により、例えば心電信号(ECG信号)に同期した3次元画像データが表示され、同じ時刻(時相)において収集された3次元画像データが同時に表示される。また、領域制御部35による処理により、互いに対応する領域が抽出された画像が表示されている。この例においては、関心領域として心臓の3次元画像が表示されている。さらに、操作制御部36による処理により、回転の向きやズームの倍率等が同じになる。
画像表示部22の画面上には、時間ごとに少しずつ異なる3次元画像が表示され、操作者は動画として観察し、両画像を比較することができる。このように、この実施形態に係る画像処理装置20によると、スキャン中にいわゆるリアルタイムに、時系列的な3次元画像データから所望の観察領域に含まれる3次元画像データを抽出し、生体情報に基づいて時系列的な3次元画像データ同士を同期させ、更に、抽出された観察領域に含まれる3次元画像の向きや、表示されている3次元画像の観察角度や拡大率等の表示操作や、画像処理の内容を、比較する時系列的な3次元画像データ同士で共通化することにより、時系列的な3次元画像データ同士の比較を容易にし、患部の経時変化や治療効果等の確認も容易にすることが可能となる。これにより、診断に有効な新たな情報を医師等に提供することが可能となる。
また、医用画像診断装置として超音波診断装置を用いて、ストレスエコー法により画像を収集する場合、この実施形態に係る画像処理装置20を用いると、有効な情報を医師に提供することが可能となる。例えば、ストレスエコー法により、被検体にジョギングをさせ、ジョギングする前とジョギングする後とのそれぞれにおいて心筋の時系列的な3次元画像データを収集し、ジョギング前後の時系列的な3次元画像を比較する場合に、画像処理装置20によりジョギング前後の時系列的な3次元画像データを処理することにより、心臓の時系列的な3次元画像同士を容易に比較することが可能となる。
従来、ストレスエコー法により画像を収集する場合、スキャン中の時系列的な3次元画像データから所望の観察領域に含まれる3次元画像データをリアルタイムに抽出することができなかったため、ジョギング後の時系列的な3次元画像データを収集しながら、ジョギング前後の時系列的な3次元画像の比較をリアルタイムに行うことができなかった。しかし、この実施形態に係る画像処理装置20を用いると、スキャン中の時系列的な3次元画像データから所望の観察領域に含まれる3次元画像データをリアルタイムに抽出することができるため、ジョギング前後の時系列的な3次元画像の比較をリアルタイムに行うことが可能となる。
また、システム制御部31は、操作入力部21からの指示に従って、画像制御部32、位置制御部33、時間制御部34、領域制御部35及び操作制御部36の処理を個別に解除することもできる。このように全ての処理を行わず、指定された処理のみを同期させて画像表示部22に画像を表示することができる。例えば、時間制御部34及び領域制御部35のみの処理を行って、時系列的な3次元画像データA、Bを時間的に同期させ、更に、所望の観察領域に含まれる3次元画像データを抽出して、画像表示部22に表示させることもできる。このように処理を行っても、観察領域に含まれる3次元画像同士を時系列的に比較することが可能となる。
また、画像表示部22の画面上には、3次元画像以外に、生体情報の波形が表示される。この生体情報の波形には、現在表示している画像が収集された時刻(時相)を示すマーカが表示されるようにしても良い。さらに、画像表示部22の画面上に、各制御部の処理をON/OFFさせるための入力部をGUI(グラフィカルユーザインターフェース)として表示して、操作入力部21に設置されているマウス等によりON/OFFの切替を選択できるようにしても良い。また、位置制御部33にて用いられる3次元位置情報、時間制御部34にて用いられる生体情報、領域制御部35にて用いられる領域抽出情報、及び操作制御部36にて用いられる操作情報の具体的な内容が選択可能に表示されていても良い。例えば、操作入力部21に設置されているマウス等により、位置「骨領域の特徴点」が選択されると、上述した処理のように、骨領域の特徴点(解剖学的特徴点)が3次元位置情報として用いられ、時間「ECG」が選択されると、心電信号(ECG信号)が生体情報として用いられる。さらに、画面上に操作パネルを表示させ、3次元画像の拡大、移動、回転又は計測等の操作が選択されるようにしても良い。また、画面上に、画像処理のパラメータであるオパシティ(Opacity)のカーブや、コントラストや明るさを決定するパラメータであるWL/WWのカーブを表示しても良い。
また、この実施形態に係る画像処理装置を応用すると、異なる医用画像診断装置にて収集された時系列的な3次元画像データを比較することも可能となり、複数の3次元画像データ同士を重畳して画像表示部22に表示することによって、時系列的な合成画像(いわゆるFusion画像)を表示することが可能となる。例えば、超音波診断装置にて収集された時系列的な3次元画像データと、X線CT装置にて収集された時系列的な3次元画像データとに対して、領域抽出や生体情報に基づく同期処理等を施すことにより、各時間における所望の観察領域に含まれる3次元画像同士の比較が容易になる。また、被検体の時系列的な3次元画像データと時間ごとに変化する典型症例との比較も容易にすることが可能となる。このように、診断に有効な新たな情報を医師等に提供することが可能となる。
[第2の実施の形態]
次に、この発明の第2の実施形態に係る画像処理装置を備えた画像処理システムについて、図19を参照しつつ説明する。図19は、この発明の第2の実施形態に係る画像処理装置を備えた画像処理システムの概略構成を示すブロック図である。この第2の実施形態に係る画像処理装置20は、第1の実施形態に係る画像処理装置20と同じ構成を有するが、この実施形態においては、図19に示すように、画像処理装置20と医用画像診断装置1(10)とが接続されておらず、いわゆるリアルタイムに医用画像診断装置1から3次元画像データが入力されない。この場合は、複数の時系列的な3次元画像データを記憶装置40に保存しておき、保存された3次元画像データに対して上述した処理を施す。
上述したように、記憶装置40に保存されている複数の時系列的な3次元画像データに対して、生体情報により同期した3次元画像を画像表示部22に表示し、更に、一方の時系列的な3次元画像データから所望の観察領域に含まれる3次元画像データを抽出した場合、その観察領域の範囲を他方の時系列的な3次元画像データに対しても適用して、所望の観察領域に含まれる3次元画像データを抽出して表示する。このとき、観察領域の範囲にずれがある場合は、その観察領域を微調整により収縮又は拡張し、微調整された観察領域を他方の3次元画像データに適用して所望の観察領域に含まれる3次元画像データを抽出する。その他、操作情報等を同期させて同じ表示操作が施された状態で画像表示部22に3次元画像を表示する。
これにより、異なる医用画像診断装置にて収集された時系列的な3次元画像データを比較することも可能となり、複数の3次元画像データ同士を重畳して画像表示部22に表示することによって、時系列的な合成画像(いわゆるFusion画像)を表示することが可能となる。例えば、超音波診断装置にて収集された時系列的な3次元画像データと、X線CT装置にて収集された時系列的な3次元画像データとに対して、領域抽出や生体情報に基づく同期処理等を施すことにより、各時間における所望の観察領域に含まれる3次元画像同士の比較が容易になる。また、被検体の時系列的な3次元画像データと時間ごとに変化する典型症例との比較も容易にすることが可能となる。このように、診断に有効な新たな情報を医師等に提供することが可能となる。
[第3の実施の形態]
次に、この発明の第3の実施形態に係る画像処理システムについて、図20を参照しつつ説明する。この実施形態に係る画像処理システムは、ロボット手術等を想定した術中ナビゲーションシステムに相当し、第1の実施形態に係る画像処理装置を備えることにより、実現可能となるものである。
図20に示すように、画像処理装置20には、術中ナビゲーション装置50が接続されている。さらに、画像処理装置20には、編集画像出力部37が備えられている。この編集画像出力部37は、画像処理装置20にて領域抽出や生体情報に基づく同期処理等が施された時系列的な3次元画像データを術中ナビゲーション装置50に出力する。
術中ナビゲーション装置50は、操作入力部51、実画像収集部52、実画像出力部53、画像表示部54、制御部55及び重畳画像処理部56を備えて構成されている。
操作入力部51は、術者による操作により、手術に必要なメス等の手術器具57を操作する。また、操作入力部51は、術者の操作により、手術器具57と連動したロボットアームを操作することもできる。
実画像収集部52は、医用画像診断装置1の撮像対象である被検体Pの実画像を撮影するものであり、更に、術者の視点を追従することもでき、術者の挙動(視点の挙動)に追従して実画像を撮影することができる。画像出力部53は、実画像収集部52により収集された実画像に対して画像処理を行い、収集した実画像を鮮明な画像に変換して重畳画像処理部56に出力する。
重畳画像処理部56は、画像出力部53から出力された実画像と、画像処理装置20の編集画像出力部37から出力された、領域抽出等の処理が施された時系列的な3次元画像データとを受け、それらを重ね合わせる。
制御部55は、術中ナビゲーション装置50全体を制御するものであり、主に、操作入力部51から出力される術者による操作情報や、重畳画像処理部56から出力される、実画像と時系列的な3次元画像データとが重畳された画像データ等を画像表示部54に受け渡す処理を行う。
画像表示部54は、術者の視点の移動に追従した実画像と、医用画像診断装置1にて収集され、画像処理装置20にて領域抽出や同期処理等が施された時系列的な3次元画像データとを、重畳して表示する。術者(手術ロボット操作者)は、この画像表示部54に表示された重畳画像を観察しながら、操作入力部51を介して手術器具57を操作して手術を行うことになる。
このように、画像処理装置20により領域抽出等が施された時系列的な3次元画像と実画像とを重畳して表示することにより、実画像では得られない、被検体内部に存在する臓器の移動や変形等の経時的変化等を、術者は手術中にリアルタイムに取得することが可能となる。例えば、術中の時系列的な3次元画像データと、術前の時系列的な3次元画像データとを、同期させて表示したり、観察したい部分の画像を抽出して表示したりすることにより、手術中に比較検討することが可能となる。