JP5457764B2

JP5457764B2 - 医用画像処理装置

Info

Publication number: JP5457764B2
Application number: JP2009202762A
Authority: JP
Inventors: 恭子佐藤; 仁山形; 重治大湯
Original assignee: Toshiba Corp; Toshiba Medical Systems Corp
Current assignee: Toshiba Corp; Canon Medical Systems Corp
Priority date: 2009-09-02
Filing date: 2009-09-02
Publication date: 2014-04-02
Anticipated expiration: 2029-09-02
Also published as: JP2011050590A

Description

この発明は、内視鏡によって取得された内視鏡画像と、Ｘ線ＣＴ装置などの医用画像診断装置によって取得された医用画像とを表示する医用画像処理装置に関する。

大腸癌のスクリーニングは、Ｘ線ＣＴ装置やＭＲＩ装置などの医用画像診断装置によって取得された医用画像を用いて生成された仮想内視鏡画像や、ＣＴコロノグラフィー（以下、「ＣＴＣ画像」と称する場合がある）や、ＣＡＤ（ＣｏｍｐｕｔｅｒＡｉｄｅｄＤｉａｇｎｏｓｉｓ：コンピュータ支援診断）を用いて行われている。スクリーニング時に撮像された医用画像は、異常部位への誘導を含む内視鏡操作の支援のために、内視鏡を用いた検査又は治療の際に再利用されることが考えられている。具体的には、内視鏡によって実際に取得された内視鏡画像と医用画像に基づいて生成された仮想内視鏡画像とを並べて表示する方法や、ＣＴ画像などに基づいて３次元画像を生成し、現在の内視鏡の先端位置をその３次元画像上に重畳して表示する方法などが行われている。

また、大腸に限らず気管支などを内視鏡を用いて診断する場合に、気管支において連続するスライス断面から管路及び挿入経路を特定して内視鏡の位置を検出する方法が提案されている（例えば特許文献１）。また、内視鏡画像の歪みを補正してＣＴ画像やＭＲＩ画像に重畳して表示する方法が提案されている（例えば特許文献２）。

ところで、内視鏡装置は、被検体に挿入されて撮像する画像撮像部と操作部とが離れている。そのため、被検体内に内視鏡を挿入する過程において内視鏡の先端部が繰り返して回転されると、取得された内視鏡画像において内視鏡の先端部の方向を特定することは困難である。また、内視鏡画像の撮像時とＣＴ画像などの断層像の撮像時とにおいて、患者の***が異なる。患者の***が変わると大腸の形状が変化し、また、大腸の位置も変わってしまう。従って、内視鏡画像の撮像時とＣＴ画像などの断層像の撮像時とでは、大腸の形状が異なり、また、大腸の位置も異なっている。そのため、内視鏡画像とＣＴ画像などの断層像とには、それぞれ大腸の形状と位置とが異なった状態で表わされている。その結果、内視鏡画像とＣＴ画像などの断層像とを並べて表示する場合に、大腸の形状情報や断面の方向に基づいて、内視鏡画像と断層像とにそれぞれ表された大腸の位置を合わせて表示することは困難である。

内視鏡画像と断層像などの医用画像との間で位置合わせができていないと、ＣＡＤによって取得された結果（腫瘍形状や位置などの情報）を断層像などの医用画像に反映することも困難になり、また、観察対象となる腫瘍部位への内視鏡の誘導なども困難になる。その結果、内視鏡によって観察対象を見つけて表示するまでに、より多くの時間が必要になってしまう。このように、内視鏡を用いた診断において腫瘍の位置を容易に把握できなければ、内視鏡を用いた診断及び治療が困難になり、診断及び治療に時間を要し、患者の負担も増加してしまう。

特開２００２−２０００３０号公報特開２００６−３２０４２７号公報

この発明は上記の問題を解決するものであり、内視鏡によって取得された内視鏡画像と、医用画像診断装置によって取得された医用画像とを表示する場合に、内視鏡画像と医用画像とにそれぞれ表された管状組織の位置を合わせて表示することが可能な医用画像処理装置を提供することを目的とする。

請求項１に記載の発明は、内視鏡装置によって取得された大腸の内部を表す内視鏡画像データを受けて、前記内視鏡画像データから前記大腸の結腸ヒモを特定する内視鏡画像処理手段と、前記内視鏡装置とは異なる医用画像診断装置によって取得された前記大腸を表す医用画像データを受けて、前記医用画像データから前記大腸における特徴領域を特定する医用画像処理手段と、前記内視鏡画像処理手段によって特定された前記結腸ヒモの位置と、前記医用画像処理手段によって特定された前記特徴領域の位置とに基づいて、前記内視鏡画像データと前記医用画像データとの位置合わせを行う位置合わせ手段と、画像合成手段と、表示制御手段とを更に有し、前記内視鏡画像処理手段は、前記大腸の内部を表す内視鏡画像データとして大腸の内部を表す内視鏡画像データを受けて、前記大腸の内部を表す内視鏡画像データから前記大腸の腸管の輪郭と前記結腸ヒモとを特定し、前記医用画像処理手段は、前記大腸を表す医用画像データを受けて、当該医用画像データから腸管領域と前記腸管領域の輪郭上において内側に突起している結腸ヒモ領域を前記特徴領域として特定し、前記位置合わせ手段は、前記内視鏡画像処理手段によって特定された前記結腸ヒモの位置と、前記医用画像処理手段によって特定された前記結腸ヒモ領域の位置とを合わせ、前記位置が合わされた状態で、前記医用画像処理手段によって特定された前記腸管領域の形状を、前記内視鏡画像処理手段によって特定された前記腸管の輪郭の形状に合わせることで、前記大腸の形状を表す大腸形状データとして前記腸管の形状を表す腸管形状データを生成し、前記画像合成手段は、前記腸管形状データが示す腸管の各位置に、前記医用画像データにおいて対応する位置の画素値を割り当てることで、大腸画像データとしての腸管画像データを生成し、前記表示制御手段は、前記内視鏡画像と前記腸管画像データに基づく腸管画像とを前記表示手段に表示させることを特徴とする医用画像処理装置である。

この発明によると、特徴部位の位置と特徴領域の位置とを基準にして、内視鏡画像データと医用画像データとの位置合わせを行うことで、内視鏡画像に表された管状組織の位置と医用画像に表された管状組織の位置とを合わせることが可能となる、そのことにより、操作者は内視鏡画像に表された管状組織の回転方向における位置を容易に把握することが可能となる。すなわち、操作者は内視鏡画像と医用画像とを参照することで、内視鏡の先端部（画像撮像部）の向きを容易に把握することが可能となる。

この発明の実施形態に係る医用画像処理装置を示すブロック図である。腸管輪郭モデルを模式的に示す図である。腸管輪郭の位置合わせを説明するための図である。内視鏡画像と腸管断層像とが表示された画面を示す図である。この発明の実施形態に係る医用画像処理装置による一連の動作を示すフローチャートである。

この発明の実施形態に係る医用画像処理装置について図１を参照して説明する。図１は、この発明の実施形態に係る医用画像処理装置を示すブロック図である。

この発明の実施形態に係る医用画像処理装置１は、内視鏡装置５０とＸ線ＣＴ装置６０とに接続されている。医用画像処理装置１は、内視鏡装置５０から内視鏡画像データを取得し、Ｘ線ＣＴ装置６０からＣＴ画像データを取得する。

［内視鏡装置５０］
内視鏡装置５０には、ＣＣＤカメラや光ファイバを画像撮像部とした公知の内視鏡装置が用いられる。内視鏡装置５０は、内視鏡の先端部（画像撮像部）が被検体内に挿入された状態で撮影することで、被検体内を表す内視鏡画像データを取得する。この実施形態では管状組織の１例として大腸を撮影対象とする。この場合、内視鏡装置５０は、内視鏡の先端部（画像撮像部）が大腸内に挿入された状態で撮影することで、大腸の内部を表す内視鏡画像データを取得する。内視鏡装置５０は、医用画像処理装置１からの画像取得要求に応じて内視鏡画像データを医用画像処理装置１に出力する。例えば、操作者が内視鏡の先端部（画像撮像部）を大腸内に挿入して、内視鏡の先端部を大腸に沿って進めながら撮影を行う。内視鏡装置５０は、大腸内の各位置における内視鏡画像データを取得して医用画像処理装置１に出力する。

［Ｘ線ＣＴ装置６０］
Ｘ線ＣＴ装置６０には公知のＸ線ＣＴ装置が用いられる。例えばＸ線ＣＴ装置は、被検体を間にして対向して配置されたＸ線源とＸ線検出器とを有し、Ｘ線源とＸ線検出器とを被検体の周囲で回転させながらＸ線源からＸ線を曝射し、被検体を透過したＸ線をＸ線検出器によって検出する。そして、Ｘ線ＣＴ装置は、Ｘ線検出器によって検出されたデータをデータ収集装置（ＤＡＳ）によって投影データとして収集し、収集された投影データを再構成することで被検体内を表すＣＴ画像データを生成する。この実施形態では、Ｘ線ＣＴ装置６０は３次元の撮影領域を撮影することで、断面位置がそれぞれ異なる複数の断面におけるＣＴ画像データを取得する。大腸を撮影対象とした場合、Ｘ線ＣＴ装置６０は大腸が含まれる３次元の撮影領域を撮影することで、各断面における大腸を表すＣＴ画像データを取得する。Ｘ線ＣＴ装置６０は、医用画像処理装置１からの画像取得要求に応じてＣＴ画像データを医用画像処理装置１に出力する。

例えば内視鏡装置５０を用いて大腸の検査又は治療を行う前に、Ｘ線ＣＴ装置６０によってスクリーニングを行う。すなわち、内視鏡装置５０を用いた検査又は治療の前に、Ｘ線ＣＴ装置６０によって大腸を予め撮影することで、被検体の各断面における大腸を表すＣＴ画像データを取得する。Ｘ線ＣＴ装置６０によるスクリーニングの後、内視鏡装置５０によって大腸内を撮影することで大腸内を表す内視鏡画像データを取得する。なお、Ｘ線ＣＴ装置６０が、この発明の「医用画像診断装置」の１例に相当する。また、Ｘ線ＣＴ装置６０によって取得されたＣＴ画像データが、この発明の「医用画像データ」の１例に相当する。

［医用画像処理装置１］
この発明の実施形態に係る医用画像処理装置１は、内視鏡画像処理部１０、ＣＴ画像処理部２０、位置合わせ部３０、及び画像出力部４０を備えている。

［内視鏡画像処理部１０］
内視鏡画像処理部１０は、内視鏡画像入力部１１と第１の結腸ヒモ抽出部１２とを備えている。

（内視鏡画像入力部１１）
内視鏡画像入力部１１は、内視鏡装置５０が現在撮影して取得している大腸の内部を表す内視鏡画像データを内視鏡装置５０から読み込んで、第１の結腸ヒモ抽出部１２と表示制御部４２とに出力する。例えば、操作者が内視鏡の先端部（画像撮像部）を大腸内に挿入して、内視鏡の先端部を大腸に沿って進めながら撮影を行うことで、内視鏡装置５０は大腸内の各位置における内視鏡画像データを取得する。内視鏡画像入力部１１は、大腸内の各位置における内視鏡画像データを内視鏡装置５０から読み込んで、各位置における内視鏡画像データを第１の結腸ヒモ抽出部１２と表示制御部４２とに出力する。

（第１の結腸ヒモ抽出部１２）
第１の結腸ヒモ抽出部１２は、大腸内の各位置における内視鏡画像データを内視鏡画像入力部１１から受けて、各位置における内視鏡画像に表された円弧領域と直線領域とを特定する。そして、第１の結腸ヒモ抽出部１２は、円弧領域を大腸の腸管輪郭とし、各位置における内視鏡画像データから腸管輪郭を表す腸管輪郭データを抽出する。また、第１の結腸ヒモ抽出部１２は、円弧領域の中心に向かう直線領域を結腸ヒモ候補とし、各位置における内視鏡画像データから結腸ヒモ候補データを抽出する。例えば、第１の結腸ヒモ抽出部１２はＨｅｓｓｉａｎＦｉｌｔｅｒなどの公知のフィルタ処理によって、各位置における内視鏡画像に表された円弧領域と直線領域とを特定する。このように、第１の結腸ヒモ抽出部１２は大腸内の各位置における内視鏡画像データに基づいて、各位置における腸管輪郭（円弧領域）と結腸ヒモ候補（直線領域）とを特定して、各位置における腸管輪郭データと結腸ヒモ候補データとを抽出する。そして、第１の結腸ヒモ抽出部１２は、抽出された結腸ヒモ候補（直線領域）のうち、前後の位置において連結する結腸ヒモ候補（直線領域）を大腸の結腸ヒモとして、結腸ヒモを表す結腸ヒモデータを抽出する。このように第１の結腸ヒモ抽出部１２は、大腸における特徴部位として結腸ヒモを抽出する。

また、ある位置における内視鏡画像に直線領域（結腸ヒモ候補）が表されていない場合、第１の結腸ヒモ抽出部１２は、複数の位置における直線領域（結腸ヒモ候補）に基づいて、内視鏡画像に直線領域（結腸ヒモ候補）が表されていない位置における結腸ヒモ候補の位置を推定し、前後の位置において連結する直線領域（結腸ヒモ候補）を結腸ヒモとして抽出する。例えば、第１の結腸ヒモ抽出部１２は、直線領域（結腸ヒモ候補）が表されていない位置の前後における直線領域（結腸ヒモ領域）を線形的に補間することで、直線領域（結腸ヒモ候補）が表されていない位置における結腸ヒモ候補の位置を推定して、連結する直線領域（結腸ヒモ候補）を結腸ヒモとして抽出する。

以上のように、第１の結腸ヒモ抽出部１２は、大腸内の各位置における内視鏡画像データに基づいて、大腸内の各位置における腸管輪郭を表す腸管輪郭データと結腸ヒモを表す結腸ヒモデータとを抽出する。そして、第１の結腸ヒモ抽出部１２は、大腸の各位置における腸管輪郭を表す腸管輪郭データと結腸ヒモを表す結腸ヒモデータとを位置合わせ部３０に出力する。なお、内視鏡画像処理部１０が、この発明の「内視鏡画像処理手段」の１例に相当する。

［ＣＴ画像処理部２０］
ＣＴ画像処理部２０は、ＣＴ画像入力部２１、腸管抽出部２２、第２の結腸ヒモ抽出部２３、腸管モデル生成部２４、付加情報抽出部２５、及び画像生成部２６を備えている。

（ＣＴ画像入力部２１）
ＣＴ画像入力部２１は、Ｘ線ＣＴ装置６０がスクリーニング時に予め撮影して取得した各断面における大腸を表すＣＴ画像データをＸ線ＣＴ装置６０から読み込んで、腸管抽出部２２、付加情報抽出部２５、画像生成部２６、及び画像合成部４１に出力する。

（腸管抽出部２２）
腸管抽出部２２は、各断面における大腸を表すＣＴ画像データをＣＴ画像入力部２１から受けて、各断面におけるＣＴ画像データに対して閾値処理などの公知の画像処理を施すことで、各断面におけるＣＴ画像に表された腸管領域を特定して、各断面におけるＣＴ画像データから腸管領域を表す腸管領域データを抽出する。このように、腸管抽出部２２は、各断面におけるＣＴ画像データに基づいて各断面における腸管領域を特定して、各断面における腸管領域データを抽出する。さらに腸管抽出部２２は、各断面における腸管領域の中心位置又は重心位置を腸管の芯線として求める。そして、腸管抽出部２２は、各断面における腸管領域データと、各断面における腸管領域の中心位置又は重心位置（芯線の位置）を示す位置情報（座標情報）とを第２の結腸ヒモ抽出部２３に出力する。

（第２の結腸ヒモ抽出部２３）
第２の結腸ヒモ抽出部２３は、各断面における腸管領域データに表された腸管領域の輪郭上において、腸管の内側に突起している凸領域を結腸ヒモ領域として特定する。そして、第２の結腸ヒモ抽出部２３は、各断面における結腸ヒモ領域を繋げることで、腸管の芯線方向における腸管ヒモの位置情報を求める。第２の結腸ヒモ抽出部２３は、各断面における腸管領域データと、腸管領域の中心位置又は重心位置を示す位置情報と、腸管ヒモの位置情報とを腸管モデル生成部２４に出力する。このように第２の結腸ヒモ抽出部２３は、大腸における特徴部位として結腸ヒモを抽出する。

（腸管モデル生成部２４）
腸管モデル生成部２４は、各断面における腸管領域データに表された腸管領域の輪郭（以下、「腸管輪郭」と称する場合がある）をモデル化することで、各断面における腸管輪郭モデルデータを生成する。例えば腸管モデル生成部２４は、各断面における腸管領域データに表された腸管領域の輪郭上にある点（画素）を曲線で結ぶことで、各断面における腸管輪郭モデルデータを生成する。腸管輪郭モデルについて図２を参照して説明する。図２は、腸管輪郭モデルを模式的に示す図である。図２に示すように腸管モデル生成部２４は、腸管領域データに表された腸管領域の輪郭をモデル化することで、腸管領域の内側の輪郭１１０を構成する複数の点１１１と、外側の輪郭１２０を構成する複数の点１２１と、腸管ヒモ領域１３０を示す点１３１、１３２と、別の腸管ヒモ領域１４０を示す点１４１、１４２とによって構成される腸管輪郭モデル１００を生成する。腸管モデル生成部２４は、内側の輪郭１１０について隣の点１１１を曲線で結び、外側の輪郭１２０について隣の点１２１を曲線で結ぶ。腸管モデル生成部２４は、各断面における腸管領域データに基づいて、各断面における腸管輪郭モデルデータを生成する。

そして、腸管モデル生成部２４は、各腸管輪郭モデルに表された結腸ヒモ領域の回転方向における位置を合わせて、腸管の芯線方向に沿って隣り合う断面における腸管輪郭モデルを連結することで、腸管の形状がモデル化された３次元の腸管モデルを表す腸管モデルデータを生成する。このように、腸管モデル生成部２４は、各断面における腸管輪郭モデルに表された結腸ヒモ領域の位置を基準にして、各断面における腸管輪郭モデルの回転方向における位置を合わせることで、腸管輪郭の回転方向における位置が合わされた３次元の腸管モデルを表す腸管モデルデータを生成する。

腸管モデル生成部２４は、各断面における腸管輪郭を表す腸管輪郭モデルデータと、各断面における腸管輪郭が連結された３次元の腸管モデルを表す腸管モデルデータとを、結腸ヒモ位置合わせ部３１と腸管形状位置合わせ部３２とに出力する。

（付加情報抽出部２５）
付加情報抽出部２５は、各断面におけるＣＴ画像データをＣＴ画像入力部２１から受けて、各断面におけるＣＴ画像データに基づいて疾患の特徴や部位を検出する。例えば付加情報抽出部２５は、公知のＣＡＤ（ＣｏｍｐｕｔｅｒＡｉｄｅｄＤｉａｇｎｏｓｉｓ：コンピュータ支援診断）を実行することで、各断面におけるＣＴ画像データに基づいて腫瘍の形状や位置などの付加情報を生成する。付加情報抽出部２５は、腫瘍の形状や位置などの付加情報を表示制御部４２に出力する。

（画像生成部２６）
画像生成部２６は、各断面におけるＣＴ画像データをＣＴ画像入力部２１から受けて、各断面におけるＣＴ画像データに基づいてボリュームデータを生成し、そのボリュームデータに基づいて３次元画像データなどの医用画像データを生成する。例えば画像生成部２６は、ボリュームデータにサーフェイスレンダリングを施すことで３次元サーフェイス画像データを生成する。または、画像生成部２６は、ボリュームデータにボリュームレンダリングを施すことでボリュームレンダリング画像データ（ＶＲ画像データ）を生成しても良い。または、画像生成部２６は、ボリュームデータにＭＰＲ（ＭｕｌｔｉＰｌａｎａｒＲｅｃｏｎｓｔｒｕｃｔｉｏｎ）処理を施すことで任意の断面における画像データ（ＭＰＲ画像データ）を生成しても良い。画像生成部２６は、３次元サーフェイス画像データやＶＲ画像データやＭＰＲ画像データなどの医用画像データを表示制御部４２に出力する。例えば、画像生成部２６は大腸の形状を立体的に表わす３次元画像データを生成して、その３次元画像データを表示制御部４２に出力する。なお、ＣＴ画像処理部２０が、この発明の「医用画像処理手段」の１例に相当する。

［位置合わせ部３０］
位置合わせ部３０は、結腸ヒモ位置合わせ部３１と、腸管形状合わせ部３２と、腸管形状データ生成部３３とを備えている。位置合わせ部３０は、大腸内の各位置における腸管輪郭を表す腸管輪郭データと結腸ヒモを表す結腸ヒモデータとを内視鏡画像処理部１０から受ける。また、位置合わせ部３０は、各断面における腸管輪郭を表す腸管輪郭モデルデータと、各断面における腸管輪郭が連結された３次元の腸管モデルを表す腸管モデルデータとをＣＴ画像処理部２０から受ける。

（結腸ヒモ位置合わせ部３１）
結腸ヒモ位置合わせ部３１は、内視鏡画像データに基づいて生成された結腸ヒモデータが示す結腸ヒモの回転方向における位置（向き）と、ＣＴ画像データに基づいて生成された３次元の腸管モデルデータが示す腸管ヒモ領域の回転方向における位置（向き）とを合わせる。このように、結腸ヒモ位置合わせ部３１は特徴部位である結腸ヒモの位置を基準にして、各位置における腸管輪郭データが示す腸管輪郭の回転方向における位置と、腸管モデルデータが示す３次元の腸管モデルの回転方向における位置とを合わせる。また、結腸ヒモ位置合わせ部３１は、結腸ヒモデータが示す結腸ヒモの回転方向における位置と、ＣＴ画像データに基づいて生成された各断面における腸管輪郭データが示す結腸ヒモ領域の回転方向における位置とを合わせる。

（腸管形状合わせ部３２）
腸管形状合わせ部３２は、内視鏡画像データに基づいて生成された各位置における腸管輪郭データが示す腸管輪郭の形状に、ＣＴ画像データに基づいて生成された各断面における腸管輪郭モデルの形状を合わせる。このように腸管形状合わせ部３２は、各位置における腸管輪郭データが示す腸管輪郭の形状に、各断面における腸管輪郭モデルの形状を合わせることで、各位置における腸管輪郭の形状に、ＣＴ画像データに基づいて生成された３次元の腸管モデルの形状を合わせる。腸管輪郭データが示す腸管輪郭の回転方向における位置（向き）と、腸管モデルデータが示す３次元の腸管モデルの回転方向における位置（向き）とが、結腸ヒモ位置合わせ部３１によって合わされている。腸管形状合わせ部３２は、回転方向における位置が合わされた状態で、腸管輪郭の形状に３次元の腸管モデルの形状を合わせる。

腸管形状合わせ部３２による処理について図３を参照して説明する。図３は、腸管輪郭の位置合わせを説明するための図である。例えば、ある断面における腸管輪郭３００の形状（斜線で示す領域の形状）に、腸管輪郭モデル２００の形状（白抜き領域の形状）を合わせる場合について説明する。腸管形状合わせ部３２は、腸管輪郭モデル２００を構成する各点を、輪郭に直交する方向に向けて腸管輪郭３００まで移動（拡張又は縮小）させることで、ある断面における腸管輪郭モデル２００の形状を腸管輪郭３００の形状に合わせる。例えば、腸管形状合わせ部３２は、腸管輪郭モデル２００を構成する点２１０を輪郭に直交する方向に向けて腸管輪郭３００まで移動させることで、腸管輪郭３００上において点２１０に対応する新たな点３１０の位置を特定する。同様に、腸管形状合わせ部３２は、腸管輪郭モデル２００を構成する点２２０に対応する、腸管輪郭３００上の新たな点３２０の位置を特定する。また、腸管形状合わせ部３２は、腸管輪郭モデル２００を構成する点２３０に対応する、腸管輪郭３００上の新たな点３３０の位置を特定する。このように、腸管形状合わせ部３２は、回転方向の位置が合わされた状態で、各位置における腸管輪郭データが示す腸管輪郭の形状に、ＣＴ画像データに基づいて生成された３次元の腸管モデルの形状を合わせる。

Ｘ線ＣＴ装置６０によるスクリーニング時と内視鏡装置５０を用いた撮影時とでは、被検体の***が異なる。被検体の***が変わると大腸の形状が変化し、また、大腸の位置も変わる。この実施形態では、位置合わせ部３０は結腸ヒモの位置を基準とすることで、ＣＴ画像データに基づいて生成された腸管モデルの回転方向における位置を、内視鏡画像データに基づいて生成された腸管輪郭の回転方向における位置に合わせ、さらに、腸管モデルの形状を腸管輪郭の形状に合わせる。そのことにより、内視鏡画像データに表された大腸の位置及び形状と、ＣＴ画像データに表された大腸の位置及び形状とを合わせることが可能となる。

（腸管形状データ生成部３３）
腸管形状データ生成部３３は、回転方向における位置及び輪郭の形状が、内視鏡画像データに基づく腸管輪郭に合わされた３次元の腸管モデルに基づいて、３次元の腸管の形状を表す腸管形状データを生成する。腸管形状データ生成部３３は、腸管形状データを画像出力部４０に出力する。なお、位置合わせ部３０が、この発明の「位置合わせ手段」の１例に相当する。

［画像出力部４０］
画像出力部４０は、画像合成部４１と、表示制御部４２と、表示部４３とを備えている。画像出力部４０は内視鏡画像データを内視鏡画像入力部１１から受けて、内視鏡画像データに基づく画像を表示部４３に表示させる。また、画像出力部４０はＣＴ画像データをＣＴ画像入力部２１から受けて、ＣＴ画像データに基づく画像を表示部４３に表示させる。

（画像合成部４１）
画像合成部４１は、腸管形状データ生成部３３によって生成された腸管形状データが表す腸管を構成する各点に、ＣＴ画像データにおける各点の画素値を割り当てることで、各断面における腸管を表す腸管断層像データを生成する。すなわち、画像合成部４１は、位置合わせ部３０によって形状合わせがされた後の腸管形状データが表す腸管を構成する各点に、形状合わせがされる前のＣＴ画像データにおける各点の画素値を割り当て直すことで、形状合わせ後の各断面における腸管を表す腸管断層像データを生成する。具体的には、画像合成部４１は、形状合わせがされる前のＣＴ画像データにおける各点の画素値を、形状合わせがされた後の腸管形状データにおいて対応する各点に割り当てることで、各断面における腸管断層像データを生成する。

例えば図３に示すように、画像合成部４１は、形状合わせがされる前のＣＴ画像データ（腸管輪郭モデル２００）における点２１０の画素値を、形状合わせがされた後の腸管形状データにおいて対応する点３１０に割り当てる。同様に、画像合成部４１は、形状合わせがされる前のＣＴ画像データ（腸管輪郭モデル２００）における点２２０の画素値を、形状合わせがされた後の腸管形状データにおいて対応する点３２０に割り当てる。同様に、画像合成部４１は、形状合わせがされる前のＣＴ画像データ（腸管輪郭モデル２００）における点２３０の画素値を、形状合わせがされた後における腸管形状データにおいて対応する点３３０に割り当てる。

以上のように画像合成部４１は、形状合わせがされる前のＣＴ画像データ（腸管輪郭モデル）を構成する各点の画素値を、形状合わせがされた後における腸管形状データにおいて対応する各点に割り当てることで、腸管の形状及び回転方向における位置が内視鏡画像に表された腸管の形状及び回転方向における位置に合わされた腸管断層像データを生成する。画像合成部４１は、各断面における腸管断層像データを表示制御部４２に出力する。なお、画像合成部４１が、この発明の「画像合成手段」の１例に相当する。また、腸管断層像データが、この発明の「管状組織画像データ」及び「腸管画像データ」の１例に相当する。

（表示制御部４２）
表示制御部４２は、大腸内の各位置における内視鏡画像データを内視鏡画像入力部１１から受けて、内視鏡画像データに基づく内視鏡画像を表示部４３に表示させる。また、表示制御部４２は腸管断層像データを位置合わせ部３０から受けて、内視鏡画像データが示す内視鏡画像と同じ位置における腸管断層像を表示部４３に表示させる。位置合わせ部３０によって、内視鏡画像データに基づく各位置における腸管輪郭の回転方向における位置及び形状と、ＣＴ画像データに基づく各断面における腸管輪郭モデルの回転方向における位置及び形状とが合わされている。このように内視鏡画像データに基づく画像データとＣＴ画像データに基づく画像データとにおいて、腸管の回転方向における位置及び形状が合わされているため、表示制御部４２は、内視鏡画像データが示す内視鏡画像と同じ位置における腸管断層像を表示部４３に表示させることができる。

また、表示制御部４２は、３次元サーフェイス画像データやＶＲ画像データなどの医用画像データを画像生成部２６から受けて、医用画像データに基づく医用画像を表示部４３に表示させても良い。また、表示制御部４２は、腫瘍の形状や位置などの付加情報を付加情報抽出部２５から受けて、その付加情報を表示部４３に表示させても良い。

表示部４３に表示される画像の１例について図４を参照して説明する。図４は、内視鏡画像と腸管断層象とが表示された画面を示す図である。表示制御部４２は、内視鏡画像入力部１１から受けた内視鏡画像データに基づく大腸の内部を表す内視鏡画像４００を表示部４３に表示させる。また、表示制御部４２は、その内視鏡画像４００と同じ位置における腸管断層像データに基づく大腸の内部を表す腸管断層像５００を表示部４３に表示させる。腸管断層像５００には結腸ヒモ５１０が表されている。また、表示制御部４２は、画像生成部２６から受けた３次元画像データに基づく３次元画像６００を表示部４３に表示させる。３次元画像６００は、Ｘ線ＣＴ装置６０によって撮影された大腸の全体像を表している。１例として表示制御部４２は、内視鏡画像４００と腸管断層像５００と３次元画像６００とを並べて表示部４３に表示させる。また、表示制御部４２は、付加情報抽出部２５から受けた付加情報を３次元画像６００に重ねて表示部４３に表示させる。例えば表示制御部４２は、付加情報が示す腫瘍を表すマーカ６３０、６４０を、３次元画像６００に重ねて表示部４３に表示させる。

表示制御部４２は、第２の結腸ヒモ抽出部２３によって抽出された結腸ヒモの位置情報に基づいて、大腸における結腸ヒモを示す線状の結腸ヒモマーカ６１０を３次元画像６００に重ねて表示部４３に表示させても良い。そのことにより、操作者は、大腸の全体像における結腸ヒモの位置を把握することが可能となる。

また、大腸には２つの結腸ヒモが存在する。そのため、表示制御部４２は、内視鏡画像４００及び腸管断層像５００に２つの結腸ヒモが表されている場合には、それぞれの結腸ヒモを示す線状の結腸ヒモマーカの色をそれぞれ異なる色にして表示部４３に表示させても良い。例えば表示制御部４２は、一方の結腸ヒモを示す結腸ヒモマーカの色を赤色にして３次元画像６００に重ねて表示部４３に表示させ、他方の結腸ヒモを示す結腸ヒモマーカの色を青色にして３次元画像６００に重ねて表示部４３に表示させる。そのことにより、操作者は２つの結腸ヒモを区別して認識することが可能となる。

さらに、表示制御部４２は、腸管断層像５００に表された結腸ヒモと３次元画像６００に表された結腸ヒモマーカとにおいて、同じ結腸ヒモを示すものについては、対応する色（例えば同じ色）で結腸ヒモと結腸ヒモマーカとを表示部４３に表示させても良い。

図４に示す例では、２つの結腸ヒモのうち一方の結腸ヒモのみが内視鏡画像４００及び腸管断層像５００に表されている。この場合、表示制御部４２は、腸管断層像５００に表されている結腸ヒモ５１０の色と、その結腸ヒモ５１０と同じ結腸ヒモを示す結腸ヒモマーカ６１０の色とを同じ色にして表示部４３に表示させる。例えば表示制御部４２は、結腸ヒモマーカ６１０の色を赤色にし、腸管断層像５００に表されている結腸ヒモ５１０の色も赤色にして表示部４３に表示させる。このように、対応する結腸ヒモの色を対応する色（例えば同じ色）にして表示することで、操作者は、腸管断層像５００に表されている結腸ヒモ５１０と３次元画像６００における結腸ヒモマーカ６１０とを対応させて把握することが可能となる。

また、表示制御部４２は、表示部４３に表示されている内視鏡画像４００及び腸管断層像５００の位置を示す断面マーカ６２０を３次元画像６００に重ねて表示部４３に表示させても良い。そのことにより、操作者は、大腸における内視鏡の先端部（画像撮像部）の位置を把握することが可能となる。

なお、内視鏡画像処理部１０、ＣＴ画像処理部２０、位置合わせ部３０、及び画像出力部４０は、ＣＰＵ、ＧＰＵ、又はＡＳＩＣなどの図示しない処理装置と、ＲＯＭ、ＲＡＭなどの図示しない記憶装置とによって構成されていても良い。記憶装置には、内視鏡画像処理部１０の機能を実行するための内視鏡画像処理プログラムと、ＣＴ画像処理部２０の機能を実行するためのＣＴ画像処理プログラムと、位置合わせ部３０の機能を実行するための位置合わせプログラムと、画像出力部４０の機能を実行するための画像出力プログラムとが記憶されている。

また、内視鏡画像処理プログラムには、内視鏡画像入力部１１の機能を実行するための内視鏡画像入力プログラムと、第１の結腸ヒモ抽出部１２の機能を実行するための第１の結腸ヒモ抽出プログラムとが含まれている。ＣＴ画像処理プログラムには、ＣＴ画像入力部２１の機能を実行するためのＣＴ画像入力プログラムと、腸管抽出部２２の機能を実行するための腸管抽出プログラムと、第２の結腸ヒモ抽出部２３の機能を実行するための第２の結腸ヒモ抽出プログラムと、腸管モデル生成部２４の機能を実行するための腸管モデル生成プログラムと、付加情報抽出部２５の機能を実行するための付加情報抽出プログラムと、画像生成部２６の機能を実行するための画像生成プログラムとが含まれている。位置合わせプログラムには、結腸ヒモ位置合わせ部３１の機能を実行するための結腸ヒモ位置合わせプログラムと、腸管形状位置合わせ部３２の機能を実行するための腸管形状位置合わせプログラムと、腸管形状データ生成部３３の機能を実行するための腸管形状データ生成プログラムとが含まれている。画像出力プログラムには、画像合成部４１の機能を実行するための画像合成プログラムと、表示制御部４２の機能を実行するための表示制御プログラムとが含まれている。ＣＰＵなどの処理装置が、記憶装置に記憶されている各プログラムを実行することで各部の機能を実行する。

なお、内視鏡画像処理プログラムと、ＣＴ画像処理プログラムと、位置合わせプログラムと、画像出力プログラムとによって、この発明の「医用画像処理プログラム」の１例を構成する。

以上の構成を有する医用画像処理装置１によると、特徴部位としての結腸ヒモの位置を基準にして、ＣＴ画像データに基づいて生成された腸管モデルの回転方向における位置を、内視鏡画像データに基づいて生成された腸管輪郭の回転方向における位置に合わせ、さらに、腸管モデルの形状を腸管輪郭の形状に合わせることで、内視鏡画像データに表された大腸の位置及び形状と、ＣＴ画像データに表された大腸の位置及び形状とを合わせることが可能となる。そのことにより、内視鏡画像４００と腸管断層像５００とを、回転方向における位置及び形状を合わせた状態で表示部４３に表示することが可能となる。その結果、操作者（術者）は内視鏡画像４００に表された腸管の回転方向における位置を容易に把握することが可能となり、また、腫瘍の位置を容易に把握することが可能となる。すなわち、操作者は内視鏡画像４００と腸管断層像５００とを参照することで、内視鏡の先端部（画像撮像部）の向きを容易に把握することが可能となる。その結果、内視鏡装置５０の操作の困難性を改善することが可能となる。また、操作者は、内視鏡の先端部の向きや腫瘍の位置を容易に把握できるため、腫瘍への内視鏡の誘導も容易になる。このように、内視鏡の先端部の向きの把握が容易になり、内視鏡装置５０の操作の困難性が改善されるため、内視鏡装置５０を用いた検査及び治療に要する時間を短縮することが可能となる。検査及び治療の時間が短縮されるため、患者の負担を軽減することが可能となる。

また、ＣＴ画像データに基づいて生成された３次元画像６００に、付加情報抽出部２５によって抽出された付加情報を重ねて表示することで、腫瘍の位置の確認や浸潤方向の確認をさらに容易にすることが可能となる。

（動作）
この実施形態に係る医用画像処理装置１による動作について図５を参照して説明する。図５は、この発明の実施形態に係る医用画像処理装置による一連の動作を示すフローチャートである。

内視鏡装置５０を用いて大腸の検査又は治療を行う前に、Ｘ線ＣＴ装置６０によって大腸を予め撮影することで、被検体の各断面における大腸を表すＣＴ画像データを取得する。Ｘ線ＣＴ装置６０によるスクリーニングの後、内視鏡装置５０によって大腸内を撮影することで大腸内を表す内視鏡画像データを取得する。

（ステップＳ０１）
内視鏡画像入力部１１が、大腸の内部の各位置における内視鏡画像データを内視鏡装置５０から読み込んで、各位置における内視鏡画像データを第１の結腸ヒモ抽出部１２と表示制御部４２とに出力する。

（ステップＳ０２、ステップＳ０３）
そして、第１の結腸ヒモ抽出部１２が、各位置における内視鏡画像データに表された円弧領域を大腸の腸管輪郭として抽出し、円弧領域の中心に向かう直線領域を結腸ヒモ候補として抽出する（ステップＳ０２）。そして、第１の結腸ヒモ抽出部１２は、結腸ヒモ候補のうち前後の位置において連結する結腸ヒモ候補を結腸ヒモとして抽出する（ステップＳ０３）。

（ステップＳ０４）
一方、ＣＴ画像入力部２１が、Ｘ線ＣＴ装置６０がスクリーニング時に予め撮影して取得した各断面における大腸を表すＣＴ画像データをＸ線ＣＴ装置６０から読み込む。

（ステップＳ０５、ステップＳ０６）
そして、腸管抽出部２２が、各断面におけるＣＴ画像データに対して閾値処理などの画像処理を施すことで、各断面におけるＣＴ画像データから腸管領域を抽出する（ステップＳ０５）。さらに腸管抽出部２２は、各断面における腸管領域の中心位置又は重心位置を腸管の芯線として求める（ステップＳ０６）。

（ステップＳ０７）
次に、第２の結腸ヒモ抽出部２３が、各断面における腸管領域の輪郭上において、腸管の内側に突起している凸領域を結腸ヒモ領域として抽出する。

（ステップＳ０８）
次に、腸管モデル生成部２４が、各断面における腸管領域の輪郭をモデル化することで、各断面における腸管輪郭モデルデータを生成する。例えば図２に示すように、腸管モデル生成部２４は、腸管領域の内側の輪郭を構成する複数の点１１１と、外側の輪郭を構成する複数の点１２１と、腸管ヒモ領域を示す点１３１、１３２、１４１、１４２とを含み、隣同士の点が曲線で結ばれた腸管輪郭モデル１００を生成する。

（ステップＳ０９）
さらに、腸管モデル生成部２４は、各腸管輪郭モデルに表された結腸ヒモ領域の回転方向における位置を合わせて、腸管の芯線方向に沿って隣り合う断面における腸管輪郭モデルを連結することで、３次元の腸管モデルを生成する。

（ステップＳ１０）
そして、結腸ヒモ位置合わせ部３１が、内視鏡画像データに基づく結腸ヒモデータに示された結腸ヒモの回転方向における位置と、ＣＴ画像データに基づく腸管モデルデータに示された腸管ヒモ領域の回転方向における位置とを合わせる。このように、結腸ヒモ位置合わせ部３１は結腸ヒモの位置を基準にして、各位置における腸管輪郭の回転方向における位置と、腸管モデルの回転方向における位置とを合わせる。

（ステップＳ１１）
次に、腸管形状合わせ部３２が、内視鏡画像データに基づく腸管輪郭データが示す腸管輪郭の形状に、ＣＴ画像データに基づく腸管輪郭モデルの形状を合わせる。これにより、腸管形状合わせ部３２は、各位置における腸管輪郭の形状に腸管モデルの形状を合わせる。腸管形状合わせ部３２は、回転方向における位置が合わされた状態で、腸管輪郭の形状に腸管モデルの形状を合わせる。例えば図３に示すように、腸管形状合わせ部３２は、腸管輪郭モデル２００を構成する点（点２１０、点２２０、点２３０などの点）を、輪郭に直交する方向に向けて腸管輪郭３００まで移動（拡張又は縮小）させることで、ある断面における腸管輪郭モデル２００の形状を腸管輪郭３００の形状に合わせる。

（ステップＳ１２）
次に、腸管形状データ生成部３３が、腸管モデルに基づいて腸管の形状を表す腸管形状データを生成する。

（ステップＳ１３）
そして、画像合成部４１が、位置合わせ部３０によって形状合わせがされた後の腸管形状データが表す腸管を構成する各点に、形状合わせがされる前のＣＴ画像データにおける各点の画素値を割り当てることで、形状合わせ後の各断面における腸管を表す腸管断層像データを生成する。具体的には、画像合成部４１は、形状合わせがされる前のＣＴ画像データにおける各点の画素値を、形状合わせがされた後の腸管形状データにおいて対応する各点に割り当てることで、各断面における腸管断層像データを生成する。

（ステップＳ１４）
そして図４に示すように、表示制御部４２が、内視鏡画像データに基づく内視鏡画像４００と、内視鏡画像４００と同じ位置における腸管断層像データに基づく腸管断層像５００とを並べて表示部４３に表示させる。また、表示制御部４２は、画像生成部２６によって生成された、大腸の全体を表す３次元画像データに基づく３次元画像６００を表示部４３に表示させても良い。内視鏡画像４００と腸管断層像５００とは、回転方向における位置及び形状が合わされた状態で表示部４３に表示される。

以上により、操作者（術者）は内視鏡画像４００に表された腸管の回転方向における位置を容易に把握することが可能となり、また、腫瘍の位置を容易に把握することが可能となる。そのことにより、操作者は内視鏡の先端部（画像撮像部）の向きを容易に把握することができるため、内視鏡装置５０の操作の困難性を改善することができ、また、腫瘍への内視鏡の誘導も容易になる。その結果、内視鏡装置５０を用いた検査及び治療に要する時間を短縮して、患者の負担を軽減することが可能となる。以上のように、この実施形態に係る医用画像処理装置１によると、Ｘ線ＣＴ装置６０によって取得されたＣＴ画像データを用いて、内視鏡装置５０の操作の支援に適した情報を提供することが可能となる。

１医用画像処理装置
１０内視鏡画像処理部
１１内視鏡画像入力部
１２第１の結腸ヒモ抽出部
２０ＣＴ画像処理部
２１ＣＴ画像入力部
２２腸管抽出部
２３第２の結腸ヒモ抽出部
２４腸管モデル生成部
２５付加情報抽出部
２６画像生成部
３０位置合わせ部
３１結腸ヒモ位置合わせ部
３２腸管形状位置合わせ部
３３腸管形状データ生成部
４０画像出力部
４１画像合成部
４２表示制御部
４３表示部

Claims

内視鏡装置によって取得された大腸の内部を表す内視鏡画像データを受けて、前記内視鏡画像データから前記大腸の結腸ヒモを特定する内視鏡画像処理手段と、
前記内視鏡装置とは異なる医用画像診断装置によって取得された前記大腸を表す医用画像データを受けて、前記医用画像データから前記大腸における特徴領域を特定する医用画像処理手段と、
前記内視鏡画像処理手段によって特定された前記結腸ヒモの位置と、前記医用画像処理手段によって特定された前記特徴領域の位置とに基づいて、前記内視鏡画像データと前記医用画像データとの位置合わせを行う位置合わせ手段と、
画像合成手段と、表示制御手段とを更に有し、
前記内視鏡画像処理手段は、前記大腸の内部を表す内視鏡画像データとして大腸の内部を表す内視鏡画像データを受けて、前記大腸の内部を表す内視鏡画像データから前記大腸の腸管の輪郭と前記結腸ヒモとを特定し、
前記医用画像処理手段は、前記大腸を表す医用画像データを受けて、当該医用画像データから腸管領域と前記腸管領域の輪郭上において内側に突起している結腸ヒモ領域を前記特徴領域として特定し、
前記位置合わせ手段は、前記内視鏡画像処理手段によって特定された前記結腸ヒモの位置と、前記医用画像処理手段によって特定された前記結腸ヒモ領域の位置とを合わせ、前記位置が合わされた状態で、前記医用画像処理手段によって特定された前記腸管領域の形状を、前記内視鏡画像処理手段によって特定された前記腸管の輪郭の形状に合わせることで、前記大腸の形状を表す大腸形状データとして前記腸管の形状を表す腸管形状データを生成し、
前記画像合成手段は、前記腸管形状データが示す腸管の各位置に、前記医用画像データにおいて対応する位置の画素値を割り当てることで、大腸画像データとしての腸管画像データを生成し、
前記表示制御手段は、前記内視鏡画像と前記腸管画像データに基づく腸管画像とを前記表示手段に表示させることを特徴とする医用画像処理装置。
前記内視鏡画像処理手段は、前記内視鏡装置によって取得された前記大腸の内部の各位置における内視鏡画像データを受けて、前記各位置における内視鏡画像データから前記各位置における前記腸管の輪郭と前記結腸ヒモとを特定し、
前記医用画像処理手段は、前記医用画像診断装置によって取得された前記大腸の各位置における医用画像データを受けて、前記各位置における医用画像データから前記各位置における前記腸管領域と前記結腸ヒモ領域とを特定し、前記各位置における前記結腸ヒモ領域の位置を合わせ、
前記位置合わせ手段は、前記内視鏡画像処理手段によって特定された前記各位置における前記結腸ヒモの位置と、前記医用画像処理手段によって特定された前記各位置における前記結腸ヒモ領域の位置とを合わせ、前記位置が合わされた状態で、前記医用画像処理手段によって特定された前記各位置における前記腸管領域の形状を、前記内視鏡処理手段によって特定された前記各位置における前記腸管の輪郭の形状に合わせることで、前記腸管の形状を表す前記腸管形状データを生成し、
前記画像合成手段は、前記腸管形状データが示す腸管の各位置に、前記各位置における医用画像データにおいて対応する位置の画素値を割り当てることで、前記各位置における前記腸管画像データを生成し、
前記表示制御手段は、前記各位置における内視鏡画像データに基づく内視鏡画像と、前記各位置における腸管画像データに基づく腸管画像とを前記表示手段に表示させることを特徴とする請求項１に記載の医用画像処理装置。
前記内視鏡画像処理手段は、前記各位置における内視鏡画像データに表された円弧状の領域を前記腸管の輪郭として特定し、前記円弧状の領域の中心方向に向かう直線状の領域であって、前後の位置における内視鏡画像において連結している直線状の領域を前記結腸ヒモとして特定することを特徴とする請求項２に記載の医用画像処理装置。