JP6145875B2 - 医用画像表示制御装置およびその作動方法並びに医用画像表示制御プログラム - Google Patents

医用画像表示制御装置およびその作動方法並びに医用画像表示制御プログラム Download PDF

Info

Publication number
JP6145875B2
JP6145875B2 JP2013158591A JP2013158591A JP6145875B2 JP 6145875 B2 JP6145875 B2 JP 6145875B2 JP 2013158591 A JP2013158591 A JP 2013158591A JP 2013158591 A JP2013158591 A JP 2013158591A JP 6145875 B2 JP6145875 B2 JP 6145875B2
Authority
JP
Japan
Prior art keywords
region
display control
intersection
medical image
internal tissue
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2013158591A
Other languages
English (en)
Other versions
JP2015029518A (ja
Inventor
太 櫻木
太 櫻木
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Priority to JP2013158591A priority Critical patent/JP6145875B2/ja
Priority to PCT/JP2014/003914 priority patent/WO2015015777A1/ja
Priority to DE112014003537.8T priority patent/DE112014003537T5/de
Publication of JP2015029518A publication Critical patent/JP2015029518A/ja
Priority to US15/008,317 priority patent/US10062184B2/en
Application granted granted Critical
Publication of JP6145875B2 publication Critical patent/JP6145875B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/74—Details of notification to user or communication with user or patient ; user input means
    • A61B5/742—Details of notification to user or communication with user or patient ; user input means using visual displays
    • A61B5/743—Displaying an image simultaneously with additional graphical information, e.g. symbols, charts, function plots
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/003—Reconstruction from projections, e.g. tomography
    • G06T11/008—Specific post-processing after tomographic reconstruction, e.g. voxelisation, metal artifact correction
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/46—Arrangements for interfacing with the operator or the patient
    • A61B6/461—Displaying means of special interest
    • A61B6/466—Displaying means of special interest adapted to display 3D data
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/46—Arrangements for interfacing with the operator or the patient
    • A61B6/467—Arrangements for interfacing with the operator or the patient characterised by special input means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/08—Volume rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30088—Skin; Dermal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30101—Blood vessel; Artery; Vein; Vascular
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/41—Medical

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Medical Informatics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • General Health & Medical Sciences (AREA)
  • Veterinary Medicine (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Public Health (AREA)
  • Computer Graphics (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Optics & Photonics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Geometry (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)

Description

本発明は、被検体の内部組織を被検体の３次元画像上に重畳して表示させる医用画像表示制御装置およびその作動方法並びに医用画像表示制御プログラムに関するものである。
従来、手術前に撮影された３次元画像を用いて、実際の手術のプランニングなどが行われている。このような手術プランニングを行う際、皮膚組織や骨組織の奥にある血管などの内部組織を可視化したい場合がある。
具体的には、たとえば頭部の開頭手術を行う場合、頭部は、表面から、皮膚領域、骨領域、脳領域という層構造になっており、実際に手術をする際は、表面のものしか見えず、皮膚を切開する際には、皮膚下にある血管が、骨を開頭する場合には、骨の下にある脳静脈や脳動脈が、手術をする上では重要な組織となる。
このような場合、一般的には、皮膚組織や骨組織を抽出して、それぞれの不透明度や減衰量を調整することで血管などの内部組織を表示することができる。
また、特許文献１においては、内部組織を表示させるため、被検体の表面から所定の範囲を除去層として設定し、その除去層が除去された３次元画像を構成することによって、たとえば皮膚組織の領域を除いた内部組織の３次元画像を表示させることが提案されている。
特開２００７−３２５６２９号公報
しかしながら、上述したように皮膚組織や骨組織の不透明度や減衰量を調整する方法では、実際に手術する際に必要な皮膚表面や骨表面の情報が不鮮明になる問題がある。
また、特許文献１に記載の方法では、被検体の表面から除去する範囲を設定する必要があるが、上述したような頭部の開頭手術のプランニングにおいては、皮膚の一部が切開されて骨が見えた状態の画像を表示したい場合があり、このように皮膚領域と骨領域の両方が同時に表示されている場合、皮膚領域の下の血管と骨領域の下の血管との両方を表示させるために、皮膚領域と骨領域の除去範囲をそれぞれ設定することは、これらの厚みはそれぞれ異なるため非常に困難である。
また、骨領域の厚みは場所ごとで異なるため、その厚みを設定することはさらに困難である。
本発明は、上記事情に鑑み、被検体の内部組織を表示させる際、従来のような除去範囲の指定を必要とすることなく、現在表示されている領域の下の内部組織を適切にその領域上に重畳させて表示させることができる医用画像表示制御装置およびその作動方法並びに医用画像表示制御プログラムを提供することを目的とするものである。
本発明の医用画像表示制御装置は、被検体の３次元画像を２次元投影面に投影する際の視線方向に重複した複数の領域を３次元画像から抽出する領域抽出部と、複数の領域のうち、３次元画像を２次元投影面に投影する際に用いられる光線が最初に交差する領域を交差領域として設定し、その交差領域を除いた場合に光線と最初に交差する領域上の点を第１交差点として設定し、その第１交差点から光線の進行方向とは逆方向にたどった場合に交差領域に交差する点を第２交差点として設定し、第１交差点と第２交差点との間に含まれる内部組織情報を取得する内部組織情報取得部と、２次元投影面に投影された３次元画像に対して内部組織情報を重畳して表示させる表示制御部とを備えたことを特徴とする。
また、上記本発明の医用画像表示制御装置においては、内部組織情報取得部を、内部組織情報から特定の組織領域を検出するものとし、表示制御部を、特定の組織領域を３次元画像に対して重畳して表示するものとできる。
また、内部組織情報取得部を、内部組織情報から予め設定された範囲内の値を検出することによって特定の組織領域を検出するものとできる。
また、内部組織情報取得部を、第１交差点と第２交差点との間における光線上の画素の最大値、最小値、積算値、平均値またはボリュームレンダリングした値を内部組織情報として取得するものとできる。
また、表示制御部を、複数の領域の３次元画像の表示と非表示とを切り替えるものとできる。
また、領域抽出部を、少なくとも３つの領域を抽出するものとし、内部組織情報取得部を、上記少なくとも３つの領域の領域間の少なくとも２つの内部組織情報を取得するものとし、表示制御部を、上記少なくとも２つの内部組織情報を異なる表示態様で表示させるものとできる。
また、表示制御部を、第１交差点と第２交差点との間の位置に応じて内部組織情報を異なる表示態様で表示させるものとできる。
また、内部組織情報に血管領域を含めることができる。
また、領域抽出部を、皮膚領域、臓器領域または腫瘍領域を抽出するものとできる。
本発明の医用画像表示制御装置の作動方法は、領域抽出部と、内部組織情報取得部と、表示制御部とを備えた医用画像表示制御装置の作動方法であって、領域抽出部が、被検体の３次元画像を２次元投影面に投影する際の視線方向に重複した複数の領域を３次元画像から抽出し、内部組織情報取得部が、複数の領域のうち、３次元画像を２次元投影面に投影する際に用いられる光線が最初に交差する領域を交差領域として設定し、その交差領域を除いた場合に光線と最初に交差する領域上の点を第１交差点として設定し、その第１交差点から光線の進行方向とは逆方向にたどった場合に交差領域に交差する点を第２交差点として設定し、第１交差点と第２交差点との間に含まれる内部組織情報を取得し、表示制御部が、２次元投影面に投影された３次元画像に対して内部組織情報を重畳して表示させることを特徴とする。
本発明の医用画像表示制御プログラムは、コンピュータを、被検体の３次元画像を２次元投影面に投影する際の視線方向に重複した複数の領域を３次元画像から抽出する領域抽出部と、複数の領域のうち、３次元画像を２次元投影面に投影する際に用いられる光線が最初に交差する領域を交差領域として設定し、その交差領域を除いた場合に光線と最初に交差する領域上の点を第１交差点として設定し、その第１交差点から光線の進行方向とは逆方向にたどった場合に交差領域に交差する点を第２交差点として設定し、第１交差点と第２交差点との間に含まれる内部組織情報を取得する内部組織情報取得部と、２次元投影面に投影された３次元画像に対して内部組織情報を重畳して表示させる表示制御部として機能させることを特徴とする。
本発明の医用画像表示制御装置およびその作動方法並びに医用画像表示制御プログラムによれば、被検体の３次元画像を２次元投影面に投影する際の視線方向に重複した複数の領域を３次元画像から抽出し、その複数の領域のうち、３次元画像を２次元投影面に投影する際に用いられる光線が最初に交差する領域を交差領域として設定し、その交差領域を除いた場合に光線と最初に交差する領域上の点を第１交差点として設定し、その第１交差点から光線の進行方向とは逆方向にたどった場合に交差領域に交差する点を第２交差点として設定し、第１交差点と第２交差点との間に含まれる内部組織情報を取得するようにしたので、従来のような除去範囲の指定を必要とすることなく、内部組織情報を取得することができる。
また、２次元投影面に投影された３次元画像に対して内部組織情報を重畳して表示させるようにしたので、被検体の表面の情報を失うことがなく、たとえば頭部の手術プランニングにおいて、皮膚の表面の状態や骨の表面の状態も適切に確認することができる。
本発明の医用画像表示制御装置およびその作動方法並びに医用画像表示制御プログラムの一実施形態を用いた医用画像診断支援システムの概略構成を示すブロック図 図１に示す医用画像診断支援システムの作用を説明するためのフローチャート 内部組織情報を取得する方法を説明するための図 皮膚領域の画像に対して皮膚領域と骨領域との間に存在する血管の画像を重畳して表示させた例を示す図 骨領域の画像に対して骨領域と脳領域との間に存在する血管の画像を重畳して表示させた例を示す図 骨領域の画像と皮膚領域の画像に対してそれぞれ血管の画像を重畳して表示させた例を示す図 左心室の表面領域と心室内の空間領域との間の心筋情報と内部組織情報としてを取得する例を説明するための図 脳の表面領域と腫瘍領域との間の血管情報を内部組織情報として取得する例を説明するための図 皮膚領域と肝臓領域との間の骨情報を内部組織情報として取得する例を説明するための図
以下、本発明の医用画像表示制御装置およびその作動方法並びに医用画像表示制御プログラムの一実施形態を用いた医用画像診断支援システムについて、図面を参照しながら詳細に説明する。図１は、本実施形態の医用画像診断支援システムの概略構成を示すブロック図である。
本実施形態の医用画像診断支援システムは、図１に示すように、医用画像表示制御装置１と、３次元画像保管サーバ２と、ディスプレイ３と、入力装置４とを備えている。
医用画像表示制御装置１は、コンピュータに本実施形態の医用画像表示制御プログラムがインストールされたものである。
医用画像表示制御装置１は、一つまたは複数の中央処理装置（ＣＰＵ）および半導体メモリや、一つまたは複数のハードディスクやＳＳＤ(Solid State Drive)等のストレージデバイスを備えている。ストレージデバイスには、本実施形態の医用画像表示制御プログラムがインストールされており、この医用画像表示制御プログラムが中央処理装置によって実行されることによって、図１に示すような３次元画像取得部１０、領域抽出部１１、内部組織情報取得部１２および表示制御部１３が動作する。なお、医用画像表示制御プログラムは、ＣＤ−ＲＯＭなどの記録媒体に記録されたものを用いるようにしてもよいし、インターネットを介してＳａａＳ（Software as a Service）によって提供されるものを用いるようにしてもよい。
３次元画像取得部１０は、手術前または検査前などに予め撮影された被検体の３次元画像５を取得するものである。３次元画像５としては、たとえばＣＴ装置やＭＲＩ（Magnetic Resonance Imaging）装置などから出力されたスライスデータから再構成されたボリュームデータや、ＭＳ（Multi Slice）ＣＴ装置やコーンビームＣＴ装置から出力されたボリュームデータなどがある。３次元画像５は、３次元画像保管サーバ２に被検体の識別情報とともに予め保管されており、３次元画像取得部１０は、入力装置４において入力された被検体の識別情報に対応する３次元画像５を３次元画像保管サーバ２から読み出すものである。なお、３次元画像取得部１０において多数のスライスデータを取得してボリュームデータを生成するようにしてもよい。
また、３次元画像保管サーバ２は、いわゆる単体のサーバ装置でも良いし、いわゆるクラウドに接続されるサーバ装置に３次元画像を保管するような形態としてもよい。
本実施形態においては、３次元画像取得部１０は、頭部の３次元画像を取得するものとする。なお、頭部に限らず、心臓領域を含む胸部や、肝臓領域や骨領域を含む腹部などの３次元画像を取得するようにしてもよい。
領域抽出部１１は、３次元画像取得部１０によって取得された３次元画像５が入力され、その入力された３次元画像５に基づいて、複数の領域を抽出するものである。具体的には、本実施形態の領域抽出部１１には、頭部の３次元画像５が入力され、領域抽出部１１は、入力された頭部の３次元画像５に基づいて、頭部の皮膚領域、骨領域および脳領域をそれぞれ抽出するものである。皮膚領域、骨領域および脳領域は、頭部の３次元画像を２次元投影面に投影する際の視線方向に重複した領域である。
皮膚領域、骨領域および脳領域を抽出する方法としては、頭部の３次元画像５の画素データに基づいて、公知の手法を用いて自動的に抽出するようにしてもよいし、ユーザが入力装置４を用いてそれぞれの領域を手動で指定することによって抽出するようにしてもよい。
内部組織情報取得部１２は、領域抽出部１１によって抽出された各領域によって挟まれる領域間の情報を内部組織情報として取得するものである。具体的には、本実施形態においては、皮膚領域と骨領域との間に存在する血管の情報と、骨領域と脳領域との間に存在する血管の情報とを内部組織情報として取得するものである。そして、内部組織情報取得部１２は、取得した内部組織情報を表示制御部１３に出力するものである。なお、内部組織情報を取得する方法については、後で詳述する。
表示制御部１３は、３次元画像取得部１０によって取得された頭部の３次元画像５を、たとえばボリュームレンダリング法やサーフェスレンダリング法などを用いて２次元投影面に投影した投影画像をディスプレイ３に表示させるものである。そして、この際、本実施形態の表示制御部１３は、投影画像に対して内部組織情報を重畳して表示させるものである。具体的には、本実施形態の表示制御部１３は、頭部の皮膚領域の投影画像上に皮膚領域と骨領域の間の血管の画像を重畳して表示させたり、頭部の骨領域の投影画像上に骨領域と脳領域の間の血管の画像を重畳して表示させたりするものである。重畳して表示させる方法としては、投影画像と内部組織の画像とをアルファブレンディングするようにしてもよいし、投影画像上に内部組織の画像をオーバーレイする加算表示としてもよい。
入力装置４は、マウスやキーボードなどを備えたものであり、ユーザによる操作入力を受け付けるものである。特に、本実施形態の入力装置４は、頭部の３次元画像５を２次元投影面に投影する際に用いられる光線方向の設定入力を受け付けたり、ディスプレイ３に表示させる表示対象の設定入力を受け付けたりするものである。表示対象としては、たとえば頭部の皮膚領域および皮膚領域と骨領域との間の血管が設定入力されたり、頭部の骨領域および骨領域と脳領域との間の血管が設定入力されたりする。
次に、本実施形態の医用画像診断支援システムの作用について、図２に示すフローチャートを参照しながら説明する。
まず、入力装置４を用いてユーザによって被検体の識別情報が入力され、医用画像表示制御装置１の３次元画像取得部１０は、その入力された被検体の識別情報に対応する３次元画像５を３次元画像保管サーバ２から読み出して取得する（Ｓ１０）。
３次元画像取得部１０によって取得された３次元画像５は、領域抽出部１１に入力され、領域抽出部１１は、入力された３次元画像５に基づいて、複数の領域を抽出する（Ｓ１２）。具体的には、本実施形態における領域抽出部１１は、頭部の３次元画像５に基づいて、図３に示すような頭部の皮膚領域と、骨領域と、脳領域とを抽出する。
次に、頭部の３次元画像５を２次元投影面に投影する際に用いられる光線方向がユーザによって入力装置４を用いて設定入力される（Ｓ１４）。平行投影法によって３次元画像５を２次元投影面に投影する場合には、２次元投影面に対して垂直な方向が光線方向として設定される。また、透視投影法によって３次元画像を２次元投影面に投影する場合には、所定の始点から２次元投影面の各画素への直線方向が光線方向として設定される。
本実施形態においては、図３において破線の矢印で示される光線方向が設定入力されたものとする。破線の矢印方向が光線方向である。なお、図３においては３本の光線のみ示しているが、実際には、画素単位の多数の光線が設定されるものとする。
また、このときユーザは、表示対象の情報も入力装置４を用いて入力する。ここでは、頭部の皮膚を切開する場面を想定して、表示対象として頭部の皮膚と、皮膚と骨との間の血管が設定入力されたものとする。
そして、領域抽出部１１において抽出された皮膚領域、骨領域および脳領域の情報が内部組織情報取得部１２に入力され、内部組織情報取得部１２は、これらの領域の情報とユーザによって設定された光線方向の情報とに基づいて、皮膚領域と骨領域との間に存在する血管の情報を取得する。
具体的には、まず、各光線が最初に交差する領域が交差領域として検出され設定される（Ｓ１６）。本実施形態の場合、図３に示す皮膚領域が交差領域として設定される。
なお、交差領域の検出方法としては、各光線と各領域の座標値とから各光線が最初に交差する領域を検出するようにしてもよいし、３次元画像の表示方法によって検出方法を決めるようにしてもよい。具体的には、たとえば３次元画像をボリュームレンダリングによって表示する場合には、光線方向に沿った不透明度の積算値が所定の閾値を超えた時点での点を交差点とし、その交差点を含む領域を交差領域として検出するようにしてもよい。また、３次元画像をサーフェスレンダリングによって表示する場合には、光線方向とサーフェス面との交点を交差点とし、その交差点を含む領域を交差領域として検出するようにしてもよい。
次に、皮膚領域（交差領域）を除いた場合に、各光線と最初に交差する領域上の点が第１交差点として検出され設定される（Ｓ１８）。本実施形態においては、図３に示す各光線と最初に交差する骨領域上の点が第１交差点して設定される。
次いで、各第１交差点から光線の進行方向とは逆方向にたどった場合に交差領域に交差する点が第２交差点として検出され設定される（Ｓ２０）。本実施形態の場合、図３に示す皮膚領域上の第２交差点が設定される。
そして、内部組織情報取得部１２は、上述したようにして設定された第１交差点と第２交差点との間に含まれる情報を内部組織情報として取得する（Ｓ２２）。本実施形態においては、図３において矢印Ａで示される範囲の画素のうち、予め設定された範囲内の値を有する画素を検出することによって皮膚領域と骨領域との間の血管の画素を検出する。なお、上記予め設定された範囲は、血管の造影剤の種類に応じて設定されるものである。また、内部組織情報の検出範囲は、必ずしも第１交差点と第２交差点の間の全ての範囲でなくてもよく、第２交差点から予め設定されて距離の範囲内としてもよい。
内部組織情報取得部１２によって検出された血管の情報は、表示制御部１３に入力される。そして、表示制御部１３は、入力された血管の情報に基づいて、３次元画像５を２次元投影面に投影した投影画像に対して血管画像を重畳してディスプレイ３に表示させる。なお、ここでは、表示対象として皮膚と、皮膚と骨との間の血管が設定入力されているので、図４に示すような画像がディスプレイ３に表示されることになる。
また、上記説明では、表示対象として頭部の皮膚と、皮膚と骨との間の血管が設定入力された場合について説明したが、表示対象として頭部の骨と、骨と脳の間の血管を設定入力するようにしてもよい。
この場合には、内部組織情報取得部１２は、皮膚領域を除外した状態で内部組織情報を取得する。
具体的には、この場合、各光線が最初に交差する交差領域として骨領域が検出されて設定される。次に、骨領域を除いた場合に、各光線と最初に交差する脳領域上の点が第１交差点として検出され設定される。
次いで、脳領域上の各第１交差点から光線の進行方向とは逆方向にたどった場合に骨領域上に交差する点が第２交差点として検出され設定される。
そして、内部組織情報取得部１２は、上述したようにして設定された第１交差点と第２交差点との間に含まれる情報を内部組織情報として取得する。具体的には、図３において矢印Ｂで示される範囲の画素のうち、予め設定された範囲内の値を有する画素を検出することによって骨領域と脳領域との間の血管の画素を検出する。
内部組織情報取得部１２によって検出された血管の情報は表示制御部１３に入力され、表示制御部１３は、図５に示すように、骨の画像に対して血管画像を重畳した画像をディスプレイ３に表示させる。
また、頭部の皮膚の一部を切開した状態を想定して表示対象を指定するようにしてもよい。この場合、たとえば、図６に示すような画像がディスプレイ３に表示される。なお、皮膚の画像上に重畳される血管の情報と、骨の画像上に重畳される血管の情報の取得方法については、上記と同様である。また、図６に示すように、異なる領域間の複数の内部組織情報を取得して表示する場合には、これらの内部組織情報を異なる表示態様で表示させるようにしてもよい。具体的には、たとえば図６において、皮膚の画像上に重畳される血管画像を赤色で表示し、骨の画像上に重畳される血管画像を青色で表示するようにしてもよい。これにより異なる血管の画像であることを明確にすることができる。
また、図４から図６に示した皮膚領域や骨領域の画像は、たとえば入力装置４を用いたユーザからの指示によって、表示制御部１３が表示と非表示とを切り替えるようにしてもよい。
また、図４から図６に示す血管の画像については、表示制御部１３が、第１交差点と第２交差点との間の位置に応じて血管を異なる表示態様で表示させるようにしてもよい。具体的には、たとえば図３に示す皮膚領域と骨領域との間の血管について、その皮膚領域または骨領域からの距離に応じて異なる色や輝度で表示するようにしてもよい。また、同様に、図３に示す骨領域と脳領域との間の血管について、その骨領域または脳領域からの距離に応じて異なる色や輝度で表示するようにしてもよい。このような表示を行うことによって、血管が皮膚領域や骨領域からどの程度の距離に走行しているかを把握することができ、皮膚や骨を切断する際に役立てることができる。
また、上記実施形態の説明においては、頭部の３次元画像を取得し、頭部の皮膚領域、骨領域および脳領域を抽出し、これらの領域間の血管情報を内部組織情報として取得するようにしたが、内部組織情報としてはこれに限定されるものではない。
たとえば、図７に示すような心臓の左心室の３次元画像を取得し、視線方向に重複する領域として左心室の心室表面領域と心室内の空間領域とを抽出し、これらの領域間（図７に示す斜線の範囲）の心筋の情報を内部組織情報として取得し、左心室の投影画像上に心筋の情報を重畳した画像を表示するようにしてもよい。心室表面領域については、心室の表面から予め設定された深さの範囲を心室表面領域として設定するようにすればよい。内部組織情報の取得方法については、上記と同様である。
また、頭部の脳内に形成された腫瘍を取り除く手術を行う場合などを想定し、図８に示すように、視線方向に重複する領域として脳の表面領域と腫瘍領域とを抽出し、これらの領域間の血管情報を内部組織情報として取得し、脳の投影画像上に血管画像を重畳した画像を表示するようにしてもよい。脳表面領域については、脳の表面から予め設定された深さの範囲を脳表面領域として設定するようにすればよい。内部組織情報の取得方法については、上記と同様である。
また、内視鏡を腹部に挿入して肝臓の手術を行う場合などを想定し、図９に示すような肝臓領域を含む腹部の３次元画像から視線方向に重複する領域として皮膚領域と肝臓領域とを抽出し、これらの領域間の骨の情報を内部組織情報として取得し、皮膚の投影画像上に骨の画像を重畳した画像を表示するようにしてもよい。内部組織情報の取得方法については、上記と同様である。
また、上記実施形態においては、第１交差点と第２交差点との間の範囲の画素のうち、予め設定された範囲内の値を有する画素を検出することによって内部組織情報を取得するようにしたが、これに限らず、第１交差点と第２交差点との間の光線上の画素の最大値、最小値、積算値、平均値またはボリュームレンダリングした値を内部組織情報として取得するようにしてもよい。
１ 医用画像表示制御装置
２ ３次元画像保管サーバ
３ ディスプレイ
４ 入力装置
１０ ３次元画像取得部
１１ 領域抽出部
１２ 内部組織情報取得部
１３ 表示制御部

Claims (11)

  1. 被検体の３次元画像を２次元投影面に投影する際の視線方向に重複した複数の領域を前記３次元画像から抽出する領域抽出部と、
    前記複数の領域のうち、前記３次元画像を２次元投影面に投影する際に用いられる光線が最初に交差する領域を交差領域として設定し、該交差領域を除いた場合に前記光線と最初に交差する領域上の点を第１交差点として設定し、該第１交差点から前記光線の進行方向とは逆方向にたどった場合に前記交差領域に交差する点を第２交差点として設定し、前記第１交差点と前記第２交差点との間に含まれる内部組織情報を取得する内部組織情報取得部と、
    前記２次元投影面に投影された前記交差領域の前記３次元画像に対して前記内部組織情報を重畳して表示させる表示制御部とを備えたことを特徴とする医用画像表示制御装置。
  2. 前記内部組織情報取得部が、前記内部組織情報から特定の組織領域を検出するものであり、
    前記表示制御部が、前記特定の組織領域を前記交差領域の前記３次元画像に対して重畳して表示するものである請求項１記載の医用画像表示制御装置。
  3. 前記内部組織情報取得部が、前記内部組織情報から予め設定された範囲内の値を検出することによって前記特定の組織領域を検出するものである請求項２記載の医用画像表示制御装置。
  4. 前記内部組織情報取得部が、前記第１交差点と前記第２交差点との間における前記光線上の画素の最大値、最小値、積算値、平均値またはボリュームレンダリングした値を前記内部組織情報として取得するものである請求項１記載の医用画像表示制御装置。
  5. 前記表示制御部が、前記複数の領域の３次元画像の表示と非表示とを切り替えるものである請求項１から４いずれか１項記載の医用画像表示制御装置。
  6. 前記領域抽出部が、少なくとも３つの領域を抽出するものであり、
    前記内部組織情報取得部が、前記少なくとも３つの領域の領域間の少なくとも２つの前記内部組織情報を取得するものであり、
    前記表示制御部が、前記少なくとも２つの内部組織情報を異なる表示態様で表示させるものである請求項１から５いずれか１項記載の医用画像表示制御装置。
  7. 前記表示制御部が、前記第１交差点と前記第２交差点との間の位置に応じて前記内部組織情報を異なる表示態様で表示させるものである請求項１から６いずれか１項記載の医用画像表示制御装置。
  8. 前記内部組織情報に血管領域が含まれている請求項１から７いずれか１項記載の医用画像表示制御装置。
  9. 前記領域抽出部が、前記領域として皮膚領域、臓器領域または腫瘍領域を抽出するものであることを特徴とする請求項１から８いずれか１項記載の医用画像表示制御装置。
  10. 領域抽出部と、内部組織情報取得部と、表示制御部とを備えた医用画像表示制御装置の作動方法であって、
    前記領域抽出部が、被検体の３次元画像を２次元投影面に投影する際の視線方向に重複した複数の領域を前記３次元画像から抽出し、
    前記内部組織情報取得部が、前記複数の領域のうち、前記３次元画像を２次元投影面に投影する際に用いられる光線が最初に交差する領域を交差領域として設定し、該交差領域を除いた場合に前記光線と最初に交差する領域上の点を第１交差点として設定し、該第１交差点から前記光線の進行方向とは逆方向にたどった場合に前記交差領域に交差する点を第２交差点として設定し、前記第１交差点と前記第２交差点との間に含まれる内部組織情報を取得し、
    前記表示制御部が、前記２次元投影面に投影された前記交差領域の前記３次元画像に対して前記内部組織情報を重畳して表示させることを特徴とする医用画像表示制御装置の作動方法。
  11. コンピュータを、被検体の３次元画像を２次元投影面に投影する際の視線方向に重複した複数の領域を前記３次元画像から抽出する領域抽出部と、
    前記複数の領域のうち、前記３次元画像を２次元投影面に投影する際に用いられる光線が最初に交差する領域を交差領域として設定し、該交差領域を除いた場合に前記光線と最初に交差する領域上の点を第１交差点として設定し、該第１交差点から前記光線の進行方向とは逆方向にたどった場合に前記交差領域に交差する点を第２交差点として設定し、前記第１交差点と前記第２交差点との間に含まれる内部組織情報を取得する内部組織情報取得部と、
    前記２次元投影面に投影された前記交差領域の前記３次元画像に対して前記内部組織情報を重畳して表示させる表示制御部として機能させることを特徴とする医用画像表示制御プログラム。
JP2013158591A 2013-07-31 2013-07-31 医用画像表示制御装置およびその作動方法並びに医用画像表示制御プログラム Expired - Fee Related JP6145875B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2013158591A JP6145875B2 (ja) 2013-07-31 2013-07-31 医用画像表示制御装置およびその作動方法並びに医用画像表示制御プログラム
PCT/JP2014/003914 WO2015015777A1 (ja) 2013-07-31 2014-07-24 医用画像表示制御装置およびその作動方法並びに医用画像表示制御プログラム
DE112014003537.8T DE112014003537T5 (de) 2013-07-31 2014-07-24 Medizinbild-Anzeigesteuervorrichtung, Verfahren zum Betreiben derselben, und Medizinbild-Anzeigesteuerprogramm
US15/008,317 US10062184B2 (en) 2013-07-31 2016-01-27 Medical image display control device, method of operation for same, and medical image display control program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2013158591A JP6145875B2 (ja) 2013-07-31 2013-07-31 医用画像表示制御装置およびその作動方法並びに医用画像表示制御プログラム

Publications (2)

Publication Number Publication Date
JP2015029518A JP2015029518A (ja) 2015-02-16
JP6145875B2 true JP6145875B2 (ja) 2017-06-14

Family

ID=52431335

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013158591A Expired - Fee Related JP6145875B2 (ja) 2013-07-31 2013-07-31 医用画像表示制御装置およびその作動方法並びに医用画像表示制御プログラム

Country Status (4)

Country Link
US (1) US10062184B2 (ja)
JP (1) JP6145875B2 (ja)
DE (1) DE112014003537T5 (ja)
WO (1) WO2015015777A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2546978B (en) 2016-02-01 2019-01-23 Siemens Healthcare Gmbh Methods for visualising heart scar tissue
JP6659501B2 (ja) * 2016-09-14 2020-03-04 富士フイルム株式会社 軟骨定量化装置、方法およびプログラム

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0973557A (ja) * 1995-09-04 1997-03-18 Toshiba Corp 画像処理装置
JP2005261440A (ja) * 2004-02-19 2005-09-29 Aze Ltd 医療用画像の被造影領域抽出方法
JP4912389B2 (ja) * 2006-02-17 2012-04-11 株式会社日立メディコ 画像表示装置及びプログラム
JP2007325629A (ja) 2006-06-06 2007-12-20 Hitachi Medical Corp 医用画像表示装置
JP5285427B2 (ja) * 2006-10-26 2013-09-11 株式会社日立メディコ 医療画像表示装置
US8995736B2 (en) * 2010-01-22 2015-03-31 The Research Foundation Of The State University Of New York System and method for prostate visualization and cancer detection
JP5551957B2 (ja) * 2010-03-31 2014-07-16 富士フイルム株式会社 投影画像生成装置およびその作動方法、並びに投影画像生成プログラム
JP2012085833A (ja) * 2010-10-20 2012-05-10 Hitachi Medical Corp ３次元医用画像データの画像処理システム、その画像処理方法及びプログラム

Also Published As

Publication number Publication date
JP2015029518A (ja) 2015-02-16
WO2015015777A1 (ja) 2015-02-05
DE112014003537T5 (de) 2016-04-28
US20160140739A1 (en) 2016-05-19
US10062184B2 (en) 2018-08-28

Similar Documents

Publication Publication Date Title
US11652971B2 (en) Image-guided surgery with surface reconstruction and augmented reality visualization
US11547499B2 (en) Dynamic and interactive navigation in a surgical environment
JP5427179B2 (ja) 解剖学的データの視覚化
JP6530371B2 (ja) インタラクティブな経過観察の可視化
US20160163105A1 (en) Method of operating a surgical navigation system and a system using the same
JP2020522827A (ja) 外科ナビゲーションにおける拡張現実の使用
JP4786307B2 (ja) 画像処理装置
US9443161B2 (en) Methods and systems for performing segmentation and registration of images using neutrosophic similarity scores
JP5984235B2 (ja) 画像処理システム、装置、方法及び医用画像診断装置
Schumann et al. Visualization support for the planning of hepatic needle placement
Hansen et al. Risk maps for liver surgery
CN113645896A (zh) 手术计划、手术导航和成像用***
Wang et al. Autostereoscopic augmented reality visualization for depth perception in endoscopic surgery
WO2016110463A1 (en) Ultrasound imaging apparatus and method for segmenting anatomical objects
JP6145875B2 (ja) 医用画像表示制御装置およびその作動方法並びに医用画像表示制御プログラム
van Beurden et al. Stereoscopic displays in medical domains: a review of perception and performance effects
EP3432310A1 (en) Method and system for a preoperative surgical intervention simulation
JP2011254861A (ja) 医用画像処理装置
CN109598752A (zh) 图像处理装置及其控制方法、计算机可读存储介质
JP2020520759A (ja) ライブ２次元ｘ線画像において介入装置の空間情報を提供する装置及び対応する方法
Davey et al. Multimodality interactive stereoscopic image-guided neurosurgery
WO2020251958A1 (en) Detecting and representing anatomical features of an anatomical structure
US11967073B2 (en) Method for displaying a 3D model of a patient
Agrafiotis et al. Virtual liver biopsy: Image processing and 3d visualization

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20151030

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20160906

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20161028

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20170321

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20170323

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20170427

R150 Certificate of patent or registration of utility model

Ref document number: 6145875

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees