JP2023051235A - 画像処理装置、画像処理方法、及びプログラム - Google Patents

画像処理装置、画像処理方法、及びプログラム Download PDF

Info

Publication number
JP2023051235A
JP2023051235A JP2021161790A JP2021161790A JP2023051235A JP 2023051235 A JP2023051235 A JP 2023051235A JP 2021161790 A JP2021161790 A JP 2021161790A JP 2021161790 A JP2021161790 A JP 2021161790A JP 2023051235 A JP2023051235 A JP 2023051235A
Authority
JP
Japan
Prior art keywords
cross
image
section
region
dimensional
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2021161790A
Other languages
English (en)
Inventor
友香 大山
Yuka Oyama
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Priority to JP2021161790A priority Critical patent/JP2023051235A/ja
Priority to US17/953,340 priority patent/US20230099565A1/en
Priority to DE102022124944.1A priority patent/DE102022124944A1/de
Publication of JP2023051235A publication Critical patent/JP2023051235A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/60Analysis of geometric attributes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/60Analysis of geometric attributes
    • G06T7/68Analysis of geometric attributes of symmetry
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/25Determination of region of interest [ROI] or a volume of interest [VOI]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10072Tomographic images
    • G06T2207/10081Computed x-ray tomography [CT]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10072Tomographic images
    • G06T2207/10088Magnetic resonance imaging [MRI]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10132Ultrasound image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30096Tumor; Lesion
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03Recognition of patterns in medical or anatomical images
    • G06V2201/031Recognition of patterns in medical or anatomical images of internal organs

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Geometry (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Multimedia (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Image Processing (AREA)

Abstract

Figure 2023051235000001
【課題】3次元対象部位画像における仮想軸を用いず、かつ断面の幾何特性を変更できない場合と比較して、対象部位における断面を簡便に探索できる画像処理装置、画像処理方法、及びプログラムを提供する。
【解決手段】画像処理装置は、プロセッサを備え、プロセッサは、対象部位を示す3次元画像である3次元対象部位画像を表示装置に表示させるための情報を出力し、3次元対象部位画像における対象部位の仮想軸を算出し、仮想軸上の第1位置と交差する第1断面に対応する2次元画像を表示装置に表示させるための情報を出力し、第1断面の幾何特性を変更する指示に従って幾何特性を変更し、幾何特性を変更した第2断面に対応する2次元画像を表示装置に表示させるための情報を出力する。
【選択図】図7

Description

本開示の技術は、画像処理装置、画像処理方法、及びプログラムに関する。
特許文献1には、組織切除のための方法であって、方法は、組織内にエネルギー源を位置付けることと、エネルギー源から組織に向かって半径方向外向きにエネルギーを方向付けることと、所定の容量の組織を除去するようにエネルギー源を移動させることであって、エネルギー源の移動は、自動コントローラによって少なくとも部分的に制御される、こととを含む、方法が開示されている。
特許文献2には、種類の異なる複数の医用画像診断装置によって取得された対象物の3次元画像データに対して、3次元画像データに対応する3次元立体モデルを使用して表示領域を指定する第一処理部と、3次元画像データの画像座標系と、3次元立体モデルに対して定義される計測座標系とを相互に対応付ける第二処理部と、3次元立体モデルを用いて指定された領域を指定領域とし、3次元画像データの中から指定領域に対応する領域を特定し且つその領域の画像を構成する第三処理部と、指定領域に対応する領域の画像を提示する第四処理部と、を備えることを特徴とする医用情報提示装が開示されている。
特許文献3には、手術空間に置かれた被検体の画像を含む手術進行情報をリアルタイムで取得する計測手段と、予め取得された被検体の三次元画像および計測手段が取得した手術進行情報を記録する記録手段と、操作者からの指令を入力する入力部と操作者の入力に必要なGUIおよび記録手段に記録された手術進行情報並びに三次元画像を表示する表示部とを備えた入出力手段と、記録手段に記録された被検体の三次元画像および入出力手段を介して入力された操作者の指令に基づき、手術ガイド情報を算出し、算出された手術ガイド情報を記録手段に記録するとともに表示部に表示させる計算手段と、計測手段、記録手段、入出力手段および計算手段を制御する制御手段と、を備えた手術支援システムにおいて、計算手段は、計測手段が取得したリアルタイムの手術進行情報と手術ガイド情報とを比較し、比較結果を表示部に表示させる比較手段と、計測手段が取得したリアルタイムの被検体画像を用いて、手術ガイド情報を算出し、直前に算出された手術ガイド情報を更新する手術ガイド情報更新手段と、を備えたことを特徴とする手術支援システムが開示されている。
特表2015-509789号公報 特開2011-224194号公報 特開2008-173159号公報
本開示の技術に係る一つの実施形態は、3次元対象部位画像における仮想軸を用いず、かつ断面の幾何特性を変更できない場合と比較して、対象部位における断面を簡便に探索できる画像処理装置、画像処理方法、及びプログラムを提供する。
本開示の技術に係る第1の態様は、プロセッサを備え、プロセッサは、対象部位を示す3次元画像である3次元対象部位画像を表示装置に表示させるための情報を出力し、3次元対象部位画像における対象部位の仮想軸を算出し、仮想軸上の第1位置と交差する第1断面に対応する2次元画像を表示装置に表示させるための情報を出力し、第1断面の幾何特性を変更する指示に従って幾何特性を変更し、第1断面の幾何特性が変更されることで得られた第2断面に対応する2次元画像を表示装置に表示させるための情報を出力する画像処理装置である。
本開示の技術に係る第2の態様は、対象部位を示す3次元画像である3次元対象部位画像を表示装置に表示させるための情報を出力すること、3次元対象部位画像における対象部位の仮想軸を算出すること、仮想軸上の第1位置と交差する第1断面に対応する2次元画像を表示装置に表示させるための情報を出力すること、第1断面の幾何特性を変更する指示に従って幾何特性を変更すること、及び、幾何特性を変更した第2断面に対応する2次元画像を表示装置に表示させるための情報を出力することを含む画像処理方法である。
本開示の技術に係る第3の態様は、コンピュータに、対象部位を示す3次元画像である3次元対象部位画像を表示装置に表示させるための情報を出力すること、3次元対象部位画像における対象部位の仮想軸を算出すること、仮想軸上の第1位置と交差する第1断面に対応する2次元画像を表示装置に表示させるための情報を出力すること、第1断面の幾何特性を変更する指示に従って幾何特性を変更すること、及び、幾何特性を変更した第2断面に対応する2次元画像を表示装置に表示させるための情報を出力することを含む処理を実行させるプログラムである。
医療業務支援装置の概略構成を示す概念図である。 医療業務支援装置の電気系のハードウェア構成の一例を示すブロック図である。 抽出部の処理内容の一例を示す概念図である。 断面画像生成部の処理内容の一例を示す概念図である。 第1断面が表示装置に表示される態様の一例を示す概念図である。 第1断面の幾何特性の変更指示が受け付けられる態様の一例を示す概念図である。 第2断面が表示装置に表示される態様の一例を示す概念図である。 幾何特性の変更の態様の一例を示す概念図である。 画像処理の流れの一例を示すフローチャートである。 関心領域及び周辺領域が表示装置に表示される態様の一例を示す概念図である。 第1断面の幾何特性の変更指示が受け付けられる態様の一例を示す概念図である。 分割された後の第1領域のみが表示装置に表示される態様の一例を示す概念図である。 幾何特性の変更指示が制限される態様の一例を示す概念図である。 第2断面の幾何特性が設定される態様の一例を示す概念図である。 断面位置における矢状面、冠状面、及び横断面が表示装置に表示される態様の一例を示す概念図である。 医療業務支援システムの概略構成を示す概念図である。
添付図面に従って本開示の技術に係る画像処理装置、画像処理方法、及びプログラムの実施形態の一例について説明する。
[第1実施形態]
一例として図1に示すように、医療業務支援装置10は、画像処理装置12、受付装置14、及び表示装置16を備えており、ユーザ18によって使用される。ここで、ユーザ18としては、例えば、医師及び/又は技師等が挙げられる。
画像処理装置12には、受付装置14が接続されている。受付装置14は、ユーザ18からの指示を受け付ける。受付装置14は、キーボード20及びマウス22等を有している。受付装置14によって受け付けられた指示は、プロセッサ24によって取得される。図1に示すキーボード20及びマウス22は、あくまでも一例に過ぎない。受付装置14として、キーボード20又はマウス22のいずれか一方のみを備えても良い。また、受付装置14として、例えば、キーボード20及び/又はマウス22に代えて、近接入力を受け付ける近接入力装置、音声入力を受け付ける音声入力装置、及び、ジェスチャー入力を受け付けるジェスチャー入力装置のうちの少なくとも1つを適用してもよい。近接入力装置は、例えば、タッチパネルやタブレット等である。
画像処理装置12には、表示装置16が接続されている。表示装置16としては、例えば、EL(Electro-Luminescence)ディスプレイ又は液晶ディスプレイ等が挙げられる。表示装置16は、画像処理装置12の制御下で、各種情報(例えば、画像及び文字等)を表示する。表示装置16は、本開示の技術に係る「表示装置」の一例である。
一例として図2に示すように、医療業務支援装置10は、画像処理装置12、受付装置14、及び表示装置16の他に、通信I/F(Interface)30、外部I/F32、及びバス34を備えている。
画像処理装置12は、本開示の技術に係る「画像処理装置」及び「コンピュータ」の一例であり、プロセッサ24、ストレージ26、及びRAM(Random Access Memory)28を備えている。プロセッサ24、ストレージ26、RAM28、通信I/F30、及び外部I/F32は、バス34に接続されている。
プロセッサ24には、メモリが接続されている。メモリは、ストレージ26及びRAM28を含む。プロセッサ24は、例えば、CPU(Central Processing Unit)及びGPU(Graphics Processing Unit)を有する。GPUは、CPUの制御下で動作し、画像に関する処理の実行を担う。
ストレージ26は、各種プログラム及び各種パラメータ等を記憶する不揮発性の記憶装置である。ストレージ26としては、例えば、フラッシュメモリ(例えば、EEPROM(electrically erasable and programmable read only memory)及びSSD(Solid State Drive)等)及び/又はHDD(Hard Disk Drive)が挙げられる。なお、フラッシュメモリ及びHDDは、あくまでも一例に過ぎず、フラッシュメモリ、HDD磁気抵抗メモリ、及び強誘電体メモリのうちの少なくとも1つをストレージ26として用いてもよい。
RAM28は、一時的に情報が記憶されるメモリであり、プロセッサ24によってワークメモリとして用いられる。RAM28としては、例えば、DRAM(Dynamic Random Access Memory)又はSRAM(Static Random Access Memory)等が挙げられる。
通信I/F30は、ネットワーク(図示省略)に接続されている。ネットワークは、例えば、LAN(Local Area Network)及びWAN(Wide Area Network)等のうちの少なくとも1つで構成されていても良い。ネットワークには、外部装置(図示省略)等が接続されており、通信I/F30は、ネットワークを介して外部通信装置との間の情報の授受を司る。外部通信装置は、例えば、CT(Computed Tomography)装置、MRI(Magnetic Resonance Imaging)装置、パーソナル・コンピュータ、及びスマートデバイス等のうちの少なくとも1つを含んでもよい。例えば、通信I/F30は、プロセッサ24からの要求に応じた情報を、ネットワークを介して外部通信装置に送信する。また、通信I/F30は、外部通信装置から送信された情報を受信し、受信した情報を、バス34を介してプロセッサ24に出力する。
外部I/F32は、医療業務支援装置10の外部に存在する外部装置(図示省略)との間の各種情報の授受を司る。外部装置は、例えば、スマートデバイス、パーソナル・コンピュータ、サーバ、USB(Universal Serial Bus)メモリ、メモリカード、及びプリンタ等のうちの少なくとも1つであってもよい。外部I/F32の一例としては、USBインタフェースが挙げられる。USBインタフェースには、外部装置が直接的又は間接的に接続される。
ところで、膵臓癌などの悪性腫瘍を臓器から切除する手術前には、CT装置及び/又はMRI装置等のモダリティによって被検体である患者が撮像されることで得られた複数の2次元スライス画像等を用いて手術前に切除領域が決定されてプランニングされることによって、手術の安全性を高めることが行われている。
しかし、切除の対象となる臓器の形状、又は切除部位の位置によって、様々な断面の可能性があり、切除に適した断面を簡便に探索するには依然として改良の余地があった。そこで、本開示の技術では、切除のための断面をシミュレーションする際、より簡便に断面の探索を行えるように、一例として図2に示すように、プロセッサ24によって画像処理が行われる。
ストレージ26には、画像処理プログラム36が記憶されている。プロセッサ24は、ストレージ26から画像処理プログラム36を読み出し、読み出した画像処理プログラム36をRAM28上で実行することにより画像処理を行う。画像処理は、プロセッサ24が抽出部24A、断面画像生成部24B、制御部24C、仮想軸算出部24D、幾何特性変更部24E、及び領域特定部24Fとして動作することによって実現される。なお、画像処理プログラム36は、本開示の技術に係る「プログラム」の一例である。
一例として図3に示すように、ストレージ26には、3次元画像38が記憶されている。3次元画像38は、モダリティによって患者が撮像されることで得られた複数の2次元スライス画像40が積み重ねられてボクセルVに分割されることで得られた画像である。モダリティの一例としては、CT装置が挙げられる。CT装置は、一例に過ぎず、モダリティの他の例としては、MRI装置又は超音波診断装置等が挙げられる。また、図3に示す例では、2次元スライス画像40として、横断面の2次元スライス画像が示されているが、これに限らず、冠状面の2次元スライス画像であってもよいし、矢状面の2次元スライス画像であってもよい。3次元画像を規定している全てのボクセルVの各々の位置は3次元座標で特定される。各ボクセルVには、例えば、CT値のような白黒の濃淡値が付与されている。
抽出部24Aは、ストレージ26から3次元画像38を取得し、取得した3次元画像38から3次元臓器画像42を抽出する。3次元臓器画像42は、臓器を示す3次元画像である。例えば、3次元画像38には、複数の3次元臓器画像42が含まれており、各3次元臓器画像42には固有の識別子が付与されている。3次元臓器画像42は、受付装置14によって受け付けられた指示に従って3次元画像38から抽出される。例えば、抽出部24Aは、受付装置14によって受け付けられた識別子に対応する3次元臓器画像42を3次元画像38から抽出する。図3に示す例では、3次元臓器画像42の一例として、膵臓を示す画像が示されている。3次元臓器画像42は、本開示の技術に係る「3次元対象部位画像」の一例である。また、3次元画像38の各ボクセルVに対して、臓器ごとの固有の識別子が付与され、臓器ごとの識別子には、不透明度、赤(R)、緑(G)及び青(B)の色情報が設定されていても良い。このようにすることで、各ボクセルVには、白黒の濃淡値情報に加えて、対応する臓器に応じた不透明度、赤(R)、緑(G)及び青(B)の色情報等のデータが付与される(以下、これらを「ボクセルデータという」)。
なお、ここでは、3次元臓器画像42の一例として、膵臓を示す画像を例示しているが、これは、あくまでも一例に過ぎず、肝臓、心臓及び/又は肺等の他の臓器を示す画像であってもよい。また、固有の識別子を用いて3次元臓器画像42が抽出される方法は、あくまでも一例に過ぎず、受付装置14を介してユーザ18によって何等かの手段を用いて指定された3次元臓器画像42が抽出部24Aによって抽出される方法であってもよいし、AI(artificial intelligence)方式及び/又はパターンマッチング方式等による画像認識処理を用いて3次元臓器画像42が抽出部24Aによって抽出される方法であってもよい。また、3次元臓器画像42は、単一の臓器を示す画像に限られない。例えば、膵臓に加えて、膵臓に隣接する血管、胆管、脾臓等の複数の臓器を抽出した画像であっても良い。
一例として図4に示すように、断面画像生成部24Bは、3次元臓器画像42から断面画像46を生成する。断面画像46とは、3次元臓器画像42を断面視した画像を指す。断面画像生成部24Bは、指定された任意の断面において、3次元臓器画像42における各画素(すなわち、ピクセル)を取得する。断面画像生成部24Bは、3次元臓器画像42の任意の断面における画素値から断面画像46を生成する。3次元臓器画像42の任意の断面の位置は、例えば、受付装置14によって受け付けられた指示に従って変更され、これによって、様々な方向から3次元臓器画像42を断面観察した場合の断面画像46が生成される。なお、断面画像46は、例えば、表示装置16に表示されたり、既定の記憶デバイス(例えば、ストレージ26等)に記憶されたりする。断面画像46は、本開示の技術に係る「2次元画像」の一例である。なお、断面画像46は、3次元臓器画像42から生成するとしたがこれに限らず、3次元画像38から生成しても良い。
一例として図5に示すように、仮想軸算出部24Dは、抽出部24Aから3次元臓器画像42を取得する。仮想軸算出部24Dは、3次元臓器画像42に基づいて、3次元臓器画像42における中心軸CLを算出する。具体的には、仮想軸算出部24Dは、3次元臓器画像42に対して細線化処理を施すことにより、中心軸CLを算出する。なお、中心軸CLは、本開示の技術に係る「仮想軸」の一例である。
制御部24Cは、仮想軸算出部24Dから中心軸CLを取得する。また、制御部24Cは、中心軸CL上での第1断面61の幾何特性を特定し、特定した幾何特性を断面画像生成部24Bへ出力する。中心軸CL上での第1断面61の幾何特性とは、例えば、中心軸CL上での第1断面61の位置である第1位置P1、及び第1断面61の姿勢を指す。第1断面61の姿勢とは、例えば、第1断面61の中心軸CLに対する傾きを指す。第1位置P1は、例えば、中心軸CL上の予め設定された位置でもよく、受付装置14によって受け付けられた中心軸CL上の位置でもよい。
断面画像生成部24Bは、第1断面61に対応する断面画像46を生成する。第1断面61に対応する断面画像46とは、3次元臓器画像42を第1断面61で断面視した画像(すなわち、3次元臓器画像42を第1断面61で切断した場合の切断面を示す2次元画像)を指す。制御部24Cは、断面画像生成部24Bから、第1断面61に対応する断面画像46を取得する。また、制御部24Cは、3次元臓器画像42、第1断面61に対応する断面画像46、及び第1断面61を表示装置16に表示させるための情報を出力する。具体的には、制御部24Cは、3次元臓器画像42、第1断面61、及び第1断面61に対応する断面画像46を表示するためのGUI(Graphical User Interface)制御を行うことで、表示装置16に対して画面56を表示させる。
画面56には、第1断面61が挿入された状態の3次元臓器画像42、及び第1断面61に対応する断面画像46が表示される。第1断面61が挿入された状態の3次元臓器画像42とは、第1位置P1に第1断面61が挿し込まれた状態の3次元臓器画像42を指す。画面56において、3次元臓器画像42及び断面画像46は並んだ状態で表示される。図5に示す例では、3次元臓器画像42及び断面画像46が横並びの状態で表示されているが、これはあくまでも一例に過ぎず、3次元臓器画像42及び断面画像46は、縦並びの状態で表示されてもよい。また、表示装置16には、制御部24Cの制御下で、スライダ59が表示される。
一例として図6に示すように、画面56には、制御部24Cの制御下で、ポインタ58が表示される。スライダ59には、ツマミ59Aがスライド自在に設けられている。ユーザ18は、受付装置14(ここでは、一例として、マウス22)を介してポインタ58を操作することで、ツマミ位置変更指示を制御部24Cに付与する。ツマミ位置変更指示とは、スライダ59上でのツマミ59Aの位置を変更する指示を指す。ここで、ツマミ59Aのスライダ59上での位置は、第1断面61の中心軸CL上での位置に対応しており、ツマミ59Aを操作可能な距離は、中心軸CLの長さに対応している。制御部24Cは、ユーザ18によって受付装置14を介して付与されたツマミ位置変更指示に従って、画面56内のスライダ59上でのツマミ59Aの位置を変更する。
一例として図7に示すように、幾何特性変更部24Eは、受付装置14により受け付けられたツマミ位置変更指示を取得する。幾何特性変更部24Eは、ツマミ位置変更指示に従って、第1断面61の幾何特性としての第1位置P1(すなわち、中心軸CL上での第1断面61の位置)を第2位置P2に変更する。第1位置P1から第2位置P2に変更するとは、第1断面61を中心軸CLに沿って第1位置P1から第2位置P2にスライドさせることを意味する。
このように、第1断面61を中心軸CLに沿って第1位置P1から第2位置P2にスライドさせる場合、幾何特性変更部24Eは、スライダ59におけるツマミ59Aの移動量、及び変更前の断面である第1断面61の中心軸CL上の位置に基づいて、第2断面62の中心軸CL上の位置を算出する。ここで、第2断面62とは、第1断面62の変更後の断面(すなわち、第1断面62がツマミ位置変更指示に従って変更されることによって得られる断面)を指す。以下では、説明の便宜上、第1断面61と第2断面62とを区別して説明する必要がない場合、符号を付さずに単に「断面」とも称する。
幾何特性変更部24Eは、算出した第2断面62の中心軸CL上での幾何特性を特定し、特定した幾何特性を制御部24Cへ出力する。第2断面62の中心軸CL上での幾何特性とは、例えば、第2位置P2(すなわち、中心軸CL上での第2断面62の位置)、及び第2断面62の姿勢を指す。第2断面62の姿勢とは、例えば、第2断面62の中心軸CLに対する傾きを指す。
制御部24Cは、幾何特性変更部24Eから第2断面62の幾何特性を取得する。制御部24Cは、第2断面62の幾何特性を断面画像生成部24Bへ出力する。断面画像生成部24Bは、第2断面62に対応する断面画像46を生成する。第2断面62に対応する断面画像46とは、3次元臓器画像42を第2断面62で断面視した画像(すなわち、3次元臓器画像42を第2断面62で切断した場合の切断面を示す2次元画像)を指す。制御部24Cは、断面画像生成部24Bから、第2断面62に対応する断面画像46を取得する。また、制御部24Cは、3次元臓器画像42、第2断面62に対応する断面画像46、及び第2断面62を表示装置16に表示させるための情報を出力する。
具体的には、制御部24Cは、3次元臓器画像42、第2断面62、及び第2断面62に対応する断面画像46を表示するための表示制御を行うことで画面56の表示内容を更新する。すなわち、画面56において、第1断面61が挿入された状態の3次元臓器画像42が、第2断面62が挿入された状態の3次元臓器画像42に更新され、かつ、第1断面61に対応する断面画像46が、第2断面62に対応する断面画像46に更新される。第2断面62が挿入された状態の3次元臓器画像42とは、第2位置P2に第1断面61が挿し込まれた状態の3次元臓器画像42を指す。
断面の幾何特性を変更する場合、ユーザ18は、一例として図8に示すように、ポインタ58で断面を操作することが可能である。例えば、受付装置14によって受け付けられた指示に従ってポインタ58が操作されることによって断面がドラッグされるようにする。このように断面がドラッグされることにより、断面の中心軸CLに沿った位置が変更されたり、断面の姿勢が変更されたりする。断面の姿勢の変更は、例えば、断面の傾きの変更、中心軸CLを回転軸とした断面の回転、及び/又は、軸RAを回転軸とした断面の回転によって実現される。以下では、説明の便宜上、ツマミ位置変更指示、及び断面に対するドラッグによる指示を含む幾何特性を変更する指示を「変更指示」とも称する。
一例として図8の右上段に示すように、幾何特性変更部24Eは、受付装置14によって受け付けられた変更指示に従って、幾何特性として断面の中心軸CLに対する傾きを変更する。中心軸CLに対する傾きは、中心軸CLをロール軸と仮定した場合に想定されるピッチ軸PA周りの傾きであってもよいし、中心軸CLをロール軸と仮定した場合に想定されるヨー軸YA周りの傾きであってもよい。
また、幾何特性変更部24Eは、受付装置14によって受け付けられた変更指示に従って、中心軸CLを回転軸として断面を回転させる。この場合、一例として図8の右中段に示すように、幾何特性変更部24Eは、中心軸CLを回転軸として断面を回転させることによって幾何特性として断面の回転位置を変更する。
また、幾何特性変更部24Eは、受付装置14によって受け付けられた変更指示に従って、中心軸CL以外を回転軸として断面を回転させる。この場合、一例として図8の右下段に示すように、幾何特性変更部24Eは、中心軸CLと交差し且つ第1断面61の法線方向に沿った軸RAを回転軸として第1断面61を回転させることによって幾何特性として断面の回転位置が変更されてもよい。
次に、医療業務支援装置10の作用について図9を参照しながら説明する。
先ず、医療業務支援装置10のプロセッサ24によって実行される画像処理の流れの一例について図9を参照しながら説明する。図9に示す画像処理の流れは、本開示の技術に係る「画像処理方法」の一例である。
図9に示す画像処理では、先ず、ステップST10で、抽出部24Aは、ストレージ26から3次元画像38を取得する。ステップST10の処理が実行された後、画像処理は、ステップST12へ移行する。
ステップST12で、抽出部24Aは、ステップST10で取得した3次元画像38から3次元臓器画像42を抽出する。ステップST12の処理が実行された後、画像処理は、ステップST14へ移行する。
ステップST14で、仮想軸算出部24Dは、ステップST12で抽出された3次元臓器画像42の中心軸CLを算出する。ステップST14の処理が実行された後、画像処理は、ステップST16へ移行する。
ステップST16で、制御部24Cは、ステップST12で抽出された3次元臓器画像42を表示装置16に表示させる。ステップST16の処理が実行された後、画像処理は、ステップST18へ移行する。
ステップST18で、制御部24Cは、受付装置14を介して、中心軸CL上の第1断面61を取得する。ステップST18の処理が実行された後、画像処理はステップST20へ移行する。
ステップST20で、断面画像生成部24Bは、制御部24Cから取得した第1断面61の幾何特性に基づいて第1断面61に対応する断面画像46を生成する。ステップST20の処理が実行された後、画像処理は、ステップST22へ移行する。
ステップST22で、制御部24Cは、ステップST20で生成された断面画像46(すなわち、第1断面61に対応する断面画像46)を表示装置16に表示させる。ステップST22の処理が実行された後、画像処理は、ステップST24へ移行する。
ステップST24で、幾何特性変更部24Eは、受付装置14を介して、第1断面61の中心軸CL上の位置の変更指示(例えば、ツマミ位置変更指示、又は断面に対するドラッグによる指示)を取得する。ステップST24の処理が実行された後、画像処理は、ステップST26へ移行する。
ステップST26で、幾何特性変更部24Eは、ステップST24で取得した変更指示に基づいて、第1断面61の幾何特性を変更することで第2断面62を取得する。ステップST26の処理が実行された後、画像処理は、ステップST28へ移行する。
ステップST28で、断面画像生成部24Bは、ステップST26で取得した第2断面62に対応する断面画像46を生成する。ステップST28の処理が実行された後、画像処理は、ステップST30へ移行する。
ステップST30で、制御部24Cは、ステップST28で生成された第2断面62に対応する断面画像46を表示装置16に表示させる。ステップST30の処理が実行された後、画像処理は、ステップST32へ移行する。
ステップST32で、幾何特性変更部24Eは、画像処理が終了する条件(以下、「終了条件」と称する)を満足したか否かを判定する。終了条件の一例としては、画像処理を終了させる指示が受付装置14によって受け付けられた、との条件が挙げられる。ステップST32において、終了条件を満足していない場合は、判定が否定されて、画像処理はステップST24へ移行する。ステップST32において、終了条件を満足した場合は、判定が肯定されて、画像処理が終了する。
以上説明したように、本第1実施形態に係る医療業務支援装置10では、3次元臓器画像42が表示装置16に表示され、3次元臓器画像42における対象臓器の中心軸CLが算出される。また、中心軸CLと交差する第1断面61に対応する断面画像46を表示装置16に表示させる。そして、第1断面61の幾何特性を変更する指示に従って幾何特性が変更された第2断面62に対応する断面画像46が表示装置16に表示される。従って、3次元臓器画像42における中心軸CLを用いず、かつ断面の幾何特性を変更できない場合と比較して、対象臓器における断面を簡便に探索できる。
また、本第1実施形態に係る医療業務支援装置10では、断面の幾何特性として、中心軸CL上での第1断面61の位置、及び中心軸CLに対する第1断面61の傾きのうちの少なくとも1つが変更可能とされている。従って、中心軸CL上での第1断面61の位置、及び中心軸CLに対する第1断面61の傾きを変更できない場合と比較して、対象臓器における断面を簡便に探索できる。
また、本第1実施形態に係る医療業務支援装置10では、断面の幾何特性としての第1断面61の中心軸CL上の位置は、第1断面61の中心軸CLの軸方向の位置、中心軸CLを回転軸として第1断面61を回転させた場合の位置、及び中心軸CLに対して交差し且つ第1断面61の法線方向に沿った軸RAを回転軸として第1断面61を回転させた場合の位置のうちの少なくとも1つとされている。従って、第1断面61の中心軸CLの軸方向の位置を変更したり、中心軸CLを回転軸として回転したり、軸RAを回転軸として回転できない場合と比較して、対象臓器における断面を簡便に探索できる。
また、本第1実施形態に係る医療業務支援装置10では、対象臓器の仮想軸として中心軸CLを用いるので、仮想軸が中心軸CLでない場合と比較して、第1断面61及び第2断面62における対象臓器の表示される位置を断面中心近くにすることができる。
また、本第1実施形態に係る医療業務支援装置10では、対象部位として臓器を示す3次元臓器画像42に対して画像処理を行うので、臓器に対する断面を探索することが実現される。特に、医療業務支援装置10では、対象臓器として膵臓を示す3次元臓器画像42に対して画像処理を行うので、膵臓に対する断面を探索することが実現される。
[第2実施形態]
第2実施形態では、対象臓器における病変部位(例えば、腫瘍)に対応する領域が3次元臓器画像42において特定され、病変部位に対応する領域が、3次元臓器画像42及び断面画像46とともに表示される場合について説明する。
一例として図10に示すように、先ず、領域特定部24Fは、抽出部24Aから3次元臓器画像42を取得し、取得した3次元臓器画像42から病変部位に対応する関心領域71を特定する。具体的には、領域特定部24Fは、3次元臓器画像42に対して画像認識処理を行い、予め設定された条件を満たすボクセル値を有する領域を、関心領域71として抽出する。画像認識処理としては、特に限定されないが、例えば、AI方式及び/又はパターンマッチング方式等による画像認識処理を用いて抽出される方法が挙げられる。さらに、領域特定部24Fは、関心領域71から指定された距離だけ離れた範囲の領域を周辺領域72として特定する。具体的には、領域特定部24Fは、3次元臓器画像42から抽出した関心領域71から、予め設定された距離、又は受付装置14により受け付けられた距離だけ拡張した領域を周辺領域72として抽出する。領域特定部24Fは、特定した関心領域71及び周辺領域72の位置情報を制御部24Cへ出力する。関心領域71及び周辺領域72の位置情報は、3次元臓器画像42における関心領域71及び周辺領域72の範囲を示す情報(例えば、3次元座標)である。
制御部24Cは、領域特定部24Fから、関心領域71及び周辺領域72の位置情報を取得する。また、制御部24Cは、関心領域71及び周辺領域72の位置情報と、第1断面61の幾何特性を断面画像生成部24Bへ出力する。
断面画像生成部24Bは、第1断面61に対応する断面画像46を生成する。また、断面画像生成部24Bは、第1断面61に関心領域71が交差する場合、関心領域71も含めた断面画像46を生成する。
制御部24Cは、断面画像生成部24Bから取得した断面画像46を表示装置16に表示させるための情報を出力する。具体的には、制御部24Cは、表示装置16に対して表示制御を行うことで、3次元臓器画像42、第1断面61、第1断面61に対応する断面画像46、及び関心領域71並びに周辺領域72を画面56に表示する。
一例として図11に示すように、画面56には、第1断面61が挿入され、さらに関心領域71及び周辺領域72が表示された状態の3次元臓器画像42、及び第1断面61に対応する断面画像46が表示される。また、第1断面61と関心領域71及び周辺領域72が交差する場合、断面画像46には、関心領域71及び周辺領域72が表示される。
第1断面61と、関心領域71又は周辺領域72とが交差する場合、制御部24Cは、表示装置16にユーザ18に対するメッセージを表示させる。画面56には、通知メッセージ領域56Aが含まれている。通知メッセージ領域56Aには、通知メッセージ56A1が表示される。通知メッセージ56A1は、一例として図11に示すように、「断面に関心領域が含まれます」というメッセージである。ユーザ18は、受付装置14(ここでは、一例として、マウス22)を介してポインタ58を操作することで、スライダ59におけるツマミ59Aの位置を変更して、関心領域71又は周辺領域72と交差しない断面を探索する。表示装置16は、本開示の技術に係る「通知装置」の一例である。
以上説明したように、本第2実施形態に係る医療業務支援装置10では、病変部位を示す関心領域71が3次元臓器画像42内に特定されるので、病変部位との位置関係を把握した上で、断面を探索することができる。
また、本第2実施形態に係る医療業務支援装置10では、3次元臓器画像42内に関心領域71が特定され、さらに関心領域71から指定された範囲の領域が、周辺領域72として特定される。従って、周辺領域72が特定されない場合と比較して、関心領域71がユーザ18により視覚的に認識されやすくなる。
また、本第2実施形態に係る医療業務支援装置10では、周辺領域72が、第1断面61及び第2断面62のうちの少なくとも1つと交差する場合に、表示装置16が通知メッセージ56A1を表示することにより、ユーザ18に対して通知を行う。従って、周辺領域72が断面と交差しても通知されない場合と比較して、周辺領域72が断面と交差していることがユーザ18に認識されやすくなる。
なお、上記第2実施形態では、画像認識処理を用いて関心領域71を特定する形態例を挙げて説明したが、本開示の技術はこれに限定されない。例えば、3次元臓器画像42の識別子毎に関心領域71の形態に関する情報が対応付けられたテーブルを読み出して、関心領域71を特定してもよい。また、ユーザ18が関心領域71を特定する手段を有しても良い。具体的には、3次元画像38、3次元臓器画像42、及び複数の2次元スライス画像40のうちの少なくとも一つを表示装置16に表示するための情報を出力し、表示された画像に対して関心領域71の境界を指定する入力を受付装置14で受け付けても良い。
また、上記第2実施形態では、表示装置16が通知メッセージ56A1を表示して、ユーザ18に通知を行う形態例を挙げて説明したが、スピーカ(図示省略)を介した音声による通知等であってもよい。
また、上記第2実施形態では、関心領域71の周囲に周辺領域72を表示する形態例を挙げて説明したが、本開示の技術はこれに限定されない。例えば、関心領域71自体の色彩、明るさ等を変更することにより、関心領域71がユーザ18により視覚的に認識されやすくしてもよい。
[第3実施形態]
第3実施形態では、関心領域71が3次元臓器画像42において特定され、さらに、指定された断面において3次元臓器画像42が分割され、分割後の3次元臓器画像42の一方のみを表示する場合について説明する。
一例として図12に示すように、領域特定部24Fは、抽出部24Aから3次元臓器画像42を取得し、さらに3次元臓器画像42における関心領域71及び周辺領域72を特定する。また、領域特定部24Fは、受付装置14を介して受け付けられた変更指示に基づいて第2断面62の幾何特性を算出する。領域特定部24Fは、第2断面62の幾何特性に基づいて、3次元臓器画像42を第1領域42Aと第2領域42Bとに分割する。具体的には、領域特定部24Fは、3次元臓器画像42を第2断面62を挟んで別の領域である第1領域42Aと第2領域42Bとし、第1領域42A及び第2領域42Bに各々識別子を付与する。一例として図12に示すように、第1領域42Aは、関心領域71及び周辺領域72を含まない領域であり、第2領域42Bは、関心領域71及び周辺領域72を含む領域である。
制御部24Cは、領域特定部24Fから第1領域42A及び第2領域42Bの各々の
3次元臓器画像42を取得する。制御部24Cは、分割後の3次元臓器画像42の第1領域42A及び第2領域42Bうちのいずれを表示するか、ユーザ18が選択した結果を受付装置14を介して取得する。一例として、ユーザ18は、受付装置14(ここでは、一例として、マウス22)を介してポインタ58を操作することで、表示させる領域を指定する。制御部24Cは、第1領域42A及び第2領域42Bのうちユーザ18が指定した方のみを示す3次元臓器画像42を表示装置16に表示させるための情報を出力する。具体的には、制御部24Cは、表示装置16に対し表示制御を行うことで、第1領域42A並びに第2領域42Bのうちいずれか一方のみを示す3次元臓器画像42、第2断面62、及び第2断面62に対応する断面画像46を画面56に表示させる。
図12に示す例では、画面56に、関心領域71を含まない領域である第1領域42Aを示す3次元臓器画像42が表示された例が示されている。また、画面56には、関心領域71及び周辺領域72が表示される。すなわち、画面56に表示されていない関心領域71を含まない領域である第2領域42Bにおける関心領域71及び周辺領域72の位置が画面56に表示されている。
さらに、画面56には、体積表示領域56Bが含まれている。体積表示領域56Bには、算出結果56B1が表示される。算出結果56B1は、第1領域42Aの体積、及び分割前の対象臓器の体積に対する第1領域42Aの体積の割合を示す。具体的には、制御部24Cは、3次元臓器画像42に基づいて対象臓器全体の体積を算出する。また、制御部24Cは、第1領域42Aのみを表示する3次元臓器画像42に基づいて第1領域42Aの体積を算出する。さらに、制御部24Cは、第1領域42Aの体積及び対象臓器全体の体積に基づいて、第1領域42Aの体積の臓器全体に占める割合を算出する。
制御部24Cは、表示装置16に対し表示制御を行うことで、算出結果56B1を画面56内の体積表示領域56Bに表示する。図12に示す例では、算出結果56B1の一例として「体積:75ml(65%)」が示されている。
なお、上記第3実施形態では、第1領域42Aを表示させる形態例を挙げて説明したが、本開示の技術はこれに限定されない。第2領域42Bのみが表示されるようにされてもよく、ユーザ18の選択により画面56上で第1領域42A及び第2領域42Bの表示が切り替えられてもよい。
また、本第3実施形態では、第1領域42A及び第2領域42Bのうちユーザ18が指定した方が画面56に表示される形態例を挙げて説明したが、本開示の技術はこれに限定されない。例えば、制御部24Cは、領域特定部24Fから取得した関心領域71の位置情報に基づいて、第1領域42A及び第2領域42Bのうちのいずれかを表示装置16に表示させてもよい。具体的には、制御部24Cは、関心領域71の位置情報に基づいて、第1領域42A及び第2領域42Bのどちらに関心領域71が含まれるかを判定する。制御部24Cは、判定した結果に基づいて、関心領域71が含まれない方の領域のみを示す3次元臓器画像42を表示装置16に出力する。これにより、表示装置16は、画面56に3次元臓器画像42を表示する。
以上説明したように、本第3実施形態に係る医療業務支援装置10では、指定された第2断面62に沿って3次元臓器画像42が第1領域42Aと第2領域42Bとに分割されるので、第2断面62で臓器を切断した状態の表示が実現される。
また、本第3実施形態に係る医療業務支援装置10では、表示装置16に対して、第1領域42A及び第2領域42Bの何れか一方を表示させる。従って、本構成によれば、第2断面62で臓器が切断された後、第1領域42A及び第2領域42Bの何れか一方のみが残った状態の表示が実現される。
また、本第3実施形態に係る医療業務支援装置10では、3次元臓器画像42内に関心領域71が特定され、第1領域42A及び第2領域42Bのうちの関心領域71の含まれない領域を表示装置16に対して表示させる。従って、本構成によれば、第1領域42A及び第2領域42Bのうちの関心領域71の含まれない領域が残った状態の表示が実現される。
[第4実施形態]
第4実施形態では、受付装置14を介して受け付けられた変更指示について、3次元臓器画像42の示す対象臓器に関する情報に基づいて制限が加えられる場合について説明する。
一例として図13に示すように、幾何特性変更部24Eは、受付装置14を介して受け付けられた第1断面61の幾何特性の変更指示を取得する。幾何特性変更部24Eは、取得した変更指示に基づいて第1断面61の幾何特性を変更する。また、幾何特性変更部24Eは、ストレージ26から臓器に関する情報を取得する。臓器に関する情報は、一例として臓器に対する施術に関する情報である。より具体的には、臓器の種類に対応付けられた、施術において切除できない断面の幾何特性のテーブルである。例えば、臓器が膵臓である場合、腹腔鏡下で施術が行われることがある。腹腔鏡下手術では膵臓に対して手術器具を近付けることが困難な方向(例えば、膵臓の膵管の長手方向)に沿った断面では膵臓を切除することが困難である。従って、ユーザ18が切除面を探索する場合、切除が困難な断面に相当する幾何特性となる変更指示が制限される。
幾何特性変更部24Eは、ストレージ26から取得した臓器に関する情報と、受付装置14を介して受け付けられた変更指示に基づいて変更された断面の幾何特性とを比較することにより、変更後の断面が施術において切除が困難な断面であるか否かを判定する。幾何特性変更部24Eは、判定した結果を制御部24Cへ出力する。
制御部24Cは、幾何特性変更部24Eから取得した判定結果に基づいて断面の変更指示を制限する。具体的には、制御部24Cは、変更後の第2断面62の切除が困難な断面である場合、表示装置16に警告メッセージを通知させる。画面56には、警告メッセージ領域56Cが含まれている。警告メッセージ領域56Cには、警告メッセージ56C1が表示される。警告メッセージ56C1は、一例として図13に示すように、「指定断面では切除できません。」というメッセージである。ユーザ18は、受付装置14(ここでは、一例として、マウス22)を介してポインタ58を操作することで、切除可能な断面を探索する。
以上説明したように、本第4実施形態に係る医療業務支援装置10では、臓器に関する情報に基づいて第1断面61の幾何特性に対する指示が制限される。従って、本構成によれば、幾何特性に対する指示が制限されない場合と比較して、臓器に対する断面を簡便に探索することができる。
また、本第4実施形態に係る医療業務支援装置10では、臓器に関する情報には、臓器に対する施術に関する情報が含まれ、臓器に対する施術において切除可能な断面の幾何特性が受付装置14を介して受け付けられる。従って、本構成によれば、幾何特性に対する指示が制限されない場合と比較して、臓器に対する断面を簡便に探索することができる。
なお、上記第4実施形態では、断面の変更指示についてメッセージを表示することで入力を制限する形態例を挙げて説明したが、本開示の技術はこれに限定されない。例えば、断面の変更指示に基づいて変更される断面が、施術において切除困難な断面である場合には、ポインタ58及び/又はスライダ59のツマミ59Aの動きを制限したり、画面56上に表示される断面の色を変更したりする等の手段でユーザ18に対して通知する形態であってもよい。
[第5実施形態]
第5実施形態では、関心領域71又は周辺領域72が特定され、さらにそれらの位置及び関心領域71の含まれる領域の体積から第2断面62が算出される。
一例として図14に示すように、先ず、領域特定部24Fは、3次元臓器画像42における関心領域71及び周辺領域72を特定する。幾何特性変更部24Eは、領域特定部24Fにより特定された関心領域71又は周辺領域72の位置情報を取得する。幾何特性変更部24Eは、関心領域71又は周辺領域72の位置情報に基づいて、関心領域71又は周辺領域72と交差しない第2断面62を設定する。具体的には、幾何特性変更部24Eは、断面で分割された領域のうち、関心領域71又は周辺領域72の含まれない方の領域の体積を最大化させる第2断面62の幾何特性を算出する。特に、幾何特性変更部24Eは、関心領域71が含まれる領域の体積よりも関心領域71が含まれない領域の体積が大きくなる幾何特性を算出する。幾何特性変更部24Eは、算出された第2断面62の幾何特性を制御部24Cに出力する。
制御部24Cは、取得した第2断面62の幾何特性を断面画像生成部24Bへ出力する。断面画像生成部24Bは、幾何特性に基づいて断面画像46を生成し、制御部24Cへ出力する。制御部24Cは、表示装置16に対して3次元臓器画像42及び断面画像46を表示させる。具体的には、制御部24Cは、表示装置16に対し表示制御を行うことで、3次元臓器画像42、第2断面62、第2断面62に対応する断面画像46、並びに関心領域71及び周辺領域72を画面56に表示させる。
一例として図14に示すように、画面56には、第2断面62が挿入され、かつ、関心領域71及び周辺領域72を含んだ3次元臓器画像42と、第2断面62に対応する断面画像46とが表示される。
なお、幾何特性変更部24Eは、関心領域71又は周辺領域72の含まれない領域の体積に基づいて、第2断面62の幾何特性を算出する形態例を挙げて説明したが、本開示の技術はこれに限定されない。幾何特性変更部24Eは、関心領域71又は周辺領域72の含まれる領域の体積に基づいて、第2断面62の幾何特性を算出してもよい。この場合、例えば、幾何特性変更部24Eは、関心領域71又は周辺領域72の含まれる領域の体積を最小化させる第2断面62の幾何特性を算出する。
以上説明したように、本第5実施形態に係る医療業務支援装置10では、幾何特性変更部24Eは、3次元臓器画像42内に関心領域71を特定する。さらに。幾何特性変更部24Eは、関心領域71の位置と関心領域71の含まれる又は含まれない領域の体積に基づいて、第2断面62の幾何特性を算出する。従って、関心領域71の位置と、関心領域71が含まれない領域の体積又は関心領域71が含まれている領域の体積とが考慮されない場合と比較して、より適した断面を設定することができる。
また、本第5実施形態に係る医療業務支援装置10では、幾何特性変更部24Eは、関心領域71が含まれない領域の体積を最大化させる第2断面62の幾何特性を算出する。従って、関心領域71が含まれない領域の体積の最大化を考慮しない場合に比べ、ユーザ18に対して、術後に残存する対象部位の体積を視覚的に精度良く把握させることができる。
[変形例]
上記実施形態では、表示装置16に3次元臓器画像42及び断面画像46を表示させる形態例を挙げて説明したが、本開示の技術はこれに限定されない。例えば、対象臓器の周辺の断面画像を合わせて表示させてもよい。
この場合、例えば、制御部24Cは、幾何特性変更部24Eから第2断面62の幾何特性を取得する。制御部24Cは、取得した幾何特性を断面画像生成部24Bへ出力する。断面画像生成部24Bは、取得した幾何特性に基づいて3次元臓器画像42における横断面画像47、矢状面画像48、及び冠状面画像49を生成する。横断面画像47は、第2位置P2を通る横断面視(すなわち、人体を示す3次元画像を輪切りにした断面視)の画像である。矢状面画像48は、第2位置P2を通る矢状面視(すなわち、人体を示す3次元画像の前後方向に沿った縦断面視)の画像である。冠状面画像49は、第2位置P2を通る冠状面視(すなわち、人体を示す3次元画像の左右方向に沿った縦断面視)の画像である。制御部24Cは、表示装置16に対して表示制御を行うことで、3次元臓器画像42、第2断面62、第2断面62に対応する断面画像46、並びに横断面画像47、矢状面画像48、及び冠状面画像49を画面56に表示させる。
一例として図15に示すように、画面56には、横断面画像47、矢状面画像48、及び冠状面画像49が並んだ状態で表示される。横断面画像47、矢状面画像48、及び冠状面画像49には、3次元臓器画像42における第2断面62の第2位置P2に対応する画像内位置に十字のカーソル80が表示される。なお、図15に示す例では、横断面画像47、矢状面画像48、及び冠状面画像49が横並びの状態で表示されているが、これはあくまでも一例に過ぎない。横断面画像47、矢状面画像48、及び冠状面画像49は、縦並びの状態で表示されてもよい。また、横断面画像47、矢状面画像48、及び冠状面画像49が、3次元臓器画像42及び断面画像46に対して画面56の上方に表示されているが、これはあくまでも一例にすぎない。横断面画像47、矢状面画像48、及び冠状面画像49は、3次元臓器画像42及び断面画像46に対して画面56の下方に表示されてもよい。
また、上記実施形態では、一例として図8に示すように中心軸CLと第1断面61との交点を回転中心として第1断面61を回転させる例として、中心軸CLを回転軸として回転させる場合と、軸RAを回転軸として回転させる形態例を挙げて説明したが、本開示の技術はこれに限定されない。例えば、回転軸は、ユーザ18によって任意に設定されるようにしても良い。
また、上記実施形態では、制御部24Cが、直接的に表示装置16を制御することにより3次元臓器画像42及び断面画像46を表示装置16に表示させる形態例を挙げて説明したが、本開示の技術はこれに限定されない。例えば、制御部24Cが、パーソナル・コンピュータ及び/又はサーバ等を介して表示装置16及び/又は表示装置16以外の画面に3次元臓器画像42及び/又は断面画像46を表示させるようにしてもよい。また、3次元臓器画像42と断面画像46が別々の画面に表示されるようにしてもよい。
また、上記実施形態では、仮想軸として3次元臓器画像42から算出した中心軸CLを用いて断面の探索を行う形態例を挙げて説明したが、本開示の技術はこれに限定されない。例えば、3次元臓器画像42から算出された中心軸CLをユーザ18が3次元臓器画像42内の位置(例えば、中心から変位した位置)に移動させてもよいし、3次元臓器画像42に対してユーザ18が指定した軸を用いてもよい。
また、上記実施形態では、第1断面61に対する変更指示が受付装置14により受け付けられ、第1断面61の幾何特性が変更されて得られる第2断面62に対応する断面画像46が画面56に表示される形態例を挙げて説明したが、本開示の技術はこれに限定されない。例えば、第2断面62に対する変更指示が受付装置14を介して、さらに受け付けられ、第2断面62の幾何特性が変更されて得られる断面に対応する断面画像46が、画面56に表示されてもよい。すなわち、幾何特性が変更された後の断面である第2断面62が、新たに幾何特性が変更される第1断面61として取り扱われてもよい。
また、上記実施形態では、医療業務支援装置10に含まれる画像処理装置12のプロセッサ24によって画像処理が行われる形態例を挙げて説明したが、本開示の技術はこれに限定されず、画像処理を行うデバイスは、医療業務支援装置10の外部に設けられていてもよい。
この場合、一例として図16に示すように、医療業務支援システム100を用いればよい。医療業務支援システム100は、情報処理装置101と外部通信装置102を備えている。情報処理装置101は、上記実施形態で説明した医療業務支援装置10に含まれる画像処理装置12のストレージ26から画像処理プログラム36が除かれた装置である。外部通信装置102は、例えば、サーバである。サーバは、例えば、メインフレームによって実現される。ここでは、メインフレームを例示しているが、これは、あくまでも一例に過ぎず、サーバは、クラウドコンピューティングによって実現されてもよいし、フォグコンピューティング、エッジコンピューティング、又はグリッドコンピューティング等のネットワークコンピューティングによって実現されてもよい。ここでは、外部通信装置102の一例として、サーバを挙げているが、これは、あくまでも一例に過ぎず、サーバに代えて、少なくとも1台のパーソナル・コンピュータ等を外部通信装置102として用いてもよい。
外部通信装置102は、プロセッサ104、ストレージ106、RAM108、及び通信I/F110を備えており、プロセッサ104、ストレージ106、RAM108、及び通信I/F110は、バス112で接続されている。通信I/F110は、ネットワーク114を介して情報処理装置101に接続されている。ネットワーク114は、例えば、インターネットである。なお、ネットワーク114は、インターネットに限らず、WAN、及び/又は、イントラネット等のLANであってもよい。
ストレージ106には、画像処理プログラム36が記憶されている。プロセッサ104は、RAM108上で画像処理プログラム36を実行する。プロセッサ104は、RAM108上で実行する画像処理プログラム36に従って、上述した画像処理を行う。
情報処理装置101は、外部通信装置102に対して画像処理の実行を要求する要求信号を送信する。外部通信装置102の通信I/F110は、ネットワーク114を介して要求信号を受信する。プロセッサ104は、画像処理プログラム36に従って画像処理を行い、処理結果を通信I/F110を介して情報処理装置101に送信する。情報処理装置101は、外部通信装置102から送信された処理結果(例えば、幾何特性変更部24Eによる処理結果)を通信I/F30(図2参照)で受信し、受信した処理結果を表示装置16等の各種装置に対して出力する。
なお、図16に示す例において、外部通信装置102は、本開示の技術に係る「画像処理装置」の一例であり、プロセッサ104は、本開示の技術に係る「プロセッサ」の一例である。
また、画像処理は、情報処理装置101及び外部通信装置102を含む複数の装置によって分散されて行われるようにしてもよい。また、上記実施形態では、医療業務支援装置10のストレージ26に3次元画像38が記憶されているとしたが、外部通信装置102のストレージ106に記憶されており、画像処理を行う前に、外部通信装置102からネットワークを介して取得する様にしても良い。
また、上記実施形態では、ストレージ26に画像処理プログラム36が記憶されている形態例を挙げて説明したが、本開示の技術はこれに限定されない。例えば、画像処理プログラム36がSSD又はUSBメモリなどの記憶媒体(図示省略)に記憶されていてもよい。記憶媒体は、可搬型のコンピュータ読取可能な非一時的記憶媒体である。記憶媒体に記憶されている画像処理プログラム36は、医療業務支援装置10にインストールされる。プロセッサ24は、画像処理プログラム36に従って画像処理を実行する。
また、ネットワークを介して医療業務支援装置10に接続される他のコンピュータ又はサーバ等の記憶装置に画像処理プログラム36を記憶させておき、医療業務支援装置10の要求に応じて画像処理プログラム36がダウンロードされ、医療業務支援装置10にインストールされるようにしてもよい。つまり、本実施形態で説明したプログラム(プログラム製品)は、記録媒体で提供するほか、外部のコンピュータから配信する形態であっても良い。
医療業務支援装置10に接続される他のコンピュータ又はサーバ等の記憶装置、又はストレージ26に画像処理プログラム36の全てを記憶させておく必要はなく、画像処理プログラム36の一部を記憶させておいてもよい。なお、記憶媒体、医療業務支援装置10に接続される他のコンピュータ又はサーバ等の記憶装置、及びその他の外部ストレージは、プロセッサ24に直接的又は間接的に接続されて用いられるメモリとして位置付けられる。
また、上記実施形態では、画像処理装置12のプロセッサ24、ストレージ26、RAM28、及び通信I/F30がコンピュータとして例示されているが、本開示の技術はこれに限定されず、コンピュータに代えて、ASIC(Application Specific Integrated Circuit)、FPGA(Field-Programmable Gate Array)、及び/又はPLD(Programmable Logic Device)を含むデバイスを適用してもよい。また、コンピュータに代えて、ハードウェア構成及びソフトウェア構成の組み合わせを用いてもよい。
上記実施形態で説明した第1出力対象選択処理を実行するハードウェア資源としては、次に示す各種のプロセッサを用いることができる。プロセッサとしては、例えば、ソフトウェア、すなわち、プログラムを実行することで、画像処理を実行するハードウェア資源として機能する汎用的なプロセッサであるCPUが挙げられる。また、プロセッサとしては、例えば、FPGA、PLD、又はASICなどの特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路が挙げられる。何れのプロセッサにもメモリが内蔵又は接続されており、何れのプロセッサもメモリを使用することで画像処理を実行する。
画像処理を実行するハードウェア資源は、これらの各種のプロセッサのうちの1つで構成されてもよいし、同種または異種の2つ以上のプロセッサの組み合わせ(例えば、複数のFPGAの組み合わせ、又はCPUとFPGAとの組み合わせ)で構成されてもよい。また、画像処理を実行するハードウェア資源は1つのプロセッサであってもよい。
1つのプロセッサで構成する例としては、第1に、1つ以上のCPUとソフトウェアの組み合わせで1つのプロセッサを構成し、このプロセッサが、画像処理を実行するハードウェア資源として機能する形態がある。第2に、SoC(System-on-a-chip)などに代表されるように、画像処理を実行する複数のハードウェア資源を含むシステム全体の機能を1つのIC(Integrated Circuit)チップで実現するプロセッサを使用する形態がある。このように、画像処理は、ハードウェア資源として、上記各種のプロセッサの1つ以上を用いて実現される。
これらの各種のプロセッサのハードウェア的な構造としては、より具体的には、半導体素子などの回路素子を組み合わせた電気回路を用いることができる。また、上記の画像処理はあくまでも一例である。従って、主旨を逸脱しない範囲内において不要なステップを削除したり、新たなステップを追加したり、処理順序を入れ替えたりしてもよいことは言うまでもない。
以上に示した記載内容及び図示内容は、本開示の技術に係る部分についての詳細な説明であり、本開示の技術の一例に過ぎない。例えば、上記の構成、機能、作用、及び効果に関する説明は、本開示の技術に係る部分の構成、機能、作用、及び効果の一例に関する説明である。よって、本開示の技術の主旨を逸脱しない範囲内において、以上に示した記載内容及び図示内容に対して、不要な部分を削除したり、新たな要素を追加したり、置き換えたりしてもよいことは言うまでもない。また、錯綜を回避し、本開示の技術に係る部分の理解を容易にするために、以上に示した記載内容及び図示内容では、本開示の技術の実施を可能にする上で特に説明を要しない技術常識等に関する説明は省略されている。
本明細書において、「A及び/又はB」は、「A及びBのうちの少なくとも1つ」と同義である。つまり、「A及び/又はB」は、Aだけであってもよいし、Bだけであってもよいし、A及びBの組み合わせであってもよい、という意味である。また、本明細書において、3つ以上の事柄を「及び/又は」で結び付けて表現する場合も、「A及び/又はB」と同様の考え方が適用される。
本明細書に記載された全ての文献、特許出願及び技術規格は、個々の文献、特許出願及び技術規格が参照により取り込まれることが具体的かつ個々に記された場合と同程度に、本明細書中に参照により取り込まれる。
10 医療業務支援装置
12 画像処理装置
14 受付装置
16 表示装置
18 ユーザ
20 キーボード
22 マウス
24 プロセッサ
24A 抽出部
24B 断面画像生成部
24C 制御部
24D 仮想軸算出部
24E 幾何特性変更部
24F 領域特定部
26 ストレージ
28 RAM
34 バス
36 画像処理プログラム
38 3次元画像
40 2次元スライス画像
42 3次元臓器画像
42A 第1領域
42B 第2領域
46 断面画像
47 横断面画像
48 矢視断面画像
49 冠状断面画像
56 画面
56A 通知メッセージ領域
56A1 通知メッセージ
56B 警告メッセージ領域
56B1 警告メッセージ
58 ポインタ
59 スライダ
59A ツマミ
61 第1断面
62 第2断面
71 関心領域
72 周辺領域
80 カーソル
100 医療業務支援システム
101 情報処理装置
102 外部通信装置
104 プロセッサ
106 ストレージ
112 バス
114 ネットワーク
110 通信I/F
30 通信I/F
32 外部I/F
CL 中心軸
RA 軸
P1 第1位置
P2 第2位置

Claims (18)

  1. プロセッサを備え、
    前記プロセッサは、
    対象部位を示す3次元画像である3次元対象部位画像を表示装置に表示させるための情報を出力し、
    前記3次元対象部位画像における前記対象部位の仮想軸を算出し、
    前記仮想軸上の第1位置と交差する第1断面に対応する2次元画像を前記表示装置に表示させるための情報を出力し、
    前記第1断面の幾何特性を変更する指示に従って前記幾何特性を変更し、
    前記第1断面の前記幾何特性が変更されることで得られた第2断面に対応する2次元画像を前記表示装置に表示させるための情報を出力する
    画像処理装置。
  2. 前記幾何特性は、前記第1断面の前記仮想軸上での位置、及び前記第1断面の前記仮想軸に対する傾きのうちの少なくとも1つである
    請求項1に記載の画像処理装置。
  3. 前記第2断面の位置は、前記第1断面を前記仮想軸方向にスライドさせた位置、前記仮想軸を回転軸として前記第1断面を回転させた位置、及び前記仮想軸と交差し且つ前記第1断面の法線方向に沿った軸を回転軸として前記第1断面を回転させた位置のうちの少なくとも1つである、
    請求項1又は請求項2に記載の画像処理装置。
  4. 前記プロセッサは、指定された前記第2断面に沿って前記3次元対象部位画像を第1領域と第2領域とに分割する
    請求項1から請求項3の何れか一項に記載の画像処理装置。
  5. 前記プロセッサは、前記第1領域及び前記第2領域の何れか一方を前記表示装置に対して表示させるための情報を出力する
    請求項4に記載の画像処理装置。
  6. 前記プロセッサは、
    前記3次元対象部位画像内に関心領域を特定した情報に基づいて、前記第1領域及び前記第2領域のうちの前記関心領域が含まれていない領域を前記表示装置に対して表示させるための情報を出力する
    請求項5に記載の画像処理装置。
  7. 前記プロセッサは、
    前記3次元対象部位画像内に関心領域を特定し、
    前記3次元対象部位画像における前記関心領域の位置と、前記関心領域が含まれていない領域の体積又は前記関心領域が含まれている領域の体積とに基づいて前記幾何特性を算出する
    請求項1から請求項6の何れか一項に記載の画像処理装置。
  8. 前記プロセッサは、
    前記3次元対象部位画像のうちの表示対象とされる領域のうち、前記関心領域が含まれていない領域の体積を最大化させる幾何特性を算出する
    請求項7に記載の画像処理装置。
  9. 前記仮想軸は、前記対象部位の中心軸である
    請求項1から請求項8の何れか一項に記載の画像処理装置。
  10. 前記プロセッサは、
    前記3次元対象部位画像内に関心領域を特定し、
    前記関心領域から指定された範囲の領域を前記関心領域の周辺領域として表示するための情報を出力する
    請求項1から請求項9の何れか一項に記載の画像処理装置。
  11. 前記プロセッサは、前記周辺領域が前記第1断面及び前記第2断面のうちの少なくとも一方と交差する場合に、通知装置に通知させる
    請求項10に記載の画像処理装置。
  12. 前記対象部位は、指定された臓器であり、
    前記3次元対象部位画像は、前記臓器を示す3次元臓器画像である
    請求項1から請求項11の何れか一項に記載の画像処理装置。
  13. 前記プロセッサは、
    前記臓器に関する情報に基づいて前記第1断面の前記幾何特性に対する前記指示を制限する
    請求項12に記載の画像処理装置。
  14. 前記臓器に関する情報には、前記臓器に対する施術に関する情報が含まれる
    請求項13に記載の画像処理装置。
  15. 前記プロセッサは、前記3次元臓器画像内に関心領域を特定し、
    前記関心領域は、前記臓器における病変部位を示す領域である
    請求項12から請求項14の何れか一項に記載の画像処理装置。
  16. 前記臓器は、膵臓である
    請求項12から請求項15の何れか一項に記載の画像処理装置。
  17. 対象部位を示す3次元画像である3次元対象部位画像を表示装置に表示させるための情報を出力すること、
    前記3次元対象部位画像における前記対象部位の仮想軸を算出すること、
    前記仮想軸上の第1位置と交差する第1断面に対応する2次元画像を前記表示装置に表示させるための情報を出力すること、
    前記第1断面の幾何特性を変更する指示に従って前記幾何特性を変更すること、及び、
    前記第1断面の前記幾何特性が変更されることで得られた第2断面に対応する2次元画像を前記表示装置に表示させるための情報を出力すること
    を含む画像処理方法。
  18. コンピュータに、
    対象部位を示す3次元画像である3次元対象部位画像を表示装置に表示させるための情報を出力すること、
    前記3次元対象部位画像における前記対象部位の仮想軸を算出すること、
    前記仮想軸上の第1位置と交差する第1断面に対応する2次元画像を前記表示装置に表示させるための情報を出力すること、
    前記第1断面の幾何特性を変更する指示に従って前記幾何特性を変更すること、及び、
    前記第1断面の前記幾何特性が変更されることで得られた第2断面に対応する2次元画像を前記表示装置に表示させるための情報を出力すること
    を含む処理を実行させるプログラム。
JP2021161790A 2021-09-30 2021-09-30 画像処理装置、画像処理方法、及びプログラム Pending JP2023051235A (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2021161790A JP2023051235A (ja) 2021-09-30 2021-09-30 画像処理装置、画像処理方法、及びプログラム
US17/953,340 US20230099565A1 (en) 2021-09-30 2022-09-27 Image processing device, image processing method, and program
DE102022124944.1A DE102022124944A1 (de) 2021-09-30 2022-09-28 Bildverarbeitungsvorrichtung, bildverarbeitungsverfahren und programm

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2021161790A JP2023051235A (ja) 2021-09-30 2021-09-30 画像処理装置、画像処理方法、及びプログラム

Publications (1)

Publication Number Publication Date
JP2023051235A true JP2023051235A (ja) 2023-04-11

Family

ID=85477240

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021161790A Pending JP2023051235A (ja) 2021-09-30 2021-09-30 画像処理装置、画像処理方法、及びプログラム

Country Status (3)

Country Link
US (1) US20230099565A1 (ja)
JP (1) JP2023051235A (ja)
DE (1) DE102022124944A1 (ja)

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4762160B2 (ja) 2007-01-16 2011-08-31 株式会社日立メディコ 手術支援システム
JP5502578B2 (ja) 2010-04-21 2014-05-28 株式会社東芝 医用情報提示装置
EP2819599B1 (en) 2012-02-29 2018-05-23 Procept Biorobotics Corporation Automated image-guided tissue resection and treatment

Also Published As

Publication number Publication date
US20230099565A1 (en) 2023-03-30
DE102022124944A1 (de) 2023-03-30

Similar Documents

Publication Publication Date Title
US11547499B2 (en) Dynamic and interactive navigation in a surgical environment
US10524823B2 (en) Surgery assistance apparatus, method and program
JP4541434B2 (ja) 画像処理装置及び画像処理プログラム
US10380735B2 (en) Image data segmentation
US20070237369A1 (en) Method for displaying a number of images as well as an imaging system for executing the method
US9649167B2 (en) Pattern and surgery support set, apparatus, method and program
JP2007135843A (ja) 画像処理装置、画像処理プログラム、及び画像処理方法
JP6886448B2 (ja) アブレーションゾーンのシミュレーションおよび可視化のためのデバイス、システムおよび方法
US8907949B2 (en) Image display apparatus, method and program
CN110164557B (zh) 隐式表面算法用于仿真模拟软组织手术路径规划的方法
CN113645896A (zh) 手术计划、手术导航和成像用***
US20170287211A1 (en) Medical image processing apparatus, medical image processing method, and medical image processing system
CN108805876B (zh) 使用生物力学模型的磁共振和超声图像的可形变配准的方法和***
US20230394672A1 (en) Medical image processing apparatus, medical image processing method, and program
Debarba et al. Anatomic hepatectomy planning through mobile display visualization and interaction
JP6066197B2 (ja) 手術支援装置、方法およびプログラム
Tan et al. Computer assisted system for precise lung surgery based on medical image computing and mixed reality
JP2023051235A (ja) 画像処理装置、画像処理方法、及びプログラム
US11071589B2 (en) Method and system for interactive laparoscopic ultrasound guided ablation planning and surgical procedure simulation
JP2012085833A (ja) 3次元医用画像データの画像処理システム、その画像処理方法及びプログラム
US20230115322A1 (en) Incision simulation device, incision simulation method, and program
US10438368B2 (en) Apparatus, method, and system for calculating diameters of three-dimensional medical imaging subject
US20240112395A1 (en) Image processing device, image processing method, and program
JP6702751B2 (ja) 医用画像表示装置、医用画像表示システム及びプログラム
US20220313360A1 (en) Incision simulation device, incision simulation method, and program

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20240606