JP2023056132A - 医用画像処理装置、方法及びプログラム - Google Patents

医用画像処理装置、方法及びプログラム Download PDF

Info

Publication number
JP2023056132A
JP2023056132A JP2021165264A JP2021165264A JP2023056132A JP 2023056132 A JP2023056132 A JP 2023056132A JP 2021165264 A JP2021165264 A JP 2021165264A JP 2021165264 A JP2021165264 A JP 2021165264A JP 2023056132 A JP2023056132 A JP 2023056132A
Authority
JP
Japan
Prior art keywords
display
cross
section
leaflets
displayed
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2021165264A
Other languages
English (en)
Inventor
岳人 青山
Takehito Aoyama
卓弥 坂口
Takuya Sakaguchi
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Medical Systems Corp
Original Assignee
Canon Medical Systems Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Medical Systems Corp filed Critical Canon Medical Systems Corp
Priority to JP2021165264A priority Critical patent/JP2023056132A/ja
Publication of JP2023056132A publication Critical patent/JP2023056132A/ja
Pending legal-status Critical Current

Links

Images

Landscapes

  • Apparatus For Radiation Diagnosis (AREA)
  • Image Generation (AREA)
  • Image Analysis (AREA)

Abstract

【課題】表示された弁葉の識別を容易にすること。【解決手段】実施形態に係る医用画像処理装置は、取得部と、抽出部と、特定部と、表示制御部と、受付部とを備える。取得部は、少なくとも心臓弁を含むボリュームデータを取得する。抽出部は、ボリュームデータに含まれる心臓弁に対応する領域を抽出する。特定部は、心臓弁に含まれる複数の弁葉を各々特定する。表示制御部は、複数の弁葉各々を異なる表示形態で表示させる。受付部は、心臓弁に関する表示断面の設定を受け付ける。表示制御部は、表示断面に関する情報を、複数の弁葉の内受付部にて設定された表示断面の位置に対応する弁葉の表示形態と対応付けた表示形態とする。【選択図】図1

Description

本明細書及び図面に開示の実施形態は、医用画像処理装置、方法及びプログラムに関する。
従来、心臓弁に対する治療又は治療計画の際に、心臓弁又は心臓に関する様々な形態情報の確認が行われている。心臓弁は、通常2~3つの弁葉を有しており、夫々の形態情報を単一で又は比較して確認する必要がある。このような心臓弁の形態情報を確認する技術として、弁形状に基づいて任意の断面を特定して表示する技術が知られている。
特開2019-202142号公報
本明細書及び図面に開示の実施形態が解決しようとする課題の一つは、表示された弁葉の識別を容易にすることである。ただし、本明細書及び図面に開示の実施形態により解決しようとする課題は上記課題に限られない。後述する実施形態に示す各構成による各効果に対応する課題を他の課題として位置付けることもできる。
実施形態に係る医用画像処理装置は、取得部と、抽出部と、特定部と、表示制御部と、受付部とを備える。取得部は、少なくとも心臓弁を含むボリュームデータを取得する。抽出部は、前記ボリュームデータに含まれる前記心臓弁に対応する領域を抽出する。特定部は、前記心臓弁に含まれる複数の弁葉を各々特定する。表示制御部は、前記複数の弁葉各々を異なる表示形態で表示させる。受付部は、前記心臓弁に関する表示断面の設定を受け付ける。前記表示制御部は、前記表示断面に関する情報を、前記複数の弁葉の内前記受付部にて設定された前記表示断面の位置に対応する弁葉の表示形態と対応付けた表示形態とする。
図1は、第1の実施形態に係る医用画像処理装置の構成例を示す図である。 図2は、第1の実施形態に係る医用画像処理装置の処理回路が有する各処理機能によって行われる処理の処理手順を示すフローチャートである。 図3Aは、第1の実施形態に係る表示画面の一例を示す図である。 図3Bは、第1の実施形態に係る表示画面の一例を示す図である。 図4Aは、第1の実施形態に係るリファレンスラインの一例を示す図である。 図4Bは、第1の実施形態に係るリファレンスラインに対する操作の一例を説明するための図である。 図4Cは、第1の実施形態に係るリファレンスラインに対する操作の一例を説明するための図である。 図4Dは、第1の実施形態に係るリファレンスラインに対する操作の一例を説明するための図である。 図4Eは、第1の実施形態に係るリファレンスラインに対する操作の一例を説明するための図である。 図5は、第1の実施形態に係る画像の重ね合せ表示の一例を示す図である。 図6Aは、第1の実施形態に係る表示条件の設定画面の一例を示す図である。 図6Bは、第1の実施形態に係る表示条件の設定画面の一例を示す図である。 図7Aは、第1の実施形態に係るグラフの一例を示す図である。 図7Bは、第1の実施形態に係るグラフの一例を示す図である。 図7Cは、第1の実施形態に係るグラフの一例を示す図である。 図8は、第1の実施形態に係る初期断面位置の特定処理の一例を説明するための図である。 図9は、第1の実施形態に係る弁葉の判定処理の一例を説明するための図である。 図10Aは、第1の実施形態に係る判定対象の範囲の決定処理の一例を説明するための図である。 図10Bは、第1の実施形態に係る判定対象の範囲の決定処理の一例を説明するための図である。 図11Aは、第1の実施形態に係る第1の実施形態に係る表示処理の一例を示す図である。 図11Bは、第1の実施形態に係る第1の実施形態に係る表示処理の一例を示す図である。 図11Cは、第1の実施形態に係る第1の実施形態に係る表示処理の一例を示す図である。 図11Dは、第1の実施形態に係る第1の実施形態に係る表示処理の一例を示す図である。 図12は、第1の実施形態に係る断面画像の表示処理の一例を説明するための図である。 図13Aは、変形例1に係るボリュームデータの一例を示す図である。 図13Bは、変形例1に係るボリュームデータの一例を示す図である。 図14は、変形例1に係る石灰化の特定処理の一例を説明するための図である。 図15Aは、変形例2に係るリファレンスラインの移動の一例を示す図である。 図15Bは、変形例2に係るリファレンスラインの移動の一例を示す図である。 図16Aは、変形例3に係る表示領域の変更の一例を示す図である。 図16Bは、変形例3に係る表示領域の変更の一例を示す図である。
以下、図面を参照しながら、医用画像処理装置、方法及びプログラムの実施形態について詳細に説明する。なお、本願に係る医用画像処理装置、方法及びプログラムは、以下に示す実施形態によって限定されるものではない。また、以下の説明において、同様の構成要素には共通の符号を付与するとともに、重複する説明を省略する。
(第1の実施形態)
図1は、第1の実施形態に係る医用画像処理装置の構成例を示す図である。例えば、図1に示すように、本実施形態に係る医用画像処理装置3は、医用画像診断装置1及び医用画像保管装置2と、ネットワークを介して通信可能に接続されている。なお、図1に示すネットワークには、その他種々の装置及びシステムが接続される場合でもよい。
医用画像診断装置1は、被検体を撮像して医用画像を生成する。そして、医用画像診断装置1は、生成した医用画像をネットワーク上の各種装置に送信する。例えば、医用画像診断装置1は、X線診断装置、X線CT(Computed Tomography)装置、MRI(Magnetic Resonance Imaging)装置、超音波診断装置、SPECT(Single Photon Emission Computed Tomography)装置、PET(Positron Emission computed Tomography)装置等である。
医用画像保管装置2は、被検体に関する各種の医用画像を保管する。具体的には、医用画像保管装置2は、ネットワークを介して医用画像診断装置1から医用画像を受信し、当該医用画像を自装置内の記憶回路に記憶させて保管する。例えば、医用画像保管装置2は、サーバやワークステーション等のコンピュータ機器によって実現される。また、例えば、医用画像保管装置2は、PACS(Picture Archiving and Communication System)等によって実現され、DICOM(Digital Imaging and Communications in Medicine)に準拠した形式で医用画像を保管する。
医用画像処理装置3は、被検体に関する各種の情報処理を行う。具体的には、医用画像処理装置3は、ネットワークを介して医用画像診断装置1又は医用画像保管装置2から医用画像を受信し、当該医用画像を用いて各種の情報処理を行う。例えば、医用画像処理装置3は、サーバやワークステーション等のコンピュータ機器によって実現される。
例えば、医用画像処理装置3は、通信インターフェース31と、入力インターフェース32と、ディスプレイ33と、記憶回路34と、処理回路35とを備える。
通信インターフェース31は、医用画像処理装置3と、ネットワークを介して接続された他の装置との間で送受信される各種データの伝送及び通信を制御する。具体的には、通信インターフェース31は、処理回路35に接続されており、他の装置から受信したデータを処理回路35に送信、又は、処理回路35から送信されたデータを他の装置に送信する。例えば、通信インターフェース31は、ネットワークカードやネットワークアダプタ、NIC(Network Interface Controller)等によって実現される。
入力インターフェース32は、利用者から各種指示及び各種情報の入力操作を受け付ける。具体的には、入力インターフェース32は、処理回路35に接続されており、利用者から受け取った入力操作を電気信号へ変換して処理回路35に送信する。例えば、入力インターフェース32は、トラックボール、スイッチボタン、マウス、キーボード、操作面へ触れることで入力操作を行うタッチパッド、表示画面とタッチパッドとが一体化されたタッチスクリーン、光学センサを用いた非接触入力インターフェース、及び音声入力インターフェース等によって実現される。なお、本明細書において、入力インターフェース32は、マウス、キーボード等の物理的な操作部品を備えるものだけに限られない。例えば、装置とは別体に設けられた外部の入力機器から入力操作に対応する電気信号を受け取り、この電気信号を制御回路へ送信する電気信号の処理回路も入力インターフェース32の例に含まれる。
ディスプレイ33は、各種情報及び各種データを表示する。具体的には、ディスプレイ33は、処理回路35に接続されており、処理回路35から受信した各種情報及び各種データを表示する。例えば、ディスプレイ33は、液晶ディスプレイやCRT(Cathode Ray Tube)ディスプレイ、タッチパネル等によって実現される。
記憶回路34は、各種データ及び各種プログラムを記憶する。具体的には、記憶回路34は、処理回路35に接続されており、処理回路35から受信したデータを記憶、又は、記憶しているデータを読み出して処理回路35に送信する。例えば、記憶回路34は、RAM(Random Access Memory)、フラッシュメモリ等の半導体メモリ素子や、ハードディスク、光ディスク等によって実現される。
処理回路35は、医用画像処理装置3の全体を制御する。例えば、処理回路35は、入力インターフェース32を介して利用者から受け付けた入力操作に応じて、各種処理を行う。例えば、処理回路35は、他の装置から送信されたデータを通信インターフェース31を介して受信し、受信したデータを記憶回路34に格納する。また、例えば、処理回路35は、記憶回路34から受信したデータを通信インターフェース31に送信することで、当該データを他の装置に送信する。また、例えば、処理回路35は、記憶回路34から受信したデータをディスプレイ33に表示する。
以上、本実施形態に係る医用画像処理装置3の構成例について説明した。例えば、本実施形態に係る医用画像処理装置3は、病院や診療所等の医療施設に設置され、医師等の利用者によって行われる各種診断や治療計画の策定等を支援する。例えば、医用画像処理装置3は、心臓弁の形態情報の表示において、表示された弁葉の識別を容易にするための各種処理を実行する。
上述したように、心臓弁の形態情報の表示においては、弁形状に基づいて任意の断面を特定して表示する技術が知られている。しかしながら、心臓弁の各弁葉の構造は非常によく似ているため、各弁葉を観察する際に、表示されている弁葉がどの弁葉であるかを認識することが困難となる場合があり、そのような場合に弁葉の見間違いが発生するおそれがある。
そこで、本実施形態に係る医用画像処理装置3は、心臓弁の表示断面に関連する表示情報を、当該表示断面に含まれる弁葉と関連付けることで、表示された表示断面の弁葉の識別を容易にすることができるように構成されている。具体的には、医用画像処理装置3は、表示断面の位置に対応する弁葉の表示形態と対応付けた表示形態で、表示断面に関する情報を表示させる。以下、このような構成を有する医用画像処理装置3について、詳細に説明する。
例えば、図1に示すように、本実施形態では、医用画像処理装置3の処理回路35が、制御機能351と、画像取得機能352と、抽出機能353と、特定機能354と、判定機能355とを実行する。ここで、制御機能351は、表示制御部及び受付部の一例である。画像取得機能352は、取得部の一例である。また、抽出機能353は、抽出部の一例である。また、特定機能354は、特定部の一例である。また、判定機能355は、判定部の一例である。
制御機能351は、入力インターフェース32を介した操作に応じて、種々のGUI(Graphical User Interface)や、種々の表示情報を生成して、ディスプレイ33に表示するように制御する。例えば、制御機能351は、心臓弁の形態情報を表示させるためのGUIや、心臓弁に関する各種解析情報などをディスプレイ33に表示させる。また、制御機能351は、画像取得機能352によって取得された医用画像に基づいて、心臓弁に関する種々の表示画像を生成して、ディスプレイ33に表示させる。
例えば、制御機能351は、複数の弁葉各々を異なる表示形態で表示させる。また、制御機能351は、心臓弁に関する表示断面の設定を受け付け、表示断面に関する情報を、複数の弁葉の内、設定された表示断面の位置に対応する弁葉の表示形態と対応付けた表示形態で表示させる。なお、制御機能351による処理については、後に詳述する。
画像取得機能352は、通信インターフェース31を介して、医用画像診断装置1又は医用画像保管装置2から被検体の医用画像を取得する。具体的には、画像取得機能352は、少なくとも心臓弁を含むボリュームデータを取得する。なお、画像取得機能352は、3次元で時間方向に複数撮像することで得られる複数のボリュームデータを取得することもできる。例えば、画像取得機能352は、上記したボリュームデータとして、CT画像、超音波画像、MRI画像、X線画像、Angio画像、PET画像、SPECT画像などを取得する。処理回路35は、上記した画像取得機能352を実行することで、医用画像診断装置1又は医用画像保管装置2から被検体の医用画像を受信し、受信した医用画像を記憶回路34に記憶させる。
抽出機能353は、画像取得機能352によって取得されたボリュームデータにおける注目する生体器官を示す領域(以下、注目領域と記す)を抽出する。例えば、抽出機能353は、注目領域として、ボリュームデータに含まれる心臓弁に対応する領域を抽出する。なお、抽出機能353による処理については、後に詳述する。
特定機能354は、画像取得機能352によって取得されたボリュームデータにおける心臓弁に含まれる複数の弁葉を各々特定する。また、特定機能354は、各弁葉が適切に表示される表示断面の位置を特定する。なお、特定機能354による処理については、後に詳述する。
判定機能355は、特定機能354によって特定される表示断面に含まれる弁葉の種別を判定する。なお、判定機能355による処理については、後に詳述する。
上述した処理回路35は、例えば、プロセッサによって実現される。その場合に、上述した各処理機能は、コンピュータによって実行可能なプログラムの形態で記憶回路34に記憶される。そして、処理回路35は、記憶回路34に記憶された各プログラムを読み出して実行することで、各プログラムに対応する機能を実現する。換言すると、処理回路35は、各プログラムを読み出した状態で、図1に示した各処理機能を有することとなる。
なお、処理回路35は、複数の独立したプロセッサを組み合わせて構成され、各プロセッサがプログラムを実行することによって各処理機能を実現するものとしてもよい。また、処理回路35が有する各処理機能は、単一又は複数の処理回路に適宜に分散又は統合されて実現されてもよい。また、処理回路35が有する各処理機能は、回路等のハードウェアとソフトウェアとの混合によって実現されても構わない。また、ここでは、各処理機能に対応するプログラムが単一の記憶回路34に記憶される場合の例を説明したが、実施形態はこれに限られない。例えば、各処理機能に対応するプログラムが複数の記憶回路が分散して記憶され、処理回路35が、各記憶回路から各プログラムを読み出して実行する構成としても構わない。
次に、医用画像処理装置3による処理の手順について、図2を用いて説明した後、各処理の詳細について説明する。図2は、第1の実施形態に係る医用画像処理装置3の処理回路35が有する各処理機能によって行われる処理の処理手順を示すフローチャートである。
例えば、図2に示すように、本実施形態では、画像取得機能352が、医用画像診断装置1又は医用画像保管装置2から被検体の医用画像(ボリュームデータ)を取得する(ステップS101)。例えば、画像取得機能352は、入力インターフェース32を介したボリュームデータの取得操作に応じて、心臓弁の解剖構造の形態情報を含むボリュームデータを取得する。この処理は、例えば、処理回路35が、画像取得機能352に対応するプログラムを記憶回路34から呼び出して実行することにより実現される。
続いて、抽出機能353が、取得されたボリュームデータについて、医用画像に含まれる注目領域(心臓弁)を抽出する(ステップS102)。この処理は、例えば、処理回路35が、抽出機能353に対応するプログラムを記憶回路34から呼び出して実行することにより実現される。
そして、特定機能354が、心臓弁の抽出結果に基づいて、各弁葉を特定し、特定した弁葉を観察しやすい断面の位置である初期断面位置を特定する(ステップS103)。例えば、処理回路35が、特定機能354に対応するプログラムを記憶回路34から呼び出して実行することにより実現される。
続いて、判定機能355が、特定された断面位置を判定する(ステップS104)。具体的には、判定機能355は、断面位置において観察しやすい弁葉を判定する。この処理は、例えば、処理回路35が、判定機能355に対応するプログラムを記憶回路34から呼び出して実行することにより実現される。
そして、制御機能351が、表示形態を設定して(ステップS105)、設定した表示形態で断面画像をディスプレイ33に表示させる(ステップS106)。具体的には、制御機能351は、弁葉の表示形態と断面画像に関する情報の表示形態とを設定し、それらをディスプレイ33に表示させる。ここで、制御機能351は、弁葉の表示形態と断面画像に関する情報の表示形態とを関連付けた表示制御を行う。この処理は、例えば、処理回路35が、制御機能351に対応するプログラムを記憶回路34から呼び出して実行することにより実現される。
その後、制御機能351が、断面位置が変更されたか否かを判定する(ステップS107)。ここで、断面位置が変更された場合には(ステップS107、Yes)、ステップS104に戻って、断面位置の判定処理が実行される。一方、断面位置が変更されていない場合には(ステップS107、No)、制御機能351は、読影が終了されたか否かを判定する(ステップS108)。ステップS108の判定において、読影が終了されていない場合には(ステップS108、No)、ステップS107の判定処理を継続する。一方、ステップS108の判定において、読影が終了された場合には(ステップS108、Yes)、医用画像処理装置3は、処理を終了する。この処理は、例えば、処理回路35が、制御機能351に対応するプログラムを記憶回路34から呼び出して実行することにより実現される。
以下、医用画像処理装置3によって実行される各処理の詳細について、説明する。なお、以下では、大動脈弁を観察対象とする場合の処理を一例に挙げて説明する。なお、本実施形態にて説明する処理の対象はこれに限らず、全ての心臓弁を対象とすることができる。
(医用画像の取得処理)
図2のステップS101で説明したように、画像取得機能352は、入力インターフェース32を介したボリュームデータの取得操作に応じて、観察対象とする心臓弁(大動脈弁)の3次元の形態情報を含むボリュームデータを取得する。例えば、画像取得機能352は、大動脈弁を3次元で撮像したCT画像を取得する。
なお、ステップS101における医用画像の取得処理は、上記したように、入力インターフェース32を介したユーザの指示により動作が開始される場合でもよいが、自動的に処理が開始される場合でもよい。かかる場合には、例えば、画像取得機能352は、医用画像保管装置2を監視しておき、新しいボリュームデータが保管されるごとに自動的にボリュームデータを取得する。
ここで、画像取得機能352は、予め設定された取得条件に基づいて新しく保管されたボリュームデータを判定し、ボリュームデータが取得条件を満たした場合に取得処理を実行するようにしてもよい。例えば、ボリュームデータの状態を判定することができる取得条件が記憶回路34に記憶され、画像取得機能352は、記憶回路34に記憶された取得条件に基づいて、新しく保管されたボリュームデータを判定する。
一例を挙げると、記憶回路34は、取得条件として、「心臓弁を対象とする撮像プロトコルで撮像されたボリュームデータを取得」や、「拡大再構成された医用画像を取得」、或いは、それらの組み合わせを記憶する。画像取得機能352は、上記した取得条件を満足するボリュームデータを取得する。
上述したように、画像取得機能352によってボリュームデータが取得された後、ボリュームデータに基づく表示画像が表示されてもよい。ここで、ディスプレイ33によって表示される表示画面の一例を説明する。図3Aは、第1の実施形態に係る表示画面の一例を示す図である。図3Aに示すように、本実施形態に係る表示画面は、例えば、サムネイル画像を表示する領域201と、画像を表示する領域202と、メニューバーを表示する領域203と、解析結果を表示する領域204とを含む。
(サムネイル表示)
領域201は、ユーザの指示に応じて画像取得機能352によって取得されたボリュームデータに基づくサムネイル画像が一覧表示される。ここで、一覧表示されるサムネイル画像は、画像条件を指定するインターフェース(不図示)を用いてユーザが指定する条件を満たすボリュームデータのサムネイル画像である。
例えば、ユーザは、不図示のインターフェースを用いて、被検体の氏名、被検体ID、生年月日、体重などの被検体に関する情報や、画像のモダリティの種類、撮像装置名、撮像日、撮像条件、再構成条件などの画像に関する情報などを指定する。画像取得機能352は、ユーザによって指定された上記条件を満たすボリュームデータを医用画像診断装置1又は医用画像保管装置2から取得する。例えば、画像取得機能352は、画像のDICOMヘッダ、PACS、電子カルテ、RIS、HISなどから、指定された条件に関する情報を取得し、取得した条件とユーザによって指定された条件とを比較して、ユーザによって指定された条件を満たすボリュームデータを取得する。
制御機能351は、画像取得機能352によって取得されたボリュームデータからサムネイル画像を生成して、生成したサムネイル画像を領域201に表示させる。例えば、制御機能351は、ボリュームデータにおける代表的な断面の2次元画像を領域201の大きさに合わせて縮小したサムネイル画像を生成する。
ここで、制御機能351は、上記したサムネイル画像のほか、種々のアイコンを領域201に表示させることができる。例えば、制御機能351は、取得されたボリュームデータを示す文字列や記号、或いは、予め用意され記憶回路34に保管された各種図形や画像やシェーマ像などを、領域201に表示させる。さらに、制御機能351は、上記したサムネイル画像やアイコンと共に、ボリュームデータの基本的な情報(撮像日、スライス枚数、再構成関数等)を並べて表示することもできる。かかる場合には、例えば、制御機能351は、画像のDICOMヘッダ、PACS、電子カルテ、RIS、HISなどからこれらの情報を取得して、サムネイル画像やアイコンに対応付けて表示させる。なお、表示する基本的な情報は予め定めておいてもよいし、ユーザが指定できるようにしてもよい。
(画像表示)
領域202は、ユーザの指示に応じて各種画像が表示される。例えば、ユーザは、領域201に表示されているサムネイル画像を選択して領域202にドラック&ドロップする。この操作に応じて、制御機能351は、選択されたサムネイル画像に対応するボリュームデータから表示する画像を生成し、生成した画像を領域202に表示させる。ここで、ドラック&ドロップした際に既に領域202に画像が表示されている場合、制御機能351は、不図示の警告(例えば、画像保存を促す警告など)をユーザに表示する。そして、制御機能351は、警告に対する操作をユーザが受け付けた後、既に表示されている画像を領域202から除いて、ドラック&ドロップしたアイコンに対応する画像を表示する。
なお、制御機能351は、領域202に画像を表示する際には、予め定める表示条件に基づいて画像を表示させる。ここで、表示条件とは、領域202に含まれる複数の表示領域において表示する画像の割り当て(例えば、図3Aに示す領域202a~202dのどの領域にどのような画像を表示するか)、断面画像を表示する場合における断面位置、拡大率、ウインドウレベルやウインドウ幅などである。すなわち、制御機能351は、領域202に画像を表示させる際に、上記した表示条件を取得し、取得した表示条件に基づいて領域202に表示させる画像を生成し、生成した画像を領域202に表示させる。
なお、上記した表示条件は、あくまでも一例であり、どのような条件が設定されてもよい。また、表示条件は、ユーザによって任意に変更できるようにしてもよい。かかる場合には、例えば、制御機能351は、表示条件を設定するためのGUIを表示させ、ユーザによる表示条件の指定を受け付ける。
例えば、表示画面の初期配置では、図3Aに示すように、領域202に対して領域202a~202dの4つの領域が設定される。領域202aには、後述する方法により特定する大動脈弁領域に基づいて生成される大動脈弁のVR(Volume Rendering)画像が表示され、領域202b~202dには、大動脈弁の領域に基づいて特定される大動脈弁軸(算出方法の例は後述する)を基準として設定される各MPR(Multi Planar Reconstruction)断面が表示されるように設定される。
なお、領域202a~202dに表示される画像は上記した画像に限られず、ユーザが指定する任意の断面方向又は任意の種類の画像を任意の条件で表示するように設定することができる。また、VR画像、SR画像、MIP画像、MinIP画像のような既知の種類の画像を再構成して表示するように設定してもよい。ここで、表示された画像は、ユーザの指示に基づいて観察断面の変更やスライス送り(ブラウズ)、拡大率や中心位置(平行移動)、ウインドウレベルやウインドウ幅などを変更して表示できる。
また、領域202a~202dの大きさは、ユーザの指示に応じて任意に変更することができる。例えば、ユーザは、各領域の枠(表示領域を分割している分割線)に対する操作(ドラック&ドロップ等)や、各領域上での特定の操作(ダブルクリック、Ctrlキーを押下しながらクリック等)などを実行する。制御機能351は、ユーザによって入力された操作に応じて、領域202a~202dの大きさを変更する。
また、制御機能351は、各領域上に、予め又はユーザが指定する情報を領域の特定の位置に重ねて表示することができる。例えば、制御機能351は、図3Aの領域202eに示すように、各領域の端の位置に情報を重ねて表示する。ここで、当該情報は、被検体の氏名、被検体ID、生年月日、体重などの患者に関する情報や、画像のモダリティの種類、撮像装置名、撮像日、撮像条件、再構成条件等の画像に関する情報等を指定することができる。すなわち、制御機能351は、指定された上記情報を、画像のDICOMヘッダ、PACS、電子カルテ、RIS、HISなどから取得して、領域202b~202dに表示させる。
(メニューバー)
領域203は、各種機能に対応するアイコンやボタンが配置されたメニューバーである。ユーザは、領域203に配置されたアイコンをマウス等の入力インターフェースによって選択することにより、当該機能を起動することができる。
アイコン203aは、領域201の表示・非表示を切り替えるボタンであり、当該アイコンが選択されることにより、制御機能351は、サムネイル画像を表示させる領域201の表示・非表示を切り替える。例えば、領域201が表示された状態でアイコン203aが押下されると、制御機能351は、図3Bに示すように、領域201を非表示とする。ここで、制御機能351は、非表示となった領域201の大きさに合わせて、領域202及び/又は領域204を拡大する。なお、図3Bは、第1の実施形態に係る表示画面の一例を示す図である。
アイコン203bは、領域202における分割数を変更するボタンである。図3Aでは、2行2列の4つの領域(202a~202d)が設定されているが、表示領域の行又は列の数を変更可能としてもよい。また、各表示領域の大きさを変更可能としてもよい。例えば、予めいくつかのパターンの表示領域の分割数や大きさのセットが、プリセットとして登録される。制御機能351は、アイコン203bが押下されると、予め登録されたセットを選択するためのインターフェースを表示させ、当該インターフェースに対する選択操作を受け付けることで、領域202の表示形態を設定する。なお、制御機能351は、新たなプリセットの登録をユーザから受け付けるためのインターフェースを表示させることもできる。
アイコン203c~203gは、マウスの操作系を割り当てる機能のボタン群であり、例えば、各アイコンが選択されることにより、制御機能351は、マウスの左クリック及びドラッグの操作系を、選択されたアイコンに対応した操作系に割り当てるように制御する。具体的には、アイコン203cは、画像をスライス方向に連続的に表示させるブラウズ操作系を、マウスの左クリック及びドラッグの操作系に割り当てるためのボタンである。アイコン203dは、画像の階調(例えば、CTでは、ウインドウレベルやウインドウ幅)を変更する操作系を、マウスの左クリック及びドラッグの操作系に割り当てるためのボタンである。アイコン203eは、画像を平行移動させるための操作系を、マウスの左クリック及びドラッグの操作系に割り当てるためのボタンである。アイコン203fは、画像の拡大率を変更する操作系を、マウスの左クリック及びドラッグの操作系に割り当てるためのボタンである。アイコン203gは、画像を回転させる操作系等をマウスの左クリック及びドラッグの操作系に割り当てるためのボタンである。
なお、上記した機能を割り当てる操作は、マウスの左クリック及びドラッグの操作系に限らず、右クリック及びドラッグの操作系や、マウスホイールクリック及びドラッグの操作系、右と左との同時クリック及びドラッグの操作系に、上記した機能が割り当てられてもよい。
また、マウスを動かす量(ドラッグの操作量)に対する、ブラウズ機能の際のスライス送りのスピード又は量や、拡大率の変更量、平行移動の移動量、階調の変化量、回転量を設定できるようにしてもよい。また、当該アイコンを選択する際のマウス操作に応じて割り当てを変更するようにしてもよい。例えば、左クリックで当該アイコンを選択した場合は左クリックの操作系に当該アイコンに対応する操作系を割り当て、右クリックで当該アイコンを選択した場合は右クリックの操作系に当該アイコンに対応する操作系を割り当て、右と左との同時クリックで当該アイコンを選択した場合は右と左との同時クリックの操作系に当該アイコンに対応する操作系を割り当て、マウスホイールクリックで当該アイコンを選択した場合はマウスホイールクリックの操作系に当該アイコンに対応する操作系を割り当てるように制御してもよい。
アイコン203h~203nは、各種図形の描画及び計測機能に対するアイコンであり、当該アイコンが選択されることにより、制御機能351は、各種図形の描画及び計測機能を実行可能とするように制御する。
アイコン203hは、当該アイコンが選択されることにより、画像上に直線を描画し当該直線の長さを計測して表示する機能が実行可能となる。なお、直線の始点及び終点の位置や色や太さ、計測値のフォントなどの表示形態は、ユーザ操作により調整できる。
アイコン203iは、当該アイコンが選択されることにより、画像上に2本の直線を描画し当該2本の直線がなす鋭角の角度を計測し表示する機能が実行可能となる。なお、2つの直線の夫々の始点及び終点の位置や色や太さ、計測値のフォントなどの表示形態は、ユーザ操作により調整できる。
アイコン203jは、当該アイコンが選択されることにより、画像上に楕円を描画し当該楕円の周長や内部の面積や内部の画素値の統計量(平均値や最大値、最小値等)を算出し、表示する機能が実行可能となる。なお、楕円の中心位置や長径や短径や色や太さ、計測値のフォントなどの表示形態はユーザ操作により調整できる。
アイコン203kは、当該アイコンが選択されることにより、画像上に矢印アイコンを描画する機能が実行可能となる。なお、矢印アイコンの始点及び終点の位置や色や太さや先端部の形態などの表示形態はユーザ操作により調整できる。
アイコン203lは、当該アイコンが選択されることにより、画像上に任意の文字列を表示する機能が実行可能となる。表示する文字列は、キーボード等を用いてユーザによって指定される。なお、文字列を表示する位置や文字列のフォントや背景の色などの表示形態はユーザ操作により調整できる。
アイコン203mは、当該アイコンが選択されることにより、画像上に任意の形の閉曲線を描画し、当該閉曲線の周長や閉曲線の内部の面積や内部の画素値の統計量(平均値や最大値、最小値等)を算出し、表示する機能が実行可能となる。なお、閉曲線の中心位置や色や太さ、計測値のフォントなどの表示形態はユーザ操作により調整できる。また、当該閉曲線は、予め定める形(円、楕円、長方形、正方形、三角形等)を設定可能とし当該形の各辺の長さや2つの辺のなす角度や直径や長径及び短径等を調整できるようにしてもよいし、フリーフォームの形状を描画できるようにしてもよい。
アイコン203nは、当該アイコンが選択されることにより、画像上に任意の形の開曲線描画し、当該開曲線の周長を算出し、表示する機能が実行可能となる。なお、開曲線の中心位置や色や太さ、計測値のフォントなどの表示形態はユーザ操作により調整できる。その他、3次元図形(球、楕円球、直方体、三角錐等)を設定できるようにし、その表面積や体積などを算出し表示するよう制御してもよい。
アイコン203oは、領域202に表示された画像上に、他の画像の断面位置を示すリファレンスラインの表示・非表示を切り替えるチェックボックスであり、当該チェックボックスが選択されることにより、制御機能351は、リファレンスラインの表示・非表示を切り替える。
図4Aは、第1の実施形態に係るリファレンスラインの一例を示す図である。ここで、図4Aは、図3Aにおける領域202bを拡大した図である。例えば、制御機能351は、アイコン203oの選択によって、図4Aに示す縦方向のリファレンスラインと、横方向のリファレンスラインを表示させる。図4Aにおける縦方向のリファレンスラインは、領域202cに表示された画像の断面位置を示す。また、図4Aにおける横方向のリファレンスラインは、領域202dに表示された画像の断面位置を示す。
例えば、制御機能351は、ボリュームデータにおける各画像の断面位置に基づいて、領域202bに表示する画像上における他の画像の位置を特定し、特定した位置に直線を配置することで、縦方向のリファレンスラインと横方向のリファレンスラインとを表示させる。
ここで、本実施形態に係るリファレンスラインは、ユーザからの操作を受け付けることができる。例えば、制御機能351は、各リファレンスラインや、リファレンスラインの交差点301や、円マーク302や、三角形マーク303に対する選択操作及びドラックアンドドロップ操作を受け付けることで、画像の表示形態を変更する。
例えば、ユーザは、マウスを操作することでリファレンスラインの交差点301又はその周囲を選択しドラックアンドドロップすることによりリファレンスラインの交差点301を移動させることができる。ここで、交差点301を動かした場合、リファレンスラインが示す断面位置も変化するため、それに対応して各領域に表示される断面画像も変化する。
図4Bは、第1の実施形態に係るリファレンスラインに対する操作の一例を説明するための図である。ここで、図4Bは、図3Aの領域202bに示すリファレンスラインの交差点を左上に移動させた際の画面例である。例えば、ユーザが、図4Bの領域202bに示すように、リファレンスラインの交差点301を左上に移動させると、制御機能351は、領域202bに表示している画像に対する各リファレンスラインの位置に基づいて、ボリュームデータにおける移動後の各リファレンスラインの位置を特定する。そして、制御機能351は、特定した各リファレンスラインの位置を断面位置とした画像をそれぞれ生成し、生成した画像を領域202c及び領域202dにそれぞれ表示させる。
また、ユーザは、マウスを操作することでリファレンスラインを選択しドラックアンドドロップすることにより、リファレンスラインを平行移動させることができる。例えば、ユーザは、リファレンスライン上の円マーク302以外の箇所を選択して、ドラックアンドドロップすることにより、リファレンスラインを平行移動させる。ここで、リファレンスラインを平行移動させた場合、リファレンスラインが示す断面位置が変化し、それに対応して各表示領域に表示される断面画像も変化する。
図4Cは、第1の実施形態に係るリファレンスラインに対する操作の一例を説明するための図である。ここで、図4Cは、図3Aの領域202bに示す横方向のリファレンスラインを領域202bの下側に平行移動させた際の画面例である。例えば、ユーザが、図4Cの領域202bに示すように、横方向のリファレンスラインを下側に平行移動させると、制御機能351は、領域202bに表示している画像に対する横方向のリファレンスラインの位置に基づいて、ボリュームデータにおける移動後の横方向のリファレンスラインの位置を特定する。そして、制御機能351は、特定した横方向のリファレンスラインの位置を断面位置とした画像を生成し、生成した画像を領域202dに表示させる。
また、ユーザは、マウスを操作することでリファレンスラインを選択し特定の方向へドラックアンドドロップすることにより、リファレンスラインを回転させることができる。例えば、リファレンスライン上に示した円マーク302に回転機能が割り当てられ、ユーザが、マウス操作によって円マーク302を選択してドラックアンドドロップすることにより、リファレンスラインを回転させる。ここで、リファレンスラインを回転させた場合、リファレンスラインが示す断面位置が変化し、それに対応して各表示領域に表示される断面画像も変化する。
図4Dは、第1の実施形態に係るリファレンスラインに対する操作の一例を説明するための図である。ここで、図4Dは、図3Aの領域202bに示す縦方向のリファレンスラインが時計回りに45度回転された場合の画面例である。なお、回転時、複数のリファレンスラインがある場合はそれらがなす角度を常に一定に保つように、1つのリファレンスラインへの操作に連動して他のリファレンスラインが動作するように制御してもよいし、個々に独立に動くようにしてもよい。複数のリファレンスラインがなす角度を常に一定に保つ場合、例えば、180度をリファレンスラインの数に基づいて均等に分けるようにしてもよい(リファレンスが2本なら垂直交差(90度での交差)、リファレンスラインが3本なら60度での交差)。図4Dでは、2本のリファレンスラインがなす角度を一定(90度)に保つ場合を示す。
例えば、ユーザが、図4Dの領域202bに示すように、縦方向のリファレンスラインを時計回りに45度回転させると、制御機能351は、領域202bに表示している画像に対する各リファレンスラインの位置に基づいて、ボリュームデータにおける回転後の各リファレンスラインの位置を特定する。そして、制御機能351は、特定した各リファレンスラインの位置を断面位置とした画像をそれぞれ生成し、生成した画像を領域202c及び領域202dにそれぞれ表示させる。
なお、図4C及び図4Dでは、リファレンスライン上の円マーク302以外の箇所を選択することで平行移動を行い、円マーク302を選択することで回転を行う場合について説明した。しかしながら、実施形態はこれに限定されるものではなく、例えば、キーボードを用いた操作により平行移動と回転とが切り替えられる場合でもよい。例えば、Ctrlキーを押下した状態でマウスによるリファレンスラインの操作が実行された場合は回転となり、Ctrlキーを押下していない状態でマウスによるリファレンスラインの操作が実行された場合は平行移動となるように制御されてもよい。
また、ユーザは、リファレンスラインを用いて一定の大きさの幅を指定することにより当該幅の大きさに基づいた範囲における最大値投影像や最小値投影像を作成し、その投影像をリファレンスラインに対応する表示領域に表示させることもできる。例えば、ユーザは、マウス操作によって三角形マーク303を選択し移動させる操作を行うことで、幅を指定することができる。
図4Eは、第1の実施形態に係るリファレンスラインに対する操作の一例を説明するための図である。ここで、図4Eは、縦方向のリファレンスラインに対して配置された三角形マーク303を左右に移動させることにより、2つの三角形マーク303に挟まれた範囲を幅として指定する例を示す。また、図4Eは、横方向のリファレンスラインに対して配置された三角形マーク303を上下に移動させることにより、2つの三角形マーク303に挟まれた範囲を幅として指定する例を示す。また、図4Eは、三角形マーク303によって指定された幅の大きさに基づいた範囲のMip画像を生成する例を示す。
例えば、図4Eの領域202bに示すように、ユーザが、縦方向のリファレンスラインに対して配置された三角形マーク303を左右に移動させると、制御機能351は、移動後の左右の三角形マーク303のリファレンスライン側の各頂点に対応する、ボリュームデータ内の位置を特定する。そして、制御機能351は、左側の三角形マーク303の頂点に対応する位置を通過し、かつ、縦方向のリファレンスラインに平行な平面をボリュームデータに設定する。同様に、制御機能351は、右側の三角形マーク303の頂点に対応する位置を通過し、かつ、縦方向のリファレンスラインに平行な平面をボリュームデータに設定する。そして、制御機能351は、縦方向のリファレンスラインを中心として左側の平面と右側の平面との間に含まれるボクセルを特定し、特定したボクセルのボクセル値に基づいて、Mip画像を生成する。すなわち、制御機能351は、縦方向のリファレンスラインに直交する方向(左右方向)を投影方向としたMip画像を生成して、領域202cに表示させる。
同様に、ユーザが、横方向のリファレンスラインに対して配置された三角形マーク303を上下に移動させると、制御機能351は、移動後の上下の三角形マーク303のリファレンスライン側の各頂点に対応する、ボリュームデータ内の位置を特定する。そして、制御機能351は、上側の三角形マーク303の頂点に対応する位置を通過し、かつ、横方向のリファレンスラインに平行な平面をボリュームデータに設定する。同様に、制御機能351は、下側の三角形マーク303の頂点に対応する位置を通過し、かつ、横方向のリファレンスラインに平行な平面をボリュームデータに設定する。そして、制御機能351は、横方向のリファレンスラインを中心として上側の平面と下側の平面との間に含まれるボクセルを特定し、特定したボクセルのボクセル値に基づいて、Mip画像を生成する。すなわち、制御機能351は、横方向のリファレンスラインに直交する方向(上下方向)を投影方向としたMip画像を生成して、領域202dに表示させる。
なお、リファレンスラインの表示形態(色、太さ、種類(実線或いは点線、点線の細かさ)等)は予め設定しておいてもよいし、ユーザが指定できるようにしてもよい。また、縦方向のリファレンスラインに対して配置された三角形マーク303を移動させると、横方向のリファレンスラインに対して配置された三角形マーク303も同じ幅で移動するように制御してもよい。
アイコン203pは、VR画像やSR画像などのレンダリング画像等の3次元的な領域を示す画像に対して、任意の2次元断面画像を重ね合わせて表示するか否かを切り替えるチェックボックスであり、当該チェックボックスが選択されることにより、制御機能351は、重ね合せの表示・非表示を切り替える。
図5は、第1の実施形態に係る画像の重ね合せ表示の一例を示す図である。例えば、制御機能351は、アイコン203pの選択によって、図5に示すように、領域202aに表示されている大動脈弁の各弁葉を占めるVR画像に対して、領域202bに表示されている断面画像を3次元的な位置を対応付けて表示する。すなわち、制御機能351は、ボリュームデータにおけるVR画像の位置と、当該ボリュームデータにおける断面画像の位置との位置関係に基づいて、VR画像に対する断面画像の位置を特定する。そして、制御機能351は、VR画像の特定した位置に断面画像を配置することで、図5の領域202aに示す重ね合せの画像を表示させる。
なお、制御機能351は、画像を重ねる際、図5に示すように、観察方向に対して断面画像より手前に位置するVR画像は表示させ、断面画像より奥に位置するVR画像は表示させない。
図5においては、VR画像に対して領域202bの断面画像を重ねる例について説明したが、実施形態はこれに限定されるものではなく、重ね合せる断面画像は、ユーザによって指定される場合でもよい。かかる場合には、例えば、断面画像を表示させている各領域上で右クリックすることにより表示されるコンテキストメニューを用いて指定される場合でもよい。また、重ね合わせる断面となる領域を予め定めて置き(例えば、領域202bをその領域とする)、その領域に表示されている断面画像を重ねわせるように制御されてもよい。
ここで、VR画像に対して断面画像を重ね合わせる際に、制御機能351は、断面画像の断面位置や大きさをVR画像の位置や拡大率に合わせるが、断面画像におけるその他の表示条件(ウインドウ条件など)を、VR画像の表示条件に一致させてもよい。また、画像間で一致させる条件について、予め定める条件が固定とされる場合でもよい。なお、重ね合せの表示が設定されている状態で、重ね合わせている断面画像の表示条件が変更(スライス送り等)された場合、制御機能351は、VR画像に重ね合わせている方の断面画像の表示条件も連動して変更する。例えば、領域202bに表示されている断面画像に対してスライス送りの操作が実行された場合、制御機能351は、VR画像に重ね合せて表示させている断面画像を、スライス送りの操作によって順次切り替えられる断面画像に順次切り替える。
アイコン203qは、領域202及び領域204の表示状態を特定の表示状態に戻すことができるボタンであり、当該ボタンが押下されることにより、制御機能351は、領域202及び領域204の表示状態を特定の表示状態に戻す。ここで、特定の状態とは、例えば、アプリ起動時の状態や各領域に表示されて画像の最初に表示させた際の状態や特定の数の操作前の状態などである。
例えば、制御機能351は、上記した特定の状態における表示条件や表示形態を記録させておき、アイコン203qの押下に応じて、それを復元する。或いは、制御機能351は、一定の期間における表示条件や表示形態をそれぞれ記録させておき、一つ前又は後の操作後の表示状態を連続的に復元できるようにしてもよい(例えば、進む、戻るボタン)。
アイコン203rは、VR画像やSR画像などのレンダリング画像等の3次元的な領域を示す画像や2次元画像上に重ね合わせる領域の表示条件を設定する設定画面を表示するためのボタンである。例えば、ユーザが、マウス操作によってアイコン203rを選択すると、図3Aの領域202aに表示される大動脈弁の弁葉のVR画像において各弁葉を示す領域や、領域202b~202dに表示される断面画像において各弁葉を示す領域などの表示条件を設定するための設定画面が表示される。なお、各弁葉の領域の位置情報は、ステップS102によって特定される。
図6A及び図6Bは、第1の実施形態に係る表示条件の設定画面の一例を示す図である。例えば、設定画面は、図6Aに示すように、「Priority」、「色」、「透過度」、「VR」、「MPR」、「領域名」に関する設定項目を含む。
「Priority」は、指定される領域(右の「領域名」のコンボボックスから指定)の表示優先順位が設定される。例えば、設定画面の上に指定される領域ほど、表示優先順位が高いことを示し、画像上の同一座標において複数の領域が対応する場合は優先順位の高い領域が表示される。
「色」は、対応する領域(右の「領域名」のコンボボックスから指定)のVR画像又は断面画像への重畳表示の際に割り当てる色が設定される。例えば、「色」には、色のサンプルが表示される。例えば、ユーザが、サンプルの色を示す領域を選択すると、制御機能351は、図6Bに示すように、カラーマップや、RGB値の入力ボックスを表示させる。ユーザは、カラーマップからの色選択、或いは、RGB値の入力によって、対象となる領域に任意の色を割り当てることができる。
また、「透過度」は、対応する領域(右の「領域名」のコンボボックスから指定)のVR画像又は断面画像への重畳表示の透過度が設定される。例えば、「透過度」は、スライダーバーにより0~99%まで1%刻みで指定でき、0%の場合は一切透過しない(つまり背景の画像は見えない)状態で重畳表示される。なお、図6A及び図6Bには図示していないが、彩度や明度等の表示条件を設定できるようにしてもよいし、色の変わりにテクスチャなどを設定できるようにしてもよい。また、図左下の「連動」チェックボックスを選択することにより全ての透過度を一緒に設定することができる。ここで、連動させる場合には、全ての透過度を一緒の値に設定するように制御してもよいし、「連動」チェックボックスが選択された時点の各領域に対応する透過度の値の関係性を維持したまま、全体的に透過度を上げる又は下げるように制御してもよい。
「VR」は、VR画像上に表示する領域を指定するためのチェックボックスである。また、「MPR」は、MPR画像上に表示する領域を指定するためのチェックボックスである。なお、図6A及び図6Bには図示していないが、「VR」或いは「MPR」の全てのチェックボックスに対するチェックやチェック解除を同時に実施できるボタンが設定されてもよい。
「領域名」は、設定した優先順位や表示条件で表示する領域が設定される。例えば、ユーザは、「領域名」の列に配置されたコンボボックスによって領域を指定する。なお、複数のコンボボックスに同じ領域が設定できないように制御してもよい(例えば、あるコンボボックスに既に他のコンボボックスで設定されている領域を指定した場合、指定できないように制御したり、既存のコンボボックスの設定を解除したりする)し、設定はできるようにして優先順の高い設定を優先して使用するように制御してもよい。なお、図6Aでは、石灰化領域を白色で、大動脈弁のLCC(Left Coronary Cusp)を緑色で、RCC(Right Coronary Cusp)を青色で、NCC(Non Coronary Cusp)を黄色で、VR画像及びMPR画像上に表示するように設定している。
「Close」は、本設定画面を非表示にするボタンであり、「Reset」は設定状態を初期状態に戻すためのボタンである。なお、本設定画面により設定する表示条件を各領域に反映させるタイミングは、各条件を設定した直後に設定した条件を反映させてよいし、「Close」ボタン選択後に一斉に反映させてもよい。
(解析結果表示)
領域204は、領域204aと領域204bとを含み、解析結果が表示される。例えば、制御機能351は、ステップ102で特定される各注目領域に基づいて、当該注目領域の特徴(計測項目)を示す値(計測値)を算出して、領域204に表示する。領域204aには、解析結果がグラフ表示され、領域204bには、解析結果が、各種計測項目名と計測値との関係を示すリストで表示される。
ここで、計測項目としては、例えば、各弁葉の形態的な特徴(例えば、「面積」、「effective Height」、「geometric Height」、「Free Margin Length」、「cusp insertion Length」、「commissural Height」、「弁口面積」等)や、各弁葉の関係性の特徴(例えば、「coaptation Height」、「commissural Distance」)や、Valsalva洞を含む上行大動脈の形態特徴(例えば、「Annular ring」、「Commissure ring」、「ST junction ring」、「Valsalva ring」、「Basal ring」などの上行大動脈の断面の輪郭に対する特徴(「Area」、「Perimeter」、「Circularity」、「Aspect ratio」、「major axis diameter」、「minor axis diameter」等))や、冠動脈の入口部との関係性の特徴(例えば、「coronary ostium Height」)などがある。
例えば、制御機能351は、ステップ102で特定された大動脈弁の各弁葉の領域に基づいて、各弁葉(RCC、LCC、NCC)について、最もLVOT(Left Ventricular Outflow Tract)側に存在する位置である「Nadir」の座標をそれぞれ特定する。そして、制御機能351は、各弁葉の「Nadir」を通過する断面(以下、Nadir断面)を抽出して、当該断面から「Arantius」の位置までの直線距離である「effective Height」を算出する。なお、「Arantius」は、各弁葉の先端の中央に位置する。
また、制御機能351は、ステップ102で特定された大動脈弁の各弁葉の領域に基づいて、「Nadir」から「Arantius」までの弁葉の表面に沿った距離である「geometric Height」を算出したり、各弁葉の交連部(Commissure)をそれぞれ抽出し、各交連部間の直線距離である「commissural Distance」を算出したりすることができる。
例えば、制御機能351は、算出した計測値のグラフを領域204aに表示させる。図7A、図7B、図7Cは、第1の実施形態に係るグラフの一例を示す図である。ここで、図7A及び図7Bは、縦軸を計測値の値、横軸を心位相として、計測値と心位相との関係を表した折れ線グラフを示す。また、図7Cは、任意の心位相における弁葉の特徴を表すレーダーチャートを示す。
例えば、制御機能351は、各心位相に対応するボリュームデータそれぞれにおいて特定された大動脈弁の弁葉の領域に基づいて、各心位相における「effective Height」と「geometric Height」を算出する。そして、制御機能351は、算出した結果に基づいて各グラフを生成して、表示する。
ここで、制御機能351は、図7Aに示すように、任意の1つの弁葉(図7Aでは、LCC)について複数の計測項目を示したグラフを生成して、表示することができる。また、制御機能351は、全ての弁葉(LCC、RCC、NCC)でグラフ表示するために複数のグラフを生成して表示することができる。
また、制御機能351は、図7Bに示すように、単一の計測項目(図7Bでは、「geometric Height」)について各弁葉との関係について同一のグラフ内に表示することができる。なお、折れ線グラフの表示は、図7A及び図7Bの形式に限られず、図7Aと図7Bとを融合して、1つのグラフ上に各弁葉における複数の計測項目の値を表示する場合でもよい。かかる場合には、制御機能351は、弁葉又は計測項目が同一の折れ線を同系統の色で表現したグラフを生成することができる。
また、制御機能351は、図7Cに示すように、任意の心位相における各弁葉(LCC、RCC、NCC)の特徴を示したレーダーチャートを生成して表示させることができる。
なお、グラフの形態は、計測項目ごとに適した形態となるように制御される場合でもよい。かかる場合には、例えば、計測項目とグラフ形態との関係が、予め設定されて記憶される。制御機能351は、領域204bに表示している計測項目のリストの左にチェックボックスを表示させ、当該チェックボックスに対してチェックが付与された場合に、チェックが付与された計測項目の計測結果を、予め設定されたグラフ形態で表示させる。
また、折れ線グラフの色や太さなどの表示形態は、ユーザが設定できるようにしてもよいし、図6Aに示す設定画面で設定する各弁葉の表示形態に合わせて変更させるようにしてもよい。
また、制御機能351は、図7Aに示すように、領域202に表示させている画像の心位相に対応するグラフ上の位置に直線601を表示させ、ユーザの操作に基づく直線601のグラフ内の左右(心位相方向)への移動に伴い、領域202に表示する画像を対応する画像に変更するように制御することもできる。かかる場合には、制御機能351は、直線601の移動後の心位相に対応するボリュームデータからVR画像や断面画像を生成して、領域202に表示させる。
また、制御機能351は、ボタン204cが選択されることにより、各種計測項目における計測値と心位相又はスライスとの関係を示す表をCSV等の形式でユーザが指定するコンピュータ上の記憶領域にファイル出力することができる。
コントローラ205は、シネ表示用のコントローラである。コントローラ205には、再生ボタン、ストップボタン、速度上昇ボタン、速度低下ボタン、開始画像へ戻るボタン、最終画像へ進むボタン、1つ後の心位相の画像へ進むボタン、1つ前の心位相の画像へ進むボタンなどが設定されており、ユーザがマウスクリックなどの操作により指定することによって、各種ボタンに割り当てられた機能が実行されるように制御する。なお、シネ表示時における表示順は、サムネイルの選択順序に基づいて決定してもよいし、DICOMヘッダなどから得られる撮像日時順や、R-R間隔に基づいて設定される心位相の順に基づいて決定してもよい。また、シネ表示中に画像に対してユーザが何らかの指示を与えている場合(スライス送り、平行移動、拡大率変更、会長変更、各種計測機能による計測など)は、当該コントローラは非表示としてもよい。
(注目構造の抽出処理)
図2のステップS102で説明したように、抽出機能353は、ボリュームデータについて、注目領域を抽出する。具体的には、抽出機能353は、CT画像において大動脈弁を示す画素の座標情報を取得する。ここで、抽出機能353は、種々の手法により注目領域を抽出することができる。例えば、抽出機能353は、入力インターフェース32を介してCT画像上に指定された領域を注目領域として抽出することができる。すなわち、抽出機能353は、ユーザが手動で指定した領域を注目領域として抽出する。
また、例えば、抽出機能353は、既知の領域抽出技術によりCT画像に描出される解剖学的構造に基づいて注目領域を抽出することができる。例えば、抽出機能353は、CT値に基づく大津の二値化法、領域拡張法、スネーク法、グラフカット法、ミーンシフト法などを用いて、CT画像における注目領域を抽出する。
また、その他、抽出機能353は、機械学習技術(深層学習含)を用いて事前に準備された学習用データに基づいて構築される学習済みモデルを用いて、CT画像における注目領域を抽出することができる。
ここで、画像全体を対象としてグラフカット法などの処理を行った場合、計算コストが過剰に高くなる可能性がある。そこで、抽出機能353は、注目領域に関連し、且つ、注目領域よりも大きいが画像全体よりは小さい領域(以下、関連領域と記す)を抽出処理の対象とすることもできる。例えば、注目領域を大動脈弁とする場合、抽出機能353は、関心領域として、心臓領域や左心室及び左心室の周囲の領域等を特定する。そして、抽出機能353は、特定した関連領域にのみ上記した抽出処理を適用し、注目領域を抽出する。なお、関連領域は、入力インターフェース32を用いて手動により設定される場合でもよい。
また、注目領域の周囲の領域も同様の手法により抽出してもよい。例えば、抽出機能353は、大動脈弁葉だけでなく、Valsalva洞を始めとする上行大動脈の領域や、左心房、左心室、右心房、右心室などの心腔を示す領域やLVOT領域を抽出してもよい。また、抽出機能353は、大動脈弁又は周囲の領域における特徴的な点を抽出した領域に基づいて特定してもよい。例えば、抽出機能353は、「Nadir」や「Commissure」や「冠動脈入口部」などの位置を特定してもよい。
(初期断面位置の特定処理)
図2のステップS103で説明したように、特定機能354は、大動脈弁の領域または特徴点の抽出結果に基づいて、各弁葉(LCC、RCC、NCC)の領域を特定し、特定した各弁葉を観察しやすい初期断面位置をそれぞれ特定する。具体的には、特定機能354は、弁葉ごとに、Nadir断面(すなわち、3つのNadirを通る断面)に垂直な断面を設定し、設定した断面を初期断面位置として特定する。
図8は、第1の実施形態に係る初期断面位置の特定処理の一例を説明するための図である。なお、図8では、大動脈弁の各弁葉に対する初期断面位置の特定を模式的に示す。例えば、NCCの観察しやすい断面を設定する方法として、特定機能354は、まず、図8における、NCCとRCCとの間のCommissure位置701と、NCCとLCCとの間のCommissure位置702と、を結ぶ線分704の中点の位置705を特定する。そして、特定機能354は、RCCとLCCとの間のCommissure位置703と中点の位置705とを結ぶ直線706を通り、Nadir断面に垂直な断面をNCCの観察しやすい断面の初期断面として設定する。
同様に、LCCの観察しやすい断面を設定する方法として、特定機能354は、まず、図8における、LCCとRCCとの間のCommissure位置703と、LCCとNCCとの間のCommissure位置702と、を結ぶ線分708の中点の位置707を特定する。そして、特定機能354は、NCCとRCCとの間のCommissure位置701と中点の位置707とを結ぶ直線709を通り、Nadir断面に垂直な断面をLCCの観察しやすい断面の初期断面として設定する。
同様に、RCCの観察しやすい断面を設定する方法として、特定機能354は、まず、図8における、RCCとNCCとの間のCommissure位置701と、RCCとLCCとの間のCommissure位置703と、を結ぶ線分711の中点の位置710を特定する。そして、特定機能354は、NCCとLCCとの間のCommissure位置702と中点の位置710とを結ぶ直線712を通り、Nadir断面に垂直な断面をRCCの観察しやすい断面の初期断面として設定する。
なお、上記した方法の場合、3つの初期断面位置が1点で交差しない場合がある。1点で交差しない場合、以降のステップで不都合が起きる場合があるため、最後の1断面(例えばRCCを観察しやすい断面)を設定する方法は、RCCとNCCとの間のCommissure位置701と、RCCとLCCとの間のCommissure位置703と、を結ぶ線分711の中点の位置710を特定し、先に特定する直線706と直線709との交点713と中点の位置710とを結ぶ直線を直線712として、直線712を通りNadir断面に垂直な断面をRCCの観察しやすい断面の初期断面として設定してもよい。上記した方法はあくまでも一例であり、断面位置の特定はどのような手法を用いてもよい。
(弁葉の判定処理)
図2のステップS104で説明したように、判定機能355は、設定された断面位置において観察しやすい弁葉を判定する。具体的には、判定機能355は、設定された断面に含まれる弁葉の種別を判定する。例えば、判定機能355は、複数の弁葉の構造情報に基づいて断面における種別の判定対象となる範囲を決定し、決定した範囲に含まれる情報を用いて指標を算出し、算出した指標に基づいて弁葉の種別を判定する。
図9は、第1の実施形態に係る弁葉の判定処理の一例を説明するための図である。ここで、図9は、図8において設定された断面に含まれる弁葉の種別の判定について模式的に示す。例えば、判定機能355は、直線706を通りNadir断面に垂直な断面と、直線709を通りNadir断面に垂直な断面と、直線712を通りNadir断面に垂直な断面とについて、観察しやすい弁葉の種別をそれぞれ判定する。
ここで、判定機能355は、各断面に対して、種別の判定対象となる範囲をそれぞれ決定する。例えば、判定機能355は、直線706を通りNadir断面に垂直な断面における種別の判定対象となる範囲として、範囲715を決定する。範囲715は、直線706を通りNadir断面に垂直な断面において、交点713を境界としてCommissure位置703を含まない側の範囲(つまり、範囲715を通りNadir断面に垂直な範囲)である。同様に、判定機能355は、直線709を通りNadir断面に垂直な断面における種別の判定対象となる範囲として、範囲714を決定し、直線712を通りNadir断面に垂直な断面における種別の判定対象となる範囲として、範囲716を決定する。
このように、判定機能355は、初期断面として設定された3つの断面それぞれで、交点713を境界とした2つの範囲のうちCommissure位置を含まない範囲を、種別の判定対象となる範囲として決定する。
そして、判定機能355は、3つの断面それぞれについて、決定した範囲を対象として、弁葉を判定するための指標を算出する。例えば、判定機能355は、決定した範囲における各弁葉の領域が示す大きさ(画素数)を算出し、算出したに基づいて、弁葉の種別を判定する。
例えば、判定機能355は、直線706が示す断面画像のうち範囲715に対応する領域について、各弁葉の領域に対応する画素数を算出し、最も画素数が多い領域が示す弁葉を、直線706が示す断面画像において観察しやすい弁葉とする。ここで、図9で示す初期断面位置では、直線706が示す断面画像で観察しやすい弁葉はNCCと判定される。
同様に、判定機能355は、直線709が示す断面画像のうち範囲714に対応する領域について、各弁葉の領域に対応する画素数を算出して、観察しやすい弁葉を判定する。また、判定機能355は、直線712が示す断面画像のうち範囲716に対応する領域について、各弁葉の領域に対応する画素数を算出して、観察しやすい弁葉を判定する。
上述した例では、画素数を算出する対象の範囲を、Commissure位置に基づいて決定する場合について説明した。しかしながら、実施形態はこれに限定されるものではなく、その他の位置に基づいて画素数を算出する対象の範囲を決定する場合でもよい。図9では、初期断面位置を対象として範囲を決定するため、交点713を境界とした2つの範囲のうち、一方にCommissure位置が含まれているが、断面の位置が移動された場合(例えば、3つの断面が回転された場合)、断面内にCommissure位置が含まれなくなる場合がある。
そこで、判定機能355は、例えば、Commissure位置間を結ぶ線分や、線分の中点などを用いて範囲を決定する場合でもよい。一例を挙げると、判定機能355は、Commissure位置間を結ぶ線分に対する断面を示す直線の角度や、線分の中点と断面を示す直線との距離などに基づいて範囲を決定する場合でもよい。
図10A及び図10Bは、第1の実施形態に係る判定対象の範囲の決定処理の一例を説明するための図である。ここで、図10A及び図10Bは、図9における直線706を通りNadir断面に垂直な断面と、直線709を通りNadir断面に垂直な断面と、直線712を通りNadir断面に垂直な断面とが、交点713を軸として時計回りにそれぞれ回転された状態を示す。また、図10Aは、Commissure位置間を結ぶ線分に対する断面を示す直線の角度を用いて、観察しやすい弁葉の種別を判定する場合を示す。また、図10Bは、Commissure位置間を結ぶ線分の中点と断面を示す直線との距離を用いて、観察しやすい弁葉の種別を判定する場合を示す。
例えば、判定機能355は、図10Aに示す直線706を通りNadir断面に垂直な断面について、直線706と交わるCommissure位置間を結ぶ線分(線分704及び線分711)を抽出する。そして、判定機能355は、抽出した各線分に対する直線706の角度を算出して、交点713を境界とした2つの範囲のうち角度が90度に近い側の範囲を、画素数を算出する対象の範囲として決定する。例えば、判定機能355は、図10Aに示す角度「θ1」と「θ2」とをそれぞれ算出し、角度が90度に近い「θ1」側の範囲717を、種別の判定対象となる範囲として決定する。判定機能355は、直線709を通りNadir断面に垂直な断面と、直線712を通りNadir断面に垂直な断面とについても同様に、種別の判定対象となる範囲として決定する。
また、例えば、判定機能355は、図10Bに示す直線712を通りNadir断面に垂直な断面について、直線712と交わるCommissure位置間を結ぶ線分(線分708及び線分711)を抽出する。そして、判定機能355は、抽出した各線分の中点と、直線712との距離を算出して、交点713を境界とした2つの範囲のうち、中点までの距離が短い側の範囲を、画素数を算出する対象の範囲として決定する。例えば、判定機能355は、図10Bに示す距離「D1」と「D2」とをそれぞれ算出し、距離が短い「D2」側の範囲718を、種別の判定対象となる範囲として決定する。判定機能355は、直線706を通りNadir断面に垂直な断面と、直線709を通りNadir断面に垂直な断面とについても同様に、種別の判定対象となる範囲として決定する。
(表示形態の設定処理)
図2のステップS105で説明したように、制御機能351は、弁葉に関する表示形態と、表示断面に関する情報の表示形態とを設定する。具体的には、制御機能351は、複数の弁葉各々の表示形態と、断面画像に含まれる弁葉の種別の判定結果とに基づいて、表示断面に関する情報の表示形態を決定する。例えば、制御機能351は、図6Aに示す設定画面で設定された各弁葉の表示形態(色など)を参照し、対応する弁葉が観察しやすい断面画像に関する情報の表示形態を、設定画面で設定された表示形態に合わせるように決定する。一例を挙げると、制御機能351は、図6Aに示す設定画面で設定されたLCCの表示形態(色など)と、LCCが観察しやすい断面画像に関する情報の表示形態とを一致させるように表示形態を設定する。
ここで、制御機能351は、断面画像に関する情報として、例えば、断面の位置を示す参照情報及び断面画像の表示領域を対象とする。例えば、制御機能351は、弁葉の表示形態と同じ表示形態となるように、断面の位置を示すリファレンスライン及び断面画像の表示領域枠の表示形態を設定する。これにより、リファレンスラインや表示領域と弁葉との関係がわかりやすくなる。より具体的には、例えば、LCCの領域を赤色で表示するように設定した場合、LCCの観察しやすい断面として判定された断面を示すリファレンスラインの色や当該断面を表示する表示領域の枠の色も同様に赤色に設定する。
なお、複数の断面が同一の弁葉を観察しやすい断面と判定されている場合は、それら複数の断面を示すリファレンスラインや当該断面を表示する表示領域の枠などを同一の表示形態に設定してもよいが、それらを区別するためにステップS104の判定に用いた指標(本実施形態では画素数)を比較することにより、当該指標の大きさに基づいた異なる表示形態に設定してもよい。つまり、明度や透過度やRGB値の一部の系統の値を当該指標の大きさに基づいて変更することで、同一系統であるが異なる表示形態に設定することができる。すなわち、制御機能351は、種別の判定結果において複数の断面に同一の弁葉が含まれると判定された場合に、種別の判定結果と各断面から算出された各指標に基づいて、断面に関する情報の表示形態を決定する。
その他、ステップ104における判定に基づいてどのような表示形態を設定してもよい。例えば、ステップ104で判定に用いた指標(本実施形態では画素数)を各断面で比較し、その指標の大きさに基づいて表示領域の大きさを変更してもよい。
(断面画像の表示処理)
図2のステップS106で説明したように、制御機能351は、ステップS105で設定した表示形態に基づいて断面画像を表示する。例えば、制御機能351は、弁葉の表示形態と対応付けた表示形態で、リファレンスライン及び断面の表示領域枠を表示させる。
図11Aは、第1の実施形態に係る表示処理の一例を示す図である。例えば、制御機能351は、図11Aに示すように、NCCが観察しやすい断面を示すリファレンスライン810aの色と当該断面を表示する領域801の枠811aの色とを、VR画像においてNCC領域812aを表す色と同じ色(例えば、緑色)で表現する。同様に、制御機能351は、RCCが観察しやすい断面を示すリファレンスライン810bの色と当該断面を表示する領域802の枠811bの色とを、VR画像においてRCC領域812bを表す色と同じ色(例えば、オレンジ色)で表現する。同様に、制御機能351は、LCCが観察しやすい断面を示すリファレンスライン810cの色と当該断面を表示する領域803の枠811cの色とを、VR画像においてLCC領域812cを表す色と同じ色(例えば、水色)で表現する。さらに、制御機能351は、領域804に示すように、各領域に観察しやすい断面を示す文字列を重ねて表示することもできる。また、制御機能351は、当該文字列の色も同様に合わせて表示することもできる。
上述したように、本実施形態に係るリファレンスラインは、種々の操作を受け付けることができる。以下、表示画面におけるリファレンスラインに対する操作について、ステップS101にて説明した内容と異なる点について説明する。あくまで操作系の説明であるため、ここではリファレンスラインの操作によって断面位置が変更されることによる表示形態の変更(ステップS107以降)については説明を省略する。
図11B~図11Dは、第1の実施形態に係る表示処理の一例を示す図である。ここで、図11Bは、3本のリファレンスライン(810a、810b、810c)の交差点を画面左上に移動させた場合の画面例である。このように、リファレンスライン(810a、810b、810c)の交差点を移動させた場合、図4Bにおいて説明したように、領域801~803において表示される断面画像が変化する。
ここで、本画面は注目領域(大動脈弁)を観察するための画面であるため、交差点の移動範囲に制限を与えるように制御してもよい。具体的には、制御機能351は、心臓弁に対応する領域の抽出結果に基づいて、心臓弁に関する表示断面の設定範囲を制御する。例えば、制御機能351は、ステップS102で抽出された弁葉や周囲の構造を示す領域または特徴点に基づいて、制御する範囲を決定する。一例を挙げると、制御機能351は、ステップS102における抽出結果に基づいて、曲線805で示すValsalva洞を示す領域を特定し、特定した領域の外側に交差点が移動できないように制御する。
図11Cは、RCCを観察しやすい断面を示すリファレンスライン810bを下側に平行移動した場合の例である。ここで、制御機能351は、心臓弁に関する複数の表示断面のうち、少なくとも1つの表示断面の位置を移動させる設定を受け付け、複数の断面の位置を示すリファレンスラインの表示において、位置が移動された断面の移動前の位置を示すリファレンスラインと、移動後の位置を示すリファレンスラインとを類似した表示形態でそれぞれ表示させる。
例えば、制御機能351は、3つのリファレンスラインの交差点の位置の表示を維持するために、もとのリファレンスライン810bは移動させず、移動させた位置に元のリファレンスライン810bと類似した表示形態(同じ色等)のリファレンスライン810dを表示する。これは領域802をスライス送り(ブラウズ)した際も同様の制御となる。すなわち、制御機能351は、回転を示すリファレンスライン810bと断面位置を示すリファレンスライン810dとを両方表示する。
図11Dは、図11Cの状態からRCCを観察しやすい断面を示すリファレンスライン810bを時計回りに45度移動させた場合の画面例である。ここで、制御機能351は、移動前の位置を示すリファレンスライン810bによって、位置が移動された表示断面の回転操作を受け付け、移動前の位置を示すリファレンスライン810bと、移動後の位置を示すリファレンスライン810dとの位置関係を維持した状態で、回転操作に応じた位置に、移動前の位置を示すリファレンスライン810bと移動後の位置を示すリファレンスライン810dとを表示させる。すなわち、平行移動を加えた後に回転動作を加える場合は、制御機能351は、2つのリファレンスラインの関係性を保ちつつ(平行、かつ、ライン間の距離を維持しつつ)回転させる。
なお、図11Dに示すように、リファレンスライン810bに平行移動を加えた際に回転を示すリファレンスライン810bと断面位置を示すリファレンスライン810dの両方が表示されるが、これらのリファレンスラインの両方の表示形態をステップS105で設定した表示形態に合わせてもよいし、どちらか一方のみを合わせてもよい。
ここで、領域801~803における各断面画像の表示条件について補足する。領域801~803における断面画像は比較しやすいように表示した方がよい。そこで、制御機能351は、心臓弁の形態情報に基づいて、心臓弁に関する複数の断面の表示位置を調整する。例えば、制御機能351は、複数の断面画像を表示する際に、断面画像に対して一定の回転を加える。
図12は、第1の実施形態に係る断面画像の表示処理の一例を説明するための図である。例えば、制御機能351は、ステップS102にて抽出された注目領域に基づいて、各弁葉の「Nadir」の位置を特定する。そして、制御機能351は、図12の直線900に示すように、各領域に対して「Nadir」の位置が同じ方向及び位置になるように、表示を制御する。なお、制御機能351は、観察しやすいと判定された弁葉が、向かって左側に表示されるように制御することもできる。
(断面位置の変更処理)
図2のステップS107で説明したように、制御機能351は、ステップS106で表示させた断面画像の位置の移動を受け付けることができる。ここで、断面画像の位置の移動を受け付けた場合、ステップS104に戻って、断面位置の判定が行われる。
(終了の判定処理)
図2のステップS108で説明したように、制御機能351は、ユーザが読影を終了するか否かを判定する。例えば、制御機能351は、不図示の読影終了ボタンなどをユーザが指定することなどによって、読影が終了したか否かを判定する。
(変形例1)
上述した実施形態では、ステップS104及びステップS105において、各断面を弁葉の領域に基づいて判定し、リファレンスラインの色などの表示形態を決定した。しかしながら、実施形態はこれに限定されるものではなく、表示形態は他の情報を更に用いて決定される場合でもよい。具体的には、制御機能351は、複数の弁葉各々の表示形態と種別の判定結果とに加え、弁葉の性状に基づいて、断面に関する情報の表示形態を決定する。
例えば、制御機能351は、ステップS104で特定された観察しやすい弁葉において、当該弁葉の性状に基づいて表示形態を更に変更する。一例を挙げると、観察しやすい弁葉において石灰化が存在する断面であった場合、制御機能351は、リファレンスラインの太さを変更してもよい。なお、制御機能351は、太さに限らず、リファレンスライン事態を別の色で囲うような表示形態とすることもでき、或いは、リファレンスラインの形態(実線や点線、点線の細かさなど)を変更することもできる。これにより、ユーザは、リファレンスラインを観察することにより当該断面における石灰化の有無など弁葉の性状を把握することができるようになる。
ここで、制御機能351による弁葉の石灰化の特定処理の一例について、図13A、図13B、図14を用いて説明する。図13A及び図13Bは、変形例1に係るボリュームデータの一例を示す図である。また、図14は、変形例1に係る石灰化の特定処理の一例を説明するための図である。
図13A及び図13Bに示すように、本変形例では、説明の簡略化のため、画像取得機能352が、頭尾方向に順に並んだ8つのスライス画像S1~S8を含み、かつ、各スライス画像がX方向に10画素及びY方向に10画素を含むボリュームデータの画像データセットを取得したとする。
制御機能351は、8つのスライス画像S1~S8について石灰化領域を特定する。ここで、石灰化領域の特定は、既知の手法によって適宜実行される。例えば、制御機能351は、図14に示すように、8つのスライス画像S1~S8について、それぞれ石灰化領域(図14において黒色を付けた画素)を特定することで、ボリュームデータ全体の石灰化領域を特定する。
そして、制御機能351は、ボリュームデータにおける断面画像の位置を特定し、各断面画像に石灰化領域が含まれるが否かを判定する。例えば、制御機能351は、図14においてリファレンスラインL1で示す断面が、スライス画像S2やスライス画像S8の対応する位置に石灰化(黒色を付けた画素)を含んでいると判定する。この場合、制御機能351は、リファレンスラインL1の表示形態を変更する。例えば、制御機能351は、図14に示すように、リファレンスラインL1の太さを変更したり、リファレンスラインの枠を赤色で囲むようにしたりする。
一方、図14においてリファレンスラインL2で示す断面、及び、リファレンスラインL3で示す断面には、石灰化が含まれていないため、制御機能351は、いずれのリファレンスラインについても表示形態を変更しない。
なお、本変形例で決定した追加の表示形態については、ステップS106にて反映させて表示してもよいし、表示しなくてもよい。すなわち、表示領域の枠の色だけを反映させて、石灰化の有無による表示形態の変化(太さ、枠色、実線又は点線等)については反映させない場合でもよい。また、弁葉の性状は石灰化に限らず、弁葉の穴や裂けなどの異常形態の位置を検出し、当該異常形態が各断面に存在する場合に表示形態を変更するように制御してもよい。
(変形例2)
上述した実施形態では、リファレンスラインをスライス方向に平行移動させる場合について説明した。しかしながら、実施形態はこれに限定されるものではなく、任意の方向にリファレンスラインを移動させる場合でもよい。図15A及び図15Bは、変形例2に係るリファレンスラインの移動の一例を示す図である。
制御機能351は、心臓弁における接合部の先端の位置に基づく位置への断面の移動を受け付ける。例えば、制御機能351は、ステップS102における注目領域(心臓弁)の抽出結果に基づいて、各弁葉の接合部の先端の位置を取得する。一例を挙げると、制御機能351は、図15Aに示すように、弁葉の接合部の先端の位置1001~1005を取得する。なお、図15Aでは、説明の便宜上、接合部の先端の位置を5つ取得している場合を示しているが、実施形態はこれに限定されるものではなく、任意の数を取得することができる。また、図15Aでは、説明の便宜上、図中の平面上に接合部の先端の位置を示しているが、実際には、接合部の先端の位置は、図の奥行方向に異なる位置となる。
図15Aに示すように、接合部の先端の位置を取得すると、制御機能351は、各先端と先端とを繋いだ線分を特定し、特定した線分又は当該線分を観察断面(図15Aに示す断面)に垂直投影した線分を特定する。例えば、制御機能351は、位置1001と位置1002とを結ぶ線分を観察断面に垂直投影した線分1006を特定する。同様に、制御機能351は、各位置間を結ぶ線分を観察断面に垂直投影した線分をそれぞれ特定する。なお、先端と先端とを繋ぐ線分は、最も近い位置の2つの先端の間を直線で繋いでもよいし、複数の先端の位置に対してスプライン補間などの既知の数値解析技術を用いて曲線で繋いでもよい。
そして、制御機能351は、特定した各線分に対して直交する方向にリファレンスラインを移動させる。例えば、制御機能351は、リファレンスラインL4を、線分1006に直交する線分L5の位置に移動させる。同様に、制御機能351は、特定した各線分に対して直交する方向にリファレンスラインL4を移動させる。
また、制御機能351は、断面に含まれる弁葉の位置に基づく位置への断面の移動を受け付ける。例えば、制御機能351は、断面画像に含まれる各弁葉の位置を取得する。一例を挙げると、制御機能351は、図15Bに示すように、断面画像において、1つの弁葉の接合部側の位置を示す曲線1007を取得する。そして、制御機能351は、取得した曲線1007の各位置において垂直な方向にリファレンスラインL4を移動させる。例えば、制御機能351は、曲線1007に沿って、各位置で直交する線分L6や線分L7の位置に、リファレンスラインL4を移動させる。
(変形例3)
上述した実施形態で説明した画像の表示領域は、リファレンスラインへの操作や、VR画像の表示状態によってサイズが設定される場合でもよい。図16A及び図16Bは、変形例3に係る表示領域の変更の一例を示す図である。
例えば、制御機能351は、図16Aに示すリファレンスライン810a~810cに対する操作に応じて、断面画像の表示領域のサイズを設定する。一例を挙げると、ユーザが、RCCが観察しやすい断面を示すリファレンスライン810bに対して回転や、平行移動などの操作を実行する。かかる場合には、制御機能351は、図16Aに示すように、RCCが観察しやすい断面画像を表示する領域802を、他の表示領域(領域801及び領域803)よりも大きなサイズに設定し、設定した領域802にRCCが観察しやすい断面画像を表示させる。
また、例えば、制御機能351は、図16Bの領域813において表示されるVR画像の表示状態に応じて、断面画像の表示領域のサイズを設定する。一例を挙げると、制御機能351は、領域813に表示されているVR画像において最も画面手前側に表示されている領域を判定し、判定した領域が観察しやすい断面を表示する表示領域を他の表示領域よりも大きなサイズに設定する。例えば、図16Bに示すように、領域813のVR画像において最も画面手前側に表示されている領域がRCC領域812bである場合、制御機能351は、RCCが観察しやすい断面画像を表示する領域802を、他の表示領域(領域801及び領域803)よりも大きなサイズに設定し、設定した領域802にRCCが観察しやすい断面画像を表示させる。
なお、VR画像の表示状態は、画面手前側だけでなく、表示されている弁葉領域のサイズが用いられる場合でもよい。かかる場合には、例えば、制御機能351は、領域813に表示されているVR画像における各弁葉領域(NCC領域812a、RCC領域812b、LCC領域812c)のサイズをそれぞれ算出する。そして、制御機能351は、算出したサイズのうち最も大きなサイズとなる弁葉の断面画像を表示する領域を、他の表示領域よりも大きなサイズに設定する。
(変形例4)
上述した実施形態では、通常の3尖弁の大動脈弁を対象とする場合について説明した。しかしながら、実施形態はこれに限定されるものではなく、例えば、大動脈4尖弁を対象とする場合でもよい。かかる場合には、医用画像処理装置3は、4つの弁それぞれについて、弁葉の表示形態と、表示断面に関する情報(リファレンスライン及び表示領域枠)の表示形態とを対応付けて表示させる。
上述したように、第1の実施形態によれば、画像取得機能352は、少なくとも心臓弁を含むボリュームデータを取得する。抽出機能353は、ボリュームデータに含まれる心臓弁に対応する領域を抽出する。特定機能354は、心臓弁に含まれる複数の弁葉を各々特定する。制御機能351は、複数の弁葉各々を異なる表示形態で表示させる。制御機能351は、心臓弁に関する表示断面の設定を受け付ける。制御機能351は、表示断面に関する情報を、複数の弁葉の内、設定された表示断面の位置に対応する弁葉の表示形態と対応付けた表示形態とする。したがって、第1の実施形態に係る医用画像処理装置3は、弁葉の表示形態と、当該弁葉を観察しやすい表示断面に関する情報とを対応付けて表示させることができ、表示された弁葉の識別を容易にすることを可能にする。その結果、医用画像処理装置3は、弁葉の見間違いの発生を抑止することを可能にする。
また、第1の実施形態によれば、判定機能355は、表示断面に含まれる弁葉の種別を判定する。制御機能351は、複数の弁葉各々の表示形態と種別の判定結果とに基づいて、表示断面に関する情報の表示形態を決定する。したがって、第1の実施形態に係る医用画像処理装置3は、表示断面で観察しやすい弁葉を判別することができ、弁葉の表示形態と、当該弁葉を観察しやすい表示断面に関する情報とを正確に対応付けることを可能にする。
また、第1の実施形態によれば、判定機能355は、複数の弁葉の構造情報に基づいて表示断面における種別の判定対象となる範囲を決定し、決定した範囲に含まれる情報を用いて指標を算出し、算出した指標に基づいて弁葉の種別を判定する。したがって、第1の実施形態に係る医用画像処理装置3は、表示断面において観察しやすい弁葉を正確に判定することを可能にする。
また、第1の実施形態によれば、判定機能355は、複数の弁葉の構造情報に基づいて、複数の表示断面における範囲を各々決定し、決定した各範囲について指標を各々算出し、算出した各指標に基づいて複数の表示断面に含まれる弁葉の種別を各々判定する。制御機能351は、種別の判定結果において複数の表示断面に同一の弁葉が含まれると判定された場合に、種別の判定結果と各表示断面から算出された各指標に基づいて、表示断面に関する情報の表示形態を決定する。したがって、第1の実施形態に係る医用画像処理装置3は、観察し易い弁葉を、より正確に判定することを可能にする。
また、第1の実施形態によれば、制御機能351は、複数の弁葉の内、設定された表示断面の位置に対応する弁葉の表示形態と対応付けた表示形態で、表示断面の位置を示すリファレンスライン及び表示断面の表示領域枠を表示させる。したがって、第1の実施形態に係る医用画像処理装置3は、リファレンスラインや表示領域と弁葉との関係がわかりやすくすることを可能にする。
また、第1の実施形態によれば、制御機能351は、心臓弁に対応する領域の抽出結果に基づいて、心臓弁に関する表示断面の設定範囲を制御する。したがって、第1の実施形態に係る医用画像処理装置3は、適切な表示断面の設定を可能にする。
また、第1の実施形態によれば、制御機能351は、心臓弁に関する複数の表示断面のうち、少なくとも1つの表示断面の位置を移動させる設定を受け付ける。また、制御機能351は、複数の表示断面の位置を示す参照情報の表示において、位置が移動された表示断面の移動前の位置を示す参照情報と、移動後の位置を示す参照情報とを類似した表示形態でそれぞれ表示させる。したがって、第1の実施形態に係る医用画像処理装置3は、操作しやすいリファレンスラインを実現することを可能にする。
また、第1の実施形態によれば、制御機能351は、移動前の位置を示す参照情報によって、前記位置が移動された表示断面の回転操作を受け付ける。また、制御機能351は、移動前の位置を示す参照情報と、移動後の位置を示す参照情報との位置関係を維持した状態で、回転操作に応じた位置に、移動前の位置を示す参照情報と移動後の位置を示す参照情報とを表示させる。したがって、第1の実施形態に係る医用画像処理装置3は、観察断面と、回転位置との位置関係を正確に把握することを可能にする。
また、第1の実施形態によれば、制御機能351は、心臓弁の形態情報に基づいて、心臓弁に関する複数の表示断面の表示位置を調整する。したがって、第1の実施形態に係る医用画像処理装置3は、観察しやすい断面画像を表示させることを可能にする。
また、第1の実施形態によれば、制御機能351は、複数の弁葉各々の表示形態と種別の判定結果とに加え、弁葉の性状に基づいて、表示断面に関する情報の表示形態を決定する。したがって、第1の実施形態に係る医用画像処理装置3は、弁葉の性状に関する異常を一目で把握することを可能にする。
また、第1の実施形態によれば、制御機能351は、心臓弁における接合部の先端の位置に基づく位置への表示断面の移動を受け付ける。また、制御機能351は、表示断面に含まれる弁葉の位置に基づく位置への表示断面の移動を受け付ける。したがって、第1の実施形態に係る医用画像処理装置3は、種々の表示断面を表示させることを可能にする。
(その他の実施形態)
また、上述した実施形態では、弁葉の画像を医用画像処理装置3のディスプレイ33に表示させる場合の例を説明したが、実施形態はこれに限られない。例えば、弁葉の画像をネットワークに接続された他の装置のディスプレイに表示させる場合でもよい。
なお、上述した実施形態では、本明細書における制御部、画像取得部、抽出部、特定部、及び、判定部を、それぞれ、処理回路の制御機能、画像取得機能、抽出機能、特定機能、及び、判定機能によって実現する場合の例を説明したが、実施形態はこれに限られない。例えば、本明細書における制御部、画像取得部、抽出部、特定部、及び、判定部は、実施形態で述べた制御機能、画像取得機能、抽出機能、特定機能、及び、判定機能によって実現する他にも、ハードウェアのみ、ソフトウェアのみ、又は、ハードウェアとソフトウェアとの混合によって同機能を実現するものであっても構わない。
また、上述した実施形態の説明で用いた「プロセッサ」という文言は、例えば、CPU(Central Processing Unit)、GPU(Graphics Processing Unit)、又は、特定用途向け集積回路(Application Specific Integrated Circuit:ASIC)、プログラマブル論理デバイス(例えば、単純プログラマブル論理デバイス(Simple Programmable Logic Device:SPLD)、複合プログラマブル論理デバイス(Complex Programmable Logic Device:CPLD)、及びフィールドプログラマブルゲートアレイ(Field Programmable Gate Array:FPGA))等の回路を意味する。ここで、記憶回路にプログラムを保存する代わりに、プロセッサの回路内にプログラムを直接組み込むように構成しても構わない。この場合には、プロセッサは回路内に組み込まれたプログラムを読み出し実行することで機能を実現する。また、本実施形態の各プロセッサは、プロセッサごとに単一の回路として構成される場合に限らず、複数の独立した回路を組み合わせて一つのプロセッサとして構成され、その機能を実現するようにしてもよい。
ここで、プロセッサによって実行される医用画像処理プログラムは、ROM(Read Only Memory)や記憶回路等に予め組み込まれて提供される。なお、この医用画像処理プログラムは、これらの装置にインストール可能な形式又は実行可能な形式のファイルでCD(Compact Disk)-ROM、FD(Flexible Disk)、CD-R(Recordable)、DVD(Digital Versatile Disk)等のコンピュータで読み取り可能な非一過性の記憶媒体に記録されて提供されてもよい。また、この医用画像処理プログラムは、インターネット等のネットワークに接続されたコンピュータ上に格納され、ネットワーク経由でダウンロードされることによって提供又は配布されてもよい。例えば、この医用画像処理プログラムは、上述した各処理機能を含むモジュールで構成される。実際のハードウェアとしては、CPUが、ROM等の記憶媒体から医用画像処理プログラムを読み出して実行することにより、各モジュールが主記憶装置上にロードされて、主記憶装置上に生成される。
また、上述した実施形態及び変形例において、図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散又は統合の具体的形態は図示のものに限られず、その全部又は一部を、各種の負荷や使用状況等に応じて、任意の単位で機能的又は物理的に分散又は統合して構成することができる。更に、各装置にて行なわれる各処理機能は、その全部又は任意の一部が、CPU及び当該CPUにて解析実行されるプログラムにて実現され、或いは、ワイヤードロジックによるハードウェアとして実現され得る。
また、上述した実施形態及び変形例において説明した各処理のうち、自動的に行なわれるものとして説明した処理の全部又は一部を手動的に行なうこともでき、或いは、手動的に行なわれるものとして説明した処理の全部又は一部を公知の方法で自動的に行なうこともできる。この他、上記文書中や図面中で示した処理手順、制御手順、具体的名称、各種のデータやパラメータを含む情報については、特記する場合を除いて任意に変更することができる。
以上説明した少なくとも一つの実施形態によれば、表示された弁葉の識別を容易にすることができる。
いくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。
3 医用画像処理装置
35 処理回路
351 制御機能
352 画像取得機能
353 抽出機能
354 特定機能
355 判定機能

Claims (14)

  1. 少なくとも心臓弁を含むボリュームデータを取得する取得部と、
    前記ボリュームデータに含まれる前記心臓弁に対応する領域を抽出する抽出部と、
    前記心臓弁に含まれる複数の弁葉を各々特定する特定部と、
    前記複数の弁葉各々を異なる表示形態で表示させる表示制御部と、
    前記心臓弁に関する表示断面の設定を受け付ける受付部と、
    を備え、
    前記表示制御部は、前記表示断面に関する情報を、前記複数の弁葉の内前記受付部にて設定された前記表示断面の位置に対応する弁葉の表示形態と対応付けた表示形態とする、
    医用画像処理装置。
  2. 前記表示断面に含まれる弁葉の種別を判定する判定部をさらに備え、
    前記表示制御部は、前記複数の弁葉各々の表示形態と前記種別の判定結果とに基づいて、前記表示断面に関する情報の表示形態を決定する、請求項1に記載の医用画像処理装置。
  3. 前記判定部は、前記複数の弁葉の構造情報に基づいて前記表示断面における前記種別の判定対象となる範囲を決定し、決定した範囲に含まれる情報を用いて指標を算出し、算出した指標に基づいて前記弁葉の種別を判定する、請求項2に記載の医用画像処理装置。
  4. 前記判定部は、前記複数の弁葉の構造情報に基づいて、複数の前記表示断面における前記範囲を各々決定し、決定した各範囲について前記指標を各々算出し、算出した各指標に基づいて複数の前記表示断面に含まれる弁葉の種別を各々判定し、
    前記表示制御部は、前記種別の判定結果において複数の前記表示断面に同一の弁葉が含まれると判定された場合に、前記種別の判定結果と各表示断面から算出された各指標に基づいて、前記表示断面に関する情報の表示形態を決定する、請求項3に記載の医用画像処理装置。
  5. 前記表示制御部は、前記複数の弁葉の内前記受付部にて設定された前記表示断面の位置に対応する弁葉の表示形態と対応付けた表示形態で、前記表示断面の位置を示す参照情報及び前記表示断面の表示領域を表示させる、請求項1~4のいずれか1つに記載の医用画像処理装置。
  6. 前記受付部は、前記心臓弁に対応する領域の抽出結果に基づいて、前記心臓弁に関する表示断面の設定範囲を制御する、請求項1~5のいずれか1つに記載の医用画像処理装置。
  7. 前記受付部は、前記心臓弁に関する複数の表示断面のうち、少なくとも1つの表示断面の位置を移動させる設定を受け付け、
    前記表示制御部は、前記複数の表示断面の位置を示す参照情報の表示において、位置が移動された表示断面の移動前の位置を示す参照情報と、移動後の位置を示す参照情報とを類似した表示形態でそれぞれ表示させる、請求項1~6のいずれか1つに記載の医用画像処理装置。
  8. 前記受付部は、前記移動前の位置を示す参照情報によって、前記位置が移動された表示断面の回転操作を受け付け、
    前記表示制御部は、前記移動前の位置を示す参照情報と、前記移動後の位置を示す参照情報との位置関係を維持した状態で、前記回転操作に応じた位置に、前記移動前の位置を示す参照情報と前記移動後の位置を示す参照情報とを表示させる、請求項7に記載の医用画像処理装置。
  9. 前記表示制御部は、前記心臓弁の形態情報に基づいて、前記心臓弁に関する複数の表示断面の表示位置を調整する、請求項1~8のいずれか1つに記載の医用画像処理装置。
  10. 前記表示制御部は、前記複数の弁葉各々の表示形態と前記種別の判定結果とに加え、前記弁葉の性状に基づいて、前記表示断面に関する情報の表示形態を決定する、請求項2に記載の医用画像処理装置。
  11. 前記受付部は、前記心臓弁における接合部の先端の位置に基づく位置への前記表示断面の移動を受け付ける、請求項1~10のいずれか1つに記載の医用画像処理装置。
  12. 前記受付部は、前記表示断面に含まれる弁葉の位置に基づく位置への前記表示断面の移動を受け付ける、請求項1~10のいずれか1つに記載の医用画像処理装置。
  13. 少なくとも心臓弁を含むボリュームデータを取得し、
    前記ボリュームデータに含まれる前記心臓弁に対応する領域を抽出し、
    前記心臓弁に含まれる複数の弁葉を各々特定し、
    前記複数の弁葉各々を異なる表示形態で表示させ、
    前記心臓弁に関する表示断面の設定を受け付け、
    前記表示断面に関する情報を、前記複数の弁葉の内、設定された前記表示断面の位置に対応する弁葉の表示形態と対応付けた表示形態とする、
    ことを含む、医用画像処理方法。
  14. 少なくとも心臓弁を含むボリュームデータを取得する取得機能と、
    前記ボリュームデータに含まれる前記心臓弁に対応する領域を抽出する抽出機能と、
    前記心臓弁に含まれる複数の弁葉を各々特定する特定機能と、
    前記複数の弁葉各々を異なる表示形態で表示させる表示制御機能と、
    前記心臓弁に関する表示断面の設定を受け付ける受付機能と、
    をコンピュータに実行させ、
    前記表示制御機能は、前記表示断面に関する情報を、前記複数の弁葉の内、設定された前記表示断面の位置に対応する弁葉の表示形態と対応付けた表示形態とする、医用画像処理プログラム。
JP2021165264A 2021-10-07 2021-10-07 医用画像処理装置、方法及びプログラム Pending JP2023056132A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2021165264A JP2023056132A (ja) 2021-10-07 2021-10-07 医用画像処理装置、方法及びプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2021165264A JP2023056132A (ja) 2021-10-07 2021-10-07 医用画像処理装置、方法及びプログラム

Publications (1)

Publication Number Publication Date
JP2023056132A true JP2023056132A (ja) 2023-04-19

Family

ID=86004636

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021165264A Pending JP2023056132A (ja) 2021-10-07 2021-10-07 医用画像処理装置、方法及びプログラム

Country Status (1)

Country Link
JP (1) JP2023056132A (ja)

Similar Documents

Publication Publication Date Title
JP6616306B2 (ja) 高度グラフィカルユーザインターフェースを有する放射線治療システム
US9478022B2 (en) Method and system for integrated radiological and pathological information for diagnosis, therapy selection, and monitoring
US9020235B2 (en) Systems and methods for viewing and analyzing anatomical structures
JP6088498B2 (ja) 医用画像を処理するシステム及び方法
JP5629272B2 (ja) 生物学的構造における時変パラメータの視覚化
US9563979B2 (en) Apparatus and method for registering virtual anatomy data
JP6427059B2 (ja) 眼科画像表示装置及び眼科撮影装置
US20070110295A1 (en) System and method for enhanced viewing of rib metastasis
US20130249903A1 (en) Medical image display device, medical information management server
WO2003045222A2 (en) System and method for visualization and navigation of three-dimensional medical images
JP6058286B2 (ja) 医用画像診断装置、医用画像処理装置及び方法
EP2810217B1 (en) Graph cuts-based interactive segmentation of teeth in 3-d ct volumetric data
JP2013192940A (ja) 医用画像処理装置及び医用画像処理方法
US9361711B2 (en) Lesion-type specific reconstruction and display of digital breast tomosynthesis volumes
US20180271460A1 (en) System for Synthetic Display of Multi-Modality Data
JP2017537363A (ja) 生体構造のボリュメトリック画像を視覚化すること
US20080112602A1 (en) Medical image generating method
JP2005185405A (ja) 医用画像処理装置、関心領域抽出方法、ならびに、プログラム
JP6440386B2 (ja) 情報処理装置及びプログラム
JP2012085833A (ja) 3次元医用画像データの画像処理システム、その画像処理方法及びプログラム
JP2010131315A (ja) 医用画像処理装置及び医用画像処理プログラム
US11024100B2 (en) Method and apparatus for transforming physical measurement data of a biological organ
JP2023056132A (ja) 医用画像処理装置、方法及びプログラム
JP7323989B2 (ja) コンピュータプログラム、記録媒体、表示装置及び表示方法
US20240169671A1 (en) Medical information processing apparatus, medical information processing method, recording medium, and information processing apparatus