JP7275261B2 - 3次元超音波画像生成装置、方法、及びプログラム - Google Patents

3次元超音波画像生成装置、方法、及びプログラム Download PDF

Info

Publication number
JP7275261B2
JP7275261B2 JP2021524696A JP2021524696A JP7275261B2 JP 7275261 B2 JP7275261 B2 JP 7275261B2 JP 2021524696 A JP2021524696 A JP 2021524696A JP 2021524696 A JP2021524696 A JP 2021524696A JP 7275261 B2 JP7275261 B2 JP 7275261B2
Authority
JP
Japan
Prior art keywords
viewpoint
image
dimensional ultrasound
imaging
dimensional
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2021524696A
Other languages
English (en)
Other versions
JPWO2020246151A1 (ja
Inventor
東 高橋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Publication of JPWO2020246151A1 publication Critical patent/JPWO2020246151A1/ja
Application granted granted Critical
Publication of JP7275261B2 publication Critical patent/JP7275261B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/46Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient
    • A61B8/461Displaying means of special interest
    • A61B8/466Displaying means of special interest adapted to display 3D data
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/48Diagnostic techniques
    • A61B8/483Diagnostic techniques involving the acquisition of a 3D volume of data
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5215Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data
    • A61B8/5238Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data for combining image data of patient, e.g. merging several images from different acquisition modes into one image
    • A61B8/5246Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data for combining image data of patient, e.g. merging several images from different acquisition modes into one image combining images from the same or different imaging techniques, e.g. color Doppler and B-mode

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Medical Informatics (AREA)
  • Veterinary Medicine (AREA)
  • Biophysics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Pathology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Public Health (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Physics & Mathematics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Graphics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)
  • Image Processing (AREA)

Description

本開示は、3次元超音波画像を生成する3次元超音波画像生成装置、方法、及びプログラムに関する。
近年、CT(Computed Tomography)装置、MRI(Magnetic Resonance Imaging)装置、及び超音波診断装置等の医療機器の進歩により、より質の高い高解像度の医用画像を用いての画像診断が可能となってきている。超音波診断装置においては、超音波プローブにより撮像して取得した2次元超音波画像と、超音波プローブの撮像位置とから3次元超音波画像を生成する技術が知られている。2次元超音波画像においては、超音波の反射及び屈折等で生じるアーチファクト、及び超音波プローブからの距離に比例して画像中の分解能が低下すること等により不鮮明な画像領域が含まれる場合がある。超音波画像を用いる診断においては、例えば、撮像対象が頸動脈等の血管である場合には、血管壁の厚さ等を計測する。しかしながら、超音波画像中に不鮮明な画像領域が含まれてしまうと血管壁の厚さ等の計測が困難になってしまう。従来では、観察対象を異なる視点から撮像することにより、異なる視点において2次元超音波画像を取得し、異なる視点各々の2次元超音波画像において不鮮明な画像領域以外の画像領域を使用することにより血管壁の厚さ等の計測を行っている。
一方、不鮮明な画像領域が含まれた2次元超音波画像を用いて3次元超音波画像が生成されると、同様に3次元超音波画像にも不鮮明な画像領域が含まれてしまう。不鮮明な画像領域を含む3次元超音波画像においても、同様に、血管壁の厚さ等を計測するには不向きである。そこで、近年においては、不鮮明な画像領域が抑制されたより高精細な超音波画像を生成するための技術が開示されている。
特許文献1には、位置関係が異なる、アーチファクトを含む画像と含まない画像を複数用意し、これら複数の画像の画素値を加算減算することにより、アーチファクトを取り除く方法が開示されている。また、特許文献2には、複数の超音波振動子が配列された超音波プローブの素子平面の中心を通る法線からの角度が許容角度を超えている、超音波による走査線に対応する画素に、マスクを施すことによって、アーチファクトによる画像の乱れを抑制する方法が提案されている。また、特許文献3には、異なる角度範囲の画像を、座標系を合わせて合成することにより、1つの角度範囲の画像に例えば多重反射アーチファクトがあっても、他の角度範囲の画像にそれがなければ、そのアーチファクトを除去又は抑制できることが開示されている。
特開2007-236681号公報 特許5361166号公報 特開2003-088521号公報
しかしながら、上記特許文献1~3に記載の技術においては、計測対象となる臓器を抽出していないので、計測対象となる臓器に起因するアーチファクトによって生じる画像中の不鮮明な画像領域を抑制することは困難である。
本開示は上記事情に鑑みなされたものであり、計測対象となる臓器に起因する不鮮明な画像領域を抑制することによって、より高精細な3次元超音波画像を生成できるようにすることを目的とする。
本開示の第1の3次元超音波画像生成装置は、超音波プローブを被検体の体表面に沿って一方向に移動させながら、複数の撮像位置で被検体内の目標となる臓器を撮像した複数の2次元超音波画像であって、第1視点及び第2視点の少なくとも2つの視点のそれぞれから複数の撮像位置の撮像が行われた第1視点及び第2視点のそれぞれにおける複数の2次元超音波画像を取得する画像取得部と、
超音波プローブの視点の方向を示す撮像方向と視点毎の撮像位置とを含む位置情報を撮像毎に取得するプローブ位置情報取得部と、
画像取得部により取得された第1視点及び第2視点のそれぞれの複数の2次元超音波画像と、プローブ位置情報取得部により取得された撮像毎の位置情報とに基づいて、第1視点及び第2視点のそれぞれの3次元超音波画像を生成する3次元超音波画像生成部と、
第1視点及び第2視点のそれぞれの3次元超音波画像のうち少なくとも一方の3次元超音波画像に基づいて、3次元超音波画像に含まれる臓器を抽出する臓器抽出部と、
臓器抽出部により抽出された臓器の位置情報と、プローブ位置情報取得部により取得された超音波プローブの位置情報とに基づいて、第1視点及び第2視点のそれぞれの3次元超音波画像のうち、少なくとも臓器が抽出された3次元超音波画像について、不鮮明な画像領域を抽出し、抽出した画像領域における不鮮明度を抑制する抑制処理を行う画像処理部と、
第1視点及び第2視点の2つの視点の3次元超音波画像であって、少なくとも一方の視点の3次元超音波画像には抑制処理が行われた3次元超音波画像を含む2つの視点の3次元超音波画像を合成することにより、合成3次元超音波画像を生成する画像合成部と、
を含む。
本開示の第2の3次元超音波画像生成装置は、超音波プローブを被検体の体表面に沿って一方向に移動させながら、複数の撮像位置で被検体内の目標となる臓器を撮像した複数の2次元超音波画像であって、第1視点及び第2視点の少なくとも2つの視点のそれぞれから複数の撮像位置の撮像が行われた第1視点及び第2視点のそれぞれにおける複数の2次元超音波画像を取得する画像取得部と、
超音波プローブの視点の方向を示す撮像方向と視点毎の撮像位置とを含む位置情報を撮像毎に取得するプローブ位置情報取得部と、
画像取得部により取得された第1視点及び第2視点のうちの少なくとも一方の視点における複数の2次元超音波画像の少なくとも1枚の2次元超音波画像に基づいて、2次元超音波画像に含まれる臓器を抽出する臓器抽出部と、
臓器抽出部により抽出された臓器の位置情報と、プローブ位置情報取得部により取得された超音波プローブの位置情報とに基づいて、第1視点及び第2視点のそれぞれの2次元超音波画像のうち、少なくとも臓器を抽出した2次元超音波画像が含まれる視点に対応する複数の2次元超音波画像の各々について、不鮮明な画像領域を抽出し、抽出した画像領域における不鮮明度を抑制する抑制処理を行う画像処理部と、
第1視点及び第2視点の2つの視点の複数の2次元超音波画像であって、少なくとも一方の視点の2次元超音波画像には抑制処理が行われた2次元超音波画像を含む2つの視点の2次元超音波画像のそれぞれに基づいて、第1視点及び第2視点の2つの視点の3次元超音波画像を生成する3次元超音波画像生成部と、
3次元超音波画像生成部により生成された第1視点及び第2視点の2つの視点の3次元超音波画像を合成して合成3次元超音波画像を生成する画像合成部と、
を含む。
なお、本開示において、視点は、第1視点と第2視点とを含んでいれば2つの視点であってもよいし、3つ以上の視点であってもよい。
また、本開示の3次元超音波画像生成装置においては、画像処理部は、臓器抽出部により抽出された臓器の位置情報、並びに超音波プローブの位置情報に基づいて導出される進行方向であって、臓器に対して超音波プローブから照射される超音波の進行方向に基づいて、不鮮明な画像領域を抽出することができる。
また、本開示の3次元超音波画像生成装置においては、画像処理部は、進行方向と臓器の外表面とのなす角度が予め定められた閾値以下である領域を不鮮明な画像領域として抽出することができる。
また、本開示の3次元超音波画像生成装置においては、抑制処理は、不鮮明な画像領域の画素値を、他の領域の画素値と比較して相対的に低減する処理とすることができる。
また、本開示の3次元超音波画像生成装置においては、画像合成部は、第1視点及び第2視点の2つの視点の3次元超音波画像に基づいて、同じ位置にある画素同士の画素値を平均化する平均化処理であって、抑制処理が行われた不鮮明な画像領域以外の領域内の画素値を平均化する平均化処理を行うことができる。
また、本開示の3次元超音波画像生成装置においては、2次元超音波画像及び3次元超音波画像の少なくとも一方の画像を表示部に表示する表示制御部を備え、
表示制御部は、表示部に合成3次元超音波画像を表示し、表示された合成3次元超音波画像上においてユーザに指定された位置に最も近い撮像位置において撮像された2次元超音波画像を表示部に表示させる制御を行なうことができる。
また、本開示の3次元超音波画像生成装置においては、超音波プローブに固定されたマーカー部材と、
超音波プローブ及びマーカー部材を同一撮像範囲内に含めて撮像する撮像部とを備え、
プローブ位置情報取得部は、撮像部により取得された超音波プローブ及びマーカー部材の撮像画像に基づいて超音波プローブの位置情報を取得することができる。
また、本開示の3次元超音波画像生成装置においては、超音波プローブに設けられる6軸センサを備え、
プローブ位置情報取得部は、6軸センサから出力された出力情報に基づいて超音波プローブの位置情報を取得することができる。
また、本開示の3次元超音波画像生成装置においては、超音波プローブに固定されたマーカー部材、並びに超音波プローブに設けられる6軸センサと、
超音波プローブ及びマーカー部材を同一撮像範囲内に含めて撮像する撮像部とを備え、
プローブ位置情報取得部は、撮像部により取得された超音波プローブ及びマーカー部材の撮像画像、並びに6軸センサから出力された出力情報に基づいて超音波プローブの位置情報を取得することができる。
本開示の第1の3次元超音波画像生成方法は、超音波プローブを被検体の体表面に沿って一方向に移動させながら、複数の撮像位置で被検体内の目標となる臓器を撮像した複数の2次元超音波画像であって、第1視点及び第2視点の少なくとも2つの視点のそれぞれから複数の撮像位置の撮像が行われた第1視点及び第2視点のそれぞれにおける複数の2次元超音波画像を取得し、
超音波プローブの視点の方向を示す撮像方向と視点毎の撮像位置とを含む位置情報を撮像毎に取得し、
取得された第1視点及び第2視点のそれぞれの複数の2次元超音波画像と、取得された撮像毎の位置情報とに基づいて、第1視点及び第2視点のそれぞれの3次元超音波画像を生成し、
第1視点及び第2視点のそれぞれの3次元超音波画像のうち少なくとも一方の3次元超音波画像に基づいて、3次元超音波画像に含まれる臓器を抽出し、
抽出された臓器の位置情報と、取得された超音波プローブの位置情報とに基づいて、第1視点及び第2視点のそれぞれの3次元超音波画像のうち、少なくとも臓器が抽出された3次元超音波画像について、不鮮明な画像領域を抽出して、抽出した画像領域における不鮮明度を抑制する抑制処理を行い、
第1視点及び第2視点の2つの視点の3次元超音波画像であって、少なくとも一方の視点の3次元超音波画像には抑制処理が行われた3次元超音波画像を含む2つの視点の3次元超音波画像を合成することにより、合成3次元超音波画像を生成する。
本開示の第2の3次元超音波画像生成方法は、超音波プローブを被検体の体表面に沿って一方向に移動させながら、複数の撮像位置で被検体内の目標となる臓器を撮像した複数の2次元超音波画像であって、第1視点及び第2視点の少なくとも2つの視点のそれぞれから複数の撮像位置の撮像が行われた第1視点及び第2視点のそれぞれにおける複数の2次元超音波画像を取得し、
超音波プローブの視点の方向を示す撮像方向と視点毎の撮像位置とを含む位置情報を撮像毎に取得し、
取得された第1視点及び第2視点のうちの少なくとも一方の視点における複数の2次元超音波画像の少なくとも1枚の2次元超音波画像に基づいて、2次元超音波画像に含まれる臓器を抽出し、
抽出された臓器の位置情報と、取得された超音波プローブの位置情報とに基づいて、第1視点及び第2視点のそれぞれの2次元超音波画像のうち、少なくとも臓器を抽出した2次元超音波画像が含まれる視点に対応する複数の2次元超音波画像の各々について、不鮮明な画像領域を抽出して、抽出した画像領域における不鮮明度を抑制する抑制処理を行い、
第1視点及び第2視点の2つの視点の複数の2次元超音波画像であって、少なくとも一方の視点の2次元超音波画像には抑制処理が行われた2次元超音波画像を含む2つの視点の2次元超音波画像のそれぞれに基づいて、第1視点及び第2視点の2つの視点の3次元超音波画像を生成し、
生成された第1視点及び第2視点の2つの視点の3次元超音波画像を合成して合成3次元超音波画像を生成する。
本開示の第1の3次元超音波画像生成プログラムは、超音波プローブを被検体の体表面に沿って一方向に移動させながら、複数の撮像位置で被検体内の目標となる臓器を撮像した複数の2次元超音波画像であって、第1視点及び第2視点の少なくとも2つの視点のそれぞれから複数の撮像位置の撮像が行われた第1視点及び第2視点のそれぞれにおける複数の2次元超音波画像を取得する画像取得部と、
超音波プローブの視点の方向を示す撮像方向と視点毎の撮像位置とを含む位置情報を撮像毎に取得するプローブ位置情報取得部と、
画像取得部により取得された第1視点及び第2視点のそれぞれの複数の2次元超音波画像と、プローブ位置情報取得部により取得された撮像毎の位置情報とに基づいて、第1視点及び第2視点のそれぞれの3次元超音波画像を生成する3次元超音波画像生成部と、
第1視点及び第2視点のそれぞれの3次元超音波画像のうち少なくとも一方の3次元超音波画像に基づいて、3次元超音波画像に含まれる臓器を抽出する臓器抽出部と、
臓器抽出部により抽出された臓器の位置情報と、プローブ位置情報取得部により取得された超音波プローブの位置情報とに基づいて、第1視点及び第2視点のそれぞれの3次元超音波画像のうち、少なくとも臓器が抽出された3次元超音波画像について、不鮮明な画像領域を抽出して、抽出した画像領域における不鮮明度を抑制する抑制処理を行う画像処理部と、
第1視点及び第2視点の2つの視点の3次元超音波画像であって、少なくとも一方の視点の3次元超音波画像には抑制処理が行われた3次元超音波画像を含む2つの視点の3次元超音波画像を合成することにより、合成3次元超音波画像を生成する画像合成部として、
コンピュータを機能させる。
本開示の第2の3次元超音波画像生成プログラムは、超音波プローブを被検体の体表面に沿って一方向に移動させながら、複数の撮像位置で被検体内の目標となる臓器を撮像した複数の2次元超音波画像であって、第1視点及び第2視点の少なくとも2つの視点のそれぞれから複数の撮像位置の撮像が行われた第1視点及び第2視点のそれぞれにおける複数の2次元超音波画像を取得する画像取得部と、
超音波プローブの視点の方向を示す撮像方向と視点毎の撮像位置とを含む位置情報を撮像毎に取得するプローブ位置情報取得部と、
画像取得部により取得された第1視点及び第2視点のうちの少なくとも一方の視点における複数の2次元超音波画像の少なくとも1枚の2次元超音波画像に基づいて、2次元超音波画像に含まれる臓器を抽出する臓器抽出部と、
臓器抽出部により抽出された臓器の位置情報と、プローブ位置情報取得部により取得された超音波プローブの位置情報とに基づいて、第1視点及び第2視点のそれぞれの2次元超音波画像のうち、少なくとも臓器を抽出した2次元超音波画像が含まれる視点に対応する複数の2次元超音波画像の各々について、不鮮明な画像領域を抽出して、抽出した画像領域における不鮮明度を抑制する抑制処理を行う画像処理部と、
第1視点及び第2視点の2つの視点の複数の2次元超音波画像であって、少なくとも一方の視点の2次元超音波画像には抑制処理が行われた2次元超音波画像を含む2つの視点の2次元超音波画像のそれぞれに基づいて、第1視点及び第2視点の2つの視点の3次元超音波画像を生成する3次元超音波画像生成部と、
3次元超音波画像生成部により生成された第1視点及び第2視点の2つの視点の3次元超音波画像を合成して合成3次元超音波画像を生成する画像合成部として、
コンピュータを機能させる。
本開示による他の第1の3次元超音波画像生成装置は、コンピュータに実行させるための命令を記憶するメモリと、
記憶された命令を実行するよう構成されたプロセッサとを備え、プロセッサは、
超音波プローブを被検体の体表面に沿って一方向に移動させながら、複数の撮像位置で被検体内の目標となる臓器を撮像した複数の2次元超音波画像であって、第1視点及び第2視点の少なくとも2つの視点のそれぞれから複数の撮像位置の撮像が行われた第1視点及び第2視点のそれぞれにおける複数の2次元超音波画像を取得し、
超音波プローブの視点の方向を示す撮像方向と視点毎の撮像位置とを含む位置情報を撮像毎に取得し、
取得された第1視点及び第2視点のそれぞれの複数の2次元超音波画像と、取得された撮像毎の位置情報とに基づいて、第1視点及び第2視点のそれぞれの3次元超音波画像を生成し、
第1視点及び第2視点のそれぞれの3次元超音波画像のうち少なくとも一方の3次元超音波画像に基づいて、3次元超音波画像に含まれる臓器を抽出し、
抽出された臓器の位置情報と、取得された超音波プローブの位置情報とに基づいて、第1視点及び第2視点のそれぞれの3次元超音波画像のうち、少なくとも臓器が抽出された3次元超音波画像について、不鮮明な画像領域を抽出して、抽出した画像領域における不鮮明度を抑制する抑制処理を行い、
第1視点及び第2視点の2つの視点の3次元超音波画像であって、少なくとも一方の視点の3次元超音波画像には抑制処理が行われた3次元超音波画像を含む2つの視点の3次元超音波画像を合成することにより、合成3次元超音波画像を生成する処理を実行する。
本開示による他の第2の3次元超音波画像生成装置は、コンピュータに実行させるための命令を記憶するメモリと、
記憶された命令を実行するよう構成されたプロセッサとを備え、プロセッサは、
超音波プローブを被検体の体表面に沿って一方向に移動させながら、複数の撮像位置で被検体内の目標となる臓器を撮像した複数の2次元超音波画像であって、第1視点及び第2視点の少なくとも2つの視点のそれぞれから複数の撮像位置の撮像が行われた第1視点及び第2視点のそれぞれにおける複数の2次元超音波画像を取得し、
超音波プローブの視点の方向を示す撮像方向と視点毎の撮像位置とを含む位置情報を撮像毎に取得し、
取得された第1視点及び第2視点のうちの少なくとも一方の視点における複数の2次元超音波画像の少なくとも1枚の2次元超音波画像に基づいて、2次元超音波画像に含まれる臓器を抽出し、
抽出された臓器の位置情報と、取得された超音波プローブの位置情報とに基づいて、第1視点及び第2視点のそれぞれの2次元超音波画像のうち、少なくとも臓器を抽出した2次元超音波画像が含まれる視点に対応する複数の2次元超音波画像の各々について、不鮮明な画像領域を抽出して、抽出した画像領域における不鮮明度を抑制する抑制処理を行い、
第1視点及び第2視点の2つの視点の複数の2次元超音波画像であって、少なくとも一方の視点の2次元超音波画像には抑制処理が行われた2次元超音波画像を含む2つの視点の2次元超音波画像のそれぞれに基づいて、第1視点及び第2視点の2つの視点の3次元超音波画像を生成し、
生成された第1視点及び第2視点の2つの視点の3次元超音波画像を合成して合成3次元超音波画像を生成する処理を実行する。
3次元超音波画像生成装置、方法、及びプログラムによれば、計測対象となる臓器に起因する不鮮明な画像領域を抑制することによって、より高精細な3次元超音波画像を生成できる。
本開示の第1の実施形態の3次元超音波画像生成装置を含む診断支援システムの構成を示す概略ブロック図 本開示の一実施形態である診断支援システムの概念図 マーカー部材が固定された超音波プローブを説明するための図 撮像部により取得された画像の一例を示す図である。 超音波プローブによる撮像動作を説明するための図 異なる視点における被検体内の臓器の撮像を説明するための図 異なる視点における被検体内の臓器の撮像を説明するための図 撮像画像中のマーカー部材52の移動を説明するための図 不鮮明な画像領域を説明するための図 抑制処理について説明するための図 第1視点の3次元超音波画像における不鮮明な画像領域について説明するための図 第2視点の3次元超音波画像における処理を説明するための図 合成処理について説明するための図 合成3次元超音波画像VGを説明するための図 本開示の第1の実施形態において行われる処理を示すフローチャート 本開示の第2の実施形態において行われる処理を示すフローチャート 表示部に表示された3次元超音波画像の一例を示す図 表示部に表示された2次元超音波画像の一例を示す図 センサが設けられた超音波プローブを説明するための図
以下、図面を参照して本開示の実施形態について説明する。図1は本開示の一実施形態による3次元超音波画像生成装置を適用した、診断支援システムの構成を示す概略ブロック図である。図1に示すように、診断支援システム1は、本実施形態による3次元超音波画像生成装置10、並びに3次元超音波画像生成装置10と接続可能に構成された超音波プローブ50、撮像部60、表示部30、及び入力部40を備えている。
3次元超音波画像生成装置10は、CPU(Central Processing Unit)11、一次記憶部12、二次記憶部13及び外部I/F(Interface)14等を備えたコンピュータから構成される。CPU11は、3次元超音波画像生成装置10の全体を制御する。一次記憶部12は、各種プログラムの実行時のワークエリア等として用いられる揮発性のメモリである。一次記憶部12の一例としては、RAM(Random Access Memory)が挙げられる。二次記憶部13は、各種プログラム及び各種パラメータ等を予め記憶した不揮発性のメモリであり、本開示の3次元超音波画像生成プログラム15の一実施形態がインストールされている。
3次元超音波画像生成プログラム15は、DVD(Digital Versatile Disc)及びCD-ROM(Compact Disc Read Only Memory)などの記録媒体に記録されて配布され、その記録媒体からコンピュータにインストールされる。又は、3次元超音波画像生成プログラム15は、ネットワークに接続されたサーバコンピュータの記憶装置もしくはネットワークストレージに対して、外部からアクセス可能な状態で記憶され、外部からの要求に応じてコンピュータにダウンロードされた後に、インストールされるようにしてもよい。
この3次元超音波画像生成プログラム15がCPU11により実行されることによって、CPU11は、画像取得部21、プローブ位置情報取得部22、3次元超音波画像生成部23、臓器抽出部24、画像処理部25、画像合成部26、及び表示制御部27として機能する。二次記憶部13の一例としては、EEPROM(Electrically Erasable Programmable Read-Only Memory)又はフラッシュメモリ等が挙げられる。
外部I/F14は、3次元超音波画像生成装置10と外部装置(図示せず)との間の各種情報の送受信を司る。CPU11、一次記憶部12、二次記憶部13、及び外部I/F14は、各々の回路がデータを交換するための共通の経路であるバスライン16に接続されている。
また、バスライン16には、表示部30と入力部40も接続されている。表示部30は、例えば液晶ディスプレイ等で構成される。表示部30は、後述するように、画像取得部21により取得された2次元超音波画像及び3次元超音波画像生成部23により生成された3次元超音波画像を表示する。また、後述する撮像部60によって取得された撮像画像も表示する。なお、表示部30をタッチパネルによって構成し、入力部40と兼用してもよい。入力部40は、マウス及びキーボード等を備えたものであり、ユーザによる種々の設定入力を受け付ける。また、バスライン16には、送受信部17と撮像部60も接続されている。送受信部17は、後述する超音波プローブ50との間の各種情報の送受信を司る。
超音波プローブ50は、3次元超音波画像生成装置10に接続可能に構成されている。超音波プローブ50としては、例えばセクタ走査対応のプローブ、リニア走査対応のプローブ、及びコンベックス走査対応のプローブ等を使用することができる。図2は、本開示の一実施形態である診断支援システムの概念図である。超音波プローブ50は、図2に示すように、先端に、1次元方向に配列された複数の超音波振動子(図示せず)を有する振動子アレイ50aを有する。なお、振動子アレイ50aは、上記では、複数の超音波振動子が一次元に配列されている例について説明したが、これには限定されない。振動子アレイ50aにおいて、複数の超音波振動子が二次元に配列されていてもよい。
超音波プローブ50は振動子アレイ50aを生体である被検体Mの体表面に当接させた状態で、被検体Mの計測したい部位に対して超音波を出射(送信)し、被検体Mで反射して戻って来た反射超音波を検出(受信)する。超音波プローブ50は、送受信部17から出力されたパルス状又は連続波の電気信号を超音波に変換して出射し、受信した反射超音波を電気信号に変換して送受信部17に送信する。
送受信部17は、超音波プローブ50が有する複数の超音波振動子を駆動させる、パルス状又は連続波の電気信号を超音波プローブ50へ送信する。また、送受信部17は、反射超音波を受信した複数の超音波振動子で生成される複数の電気信号を受信する。そして、送受信部は、受信した電気信号に対して、増幅とA/D(Analog/Digital)変換とを行うことにより受信信号を生成する。この受信信号は、例えば、超音波振動子の配列方向と超音波の送信方向であって超音波振動子の配列方向と垂直な方向(以下、深度方向とする。)とに並ぶ複数の信号からなり、各信号は反射超音波の振幅をデジタル値で表したデジタル信号である。そして、この送信処理および受信処理を繰り返し連続して行い、複数の受信信号からなるフレームデータを複数構築する。
なお、本開示においてフレームデータは、1枚の断層画像を構築する上で必要な受信信号の集合データ、この集合データに基づいて断層画像データを構築するために処理された信号、及びこの集合データに基づいて構築された1枚の断層画像データ或いは断層画像の何れかのことをいう。なお、本実施形態においては1枚の断層画像データのことをいう。構築された断層画像データは一次記憶部12に記憶される。
また、本実施形態においては、超音波プローブ50には、マーカー部材が固定されている。図3は、本開示の一実施形態であるマーカー部材が固定された超音波プローブ50を説明するための図である。なお、図3においては、マーカー部材の超音波プローブ50への固定箇所等は実際の形状とは異なり簡易的に図示されている。
超音波プローブ50は、図3に示すように、送受信部17と接続するケーブル51を有している。また、超音波プローブ50の外周面には、マーカー部材52が固定されている。マーカー部材52は、球状の3つのマーカー、すなわちマーカー52x、マーカー52y、及びマーカー52zと、軸方向が互いに直交するx軸、y軸、及びz軸の3軸とを備えている。3つのマーカー52x、マーカー52y、及びマーカー52zは、各々のマーカー中心52aを中心として、x軸、y軸、及びz軸の3軸の一端に設けられている。x軸、y軸、及びz軸の3軸の他端は、超音波プローブ50に設けられた支柱に設けられている。また、3つのマーカー52x、マーカー52y、及びマーカー52zは、例えば、異なる色が付されており、色によって識別可能である。
なお、本実施形態においては、マーカー部材52は、3つのマーカー52x、マーカー52y、及びマーカー52zで構成されるものとしたが、本開示の技術はこれに限られず、上記3つのマーカー以外のマーカーを使用してもよい。例えば4つ、5つ等のマーカーを使用してもよい。またマーカーの形状は球状に限られず、例えば直方体であってもよいし、円錐状であってもよいし、適宜変更することができる。
図2に示す撮像部60は、超音波プローブ50とマーカー部材52とを同一撮像範囲内に含めて撮像可能な位置に設置されている。図4は撮像部60により取得された画像の一例を示す図である。図4に示すように、撮像部60により取得された画像Dには、ユーザの手Hに把持され、被検体Mの体表面に当接する超音波プローブ50、及び超音波プローブ50に固定されたマーカー部材52が写っている。
図5は超音波プローブ50による撮像動作を説明するための図である。図5に示すように、ユーザが超音波プローブ50を被検体Mの体表面に当接させた状態で、超音波プローブ50を例えば矢印Sで示す方向に移動させることにより、異なる位置において撮像が行われる。こうした撮像が行われる異なる複数の撮像位置において、複数の2次元超音波画像Pが取得される。撮像位置は、撮像毎の超音波プローブ50の体表面上の位置である。2次元超音波画像Pは、各撮像位置から被検体内の深度方向に延びる断面の断層画像である。
図6及び図7は各々異なる視点における被検体内の臓器の撮像を説明するための図である。本実施形態においては、被検体M内の臓器として血管、具体的には頸動脈M2を撮像する。ユーザは、図6に示すように、被検体Mの正面側から(矢印V1の方向)、超音波プローブ50を被検体Mの頚部M1に当接させた状態で、超音波プローブ50を頸動脈M2に沿って移動させることにより、頸動脈M2を複数の撮像位置で撮像する。この際、超音波プローブ50の超音波振動子の配列方向が、頸動脈M2と血流方向と直交するように、すなわち図中黒色領域で示す向きで超音波プローブ50を頚部M1に当接させることにより、頸動脈の短軸方向の血管短軸断面を撮像する。また、超音波プローブ50の超音波振動子の配列方向が、頸動脈M2と血流方向と一致するように、すなわち図中斜線領域で示す向きで超音波プローブ50を頚部M1に当接させることにより、頸動脈の長軸方向の血管長軸断面を撮像する。ここで、本実施形態の矢印V1は本開示の第1視点に対応する。
また、ユーザは、図7に示すように、被検体Mの左側面側から(矢印V2の方向)、超音波プローブ50を被検体Mの頚部M1に当接させた状態で、超音波プローブ50を頸動脈M2に沿って移動させることにより、頸動脈M2を複数の撮像位置で撮像する。この際、超音波プローブ50の超音波振動子の配列方向が、頸動脈M2と血流方向と直交するように、すなわち図中黒色領域で示す向きで超音波プローブ50を頚部M1に当接させることにより、頸動脈の短軸方向の血管短軸断面を撮像する。また、超音波プローブ50の超音波振動子の配列方向が、頸動脈M2と血流方向と一致するように、すなわち図中斜線領域で示す向きで超音波プローブ50を頚部M1に当接させることにより、頸動脈の長軸方向の血管長軸断面を撮像する。ここで、本実施形態の矢印V2は本開示の第2視点に対応する。
図2に戻り、画像取得部21は、超音波プローブ50が第1視点及び第2視点の少なくとも2つの視点の各々において、複数の撮像位置で各々撮像した2次元超音波画像Pを取得する。2次元超音波画像Pは、各撮像位置から被検体内の深度方向に延びる断面の断層画像である。超音波プローブ50は、撮像した複数の2次元超音波画像P(断層画像)を一次記憶部12に出力する。画像取得部21は一次記憶部12から2次元超音波画像P(断層画像)を取得する。
プローブ位置情報取得部22は、超音波プローブ50の視点の方向を示す撮像方向と、視点毎の撮像位置とを含む位置情報を撮像毎に取得する。具体的には、異なる各撮像位置において、撮像部60は超音波プローブ50及びマーカー部材52を撮像する。こうして得た超音波プローブ50及びマーカー部材52の撮像画像は一次記憶部12に出力される。プローブ位置情報取得部22は、一次記憶部12から撮像画像を読み出す。そして、プローブ位置情報取得部22は、読み出した撮像画像を画像解析することにより、撮像画像中のマーカー中心52aの位置、マーカー52x,52y,52zの位置、大きさ、及び傾きから、超音波プローブ50の撮像方向、及び撮像位置の位置情報を導出する。プローブ位置情報取得部22は、マーカー52x,52y,52zの各マーカーを色によって識別する。プローブ位置情報取得部22は、こうした導出処理によって、撮像方向及び撮像位置を含む位置情報を取得する。
図8は撮像画像中のマーカー部材52の移動を説明するための図である。超音波プローブ50が撮像位置T1及び撮像位置T2において2次元超音波画像Pを取得した場合、例えば図8に示すように、マーカー部材52は撮像画像において、矢印Tの方向に移動する。この場合、マーカー中心52aのx方向の移動量から、超音波プローブ50のx方向の位置が導出される。また、マーカー52x,52y,52zの大きさの変化量から超音波プローブ50のy方向の位置を導出する。また、マーカー52x,52y,52zのマーカー中心52aの移動軌跡から、マーカー部材52の回転量が検出される。そして、回転量に基づいて超音波プローブ50の向き、すなわち撮像方向が導出される。そして、導出した超音波プローブ50の撮像位置、及び撮像方向を含む位置情報は、当該撮像位置において取得された2次元超音波画像Pに対応させて一次記憶部12に記憶される。なお、マーカー部材52を使用した超音波プローブ50の撮像方向及び撮像位置を取得する方法は、公知の技術を使用することができる。
3次元超音波画像生成部23は、画像取得部21が取得した2次元超音波画像P、及び、2次元超音波画像Pに対応させて一次記憶部12に記憶された超音波プローブ50の撮像方向及び撮像位置を含む位置情報を用いることにより、振動子アレイ50aの機械的走査の角度範囲あるいはストロークと電子的な走査範囲によって決定される空間に対する3次元超音波画像Vを生成する。なお、3次元超音波画像Vの生成方法については公知の技術を使用することができる。
臓器抽出部24は、画像取得部21により取得された2次元超音波画像P又は3次元超音波画像生成部23により生成された3次元超音波画像Vに基づいて、2次元超音波画像P又は3次元超音波画像Vに含まれる少なくとも1つの臓器を抽出する。ここで、臓器とは、心臓及び肝臓等の内臓領域に限らず、骨及び血管等も含まれるものとする。
本実施形態においては、撮像対象は頚部とする。そのため、臓器抽出部24は、3次元超音波画像Vは血管を対象物として抽出する。血管を抽出する手法としては、例えば特開2010-220742号公報に記載された、線状構造からなる対象組織を表す複数の候補点の位置情報および主軸方向を算出し、算出された位置情報および主軸方向に基づいた変数とするコスト関数を用いて、複数の候補点が接続されるように再構築する手法がある。または特開2011-212314号公報に記載された、自動で血管を区別して抽出する手法等を用いることもできる。
また、2次元超音波画像P及び3次元超音波画像V、並びに各種臓器の正解データを教師データとして、2次元超音波画像P又は3次元超音波画像Vが入力された場合に臓器を示す領域が出力されるように学習がなされたニューラルネットワークを使用してもよい。
画像処理部25は、臓器抽出部24により抽出された臓器の位置情報と、プローブ位置情報取得部22により取得された超音波プローブ50の位置情報とに基づいて、臓器が抽出された2次元超音波画像P及び3次元超音波画像Vについて、不鮮明な画像領域を抽出して、抽出した画像領域における不鮮明度を抑制する抑制処理を行う。
画像処理部25は、臓器に対する超音波プローブ50から照射される超音波の進行方向に基づいて不鮮明な画像領域を抽出する。まず、臓器抽出部24が3次元超音波画像生成部23により生成された3次元超音波画像Vに基づいて、臓器を抽出した場合について説明する。図9に不鮮明な画像領域を説明するための図を示す。なお、図9は便宜上、頸動脈M2の短軸方向の血管短軸断面、すなわち2次元超音波画像Pを示しているが、3次元超音波画像Vにおいても同様の説明をすることができる。
図9に示すように、頸動脈M2等の血管のように、丸い形状の臓器においては、臓器の外表面、具体的には図9のAに点線の円で示す付近において、超音波が反射したり屈折したりすることによりアーチファクトが生じやすい。そこで、画像処理部25は不鮮明な画像領域としてアーチファクトが生じやすい領域に対して不鮮明度を抑制する抑制処理を行う。
図10は抑制処理について説明するための図である。本実施形態においては、画像処理部25は、図10に示すように、超音波の進行方向と頸動脈M2の外表面とのなす角度αが予め定められた閾値以下である領域を不鮮明な画像領域として抽出する。具体的には、図10中、矢印で示す超音波の進行方向と頸動脈M2の外表面との間の領域(図中、斜線で示す領域)を不鮮明な画像領域として抽出する。ここで、角度αは、臓器の大きさ及び種類等毎に、予め計測した角度とアーチファクトとの関係に基づいて算出された値である。
図11に第1視点の3次元超音波画像VO1における不鮮明な画像領域について説明するための図である。なお、図11において、便宜上、不鮮明な画像領域は1つとして以下説明するが、不鮮明な画像領域が2以上である場合についても、同様の説明をすることができる。画像処理部25は、図11の左図に示すように、第1視点における3次元超音波画像VO1において、不鮮明な画像領域A1を抽出した場合に、図11の右図に示すように不鮮明な画像領域A1を削除する処理を行い、不鮮明な画像領域A1が削除された第1視点における抑制処理後の3次元超音波画像VA1を生成する。
次に、臓器抽出部24が画像取得部21により取得された複数の2次元超音波画像Pに基づいて、臓器を抽出した場合について説明する。2次元超音波画像Pにおいても、上述した3次元超音波画像Vと同様に、図9に示すように、頸動脈M2等の血管のように、丸い形状の臓器においては、臓器の外表面、具体的には図9のAに点線の円で示す付近において、超音波が反射したり屈折したりすることによりアーチファクトが生じやすい。そこで、画像処理部25は不鮮明な画像領域としてアーチファクトが生じやすい領域に対して不鮮明度を抑制する抑制処理を行う。具体的には、3次元超音波画像Vと同様に、図10に示すように、超音波の進行方向と頸動脈M2の外表面とのなす角度αが予め定められた閾値以下である領域を不鮮明な画像領域として抽出する。
画像合成部26は、第1視点における抑制処理後の3次元超音波画像VA1と第2の視点における3次元超音波画像VO2とを合成することにより、合成3次元超音波画像VGを生成する。図12は第2視点の3次元超音波画像VO2における処理を説明するための図である。第2視点の3次元超音波画像VO2は、第1視点とは異なる撮像方向において撮像された画像なので、超音波が照射される頸動脈M2の外表面の位置が、第1視点とは異なる。そのため、図12に示すように、第2視点の3次元超音波画像VO2においてアーチファクトが生じる領域、すなわち不鮮明な画像領域A2は、図11の不鮮明な画像領域A1とは異なる位置となる。
画像合成部26は、第1視点の3次元超音波画像VO1に含まれる頸動脈M2と、第2視点の3次元超音波画像VO2に含まれる頸動脈M2の位置合わせ処理を行う。本実施形態においては、図12の右図に示すように、第2視点の3次元超音波画像VO2に対して上記位置合わせ処理を行い、位置合わせ処理が行われた第2視点における位置合わせ処理後の3次元超音波画像VA2を生成する。なお、位置合わせ処理は、第1視点の3次元超音波画像VO1に対して行ってもよいし、第1視点の3次元超音波画像VO1と第2視点の3次元超音波画像VO2の両方に対して行ってもよい。位置合わせ処理については公知の技術を使用することができる。
図13は合成処理について説明するための図である。画像合成部26は、図13に示すように、第1視点における抑制処理後の3次元超音波画像VA1において不鮮明な画像領域A1が削除された領域に、この削除された領域に対応する領域の第2視点における位置合わせ処理後の3次元超音波画像VA2を合成する。図14は合成3次元超音波画像VGを説明するための図である。第1視点における抑制処理後の3次元超音波画像VA1においては、不鮮明な画像領域A1が削除されているので、不鮮明な画像領域は存在しない。そして、第1視点における抑制処理後の3次元超音波画像VA1において削除された領域に、第2視点における位置合わせ処理後の3次元超音波画像VA2において不鮮明な画像領域A2ではない領域を合成することにより、合成処理後の合成3次元超音波画像VGは不鮮明な画像領域がない、第1視点の3次元超音波画像VO1よりも高精細な3次元超音波画像となる。
図2に戻り、表示制御部27は、超音波プローブ50により撮像された2次元超音波画像P及び3次元超音波画像Vの少なくとも一方を表示部30に表示させる。また、表示制御部27は、画像合成部26により合成された合成3次元超音波画像VGを表示部30に表示させる。なお、表示制御部27は1つの表示部30に超音波プローブ50により撮像された2次元超音波画像Pと、並びに3次元超音波画像V及び合成3次元超音波画像VGの少なくとも一方とを表示させてもよいし、表示部30が2つある場合には、各々に表示させてもよい。
次いで、本実施形態において行われる処理について説明する。図15は本開示の第1の実施形態において行われる処理を示すフローチャートである。
画像取得部21は、ユーザが超音波プローブ50を被検体Mの頚部M1の体表面に当接させた状態で、超音波プローブ50を操作することにより、異なる視点である視点1及び視点2から撮像された複数の2次元超音波画像Pを取得する(ステップST1)。
プローブ位置情報取得部22は、超音波プローブ50の視点の方向を示す撮像方向と、視点毎の撮像位置とを含む位置情報をステップST1の撮像毎に取得する(ステップST2)。3次元超音波画像生成部23は、第1視点及び第2視点の3次元超音波画像VO1,VO2を生成する(ステップST3)。
次いで、臓器抽出部24は、第1視点の3次元超音波画像VO1に含まれる頸動脈M2を抽出する(ステップST4)。そして、画像処理部25は、第1視点の3次元超音波画像VO1において不鮮明な画像領域を抽出して、抽出した不鮮明な画像領域を削除する抑制処理を行う(ステップST5)。
次いで、画像合成部26は、第1視点における抑制処理後の3次元超音波画像VA1において削除された領域に、第2視点における位置合わせ処理後の3次元超音波画像VA2において不鮮明な画像領域A2ではない領域を合成することにより、合成3次元超音波画像VGを生成して(ステップST6)、処理を終了する。
以上のように、本実施形態においては、第1視点における抑制処理後の3次元超音波画像VA1において削除された領域に、第2視点における位置合わせ処理後の3次元超音波画像VA2において不鮮明な画像領域A2ではない領域を合成する。これにより、第1視点の3次元超音波画像VO1よりも不鮮明な画像領域が抑制された、高精細な3次元超音波画像を生成することができる。
なお、第1の実施形態においては、第1視点及び第2視点において複数の2次元超音波画像Pを取得し、第1視点及び第2視点の3次元超音波画像Vを生成したが、本開示の技術はこれに限られない。3つ以上の視点において複数の2次元超音波画像Pを取得し、第1視点及び第2視点の3次元超音波画像Vを生成してもよい。この場合、第1の視点の3次元超音波画像Vについてのみ、不鮮明な画像領域に対して不鮮明度を抑制する抑制処理を行ってもよいし、2以上の視点の3次元超音波画像Vにおいて上記抑制処理を行ってもよいし、全ての視点の3次元超音波画像Vにおいて上記抑制処理を行ってもよい。
また、第1の実施形態においては、臓器抽出部24は、2次元超音波画像P及び3次元超音波画像Vの両方において臓器を抽出可能としたが、本開示の技術はこれに限られない。上記第1の実施形態のように、臓器の抽出を3次元超音波画像Vにおいてのみ行う場合には、臓器抽出部24は、2次元超音波画像Pにおいて臓器を抽出する機能を備えていなくてもよい。
また、第1の実施形態においては、臓器抽出部24は、3次元超音波画像Vにおいて臓器の抽出を行ったが、2次元超音波画像Pにおいて臓器の抽出をおこなってもよい。この場合、画像処理部25は、2次元超音波画像Pにおいて抑制処理を行う。
次に、第2の実施形態の3次元超音波画像生成装置について説明する。第2の実施形態の3次元超音波画像生成装置は、2次元超音波画像Pに対して臓器の抽出及び抑制処理を行う。なお、第2の実施形態の3次元超音波画像生成装置は、図1に示す第1の実施形態の3次元超音波画像生成装置10と同じ構成とすることができる。そのため、ここでの説明は省略し、第2の実施形態の3次元超音波画像生成装置について行われる処理についてのみ説明する。図15は本開示の第2の実施形態において行われる処理を示すフローチャートである。
画像取得部21は、ユーザが超音波プローブ50を被検体Mの頚部M1の体表面に当接させた状態で、超音波プローブ50を操作することにより、異なる視点である視点1及び視点2から撮像された複数の2次元超音波画像Pを取得する(ステップST11)。プローブ位置情報取得部22は、超音波プローブ50の視点の方向を示す撮像方向と、視点毎の撮像位置とを含む位置情報をステップST1の撮像毎に取得する(ステップST12)。
次いで、臓器抽出部24は、第1視点の複数の2次元超音波画像Pに含まれる頸動脈M2を各々抽出する(ステップST13)。そして、画像処理部25は、第1視点の複数の2次元超音波画像Pにおいて各々不鮮明な画像領域を抽出して、抽出した不鮮明な画像領域を削除する抑制処理を行う(ステップST14)。ここで、画像処理部25は、第1視点の複数の2次元超音波画像P全てについて、図10に示すように、矢印で示す超音波の進行方向と頸動脈M2の外表面との間の領域(図中、斜線で示す領域)を不鮮明な画像領域として抽出する。
3次元超音波画像生成部23は、第1視点及び第2視点の3次元超音波画像VO1,VO2を生成する(ステップST15)。ここで、第1視点の3次元超音波画像VO1は、抑制処理が行われた第1視点の複数の2次元超音波画像Pに基づいて生成されるため、第1視点の3次元超音波画像VO1には不鮮明な画像領域は含まれない。すなわち、第1視点の3次元超音波画像VO1においては、図13の左図で示した第1視点における抑制処理後の3次元超音波画像VA1と同様に、不鮮明な画像領域は削除されている。
次いで、画像合成部26は、図12の右図に示すように、第2視点の3次元超音波画像VO2に対して上記第1の実施形態と同様の位置合わせ処理を行い、位置合わせ処理が行われた第2視点における位置合わせ処理後の3次元超音波画像VA2を生成する。そして、不鮮明な画像領域が削除された第1視点の3次元超音波画像VO1において、この削除された領域に、位置合わせ処理を行った第2視点における位置合わせ処理後の3次元超音波画像VA2において不鮮明な画像領域A2ではない領域を合成することにより、合成3次元超音波画像VGを生成して(ステップST6)、処理を終了する。
以上のように、第2の実施形態においては、第1視点の複数の2次元超音波画像Pにおいて各々不鮮明な画像領域を抽出して、抽出した不鮮明な画像領域を削除する抑制処理を行う。そして、抑制処理が行われた第1視点の複数の2次元超音波画像Pに基づいて第1視点の3次元超音波画像VO1を生成して、第2の視点の3次元超音波画像VO2と合成する。このように、2次元超音波画像Pにおいて抑制処理を行った場合であっても、上記第1の実施形態と同様に、高精細な3次元超音波画像を生成することができる。
なお、第2の実施形態においては、第1視点及び第2視点において複数の2次元超音波画像Pを取得し、第1視点及び第2視点の3次元超音波画像Vを生成したが、本開示の技術はこれに限られない。3つ以上の視点において複数の2次元超音波画像Pを取得し、第1視点及び第2視点の3次元超音波画像Vを生成してもよい。この場合、第1の視点の複数の2次元超音波画像Pについてのみ、不鮮明な画像領域に対して不鮮明度を抑制する抑制処理を行ってもよいし、2以上の視点の複数の2次元超音波画像Pにおいて上記抑制処理を行ってもよいし、全ての視点の複数の2次元超音波画像Pにおいて上記抑制処理を行ってもよい。
また、第2の実施形態においては、臓器抽出部24は、2次元超音波画像P及び3次元超音波画像Vの両方において臓器を抽出可能としたが、本開示の技術はこれに限られない。上記第2の実施形態のように、臓器の抽出を2次元超音波画像Pにおいてのみ行う場合には、臓器抽出部24は、3次元超音波画像Vにおいて臓器を抽出する機能を備えていなくてもよい。
また、第1の実施形態及び第2の実施形態において、画像合成部26は、さらに、第1視点における抑制処理後の3次元超音波画像VA1、又は抑制処理が行われた第1視点の複数の2次元超音波画像Pに基づいて生成され3次元超音波画像VO1と、第2視点における位置合わせ処理後の3次元超音波画像VA2に基づいて、抑制処理が行われた領域以外の領域内の画素値について、同じ位置にある画素同士の画素値を平均化する平均化処理を行ってもよい。これにより、画像中のノイズを低減することができるので、より高精細な3次元超音波画像を生成することができる。
また、第1の実施形態及び第2の実施形態において、画像処理部25は、不鮮明な画像領域を削除したが、本開示の技術はこれに限られず、不鮮明な画像領域の画素値を、他の領域の画素値と比較して相対的に低減できればよい。低減する処理としては、例えば、重み付けによって不鮮明な画像領域の画素値を低減するようにしてもよい。具体的には、例えば、不鮮明な画像領域と、不鮮明な画像領域以外の画像領域との画素値を1:2の割合で平均化する処理を行うことができる。また、アーチファクトの起点からの距離に応じて重み付けを行い、不鮮明な画像領域の画素値を低減するようにしてもよい。具体的には、例えば、不鮮明な画像領域において、超音波プローブ50から離れるほど重み付けを大きくして、不鮮明な画像領域の画素値を低減することができる。超音波プローブ50から離れるほど画像における分解能が低下するため、分解能が低い領域ほど画素値を低減することにより、不鮮明な画像領域をより抑制することができる。
また、第1の実施形態及び第2の実施形態において、3次元超音波画像Vにおいて1つの臓器が抽出される態様について説明した。しかし、本開示の技術においては1つの臓器に限られず、2以上の臓器が抽出された場合についても上記第1の実施形態で説明した技術を適用することができる。この場合、抽出された各々の臓器に対して、不鮮明な画像領域を抽出して抑制する処理を行えばよい。
次に、第3の実施形態の3次元超音波画像生成装置について説明する。なお、第3の実施形態の3次元超音波画像生成装置は、図1に示す第1の実施形態の3次元超音波画像生成装置10と同じ構成とすることができる。そのため、ここでの説明は省略し、異なる箇所についてのみ説明する。第3の実施形態の3次元超音波画像生成装置の表示制御部27は、表示部30に3次元超音波画像Vを表示し、表示された3次元超音波画像V上においてユーザに指定された位置に最も近い撮像位置において撮像された第1視点及び第2視点の2次元超音波画像Pを表示部30に表示させる制御を行なう。
図17は表示部に表示された3次元超音波画像Vの一例を示す図、図18は表示部30に表示された2次元超音波画像Pの一例を示す図である。図17に示すように、表示部30に表示された合成3次元超音波画像VG上においてユーザが例えばマウス等の入力部40を操作することにより、任意の位置(一例として図17中の矢印の先端)を指定したとする。
表示制御部27は、指定された位置に最も近い撮像位置を、一次記憶部12に記憶された撮像位置の中から抽出し、抽出した撮像位置に対応させて一次記憶部12に記憶された第1視点及び第2視点の2次元超音波画像Pを抽出して表示部30に表示させる。第1視点及び第2視点の2次元超音波画像Pは、表示部30に並列表示させてもよいし、ユーザの指示によって切り替わるように交互に表示させてもよい。
このように、不鮮明な画像領域が抑制されていない、すなわちアーチファクト等の不鮮明な画像領域を含む2次元超音波画像を表示部30に表示させることにより、画像信号がどれだけ減衰しているのか等、元の画像を視認することで可能となる診断を行うことができる。
また、第1の実施形態及び第2の実施形態において、プローブ位置情報取得部22は、撮像部60に超音波プローブ50及びマーカー部材52を撮像させて取得した撮像画像中のマーカー中心52aの位置、マーカー52x,52y,52zの位置、大きさ、及び傾きから、超音波プローブ50の撮像位置、及び向きの情報を導出しているが、本開示の技術はこれに限られない。
プローブ位置情報取得部22は、例えばAR(Augmented Reality:拡張現実)マーカーを使用することにより超音波プローブ50の撮像位置、及び向きの情報を取得してもよい。ARマーカーは、決まったパターンの図形で構成された画像である。このARマーカーを超音波プローブ50の外周面に配設する。そして、撮像部60により撮像されたARマーカーを含む超音波プローブ50の画像データに基づいて、マーカーの位置及び向きを検出する公知のプログラムを使用することにより、ARマーカー、すなわち超音波プローブ50の撮像位置及び、向きの情報を取得するようにしてもよい。
また、マーカー部材52に替えて、超音波プローブ50本体に凸部及び凹部等を設け、この凸部及び凹部等をマーカーとすることにより、超音波プローブ50の撮像位置、及び向きの情報を導出してもよい。本開示の技術においては、超音波プローブ50の撮像位置、及び向きを規定するための指標とすることができるマーカーであれば、どのような形状及び形式であってもよく、特に限定されるものではない。
また、例えば、診断支援システム1は撮像部60及びマーカー部材52のかわりにセンサを備えることができる。
図19はセンサが設けられた超音波プローブを説明するための図である。なお、図19においては、センサの超音波プローブ50への取り付け方は実際の形状とは異なり簡易的に図示されている。
超音波プローブ50は、図19に示すように、超音波プローブ50の外周面に、センサ70が取付けられている。センサ70は、移動方向、向き、回転を検出することができ、さらに移動距離や移動速度などを算出することができる6軸センサである。前後、左右、上下の3方向を検出できる加速度センサと東西南北を検出できる地磁気センサ、または加速度センサと回転の速さを検出できるジャイロセンサを組み合わせることで、6軸センサが実現される。
プローブ位置情報取得部22は、センサ70から出力された出力情報に基づいて撮像位置を取得することができる。
なお、上記実施形態においては、撮像部60及びマーカー部材52のかわりにセンサ70を設けたが、本開示の技術はこれに限られない。撮像部60及びマーカー部材52に加えてセンサ70を設けてもよい。この場合、センサ70は超音波プローブ50の撮像方向を検出するのに適しており、撮像部60に超音波プローブ50及びマーカー部材52を撮像させて取得した撮像画像から撮像位置を算出する方法は、超音波プローブ50の平行移動を検出するのに適している。そのため、撮像部60、マーカー部材52、及びセンサ70を使用することにより、プローブ位置情報取得部22はより正確な撮像位置及び撮像方向を取得することができる。
また、上述した実施形態において、例えば、画像取得部21、プローブ位置情報取得部22、3次元超音波画像生成部23、臓器抽出部24、画像処理部25、画像合成部26、及び表示制御部27といった各種の処理を実行する処理部(processing unit)のハードウェア的な構造としては、次に示す各種のプロセッサ(processor)を用いることができる。上記各種のプロセッサには、上述したように、ソフトウェア(プログラム)を実行して各種の処理部として機能する汎用的なプロセッサであるCPUに加えて、FPGA(Field Programmable Gate Array)等の製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス(Programmable Logic Device :PLD)、ASIC(Application Specific Integrated Circuit)等の特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路等が含まれる。
1つの処理部は、これらの各種のプロセッサのうちの1つで構成されてもよいし、同種または異種の2つ以上のプロセッサの組み合わせ(例えば、複数のFPGAの組み合わせまたはCPUとFPGAとの組み合わせ)で構成されてもよい。また、複数の処理部を1つのプロセッサで構成してもよい。
複数の処理部を1つのプロセッサで構成する例としては、第1に、クライアント及びサーバ等のコンピュータに代表されるように、1つ以上のCPUとソフトウェアとの組み合わせで1つのプロセッサを構成し、このプロセッサが複数の処理部として機能する形態がある。第2に、システムオンチップ(System On Chip:SoC)等に代表されるように、複数の処理部を含むシステム全体の機能を1つのIC(Integrated Circuit)チップで実現するプロセッサを使用する形態がある。このように、各種の処理部は、ハードウェア的な構造として、上記各種のプロセッサの1つ以上を用いて構成される。
さらに、これらの各種のプロセッサのハードウェア的な構造としては、より具体的には、半導体素子等の回路素子を組み合わせた電気回路(circuitry)を用いることができる。
1 診断支援システム
10 3次元超音波画像生成装置
11 CPU
12 一次記憶部
13 二次記憶部
14 外部I/F
15 3次元超音波画像生成プログラム
16 バス
17 送受信部
21 画像取得部
22 プローブ位置情報取得部
23 3次元超音波画像生成部
24 臓器抽出部
25 画像処理部
26 画像合成部
27 表示制御部
30 表示部
40 入力部
50 超音波プローブ
50a 振動子アレイ
51 ケーブル
52 マーカー部材
60 撮像部
70 センサ
M 被検体
M1 頚部
M2 頸動脈
H 手
P 2次元超音波画像
V 3次元超音波画像
VA1,VA2 抑制処理後の3次元超音波画像
VO1,VO2 3次元超音波画像
VG 合成3次元超音波画像
α 角度

Claims (19)

  1. 超音波プローブを被検体の体表面に沿って一方向に移動させながら、複数の撮像位置で被検体内の目標となる臓器を撮像した複数の2次元超音波画像であって、第1視点及び第2視点の少なくとも2つの視点のそれぞれから前記複数の撮像位置の撮像が行われた第1視点及び第2視点のそれぞれにおける複数の2次元超音波画像を取得する画像取得部と、
    前記超音波プローブの前記視点の方向を示す撮像方向と前記視点毎の前記撮像位置とを含む位置情報を撮像毎に取得するプローブ位置情報取得部と、
    前記画像取得部により取得された前記第1視点及び前記第2視点のそれぞれの前記複数の2次元超音波画像と、前記プローブ位置情報取得部により取得された撮像毎の前記位置情報とに基づいて、前記第1視点及び前記第2視点のそれぞれの3次元超音波画像を生成する3次元超音波画像生成部と、
    前記第1視点及び前記第2視点のそれぞれの前記3次元超音波画像のうち少なくとも一方の前記3次元超音波画像に基づいて、前記3次元超音波画像に含まれる前記臓器を抽出する臓器抽出部と、
    前記臓器抽出部により抽出された前記臓器の位置情報と、前記プローブ位置情報取得部により取得された前記超音波プローブの前記位置情報とに基づいて、前記第1視点及び前記第2視点のそれぞれの前記3次元超音波画像のうち、少なくとも前記臓器が抽出された前記3次元超音波画像について、超音波の反射及び屈折によるアーチファクトが生じやすい領域を不鮮明な画像領域として抽出し、抽出した前記画像領域における不鮮明度を抑制する抑制処理を行う画像処理部と、
    前記第1視点及び前記第2視点の2つの視点の前記3次元超音波画像であって、少なくとも一方の視点の前記3次元超音波画像には前記抑制処理が行われた前記3次元超音波画像を含む2つの視点の前記3次元超音波画像を合成することにより、合成3次元超音波画像を生成する画像合成部と、
    を含む3次元超音波画像生成装置。
  2. 超音波プローブを被検体の体表面に沿って一方向に移動させながら、複数の撮像位置で被検体内の目標となる臓器を撮像した複数の2次元超音波画像であって、第1視点及び第2視点の少なくとも2つの視点のそれぞれから前記複数の撮像位置の撮像が行われた第1視点及び第2視点のそれぞれにおける複数の2次元超音波画像を取得する画像取得部と、
    前記超音波プローブの前記視点の方向を示す撮像方向と前記視点毎の前記撮像位置とを含む位置情報を撮像毎に取得するプローブ位置情報取得部と、
    前記画像取得部により取得された前記第1視点及び前記第2視点のうちの少なくとも一方の視点における前記複数の2次元超音波画像の少なくとも1枚の前記2次元超音波画像に基づいて、前記2次元超音波画像に含まれる前記臓器を抽出する臓器抽出部と、
    前記臓器抽出部により抽出された前記臓器の位置情報と、前記プローブ位置情報取得部により取得された前記超音波プローブの前記位置情報とに基づいて、前記第1視点及び前記第2視点のそれぞれの前記2次元超音波画像のうち、少なくとも前記臓器を抽出した前記2次元超音波画像が含まれる視点に対応する前記複数の2次元超音波画像の各々について、超音波の反射及び屈折によるアーチファクトが生じやすい領域を不鮮明な画像領域として抽出し、抽出した前記画像領域における不鮮明度を抑制する抑制処理を行う画像処理部と、
    前記第1視点及び前記第2視点の2つの視点の複数の前記2次元超音波画像であって、少なくとも一方の視点の前記2次元超音波画像には前記抑制処理が行われた前記2次元超音波画像を含む2つの視点の前記2次元超音波画像のそれぞれに基づいて、前記第1視点及び前記第2視点の2つの視点の3次元超音波画像を生成する3次元超音波画像生成部と、
    前記3次元超音波画像生成部により生成された前記第1視点及び前記第2視点の2つの視点の前記3次元超音波画像を合成して合成3次元超音波画像を生成する画像合成部と、を含む3次元超音波画像生成装置。
  3. 超音波プローブを被検体の体表面に沿って一方向に移動させながら、複数の撮像位置で被検体内の目標となる臓器を撮像した複数の2次元超音波画像であって、第1視点及び第2視点の少なくとも2つの視点のそれぞれから前記複数の撮像位置の撮像が行われた第1視点及び第2視点のそれぞれにおける複数の2次元超音波画像を取得する画像取得部と、
    前記超音波プローブの前記視点の方向を示す撮像方向と前記視点毎の前記撮像位置とを含む位置情報を撮像毎に取得するプローブ位置情報取得部と、
    前記画像取得部により取得された前記第1視点及び前記第2視点のそれぞれの前記複数の2次元超音波画像と、前記プローブ位置情報取得部により取得された撮像毎の前記位置情報とに基づいて、前記第1視点及び前記第2視点のそれぞれの3次元超音波画像を生成する3次元超音波画像生成部と、
    前記第1視点及び前記第2視点のそれぞれの前記3次元超音波画像のうち少なくとも一方の前記3次元超音波画像に基づいて、前記3次元超音波画像に含まれる前記臓器を抽出する臓器抽出部と、
    前記臓器抽出部により抽出された前記臓器の位置情報と、前記プローブ位置情報取得部により取得された前記超音波プローブの前記位置情報とに基づいて導出される進行方向であって、前記臓器に対して前記超音波プローブから照射される超音波の進行方向に基づいて、前記第1視点及び前記第2視点のそれぞれの前記3次元超音波画像のうち、少なくとも前記臓器が抽出された前記3次元超音波画像について、不鮮明な画像領域を抽出し、抽出した前記画像領域における不鮮明度を抑制する抑制処理を行う画像処理部と、
    前記第1視点及び前記第2視点の2つの視点の前記3次元超音波画像であって、少なくとも一方の視点の前記3次元超音波画像には前記抑制処理が行われた前記3次元超音波画像を含む2つの視点の前記3次元超音波画像を合成することにより、合成3次元超音波画像を生成する画像合成部と、
    を含む3次元超音波画像生成装置。
  4. 超音波プローブを被検体の体表面に沿って一方向に移動させながら、複数の撮像位置で被検体内の目標となる臓器を撮像した複数の2次元超音波画像であって、第1視点及び第2視点の少なくとも2つの視点のそれぞれから前記複数の撮像位置の撮像が行われた第1視点及び第2視点のそれぞれにおける複数の2次元超音波画像を取得する画像取得部と、
    前記超音波プローブの前記視点の方向を示す撮像方向と前記視点毎の前記撮像位置とを含む位置情報を撮像毎に取得するプローブ位置情報取得部と、
    前記画像取得部により取得された前記第1視点及び前記第2視点のうちの少なくとも一方の視点における前記複数の2次元超音波画像の少なくとも1枚の前記2次元超音波画像に基づいて、前記2次元超音波画像に含まれる前記臓器を抽出する臓器抽出部と、
    前記臓器抽出部により抽出された前記臓器の位置情報と、前記プローブ位置情報取得部により取得された前記超音波プローブの前記位置情報とに基づいて導出される進行方向であって、前記臓器に対して前記超音波プローブから照射される超音波の進行方向に基づいて、前記第1視点及び前記第2視点のそれぞれの前記2次元超音波画像のうち、少なくとも前記臓器を抽出した前記2次元超音波画像が含まれる視点に対応する前記複数の2次元超音波画像の各々について、不鮮明な画像領域を抽出し、抽出した前記画像領域における不鮮明度を抑制する抑制処理を行う画像処理部と、
    前記第1視点及び前記第2視点の2つの視点の複数の前記2次元超音波画像であって、少なくとも一方の視点の前記2次元超音波画像には前記抑制処理が行われた前記2次元超音波画像を含む2つの視点の前記2次元超音波画像のそれぞれに基づいて、前記第1視点及び前記第2視点の2つの視点の3次元超音波画像を生成する3次元超音波画像生成部と、
    前記3次元超音波画像生成部により生成された前記第1視点及び前記第2視点の2つの視点の前記3次元超音波画像を合成して合成3次元超音波画像を生成する画像合成部と、を含む3次元超音波画像生成装置。
  5. 前記画像処理部は、前記進行方向と前記臓器の外表面とのなす角度が予め定められた閾値以下である領域を前記不鮮明な画像領域として抽出する請求項3又は請求項4に記載の3次元超音波画像生成装置。
  6. 前記抑制処理は、前記不鮮明な画像領域の画素値を、他の領域の画素値と比較して相対的に低減する処理である請求項1からの何れか1項に記載の3次元超音波画像生成装置。
  7. 前記画像合成部は、前記第1視点及び前記第2視点の2つの視点の前記3次元超音波画像に基づいて、同じ位置にある画素同士の画素値を平均化する平均化処理であって、前記抑制処理が行われた前記不鮮明な画像領域以外の領域内の前記画素値を平均化する平均化処理を行う請求項1からの何れか1項に記載の3次元超音波画像生成装置。
  8. 前記2次元超音波画像及び前記3次元超音波画像の少なくとも一方の画像を表示部に表示する表示制御部を備え、
    前記表示制御部は、前記表示部に前記合成3次元超音波画像を表示し、表示された合成3次元超音波画像上においてユーザに指定された位置に最も近い撮像位置において撮像された2次元超音波画像を表示部に表示させる制御を行なう請求項1からの何れか1項に記載の3次元超音波画像生成装置。
  9. 前記超音波プローブに固定されたマーカー部材と、
    前記超音波プローブ及び前記マーカー部材を同一撮像範囲内に含めて撮像する撮像部とを備え、
    前記プローブ位置情報取得部は、前記撮像部により取得された前記超音波プローブ及び前記マーカー部材の撮像画像に基づいて前記超音波プローブの位置情報を取得する請求項1からの何れか1項に記載の3次元超音波画像生成装置。
  10. 前記超音波プローブに設けられる6軸センサを備え、
    前記プローブ位置情報取得部は、前記6軸センサから出力された出力情報に基づいて前記超音波プローブの位置情報を取得する請求項1からの何れか1項に記載の3次元超音波画像生成装置。
  11. 前記超音波プローブに固定されたマーカー部材、並びに前記超音波プローブに設けられる6軸センサと、
    前記超音波プローブ及び前記マーカー部材を同一撮像範囲内に含めて撮像する撮像部とを備え、
    前記プローブ位置情報取得部は、前記撮像部により取得された前記超音波プローブ及び前記マーカー部材の撮像画像、並びに前記6軸センサから出力された出力情報に基づいて前記超音波プローブの位置情報を取得する請求項1からの何れか1項に記載の3次元超音波画像生成装置。
  12. 超音波プローブを被検体の体表面に沿って一方向に移動させながら、複数の撮像位置で被検体内の目標となる臓器を撮像した複数の2次元超音波画像であって、第1視点及び第2視点の少なくとも2つの視点のそれぞれから前記複数の撮像位置の撮像が行われた第1視点及び第2視点のそれぞれにおける複数の2次元超音波画像を取得し、
    前記超音波プローブの前記視点の方向を示す撮像方向と前記視点毎の前記撮像位置とを含む位置情報を撮像毎に取得し、
    取得された前記第1視点及び前記第2視点のそれぞれの前記複数の2次元超音波画像と、取得された撮像毎の前記位置情報とに基づいて、前記第1視点及び前記第2視点のそれぞれの3次元超音波画像を生成し、
    前記第1視点及び前記第2視点のそれぞれの前記3次元超音波画像のうち少なくとも一方の前記3次元超音波画像に基づいて、前記3次元超音波画像に含まれる前記臓器を抽出し、
    抽出された前記臓器の位置情報と、取得された前記超音波プローブの前記位置情報とに基づいて、前記第1視点及び前記第2視点のそれぞれの前記3次元超音波画像のうち、少なくとも前記臓器が抽出された前記3次元超音波画像について、超音波の反射及び屈折によるアーチファクトが生じやすい領域を不鮮明な画像領域として抽出して、抽出した前記画像領域における不鮮明度を抑制する抑制処理を行い、
    前記第1視点及び前記第2視点の2つの視点の前記3次元超音波画像であって、少なくとも一方の視点の前記3次元超音波画像には前記抑制処理が行われた前記3次元超音波画像を含む2つの視点の前記3次元超音波画像を合成することにより、合成3次元超音波画像を生成する3次元超音波画像生成方法。
  13. 超音波プローブを被検体の体表面に沿って一方向に移動させながら、複数の撮像位置で被検体内の目標となる臓器を撮像した複数の2次元超音波画像であって、第1視点及び第2視点の少なくとも2つの視点のそれぞれから前記複数の撮像位置の撮像が行われた第1視点及び第2視点のそれぞれにおける複数の2次元超音波画像を取得し、
    前記超音波プローブの前記視点の方向を示す撮像方向と前記視点毎の前記撮像位置とを含む位置情報を撮像毎に取得し、
    取得された前記第1視点及び前記第2視点のうちの少なくとも一方の視点における前記複数の2次元超音波画像の少なくとも1枚の前記2次元超音波画像に基づいて、前記2次元超音波画像に含まれる前記臓器を抽出し、
    抽出された前記臓器の位置情報と、取得された前記超音波プローブの前記位置情報とに基づいて、前記第1視点及び前記第2視点のそれぞれの前記2次元超音波画像のうち、少なくとも前記臓器を抽出した前記2次元超音波画像が含まれる視点に対応する前記複数の2次元超音波画像の各々について、超音波の反射及び屈折によるアーチファクトが生じやすい領域を不鮮明な画像領域として抽出し、抽出した前記画像領域における不鮮明度を抑制する抑制処理を行い、
    前記第1視点及び前記第2視点の2つの視点の複数の前記2次元超音波画像であって、少なくとも一方の視点の前記2次元超音波画像には前記抑制処理が行われた前記2次元超音波画像を含む2つの視点の前記2次元超音波画像のそれぞれに基づいて、前記第1視点及び前記第2視点の2つの視点の3次元超音波画像を生成し、
    生成された前記第1視点及び前記第2視点の2つの視点の前記3次元超音波画像を合成して合成3次元超音波画像を生成する3次元超音波画像生成方法。
  14. 超音波プローブを被検体の体表面に沿って一方向に移動させながら、複数の撮像位置で被検体内の目標となる臓器を撮像した複数の2次元超音波画像であって、第1視点及び第2視点の少なくとも2つの視点のそれぞれから前記複数の撮像位置の撮像が行われた第1視点及び第2視点のそれぞれにおける複数の2次元超音波画像を取得し、
    前記超音波プローブの前記視点の方向を示す撮像方向と前記視点毎の前記撮像位置とを含む位置情報を撮像毎に取得し、
    取得された前記第1視点及び前記第2視点のそれぞれの前記複数の2次元超音波画像と、取得された撮像毎の前記位置情報とに基づいて、前記第1視点及び前記第2視点のそれぞれの3次元超音波画像を生成し、
    前記第1視点及び前記第2視点のそれぞれの前記3次元超音波画像のうち少なくとも一方の前記3次元超音波画像に基づいて、前記3次元超音波画像に含まれる前記臓器を抽出し、
    抽出された前記臓器の位置情報と、取得された前記超音波プローブの前記位置情報とに基づいて導出される進行方向であって、前記臓器に対して前記超音波プローブから照射される超音波の進行方向に基づいて、前記第1視点及び前記第2視点のそれぞれの前記3次元超音波画像のうち、少なくとも前記臓器が抽出された前記3次元超音波画像について、不鮮明な画像領域を抽出して、抽出した前記画像領域における不鮮明度を抑制する抑制処理を行い、
    前記第1視点及び前記第2視点の2つの視点の前記3次元超音波画像であって、少なくとも一方の視点の前記3次元超音波画像には前記抑制処理が行われた前記3次元超音波画像を含む2つの視点の前記3次元超音波画像を合成することにより、合成3次元超音波画像を生成する3次元超音波画像生成方法。
  15. 超音波プローブを被検体の体表面に沿って一方向に移動させながら、複数の撮像位置で被検体内の目標となる臓器を撮像した複数の2次元超音波画像であって、第1視点及び第2視点の少なくとも2つの視点のそれぞれから前記複数の撮像位置の撮像が行われた第1視点及び第2視点のそれぞれにおける複数の2次元超音波画像を取得し、
    前記超音波プローブの前記視点の方向を示す撮像方向と前記視点毎の前記撮像位置とを含む位置情報を撮像毎に取得し、
    取得された前記第1視点及び前記第2視点のうちの少なくとも一方の視点における前記複数の2次元超音波画像の少なくとも1枚の前記2次元超音波画像に基づいて、前記2次元超音波画像に含まれる前記臓器を抽出し、
    抽出された前記臓器の位置情報と、取得された前記超音波プローブの前記位置情報とに基づいて導出される進行方向であって、前記臓器に対して前記超音波プローブから照射される超音波の進行方向に基づいて、前記第1視点及び前記第2視点のそれぞれの前記2次元超音波画像のうち、少なくとも前記臓器を抽出した前記2次元超音波画像が含まれる視点に対応する前記複数の2次元超音波画像の各々について、不鮮明な画像領域を抽出し、抽出した前記画像領域における不鮮明度を抑制する抑制処理を行い、
    前記第1視点及び前記第2視点の2つの視点の複数の前記2次元超音波画像であって、少なくとも一方の視点の前記2次元超音波画像には前記抑制処理が行われた前記2次元超音波画像を含む2つの視点の前記2次元超音波画像のそれぞれに基づいて、前記第1視点及び前記第2視点の2つの視点の3次元超音波画像を生成し、
    生成された前記第1視点及び前記第2視点の2つの視点の前記3次元超音波画像を合成して合成3次元超音波画像を生成する3次元超音波画像生成方法。
  16. 超音波プローブを被検体の体表面に沿って一方向に移動させながら、複数の撮像位置で被検体内の目標となる臓器を撮像した複数の2次元超音波画像であって、第1視点及び第2視点の少なくとも2つの視点のそれぞれから前記複数の撮像位置の撮像が行われた第1視点及び第2視点のそれぞれにおける複数の2次元超音波画像を取得する画像取得部と、
    前記超音波プローブの前記視点の方向を示す撮像方向と前記視点毎の前記撮像位置とを含む位置情報を撮像毎に取得するプローブ位置情報取得部と、
    前記画像取得部により取得された前記第1視点及び前記第2視点のそれぞれの前記複数の2次元超音波画像と、前記プローブ位置情報取得部により取得された撮像毎の前記位置情報とに基づいて、前記第1視点及び前記第2視点のそれぞれの3次元超音波画像を生成する3次元超音波画像生成部と、
    前記第1視点及び前記第2視点のそれぞれの前記3次元超音波画像のうち少なくとも一方の前記3次元超音波画像に基づいて、前記3次元超音波画像に含まれる前記臓器を抽出する臓器抽出部と、
    前記臓器抽出部により抽出された前記臓器の位置情報と、前記プローブ位置情報取得部により取得された前記超音波プローブの前記位置情報とに基づいて、前記第1視点及び前記第2視点のそれぞれの前記3次元超音波画像のうち、少なくとも前記臓器が抽出された前記3次元超音波画像について、超音波の反射及び屈折によるアーチファクトが生じやすい領域を不鮮明な画像領域として抽出し、抽出した前記画像領域における不鮮明度を抑制する抑制処理を行う画像処理部と、
    前記第1視点及び前記第2視点の2つの視点の前記3次元超音波画像であって、少なくとも一方の視点の前記3次元超音波画像には前記抑制処理が行われた前記3次元超音波画像を含む2つの視点の前記3次元超音波画像を合成することにより、合成3次元超音波画像を生成する画像合成部として、
    コンピュータを機能させる3次元超音波画像生成プログラム。
  17. 超音波プローブを被検体の体表面に沿って一方向に移動させながら、複数の撮像位置で被検体内の目標となる臓器を撮像した複数の2次元超音波画像であって、第1視点及び第2視点の少なくとも2つの視点のそれぞれから前記複数の撮像位置の撮像が行われた第1視点及び第2視点のそれぞれにおける複数の2次元超音波画像を取得する画像取得部と、
    前記超音波プローブの前記視点の方向を示す撮像方向と前記視点毎の前記撮像位置とを含む位置情報を撮像毎に取得するプローブ位置情報取得部と、
    前記画像取得部により取得された前記第1視点及び前記第2視点のうちの少なくとも一方の視点における前記複数の2次元超音波画像の少なくとも1枚の前記2次元超音波画像に基づいて、前記2次元超音波画像に含まれる前記臓器を抽出する臓器抽出部と、
    前記臓器抽出部により抽出された前記臓器の位置情報と、前記プローブ位置情報取得部により取得された前記超音波プローブの前記位置情報とに基づいて、前記第1視点及び前記第2視点のそれぞれの前記2次元超音波画像のうち、少なくとも前記臓器を抽出した前記2次元超音波画像が含まれる視点に対応する前記複数の2次元超音波画像の各々について、超音波の反射及び屈折によるアーチファクトが生じやすい領域を不鮮明な画像領域として抽出し、抽出した前記画像領域における不鮮明度を抑制する抑制処理を行う画像処理部と、
    前記第1視点及び前記第2視点の2つの視点の複数の前記2次元超音波画像であって、少なくとも一方の視点の前記2次元超音波画像には前記抑制処理が行われた前記2次元超音波画像を含む2つの視点の前記2次元超音波画像のそれぞれに基づいて、前記第1視点及び前記第2視点の2つの視点の3次元超音波画像を生成する3次元超音波画像生成部と、
    前記3次元超音波画像生成部により生成された前記第1視点及び前記第2視点の2つの視点の前記3次元超音波画像を合成して合成3次元超音波画像を生成する画像合成部として、
    コンピュータを機能させる3次元超音波画像生成プログラム。
  18. 超音波プローブを被検体の体表面に沿って一方向に移動させながら、複数の撮像位置で被検体内の目標となる臓器を撮像した複数の2次元超音波画像であって、第1視点及び第2視点の少なくとも2つの視点のそれぞれから前記複数の撮像位置の撮像が行われた第1視点及び第2視点のそれぞれにおける複数の2次元超音波画像を取得する画像取得部と、
    前記超音波プローブの前記視点の方向を示す撮像方向と前記視点毎の前記撮像位置とを含む位置情報を撮像毎に取得するプローブ位置情報取得部と、
    前記画像取得部により取得された前記第1視点及び前記第2視点のそれぞれの前記複数の2次元超音波画像と、前記プローブ位置情報取得部により取得された撮像毎の前記位置情報とに基づいて、前記第1視点及び前記第2視点のそれぞれの3次元超音波画像を生成する3次元超音波画像生成部と、
    前記第1視点及び前記第2視点のそれぞれの前記3次元超音波画像のうち少なくとも一方の前記3次元超音波画像に基づいて、前記3次元超音波画像に含まれる前記臓器を抽出する臓器抽出部と、
    前記臓器抽出部により抽出された前記臓器の位置情報と、前記プローブ位置情報取得部により取得された前記超音波プローブの前記位置情報とに基づいて導出される進行方向であって、前記臓器に対して前記超音波プローブから照射される超音波の進行方向に基づいて、前記第1視点及び前記第2視点のそれぞれの前記3次元超音波画像のうち、少なくとも前記臓器が抽出された前記3次元超音波画像について、不鮮明な画像領域を抽出し、抽出した前記画像領域における不鮮明度を抑制する抑制処理を行う画像処理部と、
    前記第1視点及び前記第2視点の2つの視点の前記3次元超音波画像であって、少なくとも一方の視点の前記3次元超音波画像には前記抑制処理が行われた前記3次元超音波画像を含む2つの視点の前記3次元超音波画像を合成することにより、合成3次元超音波画像を生成する画像合成部として、
    コンピュータを機能させる3次元超音波画像生成プログラム。
  19. 超音波プローブを被検体の体表面に沿って一方向に移動させながら、複数の撮像位置で被検体内の目標となる臓器を撮像した複数の2次元超音波画像であって、第1視点及び第2視点の少なくとも2つの視点のそれぞれから前記複数の撮像位置の撮像が行われた第1視点及び第2視点のそれぞれにおける複数の2次元超音波画像を取得する画像取得部と、
    前記超音波プローブの前記視点の方向を示す撮像方向と前記視点毎の前記撮像位置とを含む位置情報を撮像毎に取得するプローブ位置情報取得部と、
    前記画像取得部により取得された前記第1視点及び前記第2視点のうちの少なくとも一方の視点における前記複数の2次元超音波画像の少なくとも1枚の前記2次元超音波画像に基づいて、前記2次元超音波画像に含まれる前記臓器を抽出する臓器抽出部と、
    前記臓器抽出部により抽出された前記臓器の位置情報と、前記プローブ位置情報取得部により取得された前記超音波プローブの前記位置情報とに基づいて導出される進行方向であって、前記臓器に対して前記超音波プローブから照射される超音波の進行方向に基づいて、前記第1視点及び前記第2視点のそれぞれの前記2次元超音波画像のうち、少なくとも前記臓器を抽出した前記2次元超音波画像が含まれる視点に対応する前記複数の2次元超音波画像の各々について、不鮮明な画像領域を抽出し、抽出した前記画像領域における不鮮明度を抑制する抑制処理を行う画像処理部と、
    前記第1視点及び前記第2視点の2つの視点の複数の前記2次元超音波画像であって、少なくとも一方の視点の前記2次元超音波画像には前記抑制処理が行われた前記2次元超音波画像を含む2つの視点の前記2次元超音波画像のそれぞれに基づいて、前記第1視点及び前記第2視点の2つの視点の3次元超音波画像を生成する3次元超音波画像生成部と、
    前記3次元超音波画像生成部により生成された前記第1視点及び前記第2視点の2つの視点の前記3次元超音波画像を合成して合成3次元超音波画像を生成する画像合成部として、
    コンピュータを機能させる3次元超音波画像生成プログラム。
JP2021524696A 2019-06-06 2020-04-17 3次元超音波画像生成装置、方法、及びプログラム Active JP7275261B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2019106449 2019-06-06
JP2019106449 2019-06-06
PCT/JP2020/016817 WO2020246151A1 (ja) 2019-06-06 2020-04-17 3次元超音波画像生成装置、方法、及びプログラム

Publications (2)

Publication Number Publication Date
JPWO2020246151A1 JPWO2020246151A1 (ja) 2020-12-10
JP7275261B2 true JP7275261B2 (ja) 2023-05-17

Family

ID=73653158

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021524696A Active JP7275261B2 (ja) 2019-06-06 2020-04-17 3次元超音波画像生成装置、方法、及びプログラム

Country Status (4)

Country Link
US (1) US20220079561A1 (ja)
JP (1) JP7275261B2 (ja)
DE (1) DE112020002679T5 (ja)
WO (1) WO2020246151A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102285007B1 (ko) * 2019-06-21 2021-08-03 주식회사 데카사이트 초음파 스캐너의 탐촉자의 위치 및 자세 추적을 이용한 초음파 영상 제공 장치 및 방법

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012164892A1 (ja) 2011-05-30 2012-12-06 パナソニック株式会社 超音波診断装置および超音波を用いた画像取得方法
JP2014014659A (ja) 2012-06-15 2014-01-30 Toshiba Corp 超音波診断装置、コンピュータプログラムプロダクト及び制御方法

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6547731B1 (en) * 1998-05-05 2003-04-15 Cornell Research Foundation, Inc. Method for assessing blood flow and apparatus thereof
JP2003088521A (ja) 2001-09-18 2003-03-25 Aloka Co Ltd 超音波診断装置及び探触子
US8303505B2 (en) * 2005-12-02 2012-11-06 Abbott Cardiovascular Systems Inc. Methods and apparatuses for image guided medical procedures
JP2007236681A (ja) 2006-03-09 2007-09-20 Toshiba Corp 医用画像診断装置及び医用画像診断装置の制御プログラム
US10531858B2 (en) * 2007-07-20 2020-01-14 Elekta, LTD Methods and systems for guiding the acquisition of ultrasound images
JP5361166B2 (ja) 2007-10-16 2013-12-04 株式会社東芝 超音波診断装置
JP4717935B2 (ja) 2009-03-23 2011-07-06 富士フイルム株式会社 画像処理装置および方法並びにプログラム
US20110125022A1 (en) * 2009-11-25 2011-05-26 Siemens Medical Solutions Usa, Inc. Synchronization for multi-directional ultrasound scanning
JP5539778B2 (ja) 2010-03-31 2014-07-02 富士フイルム株式会社 血管表示制御装置、その作動方法およびプログラム
JP2012071115A (ja) * 2010-08-30 2012-04-12 Toshiba Corp 超音波診断装置
US11109835B2 (en) * 2011-12-18 2021-09-07 Metritrack Llc Three dimensional mapping display system for diagnostic ultrasound machines
US20140184600A1 (en) * 2012-12-28 2014-07-03 General Electric Company Stereoscopic volume rendering imaging system
US10034657B2 (en) * 2013-07-26 2018-07-31 Siemens Medical Solutions Usa, Inc. Motion artifact suppression for three-dimensional parametric ultrasound imaging
WO2017042304A1 (en) * 2015-09-10 2017-03-16 Koninklijke Philips N.V. An ultrasound system with wide depth and detailed viewing
US20170090571A1 (en) * 2015-09-29 2017-03-30 General Electric Company System and method for displaying and interacting with ultrasound images via a touchscreen
US11103214B2 (en) * 2016-03-07 2021-08-31 Toshiba Medical Systems Corporation Ultrasonic diagnostic apparatus using synthetic and moving aperture synthesis
JP7294996B2 (ja) * 2019-11-28 2023-06-20 富士フイルムヘルスケア株式会社 超音波診断装置及び表示方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012164892A1 (ja) 2011-05-30 2012-12-06 パナソニック株式会社 超音波診断装置および超音波を用いた画像取得方法
JP2014014659A (ja) 2012-06-15 2014-01-30 Toshiba Corp 超音波診断装置、コンピュータプログラムプロダクト及び制御方法

Also Published As

Publication number Publication date
JPWO2020246151A1 (ja) 2020-12-10
DE112020002679T5 (de) 2022-03-03
US20220079561A1 (en) 2022-03-17
WO2020246151A1 (ja) 2020-12-10

Similar Documents

Publication Publication Date Title
US10561403B2 (en) Sensor coordinate calibration in an ultrasound system
EP3003161B1 (en) Method for 3d acquisition of ultrasound images
Mohamed et al. A survey on 3D ultrasound reconstruction techniques
US9492141B2 (en) Ultrasonic image generating device and image generating method
US10499879B2 (en) Systems and methods for displaying intersections on ultrasound images
US20120154400A1 (en) Method of reducing noise in a volume-rendered image
US9151841B2 (en) Providing an ultrasound spatial compound image based on center lines of ultrasound images in an ultrasound system
US11766297B2 (en) Apparatus and method for detecting an interventional tool
CN101681516A (zh) 标记超声成像***的2d显示器上的3d体积图像的***和方法
US9990725B2 (en) Medical image processing apparatus and medical image registration method using virtual reference point for registering images
JP6833533B2 (ja) 超音波診断装置および超音波診断支援プログラム
US9366757B2 (en) Arranging a three-dimensional ultrasound image in an ultrasound system
US20170100087A1 (en) Sensor coordinate calibration in an ultrasound system
Rohling 3D freehand ultrasound: reconstruction and spatial compounding
JP7275261B2 (ja) 3次元超音波画像生成装置、方法、及びプログラム
JP4350214B2 (ja) 超音波診断装置
JP6945334B2 (ja) 超音波診断装置及び医用画像処理装置
JP7104243B2 (ja) 3次元超音波撮像支援装置、方法、及びプログラム
JP7336766B2 (ja) 超音波診断装置、超音波診断方法および超音波診断プログラム
CN111226259B (zh) 用于图像伪影消除的***、方法和装置
US20220061803A1 (en) Systems and methods for generating ultrasound probe guidance instructions
CN112568936A (zh) 医用图像诊断装置、超声波诊断装置、医用图像***以及拍摄控制方法
JP2021053379A (ja) 医用画像診断装置、超音波診断装置、医用画像システム、及び撮像制御方法
TW202322766A (zh) 超音波影像系統
TW202110404A (zh) 超音波影像系統

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20211102

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20221115

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230106

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230411

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230502

R150 Certificate of patent or registration of utility model

Ref document number: 7275261

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150