JP6391922B2 - 医用画像診断装置、画像処理装置及び画像処理方法 - Google Patents

医用画像診断装置、画像処理装置及び画像処理方法 Download PDF

Info

Publication number
JP6391922B2
JP6391922B2 JP2013165541A JP2013165541A JP6391922B2 JP 6391922 B2 JP6391922 B2 JP 6391922B2 JP 2013165541 A JP2013165541 A JP 2013165541A JP 2013165541 A JP2013165541 A JP 2013165541A JP 6391922 B2 JP6391922 B2 JP 6391922B2
Authority
JP
Japan
Prior art keywords
image
lumen
virtual endoscopic
travel line
branch
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2013165541A
Other languages
English (en)
Other versions
JP2014050684A (ja
Inventor
敏江 丸山
敏江 丸山
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Medical Systems Corp
Original Assignee
Canon Medical Systems Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Medical Systems Corp filed Critical Canon Medical Systems Corp
Priority to JP2013165541A priority Critical patent/JP6391922B2/ja
Publication of JP2014050684A publication Critical patent/JP2014050684A/ja
Application granted granted Critical
Publication of JP6391922B2 publication Critical patent/JP6391922B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5215—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data
    • A61B8/523—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data for generating planar views from image data in a user selectable plane not corresponding to the acquisition plane
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/05—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves 
    • A61B5/055—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves  involving electronic [EMR] or nuclear [NMR] magnetic resonance, e.g. magnetic resonance imaging
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/43—Detecting, measuring or recording for evaluating the reproductive systems
    • A61B5/4306—Detecting, measuring or recording for evaluating the reproductive systems for evaluating the female reproductive systems, e.g. gynaecological evaluations
    • A61B5/4312—Breast evaluation or disorder diagnosis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/46—Arrangements for interfacing with the operator or the patient
    • A61B6/461—Displaying means of special interest
    • A61B6/466—Displaying means of special interest adapted to display 3D data
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/50—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications
    • A61B6/502—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications for diagnosis of breast, i.e. mammography
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
    • A61B6/5211—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
    • A61B6/5223—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data generating planar views from image data, e.g. extracting a coronal view from a 3D image
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/08—Detecting organic movements or changes, e.g. tumours, cysts, swellings
    • A61B8/0825—Detecting organic movements or changes, e.g. tumours, cysts, swellings for diagnosis of the breast, e.g. mammography
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/08—Detecting organic movements or changes, e.g. tumours, cysts, swellings
    • A61B8/0891—Detecting organic movements or changes, e.g. tumours, cysts, swellings for diagnosis of blood vessels
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/13—Tomography
    • A61B8/14—Echo-tomography
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/48—Diagnostic techniques
    • A61B8/483—Diagnostic techniques involving the acquisition of a 3D volume of data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/02—Arrangements for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
    • A61B6/03—Computed tomography [CT]
    • A61B6/032—Transmission computed tomography [CT]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/46—Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient
    • A61B8/461—Displaying means of special interest
    • A61B8/463—Displaying means of special interest characterised by displaying multiple images or images and diagnostic data on one display
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/48—Diagnostic techniques
    • A61B8/481—Diagnostic techniques involving the use of contrast agent, e.g. microbubbles introduced into the bloodstream
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/48—Diagnostic techniques
    • A61B8/488—Diagnostic techniques involving Doppler signals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/41—Medical

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Medical Informatics (AREA)
  • Physics & Mathematics (AREA)
  • Surgery (AREA)
  • Public Health (AREA)
  • Pathology (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Veterinary Medicine (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Optics & Photonics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Vascular Medicine (AREA)
  • Computer Graphics (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Dentistry (AREA)
  • General Physics & Mathematics (AREA)
  • Gynecology & Obstetrics (AREA)
  • Reproductive Health (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)
  • Image Processing (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Pulmonology (AREA)

Description

本発明の実施形態は、医用画像診断装置、画像処理装置及び画像処理方法に関する。
従来、超音波診断装置や、Ｘ線ＣＴ（Computed Tomography）装置、磁気共鳴イメージング（ＭＲＩ：Magnetic Resonance Imaging）装置等の医用画像診断装置では、３次元の医用画像データ（以下、ボリュームデータ）を生成可能な装置が実用化されている。また、近年、管腔を含むボリュームデータから、管腔内の観察が可能な仮想内視鏡（ＶＥ：Virtual Endoscopy）画像を生成表示することが行なわれている。仮想内視鏡画像の表示方法としては、管腔の走行線（芯線）に沿って視点を移動することで、仮想内視鏡画像を動画表示する表示がある。以下、かかる表示を「仮想内視鏡動画表示」と記載する。
例えば、他の医用画像診断装置に比べ非侵襲性等の利点を備えることから様々な生体組織の検査や診断に利用されている超音波診断装置では、乳腺の仮想内視鏡動画表示が行なわれている。乳腺の仮想内視鏡動画表示は、バーチャル乳管内視鏡として期待されている機能である。しかし、乳腺の構造特性により、乳腺を含むボリュームデータ中には、複数の乳管が存在し、更に、個々の乳管が分岐を繰り返すといった特徴がある。
ここで、実際の乳管内視鏡検査では、乳汁分泌のある乳管に内視鏡を挿入して、当該乳管が有する全ての分枝を観察することで、どの分枝から乳汁が分泌されているかが特定される。すなわち、実際の乳管内視鏡検査では、検査者は、分岐点まで内視鏡を戻す操作を繰り返し、全ての分枝を観察する。同様に、バーチャル乳管内視鏡検査でも、乳汁分泌のある乳管が有する全ての分枝を観察することが求められる。
しかし、従来の仮想内視鏡動画表示では、検査者は、一般的に、例えば、視点位置を通る断面でボリュームデータを切断したＭＰＲ（Multi Planer Reconstruction）画像を参照して仮想内視鏡画像の現在の視点位置を認識している。すなわち、従来の仮想内視鏡動画表示では、乳管の全体構成と現在の視点位置との関係や、観察の完了の判断は、検査者の記憶に依存する。このため、従来の仮想内視鏡動画表示による検査では、検査者の見落としや勘違いにより、未観察の分枝が存在するにも関わらず、検査が完了してしまう場合があった。
なお、未観察の分枝が存在するにも関わらず検査が完了してしまう可能性は、分岐する管腔を仮想内視鏡動画表示する場合に、一般的に生じる。また、未観察の分枝が存在するにも関わらず検査が完了してしまう可能性は、超音波診断装置以外の医用画像診断装置により収集されたボリュームデータを用いる場合にも同様に生じる。
特開２００９−５６１４３号公報
本発明が解決しようとする課題は、分岐を有する管腔の観察完了を容易に把握させることができる医用画像診断装置、画像処理装置及び画像処理方法を提供することである。
実施形態の医用画像診断装置は、管腔画像生成部と、走行線生成部と、画像合成部と、制御部とを備える。管腔画像生成部は、３次元の医用画像データであるボリュームデータに基づく、分岐を有する管腔の形状が描出された管腔画像を生成する。走行線生成部は、前記分岐を有する管腔の形状に基づいて、複数の走行線を生成する。画像合成部は、前記分岐を有する管腔の仮想内視鏡画像における視点の移動経路を示す前記複数の走行線を、前記管腔画像に重畳した合成画像を生成する。制御部は、前記合成画像を所定の表示部に表示させる。前記制御部は、前記管腔の走行線に沿って視点を移動することにより仮想内視鏡画像が動画表示された走行線の範囲と仮想内視鏡画像が動画表示されていない走行線の範囲とを識別可能とする描画を行なうように、前記画像合成部を制御する。前記複数の走行線の中で指定された走行線に沿って、前記分岐を有する管腔の仮想内視鏡画像を前記所定の表示部で表示させ、仮想内視鏡画像の表示中に、操作者から指定された仮想内視鏡画像の生成に用いられた視点の位置を含む断面で前記ボリュームデータを切断した断面画像に印を表示させ、かつ、前記合成画像において当該視点の位置に対応する走行線上の位置に印を表示させる。
図１は、本実施形態に係る超音波診断装置の構成例を示すブロック図である。 図２は、Ａ面、Ｂ面及びＣ面を説明するための図である。 図３Ａは、仮想内視鏡画像生成部の処理の一例を説明するための図（１）である。 図３Ｂは、仮想内視鏡画像生成部の処理の一例を説明するための図（２）である。 図４Ａは、管腔画像生成部の処理の一例を説明するための図（１）である。 図４Ｂは、管腔画像生成部の処理の一例を説明するための図（２）である。 図５は、ＭＰＲ画像生成部の処理の一例を説明するための図である。 図６Ａは、画像合成部が生成する合成画像の一例を説明するための図（１）である。 図６Ｂは、画像合成部が生成する合成画像の一例を説明するための図（２）である。 図７は、本実施形態に係る制御部による合成画像の表示例を説明するための図である。 図８Ａは、本実施形態に係る制御部による仮想内視鏡動画表示制御を説明するための図（１）である。 図８Ｂは、本実施形態に係る制御部による仮想内視鏡動画表示制御を説明するための図（２）である。 図８Ｃは、本実施形態に係る制御部による仮想内視鏡動画表示制御を説明するための図（３）である。 図９Ａは、本実施形態に係る制御部による仮想内視鏡動画表示制御を説明するための図（４）である。 図９Ｂは、本実施形態に係る制御部による仮想内視鏡動画表示制御を説明するための図（５）である。 図１０は、本実施形態に係る制御部による仮想内視鏡動画表示制御を説明するための図（６）である。 図１１は、本実施形態に係る制御部による仮想内視鏡動画表示制御を説明するための図（７）である。 図１２Ａは、本実施形態に係る制御部による仮想内視鏡動画表示制御を説明するための図（８）である。 図１２Ｂは、本実施形態に係る制御部による仮想内視鏡動画表示制御を説明するための図（９）である。 図１２Ｃは、本実施形態に係る制御部による仮想内視鏡動画表示制御を説明するための図（１０）である。 図１３Ａは、本実施形態に係る制御部による仮想内視鏡動画表示制御を説明するための図（１１）である。 図１３Ｂは、本実施形態に係る制御部による仮想内視鏡動画表示制御を説明するための図（１２）である。 図１３Ｃは、本実施形態に係る制御部による仮想内視鏡動画表示制御を説明するための図（１３）である。 図１４Ａは、本実施形態に係る制御部による仮想内視鏡動画表示制御を説明するための図（１４）である。 図１４Ｂは、本実施形態に係る制御部による仮想内視鏡動画表示制御を説明するための図（１５）である。 図１５Ａは、本実施形態に係る制御部による仮想内視鏡動画表示制御を説明するための図（１６）である。 図１５Ｂは、本実施形態に係る制御部による仮想内視鏡動画表示制御を説明するための図（１７）である。 図１６は、本実施形態に係る超音波診断装置の仮想内視鏡動画表示の処理例を説明するためのフローチャートである。 図１７は、本実施形態に係る超音波診断装置の仮想内視鏡動画の再生処理例を説明するためのフローチャートである。 図１８は、本実施形態の変形例を説明するための図である。
以下、添付図面を参照して、医用画像診断装置の実施形態を詳細に説明する。なお、以下では、医用画像診断装置である超音波診断装置を実施形態として説明する。
（実施形態）
まず、本実施形態に係る超音波診断装置の構成について説明する。図１は、本実施形態に係る超音波診断装置の構成例を示すブロック図である。図１に例示するように、本実施形態に係る超音波診断装置は、超音波プローブ１と、モニタ２と、入力装置３と、装置本体１０とを有する。
超音波プローブ１は、複数の圧電振動子を有し、これら複数の圧電振動子は、後述する装置本体１０が有する送信部１１から供給される駆動信号に基づき超音波を発生する。また、超音波プローブ１は、被検体Ｐからの反射波を受信して電気信号に変換する。また、超音波プローブ１は、圧電振動子に設けられる整合層と、圧電振動子から後方への超音波の伝播を防止するバッキング材等を有する。なお、超音波プローブ１は、装置本体１０と着脱自在に接続される。
超音波プローブ１から被検体Ｐに超音波が送信されると、送信された超音波は、被検体Ｐの体内組織における音響インピーダンスの不連続面で次々と反射され、反射波信号として超音波プローブ１が有する複数の圧電振動子にて受信される。受信される反射波信号の振幅は、超音波が反射される不連続面における音響インピーダンスの差に依存する。なお、送信された超音波パルスが、移動している血流や心臓壁等の表面で反射された場合の反射波信号は、ドプラ効果により、移動体の超音波送信方向に対する速度成分に依存して、周波数偏移を受ける。
ここで、本実施形態に係る超音波プローブ１は、超音波により被検体Ｐを２次元で走査するとともに、被検体Ｐを３次元で走査することが可能な超音波プローブである。具体的には、第１の実施形態に係る超音波プローブ１は、一列に配置された複数の圧電振動子により、被検体Ｐを２次元で走査するとともに、複数の圧電振動子を所定の角度（揺動角度）で揺動させることで、被検体Ｐを３次元で走査するメカニカルスキャンプローブである。或いは、第１の実施形態に係る超音波プローブ１は、複数の圧電振動子がマトリックス状に配置されることで、被検体Ｐを３次元で超音波走査することが可能な２次元超音波プローブである。なお、２次元超音波プローブは、超音波を集束して送信することで、被検体Ｐを２次元で走査することも可能である。
入力装置３は、マウス、キーボード、ボタン、パネルスイッチ、タッチコマンドスクリーン、フットスイッチ、トラックボール、ジョイスティック等を有し、超音波診断装置の操作者からの各種設定要求を受け付け、装置本体１０に対して受け付けた各種設定要求を転送する。
モニタ２は、超音波診断装置の操作者が入力装置３を用いて各種設定要求を入力するためのＧＵＩ（Graphical User Interface）を表示したり、装置本体１０において生成された超音波画像等を表示したりする。
装置本体１０は、超音波プローブ１が受信した反射波に基づいて超音波画像データを生成する装置である。具体的には、第１の実施形態に係る装置本体１０は、超音波プローブ１が受信した３次元の反射波データに基づいて３次元の超音波画像データを生成可能な装置である。以下、３次元の超音波画像データを「ボリュームデータ」と記載する。
装置本体１０は、図１に示すように、送信部１１と、受信部１２と、Ｂモード処理部１３と、ドプラ処理部１４と、画像生成部１５と、ボリュームデータ処理部１６と、画像メモリ１７と、制御部１８と、内部記憶部１９とを有する。
送信部１１は、パルス発生器、送信遅延部、パルサ等を有し、超音波プローブ１に駆動信号を供給する。パルス発生器は、所定のレート周波数で、送信超音波を形成するためのレートパルスを繰り返し発生する。また、送信遅延部は、超音波プローブ１から発生される超音波をビーム状に集束し、かつ送信指向性を決定するために必要な圧電振動子ごとの遅延時間を、パルス発生器が発生する各レートパルスに対し与える。また、パルサは、レートパルスに基づくタイミングで、超音波プローブ１に駆動信号（駆動パルス）を印加する。すなわち、送信遅延部は、各レートパルスに対し与える遅延時間を変化させることで、圧電振動子面から送信される超音波の送信方向を任意に調整する。
なお、送信部１１は、後述する制御部１８の指示に基づいて、所定のスキャンシーケンスを実行するために、送信周波数、送信駆動電圧等を瞬時に変更可能な機能を有している。特に、送信駆動電圧の変更は、瞬間にその値を切り替え可能なリニアアンプ型の発信回路、又は、複数の電源ユニットを電気的に切り替える機構によって実現される。
受信部１２は、プリアンプ、Ａ／Ｄ（Analog／Digital）変換器、受信遅延部、加算器等を有し、超音波プローブ１が受信した反射波信号に対して各種処理を行って反射波データを生成する。プリアンプは、反射波信号をチャネル毎に増幅する。Ａ／Ｄ変換器は、増幅された反射波信号をＡ／Ｄ変換する。受信遅延部は、受信指向性を決定するために必要な遅延時間を与える。加算器は、受信遅延部によって処理された反射波信号の加算処理を行なって反射波データを生成する。加算器の加算処理により、反射波信号の受信指向性に応じた方向からの反射成分が強調され、受信指向性と送信指向性とにより超音波送受信の総合的なビームが形成される。
本実施形態に係る送信部１１は、被検体Ｐを３次元走査するために、超音波プローブ１から３次元の超音波ビームを送信させる。そして、本実施形態に係る受信部１２は、超音波プローブ１が受信した３次元の反射波信号から３次元の反射波データを生成する。
なお、受信部１２からの出力信号の形態は、ＲＦ（Radio Frequency）信号と呼ばれる位相情報が含まれる信号である場合や、包絡線検波処理後の振幅情報である場合等、種々の形態が選択可能である。
Ｂモード処理部１３は、受信部１２から反射波データを受信し、対数増幅、包絡線検波処理等を行なって、信号強度が輝度の明るさで表現されるデータ（Ｂモードデータ）を生成する。
ドプラ処理部１４は、受信部１２から受信した反射波データから速度情報を周波数解析し、ドプラ効果による血流や組織、造影剤エコー成分を抽出し、平均速度、分散、パワー等の移動体情報を多点について抽出したデータ（ドプラデータ）を生成する。
なお、本実施形態に係るＢモード処理部１３及びドプラ処理部１４は、２次元の反射波データ及び３次元の反射波データの両方について処理可能である。すなわち、Ｂモード処理部１３は、２次元の反射波データから２次元のＢモードデータを生成し、３次元の反射波データから３次元のＢモードデータを生成する。また、ドプラ処理部１４は、２次元の反射波データから２次元のドプラデータを生成し、３次元の反射波データから３次元のドプラデータを生成する。
画像生成部１５は、Ｂモード処理部１３及びドプラ処理部１４が生成したデータから超音波画像データを生成する。すなわち、画像生成部１５は、Ｂモード処理部１３が生成した２次元のＢモードデータから反射波の強度を輝度にて表したＢモード画像データを生成する。また、画像生成部１５は、ドプラ処理部１４が生成した２次元のドプラデータから移動体情報を表す平均速度画像、分散画像、パワー画像、又は、これらの組み合わせ画像としてのカラードプラ画像データを生成する。
ここで、画像生成部１５は、一般的には、超音波走査の走査線信号列を、テレビなどに代表されるビデオフォーマットの走査線信号列に変換（スキャンコンバート）し、表示用の超音波画像データを生成する。具体的には、画像生成部１５は、超音波プローブ１による超音波の走査形態に応じて座標変換を行なうことで、表示用の超音波画像データを生成する。また、画像生成部１５は、超音波画像データに、種々のパラメータの文字情報、目盛り、ボディーマーク等を合成する。
更に、画像生成部１５は、Ｂモード処理部１３が生成した３次元のＢモードデータに対して座標変換を行なうことで、３次元のＢモード画像データを生成する。また、画像生成部１５は、ドプラ処理部１４が生成した３次元のドプラデータに対して座標変換を行なうことで、３次元のカラードプラ画像データを生成する。すなわち、画像生成部１５は、「３次元のＢモード画像データや３次元のカラードプラ画像データ」を「３次元の超音波画像データであるボリュームデータ」として生成する。
ボリュームデータ処理部１６は、画像生成部１５が生成したボリュームデータから表示用の超音波画像データを生成する。ボリュームデータ処理部１６は、図１に示すように、レンダリング処理部１６１及び画像合成部１６２を有する。
レンダリング処理部１６１は、ボリュームデータをモニタ２にて表示するための各種画像（２次元画像）を生成するために、ボリュームデータに対してレンダリング処理を行なう処理部である。
また、レンダリング処理部１６１が行なうレンダリング処理としては、断面再構成法（ＭＰＲ：Multi Planer Reconstruction）を行なってボリュームデータからＭＰＲ画像を生成する処理がある。また、レンダリング処理部１６１が行なうレンダリング処理としては、ボリュームデータの直交座標系に対して湾曲した平面を指定し、この湾曲した平面上の断面を再構成する「Curved MPR」を行なう処理や、ボリュームデータに対して「Intensity Projection」を行なう処理がある。また、レンダリング処理部１６１が行なうレンダリング処理としては、３次元の情報を反映した２次元画像（ボリュームレンダリング画像）を生成するボリュームレンダリング（ＶＲ：Volume Rendering）処理がある。
そして、本実施形態に係るレンダリング処理部１６１は、仮想内視鏡画像の表示（例えば、仮想内視鏡動画表示）を行なうための処理部として、仮想内視鏡画像生成部１６１ａと、管腔画像生成部１６１ｂと、ＭＰＲ画像生成部１６１ｃとを有する。
仮想内視鏡画像生成部１６１ａは、ボリュームレンダリング処理として、例えば、透視投影（Perspective Projection）法を行なうことで、管腔を含むボリュームデータから、管腔内を立体的に観察可能な仮想内視鏡画像を生成する。管腔画像生成部１６１ｂは、管腔を含むボリュームデータにおける輝度値を白黒反転させるcavityモードにより、管腔を立体的に視認可能な管腔画像を生成する。ＭＰＲ画像生成部１６１ｃは、管腔を含むボリュームデータからＭＰＲ画像を生成する。
ここで、超音波診断装置において、一般的に、ボリュームデータからＭＲＰ画像を生成する際に用いられる３種類の断面（Ａ面、Ｂ面及びＣ面）について、図２を用いて説明する。図２は、Ａ面、Ｂ面及びＣ面を説明するための図である。なお、図２は、機械的に揺動するメカニカルスキャンプローブである超音波プローブ１において用いられるＡ面、Ｂ面及びＣ面を示している。Ａ面は、図２に示すように、超音波プローブ１における圧電振動子の配列方向と、超音波の送信方向とで形成される断面のことである。また、Ｂ面とは、図２に示すように、超音波の送信方向と、揺動方向とで形成される断面のことである。また、Ｃ面とは、図２に示すように、超音波の送信方向に対して垂直方向にある断面のことである。なお、超音波プローブ１が２次元超音波プローブである場合、Ａ面及びＢ面それぞれは、圧電振動子の２つの配列方向それぞれと超音波の送信方向とで形成される２つの断面により定義される。
図１に示す画像合成部１６２は、レンダリング処理部１６１が生成した様々な２次元画像を、所定のレイアウトで合成したり、各２次元画像に重畳される情報を合成したりする。そして、画像合成部１６２は、合成した画像をモニタ２に出力する。なお、本実施形態において、レンダリング処理部１６１及び画像合成部１６２が、例えば、仮想内視鏡動画表示を行なうために実行する処理については、後に詳述する。
画像メモリ１７は、画像生成部１５及びボリュームデータ処理部１６が生成した表示用の画像データを記憶するメモリである。また、画像メモリ１７は、Ｂモード処理部１３やドプラ処理部１４が生成したデータを記憶することも可能である。画像メモリ１７が記憶するＢモードデータやドプラデータは、例えば、診断の後に操作者が呼び出すことが可能となっており、画像生成部１５やボリュームデータ処理部１６を経由して表示用の超音波画像となる。
内部記憶部１９は、超音波送受信、画像処理及び表示処理を行なうための制御プログラムや、診断情報（例えば、患者ＩＤ、医師の所見等）や、診断プロトコルや各種ボディーマーク等の各種データを記憶する。また、内部記憶部１９は、必要に応じて、画像メモリ１７が記憶する画像データの保管等にも使用される。
制御部１８は、超音波診断装置の処理全体を制御する。具体的には、制御部１８は、入力装置３を介して操作者から入力された各種設定要求や、内部記憶部１９から読込んだ各種制御プログラム及び各種データに基づき、送信部１１、受信部１２、Ｂモード処理部１３、ドプラ処理部１４、画像生成部１５及びボリュームデータ処理部１６の処理を制御する。また、制御部１８は、画像メモリ１７や内部記憶部１９が記憶する表示用の超音波画像データをモニタ２にて表示するように制御する。
以上、本実施形態に係る超音波診断装置の全体構成について説明した。かかる構成のもと、本実施形態に係る超音波診断装置は、管腔の走行線（芯線）に沿って視点を移動することで、仮想内視鏡画像を動画表示する仮想内視鏡動画表示を行なう。例えば、本実施形態に係る超音波診断装置は、バーチャル乳管内視鏡検査において、乳腺を含む領域の３次元走査により、乳腺に関するボリュームデータ、すなわち、乳腺を含むボリュームデータを生成する。そして、本実施形態に係る超音波診断装置は、乳腺を含むボリュームデータを用いて、乳腺の仮想内視鏡動画表示を行なう。バーチャル乳管内視鏡検査では、検査基準により、乳汁分泌のある乳管が有する全ての分枝を観察することが求められる。
しかし、乳腺の構造特性により、乳腺を含むボリュームデータ中には、複数の乳管が存在し、更に、個々の乳管が分岐を繰り返すといった特徴がある。
従来の仮想内視鏡動画表示では、操作者（検査者）は、一般的に、例えば、視点位置を通る３断面（Ａ面、Ｂ面及びＣ面）でボリュームデータを切断したＭＰＲ画像を参照して仮想内視鏡画像の現在の視点位置を認識している。このため、従来の仮想内視鏡動画表示による検査では、検査者の見落としや勘違いにより、未観察の分枝が存在するにも関わらず、検査が完了してしまう場合があった。また、従来の仮想内視鏡動画表示では、走行線に沿った視点位置の移動方向を、自動検索で行なう場合や、手動で指示することで行なう場合がある。しかし、これらの方法では、操作者は、どの乳管のどの分枝を観察したのかが把握することが困難である。このように、従来の乳腺の仮想内視鏡動画表示では、未観察の分枝が存在するにも関わらず検査が完了してしまう場合があった。なお、未観察の分枝が存在するにも関わらず検査が完了してしまう可能性は、分岐する管腔を仮想内視鏡動画表示する場合に、一般的に生じる。
そこで、本実施形態に係る超音波診断装置は、操作者が分岐を有する管腔の観察完了を容易に把握できる情報の表示を、以下、詳細に説明する制御部１８の制御によりボリュームデータ処理部１６が行なう処理により実行する。
まず、本実施形態で、レンダリング処理部１６１が行なう処理の一例について詳細に説明する。仮想内視鏡画像生成部１６１ａは、上述したように、ボリュームデータに含まれる管腔の仮想内視鏡画像を生成する。本実施形態では、仮想内視鏡画像生成部１６１ａは、乳腺の管腔の仮想内視鏡画像を生成する。具体的には、仮想内視鏡画像生成部１６１ａは、ボリュームデータに含まれる管腔の領域を抽出する。図３Ａ及び図３Ｂは、仮想内視鏡画像生成部の処理の一例を説明するための図である。
例えば、仮想内視鏡画像生成部１６１ａは、管腔の輝度値に対応する輝度値を有する画素（ボクセル）を抽出することで、管腔領域を抽出する。そして、例えば、仮想内視鏡画像生成部１６１ａは、抽出した管腔領域を細線化処理することで、図３Ａに示すように、管腔の走行線（芯線）を抽出する。図３Ａでは、走行線を点線で示している。そして、仮想内視鏡画像生成部１６１ａは、例えば、透視投影（Perspective Projection）法により、図３Ｂに示すように、走行線上に設定された視点からの仮想内視鏡画像を生成する。図３Ｂでは、走行線上の１つの視点から右側に向かう視線方向で仮想内視鏡画像が生成されることを示している。なお、透視投影を行なうために、視点位置及び視線方向とともに、視野角も設定される。
ここで、仮想内視鏡画像生成部１６１ａは、分岐を有する管腔を含むボリュームデータから、分岐する管腔領域を抽出する。そして、仮想内視鏡画像生成部１６１ａは、分岐する管腔領域から、複数の分岐点で枝分かれする走行線を抽出する。換言すると、仮想内視鏡画像生成部１６１ａは、分岐を有する管腔の形状に基づいて、複数の走行線を生成する走行線生成部の機能を有する。例えば、仮想内視鏡画像生成部１６１ａは、乳腺を含むボリュームデータから、分岐する乳管領域を複数抽出する。更に、仮想内視鏡画像生成部１６１ａは、各乳管領域から、複数の分岐点で枝分かれする走行線を抽出する。例えば、主管の走行線は、第１分岐点で２本の第１分枝の走行線に枝分かれする。更に、第１分枝の走行線それぞれは、例えば、第２分岐点で２つの第２分枝の走行線に枝分かれする。分岐を有する管腔で仮想内視鏡動画表示を行なうべき視点の移動経路は、１つの管腔においても、複数となる。ここで、上記の主管は、責任乳管とも呼ばれる。責任乳管は、***内に複数存在する。走行線生成部である仮想内視鏡画像生成部１６１ａは、複数の責任乳管それぞれで、「複数の分岐点で枝分かれする走行線」を抽出する。
管腔画像生成部１６１ｂは、ボリュームデータに基づく、分岐を有する管腔の形状が描出された管腔画像を生成する。管腔画像生成部１６１ｂは、ボリュームデータに含まれる分岐する管腔の形状が描出された管腔画像を生成する。本実施形態では、管腔画像生成部１６１ｂは、乳腺に関するボリュームデータに基づく、分岐を有する乳腺の管腔の形状が描出された管腔画像を生成する。本実施形態では、管腔画像生成部１６１ｂは、上述したように、管腔を含むボリュームデータにおける輝度値を白黒反転させるcavityモードにより、分岐する管腔を立体的に視認可能な管腔画像を生成する。３次元のＢモード画像データでは、管腔内の画素は、輝度値が低い。このため、管腔を含むボリュームデータにおける輝度値を白黒反転させた反転後のボリュームデータを用いることで、管腔画像では、管腔内の領域が高輝度で描出される。図４Ａ及び図４Ｂは、管腔画像生成部の処理の一例を説明するための図である。なお、cavityモードにおいては、抽出した芯線に隣接する高輝度領域のみをレンダリングするように、対象ボクセルを絞ってレンダリングを行っても構わない。
管腔画像生成部１６１ｂは、図４Ａに示すように、反転後のボリュームデータに対して、操作者から指定された視点位置及び視線方向によりボリュームレンダリング処理を行なう。これにより、管腔画像生成部１６１ｂは、図４Ｂに示すように、管腔領域が明るく描出される管腔画像を生成する。図４Ｂに示す管腔画像では、２つの乳管の形状が描出され、更に、各乳管が有する分岐の形状が描出されている。
操作者は、管腔画像を生成するための視点位置及び視線方向を変更することで、様々な位置及び方向から、ボリュームデータに含まれる管腔の形状を視認することができる。なお、操作者は、例えば、入力装置３のマウスやトラックボールを操作することで、管腔画像生成用の視点位置及び視線方向を変更することができる。なお、本実施形態で用いられる管腔画像は、管腔が有する分岐の状態が全て描出されるように、管腔の形状を２次元で展開した画像であっても良い。
ＭＰＲ画像生成部１６１ｃは、上述したように、管腔を含むボリュームデータからＭＰＲ画像を生成する。図５は、ＭＰＲ画像生成部の処理の一例を説明するための図である。具体的には、仮想内視鏡動画表示の実行中に、ＭＰＲ画像生成部１６１ｃは、図５に示すように、表示される仮想内視鏡画像の生成に用いられた視点位置を通るＡ面、Ｂ面及びＣ面のＭＰＲ画像を、管腔を含むボリュームデータから生成する。なお、図１に示す画像合成部１６２は、図５に示すように、Ａ面、Ｂ面及びＣ面のＭＰＲ画像に、仮想内視鏡画像の生成に用いられた視点位置及び視線方向の情報を示す画像を重畳させる。
そして、本実施形態に係る画像合成部１６２は、分岐を有する管腔の仮想内視鏡画像における視点の移動経路を示す複数の走行線を、管腔画像に重畳した合成画像を生成する。複数の走行線は、分岐を有する管腔の仮想内視鏡画像を表示するために用いられる視点の移動経路となる。本実施形態では、複数の走行線は、分岐を有する管腔の仮想内視鏡画像を動画表示するために用いられる視点の移動経路となる。例えば、画像合成部１６２は、仮想内視鏡画像生成部１６１ａが抽出した「分岐を繰り返す走行線」を、分岐回数等の情報に基づいて、視点の移動経路としての複数の走行線に分離し、分岐した複数の走行線を管腔画像に重畳した合成画像を生成する。図６Ａ及び図６Ｂは、画像合成部が生成する合成画像の一例を説明するための図である。
図６Ａは、画像合成部１６２が生成する合成画像を模式的に示す図である。図６Ａに示す管腔（乳管）の主管１００は、第１分岐点２００で、第１分枝１０１と第１分枝１０２に分岐している。主管１００は、責任乳管に対応する。また、図６Ａに示す第１分枝１０１は、第２分岐点２０１で、第２分枝１０３と第２分枝１０４とに分岐している。また、図６Ａに示す第１分枝１０２は、第２分岐点２０２で、第２分枝１０５と第２分枝１０６とに分岐している。すなわち、主管１００を有する管腔において、仮想内視鏡動画表示により観察が必要となる視点の移動経路は、「主管１００、第１分枝１０１及び第２分枝１０３」の経路と、「主管１００、第１分枝１０１及び第２分枝１０４」の経路と、「主管１００、第１分枝１０２及び第２分枝１０５」の経路と、「主管１００、第１分枝１０２及び第２分枝１０６」の経路との４本となる。なお、図６Ａに示す合成画像では、１つの責任乳管（主管１００）における視点の移動経路を示しているが、実際には、図６Ａに示す合成画像では、複数の複数の責任乳管それぞれの視点の移動経路が示されている。
制御部１８は、操作者に仮想内視鏡動画表示を行なう視点の移動経路を把握させるために、合成画像をモニタ２に表示させる。しかし、分岐を繰り返す走行線をそのまま管腔画像に重畳させても、操作者は、例えば、視点の移動経路が４本であることを容易に把握することができない。
そこで、画像合成部１６２は、例えば、分岐が２回繰り返される走行線が抽出されている場合、図６Ａに例示するように、「２×２＝４」本の走行線を管腔画像の管腔内に重畳させる。なお、画像合成部１６２は、「走行線の管腔領域における位置、走行線の分岐点の管腔領域における位置及び走行線の分岐点の数」に関する情報を仮想内視鏡画像生成部１６１ａから取得した制御部１８の制御により、合成画像を生成する。
図６Ｂは、図４Ｂに示す管腔画像に対して、画像合成部１６２が複数の走行線を重畳させた合成画像を示す。なお、図６Ｂに例示する合成画像では、作図上、走行線それぞれを、点線、鎖線、一点鎖線等で示しているが、実際には、走行線それぞれが、異なる色の点線で描画されている。各走行線の描画方法を変えることで、操作者は、視点の移動経路の数をより容易に把握することができる。
以下、画像合成部１６２が管腔画像に重畳した走行線と区別するために、仮想内視鏡画像生成部１６１ａが抽出した走行線を「抽出走行線」、又は、「視点の移動経路」と記載する場合がある。
制御部１８は、上述したように、合成画像を表示させる。図７は、本実施形態に係る制御部による合成画像の表示例を説明するための図である。制御部１８は、図７に示すように、モニタ２の表示領域を６つの表示領域に分割する。そして、制御部１８は、図７に示すように、上段左側の表示領域にＭＰＲ画像（Ａ面）を表示させ、上段中央の表示領域にＭＰＲ画像（Ｂ面）を表示させ、下段左側の表示領域にＭＰＲ画像（Ｃ面）を表示させる。なお、これら３つの分割表示領域に表示されるＭＰＲ画像それぞれには、図７に示すように、仮想内視鏡画像の生成に用いられた視点の位置及び視線方向の情報が重畳されている（図中の点や矢印を参照）。
そして、制御部１８は、図７に示すように、下段中央の表示領域に仮想内視鏡画像を表示させ、上段右側の表示領域に管腔画像と複数の走行線との合成画像を表示させる。更に、制御部１８は、図７に示すように、下段右側の表示領域にフラースルー表示を行なうための操作メニューを表示させる。
なお、制御部１８は、ボリュームデータが指定されて、仮想内視鏡動画表示の開始要求を受け付けた場合、仮想内視鏡画像生成部１６１ａに走行線の抽出処理を実行させ、管腔画像生成部１６１ｂに管腔画像の生成処理を実行させ、画像合成部１６２に合成画像の生成処理を実行させる。そして、制御部１８は、ＭＰＲ画像生成部１６１ｃに初期設定条件に基づく３つのＭＰＲ画像の生成処理を実行させ、仮想内視鏡画像生成部１６１ａに初期設定条件に基づく仮想内視鏡画像の生成処理を実行させる。
ここで、初期設定条件は、例えば、抽出走行線の中で最も長い抽出走行線の主管側の端点を視点位置とし、視線方向を第１分岐点へ向かう方向とする条件である。なお、視野角は、操作者により任意に設定される。
これにより、モニタ２は、図７に示すレイアウトで、仮想内視鏡動画開始前の初期画面を表示する。制御部１８は、操作者が初期画面に表示される操作メニューや合成画像を用いて行なった各種操作に基づいて、例えば、仮想内視鏡動画表示の制御を行なう。以下、図８Ａ、図８Ｂ、図８Ｃ、図９Ａ、図９Ｂ、図１０、図１１、図１２Ａ、図１２Ｂ、図１２Ｃ、図１３Ａ、図１３Ｂ、図１３Ｃ、図１４及び図１５を用いて、本実施形態に係る制御部１８が実行する仮想内視鏡動画表示の詳細を説明する。なお、図８Ａ、図８Ｂ、図８Ｃ、図９Ａ、図９Ｂ、図１０、図１１、図１２Ａ、図１２Ｂ、図１２Ｃ、図１３Ａ、図１３Ｂ、図１３Ｃ、図１４及び図１５は、本実施形態に係る制御部による仮想内視鏡動画表示制御を説明するための図である。
第１制御として、制御部１８は、複数の走行線の中で指定された走行線に沿って、分岐を有する管腔の仮想内視鏡画像をモニタ２で表示させる。本実施形態では、制御部１８は、指定された走行線に沿って、分岐を有する管腔の仮想内視鏡画像をモニタ２で動画表示させる。例えば、操作者は、図８Ａに示すように、合成画像に重畳される複数の走行線の中で、仮想内視鏡動画の観察をしたい走行線をマウスにより指定する。そして、操作者は、図７に示す操作メニューの「Ａｕｔｏ」を押下することで、仮想内視鏡動画表示の要求を入力する。なお、図８Ａに示す複数の走行線は、互いに色が異なる点線で描画されている。
或いは、操作者は、図７に示す操作メニューのプルダウンメニューをマウスで押下する。これにより、制御部１８は、図８Ｂに示すように、プルダウンメニューの選択項目として、各走行線に対応付けられる色の線を表示させる。そして、操作者は、図８Ｂに示すように、マウスにより観察したい走行線に対応する色の線を指定する。そして、操作者は、図７に示す操作メニューの「Ａｕｔｏ」を押下することで、仮想内視鏡動画表示の要求を入力する。
これにより、制御部１８は、図８Ｃに示すように、指定された走行線に対応する抽出走行線の一方の端点から他方の端点へ向かう仮想内視鏡動画表示を開始させる。例えば、制御部１８は、指定された走行線に対応する抽出走行線の主管側の端点から分枝側の端点に向かって、仮想内視鏡動画表示を行なわせる。なお、制御部１８は、選択された走行線に対応する抽出走行線に沿って視点の位置が移動する仮想内視鏡画像群を、仮想内視鏡画像生成部１６１ａに生成させる。制御部１８は、仮想内視鏡画像の動画を、例えば、内部記憶部１９に格納する。
なお、走行線の指定は、制御部１８によって自動的に行なわれる場合であっても良い。例えば、制御部１８は、抽出走行線の長さの長い順に仮想内視鏡動画表示を実行させる。
また、第２制御として、制御部１８は、視点の移動経路に沿って視点位置を往復して移動させることで仮想内視鏡画像を表示させても良い。本実施形態では、第２制御を行なう場合、制御部１８は、視点の移動経路に沿って視点位置を往復して移動させることで仮想内視鏡画像を動画表示させる。視点位置を往復させる場合、制御部１８は、図９Ａに示すように、往路と復路とで視線方向を反転させる。或いは、制御部１８は、図９Ｂに示すように、往路と復路とで視線方向を同一とさせる。図９Ｂに示す方法を行なうことで、仮想内視鏡検査で観察される仮想内視鏡画像の動画表示を、実際の内視鏡検査において行なわれる内視鏡の挿入及び引き出しにより観察される内視鏡画像の表示と同様の形態とすることができる。
なお、視点位置の往復は、初期的に実行の有無が設定されている場合であっても良く、或いは、操作者により選択設定される場合であっても良い。また、視点位置の往復回数は、初期設定されている場合であっても良く、或いは、操作者により選択設定される場合であっても良い。また、視点位置の往復を行なう場合の往路及び復路の視線方向は、２種類のいずれか１種類が初期設定されている場合であっても良く、或いは、操作者により選択設定される場合であっても良い。また、視点位置の往復が複数回繰り返される場合、２種類の視線方向を交互に行なう等の設定が行なわれても良い。
また、第３制御として、制御部１８は、仮想内視鏡画像が表示された走行線の範囲と仮想内視鏡画像が表示されていない走行線の範囲とを識別可能とする描画を行なうように、画像合成部１６２を制御する。本実施形態では、第３制御を行なう場合、制御部１８は、仮想内視鏡画像が動画表示された走行線の範囲と仮想内視鏡画像が動画表示されていない走行線の範囲とを識別可能とする描画を行なうように、画像合成部１６２を制御する。
例えば、制御部１８は、図１０に示すように、点線で描画された走行線の中で、仮想内視鏡動画表示が行なわれた走行線を点線から実線に変更するように画像合成部１６２を制御する。これにより、操作者は、モニタ２の合成画像を参照するだけで、仮想内視鏡動画表示が行なわれた走行線を把握することができる。なお、本実施形態は、制御部１８により、仮想内視鏡動画表示が開始された走行線を全て点線から実線に変更される場合であっても良い。
また、第４制御として、制御部１８は、複数の走行線の全てで仮想内視鏡画像が表示されていない状態で、操作者から終了要求を受け付けた場合、警告を表示させる。本実施形態では、第４制御を行なう場合、制御部１８は、複数の走行線の全てで仮想内視鏡画像が動画表示されていない状態で、操作者から終了要求を受け付けた場合、警告を表示させる。合成画像において、全ての走行線が実線表示に変更されていない時点で、操作者から仮想内視鏡動画表示の終了要求を受け付けた場合、制御部１８は、例えば、図１１に示すように「全走行線の観察が終了していません！終了しても宜しいですか？」という警告文の画像を画像合成部１６２に生成させることで、モニタ２に警告を表示させる。
なお、描画方法の変更は、線の色を変更することで、実行される場合であっても良い。また、同一の管腔において、指定された走行線とは別の走行線の中で、移動経路が共通する部分については、当該別の走行線においても点線から実線に表示を変更する場合であっても良く、或いは、当該別の走行線では点線のままとする場合であっても良い。
また、第５制御として、制御部１８は、複数の走行線の中で指定された走行線の範囲を用いて、分岐を有する管腔の仮想内視鏡画像をモニタ２で表示させる。本実施形態では、第５制御を行なう場合、制御部１８は、複数の走行線の中で指定された走行線の範囲を用いて、分岐を有する管腔の仮想内視鏡画像をモニタ２で動画表示させる。
具体的には、操作者は、合成画像に重畳される複数の走行線の中で、仮想内視鏡動画の観察をしたい走行線の範囲をマウスにより指定する。例えば、操作者は、図１２Ａに示すように、仮想内視鏡動画の観察をしたい走行線の開始点をマウスで指定する。そして、操作者は、図７に示す操作メニューの「Ｓｔａｒｔ」を押下することで、仮想内視鏡動画表示の要求を入力する。かかる場合、制御部１８の制御により、仮想内視鏡画像生成部１６１ａは、開始点が指定された走行線に対応する抽出走行線において、当該開始点に近接する位置から、当該抽出走行線の分枝側の端点に向かって視点位置を移動した仮想内視鏡画像群を生成し、モニタ２は、仮想内視鏡画像群を表示する。
或いは、操作者は、図１２Ｂに示すように、仮想内視鏡動画の観察をしたい走行線の終了点をマウスで指定する。そして、操作者は、図７に示す操作メニューの「Ｓｔａｒｔ」を押下することで、仮想内視鏡動画表示の要求を入力する。かかる場合、制御部１８の制御により、仮想内視鏡画像生成部１６１ａは、指定された走行線に対応する抽出走行線の主管側の端点から、当該抽出走行線において指定された終了点に近接する位置に向かって視点位置を移動した仮想内視鏡画像群を生成し、モニタ２は、仮想内視鏡画像群を表示する。
或いは、操作者は、図１２Ｃに示すように、仮想内視鏡動画の観察をしたい走行線の開始点及び終了点をマウスで指定する。そして、操作者は、図７に示す操作メニューの「Ｓｔａｒｔ」を押下することで、仮想内視鏡動画表示の要求を入力する。かかる場合、制御部１８の制御により、仮想内視鏡画像生成部１６１ａは、指定された走行線に対応する抽出走査線において、指定された開始点に近接する位置から指定された終了点に近接する位置に向かって視点位置を移動した仮想内視鏡画像群を生成し、モニタ２は、仮想内視鏡画像群を表示する。
なお、制御部１８は、指定範囲の走査線で仮想内視鏡動画表示を行なわせる第５の制御を行なう場合にも、仮想内視鏡動画表示が行なわれた走査線については、描画方法を変更させる第３制御を行なっても良い。また、制御部１８は、第５の制御を行なう場合にも、視点位置の往復を行なわせる第２制御を行なっても良い。
また、第６制御として、制御部１８は、合成画像の走行線上において、現時点で表示されている仮想内視鏡画像の生成に用いられた視点の位置を識別可能とする描画を行なうように、画像合成部１６２を制御する。
例えば、制御部１８の制御により、画像合成部１６２は、図１３Ａに示すように、表示に用いられた視点範囲を点線から実線に変更する。すなわち、制御部１８は、図１０を用いて説明した制御処理と同様の処理を行なう。操作者は、点線と実線との境界位置を、現時点で表示されている仮想内視鏡画像の生成に用いられた視点の位置として把握することができる。また、図１３Ａに示す走行線を参照することで、操作者は、視線方向が、点線に向かう方向であることを把握することができる。
或いは、例えば、制御部１８の制御により、画像合成部１６２は、図１３Ｂに示すように、現時点で表示されている仮想内視鏡画像の生成に用いられた視点の位置及び視線方向を示す「目の模式図」を走行線上に重畳する。或いは、例えば、制御部１８の制御により、画像合成部１６２は、図１３Ｃに示すように、現時点で表示されている仮想内視鏡画像の生成に用いられた視点の位置を黒丸で描画し、視線方向を矢印で描画した図を走行線上に重畳する。
また、第７制御として、制御部１８は、現時点で表示されている仮想内視鏡画像の生成に用いられた視点と、管腔が有する複数の分岐点との位置関係を識別可能とする描画を、当該仮想内視鏡画像において行なうように制御する。
上述したように、制御部１８は、仮想内視鏡画像生成部１６１ａから「抽出走行線の管腔領域における位置、抽出走行線の分岐点の管腔領域における位置及び抽出走行線の分岐点の数」に関する情報を取得している。また、制御部１８は、画像合成部１６２が管腔画像に重畳させた走行線と抽出走行線との対応関係も取得することができる。従って、制御部１８は、現時点で表示されている仮想内視鏡画像の生成に用いられた視点が、例えば、主管に位置するのか、第１分枝に位置するのか、第２分枝に位置するのかを判定することができる。
例えば、視点位置が主管であると判定した制御部１８の制御により、仮想内視鏡画像生成部１６１ａは、図１４Ａに示すように、現時点で表示されている仮想内視鏡画像を、赤の色調とする。また、例えば、視点位置が第１分枝であると判定した制御部１８の制御により、仮想内視鏡画像生成部１６１ａは、図１４Ａに示すように、現時点で表示されている仮想内視鏡画像を、青の色調とする。また、例えば、視点位置が第２分枝であると判定した制御部１８の制御により、仮想内視鏡画像生成部１６１ａは、図１４Ａに示すように、視点位置が第２分枝である場合、現時点で表示されている仮想内視鏡画像を、黄の色調とする。制御部１８は、視点位置が分岐点を通過するごとに、仮想内視鏡画像の色調を変更させる。
或いは、例えば、制御部１８の制御により、画像合成部１６２は、図１４Ｂに示すように、制御部１８が判定した視点の位置を、仮想内視鏡画像の表示領域の左下に合成する。図１４Ｂに例示する場合、表示されている仮想内視鏡画像が「第１分枝」の視点で生成された仮想内視鏡画像であることが表示されている。
また、第８制御として、制御部１８は、仮想内視鏡画像の表示中に（本実施形態では、仮想内視鏡画像の動画表示中に）、操作者から指定された仮想内視鏡画像の生成に用いられた視点の位置を含む断面でボリュームデータを切断した（ＭＰＲ画像）に印を表示させる。また、第８制御として、制御部１８は、合成画像において、操作者から指定された仮想内視鏡画像の生成に用いられた視点の位置に対応する走行線上の位置に印を表示させる。
例えば、操作者は、自身が指定した走査線を用いた仮想内視鏡動画表示を参照して、病変と思われる部位が描出された仮想内視鏡画像（以下、関心画像）が表示された時点で、図７に示す操作メニューの「Ｍａｒｋ」を押下する。ここで、モニタ２は、関心画像の生成に用いられた視点の位置を通る３つのＭＰＲ画像を表示している。画像合成部１６２は、制御部１８の指示により、モニタ２に表示されている３つのＭＰＲ画像の少なくとも１つの表示領域に印が表示されるよう、画像の合成処理を行なう。
また、例えば、画像合成部１６２は、制御部１８の指示により、図１５Ａに示すように、合成画像において、関心画像の生成に用いられた視点の位置に対応する走査線上に印を合成する。
ここで、上述したように、制御部１８は、表示された仮想内視鏡画像の動画を、内部記憶部１９に格納している。操作者は、格納済みの仮想内視鏡動画を読み出して、再度表示させることができる。従って、操作者は、動画再生中に、印が重畳されたＭＰＲ画像や合成画像が出現する時点の仮想内視鏡画像を探索することで、病変と思われる部位を、繰り返して観察することができる。なお、上記の動画再生は、仮想内視鏡動画表示の途中でも実行することができる。
或いは、第８制御が行なわれる場合、病変と思われる部位（例えば、石灰化部位）を再度観察する操作者の負担を軽減するために、制御部１８は、以下の第９制御を行なっても良い。すなわち、第９制御として、制御部１８は、印が操作者により指定された場合、当該印が位置する走行線において、当該印を含む所定の範囲の走行線を用いた仮想内視鏡画像群を表示させる。本実施形態では、第９制御を行なう場合、制御部１８は、操作者により指定された印が位置する走行線において、当該印を含む所定の範囲の走行線を用いた仮想内視鏡画像群を動画表示させる。
例えば、操作者は、図１５Ａに示す合成画像上の印をマウスにより押下して、図７に示す「Ｓｔａｒｔ」を押下する。制御部１８は、例えば、印に対応する抽出走行線の位置を中心とする前後の一定区間に沿った仮想内視鏡画像群をモニタ２に表示させる。
ここで、第９制御を行なう場合、制御部１８は、上述した第２制御も行なう場合であっても良い。かかる場合、モニタ２には、図１５Ｂに示すように、一定区間を往復で仮想内視鏡動画表示させる。なお、制御部１８は、図９Ａに示すように、往路と復路とで視線方向を反転させる。或いは、制御部１８は、図９Ｂに示すように、往路と復路とで視線方向を同一とさせる。なお、上記の一定区間に沿った仮想内視鏡画像群の一部が動画として保存されていない場合、制御部１８は、仮想内視鏡画像生成部１６１ａに未生成の仮想内視鏡画像を生成させる。
第９制御が行なわれる場合、操作者は、仮想内視鏡動画の最終フレームの合成画像に重畳された印を指定するだけで、病変と思われる部位の前後を、詳細に繰り返して観察することができる。
次に、図１６及び図１７を用いて、本実施形態に係る超音波診断装置の処理について説明する。図１６は、本実施形態に係る超音波診断装置の仮想内視鏡動画表示の処理例を説明するためのフローチャートである。また、図１７は、本実施形態に係る超音波診断装置の仮想内視鏡動画の再生処理例を説明するためのフローチャートである。
図１６に示すように、本実施形態に係る超音波診断装置の制御部１８は、ボリュームデータに含まれる分岐を有する管腔の仮想内視鏡動画表示の開始要求を受け付けたか否かを判定する（ステップＳ１０１）。ここで、仮想内視鏡動画表示の開始要求を受け付けない場合（ステップＳ１０１否定）、制御部１８は、仮想内視鏡動画表示の開始要求を受け付けるまで待機する。
一方、仮想内視鏡動画表示の開始要求を受け付けた場合（ステップＳ１０１肯定）、仮想内視鏡画像生成部１６１ａは、ボリュームデータの管腔領域を抽出し、走行線（抽出走行線）を抽出する（ステップＳ１０２）。そして、管腔画像生成部１６１ｂは、管腔画像を生成し（ステップＳ１０３）、画像合成部１６２は、管腔画像に複数の走行線を重畳した合成画像を生成する（ステップＳ１０４）。そして、初期設定条件により、ＭＰＲ画像生成部１６１ｃは、ＭＰＲ画像（Ａ面、Ｂ面及びＣ面）を生成し、仮想内視鏡画像生成部１６１ａは、仮想内視鏡画像を生成する（ステップＳ１０５）。そして、制御部１８の制御により、モニタ２は、ＭＰＲ画像、仮想内視鏡画像及び合成画像を表示する（ステップＳ１０６）。
そして、制御部１８は、合成画像における走行線が指定されたか否かを判定する（ステップＳ１０７）。ここで、走行線が指定されない場合（ステップＳ１０７否定）、制御部１８は、走行線が指定されるまで待機する。
一方、走行線が指定された場合（ステップＳ１０７肯定）、制御部１８は、指定された走行線の仮想内視鏡動画表示を開始し、仮想内視鏡動画の保存を開始する（ステップＳ１０８）。なお、操作者が指定した走行線において仮想内視鏡動画表示の範囲が指定されている場合、ステップＳ１０８で開始される仮想内視鏡動画表示は、指定範囲のみの仮想内視鏡動画表示となる。
そして、制御部１８は、仮想内視鏡動画表示済みの走行線の表示を変更させる（ステップＳ１０９）。なお、ステップＳ１０９において、制御部１８は、仮想内視鏡動画表示されている仮想内視鏡画像の視点位置を識別可能な表示をさせても良い。そして、制御部１８は、操作メニューのマーク（Ｍａｒｋ）が押下されたか否かを判定する（ステップＳ１１０）。ここで、マークが押下された場合（ステップＳ１１０肯定）、制御部１８は、ＭＰＲ画像及び合成画像に印を重畳させる（ステップＳ１１１）。
そして、制御部１８は、ステップＳ１１１の処理の後、又は、マークが押下されない場合（ステップＳ１１０否定）、指定された走行線の仮想内視鏡動画表示が完了したか否かを判定する（ステップＳ１１２）。ここで、指定された走行線の仮想内視鏡動画表示が完了していない場合（ステップＳ１１２否定）、制御部１８は、ステップＳ１０９に戻って、仮想内視鏡動画表示済みの走行線の表示変更制御を行なう。
一方、指定された走行線の仮想内視鏡動画表示が完了した場合（ステップＳ１１２肯定）、制御部１８は、仮想内視鏡動画表示の終了要求を受け付けたか否かを判定する（ステップＳ１１３）。ここで、仮想内視鏡動画表示の終了要求を受け付けない場合（ステップＳ１１３否定）、制御部１８は、ステップＳ１０７に戻って、新たな走行線の指定を受け付けたか否かを判定する。
一方、仮想内視鏡動画表示の終了要求を受け付けた場合（ステップＳ１１３肯定）、制御部１８は、全走行線の仮想内視鏡動画表示を行なったか否かを判定する（ステップＳ１１４）。ここで、全走行線の仮想内視鏡動画表示を行なっていない場合（ステップＳ１１４否定）、制御部１８は、警告を表示させ（ステップＳ１１５）、ステップＳ１０７に戻って、新たな走行線の指定を受け付けたか否かを判定する。
一方、全走行線の仮想内視鏡動画表示を行なっている場合（ステップＳ１１４肯定）、制御部１８は、仮想内視鏡動画表示の制御処理を終了する。
また、仮想内視鏡動画の再生処理が行なわれる場合、図１７に示すように、制御部１８は、印が指定されたか否かを判定する（ステップＳ２０１）。ここで、印が指定されない場合（ステップＳ２０１否定）、制御部１８は、印が指定されるまで待機する。
一方、印が指定されない場合（ステップＳ２０１肯定）、制御部１８は、指定された印の位置を含む範囲の仮想内視鏡動画表示を往復して実行させ（ステップＳ２０２）、仮想内視鏡動画の再生処理を終了する。
上述してきたように、本実施形態では、管腔画像に視点位置の移動経路を示す複数の走行線が重畳された合成画像を表示する。合成画像を参照することで、操作者は、仮想内視鏡動画表示を行なう視点の移動経路の形状や、仮想内視鏡動画表示を行なう視点の移動経路の本数等、分岐する管腔内全ての観察を完了するための情報を把握することができる。その結果、本実施形態では、分岐を有する管腔の観察完了を容易に把握させることができる。
また、本実施形態では、第１制御や第５制御が行なわれることで、操作者は、走行線や、走行線上の範囲を指定するだけでといった簡易な操作で、複数経路の仮想内視鏡動画表示を順次実行させることができる。また、本実施形態では、第３制御が行なわれることで、操作者は、仮想内視鏡動画表示が未実施の経路を容易に把握することができ、その結果、観察漏れを防止することができる。また、本実施形態では、第６制御が行なわれることで、操作者は、仮想内視鏡動画表示されている仮想内視鏡画像に描出される管腔内の位置を容易に把握することができる。
また、本実施形態では、第７制御が行なわれることで、操作者は、移動している視点の現在の位置が、管腔の何番目の分枝であるのかを容易に認識することができる。また、本実施形態では、第２制御が行なわれることで、操作者は、同一経路を繰り返して詳細に観察することができる。また、本実施形態では、第２制御において、視線方向の反転制御が行なわれることで、操作者は、同一経路を異なる方向で繰り返して詳細に観察することができる。また、本実施形態では、第２制御において、視線方向の固定制御が行なわれることで、操作者は、内視鏡検査で行なわれる内視鏡の視線方向と一致する視線方向で、同一経路を繰り返して詳細に観察することができる。また、本実施形態では、第４制御が行なわれること表示される警告により、操作者は、分岐を有する管腔の観察を確実に完了することができる。
また、本実施形態では、第８制御や第９制御が行なわれることで、操作者は、詳細な観察が必要とされる管腔の範囲の仮想内視鏡動画を、何回でも容易に表示させることができる。また、操作者は、印が重畳された直交３断面のＭＰＲ画像や、合成画像上の印の位置を参照することで、病変の位置を把握することができる。すなわち、本実施形態は、治療方針（例えば、ニップルの温存の可不可）を決定するための情報を提供することができる。
なお、本実施形態は、管腔画像に重畳される複数の走行線を操作者が設定する場合であっても良い。かかる場合、操作者は、入力装置３を介して走行線の設定要求を行なう。制御部１８は、管腔画像をモニタ２に表示させ、操作者は、管腔画像を参照して、入力装置３が有するマウス等を用いて管腔画像に複数の走行線を設定する。これにより、画像合成部１６２は、図６Ｂの合成画像を生成する。かかる場合、上述した仮想内視鏡動画表示における視点位置の移動経路は、操作者によって管腔画像で設定された複数の走行線が用いられる。また、本実施形態は、操作者が、合成画像に描出された複数の走行線の全て、又は、一部を、操作者が修正したり、削除したり、或いは、操作者が、合成画像に新たな走行線を追加したりする場合であっても良い。
また、上記の本実施形態では、制御部１８が、表示の要求を受け付けた場合に、当該要求に該当する仮想内視鏡画像群を、ボリュームデータから仮想内視鏡画像生成部１６１ａに生成させる場合について説明した。上記の本実施形態では、制御部１８が、動画表示の要求を受け付けた場合に、当該要求に該当する仮想内視鏡画像群を、ボリュームデータから仮想内視鏡画像生成部１６１ａに生成させている。すなわち、上記の本実施形態では、仮想内視鏡画像生成部１６１ａは、リアルタイムでボリュームレンダリング処理を行なう必要があるため、負荷が高くなる場合がある。本実施形態は、仮想内視鏡画像生成部１６１ａの処理負荷を軽減させるために、以下の変形例が行なわれる場合であっても良い。図１８は、本実施形態の変形例を説明するための図である。
すなわち、本実施形態の変形例では、仮想内視鏡画像生成部１６１ａは、図１８に示すように、複数の走行線それぞれを用いて表示される仮想内視鏡画像群を予め生成して、内部記憶部１９が有する仮想内視鏡画像記憶部１９ａに格納する。本変形例では、仮想内視鏡画像生成部１６１ａは、複数の走行線それぞれを用いて動画表示される仮想内視鏡画像群を予め生成して、内部記憶部１９が有する仮想内視鏡画像記憶部１９ａに格納する。
そして、制御部１８は、表示の要求を受け付けた場合に、当該要求に該当する仮想内視鏡画像群を仮想内視鏡画像記憶部１９ａから選択してモニタ２に表示させる。本変形例では、制御部１８は、動画表示の要求を受け付けた場合に、当該要求に該当する仮想内視鏡画像群を仮想内視鏡画像記憶部１９ａから選択してモニタ２に動画表示させる。
本実施形態の変形例では、仮想内視鏡動画表示に用いられる仮想内視鏡画像群を予め網羅して生成しておくことで、超音波診断装置の負荷を軽減させるともに、仮想内視鏡動画表示を円滑に実行させることができる。
なお、上記の実施形態及び変形例では、操作者が指定した走行線に沿って自動的に視点の位置が移動されて、仮想内視鏡画像が動画表示される場合について説明した。しかし、上記の実施形態及び変形例において、仮想内視鏡画像の表示形態は、自動的な動画表示に限定されるものではない。例えば、仮想内視鏡画像の表示形態は、走行線上の複数の視点により生成された複数の仮想内視鏡画像が並列表示される場合であっても良い。
また、走行線上の視点の位置の移動は、操作者による手動操作により行なわれる場合であっても良い。かかる場合、制御部１８は、操作者が入力装置３を用いて行なった操作に応じて、指定された走行線に沿って視点の位置を移動して、分岐を有する管腔の仮想内視鏡画像（乳腺の管腔の仮想内視鏡画像）をモニタ２で表示させる。例えば、操作者は、走行線を指定した後、マウスのホイールやトラックボールを回転させる。制御部１８は、操作者が行なった回転量及び回転方向に応じて、操作者が指定した走行線上で視点の位置を移動し、移動後の視点の位置に該当する仮想内視鏡画像を表示させる。このような手動操作により、操作者は、視点位置が異なる仮想内視鏡画像を順次、自身が所望する間隔で観察することができ、石灰化等の画像診断を詳細に行なうことができる。また、操作者は、マウスのホイールやトラックボールの回転方向を反転することで、図９Ａや図９Ｂで説明した観察を行なうことができる。なお、上記の実施形態及び変形例で説明した内容は、走行線上の視点の位置の移動が操作者による手動操作で行なわれる点以外、本変形例でも適用可能である。
また、上記の実施形態及び変形例では、乳腺を、分岐を有する管腔の一例として説明した。しかし、本実施形態及び変形例で説明した画像処理方法は、頚動脈等、分岐を有する管腔であり、超音波画像に描出可能な管腔であるならば、任意の臓器に適用可能である。また、上記の実施形態及び変形例では、超音波診断装置において、上記の画像処理方法が実行される場合について説明した。しかし、本実施形態で説明した画像処理方法は、Ｘ線診断装置や、Ｘ線ＣＴ装置、ＭＲＩ装置等、分岐を有する管腔を含むボリュームデータを収集可能な医用画像診断装置において実行される場合であっても良い。
また、本実施形態及び変形例で説明した画像処理方法は、医用画像診断装置とは独立に設置された画像処理装置により実行される場合であっても良い。具体的には、図１に示すボリュームデータ処理部１６及び制御部１８の機能を有する画像処理装置は、各種の医用画像のデータを管理するシステムであるＰＡＣＳ（Picture Archiving and Communication Systems）のデータベースや、医用画像が添付された電子カルテを管理する電子カルテシステムのデータベース等から３次元の医用画像データであるボリュームデータであり、分岐を有する管腔を含むボリュームデータを受信して、本実施形態及び変形例で説明した画像処理方法を行なう。
また、本実施形態及び変形例において、図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部又は一部を、各種の負荷や使用状況等に応じて、任意の単位で機能的又は物理的に分散・統合して構成することができる。例えば、画像合成部１６２が実行する処理は、画像生成部１５により実行される場合であっても良い。更に、各装置にて行なわれる各処理機能は、その全部又は任意の一部が、ＣＰＵ及び当該ＣＰＵにて解析実行されるプログラムにて実現され、或いは、ワイヤードロジックによるハードウェアとして実現され得る。
また、本実施形態及び変形例で説明した画像処理方法は、あらかじめ用意された画像処理プログラムをパーソナルコンピュータやワークステーション等のコンピュータで実行することによって実現することができる。この画像処理プログラムは、インターネット等のネットワークを介して配布することができる。また、この画像処理プログラムは、ハードディスク、フレキシブルディスク（ＦＤ）、ＣＤ−ＲＯＭ、ＭＯ、ＤＶＤ等のコンピュータで読み取り可能な記録媒体に記録され、コンピュータによって記録媒体から読み出されることによって実行することもできる。
以上、説明したとおり、本実施形態及び変形例によれば、分岐を有する管腔の観察完了を容易に把握させること画像診断に有用な画像データを確実に保存することができる。
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。
１ 超音波プローブ
２ モニタ
３ 入力装置
１０ 装置本体
１１ 送信部
１２ 受信部
１３ Ｂモード処理部
１４ ドプラ処理部
１５ 画像生成部
１６ ボリュームデータ処理部
１６１ レンダリング処理部
１６１ａ 仮想内視鏡画像生成部
１６１ｂ 管腔画像生成部
１６１ｃ ＭＰＲ画像生成部
１６２ 画像合成部
１７ 画像メモリ
１８ 制御部
１９ 内部記憶部

Claims (14)

  1. ３次元の医用画像データであるボリュームデータに基づく、分岐を有する管腔の形状が描出された管腔画像を生成する管腔画像生成部と、
    前記分岐を有する管腔の形状に基づいて、複数の走行線を生成する走行線生成部と、
    前記分岐を有する管腔の仮想内視鏡画像における視点の移動経路を示す前記複数の走行線を、前記管腔画像に重畳した合成画像を生成する画像合成部と、
    前記合成画像を所定の表示部に表示させる制御部と、
    を備え、
    前記制御部は、前記管腔の走行線に沿って視点を移動することにより仮想内視鏡画像が動画表示された走行線の範囲と仮想内視鏡画像が動画表示されていない走行線の範囲とを識別可能とする描画を行なうように、前記画像合成部を制御し、
    前記複数の走行線の中で指定された走行線に沿って、前記分岐を有する管腔の仮想内視鏡画像を前記所定の表示部で表示させ、
    仮想内視鏡画像の表示中に、操作者から指定された仮想内視鏡画像の生成に用いられた視点の位置を含む断面で前記ボリュームデータを切断した断面画像に印を表示させ、かつ、前記合成画像において当該視点の位置に対応する走行線上の位置に印を表示させる、医用画像診断装置。
  2. 前記ボリュームデータは、乳腺に関する３次元の医用画像データである、請求項１に記載の医用画像診断装置。
  3. 前記制御部は、前記複数の走行線の全てで仮想内視鏡画像が表示されていない状態で、操作者から終了要求を受け付けた場合、警告を表示させる、請求項１又は２に記載の医用画像診断装置。
  4. 前記制御部は、前記複数の走行線の中で指定された走行線の範囲を用いて、前記分岐を有する管腔の仮想内視鏡画像を前記所定の表示部で表示させることを特徴とする請求項１〜３のいずれか一つに記載の医用画像診断装置。
  5. 前記制御部は、前記合成画像の走行線上において、現時点で表示されている仮想内視鏡画像の生成に用いられた視点の位置を識別可能とする描画を行なうように、前記画像合成部を制御することを特徴とする請求項１〜４のいずれか１つに記載の医用画像診断装置。
  6. 前記制御部は、現時点で表示されている仮想内視鏡画像の生成に用いられた視点と、前記管腔が有する複数の分岐点との位置関係を識別可能とする描画を、当該仮想内視鏡画像において行なうように制御する、請求項１〜５のいずれか１つに記載の医用画像診断装置。
  7. 前記制御部は、前記印が操作者により指定された場合、当該印を含む所定の範囲の走行線を用いた仮想内視鏡画像群を表示させる、請求項１〜６のいずれか一つに記載の医用画像診断装置。
  8. 前記制御部は、視点の移動経路に沿って視点位置を往復して移動させることで仮想内視鏡画像を表示させるとともに、往路と復路とで視線方向を反転させる、又は、往路と復路とで視線方向を同一とさせる、請求項１〜７のいずれか１つに記載の医用画像診断装置。
  9. 仮想内視鏡画像を生成する仮想内視鏡画像生成部、
    を更に備え、
    前記制御部は、表示の要求を受け付けた場合に、当該要求に該当する仮想内視鏡画像群を、前記ボリュームデータから前記仮想内視鏡画像生成部に生成させる、請求項１〜８のいずれか１つに記載の医用画像診断装置。
  10. 仮想内視鏡画像を生成する仮想内視鏡画像生成部、
    を更に備え、
    前記仮想内視鏡画像生成部は、前記複数の走行線それぞれを用いて表示される仮想内視鏡画像群を予め生成して、所定の記憶部に格納し、
    前記制御部は、表示の要求を受け付けた場合に、当該要求に該当する仮想内視鏡画像群を前記所定の記憶部から選択して前記所定の表示部に表示させる、請求項１〜９のいずれか１つに記載の医用画像診断装置。
  11. 前記制御部は、前記指定された走行線に沿って、前記分岐を有する管腔の仮想内視鏡画像を前記所定の表示部で動画表示させる、請求項１〜１０のいずれか１つに記載の医用画像診断装置。
  12. 前記制御部は、操作者が入力装置を用いて行なった操作に応じて、前記指定された走行線に沿って視点の位置を移動して、前記分岐を有する管腔の仮想内視鏡画像を前記所定の表示部で表示させる、請求項１〜１０のいずれか１つに記載の医用画像診断装置。
  13. ３次元の医用画像データであるボリュームデータに基づく、分岐を有する管腔の形状が描出された管腔画像を生成する管腔画像生成部と、
    前記分岐を有する管腔の形状に基づいて、複数の走行線を生成する走行線生成部と、
    前記分岐を有する管腔の仮想内視鏡画像における視点の移動経路を示す前記複数の走行線を、前記管腔画像に重畳した合成画像を生成する画像合成部と、
    前記合成画像を所定の表示部に表示させる制御部と、
    を備え、
    前記制御部は、前記管腔の走行線に沿って視点を移動することにより仮想内視鏡画像が動画表示された走行線の範囲と仮想内視鏡画像が動画表示されていない走行線の範囲とを識別可能とする描画を行なうように、前記画像合成部を制御し、前記複数の走行線の中で指定された走行線に沿って、前記分岐を有する管腔の仮想内視鏡画像を前記所定の表示部で表示させ、仮想内視鏡画像の表示中に、操作者から指定された仮想内視鏡画像の生成に用いられた視点の位置を含む断面で前記ボリュームデータを切断した断面画像に印を表示させ、かつ、前記合成画像において当該視点の位置に対応する走行線上の位置に印を表示させる、画像処理装置。
  14. 管腔画像生成部が、３次元の医用画像データであるボリュームデータに基づく、分岐を有する管腔の形状が描出された管腔画像を生成し、
    走行線生成部が、前記分岐を有する管腔の形状に基づいて、複数の走行線を生成し、
    画像合成部が、前記分岐を有する管腔の仮想内視鏡画像における視点の移動経路を示す前記複数の走行線を、前記管腔画像に重畳した合成画像を生成し、
    制御部が、前記合成画像を所定の表示部に表示させる、
    ことを含み、
    前記制御部は、前記管腔の走行線に沿って視点を移動することにより仮想内視鏡画像が動画表示された走行線の範囲と仮想内視鏡画像が動画表示されていない走行線の範囲とを識別可能とする描画を行なうように、前記画像合成部を制御し、前記複数の走行線の中で指定された走行線に沿って、前記分岐を有する管腔の仮想内視鏡画像を前記所定の表示部で表示させ、仮想内視鏡画像の表示中に、操作者から指定された仮想内視鏡画像の生成に用いられた視点の位置を含む断面で前記ボリュームデータを切断した断面画像に印を表示させ、かつ、前記合成画像において当該視点の位置に対応する走行線上の位置に印を表示させる、画像処理方法。
JP2013165541A 2012-08-08 2013-08-08 医用画像診断装置、画像処理装置及び画像処理方法 Expired - Fee Related JP6391922B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2013165541A JP6391922B2 (ja) 2012-08-08 2013-08-08 医用画像診断装置、画像処理装置及び画像処理方法

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2012176323 2012-08-08
JP2012176323 2012-08-08
JP2013165541A JP6391922B2 (ja) 2012-08-08 2013-08-08 医用画像診断装置、画像処理装置及び画像処理方法

Publications (2)

Publication Number Publication Date
JP2014050684A JP2014050684A (ja) 2014-03-20
JP6391922B2 true JP6391922B2 (ja) 2018-09-19

Family

ID=50068214

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013165541A Expired - Fee Related JP6391922B2 (ja) 2012-08-08 2013-08-08 医用画像診断装置、画像処理装置及び画像処理方法

Country Status (4)

Country Link
US (1) US10123780B2 (ja)
JP (1) JP6391922B2 (ja)
CN (1) CN103764041B (ja)
WO (1) WO2014024995A1 (ja)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015076508A1 (en) * 2013-11-21 2015-05-28 Samsung Medison Co., Ltd. Method and apparatus for displaying ultrasound image
JP6243763B2 (ja) * 2014-03-14 2017-12-06 テルモ株式会社 画像処理装置、画像処理装置の作動方法、及びプログラム
JP6415903B2 (ja) * 2014-09-02 2018-10-31 キヤノンメディカルシステムズ株式会社 医用画像処理装置
KR102367446B1 (ko) * 2014-12-11 2022-02-25 삼성메디슨 주식회사 초음파 진단 장치 및 그 동작 방법
KR102364490B1 (ko) 2014-12-15 2022-02-18 삼성메디슨 주식회사 초음파 진단장치, 그에 따른 초음파 진단 방법 및 그에 따른 컴퓨터 판독 가능한 저장매체
JP6585371B2 (ja) * 2015-04-24 2019-10-02 株式会社デンソーテン 画像処理装置、画像処理方法および車載装置
JP6608111B2 (ja) * 2016-09-28 2019-11-20 富士フイルム株式会社 医用画像保存再生装置および方法並びにプログラム
US10499997B2 (en) 2017-01-03 2019-12-10 Mako Surgical Corp. Systems and methods for surgical navigation
CN110192895A (zh) * 2019-05-28 2019-09-03 西安工业大学 一种超声波探头及超声波诊断装置

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1487333B1 (en) * 2002-03-14 2020-07-01 Netkisr Inc. System and method for analyzing and displaying computed tomography data
EP1466552B1 (en) * 2002-07-31 2007-01-03 Olympus Corporation Endoscope
CN1879128A (zh) * 2003-11-03 2006-12-13 布拉科成像S.P.A.公司 用于内窥镜图中管状结构最优显示的动态裁剪框确定
JP4631057B2 (ja) * 2004-02-18 2011-02-16 国立大学法人大阪大学 内視鏡システム
JP4653542B2 (ja) * 2005-04-06 2011-03-16 株式会社東芝 画像処理装置
US8373652B2 (en) * 2005-04-06 2013-02-12 Kabushiki Kaisha Toshiba Image display apparatus and image display method
JP5123615B2 (ja) * 2007-08-31 2013-01-23 オリンパスメディカルシステムズ株式会社 内視鏡挿入支援装置
JP5384473B2 (ja) * 2008-03-21 2014-01-08 株式会社日立メディコ 画像表示装置及び画像表示方法
JP5372406B2 (ja) * 2008-05-23 2013-12-18 オリンパスメディカルシステムズ株式会社 医療機器
JP5572555B2 (ja) * 2008-12-25 2014-08-13 株式会社日立メディコ 医用画像表示装置及び方法
JP2012024518A (ja) * 2010-07-28 2012-02-09 Fujifilm Corp 内視鏡観察を支援する装置および方法、並びに、プログラム
JP5160699B2 (ja) * 2011-01-24 2013-03-13 オリンパスメディカルシステムズ株式会社 医療機器
JP5378628B1 (ja) * 2012-03-06 2013-12-25 オリンパスメディカルシステムズ株式会社 内視鏡システム
JP5785120B2 (ja) * 2012-03-15 2015-09-24 富士フイルム株式会社 医用画像診断支援装置および方法並びにプログラム

Also Published As

Publication number Publication date
CN103764041B (zh) 2015-12-09
CN103764041A (zh) 2014-04-30
US10123780B2 (en) 2018-11-13
WO2014024995A1 (ja) 2014-02-13
US20150150537A1 (en) 2015-06-04
JP2014050684A (ja) 2014-03-20

Similar Documents

Publication Publication Date Title
JP6391922B2 (ja) 医用画像診断装置、画像処理装置及び画像処理方法
JP4470187B2 (ja) 超音波装置、超音波撮像プログラム及び超音波撮像方法
US9173632B2 (en) Ultrasonic diagnosis system and image data display control program
JP5637653B2 (ja) 医用画像処理装置、超音波診断装置、及び医用画像処理プログラム
US10157639B2 (en) Medical image diagnosis apparatus and medical image processing apparatus
JP5422264B2 (ja) 超音波診断装置及び医用画像処理装置
JP5019205B2 (ja) 超音波診断装置
JP5253893B2 (ja) 医用画像処理装置、超音波診断装置、及び超音波画像取得プログラム
EP2253275A1 (en) Ultrasonic diagnostic apparatus, ultrasonic image processing apparatus and ultrasonic image processing method
JP6121766B2 (ja) 超音波診断装置、画像処理装置及び画像処理方法
JP6125380B2 (ja) 超音波診断装置、医用画像処理装置及び画像処理プログラム
JP2016067559A (ja) 医用画像診断装置、画像処理装置、画像処理方法及び画像処理プログラム
JP5942217B2 (ja) 超音波診断装置、超音波画像処理装置及び超音波画像処理プログラム
JP2001276066A (ja) 三次元画像処理装置
US20120095341A1 (en) Ultrasonic image processing apparatus and ultrasonic image processing method
JP5981178B2 (ja) 医用画像診断装置、画像処理装置及びプログラム
JP6068017B2 (ja) 超音波診断装置及び画像生成プログラム
JP5936850B2 (ja) 超音波診断装置及び画像処理装置
JP2014239841A (ja) 超音波診断装置、医用画像処理装置及び制御プログラム
JP2012170536A (ja) 超音波診断装置、画像処理装置及び画像処理プログラム
JP2019141574A (ja) 医用画像診断装置、医用画像処理装置、及び画像処理プログラム
JP2008220662A (ja) 超音波診断装置及びその制御プログラム

Legal Events

Date Code Title Description
A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A712

Effective date: 20150610

RD01 Notification of change of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7421

Effective date: 20151102

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20160513

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20160713

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20160929

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20161021

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170711

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170907

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180227

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180427

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180724

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180822

R150 Certificate of patent or registration of utility model

Ref document number: 6391922

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees